* 협업 문의: [email protected]
(위 메일은 비즈니스 메일로 개인적인 메일은 삼가주시면 감사하겠습니다)
영상 animation은 3Blue1Brown의 open source 라이브러리 manim을 사용하였습니다.
본 영상 소스를 만든 코드는 https://github.com/CodingVillainKor/manimgl-imcommit 에서 확인할 수 있습니다.
[Powered by Vrew]
영상의 자막은 Vrew로 생성/편집했습니다.
0:00 인트로
0:51 kv cache 이해
2:12 확률분포 속 quantize
3:10 Attention key를 quantize하기 어려움
4:24 Turboquant 1. L2 normalize + RHT matrix
5:32 변환 결과는 베타 분포
6:06 변환해서 quantize하는게 무슨 의미?
7:28 마무리
