주요 특징

• 압축 파이프라인이 네 단계로 구성됩니다. 랜덤 직교 회전으로 이상치를 흩뜨린 뒤 베타 분포용 Lloyd-Max 코드북으로 b-1 비트를 할당하고, QJL 투영으로 차원당 1비트의 부호 정보를 남기며, 값은 그룹별 스케일과 제로포인트를 갖는 2비트 또는 4비트 양자화 후 바이트당 4개 또는 2개로 비트 패킹됩니다.
• vLLM 0.18.0 기준으로 통합돼 있어 별도 서빙 스택을 쓰지 않습니다. Qwen3.5-27B-AWQ 실험에서는 KV 캐시 30GB를 회수해 최대 토큰 수용량이 45만 7천에서 91만 4천으로 두 배가 됐고, 8장 구성 MoE 모델에서는 131k 컨텍스트 기준 GPU당 233MB를 아꼈습니다.
• 정확도 손실 지점을 성분별로 분리해 보여 줍니다. 키 압축은 3비트와 4비트 모두 코사인 유사도 1.000으로 사실상 무손실인 반면 값 양자화가 2비트에서 0.940으로 떨어져 품질 저하를 주도하므로, 품질이 중요한 용도에는 값도 4비트(0.997)로 두라고 권장합니다.
• 논문의 Theorem 1~3을 검증하는 테스트 9종이 포함돼 있습니다. MSE 왜곡 한계, 상대 편향 0.1% 미만의 불편성, 비트 수에 따른 1/4^b 왜곡 스케일링을 각각 확인하고 스피어만 순위 상관 0.85 초과, needle 검색 통과 여부까지 표로 정리합니다.
• audit_claims.py 로 자기 주장에 대한 반박 감사를 함께 싣습니다. '5.1배 압축'은 회전 행렬과 링 버퍼를 빼고 센 수치라 오해 소지가 있고, needle 테스트는 질의가 키의 복사본이라 난이도가 낮으며, 하이브리드 디코드는 저장 공간만 아끼고 매 디코드 스텝마다 전체 이력을 float32로 역양자화한다는 한계를 저장소 스스로 명시합니다.