Google TurboQuant: LLM 메모리 6배 압축, 정확도 손실 제로

TurboQuant: AI 효율성의 새로운 돌파구

Google Research가 2026년 3월 25일 TurboQuant를 공식 발표했다. TurboQuant는 LLM의 KV(Key-Value) 캐시 메모리를 6배 이상 압축하면서 정확도 손실 없이 최대 8배의 추론 속도 향상을 달성하는 압축 알고리즘이다. ICLR 2026(국제학습표현학회)에서 정식 발표될 예정이다.

LLM의 KV 캐시는 긴 문맥을 처리할 때 GPU 메모리의 상당 부분을 차지하는 핵심 병목이다. TurboQuant는 이 문제를 근본적으로 해결한다.

핵심 기술: PolarQuant + QJL

TurboQuant는 두 가지 핵심 기술의 조합이다.

PolarQuant (1단계: 고품질 압축): 데이터 벡터를 데카르트 좌표에서 극좌표(Polar Coordinates)로 변환한다. 벡터 쌍을 반지름(radius, 강도)과 각도(angle, 방향)로 표현함으로써 정규화 단계를 완전히 제거한다. 이를 통해 기존 양자화 방식의 메모리 오버헤드를 없앤다. 랜덤 회전을 먼저 적용한 후 표준 양자화를 수행하는 방식이다.

QJL (2단계: 오류 보정): Quantized Johnson-Lindenstrauss Transform을 활용한다. 고차원 데이터를 저차원으로 축소하는 수학적 기법으로, 1비트의 부호(sign bit)만 사용하여 추가 메모리 오버헤드 없이 양자화 오류를 제거한다.

성능 벤치마크

평가에 사용된 벤치마크는 LongBench, Needle In A Haystack, ZeroSCROLLS, RULER, L-Eval이다. 테스트 모델은 Gemma, Mistral, Llama-3.1-8B-Instruct로, 다양한 아키텍처에서 범용적으로 작동함을 입증했다.

기존 기술 대비 개선점

기존 KV 캐시 양자화 방식은 정규화 벡터 저장으로 인한 메모리 오버헤드, 데이터 의존적 전처리로 인한 추가 연산, 압축률 증가 시 정확도 하락이라는 문제가 있었다.

TurboQuant는 극좌표 변환으로 메모리 오버헤드를 완전히 제거하고, 데이터 무관형(data-oblivious) 방식으로 전처리를 거의 불필요하게 만들었다. 이론적으로도 하한치(lower bound) 근처에서 효율성이 증명되었다.

GloVe 데이터셋(d=200) 벡터 검색 실험에서 PQ, RabbiQ 등 기존 방식보다 우수한 1@k recall ratio를 달성했다.

연구 참여 기관

Google, Google DeepMind, KAIST, NYU 소속 연구자들이 참여했다. 관련 논문은 세 편이다.

• TurboQuant: ICLR 2026 (arXiv: 2504.19874)
• PolarQuant: AISTATS 2026 (arXiv: 2502.02617)
• QJL: AAAI 2024 (arXiv: 2406.03482)

산업 영향

TurboQuant의 실용적 의미는 크다. LLM 추론 비용에서 메모리가 차지하는 비중이 가장 높은데, 6배 메모리 절감은 동일 GPU에서 6배 더 긴 문맥을 처리하거나, 6배 더 많은 동시 요청을 처리할 수 있음을 의미한다.

재훈련 없이 기존 모델에 바로 적용할 수 있다는 점도 핵심이다. 모델을 수정하지 않고도 추론 효율성을 대폭 개선할 수 있어 배포 장벽이 낮다.

발표 직후 메모리 반도체 관련 주식이 하락했다는 보도는 이 기술의 잠재적 산업 파급력을 보여준다.

결론

TurboQuant는 LLM 추론 효율성의 새로운 기준을 제시하는 연구다. 6배 메모리 압축과 8배 속도 향상을 정확도 손실 없이 달성한 것은 주목할 만한 성과다. 재훈련 불필요라는 실용성까지 갖추어 산업 적용 가능성이 높다. LLM 서비스 비용 절감과 에지 디바이스 배포 확대에 기여할 수 있는 연구로, AI 인프라 비용에 관심 있는 기업과 연구자에게 필수적인 참고 자료다.