ABQ-LLM은 임의 비트폭 조합 양자화 연산을 지원하는 가속 라이브러리입니다. 다양한 양자화 설정(W8A16, W4A16, W3A16, W2A16, W8A8, W6A6, W4A4, W3A8, W3A6, W2A8, W2A6)에서 탁월한 성능을 달성하면서 추론 수준에서 효율적인 임의 비트 계산을 가능하게 합니다. ByteDance에서 개발한 혁신적인 양자화 솔루션입니다.