주요 특징

• FP8-Static/Dynamic, INT8, INT4-GPTQ/AWQ부터 NVFP4, 1.25비트급 초저비트까지 다양한 양자화 알고리즘을 단일 프레임워크로 제공
• Eagle3, DFly, DFlare, MTP 등 여러 투기적 디코딩 기법을 지원해 최대 5배 이상 종단 추론 속도 향상
• Stem, MInference, FlexPrefill 같은 스파스 어텐션으로 긴 컨텍스트 프리필 단계의 지연을 크게 감소
• 양자화 인식 증류(QAT distillation)와 Megatron-Core 기반 TP/EP/CP/SP 분산 학습을 지원해 초대형 MoE 모델도 압축 가능
• Hunyuan, Qwen3, DeepSeek-V3/R1, GLM-4.6 등 주요 오픈 모델과 이미지·비디오 확산 모델까지 폭넓은 압축 커버리지