주요 특징

• Qwen3 0.6B~32B 덴스 모델부터 Gated DeltaNet 어텐션을 쓰는 Qwen3.5, 슬라이딩 윈도우와 글로벌 어텐션을 혼합한 Gemma 4, MLA+MoE 구조의 DeepSeek-V2-Lite까지 다양한 아키텍처를 지원한다.
• Marlin INT4 양자화를 적용한 Kimi-K2/K2.5, FP8 기반 Sparse MLA+MoE 구조의 GLM-5.2, KDA와 잠재 MoE를 결합한 Kimi-K3 등 최신 대형 MoE 모델까지 서빙 범위를 넓혔다.
• OpenAI 호환 /v1/completions, /v1/chat/completions 엔드포인트를 제공해 기존 OpenAI SDK나 클라이언트를 코드 수정 없이 그대로 연결할 수 있다.
• 텐서 병렬화, 프리픽스 캐싱, KV 오프로딩, 추측 디코딩을 지원해 대형 모델의 지연 시간과 메모리 사용량을 함께 줄인다. Qwen3-4B 기준 유휴 메모리 771MB로 vLLM(3.8GB) 대비 훨씬 가벼운 풋프린트를 보인다.
• Linux x86_64용 사전 빌드 바이너리를 제공하며 NVIDIA GPU(컴퓨트 8.x~12.x), 드라이버 580 이상, glibc 2.35 이상이 필요하다. 소스 빌드 시에는 Rust 툴체인과 CUDA Toolkit으로 Windows에서도 빌드할 수 있다.