주요 특징

• sm_120a(RTX 5090) 전용으로 빌드되며 그 외 CUDA 아키텍처는 빌드 단계에서 거부한다. 멀티 GPU, 분산 서빙, 가중치 오프로드, 요청 선점, 우선순위/QoS는 제품 범위에서 명시적으로 제외했다. 설치 타깃이나 바이너리 배포 없이 소스 빌드 트리에서 실행하며 Docker 이미지 빌드도 지원한다.
• v3 .ninfer 아티팩트 하나에 모델 설정, 인코딩된 가중치, 논리 바인딩, 프런트엔드 리소스를 함께 담는다. 가중치 포맷은 groupwise-int와 NVFP4이며, 사용자가 직접 가중치를 변환하거나 공식 레시피를 재사용할 수 있다. 기존 v2 아티팩트는 가중치를 다시 받지 않고 로컬에서 업그레이드된다.
• MTP 추측 디코딩(드래프트 창 1~5)을 지원하고, Qwen3.6-35B-A3B는 DFlash(1~15), DFlash2 동반 가중치가 있는 Qwen3.8-27B는 DFlash2 드래프트도 쓸 수 있다. 청크 프리필, 배치 크기별 CUDA Graph 디코드를 제공하며 KV 캐시 저장 형식은 BF16·INT8·FP8·NVFP4·K8V4 중에서 고른다.
• 정확한 프롬프트 접두사 단위로 KV와 연속 상태를 체크포인트로 저장해 재사용한다. Device 체크포인트 슬롯, 고정(pinned) Host State 슬롯, Host KV 용량을 따로 지정할 수 있고, 메모리가 부족하면 플래너가 즉시 복원 비용과 이후 재사용 비용을 따져 Device 유지·Host 보관·축출을 결정한다.
• OpenAI Responses·Chat Completions와 Anthropic Messages API를 스트리밍, 도구 호출 파싱, 토큰 카운팅까지 포함해 제공한다(도구 실행은 클라이언트 몫). README는 RTX 5090 측정 결과와 방법론 문서를 함께 공개하는데, 예컨대 Qwen3.6-35B-A3B groupwise-int는 MTP3 단일 요청 디코드에서 642.5 tok/s로 기록돼 있다.