주요 특징

• Qwen 3.6/3.8/3.5/2.5 계열, Hunyuan Dense, Gemma 4, 에이전틱 툴콜링에 특화된 Ornith-1.0-9B, 그리고 PTQ1_0/PQ2_0 GGUF 네이티브 지원을 갖춘 Bonsai 2 Ternary 27B까지 다양한 텍스트·비전 모델을 지원한다.
• Qwen3-TTS, Voxtral-4B-TTS, KugelAudio 같은 음성 합성 모델, PaddleOCR-VL 광학 문자 인식, Moonshine ASR, Silero VAD 등 텍스트 생성 외 멀티모달 워크로드까지 하나의 엔진에서 처리한다.
• Qwen 3.5의 선형 어텐션(Gated Delta Net)에 맞춘 CUDA/ROCm 퓨즈드 커널, int8/int4 KV 캐시 양자화, 컨텍스트 길이에 선형적으로 VRAM이 늘어나는 청크 프리필(chunked prefill)로 추론 효율을 높였다.
• GGUF 양자화 모델을 별도 변환 단계 없이 바로 불러오는 in-situ 양자화 구조 덕분에 배포 준비 시간이 짧고, Qwen2.5-0.5B 기준 M1 Metal에서 초당 35토큰(f16)으로 PyTorch 대비 최대 5배 빠른 벤치마크를 공개했다.
• git clone 후 install.sh 스크립트만 실행하면 CPU·Metal·CUDA 빌드 변형 중 하나로 crane-serve를 바로 띄울 수 있어, llama.cpp 대비 설정 복잡도를 크게 낮춘 것이 특징이다.