주요 특징

• 캐시 인지(cache-aware), 최소 부하(least-load), power-of-two 등 10가지 라우팅 정책을 제공해 트래픽 특성에 맞는 전략을 선택할 수 있다. radix tree 기반 KV 캐시 인지 라우팅으로 토큰 재사용률을 높여 동일 백엔드에 반복 요청을 유도한다.
• vLLM, SGLang, TensorRT-LLM, TokenSpeed, MLX, Ollama 같은 자체 호스팅 추론 엔진과 OpenAI, Anthropic, Google Gemini, xAI, OCI, AWS Bedrock, Azure OpenAI 등 클라우드 제공자를 동일한 API 표면 아래에 통합한다. OpenAI Chat Completions, Embeddings, Rerank, Anthropic Messages API, 에이전트용 Responses/Conversations API까지 폭넓게 지원한다.
• 멀티테넌트 환경을 위한 API 키 인증과 컨트롤 플레인 OIDC 연동, 우선순위 기반 선점형 스케줄링을 제공한다. WebAssembly 플러그인으로 커스텀 미들웨어 로직을 붙일 수 있고, PostgreSQL·Oracle·Redis·인메모리 등 다양한 백엔드로 대화 이력을 저장할 수 있다.
• 90개 이상의 Prometheus 메트릭과 OpenTelemetry 분산 추적을 지원해 운영 가시성을 확보하고, 서킷 브레이커·백오프 재시도·레이트 리미팅으로 장애 전파를 막는다. SWIM 가십 프로토콜 기반 메시 네트워킹으로 고가용성 클러스터를 구성한다.
• Docker, Kubernetes(Helm), pip(smg), cargo(smg) 등 여러 방식으로 설치할 수 있어 기존 인프라에 맞춰 배포 방식을 고를 수 있다. Apache 2.0 라이선스로 공개되어 있으며 활발한 이슈·PR 활동으로 빠르게 발전하고 있다.