Xinference는 대규모 언어 모델, 음성 모델, 멀티모달 모델을 단일 API로 배포하고 서빙할 수 있는 통합 추론 플랫폼입니다. 코드 한 줄만 변경하면 GPT를 어떤 오픈소스 LLM으로든 교체할 수 있으며, 클라우드, 온프레미스, 로컬 노트북 어디에서나 실행 가능합니다. OpenAI 호환 API를 제공하여 기존 애플리케이션과의 통합이 매우 간편하고, vLLM, SGLang 등 다양한 추론 백엔드를 지원하여 최적의 성능을 끌어낼 수 있습니다. 특히 LLM뿐 아니라 이미지, 오디오, 비디오 모델까지 하나의 플랫폼에서 관리할 수 있어 MLOps 파이프라인 구축에 큰 장점을 제공합니다.