LMDeploy는 LLM을 압축, 배포 및 서빙하기 위한 포괄적인 툴킷입니다. TurboMind와 PyTorch 두 가지 추론 엔진을 제공하여 성능 최적화부터 개발자 접근성까지 다양한 요구사항을 충족합니다. vLLM 대비 1.8배 높은 요청 처리량을 달성하며, 4비트 추론 성능은 FP16 대비 2.4배 우수합니다.