llm-d는 Red Hat, Google Cloud, IBM Research, CoreWeave, NVIDIA가 공동 설립한 Kubernetes 네이티브 분산 LLM 추론 서빙 스택입니다. prefill/decode 분리(disaggregation), 계층형 KV 캐시 오프로딩, prefix-cache 및 load-aware 라우팅을 결합해 대규모 모델을 다양한 가속기에서 효율적으로 서비스합니다. OpenAI 호환 API와 SLO 기반 오토스케일링을 제공해 프로덕션 환경에서 안정적인 LLM 서빙 인프라를 구축할 수 있도록 설계되었습니다.