AIBrix는 vLLM 프로젝트가 관리하는 쿠버네티스 네이티브 LLM 추론 인프라다. 추론 엔진 자체가 아니라 엔진 위에서 동작하는 컨트롤 플레인 역할을 맡아, 여러 모델과 레플리카에 트래픽을 분배하는 LLM 게이트웨이, 요청량에 따라 GPU 자원을 조절하는 오토스케일러, 메트릭 수집과 모델 다운로드를 담당하는 사이드카 런타임을 CRD 형태로 제공한다. 여러 엔진 인스턴스가 KV 캐시를 공유하는 분산 KV 캐시, 서로 다른 사양의 GPU를 섞어 쓰는 이기종 서빙, GPU 하드웨어 장애 감지 기능도 포함한다. ByteDance가 초기 개발했고 KubeCon에서 여러 차례 발표되었으며 v0.7.0까지 릴리즈가 이어지고 있다.