GuideLLM은 vLLM 프로젝트에서 개발한 LLM 추론 배포 평가 및 최적화 도구입니다. 실제 워크로드 환경에서 언어 모델의 성능을 측정하고 병목 지점을 파악할 수 있습니다. TTFT(첫 토큰 생성 시간), ITL(토큰 간 지연), 처리량 등 LLM 특화 메트릭을 지원하며, OpenAI 호환 API와 vLLM 네이티브 서버를 대상으로 벤치마킹합니다. 최근 대규모 아키텍처 리팩토링을 통해 멀티모달 벤치마킹(이미지, 오디오, 비디오)을 지원하고, 합성 및 실제 데이터셋 기반 평가, SLO 기반 성능 검증이 가능합니다.