상하이 AI 랩(Shanghai AI Lab) 산하 OpenCompass 팀이 개발한 대규모 언어모델 평가 플랫폼으로, Llama, Mistral, InternLM, Qwen, GLM, GPT-4, Claude 등 다양한 모델을 100개 이상의 벤치마크 데이터셋으로 일괄 평가할 수 있다. 지식·추론·코딩·수학·장문 이해 등 영역별 평가 세트를 표준화된 방식으로 제공하며, 로컬에 배포한 오픈소스 모델뿐 아니라 API 기반 상용 모델도 동일한 파이프라인으로 채점할 수 있다. VLMEvalKit과 연동해 멀티모달 모델 평가까지 확장했고, 결과를 리더보드 형태로 정리해 모델 간 객관적 비교를 지원한다. 자체 파인튜닝 모델의 성능을 검증하거나 공개된 LLM들을 동일 기준에서 비교하려는 연구팀·기업에서 주로 사용한다.