주요 특징

• 60종 이상 학술 벤치마크와 수백 개 하위 태스크·변형을 기본 제공
• transformers·vLLM·SGLang·GPT-NeoX·Megatron-DeepSpeed 등 다중 백엔드를 동일 인터페이스로 평가
• OpenAI 등 상용 API 모델을 배치·비동기 요청으로 평가하는 API 백엔드
• PEFT LoRA 어댑터와 GPTQ 계열 양자화 모델 평가 지원
• YAML 설정과 Jinja2 프롬프트 템플릿으로 커스텀 태스크·지표 정의
• run·ls·validate 서브커맨드 CLI와 --config 파일 기반 실행
• 기본 설치에서 torch·transformers를 분리하고 hf·vllm·api 등 옵션 extras로 선택 설치
• think_end_token 옵션으로 추론 모델의 CoT 흔적을 제거한 뒤 채점
• hf-multimodal·vllm-vlm 모델 타입으로 텍스트+이미지 입력 평가 프로토타입 제공