verl(HybridFlow)은 대규모 언어 모델을 위한 유연하고 효율적인 프로덕션급 강화학습(RL) 후속 학습 라이브러리로, EuroSys/HybridFlow 논문의 오픈소스 구현체입니다. PPO, GRPO, GSPO, ReMax, REINFORCE++, RLOO, PRIME, DAPO 등 폭넓은 RL 알고리즘을 즉시 사용할 수 있으며, FSDP/FSDP2와 Megatron-LM 학습 백엔드, vLLM·SGLang·HuggingFace Transformers 추론 엔진을 자유롭게 조합할 수 있는 하이브리드 데이터플로우 설계가 강점입니다. Qwen, Llama, Gemma, DeepSeek 등 주요 모델을 지원하고 비전-언어 모델, 멀티턴 대화, 도구 통합, LoRA까지 다룹니다. NVIDIA GPU는 물론 AMD ROCm(MI300X/MI325X/MI355X)과 Ascend 가속기를 지원하며, 수백 개 GPU에 걸쳐 최대 671B 파라미터 모델까지 확장 가능해 추론 모델의 RLHF 학습 표준 프레임워크로 자리잡고 있습니다.