LLaMA-Factory는 100개 이상의 대규모 언어 모델(LLM)과 비전-언어 모델(VLM)을 통합적으로 파인튜닝할 수 있는 오픈소스 프레임워크입니다. CLI와 웹 인터페이스를 모두 제공하여 접근성이 뛰어나며, LoRA, QLoRA, 풀 파인튜닝, DPO, PPO, ORPO 등 다양한 학습 방법을 지원합니다. FlashAttention-2와 Unsloth 통합으로 학습 효율성을 극대화하며, Megatron-core 학습 백엔드도 지원합니다. ACL 2024 논문으로 발표된 학술적으로도 검증된 프레임워크입니다.