TrendingFeatured

Unsloth

unslothaiApache-2.02026.02.13

LLM52.1K Stars4.3K Forks2.9천 조회

Unsloth는 대규모 언어 모델(LLM)의 파인튜닝 및 강화학습을 2배 빠르게 하면서 70% 적은 VRAM을 사용하는 오픈소스 프레임워크입니다. Triton 커널과 수작업 최적화를 통해 정확도 손실 없이 GPU 성능을 극대화합니다. 2026년에는 MoE 모델을 12배 빠르게 학습할 수 있는 기능, 7배 더 긴 문맥의 강화학습(GRPO) 지원, 임베딩 모델 파인튜닝(1.8~3.3배 빠름) 등 혁신적인 기능들을 추가했습니다. GPT, DeepSeek, Qwen, Llama, Gemma, TTS 등 다양한 모델 아키텍처를 지원하며, NVIDIA, AMD, Intel GPU 모두 호환됩니다.

주요 특징

초고속 파인튜닝 - 수작업 GPU 커널로 일반 대비 2배 빠르고 70% 적은 VRAM 사용, Flash Attention 2 대비 최대 10배 빠른 성능
다양한 학습 방식 지원 - Full 파인튜닝, 사전학습, 4비트/16비트/FP8 학습 등 다양한 트레이닝 모드, QLoRA 메모리 효율성 극대화
광범위한 모델 호환성 - GPT, DeepSeek, Qwen, Llama, Gemma, TTS, 멀티모달, 임베딩 모델 등 최신 모델 아키텍처 지원
고급 강화학습 최적화 - GRPO, GSPO 등 강화학습을 80% 적은 VRAM으로 실행, 7배 더 긴 문맥 처리 가능
MoE 모델 초고속 학습 - Triton 커널로 MoE 모델 12배 빠른 학습, 35% 적은 VRAM, 6배 더 긴 문맥 처리
다중 하드웨어 지원 - NVIDIA(T4~H100), AMD, Intel GPU 호환, Google Colab/Kaggle에서 무료 학습 가능

Open Source

Unsloth

주요 특징

태그

관련 프로젝트

Hugging Face Transformers

LLMs from Scratch

vLLM

LLaMA-Factory