Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
DeepSpec은 DeepSeek가 공개한 투기적 디코딩(speculative decoding) 드래프트 모델 전용 코드베이스다. 데이터 준비, 드래프트 모델 구현, 학습, 평가 네 단계를 하나의 파이프라인으로 묶었다. 데이터 단계에서 프롬프트를 내려받고 타깃 모델로 답변을 재생성해 타깃 캐시를 만들며, 학습은 GPU 한 장당 워커 하나를 띄우는 8GPU 단일 노드 구성이 기본이다. 평가 단계는 gsm8k, humaneval, livecodebench, mt-bench 등 벤치마크에서 드래프트 토큰 수용률을 측정한다. DSpark, DFlash, Eagle3 세 알고리즘을 지원하며 Qwen3-4B/8B/14B와 gemma-4-12B-it 대상 체크포인트를 Hugging Face에 함께 공개했다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
mozilla-ai
단일 파일 하나로 LLM을 설치 없이 즉시 실행하는 배포 도구