Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
애플 실리콘에서 EAGLE 계열 추측 디코딩(speculative decoding)을 MLX 네이티브로 구동하는 추론 도구다. DeepSeek의 DSpark(준자기회귀, DeepSpec 코드베이스 기반)와 z-lab의 DFlash(블록 디퓨전) 드래프터를 하나의 검증 루프에서 지원한다. 타깃 모델이 드래프트 토큰을 모두 검증하므로 출력은 일반 디코딩과 동일하고 속도만 달라진다. M4 Pro 3회 중앙값 기준 Gemma-4 12B(8비트)에서 수학 4.24배·코드 2.90배를 보고한다. --model에 HF 저장소를 넘기면 드래프터가 자동 해석되고, 드래프트 상한은 사용자 머신의 비용 곡선을 약 5초 측정해 정한다. CLI·Python·OpenAI/Anthropic 호환 API 서버와 macOS 앱을 제공한다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
JustVugg
초대형 MoE 모델의 전문가를 디스크에서 스트리밍해 개인 하드웨어에서 돌리는 순수 C 추론 엔진