Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
EAGLE-4는 투기적 디코딩(speculative decoding)으로 LLM 추론을 가속하는 EAGLE 시리즈의 네 번째 버전이며, 이 저장소는 EAGLE-4 드래프트 모델을 SGLang·vLLM·TokenSpeed에 붙이는 eagle-harness 패키지를 담고 있다. 실행 환경에서 측정한 비용으로 추측 폭을 정해 배치 크기·하드웨어·워크로드에 맞는 드래프트 트리를 구성하며, 출력은 타깃 모델 단독 생성과 같다. 4× B300, Qwen3.8-27B 단일 요청 기준 SGLang 3.42배, vLLM 2.83배 향상을 보고하고 AMD MI355X도 지원한다. OSI 승인이 아닌 소스 공개 라이선스로, 경쟁 서비스나 연매출 2천만 달러 초과 시 상업 이용에 별도 계약이 필요하다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
JustVugg
초대형 MoE 모델의 전문가를 디스크에서 스트리밍해 개인 하드웨어에서 돌리는 순수 C 추론 엔진