Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
vLLM 팀이 개발한 스펙큘레이티브 디코딩 드래프트 모델 훈련 및 배포 라이브러리입니다. 작은 드래프트 모델이 여러 토큰을 미리 제안하고 대형 검증 모델이 한 번의 순전파로 이를 검증하는 방식으로 출력 품질 손실 없이 추론 지연을 줄입니다. EAGLE-3, P-EAGLE, DFlash, MTP 파인튜닝 등 다양한 스펙큘레이티브 디코딩 알고리즘을 지원하며, 허깅페이스 호환 모델 포맷으로 학습한 드래프트 모델을 vLLM 서버에 곧바로 배포할 수 있습니다. MoE, 비전-언어 모델 등 다양한 아키텍처의 드래프트 모델 학습도 지원합니다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
mozilla-ai
단일 파일 하나로 LLM을 설치 없이 즉시 실행하는 배포 도구