Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
Eric Buehler가 개발한 Rust 기반의 빠르고 유연한 LLM 추론 엔진입니다. Hugging Face의 모든 모델을 별도 설정 없이 자동 감지하여 로딩하며, 텍스트·비전·비디오·오디오·이미지 생성을 아우르는 완전한 멀티모달 워크플로우를 단일 엔진에서 처리할 수 있습니다. ISQ, GGUF, GPTQ, AWQ 등 다양한 양자화 옵션과 PagedAttention, FlashAttention 같은 최신 최적화 기법을 지원합니다. Rust, Python, OpenAI 호환 HTTP 서버 API를 모두 제공하며, 내장 웹 UI와 도구 호출(tool calling) 기능까지 갖춘 올인원 추론 솔루션입니다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
mozilla-ai
단일 파일 하나로 LLM을 설치 없이 즉시 실행하는 배포 도구