Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
llamafile은 Mozilla에서 지원하는 프로젝트로, 단일 실행 파일 하나로 LLM을 배포하고 실행할 수 있는 혁신적인 도구이다. llama.cpp와 Cosmopolitan Libc를 결합하여 macOS, Linux, BSD, Windows에서 설치 없이 즉시 실행할 수 있다. Hugging Face에서 모델을 다운로드한 뒤 실행 권한만 부여하면 브라우저 기반 인터페이스가 자동으로 열려, 기술 지식이 없는 사용자도 손쉽게 로컬 LLM을 운영할 수 있다. LLaVA 1.5 7B 등 다양한 모델을 지원하며 Apache 2.0 라이선스로 제공된다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
sgl-project
LLM/멀티모달 모델 고성능 서빙 프레임워크