Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.

exo-explore가 개발한 분산 AI 추론 플랫폼입니다. 스마트폰, 노트북, 라즈베리파이 등 일상 기기를 하나의 AI 클러스터로 연결하여 단일 기기 용량을 초과하는 대규모 모델을 실행할 수 있습니다. 자동 기기 탐색, Thunderbolt 5 RDMA를 통한 99% 지연시간 감소, 토폴로지 인식 자동 병렬화, 텐서 병렬 처리(2기기 1.8배, 4기기 3.2배 속도 향상)를 지원합니다. MLX 백엔드를 사용하며 OpenAI 호환 REST API를 제공합니다. LLaMA, Mistral, Qwen, DeepSeek 등 주요 모델을 지원하며, macOS Tahoe 26.2 이상에서 네이티브 앱으로 실행 가능합니다. Apache 2.0 라이선스로 공개되어 있습니다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진
mozilla-ai
단일 파일 하나로 LLM을 설치 없이 즉시 실행하는 배포 도구
sgl-project
LLM/멀티모달 모델 고성능 서빙 프레임워크