Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.

MLC LLM은 대규모 언어 모델을 컴파일하고 배포하기 위한 범용 추론 엔진입니다. 머신러닝 컴파일러 기술(TVM)을 활용하여 모든 플랫폼에서 최적화된 LLM 추론을 가능하게 합니다. AMD, NVIDIA, Apple, Intel GPU를 모두 지원하며, REST 서버, Python, JavaScript, iOS, Android 등 다양한 인터페이스를 통해 OpenAI 호환 API를 제공합니다. WebGPU와 WASM을 통한 브라우저 실행, iOS Metal, Android OpenCL 등 모바일 디바이스까지 지원하는 진정한 범용 배포 엔진입니다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
mozilla-ai
단일 파일 하나로 LLM을 설치 없이 즉시 실행하는 배포 도구