Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
MNN은 알리바바가 자체 개발해 타오바오, 티몰, 딩톡 등 30개 이상의 자사 앱에 실전 적용해온 경량 고성능 딥러닝 추론 엔진이다. 모바일·PC·IoT 등 온디바이스 환경에서 딥러닝 모델의 추론과 학습을 모두 지원하며, 이 위에 구축된 MNN-LLM 런타임은 Qwen, LLaMA 등 대형 언어모델을 기기 로컬에서 직접 구동하게 해준다. 최근 퀄컴 Hexagon DSP 백엔드를 추가해 온디바이스 추론 가속을 확장했으며, 멀티모달 LLM 안드로이드·iOS 앱과 스테이블 디퓨전 기반 이미지 편집 런타임 MNN-Diffusion도 함께 제공한다. Apache 2.0 라이선스로 공개된다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
mozilla-ai
단일 파일 하나로 LLM을 설치 없이 즉시 실행하는 배포 도구