Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.

PyTorch가 개발한 모바일, 임베디드, 엣지 디바이스용 온디바이스 AI 통합 프레임워크입니다. 스마트폰부터 마이크로컨트롤러까지 다양한 디바이스에 머신러닝 모델을 직접 배포합니다. 50KB 베이스 런타임으로 리소스 제약 환경에 최적화되어 있으며, Apple, Qualcomm, ARM, MediaTek 등 12개 이상 하드웨어 백엔드를 지원합니다. LLM, 비전, 음성, 멀티모달 모델 배포가 가능하고, 양자화, 메모리 최적화, 커스텀 연산자 지원 도구를 제공합니다. Meta의 Instagram, WhatsApp, Quest 3 등 프로덕션 AI 시스템에서 사용 중입니다. C++로 작성되었으며 BSD 라이선스로 공개되어 있습니다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
mozilla-ai
단일 파일 하나로 LLM을 설치 없이 즉시 실행하는 배포 도구