Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
Mirai가 공개한 Rust 기반 고성능 AI 모델 추론 엔진으로, 모델을 앱에 내장해 로컬에서 실행하는 것을 목표로 한다. Apple 기기의 통합 메모리를 활용하는 metal·cpu 백엔드로 macOS·iOS를 지원하며 Linux·Windows·WASM 타깃은 개발 중이다. Rust 크레이트에 Swift·Python·TypeScript 바인딩을 제공하고, 모델 다운로드부터 추론 설정까지 고수준 API로 처리한다. 채팅, 구조화 출력(JSON 스키마), 툴 호출 예제를 포함하며 CLI server 모드로 OpenAI 호환 HTTP 서버도 실행할 수 있다. 모델은 lalamo로 변환한 자체 포맷을 사용한다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
JustVugg
초대형 MoE 모델의 전문가를 디스크에서 스트리밍해 개인 하드웨어에서 돌리는 순수 C 추론 엔진