Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
스마트폰과 웨어러블, 로봇처럼 메모리와 전력이 빠듯한 기기에서 LLM·VLM·음성 모델을 돌리기 위해 바닥부터 쌓아 올린 추론 스택입니다. 회전 변환과 코드북을 쓰는 자체 CQ 양자화가 4비트에서 1비트까지 가중치를 압축하고, ARM NEON SIMD로 직접 작성한 커널 위에서 제로카피 계산 그래프가 실행되며, PyTorch 모델은 트랜스파일러로 이 그래프 형태로 변환됩니다. 엔진은 채팅·도구 호출·전사·임베딩·RAG를 OpenAI 호환 API로 노출하고, 로컬 모델의 응답 신뢰도가 임계값 아래로 떨어지면 자동으로 클라우드에 넘기는 하이브리드 핸드오프를 지원합니다. Swift·Kotlin·Flutter·React Native·Rust 바인딩이 함께 제공됩니다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
mozilla-ai
단일 파일 하나로 LLM을 설치 없이 즉시 실행하는 배포 도구