Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
Mesh LLM은 Apache-2.0 라이선스로 공개된 Rust 기반 분산 LLM 추론 시스템이다. 여러 머신의 GPU와 메모리를 하나로 묶어 `http://localhost:9337/v1` 단일 OpenAI 호환 API로 노출한다. 한 노드가 모델 전체를 수용하면 로컬에서 서빙하고, 아니면 요청을 해당 모델을 가진 피어로 라우팅하거나, 한 대에 올라가지 않는 대형 모델은 Skippy 런타임(패치된 llama.cpp 기반)이 레이어 구간 단위 스테이지로 나눠 여러 노드에서 실행한다. 노드 간 트래픽은 QUIC로 종단 간 암호화되며, 공개 메시는 Nostr로 탐색하고 비공개 메시는 초대 토큰으로 참여한다. macOS Metal, Linux·Windows CPU/CUDA/ROCm/Vulkan 번들을 제공한다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
JustVugg
초대형 MoE 모델의 전문가를 디스크에서 스트리밍해 개인 하드웨어에서 돌리는 순수 C 추론 엔진