Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
InferSSD는 RAM이나 VRAM보다 큰 MoE(전문가 혼합) 모델을 SSD에서 전문가 가중치를 스트리밍하며 실행하는 오픈소스 추론 엔진이다. llama.cpp를 기반으로 표준 GGUF 파일을 그대로 쓰며, 터미널·브라우저 채팅과 OpenAI 호환 API를 제공한다. 현재 DeepSeek-V4.1-Flash-1017(763B), Muse-Spark-Open(816B), Qwen3.6-35B-A3B를 지원하고, 공개 벤치마크에서 같은 하드웨어의 llama.cpp 대비 DeepSeek 프리필 4.85~46.70배, 디코드 3.29~10.54배 속도를 보고했다. 메모리 설정 없이 가용 메모리를 자동으로 쓰며 macOS(Metal)와 Linux(CUDA)를 지원한다. C++, Apache-2.0 라이선스.
ollama
로컬 LLM을 쉽게 실행하는 도구
ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진
exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
JustVugg
초대형 MoE 모델의 전문가를 디스크에서 스트리밍해 개인 하드웨어에서 돌리는 순수 C 추론 엔진