Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
BigMoeOnEdge는 기기 메모리보다 큰 Mixture-of-Experts(MoE) 모델을 실행하는 llama.cpp 기반 추론 엔진으로, Apache-2.0 라이선스로 공개되어 있다. 토큰마다 필요한 공통 가중치와 자주 쓰이는 전문가(expert)는 메모리(VRAM·RAM)에 캐시하고, 나머지 전문가는 필요할 때 플래시 저장장치에서 읽어온다. README 기준 21GB인 Qwen3.6-35B-A3B를 12GB 안드로이드폰·아이폰과 16GB 애플 실리콘 노트북에서 실행하며, 출력은 모델 전체를 메모리에 올렸을 때와 같도록 테스트로 확인한다. `--auto` 플래너가 기기와 모델을 측정해 캐시 크기·스레드·장치 배치를 정하고, 데스크톱·모바일 앱과 OpenAI·Anthropic 호환 서버를 함께 제공한다.
ollama
로컬 LLM을 쉽게 실행하는 도구
ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진
exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
JustVugg
초대형 MoE 모델의 전문가를 디스크에서 스트리밍해 개인 하드웨어에서 돌리는 순수 C 추론 엔진