Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
smolmaxxing은 TV 박스, 오래된 휴대폰·태블릿처럼 쓰지 않는 소형 기기에서 실행 가능한 가장 큰 언어 모델을 찾아 돌리는 실험 프로젝트다. llama.cpp에 대한 패치 형태로, 칩별 맞춤 커널(1비트 룩업 테이블, Cortex-A55용 2비트·삼진 포맷), 거의 쓰이지 않는 어휘 출력 행 제거, 자주 쓰는 전문가만 RAM에 두고 나머지는 플래시에서 읽어오는 MoE 전문가 페이징을 적용했다. README에 따르면 약 1GB RAM의 샤오미 TV 박스에서 16B MoE 모델을 5.1 tok/s로, 2013년형 iPad Air에서 1비트 Bonsai-1.7B를 24~26 tok/s로, 여유 RAM 약 3GB인 OnePlus 폰에서 Qwen3-Next-80B-A3B를 2.6~3.1 tok/s로 실행했다. 모든 수치는 해당 기기에서 직접 측정한 값이며 실패 사례를 포함한 165건의 실험 기록도 공개한다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
JustVugg
초대형 MoE 모델의 전문가를 디스크에서 스트리밍해 개인 하드웨어에서 돌리는 순수 C 추론 엔진