Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
Magnitude는 이미 보유한 하드웨어에서 오픈 모델을 실행하기 위한 오픈소스 추론 엔진이자 데스크톱 앱이다. 머신을 프로파일링해 모델을 내려받기 전에 카탈로그의 각 모델·양자화 버전이 낼 토큰 처리 속도(tok/s)를 추정하고, 속도·정확도·지능·메모리 기준으로 순위를 매겨 추천한다. 선택한 모델은 컨텍스트 크기부터 speculative decoding까지 해당 하드웨어에 맞게 자동 튜닝된다. Pi·OpenCode·Claude Code 등 에이전트 하네스를 클릭 한 번으로 연결할 수 있으며, 모델은 요청 시 로드되고 유휴 상태이거나 메모리가 부족하면 언로드된다. Apple Silicon, NVIDIA·AMD GPU, CPU 전용 환경을 지원하며 Apache 2.0 라이선스다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
JustVugg
초대형 MoE 모델의 전문가를 디스크에서 스트리밍해 개인 하드웨어에서 돌리는 순수 C 추론 엔진