Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
Kyojin은 ExLlamaV3 기반 오픈소스 LLM 추론 엔진으로, 100GB급 대형 오픈 모델을 미니 PC 한 대나 그래픽카드 한 장에서 돌리는 것을 목표로 한다. AMD Ryzen AI Max+ 395(Strix Halo, ROCm)와 NVIDIA(sm_80 이상, CUDA)를 지원하며, Yamz Labs가 직접 만든 GLM·Qwen·MiMo용 EXL3 양자화 팩과 투기적 디코딩을 함께 제공한다. 128GB 머신에서 Qwen3.8-Flash-Next를 초당 47.5~73.2토큰으로 디코딩하고 최대 500K 토큰 컨텍스트를 지원한다고 보고한다. 메모리보다 큰 DeepSeek-V4.1-Flash는 전문가 일부를 NVMe에서 읽는 실험적 SSD 계층으로 실행하며, OpenAI 호환 API를 제공한다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
JustVugg
초대형 MoE 모델의 전문가를 디스크에서 스트리밍해 개인 하드웨어에서 돌리는 순수 C 추론 엔진