Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
ggml은 llama.cpp와 whisper.cpp의 기반이 되는 C/C++ 머신러닝 텐서 라이브러리로, 외부 의존성 없이 단순하고 이식성 높은 추론 실행을 목표로 한다. x86·ARM·RISC-V·LoongArch·PowerPC·s390x·WebAssembly에서 동작하고, CPU 외에 CUDA·Metal·Vulkan·SYCL·OpenCL·WebGPU·CANN·Hexagon 등 다양한 백엔드를 지원한다. 2~8비트 정수 양자화와 MXFP4·NVFP4 마이크로스케일링 포맷, GGUF 파일 포맷을 제공하며 런타임 중 메모리 할당이 없다. 2026년 11월 13일 1.0.0이 릴리스되어 폐기 예정 API 정리, FP8 지원, 백엔드별 MoE·FlashAttention 성능 개선이 반영됐다. 라이선스는 MIT다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
JustVugg
초대형 MoE 모델의 전문가를 디스크에서 스트리밍해 개인 하드웨어에서 돌리는 순수 C 추론 엔진