Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
MACaQ(Model Agnostic Calibrated Quantization)는 화웨이 CSL이 공개한 모델 비종속 보정 양자화 도구로, 텍스트뿐 아니라 이미지·비디오·오디오 모델까지 양자화해 llama.cpp, vLLM, Diffusers, PyTorch에서 실행할 수 있다. README에 따르면 122B 파라미터 모델을 32.5GB 디바이스 메모리로 64분 만에 양자화하며, Llama-3-8B 기준 MR-GPTQ·DuQuant++와 비슷한 퍼플렉서티를 11배 짧은 시간에 달성한다. 2·3·4비트 GGUF와 W4A4 체크포인트를 만들 수 있고, 기존 GGUF를 표준 llama.cpp 호환성을 유지한 채 개선하는 MACaQ-R도 함께 제공한다. 라이선스는 Apache 2.0이다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
JustVugg
초대형 MoE 모델의 전문가를 디스크에서 스트리밍해 개인 하드웨어에서 돌리는 순수 C 추론 엔진