Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
ParoQuant는 효율적인 추론용 LLM을 위한 쌍별 회전 양자화(Pairwise Rotation Quantization) 기술을 제공합니다. ICLR 2026에 발표된 최신 양자화 방법으로, 가중치 이상치를 억제하기 위해 학습된 쌍별 회전을 사용하여 최첨단 INT4 양자화를 달성합니다. FP16과의 정확도 격차를 좁히면서 AWQ와 유사한 속도로 실행됩니다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
mozilla-ai
단일 파일 하나로 LLM을 설치 없이 즉시 실행하는 배포 도구