Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
SINQ(Sinkhorn-Normalized Quantization)는 화웨이 CSL이 공개한 LLM 가중치 양자화 기법이다. 가중치 한 축에만 스케일을 두어 이상치에 취약한 기존 방식을, 행과 열에 각각 스케일을 두는 이중 스케일링으로 보완한다. Sinkhorn 행렬 정규화에서 착안해 행과 열의 분산을 반복 재조정함으로써 행렬 불균형을 줄이고, 3비트에서도 오차가 이상치 주변에 몰리지 않도록 분산시킨다. 캘리브레이션 데이터와 추가 학습이 필요 없어 모델 구조를 몰라도 적용할 수 있으며, 단일 GPU에서 Qwen3-14B를 약 21초, DeepSeek-V2.5-236B를 약 5분에 양자화한다. Hugging Face Transformers에 SinqConfig로 통합됐고 ICML 2026에 채택됐다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
mozilla-ai
단일 파일 하나로 LLM을 설치 없이 즉시 실행하는 배포 도구