Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
인텔이 개발한 LLM/VLM 양자화 알고리즘으로, sign-gradient descent 최적화 기법을 통해 2~4비트의 초저비트 양자화에서도 높은 정확도를 유지합니다. W2A16부터 W8A16, MXFP4, MXFP8, NVFP4, GGUF Q2-Q8까지 다양한 양자화 스킴을 지원하며, AutoScheme 기능으로 레이어별 혼합 정밀도 구성을 자동 생성합니다. CPU(Xeon), NVIDIA CUDA, Intel XPU, Habana HPU 등 다양한 하드웨어에서 동작하고 vLLM, SGLang, Transformers와 완전히 호환됩니다. 7B급 모델을 단일 GPU에서 약 10분 만에 양자화할 수 있습니다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
mozilla-ai
단일 파일 하나로 LLM을 설치 없이 즉시 실행하는 배포 도구