Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
LLM-AWQ는 활성화 인식 가중치 양자화(Activation-aware Weight Quantization) 기술을 구현한 오픈소스 프로젝트입니다. MLSys 2024 최우수 논문상을 수상했으며, LLM 압축 및 가속화를 위한 최첨단 양자화 방법을 제공합니다. Llama, OPT, CodeLlama 등 다양한 LLM 모델을 지원합니다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
mozilla-ai
단일 파일 하나로 LLM을 설치 없이 즉시 실행하는 배포 도구