Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
SageAttention은 FlashAttention과 비교하여 2-5배 속도 향상을 달성하는 양자화된 주의(Attention) 메커니즘입니다. 언어, 이미지, 비디오 모델 전반에 걸쳐 정확도 손실 없이 플러그-앤-플레이 방식으로 추론을 가속화합니다. ICLR2025, ICML2025, NeurIPS2025 스팟라이트에 선정되었으며, 다양한 하드웨어에서 효율적으로 작동합니다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
mozilla-ai
단일 파일 하나로 LLM을 설치 없이 즉시 실행하는 배포 도구