Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
칭화대 thu-ml 연구팀이 공개한 학습 불필요(training-free) 희소 어텐션 구현체로, ICML 2025 채택 논문 SpargeAttn의 공식 코드다. 어텐션 맵에서 중요도가 낮은 블록 연산을 건너뛰어 언어·이미지·영상 모델의 추론을 가속한다. 8비트 양자화 어텐션 SageAttention2 위에 구현되어 기존 scaled_dot_product_attention 호출을 한 줄로 교체해 쓸 수 있고, topk 값으로 정확도와 희소성 균형을 조절하며 헤드별 블록 희소 마스크도 지정할 수 있다. Ampere~Blackwell GPU를 지원하며 Apache-2.0 라이선스다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
JustVugg
초대형 MoE 모델의 전문가를 디스크에서 스트리밍해 개인 하드웨어에서 돌리는 순수 C 추론 엔진