Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
DeepSeek이 공개한 MoE 모델용 고성능 통신 라이브러리로, 학습과 추론 모두에 쓰이는 전문가 병렬(EP) all-to-all 디스패치·컴바인 GPU 커널을 제공한다. 고처리량·저지연 경로를 단일 EPBuffer 인터페이스로 통합했고 FP8 디스패치를 지원한다. 커널은 DeepJIT으로 런타임 컴파일되며 경량 NCCL Gin 백엔드를 사용한다. 9월 29일 공개된 V2.5에서는 중복 전문가용 NVLink 가중치 프리페치·그래디언트 집계를 추가하고 NVSHMEM 의존성을 제거했다. Hopper 이상 GPU와 CUDA 13.1, NCCL 2.32.3 이상이 필요하다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
JustVugg
초대형 MoE 모델의 전문가를 디스크에서 스트리밍해 개인 하드웨어에서 돌리는 순수 C 추론 엔진