Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
DeepSeek가 자사 대규모 프로덕션 서비스에 쓰는 추론 프레임워크의 공개판으로, 현재 DeepSeek-V4.1-Flash를 지원한다. FlashMLA·DeepGEMM·DeepEP 등 자체 커널과 TileLang 커널, Attention DP·MoE EP+EPLB 병렬화, DSpark 초안 디코딩과 신뢰도 기반 검증, 배치 불변 추론·결정적 샘플링·구조화 출력을 제공한다. 대상 하드웨어는 NVIDIA SM100 GPU와 Huawei Ascend 950 NPU다. KV 캐시 시스템, Prefill/Decode 분리, DP 부하분산은 이번 공개에 포함되지 않았다. vLLM을 기반으로 출발했다. Apache-2.0 라이선스.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
JustVugg
초대형 MoE 모델의 전문가를 디스크에서 스트리밍해 개인 하드웨어에서 돌리는 순수 C 추론 엔진