Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
vLLM Ascend는 vLLM 커뮤니티가 관리하는 하드웨어 플러그인으로, 화웨이 Ascend NPU에서 vLLM 추론 서빙을 실행할 수 있게 한다. vLLM의 하드웨어 플러그형(Hardware pluggable) RFC에 따라 Ascend 연동을 본체와 분리된 인터페이스로 구현한 공식 권장 방식이다. Transformer 계열, MoE, 임베딩, 멀티모달 LLM을 지원하며 Atlas 800I A2/A3, Atlas 300I Duo 등과 CANN·TorchNPU 환경에서 동작한다. 2026년 10월 29일 v0.30.0 안정 버전이 나와 DeepSeek V4.1, GLM-5.3, Qwen3.8-27B, Kimi K3 등을 주요 대상 모델로 다룬다. 라이선스는 Apache 2.0이다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
JustVugg
초대형 MoE 모델의 전문가를 디스크에서 스트리밍해 개인 하드웨어에서 돌리는 순수 C 추론 엔진