Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
Basalt는 Qwen3.8-Flash-Next와 DeepSeek-V4.1-Flash 같은 대형 MoE(전문가 혼합) 모델을 NVIDIA Blackwell GPU(sm_120)에서 로컬로 돌리기 위한 C++ 추론 엔진이다. VRAM에 들어가지 않는 전문가 가중치는 시스템 RAM이나 추가 GPU에 두고 실행하며, 서버는 OpenAI와 Anthropic API 형식을 모두 지원한다. 모델별 전용 .basalt 양자화 팩을 Hugging Face로 배포하고, MTP·DSpark 기반 추측 디코딩과 이미지 입력을 기본 지원한다. 로컬 추론 엔진 Strata의 포크로 ggml/llama.cpp 양자화 커널을 사용하며, Linux와 Windows x64에서 CUDA 13으로 빌드된다. MIT 라이선스.
ollama
로컬 LLM을 쉽게 실행하는 도구
ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진
exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
JustVugg
초대형 MoE 모델의 전문가를 디스크에서 스트리밍해 개인 하드웨어에서 돌리는 순수 C 추론 엔진