Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
NVIDIA가 2017년부터 공개해 온 CUDA 기반 고성능 행렬곱(GEMM)·선형대수 커널 라이브러리다. GEMM을 스레드·워프·블록 계층으로 분해해 재사용 가능한 C++ 템플릿 컴포넌트로 제공하며, 핵심 레이아웃·텐서 추상화 라이브러리 CuTe를 기반으로 한다. CUTLASS 4부터는 C++ 지식 없이 Python으로 CUDA 커널을 작성하는 CuTe DSL을 추가했다. FP64부터 FP8, NVFP4·MXFP4 같은 블록 스케일 형식, 4·8비트 정수까지 지원해 LLM 추론 커널 구현에 널리 쓰인다. 2026년 9월 공개된 4.8.0은 Rubin(SM107) 아키텍처 초기 지원과 Windows용 CuTe DSL을 포함한다. 라이선스는 BSD-3-Clause.
ollama
로컬 LLM을 쉽게 실행하는 도구
ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진
exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
JustVugg
초대형 MoE 모델의 전문가를 디스크에서 스트리밍해 개인 하드웨어에서 돌리는 순수 C 추론 엔진