Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
ZML은 zml이 공개한 프로덕션급 AI 추론 스택으로, AI 워크로드를 특정 하드웨어 종속성에서 분리하는 것을 목표로 합니다. 하나의 코드베이스로 NVIDIA, AMD, Google TPU, AWS Trainium 등 다양한 가속기에 직접 컴파일하여, 코드 재작성 없이 각 하드웨어에서 최고 성능을 끌어냅니다. Zig 언어와 MLIR, OpenXLA, Bazel 위에서 구축되어 컴파일러 기반의 이식성과 성능을 동시에 추구합니다. 특정 벤더 GPU에 묶이지 않고 모델을 여러 종류의 가속기에서 동일하게 서빙하려는 추론 인프라 팀에게 유용한 선택지입니다. Apache-2.0 라이선스로 공개되어 있습니다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
mozilla-ai
단일 파일 하나로 LLM을 설치 없이 즉시 실행하는 배포 도구