Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
PainlessInferenceAcceleration은 '눈물 없이 추론 가속화'를 목표로 하는 Alipay의 최신 프로젝트입니다. 순수 파이프라인 병렬화를 활용하여 추론 처리량을 향상시키는 FLOOD를 포함하고 있습니다. 이전의 LOOKAHEAD 프레임워크를 계승하여 Llama, Mixtral 등 다양한 모델을 지원하며, 프로덕션 환경에서의 효율적인 추론 가속화를 제공합니다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
mozilla-ai
단일 파일 하나로 LLM을 설치 없이 즉시 실행하는 배포 도구