Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
Aphrodite Engine은 PygmalionAI 커뮤니티에서 출발해 독립 프로젝트로 발전한 대규모 LLM 추론 엔진입니다. vLLM의 PagedAttention을 기반으로 자체 개량한 스케줄러와 확장된 샘플링 API를 제공해 수백 명의 동시 사용자에게 안정적으로 응답을 스트리밍할 수 있습니다. CUDA·ROCm·Intel·AWS Inferentia·TPU 등 다양한 백엔드와 LoRA 다중 어댑터, 스펙큘레이티브 디코딩, AWQ·GPTQ·EXL2 등 폭넓은 양자화 포맷을 지원합니다. OpenAI 호환 REST API를 내장해 기존 툴체인과의 교체도 쉬워, 셀프호스팅 LLM 서빙에 실용적인 선택지로 자리잡고 있습니다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
mozilla-ai
단일 파일 하나로 LLM을 설치 없이 즉시 실행하는 배포 도구