Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
OptiLLM은 LLM 추론 시점에 다양한 최적화 기법을 자동 적용하는 OpenAI 호환 프록시 서버입니다. 모델 재학습 없이 추론 품질을 2~10배 향상시키며, 20가지 이상의 최적화 기법(Mixture of Agents, Chain-of-Thought, Monte Carlo Tree Search, Self-Consistency 등)을 지원합니다. 기존 애플리케이션의 base URL만 변경하면 바로 적용 가능한 드롭인 방식으로, OpenAI·Anthropic·Google 등 100개 이상의 모델 공급자를 LiteLLM 통합으로 지원합니다. 플러그인 시스템을 통해 메모리 관리, 코드 실행, 웹 검색, MCP 도구 연동 기능도 확장 가능합니다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
mozilla-ai
단일 파일 하나로 LLM을 설치 없이 즉시 실행하는 배포 도구