Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.

UIUC(일리노이대학교) 연구팀이 개발한 LLMRouter는 쿼리별 최적의 LLM을 동적으로 선택하는 오픈소스 라우팅 라이브러리입니다. KNN, SVM, MLP, Graph-based, BERT 등 16개 이상의 라우팅 모델을 지원하며, 단일/다중 라운드, 에이전트형, 개인화 라우터 등 4개 카테고리로 구성됩니다. MMLU, GPQA, MATH 등 11개 벤치마크 데이터셋에서 검증되었으며, NeurIPS/ICLR 논문을 기반으로 구현되었습니다. 쿼리 난이도에 따라 강력하지만 비싼 모델과 가벼운 모델을 자동으로 선택하여, 비용 대비 성능을 최적화할 수 있습니다. OpenAI 호환 API 서버도 함께 제공됩니다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
mozilla-ai
단일 파일 하나로 LLM을 설치 없이 즉시 실행하는 배포 도구