Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
요청마다 어떤 모델로 보낼지를 애플리케이션 코드가 아닌 정책으로 결정하는 라우팅 계층입니다. Envoy의 External Processor(ext_proc)로 클라이언트와 모델 백엔드 사이에 끼어들어, 권한·언어·복잡도·도메인·임베딩·탈옥·PII 등 16개 시그널 계열을 추출하고 partitions/scores/mappings 프로젝션으로 정리한 뒤 AND/OR 규칙으로 경로와 후보 모델을 고릅니다. 분류 모델은 Rust candle 바인딩으로 라우터 안에서 직접 돌아가고, 시맨틱 캐시·PII 탐지·탈옥 차단·토큰 단위 환각 탐지는 플러그인 체인으로 붙습니다. 비싼 모델과 긴 컨텍스트, 도구 호출을 정말 필요한 요청에만 배분하는 토큰 경제 계층입니다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
mozilla-ai
단일 파일 하나로 LLM을 설치 없이 즉시 실행하는 배포 도구