Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
MLC 프로젝트가 개발한 브라우저 내장형 LLM 추론 엔진으로, WebGPU 하드웨어 가속을 활용해 별도 서버 없이 웹 브라우저에서 직접 대규모 언어 모델을 실행합니다. 모든 연산이 클라이언트 측에서 이루어져 데이터가 외부로 전송되지 않으므로 개인정보 보호에 유리합니다. Llama, Phi, Gemma, Mistral, Qwen 등 다양한 오픈 모델을 지원하며, OpenAI API와 호환되는 인터페이스를 제공해 기존 애플리케이션에 손쉽게 통합할 수 있습니다. 스트리밍 응답과 웹 워커 기반 백그라운드 실행도 지원합니다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
mozilla-ai
단일 파일 하나로 LLM을 설치 없이 즉시 실행하는 배포 도구