Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
llama.cpp 기반의 단일 실행 파일형 로컬 LLM 추론 서버로, 설치 없이 텍스트 생성부터 이미지 생성·편집, 음성 인식(Whisper), 음성 합성까지 지원합니다. KoboldAI Lite UI를 내장해 캐릭터 카드, 월드 인포 등 스토리텔링 기능을 제공하며 KoboldCpp, OpenAI, Ollama 호환 API 엔드포인트를 제공합니다. GGUF 포맷 모델을 CUDA, Vulkan, Metal, CPU 등 다양한 백엔드로 실행할 수 있고 GPU 레이어 오프로딩, MCP 서버 연동, 함수 호출 등 부가 기능도 지원합니다. Windows, macOS, Linux용 사전 빌드 바이너리를 제공합니다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
mozilla-ai
단일 파일 하나로 LLM을 설치 없이 즉시 실행하는 배포 도구