Trending

mlx-serve

ddalcuMIT2026.10.17

추론2.0K Stars203 Forks56 조회

Apple Silicon Mac에서 LLM을 로컬로 실행하는 네이티브 추론 서버다. Python 없이 약 7MB Zig 단일 바이너리로 동작하며 MLX 모델과 임베디드 llama.cpp 기반 GGUF 모델을 모두 실행한다. 한 포트에서 OpenAI·Anthropic·Ollama API를 동시에 제공해 Claude Code·Cursor·Open WebUI 등을 그대로 연결할 수 있다. 추측 디코딩, 커스텀 Metal 커널, 연속 배칭, KV 캐시 양자화를 적용했고, README는 동일 MLX 가중치 기준 LM Studio 대비 디코드 속도가 평균 26% 빠르다고 밝힌다(M4 Max). 이미지·영상·음성 생성과 메뉴바 앱도 포함하며 MIT 라이선스다.

주요 특징

MLX 모델과 임베디드 llama.cpp 기반 GGUF 모델을 형식에 따라 자동 라우팅해 실행, DeepSeek V4 Flash(284B)는 antirez/ds4 엔진으로 지원
한 포트에서 OpenAI(chat/completions·Responses+WebSocket), Anthropic Messages, Ollama API를 동시 제공
추측 디코딩 4종(PLD·드래프트 모델·Gemma 4 drafter·Qwen 네이티브 MTP), 커스텀 Metal 커널, 연속 배칭, 4/8비트 KV 캐시 양자화
Python 런타임 없이 약 7MB Zig 단일 바이너리, `mlx-serve run gemma4` 형태의 Ollama 스타일 CLI 제공
Claude Code·OpenCode·Codex 등 코딩 에이전트 원클릭 연동과 Bonjour 기반 LAN 모델 공유
macOS 메뉴바 앱(MLX Core)에 채팅·에이전트 모드·MCP 도구 호출과 이미지·영상·음악·음성·3D 생성 기능 포함

Open Source

mlx-serve

주요 특징

태그

관련 프로젝트

Ollama

llama.cpp

exo

Colibrì