Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
메모리에 다 올라가지 않는 대형 MoE 모델을 Apple Silicon Mac에서 실행하도록 만든 로컬 LLM 추론 엔진이다. 1,250억 파라미터 Qwen3.8-Flash-Next(4비트 약 105GB)의 대부분을 SSD에 두고, 다음 레이어에 필요한 전문가(expert) 가중치를 예측해 미리 읽어 오는 방식으로 16~64GB 메모리 Mac을 주 대상으로 한다. README 기준 48GB M5 Pro에서 33GB 메모리 예산으로 20.91~23.69 tok/s를 측정했으며, 측정 조건과 실패한 실험도 공개한다. Python 없이 MLX·Metal 기반 단일 Swift 프로그램으로 동작하고, Ollama·OpenAI·Anthropic 호환 API와 Swift 라이브러리를 제공한다. 라이선스는 MIT다.
huggingface
SOTA 기계학습 모델을 위한 오픈소스 모델 정의 프레임워크
google-gemini
터미널에서 Gemini AI를 사용하는 Google 공식 CLI 에이전트
rasbt
PyTorch로 ChatGPT 스타일 LLM을 처음부터 구현하는 교육용 자료
punkpeye
LLM 도구 연동 표준 MCP 서버 큐레이션 모음