주요 특징

• 공유 코어 1.35GB와 KV 캐시만 상주시키고 토큰별로 필요한 전문가만 SSD에서 스트리밍해, 14.3GB 모델을 약 2GB 메모리 예산으로 구동합니다.
• MLX affine 4비트(그룹 64) 가중치에 라우터만 8비트로 두는 혼합 양자화를 사용하고, 전문가 캐시 슬롯과 교체 정책을 실행 옵션으로 조절할 수 있습니다.
• 설치 프로그램이 전체 체크포인트를 디스크에 내려받지 않고 Hugging Face의 고정 리비전에서 바이트 범위만 요청해 .gturbo 레이아웃으로 바로 재패킹하며, manifest와 파일 해시 검증을 통과해야 설치를 완료 처리합니다.
• 네이티브 맥 앱, CLI, 루프백 OpenAI 호환 Chat Completions 서버를 같은 .gturbo 디렉터리 위에서 제공하고 스트리밍과 함수 도구 선언을 지원합니다(도구 실행 권한은 클라이언트 책임).
• 커널, 캐시, I/O, 프리필, 디코드 전반에 걸친 103건의 측정 기록을 실험 인벤토리 문서로 공개하고 커뮤니티 벤치마크 제출 절차를 마련했습니다.