주요 특징

• '가중치용 JIT'라는 설계로, 측정된 라우팅 빈도에 따라 레이어별 LRU 캐시와 학습형 고정(pinned) 핫스토어에 전문가를 배치한다. 라우터를 한 레이어 앞서 실행해 다음 레이어 전문가를 미리 읽으며, README는 한 레이어 앞 라우팅이 71.6% 예측 가능하다는 측정치를 제시한다. 사용 이력(.coli_usage)이 쌓일수록 자주 쓰는 전문가가 자동으로 고정된다.
• I/O를 엔진의 일부로 다룬다. 전문가 하나의 세 행렬을 인접 저장해 pread 한 번에 읽고, 비동기 I/O 풀로 누락된 전문가를 불러오는 동안 상주 전문가 연산을 겹친다. 두 번째 SSD에 모델 사본을 두면 대역폭 가중 해시로 두 드라이브에서 동시에 스트리밍하며, 일부 샤드만 담은 부분 미러도 사용 이력 기반으로 계획·스테이징·SHA-256 검증할 수 있다.
• 엔진은 BLAS나 Python 런타임 의존성이 없고 GPU 없이 CPU만으로 동작하며, GPU는 속도를 높이는 선택 사항이다. CUDA·Metal·Vulkan 백엔드와 NUMA 인터리브를 지원하고, Vulkan 백엔드는 Mesa/RADV를 통해 RX 580 같은 구형 AMD 카드에서도 전문가 계층을 돌릴 수 있다. 여러 Mac을 묶어 라우팅 전문가 FFN을 원격 워커에서 실행하는 로컬 클러스터 모드도 있다.
• 순방향 연산을 transformers 오라클과 대조 검증하고, MLA 어텐션의 KV 상태를 토큰당 576개 float로 압축(57배 축소)해 .coli_kv 파일로 보존한다. 덕분에 재시작 후에도 재프리필 없이 대화를 이어갈 수 있다. GLM-5.2의 네이티브 MTP 헤드 기반 추측 디코딩과 GBNF 문법 강제 드래프트를 지원하되, 이득이 없으면 끄도록 측정 기반으로 운영한다.
• coli chat·serve·web 공통 프런트엔드로 TUI, OpenAI 호환 API, 웹 대시보드를 제공하며 config.json을 읽어 모델 계열별 엔진을 자동 선택한다. 대시보드에는 턴별 시간 분해를 보여주는 Profiling 페이지와 전문가 라우팅을 시각화한 Brain 페이지가 있다. 'Brio 모드'는 텍스트를 생성하지 않고 주어진 선택지 각각의 확률과 엔트로피를 읽어 분류형 질문에 답한다.