주요 특징

• 모델 가중치를 mmap으로 디스크에 남겨 두고 OS 페이지 캐시가 한 번에 한 레이어 정도만 올리도록 설계했습니다. 실제 상주 메모리는 작업 버퍼 1.2MB, FP16 KV 캐시 약 40MB, 토크나이저 4.5MB 를 합쳐 45MB 수준으로, 2048 컨텍스트 기준 KV 캐시를 FP32로 잡을 때의 절반입니다.
• GGUF v2/v3 파일을 변환 없이 직접 읽습니다. Q2_K부터 Q6_K까지의 K-Quant와 Q8_0, Q4_0, F16, F32를 지원하며 BPE 토크나이저도 GGUF 메타데이터에서 그대로 로드하기 때문에 별도 토크나이저 파일이 필요 없습니다.
• 저사양 CPU를 겨냥한 최적화가 들어가 있습니다. ARM NEON과 x86 SSE2를 자동 감지하고, 역양자화와 내적을 한 번에 처리하는 fused dot product로 중간 버퍼를 없앴으며, RoPE의 cos/sin 값을 미리 계산한 룩업 테이블과 온라인 소프트맥스 방식의 플래시 어텐션으로 시퀀스 길이에 비례하는 버퍼를 제거했습니다.
• --json 플래그를 켜면 문법 제약 디코딩으로 구문상 유효한 JSON 출력을 강제합니다. 1B 규모 모델로 툴 콜링을 시킬 때 형식이 깨지는 문제를 막기 위한 장치이며, --cache 옵션으로 KV 캐시를 파일에 저장했다가 다시 불러오면 같은 프롬프트의 프리필 단계를 건너뛸 수 있습니다.
• 저장소에 실측 성능표가 있습니다. Pi 5에서 약 10 tok/s, Pi 4에서 약 8 tok/s, Pi 3B+ 약 4 tok/s, Pi Zero 2W 약 2 tok/s, 9.9달러짜리 LicheeRV Nano에서 약 1 tok/s 이며 RAM 사용량은 모든 기기에서 45MB로 동일합니다. 빌드 타깃도 native, pi, pi-arm32, cross-pi, riscv, static 으로 나뉘어 있고 리눅스와 macOS, MSVC 윈도우를 지원합니다.