주요 특징

• 밀집 트렁크를 사용자가 정한 깊이까지만 메모리에 올리고 나머지는 디스크에서 스트리밍해, 8GB부터 224GB까지 같은 모델을 돌리면서 출력은 바이트 단위로 동일하게 유지합니다.
• 1.45TB에 달하는 라우팅 전문가 가중치를 4비트 패킹 형태 그대로 곱해 역양자화 단계 없이 상주 메모리를 줄이고, 896개 전문가 중 토큰당 16개만 선택합니다.
• KDA(메모리가 커지지 않는 어텐션)와 MLA(96개 헤드 대신 잠재 벡터 하나)를 직접 구현해 긴 프롬프트에서도 KV 상태가 선형으로 늘지 않게 합니다.
• 전문가 접근에 LRU 캐시를 두고 실제 트레이스로 캐시 크기를 결정하며, 93개 레이어의 트렁크를 레이어당 한 번의 읽기로 끝나도록 재패킹합니다.
• 체크포인트 없이도 make 한 번으로 전체 테스트 스위트를 약 1분 만에 돌릴 수 있고, 작은 오라클부터 전체 체크포인트까지 단계별 검증 게이트를 제공합니다.