TrnRT는 RunAnywhere가 공개한 AWS Trainium용 오픈소스 LLM 추론 엔진이다. trn2.48xlarge 한 대에서 OpenAI 호환 API를 제공하며, 디코드 단계를 레이어 절반당 하나 수준의 NKI 메가커널로 실행해 커널 경계와 작은 명령어 오버헤드를 줄인다. 첫 지원 모델은 GLM-5.3-Flash(320B MoE, 활성 18B, FP8, 1M 토큰 컨텍스트)이며, 디바이스·호스트 메모리에 걸친 프리픽스 캐시와 세션 고정 라우터를 갖췄다. README 기준 SemiAnalysis AgentX 벤치마크에서 배치 12 설정으로 분당 357만 토큰, 스팟 가격 기준 100만 토큰당 0.040달러를 기록했다고 밝힌다. 모든 그래프는 NeuronCore가 없는 CPU 호스트에서 미리 컴파일하고 서빙 장비는 이를 불러와 쓰는 구조다.