주요 특징

• 시각 인코딩과 언어 생성을 분리한 크로스어텐션 아키텍처를 채택해 이미지·비디오·텍스트가 뒤섞인 인터리브 입력을 네이티브로 지원하면서 동적 비디오 스트림에서의 응답 지연을 줄였습니다.
• MOSS-VL-Realtime은 연속 프레임이 들어오는 동안 멀티모달 인식과 텍스트 생성을 병렬로 수행해, 사용자가 영상의 어느 시점에서든 질문하면 그때까지 수신된 프레임만으로 즉시 응답하는 실시간 상호작용을 구현합니다.
• 맥락 정보가 부족하거나 별다른 사건이 없으면 스스로 침묵하며 관찰을 이어가는 능동적 침묵(Proactive Silence)과, 새 프레임이 들어올 때마다 이전 출력을 갱신·수정하는 동적 보정 기능을 갖췄습니다.
• 모든 샘플링 프레임에 절대 타임스탬프 토큰을 부여하고, 텍스트 토큰과 비디오 패치를 하나의 3차원 (t, h, w) 좌표 공간으로 매핑하는 XRoPE 위치 인코딩을 사용해 가변 프레임레이트에서도 프레임·시점 단위 그라운딩이 가능합니다.
• 저장소가 공개한 정보 기준 OmniMMI 스트리밍 벤치마크에서 오픈소스 SOTA 지연 성능을 기록했으며, 단일 24GB GPU에서 구동 가능한 FP8·NF4 양자화 체크포인트와 SGLang·LlamaFactory 연동 추론·파인튜닝 워크플로를 함께 제공합니다.