주요 특징

• 오픈엔디드 스트림을 전제로 설계된 점이 기존 영상 편집 모델과 갈리는 지점입니다. 일반적인 비디오 디퓨전은 고정된 길이의 클립 전체를 한 번에 처리하지만, 이 시스템은 프레임이 들어오는 순서대로 인과적으로 편집하기 때문에 영상이 언제 끝나는지 몰라도 되고 미래 프레임을 참조하지 않습니다. 오프라인 배치 처리에 머물던 영상 편집을 대화형 스트리밍 생성 쪽으로 옮기는 것이 목표입니다.
• 지시로 다룰 수 있는 편집 범위가 넓습니다. 전체적인 외형 변경, 국소 객체 편집, 피사체 추가·제거·교체, 배경 교체, 스타일 전이, 동작 변경을 지원하며 README에는 인물과 실내를 영국 성 귀족풍으로 바꾸거나 수채화 스타일로 전환하고, 특정 색 고양이만 제거하거나 강아지들에게 모자를 씌우는 사례가 소스·결과 영상과 함께 실려 있습니다. 참조 이미지로 조건을 주는 RV2V 모드에서는 이미지 속 옷을 영상 속 모델에게 입히는 식의 편집이 가능합니다.
• 실시간 처리량을 위해 여러 가속 기법을 겹쳐 적용했습니다. 자기회귀 분포 매칭 증류(aligned autoregressive distribution matching distillation), 긴 시퀀스를 겨냥한 long-horizon 최적화, 메모리를 일정하게 유지하는 bounded KV-state 추론, 배포를 전제로 한 스케줄링을 결합했습니다. 이는 처리량 확보뿐 아니라 학습-추론 간 불일치와 프레임이 쌓이며 누적되는 시간적 드리프트를 줄이기 위한 설계이기도 합니다.
• 실제 GPU에서의 동작 조건이 구체적으로 공개돼 있습니다. 2026년 8월 15일 공개된 라이브 데모는 RTX PRO 6000(Blackwell) 단일 GPU에서 840x480 24 FPS 또는 720p 16 FPS로 동작하며, Hugging Face Spaces에서 직접 시험해볼 수 있습니다. 8월 14일에는 참조 이미지 기반 편집(RV2V)의 피사체·정체성 보존과 긴 스트림에서의 시간적 일관성을 개선한 DiT 가중치가 갱신됐습니다.
• 배포 코드와 체크포인트가 먼저 공개된 단계입니다. conda 환경에 deploy/requirements.txt를 설치하고 Hugging Face에서 받은 DiT·VAE 가중치를 deploy/deps/checkpoints/ 아래에 배치한 뒤 run_server.sh를 실행하면 localhost:8080에서 웹 UI가 뜨며, MiMo-VL과 ONNX 검출기는 외부 런타임 의존성으로 따로 준비해야 합니다. 소비자용 GPU(RTX 5090) 최적화, Diffusers 파이프라인 지원, 장편 영상 평가용 LongV2VBench 공개, 전체 학습·데이터 파이프라인 오픈소스화는 아직 TODO로 남아 있습니다.