주요 특징

• 설계의 출발점은 오픈소스 영상 생성이 대체로 '무성 영화'에 머물러 있다는 문제 인식입니다. 소리를 사후 공정으로 붙이는 캐스케이드 파이프라인은 단계마다 오차가 쌓이는데, MOVA는 고품질 영상과 동기화된 오디오를 한 번의 추론 패스에서 함께 합성합니다. 구조는 비대칭 듀얼 타워로, 사전학습된 비디오 타워와 오디오 타워를 각각 살린 뒤 양방향 크로스 어텐션으로 묶어 두 모달리티가 생성 과정 내내 서로를 참조하도록 했습니다. 입력은 텍스트 프롬프트 단독(T2VA)과 첫 프레임 이미지를 함께 주는 방식(TI2VA) 모두를 받으며, 프롬프트 안에 인물의 대사를 따옴표로 적어 넣으면 그 발화가 영상과 맞물려 생성됩니다. 기술 보고서는 arXiv 2602.08794로 공개돼 있습니다.
• 성능은 립싱크와 화자 전환 정확도에서 두드러집니다. Verse-Bench 기준 정량 비교에서 격차가 가장 크게 벌어진 항목이 립싱크로, Dual CFG를 켠 MOVA-720p가 LSE-D 7.094, LSE-C 7.452를 기록했고 음성 인식 정확도와 화자 전환 정확도를 함께 반영하는 cpCER에서도 가장 좋은 수치를 냅니다. 오디오 품질과 AV-Align 지표는 전체 서브셋에서, 립싱크와 스피치 지표는 Verse-Bench Set3에서, ASR 정확도는 연구팀이 별도로 구성한 다화자 서브셋에서 측정했습니다. 객관 벤치마크 외에 사람이 직접 비교한 Elo 점수와 승률도 공개해 기존 오픈소스 모델과의 상대 위치를 보여 줍니다. 단일 화자 발화, 다화자 대화, 스포츠·게임·애니메이션 등 장면별 데모 영상이 저장소와 프로젝트 사이트에 올라와 있습니다.
• 실행 환경 요구 사항과 그 조절 수단이 구체적으로 문서화돼 있습니다. 공개 체크포인트는 MOVA-360p와 MOVA-720p 두 가지이며 둘 다 TI2VA를 지원합니다. 8초 360p 영상 생성 기준 벤치마크를 보면 컴포넌트 단위 오프로드에서 VRAM 48GB·호스트 RAM 66.7GB가 필요하고 스텝당 RTX 4090에서 37.5초, H100에서 9.0초가 걸립니다. 레이어 단위 group 오프로드로 바꾸면 VRAM은 12GB까지 내려가지만 호스트 RAM이 76.7GB로 늘고 스텝 시간도 4090 기준 42.3초로 느려집니다. 저노이즈 단계로 넘어간 뒤 `--remove_video_dit`으로 1단계 참조를 해제하면 호스트 RAM을 약 28GB 아낄 수 있습니다. Ascend NPU 학습·추론도 별도 문서로 지원합니다.
• 주변 생태계가 빠르게 붙었습니다. SGLang이 Day-0 지원을 제공해 `sglang generate`로 CLI 생성을, `sglang serve`로 온라인 서빙을 할 수 있고 ring·ulysses 병렬 축과 torch.compile을 함께 쓸 수 있으며 `/v1/videos` 엔드포인트로 프롬프트와 참조 이미지를 멀티파트로 넘기는 API 형태도 열려 있습니다. 커뮤니티가 만든 comfyui-mova 플러그인은 MOVA Model Loader와 MOVA Generate 두 노드로 I2VA·T2VA 워크플로를 제공하고 첫 사용 시 가중치를 자동으로 내려받습니다. 저장소에는 Streamlit 기반 생성 워크플로 UI가 함께 들어 있어 장면을 텍스트로 묘사하면 첫 프레임 생성부터 시각 요소 추출, 영상 설명 재작성, 최종 생성까지 이어지는 전체 모드와 프롬프트·첫 프레임을 직접 주는 단순 모드를 고를 수 있습니다. 인프라 없이 쓰려는 사용자를 위한 호스팅 API도 별도 제공됩니다.
• 재현과 확장을 위한 자산도 함께 공개했지만 미완인 부분은 남아 있습니다. 평가 코드는 오디오 품질, 립싱크, AV 정렬 등 7개 지표 그룹 11개 지표를 다루고, 주관 평가용 MOVA Benchmark for Arena는 732개 샘플로 구성돼 실제 장면 7개 범주를 담은 MOVA-Bench 132개와 영중 이중언어 VerseBench 600개로 나뉩니다. 각 샘플에 첫 프레임 이미지와 재작성된 프롬프트가 포함돼 이미지-텍스트 결합 입력 조건을 그대로 재현할 수 있습니다. 학습 쪽은 LoRA 파인튜닝을 지원하며 단일 GPU용 저자원 설정과 accelerate 설정이 각각 준비돼 있고 LoRA 랭크·옵티마이저·오프로드 전략은 모두 설정 파일에서 정의합니다. 반면 Diffusers 통합은 아직 로드맵에 미체크로 남아 있고, 모델은 Wan2.2·HunyuanVideo-Foley 등 선행 오픈소스 작업에 기반합니다.