주요 특징

• 하나의 causal transformer 안에서 이산 시퀀스를 자기회귀로 다루는 1D 전문가와 연속 공간 특징을 flow matching으로 생성하는 2D 전문가가 컨텍스트를 공유합니다. 학습 손실도 1D 전문가의 cross-entropy와 2D 전문가의 flow-matching objective, 딱 두 개만 더해 쓰기 때문에 모달리티마다 별도 헤드나 태스크 파이프라인을 설계할 필요가 없습니다.
• 지원 모달리티는 2D 연속 잠재값 계열(RGB 이미지, 깊이맵, 표면 법선, 시맨틱 분할, 에지, 마스크)과 1D 이산 토큰 계열(텍스트, 캡션, 검출 박스, DINOv2·CLIP·ImageBind로 만든 VQ 토큰)을 합쳐 총 16개입니다.
• 임의의 모달리티 쌍 사이를 오가는 any-to-any 생성뿐 아니라, 한 번 생성한 출력을 다음 생성의 조건으로 다시 넣는 체이닝 예측과 여러 후보를 모달리티 간 상호 검증으로 점수 매기는 self-verification 기능을 지원합니다.
• 새 모달리티를 YAML로 설정하는 레지스트리 구조라 모델 구조를 다시 짜지 않고도 입출력 모달리티를 확장할 수 있습니다. 백본은 BAGEL-7B mixture-of-transformers를 그대로 사용합니다.
• 벤치마크에서 MMMU 51.1%, GenEval 0.81, ImageNet-1k top-1 77.9%를 기록했습니다. 학습·평가에 쓴 15개 모달리티 데이터셋(MODUS-15Modality)과 대화형 데모, 학습·추론 코드를 Apache-2.0으로 함께 공개했습니다.