DomainShuttle：被写体の特徴を保持しながら動画生成の自由度を両立

要約

オープンドメイン被写体駆動テキスト・トゥ・ビデオ (S2V) 生成において、既存手法は同一ドメイン内での被写体忠実度を重視するあまり、異なるドメインやスタイルでの編集性が制限されていた。DomainShuttle は被写体の本質的な特徴を保持しながら、テキストプロンプトに応じてドメイン間を柔軟に移行する新手法を提案する。Domain-MoT により動画と参照画像の特徴を分離し、Video-Reference DualRoPE で被写体レベルの空間モデリングを精密化、Cross-Pair Consistent Loss で関連性のない特徴の影響を除外する。これにより同一ドメイン・異ドメイン両シナリオで高い忠実度と生成の自由度を実現した。