AlayaVista、360度状態から視点動画を低遅延生成

要約

AlayaVista は、パノラマ世界の進化と視点動画の合成を分離した、カメラ制御対応のストリーミング動画ワールドモデルだ。1枚の視点画像から事前学習済みモデルで360度のシーン事前分布を構築し、カメラ条件付きのパノラマ潜在状態として更新する。潜在ビューポートレンダラーが指定視点の動画潜在表現を生成し、視点リファイナーが細部復元、アーティファクト抑制、超解像を担う。チャンク自己回帰生成と蒸留により、パノラマ生成と視点補正を少ないステップで実行する。学習用に、4K以上の動画1,318時間と豊富な意味・幾何アノテーションを含む実世界パノラマ動画データセット MUGEN も構築した。