ロボット学習を加速する「デジタルテレオペ」、生成世界モデルで物理制約を破壊

要約

ロボット学習の瓶首である物理テレオペレーションを置き換えるため、研究チームはデジタルテレオペレーションを提案した。オペレータの手姿勢ストリームで生成型世界モデルを駆動し、単一の参照画像から高忠実度の一人称ビデオを合成し、ロボット非依存のアクションラベルを取得できる。RynnWorld-Teleop システムは depth 対応スケルトン条件付けと動画 Diffusion Transformer による段階的訓練を統合し、単一 H100 GPU で 40+ FPS のリアルタイム生成を実現した。生成データのみで訓練したポリシーは、多様な二腕作業で Sim2Real 転送に成功し、実世界データセットとの合成で成功率が向上した。