注目★★★★★Hugging Face Papers
ロボット学習を加速する「デジタルテレオペ」、生成世界モデルで物理制約を破壊
30秒で把握
- 1デジタルテレオペレーション提案・生成世界モデルで物理操作を置換・Sim2Real 転送成功
- 2RynnWorld-Teleop が depth 対応・動画 Diffusion・H100 で 40+ FPS リアルタイム生成実現
- 3生成データと実世界データの合成で成功率向上・ロボット学習のボトルネック解消可能
要約
ロボット学習の瓶首である物理テレオペレーションを置き換えるため、研究チームはデジタルテレオペレーションを提案した。オペレータの手姿勢ストリームで生成型世界モデルを駆動し、単一の参照画像から高忠実度の一人称ビデオを合成し、ロボット非依存のアクションラベルを取得できる。RynnWorld-Teleop システムは depth 対応スケルトン条件付けと動画 Diffusion Transformer による段階的訓練を統合し、単一 H100 GPU で 40+ FPS のリアルタイム生成を実現した。生成データのみで訓練したポリシーは、多様な二腕作業で Sim2Real 転送に成功し、実世界データセットとの合成で成功率が向上した。
あなたへの影響
物理ロボットの操作負荷を減らしてロボット学習用データを大規模生成できる手法のため。
推奨：多脚・多腕ロボットの学習データセット構築を検討するチームは本手法の精度検証と自社タスクへの適用可能性を次期スプリントで評価するとよい。