注目★★★★★Hugging Face Papers
ロボットの目で目標物を見分ける ReferTrack、単眼で最先端の追跡性能
30秒で把握
- 1ReferTrack が単眼カメラで EVT 最先端性能 (89.4% 成功率) を達成・複数カメラ手法に並ぶ
- 2画像空間の矩形枠に基づく明示的な目標選択で、抽象的推論の落とし穴を回避・実画像に接地
- 3足ロボット・ヒューマノイドで sim-to-real 実証済み・コード公開中
要約
MIT とメタ系研究チームが、ロボットが自然言語で指定された目標物を追い続ける「具体化視覚追跡 (EVT)」向けの新手法 ReferTrack を発表した。従来の言語・動作統合モデル (VLA) は抽象的な推論に頼っていたが、ReferTrack は画像内の矩形枠 (bounding box) から目標を明確に選択し、その後追跡経路を生成することで、実画像に接地した意思決定を実現している。TVBI トークンで過去の枠の幾何情報を時間軸で注入し、目標の動きの手がかりを保持。EVT-Bench ベンチマークで単眼カメラながら 89.4% の成功率を達成し、複数カメラ構成の既存手法に並ぶか上回った。足ロボットとヒューマノイドロボットでの実環境検証も完了している。
あなたへの影響
自然言語で指定した物体をロボットが追い続ける場面は配送ロボットや倉庫オートメーション、清掃ロボットなど実用途が多い。
推奨：単眼カメラで複数カメラ相当の精度を出せば、ハードウェアコスト削減と装置の軽量化につながり得るため、ロボット応用チームは既存 VLA パイプラインの置き換え効果を検証する価値がある。