VLM を教師に変えた動画推論、平均+16.7pt 達成

要約

動画生成モデル(VGM)を使った推論タスクでは、VLM をテキスト指示の生成役として使う手法が主流だったが、細粒度の時空間情報をテキストで表現しきれない課題があった。本研究では VLM を「教師」として再定義し、タスク固有のルールから微分可能な報酬を導出して軽量 LoRA モジュールをテスト時にオンライン最適化する手法を提案した。VBVR-Bench と RULER-Bench の 2 つのベンチマークで平均 16.7 ポイントの精度向上を記録し、VLM-as-Solver 手法（+0.4pt）や Best-of-N スケーリング（+2.2pt）を大きく上回った。