AdaPlanBench: LLMエージェントの制約適応計画を評価する新ベンチマーク

要約

LLMエージェントが段階的に開示される制約下で計画・再計画できるかを評価するベンチマーク「AdaPlanBench」が提案された。307件の家庭内タスクを基に、世界制約とユーザー制約の二重制約を付与した動的対話型設計を採用している。エージェントが制約違反の計画を提案したとき初めて制約が開示され、反復的な修正が求められる。主要LLM10モデルの実験では、最高精度でも67.75%にとどまり、制約が蓄積するほど性能が低下した。ユーザー制約への対応が特に困難で、物理的な根拠推論の弱さが失敗要因として観察された。