ToolMaze: LLMエージェントのツール障害回復を評価する新ベンチマーク

要約

既存のベンチマークはツール統合推論（TIR）を理想的な成功シナリオで評価しており、現実のツール障害を考慮していない。新ベンチマーク「ToolMaze」はDAGベースのトポロジー複雑度と4種類のツール障害分類を組み合わせた2次元設計を採用している。評価の結果、暗黙的な意味的障害シナリオでは回復率（PRR）が約37%低下し、エージェントが無駄な試行錯誤ループに陥ることが判明した。フォールトトレランスの改善速度はモデルスケール拡大に対して基本タスク実行の3.66倍遅く、動的再計画がモデルスケーリングでは解決できないボトルネックであることが示された。