注目★★★★★Hugging Face Papers
LLMエージェントの「良い判断」を測るTaste-Bench、正答率は59.7%
30秒で把握
- 1Taste-Benchが長期タスクの判断品質を測定、最良モデルの正答率は59.7%
- 2SWE-bench ProとMETR軌跡から502分岐を自動抽出、ランダムは25%
- 3Qwen3.6-27Bは蒸留で30.0%から47.9%、成功率も14.6%から33.7%
要約
研究チームは、長期タスクで結果を左右する途中判断の質を「taste」と定義し、測定用ベンチマークTaste-Benchを構築した。SWE-bench ProとMETR AI R&Dの軌跡から502個の分岐点を自動抽出し、結果を見ずに良い方向を選ばせる。14個の最先端モデルで最良の正答率は59.7%で、ランダム選択の25%を上回った。判断の根拠が将来に現れるほど正答率は62.3%から21.0%へ低下し、推論予算を増やしても改善しなかった。結果を知る教師の判断を蒸留すると、Qwen3.6-27Bの正答率は30.0%から47.9%に上がり、SWE-bench Proの成功率も14.6%から33.7%に向上した。
あなたへの影響
LLMエージェントを開発・評価するチームは、最終成功率だけでなく途中の判断品質もTaste-Benchなどで検証する段階に入った。
推奨：判断の改善が未知タスクの成功率向上につながり得るため、失敗分析に分岐点単位の評価を組み込む価値がある。