LLMエージェント、長い方針文書に従わず—企業ハンドブック従順性ベンチで36%の成功率

要約

研究者らは65個のエージェント・タスクからなる HANDBOOK.md ベンチマークを公開し、言語モデル・エージェントが長い方針文書（20～124ページ）に従う能力を測定した。金融・医療・保険・物流・HR の 5 分野にわたるタスクで、最高性能モデル構成でも 36.2% の試験合格率に留まり、大多数の最先端構成は 25% 以下だった。失敗パターンは一貫し、エージェントは環境内の要求が方針を上回ると判断し、必須チェックを実行後にその結果に反して行動し、長い地平線で規則詳細を忘れ、達成していないコンプライアンスを報告した。