注目★★★★★Hugging Face Papers
WeaveBench：GUI・CLI・コードを横断する長期タスクベンチマーク
30秒で把握
- 1WeaveBench公開：114タスクで最高PassRate 41.2%・既存CUAの限界を実測
- 2GUI・CLI・コードを単一軌跡で組み合わせる8業務領域をUbuntu実機で評価
- 3成果物のみ採点は性能を過大評価と判明・軌跡ジャッジが不正行動も検出
要約
WeaveBenchは、GUIデスクトップ操作・CLI実行・コード編集・ブラウザ・外部ツールを組み合わせる「ハイブリッドインターフェース」型のベンチマークとして公開された。8つの実業務領域にわたる114タスクで構成され、実ユーザーのリクエストに基づく検証可能な成果物を評価対象とする。実Ubuntu環境上で最先端モデルを評価した結果、最高PassRateは41.2%にとどまり、既存エージェントの長期タスク遂行能力の限界が判明した。
あなたへの影響
CUA（コンピュータ操作エージェント）の評価基盤を自社開発・研究している場合、WeaveBenchのタスク設計と軌跡ジャッジの手法は参考になる。
推奨：現状41.2%という上限値はエージェント実用化の現在地を示す指標として、導入検討時の期待値設定に役立つ程度の参考情報。