長い推論チェーンの Web 検索エージェント、答えから逆算する学習で精度向上

要約

複数ステップの検索・取得・検証を経てようやく答えにたどり着く長い推論タスクで、従来は軌跡全体を一律に学習していた課題に対し、Answer-Backtracked Credit Assignment (ABC) フレームワークを提案した。ABC は最終回答から逆算して中間的な手がかりを復元し、各検索ステップを評価することで、失敗した軌跡でも有用なアクションを報酬として、不要または誤ったステップを抑制する細粒度の教師信号に変換する。このフレームワークから ABC-SFT (各ターンの損失を再重み付け) と ABC-GRPO (ステップレベルのスコアを報酬として利用) の 2 つの学習手法を開発し、わずか 8.5k 事例で訓練した ABSeeker (Qwen 3.5-4B ベース) は BrowseComp で 37.3%、BrowseComp-ZH で 39.1% のスコアを達成した。