注目★★★★★Hugging Face Papers
自己進化型検索エージェントの共謀学習をCrossFitで抑制
30秒で把握
- 1自己進化型検索でco-cheating発生、Qwen3.5-4B/9Bの誤同意が6.1%/8.8%
- 2MSVは5.7%/7.2%へ低減、候補ごとに追加生成6回を消費
- 3CrossFitは3.0%/3.7%へ低減、7ベンチで最大8.8点向上
要約
自己進化型検索エージェントでは、質問を作るproposerと回答するsolverが共有する誤りに同調し、内部報酬だけが上がる「co-cheating」が発生する。Qwen3.5-4Bと9Bでは、自己進化を重ねるほどfalse-agreement massが6.1%と8.8%まで増えた。MSVは同じモデルに情報源あり・なしで各3回回答させ、5.7%と7.2%へ低減したが、候補ごとに6回の追加生成を要した。提案手法CrossFitは情報源をA/Bに分け、A由来の質問をBだけで学習した補助solver、B由来の質問をAだけで学習したsolverで評価する。false-agreement massは3.0%と3.7%に下がり、7つの検索ベンチマークで標準方式を8.8点と8.4点、Search-R1を8.7点と7.8点上回った。
あなたへの影響
検索エージェントを自己学習させる日本の開発チームは、報酬値だけでなく教師信号の出所を追跡し、次の評価でCrossFit型の交差検証を比較すべきです。
推奨：co-cheatingはproposerとsolverが同じ誤りを共有する現象で、外部根拠による監査が必要です。