PaW: ポリシーとWorld Modelingの同時学習でLLMエージェント性能を向上

要約

強化学習（RL）によるLLMエージェント訓練では、行動が環境に与える影響の監督信号が不足するという課題がある。研究チームはオンポリシーのRLロールアウトに既に必要な信号が含まれていることに着目し、推論時の変更不要でポリシーとWorld Modelingを同時学習するフレームワーク「PaW」を提案した。PaWはエントロピーベースのデータ選択・ノイズ耐性損失・報酬適応型損失バランシングの3要素で構成され、3つのエージェントタスクベンチマークで強いRLベースラインを上回る結果を示した。