OpenWebRL: 視覚的 Web エージェントをオンライン RL で訓練するオープンフレームワーク

要約

OpenWebRL は、実際のウェブサイト上でビジュアル Web エージェントをオンライン多段強化学習（RL）で訓練するオープンフレームワークです。スケーラブルなライブブラウザ基盤、軌跡レベルの成功判定、効率的な多段ポリシー最適化など訓練パイプライン全体をカバーしています。このフレームワークで学習した 4B パラメータモデル OpenWebRL-4B は、わずか 0.4K の初期化軌跡と 2.2K の RL タスクで、Online-Mind2Web で 67.0%、DeepShop で 64.0% の成功率を達成し、OpenAI CUA や Gemini CUA といったプロプライエタリシステムとも競合する性能を示しました。