注目★★★★★Hugging Face Papers
OmniGameArena：UE5でVLMゲームエージェントを評価する統合ベンチマーク
30秒で把握
- 1OmniGameArena：UE5製12ゲームでVLMエージェントを統一条件評価
- 2Solo/PvP/Coop対応・IDCで複数ラウンド改善と汎化挙動を可視化
- 312エージェントのコールドスタートと上位4エージェントのIDC結果を公開
要約
OmniGameArenaは、Unreal Engine 5で新規構築した12のゲームを用いてVLMエージェントを評価する統合ベンチマークだ。Solo 7種・PvP 3種・Coop 2種を統一アクションインターフェースで実行し、商用VLM・オープンウェイトVLM・専門ゲームポリシーを同条件で比較できる。既存ベンチマークが1回限りのスコアに留まる課題に対し、Improvement Dynamics Curve（IDC）を導入し、ツール使用型リフレクタLLMが複数ラウンドにわたりスキルプロンプトを自律的に改善する仕組みを提供する。IDCはスコアの推移と未見タスクへの汎化挙動を追加の評価指標として可視化し、12エージェントのコールドスタートと上位4エージェントのIDC結果を公開した。
あなたへの影響
VLMエージェントのゲーム評価基盤を研究・開発しているチームは、OmniGameArenaのIDCを活用してエージェントの学習効率と汎化性能を多面的に計測する選択肢として参照価値がある。
推奨：ただち対応が必要な変更ではなく、興味があるチームが目を通す程度で良い。