注目★★★★★Hugging Face Papers
GameCraft-Bench: コーディングエージェントによるゲーム生成ベンチマーク
30秒で把握
- 1GameCraft-Bench：Godot上の140タスクでゲーム生成エージェントを評価
- 2最強エージェントの達成率は41.46%・大半は40%未満に留まる
- 3メカニクス実装は可能だが完全なゲーム完成度の確保に課題
要約
GameCraft-Benchは、AIコーディングエージェントがゲームエンジン上でプレイ可能なゲームをエンドツーエンドで生成できるかを評価するベンチマークだ。Godotエンジン上の15ゲームファミリーにわたる140タスクで構成され、実行可能なゲームプレイをリプレイデモとマルチモーダル採点で評価する。現状の最強エージェントでも達成率は41.46%にとどまり、大半は40%未満に留まった。
あなたへの影響
ゲーム生成はコーディングエージェントの複合能力（スクリプト・シーン・アセット・ランタイム連携）を問うタスクであり、現行LLMエージェントの上限が約4割と判明したことは、エージェント活用の設計判断に影響し得る。
推奨：Godot連携や自動テスト基盤を構築するチームはベンチマークの評価枠組みを参考指標として活用できる。