注目★★★★★Hugging Face Blog
AI エージェントの Java フレームワーク移行ベンチマーク ScarfBench 公開
30秒で把握
- 1IBM Research が Enterprise Java フレームワーク移行用ベンチマーク ScarfBench を公開・Spring/Jakarta EE/Quarkus 間の移行を対象
- 2複数 AI エージェント評価でビルド成功が約 73%・デプロイ成功・動作検証はさらに低下・エージェント自己評価は信頼できず
- 3設定/Docker/Maven など非コード部分の問題が頻出・依存関係解決が反復的・実運用化には人間による検証が必須
要約
IBM Research は、AI エージェントが Java アプリケーションのフレームワーク移行タスクを実行する能力を測定するベンチマーク ScarfBench を公開した。Spring・Jakarta EE・Quarkus 間の移行を対象とし、コード生成だけでなくビルド成功・デプロイ・動作検証までを評価指標とする。複数の最先端 AI エージェント (Claude Code 含む) の評価では、ビルド成功率は高いが実際のデプロイ・動作検証に至る成功率は大幅に低下し、エージェントの自己評価が信頼できないこと、依存関係の解決が線形ではなく反復的であること、設定ファイル・Docker・Maven など非コード部分の問題が頻出することが判明した。
あなたへの影響
Java レガシーシステムの近代化を AI に任せる場合、ビルド成功だけでは不十分であり、実際のデプロイと動作確認を含む多段階検証が必須であることを認識する必要があります。
推奨：本ベンチマークはオープンで、企業の実装タスクをテストデータとして追加できるため、AI エージェントの実装チームは自社の Java フレームワーク移行パターンを ScarfBench に登録して、AI ツール選定時の指標として活用できます。