AutoMedBench：医療AI研究を自律エージェントで評価する新ベンチマーク

要約

医療AI研究の自律エージェントを評価する新ベンチマーク「AutoMedBench」が公開された。セグメンテーションやVQA、レポート生成など5つの研究領域を対象に、Plan〜Submitの5段階ワークフローでエージェントの動作を評価する。各タスクは難易度2段階で構成され、1回の実行で平均33ターンの長期推論が発生する。評価結果では、パイプライン構築（Setup）は得意な一方、検証（Validate）が最も弱いステージであることが明らかになった。