GENEB：40のゲノム基盤モデルを100タスクで統一評価するベンチマーク

要約

ゲノム基盤モデルの評価は断片的なベンチマークや非互換なプロトコルにより比較が困難な状況が続いていた。これを解決するため、GENEBが提案された。40モデルを13カテゴリ・100タスクで統一プロービングプロトコルにより評価する大規模ベンチマークだ。分析の結果、モデルの順位はタスクカテゴリで大きく変動し、スケールアップの効果は限定的であることが判明した。アーキテクチャや事前学習データの整合性がパラメータ数よりも性能に大きく寄与するという知見も得られた。