注目★★★★★Hugging Face Papers
表形式ファンデーションモデルの真の実力、IID データで測れない実態を大規模調査
30秒で把握
- 1BeyondArena ベンチマークと Data Foundry フレームワーク公開・142 データセットで 11 モデル評価実施
- 2IID データではファンデーションモデル優位・非 IID 大規模高次元データではツリーベース・深層学習が優位
- 3表形式データプロジェクトのモデル選択判断にデータ条件 (IID vs 時系列 vs グループ化) と規模を反映すべき
要約
表形式データ向けファンデーションモデルの汎化性能を包括的に評価するベンチマーク「BeyondArena」と、データセット キュレーション フレームワーク「Data Foundry」が発表された。IID・時系列・グループ化など複数タイプのタスク、異なるサンプルサイズと特徴量次元、テキスト・高基数特徴を含む 142 個のキュレーション済みデータセットで 11 モデルを検証した。結果として、既存の表形式ファンデーションモデルは小〜中規模 IID データで優位だが、非 IID・大規模・高次元データではツリーベースと深層学習モデルが依然優位のままである。
あなたへの影響
表形式データを扱うデータ分析・ML プロジェクトチームは、ファンデーションモデルを過信せず、タスクの性質 (IID か時系列か、データサイズ、特徴量の型) に応じてモデル選択を再検討する必要がある可能性がある。
推奨：本研究の評価フレームワークと結果から、自社データの条件に最適な手法を事前評価することを推奨。