注目★★★★★Hugging Face Blog
Hugging Face にモデル評価スコアを統一フォーマットで集約、EEE 連携で再現性を確保
30秒で把握
- 1Hugging Face が Community Evals と EEE 連携により、散在する評価結果を統一スキーマで集約・22,000 モデル 2,200 ベンチマーク 229,000 件以上の結果を統一形式で管理
- 231 種類の報告形式から自動変換・同じ評価が Hub モデルカードと EEE データストア間で相互参照可能に・生成設定やメトリクス定義の透明性が向上
- 3EEE コンバーターで既存評価を自動変換・Community Evals への投稿プロセスを簡素化・検証済みバッジで信頼できる評価結果を標識
要約
Hugging Face が Community Evals と EEE (Every Eval Ever) を連携させ、散在する評価結果を統一スキーマで集約する仕組みを整備した。EEE は評価実施者・利用モデル・生成設定・メトリクス定義を記録する JSON スキーマで、論文・リーダーボード・ログから異なるフォーマットの結果を統一形式に変換可能にする。データストアは 31 種類の報告形式から 22,000 以上のモデルと 2,200 ベンチマークにわたる約 229,000 件の評価結果を集約した。Community Evals への投稿時に EEE レコードを自動変換するコンバーターを提供し、同じ評価が Hugging Face モデルカードと EEE データストア間で相互参照できるようになった。
あなたへの影響
LLM 開発・比較検証に携わるチームは、モデル評価の生成設定やメトリクス定義が記録される仕組みが整ったことで、異なる報告元のスコアを直接比較しやすくなる。
推奨：既に EEE フォーマットで評価を実施している場合は、コンバーターツールで Community Evals への投稿を自動化できるため、近日中に統合を検討する価値がある。