注目★★★★★Hugging Face Blog
LLM評価を分解するBenchMIRT、34K問から測定能力を特定
30秒で把握
- 1BenchMIRTが100モデル・16評価・34K設問から安全性と推論を分離
- 2BBQとWMDPは安全性より一般推論との関連が強いと判定
- 3設問10%でも能力順位を維持し、未観測設問を79%で予測
要約
BenchMIRTは、LLMベンチマークの各設問が実際に測っている能力を分解する監査手法だ。100モデル、16ベンチマーク、34K超の設問を多次元IRTで分析し、安全性と一般推論という2つの主要な軸を独立に抽出した。社会的バイアスを測るBBQは安全性より一般推論との関連が強く、危険なデュアルユース知識を扱うWMDPも一般推論との関連が強かった。設問を10%に絞っても、モデルの能力順位は概ね維持され、未観測設問への正答予測率は79%で、単純手法の70%を上回った。一方、設問の削減が評価を弱めるリスクや、新しいモデル世代では未検証という制約もある。
あなたへの影響
LLMの評価基盤を設計・利用するチームは、総合スコアだけで判断せず、設問ごとの能力軸と難易度を確認する運用を次回評価から検討すべき。
推奨：設問削減を行う場合は、評価対象能力を損なわないか検証する必要がある。