注目★★★★★Hugging Face Blog
Open ASRにHindi追加、話者差を可視化する評価へ
30秒で把握
- 1Open ASRにIndian EnglishとHindiのMonsoon評価セットを追加
- 24,888話者と12属性を収録し、公開・非公開splitで評価
- 3Hindiは表記ゆれを許容するOIWERでモデル順位を比較
要約
Open ASR Leaderboardに、初のGlobal South言語としてIndian EnglishとHindiの評価セット「Monsoon」が加わった。4分割のデータは4,888話者、12属性を収録し、公開・非公開splitを備える。地域や年齢、端末などで精度を分解でき、Indian Englishでは同じ総合WERのモデルでも地域差が0.46〜1.68ポイントに広がった。Hindiでは表記ゆれを許容するOIWERを採用し、単一の正解文による順位変動を抑える。非公開splitはLeaderboard経由で評価される。
あなたへの影響
ASRを評価・導入する日本のチームは、総合WERだけでなく話者属性や地域、端末別の精度を確認する運用を次の評価計画に加えるとよい。
推奨：OIWERは複数の正書法を正解として扱うHindi向け指標で、言語ごとの評価設計を見直す材料になる。