注目★★★★★Hugging Face Blog
バイリンガル音声対応ASRベンチマーク、コードスイッチング評価結果を公開
30秒で把握
- 1コードスイッチング対応ASRベンチマークを公開・7モデルを4言語ペアで比較評価
- 2918件の音声データでWER/SWER/AERを計測、上位はElevenLabs・Gemini・AssemblyAI
- 3転写誤差は言語ペアとモデルの組み合わせで差があり、一律の性能保証は不可
要約
ServiceNow AIは、音声エージェントがコードスイッチング（会話中に言語を切り替える話し方）をどの程度正確に認識できるかを測定するベンチマークを構築・公開した。スペイン語・フランス語・カナダフランス語・ドイツ語と英語の4言語ペアを対象に、HR・ITSMシナリオの合計918件の音声データを用い、WER・SWER・AERの3指標で7つのASRシステムを評価した。結果として、ElevenLabs Scribe V2、Gemini 3 Flash、AssemblyAI Universal 3-Proが全指標にわたって上位に入った。なお、コードスイッチングがモデル精度に与えるコストは言語ペアとモデルの組み合わせによって異なることも判明した。
あなたへの影響
音声エージェントを多言語対応の企業向けシステムに組み込んでいるチームは、使用中のASRモデルがコードスイッチングに対応しているか本ベンチマークで確認できる。
推奨：現状では特定モデルへの依存度が高い場合、言語ペアによっては転写精度が大きく落ちる可能性があるため、自社ユースケースの言語ペアで事前評価を行うことが望ましい。