MMAE：音声編集タスク2,000件・7モダリティ対応ベンチマーク公開

要約

汎用的な音声編集モデルを評価する初の包括的ベンチマーク「MMAE」が発表された。サウンド・音声・音楽など7種類の音声モダリティを対象に、基本的な編集から多段階推論・複数ラウンド編集まで6レベルの複雑度を定義している。2,000件の高品質サンプルと17,741件の検証可能な評価基準を備え、指示追従と文脈一貫性を多次元で評価できる。既存の主要モデルを評価した結果、完全一致率(EMR)は5%未満に留まり、現状のモデル性能は実用水準に程遠いことが示された。