Audio Interaction Model: ストリーミング音声AI統合フレームワーク

要約

従来の大規模音声言語モデル（LALM）はオフライン処理に限定され、ストリーミング対応モデルも単一タスクしか扱えなかった。研究チームはこれらを統合する「Audio Interaction Model」を提案し、常時稼働の知覚・判断・応答ループで音声・環境・指示をリアルタイム処理するモデルを実現した。実装フレームワーク「SoundFlow」と260万件規模のコーパス「StreamAudio-2M」を構築し、7つの基本能力と28サブタスクをカバーする。8つのベンチマーク評価ではオフラインタスクの性能を維持しつつ、リアルタイムASRや能動的音声介入など新機能を実現した。