AuK、音声生成と編集を統合するOSS基盤モデルを公開

要約

AuKは、自然言語指示と音声コンテキストで音声生成・編集を統合するオープンソース基盤モデルを公開した。音声生成、内容編集、強調・分離、パラ言語編集、音響編集の5領域で、約30.3億件のinstruction-audio事例と195万時間の実効教師信号を用いて学習した。マルチモーダルLLM、音声・一般音声・音楽で共同学習したVAE、ハイブリッドrectified-flow Transformerを組み合わせる。蒸留版AuK-Flashはclassifier-free guidanceなしの4ステップ推論に対応し、同条件でフルモデル比4.5倍の実時間速度を達成した。ソースコードとモデル重みを公開した。