テキスト生成を連続潜在空間で実現、AURORA-LM が離散トークンからの転換を実証

要約

言語生成はトークン離散化に依存してきたが、画像・動画・音声は連続潜在空間で モデル化が進む中、その異質性を解決する AURORA-LM が提案された。Query ベース符号化器と Block-causal Diffusion Transformer により、高容量で復号可能なテキスト潜在表現を直接学習し、左から右へブロック単位で生成しながら各ブロック内の位置を並列に脱ノイズ化する。既存手法は復号品質か拡散建模のどちらかを妥協するのに対し、AURORA-LM は ノイズ入力パスだけ制限して復号対象の完全幅を保持し、トークン単位の忠実度と生成品質を両立した。