Wan-Streamer v0.1：音声・映像をリアルタイム処理する統合型 Transformer

要約

Hugging Face の研究チームが Wan-Streamer を発表した。言語・音声・映像を単一の Transformer で入出力する、ネイティブストリーミング対応の統合型基盤モデルである。従来のカスケード型システム (VAD・ASR・TTS・アニメーション生成など独立モジュール) と異なり、知覚・推論・生成・応答タイミング・ターン管理・クロスモーダル同期をすべて学習するため、パイプラインレイテンシとエラー蓄積を削減した。ブロック因果注意と低レイテンシマルチモーダルトークンスケジューリングにより、モデル側応答時間 200 ms、ネットワーク遅延 350 ms を含めた総相互作用レイテンシ 550 ms を実現し、1 秒以下の双方向音声映像通信を可能にした。