注目★★★★★Hugging Face Papers
LongLive-RAG:RAGで長尺動画生成の誤差蓄積を抑制
要約
自己回帰型動画拡散モデルは可変長の動画生成を可能にするが、スライディングウィンドウ注意機構を用いると外観誤差が蓄積し、生成軌跡が徐々に劣化する問題があった。LongLive-RAGはこれをRAG問題として定式化し、過去に生成された潜在表現を動的な検索可能な履歴として扱う汎用フレームワークである。各ブロック生成時にクエリ埋め込みで関連する過去の潜在表現を取得し、非局所的な文脈を参照することで誤差の蓄積を抑制する。Window Temporal Delta Lossによって冗長な局所類似を抑え、複数の自己回帰バックボーンでVBench-Long最高平均ランクを達成した。
あなたへの影響
動画生成モデルの長尺化は産業応用でも重要な課題であり、RAGの概念をビデオ生成に適用したアプローチは既存アーキテクチャへの統合しやすさという点で注目に値する。
推奨:自社の動画生成パイプラインに組み込む可能性を評価するため、次のスプリントでアーキテクチャ互換性を確認することを推奨する。