注目★★★★★Hugging Face Papers
世界モデルの無限生成へ、外部メモリと線形効率の教師で長時間対話を実現
30秒で把握
- 1対話型世界モデルがセッション長と低遅延の両立に失敗する根本原因（キャッシュ膨張と教師の短期能力限界）を外部メモリと線形注意教師で解決
- 2カメラ索引付き状態バンク + チャンク単位グループ化 + 線形グローバル状態により、長期監督下でメモリ計算量が線形成長・30 秒分布マッチング転移で 3 ステップ学生の長期ドリフト耐性が向上
- 33 ステップ学生がガイダンスフリーで動作するため、推論レイテンシ削減と長期生成能力の両立が可能になり、インタラクティブ生成モデルの実装時に状態設計パターンを参考にできる
要約
Alaya-EVOKE は対話型世界モデルの永続メモリと長期生成の矛盾を解決するアプローチを提示した。外部のカメラ索引付き世界状態バンクに幾何情報を保持し、ビュー関連情報だけを検索することでデノイザーコンテキストを有界に保ったまま セッション長を拡張する。従来の固定生成器に代わり、チャンク単位の注意、遠いフレーム取得、線形注意による グローバル状態を組み合わせた教師を設計し、メモリ・計算量を線形成長に抑えながら長期間の監督を実現した。自強制ロールアウトで 30 秒の分布マッチング目標を適用し、この監督能力を 3 ステップの学生モデルに転移させることで、長期ドリフトへの耐性を向上させ低遅延対話を両立させた。
あなたへの影響
世界モデルの長期生成と低遅延対話はトレードオフ関係にあるが、本手法は外部状態と線形効率の監督設計でその矛盾を技術的に回避できることを示唆しており。
推奨：生成型ゲームエンジンやロボティクスシミュレーション導入チームは監督データ効率と推論コスト見積もりの再評価を検討する価値がある。