マルチモーダル学習の設計法則を実証—知識流、モダリティ連携、早期統一の最適レシピ

要約

マルチモーダル事前学習における言語・視覚理解・視覚生成の相互作用メカニズムを、大規模実験で系統的に解明した研究論文。知識フローでは言語から視覚への移行が顕著であること、データ複雑度がモダリティ間の相乗効果を左右すること、モダリティ統合は訓練初期段階での実施が遅延統合より効果的であることを実証した。また共有注意層と物性別フィードフォワード層の組み合わせが相乗効果を促進すること、訓練コスト 5% に削減しながら生成性能を維持する効率的レシピを導出した。