ネイティブ マルチモーダル学習のスケーリング則を実測、テキスト比率で最適配置が変わる

要約

Hugging Face の研究者は、テキストと画像を同時に学習するトランスフォーマーモデル (Vision-Language Model) のスケーリング特性を初めて体系的に調査した。固定計算予算で最適なモデルサイズとトークン数はべき乗則に従い、言語とマルチモーダル目的関数で異なるスケーリング挙動を示すことを発見した。特に言語学習は画像混合比に不変だが、マルチモーダル学習はこの比率に大きく依存し、テキストが多いデータセットはより大規模モデルでのみ計算効率が上がることが判明した。