言語モデルの学習に図表・数式も活用、テキストのみより優れた成果

要約

研究チームは、従来テキストのみで学習されてきた言語モデルに対し、ドキュメントやウェブページの図表・数式・レイアウトを視覚情報として直接組み込む Visual Pretraining を提案した。複数のバックボーンとベンチマークで検証した結果、同じコーパスを用いてもビジュアル情報を含めた学習がテキストのみの学習を一貫して上回った。この手法は自動テキスト抽出を不要にしながら、スケーラブルで効率的な基盤モデルの構築を実現する。