言語モデルにメモリ機能を分離、6.9Bパラメータで検証—39%削減で12Bレベルの性能実現

要約

Memory Decoder at Scale は、言語モデルの推論能力とメモリを分離する手法を大規模で検証した。6.9B パラメータのモデルに 1.7B パラメータの専用メモリモジュールを組み合わせることで、Pythia-12B (37.24) と同等のスコア 37.34 を達成しつつ、総パラメータ数を 39% 削減した。300B トークンの学習スケールで Faiss インデックスの計算ボトルネックを分散パイプラインと疎な kNN ロード技術で解決。