Metis：基盤モデルに組み込まれた「ネイティブメモリ」で推論時の履歴管理を効率化

要約

Hugging Face の論文 Metis は、基盤モデルに永続的で動的に更新される内部メモリ状態を組み込み、外部モジュール依存を削減する「メモリ基盤モデル」を提案した。モデル自体がメモリアテンションを通じて過去情報を圧縮・利用し、推論時には勾配更新を不要とする。学習段階で大規模なメモリ特化型データと複数の最適化目的を導入し、推論時には全重みを凍結しメモリ状態のみを自律的に更新する仕組みを実現した。この手法はアーキテクチャの単純化、エンドツーエンド最適化、推論効率の向上を実現する。