LLMの重みをライブデータから生成する「Infinite-Parameter」構想

要約

研究者らは、対話中のデータからモデルの重みを生成・更新する「Infinite-Parameter LLM」を提案した。コンパクトなハイパーネットワークが実行時データを共有ベースネットワークの低ランク変調へ変換し、固定したパラメータバンクを使わずに重みを構成する。生成器は潜在コードへのベイズ信念をセッション中にオンライン更新し、進化する信念から実効重みを再導出する。保存フットプリントは固定のまま、実質的に無限の重みをコンパイルできる。実行時の知識や振る舞いをプロンプトではなく重みに保持することで、コンテキストウィンドウを解放し、ターンをまたいで持続させる設計で、In-context learningや検索との評価手順も提示した。