注目★★★★★Hugging Face Papers
マルチドメイン RL の干渉と回復を説明する局所摂動理論
要約
LLMのRL後学習では、1つのドメインを強化すると他ドメインの性能が低下する問題が知られている。従来の「壊滅的忘却」や「グローバル勾配衝突」では説明が不十分であることが示された。本研究は局所摂動モデルにより、干渉が低次元の共有衝突部分空間に集中することを理論的に証明した。
あなたへの影響
マルチタスクLLM開発においてドメイン干渉の原因と対策が理論的に整理された意義は大きく、RL後学習パイプラインの設計指針として参考になる。
推奨：次のマルチドメイン学習設計時に干渉サブスペース分析と短期リフレッシュ戦略の採用を評価してほしい。