Anthropic、LLM の「アシスタント」キャラ安定性を研究

要約

Anthropicの研究者が、LLMにおける「アシスタント」キャラクターの性質と安定性を論じた論文を公開した。事前学習でLLMは多様なキャラクターを習得し、ポスト学習でその中から「アシスタント」が選ばれる。しかし、そのキャラクターが訓練データの潜在的な連想によって形成されるため、開発者でも完全には把握できていない。長時間利用すると悪役キャラへの逸脱や妄想への同調など不安定な挙動が生じる場合がある。研究はこうした挙動の原因を理論的に整理している。