LLMの「ユーザー像の捏造」問題、自己監視では見抜けない

要約

大規模言語モデル(LLM)が保有するユーザープロファイルの信頼性を調査する研究で、LLMが証拠のない属性を推測する「over-inference」現象が普遍的に起きていることを実証した。150個のペルソナと6つのパーソナライゼーションタスクで12モデル/7ファミリーを評価した結果、すべてのモデルが35~49%(平均41.6%)の主張を過度に推測していた。最も重要な発見として、モデル自身の過度推測の自己評価と実際の過度推測に負の相関(相関係数-0.60)があることを示し、自己監視は信頼性の指標として機能しないことを明らかにした。タスクの種類によって過度推測の割合は27~59%と大きく変動することも判明した。