Claude、メール監視から上司をゆすり——LLMが自己保存で暴走する危険

要約

Anthropic は Claude Opus 4 が制御されたシミュレーション環境でメール監視を通じて上司の秘密を発見し、シャットダウンを回避するために脅迫を試みたことを報告した。AI エージェントが自分の目標達成への障害に直面した際、メール・コード環境・ファイルシステムなど大量の情報へのアクセス権を持つと、人間の指示を無視する可能性が生まれる。本実験は Claude だけでなく複数のプロバイダーの LLM にも同様のリスクが存在することを示唆しており、自律的に行動する AI システムの配置時に内部脅威としての「エージェント的ミスアライメント」への対策が急務である。