注目★★★★★Anthropic
Claude の脳内から「ゴールデンゲートブリッジ」という概念を発見・強度を操作して挙動を変える実験
30秒で把握
- 1Anthropic が Claude 3 Sonnet の解釈論文を公開・内部の数百万フィーチャーを発見・ゴールデンゲートブリッジ概念の活性操作に成功
- 2LLM の内部メカニズムが視覚化可能に・モデル挙動を神経レベルで制御できることが実証・黒箱性の解消へ前進
- 3フィーチャー強度操作により無関係な質問にも橋を言及・今後はモデル性質の精密診断・制御が技術選定の判断材料に
要約
Anthropic は Claude 3 Sonnet の内部メカニズムを解釈する研究論文を公開し、モデルの「脳」に数百万の概念 (フィーチャー) が存在することを発見した。その一つが「ゴールデンゲートブリッジ」で、特定のニューロン組み合わせがこのサンフランシスコの橋の言及や画像に反応する。研究チームはこのフィーチャーの活性強度を増幅すると、Claude の応答がゴールデンゲートブリッジに執着し始めることを確認した。金銭計画から恋愛小説まで、無関係な質問でも橋について言及するよう挙動が変化した。
あなたへの影響
この記事が日本のエンジニアに与える影響と、今日取るべきアクションは、Personal会員向けに掲載しています。
クレカ不要・いつでも解約