注目★★★★★Lobsters
Transformer LLMの隠れ空間、896軸を独立操作可能に
30秒で把握
- 1Gianluca Gernone が LLM 内部を標準基底へ損失なく回転
- 2Qwen 2.5 0.5B は PPL 25.38・MMLU 47.50% を維持
- 3軸 62 の除去で MMLU 21.25%・PPL 23858 に悪化
要約
Gianluca Gernone は、Transformer LLM の内部座標を重み行列に合わせた標準基底へ損失なく回転し、隠れ空間の各軸を独立測定・操作できる手法を公開した。Qwen 2.5 0.5B では PPL 25.38 と MMLU 47.50% を維持し、軸間の双極性や層をまたぐ活動パターンを可視化した。896 軸のうち軸 62 をゼロ化すると、MMLU は 47.50% から 21.25% に低下し、PPL は 4.24 から 23858 へ悪化した。Qwen、SmolLM2、Pythia など複数アーキテクチャで手法を検証し、Transformer の推論機構を因果的に調べる基盤を示した。
あなたへの影響
LLM の解釈性を研究する日本のエンジニアは、公開スクリプトと事前計算データで対象モデルの再現実験を近日中に評価するとよい。
推奨：canonical basis はモデルの出力を変えずに内部軸をそろえる座標変換を指す。