注目★★★★★Hugging Face Papers
LLM の因果性に穴が？マスク検査では見つけられない推論バグ、軽量監査で 192/192 件摘発
30秒で把握
- 1Attention マスク検査では見落とされる因果性漏洩を軽量監査で 100% 検出。スキャン・正規化経由の情報流を可視化
- 2Zamba2・Nemotron-H を含む複数モデルの欠陥を発見。従来手法との性能差は 0 vs 192/192 件
- 3勾配・追加学習不要の 2 パス監査で、デプロイ前後のモデル安全性検証を迅速に実施可能
要約
論文は、シーケンスモデルの「プリフィックス不変性」(位置 t の表現が未来の入力に依存しない) を形式化し、軽量監査手法を提案した。2 パス・勾配不要で、因果性の破綻箇所を特定できる。従来のアテンションマスク検査は不完全で、スキャンや正規化を経由した情報漏洩を見逃す一方、提案手法は 8 チェックポイント・192 件の注入型障害すべてを特定し、Zamba2 と Nemotron-H の欠陥も発見した。軽量監査により、デコード段階での隠れた因果性違反が大規模モデルに存在することが明らかになった。
あなたへの影響
Attention・State-Space・Hybrid モデルを問わず因果性漏洩の存在が示唆されたため、本番推論の信頼性が問題となる可能性がある。
推奨：自社で運用するモデルに対して提案手法を適用し、デコード段階での情報漏洩の有無を事前検査することで、予測不可能な出力や微妙な誤答の潜在原因を洗い出せる。