注目★★★★★Hugging Face Papers
VLM審査員、画像があるだけで判定の20.5%が変動
30秒で把握
- 1MISTが13種のVLMで画像存在による判定変動を確認
- 2整合画像20.5%、誤誘導画像19.4%、指示削除は11.6%
- 3画像内容より存在が判定を左右し、人間一致率は変化せず
要約
研究チームは、画像の内容ではなく画像の存在自体がVLM審査員の判定を不安定にすると論じた。200文で構成したMISTを13のVLM審査員に評価させた結果、文の意味に合う画像で20.5%、逆の意味を示す画像で19.4%のラベルが変化した。画像を無視する指示を削除した場合の変化は11.6%だった。画像2種類の差分で、表示された意味に寄った判定は37%にとどまり、人間評価者との一致率も画像の有無や種類で変わらなかった。VLMの代替可能性テストはモデル単体ではなく、評価設定の影響も測定している。
あなたへの影響
VLMを評価・アノテーションに使う日本のチームは、画像の有無と種類を分けた条件で判定の安定性を検証すべきです。
推奨：画像の存在だけで結果が変わる可能性があるため、モデル比較では入力構成を固定し、画像なし条件も併記してください。