SoCRATES: LLM調停者の性能評価ベンチマーク、8ドメイン対応

要約

LLMを調停者として評価する際、感情や文脈の変化を捉えることが難しいという課題があった。新ベンチマーク「SoCRATES」は8つのドメインにわたる実際の紛争シナリオを用い、戦略姿勢や感情反応性など5つの社会認知的軸で評価を行う。専門家との一致率0.82を達成し、従来手法の2倍以上の精度を実現した。最新8モデルを評価したところ、最も優秀なモデルでも未調停状態との合意ギャップを約3分の1しか埋められないことが判明した。