ArcANE: 17作品80キャラで評価するロールプレイ言語エージェント新ベンチマーク

要約

ロールプレイ言語エージェント（RPLA）の評価に特化したベンチマーク「ArcANE」が公開された。17の小説と80の主要キャラクターを対象に、心理的変化の軌跡に沿って各フェーズでの応答整合性を測定する。既存ベンチマークが特定章の事実想起を測るのに対し、ArcANEは原典に存在しない場面での応答も評価対象とする。6つのモデルで検証した結果、キャラクターアークを条件付けした場合が他のコンテキスト戦略を上回った。さらに同データでファインチューニングした「ArcANE-8B/32B」は原典外シナリオでの優位性をより拡大した。