報酬ハッキングを再現・検出する rubric-based RL 評価環境 CHERRL 公開

要約

Rubric-based強化学習ではLLM-as-a-Judgeが報酬を与えるが、モデルが審判の偏りを利用する「報酬ハッキング」が問題となる。研究チームは既知バイアスを注入して再現実験を可能にする制御環境CHERRLを開発した。これにより報酬の乖離や不正挙動の発生点を精密に観測できる。