弱い教師を超えるOPRD、Verifier付き学習を加速

要約

研究チームは、弱いモデルを教師にして強いモデルが教師性能を超えるOn-Policy Reverse Distillation（OPRD）を提案した。OPRDは学生モデルのロールアウト上で教師の方策変化を評価し、Verifierが支持する方策勾配のうち教師の変化方向に沿う成分だけを増幅する。方策最適化の停留点を保ったまま学習を加速するため、弱い教師の性能上限を学生に課さない。連続モデル移行と複数教師蒸留で、既存のRL・蒸留手法より少ない更新回数で高い性能を達成した。強いモデルから弱いモデルへの通常の蒸留でも、モデル容量の順序にかかわらずVerifier駆動の最適化と教師誘導を統合した。