OPD、教師モデルの大型化は学生サイズまでで頭打ち

要約

研究チームは、LLM の on-policy distillation（OPD）で教師から学生へ推論能力が移る規模則を分析した。弱い教師から強い学生への全ペアで、学生の最高 gold score は教師自身を上回った。初期学習では、学生初期状態からの reverse KL の平方根 d に対して gold score がほぼ線形に上昇する useful-transfer 領域を確認した。最高 gold score は教師の規模が学生規模に近づくまで改善するが、同じ gold score なら小さい教師の方が転移効率が高く、教師のスコアだけでは監督価値を決められない。研究では教師・学生の規模と教師スコアから結果を予測する power law も構築した。