TTPO、ラベルなしTTTでQwen3-1.7Bを45.2%へ

要約

研究チームは、正解ラベルなしで数学推論モデルをテスト時学習するTest-Time Policy Optimization（TTPO）を提案した。多数決に一致する出力はOn-Policy Self-Distillation（OPSD）で蒸留し、不一致の出力はGrouped RLで罰する非対称目的を採用した。トークン単位で、蒸留では収束済み位置の重みを下げ、RLでは確信度の高い誤りだけを罰する。5つの競技レベルベンチマークで、ラベル教師ありOPSDと同等の性能を達成した。テスト時学習ではQwen3-1.7Bを38.0%から45.2%に向上させ、thinkingなしでも25.2〜36.4%の改善幅を得た。