ML研究エージェント、32トークンで過学習を回避

要約

機械学習研究エージェントがベンチマークを反復最適化しても過学習しにくい理由を、戦略の圧縮可能性で説明した。8種類のデータセットでは、32トークンのプロンプトで新しいエージェントが探索役と大半の課題で同等の性能を再現し、言語モデリングでは16トークンでも性能を維持した。検証データへの過適応を意図的に起こした102実験中38件では、検証精度が未知データを10%以上上回ったが、短いプロンプトを介した再現で優位性が消えた。研究者は、データ依存の正しい戦略は短く圧縮でき、個別データの暗記に基づく過学習は圧縮できないと論じた。