最重要★★★★★Hugging Face Papers
AIの能力はコードなしで伝わる、ATDがHumanEval+を5.34ポイント向上
30秒で把握
- 1ATDが単語1語の応答だけで学生モデルへ能力転移を実現
- 2Qwen2.5-1.5Bの5,664件でHumanEval+が5.34ポイント向上
- 3コードなしの転移を科学知識・常識・読解でも確認
要約
研究チームは、タスクと無関係な単語応答だけで、言語モデルの能力を別のモデルへ移せるActive Taskless Distillation（ATD）を提案した。教師モデルが各プロンプトに返す単語1語を使い、対象タスクの例や教師のlogit、パラメータなしで学生モデルを訓練する。Qwen2.5-1.5Bでは5,664件の単語応答により、HumanEval+が厳密な対照実験比で5.34ポイント向上した。科学知識、常識推論、読解でもモデル世代・規模・系列をまたぐ転移を確認した。転移の強さは教師側の事後学習による更新の大きさに追随し、学習能力が無関係な応答にも行動の痕跡として残ることを示した。
あなたへの影響
LLMの評価・蒸留に関わる日本のエンジニアは、タスク外の短い生成物から能力情報が伝わる前提で、学習データの由来とモデル間転移を次の評価計画で検証すべきだ。
推奨：ATDは教師のlogitや対象タスク例を使わず、教師の単語選択だけで更新の影響を抽出する手法であるため、データ監査にも影響する可能性がある。