注目★★★★★Hugging Face Papers
進化的探索の経験を学ぶ LLM、371 タスクで汎化——Evolution Fine-Tuning
30秒で把握
- 1LLM が 371 最適化タスクの探索軌跡 (156K 件) から進化戦略を学習、保持外タスクで平均 10.22% 向上
- 2モデル自体が「変異・バックトラック判断」を習得しタスク間で再利用可能に、従来の毎回スクラッチ方式から脱却
- 32B～9B LLM で検証・test-time RL 併用で SOTA 性能に合致、多ドメイン最適化への応用準備整備
要約
研究チームは Evolution Fine-Tuning (EFT) を提案し、LLM が進化的探索の経験を複数のタスク間で再利用できることを示した。10 ドメイン・371 最適化タスクから 156K 個の探索軌跡を収集した Finch Collection データセットで 2B～9B パラメータの LLM を fine-tune した結果、保持外タスク 22 個で平均 10.22% の精度向上を達成した。従来は各タスクで探索スキャフォルドから新たに始めていたが、EFT により「どこをどう変異させるか」「バックトラックのタイミング」といった進化戦略をモデル自体に内在化させることで、新タスクへの迅速な適応が可能になった。
あなたへの影響
最適化・定理証明・科学法則発見といった多様なドメインで LLM の cross-domain 汎化が実証されたため、今後の応用タスク設計で同様の fine-tuning アプローチの有効性を確認する価値がある。
推奨：あなたの組織が大規模最適化問題や科学計算に LLM を応用する場合、EFT 型の多タスク学習が単一タスク特化より効率的か評価を検討する選択肢となる。