MIRA: LLM中間訓練向け自己アンカー型データ選択フレームワーク

要約

MIRAは、LLMの中間訓練フェーズ向けにソース特性を考慮したデータ選択フレームワークだ。各データソースに適した評価基準を自動発見し、軽量なスコアラーに蒸留することでコーパス全体への適用を可能にする。コード中間訓練の実験では21ソース・5グループを対象に9つのベンチマークで既存手法を上回り、全トークン使用時と同等の性能をトークン数半分で達成した。