35B モデルで 1 兆パラメータ級性能を実現——エージェント能力を横展開するスケーリング法

要約

Hugging Face のチームが Agents-A1 という 35B のミクスチャー・オブ・エキスパート型エージェントモデルを開発し、パラメータ数ではなくエージェント能力の幅を拡張することで 1 兆パラメータ級の性能を達成した。平均 45K トークンの長ホライゾン軌跡データを生成するインフラを構築し、全領域教師モデルの学習、領域別特化教師による知識抽出、マルチ教師のドメインルーティング蒸留により 6 つの異なる領域を統一したモデルに統合した。SEAL-0 で 56.4、IFBench で 80.6、FrontierScience-Olympiad で 79.0 など複数ベンチマークで Kimi-K2.6・DeepSeek-V4-pro などの 1T モデルを上回り、長ホライゾンタスクで広範な性能を実証した。