拡散言語モデルの MoE スケーリング則、30B-A3B の LLaDA MoE v2 で実証

要約

拡散言語モデル (dLLM) における Mixture-of-Experts (MoE) のスケーリング挙動を初めて体系的に特性化した研究。最適バッチサイズは計算量に対してより急速に成長し、学習率は急速に減衰すること、データ側が計算側よりもやや優位であること、大規模ほど専門家プール数が増加し中程度の粒度が効果的であることを明らかにした。これらの知見に基づき、23.5T トークンで 30B-A3B の LLaDA MoE v2 を訓練し、Qwen3 の 65% のトークンで複数の知識・推論・コーディングベンチマークで同等の性能を達成した。教師あり微調整後は 8 つの推論・コーディングベンチマーク中 7 つで SDAR Chat を上回った。