NeMo AutoModelでMoEファインチューニングが3.7倍高速化・GPU消費32%減

要約

NVIDIAはNeMo AutoModelをTransformers v5上に構築し、MoEモデルのファインチューニングでネイティブTransformers比3.4〜3.7倍のスループット向上と29〜32%のGPUメモリ削減を実現した。実装変更はimport文1行のみで、既存のfrom_pretrained() APIをそのまま利用できる。内部ではExpert Parallelism・DeepEP fused all-to-all dispatch・TransformerEngineカーネルを組み合わせ、通信と演算のオーバーラップを実現している。検証対象はNemotron 3 Ultra 550B A55B（16ノード全パラメータファインチューニング）からQwen3-30B-A3B・Nemotron 3 Nano 30B A3Bの単一ノード構成まで。生成されるチェックポイントは標準HF形式のためvLLMやSGLangからも直接ロード可能だ。