vLLM が Transformers モデルをネイティブ速度で実行、ポート不要に

要約

Hugging Face の Transformers ライブラリ統合を使い、vLLM で Transformers モデルをカスタムコード同等の推論速度で動かせるようになった。torch.fx による静的解析とコード書き換えにより、実行時に層融合を自動適用し、ネイティブ実装と同じパフォーマンスを実現する。Qwen3 の 4B・32B・235B MoE モデルで検証済みで、フラグ指定一つ (--model-impl transformers) で有効化でき、テンソル並列やデータ並列と組み合わせ可能。モデル作成者は最適化コード追加なしに、Transformers 実装のまま本番推論に使え、同一コードで学習・推論の両立も可能。