vLLM 0.28.0公開、Kimi-K3推論を最大3倍高速化

要約

vLLMは0.28.0を公開し、Kimi-K3とDeepSeek V4向けの推論性能と対応範囲を大幅に拡張した。Kimi-K3では統合all-gatherカーネルがカーネルレベルで1.5〜3倍高速化し、適応型speculative decodingはDSparkのTTFTを約60%改善、共有エキスパート分割はGPUあたり約17 GiBのメモリを削減する。DeepSeek V4ではsparse MLAが通常decode、MTP、DSpark speculative decodingでエンドツーエンド動作し、ROCmのgfx11とgfx950にも対応した。Model Runner V2はE/P/D分離、weight offloading、階層型KV cache offloading、Rust frontendとgRPCを備えた。max_num_batched_tokensは8192から16384へ変更され、bitsandbytes対応は外部プラグインへ移行し、非推奨のKV scale計算などが削除された。