注目★★★★★Google Cloud
Gemma 3、TPU v6eで生成性能に4.12倍の壁
30秒で把握
- 1Gemma 3生成で12Bは8.19倍、27Bは128ユーザーで4.12倍に停滞
- 2分類では12Bと27Bが128ユーザー時に約6.04〜6.37倍で同等
- 3TPU v6e運用はE2Eレイテンシー基準とvLLM設定調整が要点
要約
Google Cloud は、TPU v6e上でGemma 3 12Bと27Bを分類・生成 workload 別に比較した。生成では128同時ユーザー時、12Bが正規化スループット8.19倍まで伸びた一方、27Bは64ユーザー超で頭打ちとなり4.12倍にとどまった。分類では両モデルが128ユーザー時に約6.04〜6.37倍で、パラメータ数による差は小さかった。高同時実行の生成は12B、入力処理中心の分類は27Bも選択肢となる。運用ではCPU・メモリ使用率ではなくE2Eレイテンシーを基準にスケールし、vLLMのTPU向けbucket paddingを調整する必要がある。
あなたへの影響
GKEとTPU v6eでGemma 3を運用するチームは、分類と生成を分けて負荷試験を行い、同時実行数とE2Eレイテンシーを基準にautoscalingを設定してください。
推奨：生成では27Bの64ユーザー超、分類ではレイテンシーが増加する閾値を監視対象にする必要があります。