注目★★★★★Google Cloud
GKE Pod snapshots、AI推論の起動を最大89%短縮
30秒で把握
- 1Google Cloud が GKE Pod snapshots 導入、AI推論起動を最大89%短縮
- 270Bモデル37秒・8Bモデル15秒、CPU・GPUメモリを保存復元
- 3Retake は起動時間を1分から8秒へ短縮、独自キャッシュを置換
要約
Google Cloud は GKE Pod snapshots を導入し、CPU・GPUメモリを含む実行中のPod状態を保存してオンデマンド復元できるようにした。AI推論の起動時間を最大89%短縮し、70Bパラメータモデルを37秒、8Bモデルを15秒で読み込める。初回だけモデルを初期化してスナップショット化し、追加レプリカは保存済み状態から復元するため、毎回のモデル重量ダウンロードを省略できる。Retakeでは起動時間を1分から8秒に短縮し、アイドルGPUコストと独自キャッシュの運用負担を減らした。Pod snapshot CRDで対象Pod、保存先、保持期間、復元方法を宣言的に設定でき、AI以外の長時間初期化アプリにも使える。
あなたへの影響
GKEで大規模モデル推論やエージェント用sandboxを運用するチームは、既存の起動処理と比較し、次のスプリントでPod snapshotsの起動時間とGPUコストを検証すべき。
推奨：Pod snapshotsは実行中のCPU・GPUメモリを保存して復元する機能で、独自キャッシュ層の代替候補になり得る。