LLM 推論を多ノード展開、KV キャッシュを外部ストレージにオフロード

要約

Google Cloud は GKE と Managed Lustre を組み合わせ、LLM 推論の KV キャッシュを複数ノード間で共有する手法を公開した。長文コンテキストと AI エージェント処理の需要増加で、KV キャッシュがノードローカルメモリを超える課題に対応する。ノード間の NVMe プール方式より複雑な分散管理が不要で、外部並列ファイルシステムにキャッシュを一元オフロードすることで、ホストレベルの容量制限を回避できる。