注目★★★★★Google Cloud
BigQuery、クロスクラウドキャッシュをPreview公開
30秒で把握
- 1Google Cloud が BigQuery クロスクラウドキャッシュを Preview 公開
- 2Iceberg で転送量 5% 未満、10 TiB 例で追加転送 1.33 GiB
- 3S3・Azure Storage の未管理ファイル向け接続機能も Preview
要約
Google Cloud は BigQuery のクロスクラウドキャッシュを Preview 公開し、Amazon S3 などのデータを Google Cloud 側に局所キャッシュして、Lakehouse のクエリ転送量を削減する。Apache Iceberg の圧縮と組み合わせると、処理データの転送量を 5% 未満に抑えられる場合がある。10 TiB の Iceberg テーブルでは、初回実行時に S3 から 24.1 GiB を取得し、後続クエリはキャッシュヒット率 94.8%、追加転送 1.33 GiB になった。BigQuery cross-cloud connections も Preview となり、Iceberg カタログなしの CSV・JSON・Parquet を Amazon S3 や Azure Storage から直接クエリできる。
あなたへの影響
マルチクラウドのデータ分析を運用する日本のエンジニアは、対象データの圧縮率とキャッシュヒット率を測定し、転送コストを次の見積もりに反映すべきです。
推奨：Iceberg はカタログフェデレーション、未管理のファイルは cross-cloud connections を使い分けます。