注目★★★★★AWS
Redshift、Iceberg v3対応でCDCと削除処理を刷新
30秒で把握
- 1Amazon Redshift が Apache Iceberg v3 テーブルの読み書きに対応
- 2デフォルト列値・行系譜・削除ベクトルを追加し CDC を効率化
- 3Graviton のプロビジョンド／サーバーレスクラスターで利用可能
要約
Amazon Redshift がデータレイク上の Apache Iceberg v3 テーブルの読み書きに対応した。デフォルト列値、行系譜、削除ベクトルを利用できる。デフォルト列値は、既存テーブルへの列追加時に未指定値を自動適用し、スキーマ進化を簡略化する。行系譜は各行の識別子と最終更新シーケンス番号を擬似列で提供し、変更行だけを処理する増分パイプラインや CDC を構築できる。削除ベクトルは Iceberg v2 の位置削除ファイルを圧縮ビットマップに置き換え、高頻度の更新・削除で読み書きを高速化する。Graviton ベースのプロビジョンドおよびサーバーレスクラスターが対応し、既存の v2 テーブルは ALTER TABLE で v3 に更新できる。
あなたへの影響
Redshift で Iceberg テーブルを運用するチームは、次のスプリントで v3 の CDC、列追加、削除処理を検証し、既存 v2 テーブルの更新手順を確認してください。
推奨：削除ベクトルは位置削除ファイルに代わる圧縮ビットマップです。