注目★★★★★Google Cloud
BigQueryに連番ID列、ETLのキー生成を不要に
30秒で把握
- 1BigQuery が identity columns を追加し64ビット連番IDを自動生成
- 2アプリやETLの一意キー事前計算を不要にしデータ取り込みを簡素化
- 3INSERTとMERGEに対応しCREATE TABLE文で開始値と増分を指定
要約
Google Cloud は BigQuery に identity columns を追加し、テーブルの列へ連続する64ビット整数を自動生成できるようにした。アプリケーションやETLツールで一意キーを事前計算せずにデータを取り込める。INSERTやMERGEなど標準DMLと連携し、新しい行へ識別子を自動付与する。CREATE TABLE文で定義でき、開始値や増分を指定できる。
あなたへの影響
BigQueryでサロゲートキーを管理するデータエンジニアは、既存のETLやSQLからキー生成処理を外せるか近日中に評価してください。
推奨：identity columns はテーブル側で連番の64ビット整数を自動付与する機能です。