注目★★★★★Google Cloud
BigQuery で SQL と Python をシームレス連携、%%bqsql 魔法コマンド登場
30秒で把握
- 1Google Cloud が %%bqsql IPython 魔法コマンド発表、SQL と Python をノートブック内でシームレス連携可能
- 2従来の往復作業(SQL 結果→メモリ→Python→一時テーブル)が不要に、データ処理パイプラインの効率化が期待できる
- 3Jupyter・pandas・BigFrames ベースでオープンソース化、Colab Enterprise の体験をより広いエコシステムに拡張
要約
Google Cloud は BigQuery と Python をノートブック内で効率的に連携させる %%bqsql IPython 魔法コマンドを発表した。従来は SQL クエリ結果をメモリに移してから Python で処理し、再び SQL 用の一時テーブルに戻す手間が必要だったが、新機能により SQL と Python のコード セルをシームレスに繋ぐことができる。Jupyter・pandas・BigFrames などのオープンソース パッケージをベースに実装され、Colab Enterprise で先行提供していた SQL セルの体験をより広いエコシステムに拡張したもの。
あなたへの影響
BigQuery を分析基盤として使うデータサイエンス・データエンジニアリング チームは、このコマンドにより複雑なデータパイプラインの開発時間を短縮できる可能性があるため、次のデータ処理プロジェクトで %%bqsql の活用を評価の対象に入れるとよい。
推奨:現時点で即時対応は不要です。必要に応じて原文を確認してください。