注目★★★★★AWS
AWS Glue Interactive Sessions が Spark Connect 対応、サーバレスで IDE から直接実行可能に
30秒で把握
- 1AWS Glue Interactive Sessions が Spark Connect 対応・クラスタ管理不要に
- 2Jupyter / VS Code / SageMaker から Glue サーバレス基盤へ直接ジョブ送信が可能
- 3東京含む主要リージョンで提供開始・Spark UI によるリアルタイム監視も利用可
要約
AWS Glue Interactive Sessions が Apache Spark Connect をサポートし、Jupyter や VS Code などの任意の IDE やノートブックから Glue のサーバレス基盤上で Spark ジョブを実行できるようになった。シンクライアント構成によりクライアントと Spark 実行環境が分離され、クラスタ管理不要でアドホックなデータ探索やステップ実行デバッグが可能になる。クライアント依存を分離することでアップグレードも簡素化される。Spark UI によるリアルタイム監視や Spark History Server でのセッション追跡にも対応し、東京を含む主要リージョンで利用可能。
あなたへの影響
PySpark 開発を Jupyter や VS Code から Glue サーバレス基盤に直接投入できるようになるため、ローカル環境構築コストの削減や本番移行前の反復デバッグが容易になる。
推奨：Amazon SageMaker Unified Studio のマネージドノートブックとも統合されており、既存ワークフローへの導入コストは低い。