注目★★★★★AWS
Amazon EMR Serverless、Spark Connect対応でインタラクティブセッション開始
30秒で把握
- 1EMR Serverless が Spark Connect 対応・EMR 7.13 で全リージョン提供開始
- 2Jupyter・VS Code・SageMaker Studio から直接 Spark 実行が可能に
- 3セッション単位コスト可視化と Spark UI リアルタイム監視も追加
要約
Amazon EMR Serverless が Spark Connect によるインタラクティブセッションをサポートし、Jupyter や VS Code、SageMaker Unified Studio から Apache Spark アプリを直接開発・実行できるようになった。Spark Connect のクライアント・サーバ分離アーキテクチャにより、ローカルの Python コードとリモートの Spark 処理を統一環境でシームレスに混在させられる。アドホックなデータ探索・ステップ実行デバッグ・本番デプロイ前の PySpark ジョブ開発など反復ワークフローが可能になった。Spark UI によるリアルタイム監視、Spark History Server、EMR コンソール・API/CLI/SDK によるセッション管理も利用できる。本機能は EMR リリース 7.13 以降で、Amazon EMR Serverless が提供されている全 AWS リージョンで利用可能。
あなたへの影響
SageMaker Unified Studio や Jupyter を使ってデータ処理パイプラインを開発しているチームは、EMR 7.13 へのアップグレードでサーバレス環境のままインタラクティブデバッグが完結するため、ローカル環境との往復コストを削減できる。
推奨：セッション単位のコスト可視化も追加されているため、開発コスト管理の観点でも次スプリントで評価を推奨。