注目★★★★★AWS
EMR Serverless、最大 32vCPU・244GB メモリのワーカー提供開始
30秒で把握
- 1EMR Serverless が最大 32vCPU・244GB メモリのワーカー対応、従来の 16vCPU・120GB から倍増
- 2シャッフル転送削減・OOM 失敗低減・メモリキャッシュ拡大で Spark・Hive ジョブの実行効率向上
- 3全 AWS リージョンで提供開始、計算集約ワークロードの性能評価を次期スプリントで実施推奨
要約
Amazon EMR Serverless は最大 32vCPU・244GB メモリのワーカー構成に対応し、従来の 16vCPU・120GB から倍増した。シャッフル集約ワークロードでは実行者間のデータ転送を削減し、データスキューがあるジョブでは OOM 失敗を減らす。キャッシュを要するジョブではメモリ保持量を増やしてパフォーマンスを向上させる。Spark・Hive の計算・メモリ集約ワークロード向けに、大規模ワーカーの活用を推奨している。
あなたへの影響
Spark や Hive による大規模集約処理を本番運用するチームは、メモリ不足や実行者間のデータ転送が多い場合、新しい 32vCPU ワーカーへの移行で処理性能とコスト効率の改善が期待できるため。
推奨：次のスプリントで既存ジョブの構成見直しを検討する価値がある。