注目★★★★★Google Cloud
Yahoo、Spark の VM 柔軟化で構築失敗を85%削減
30秒で把握
- 1Yahoo が Spark の flexible VMs 導入で構築失敗を 85% 削減
- 2Auto-Zone placement がリージョン全体から利用可能な VM を選択
- 3Autoscaling ではコア数・メモリ・CPU 比率の統一が必要
要約
Yahoo は Managed Service for Apache Spark の flexible VMs を導入し、地域の容量不足に応じて複数の VM 形状から自動選択する構成に変えた。Auto-Zone placement でリージョン全体を検索し、固定 VM の在庫切れによるクラスタ構築失敗を 85% 削減した。Autoscaling では VM 間でコア数とメモリをそろえ、必要に応じて YARN や Spark のプロパティを明示的に上書きする。これにより、手動対応や独自リトライ処理なしでデータパイプラインの実行を維持する。
あなたへの影響
Managed Service for Apache Spark を使う日本のデータ基盤チームは、固定 VM と単一ゾーン構成を点検し、次のスプリントで flexible VMs と Auto-Zone placement を検証するとよい。
推奨：VM の切り替えで CPU・メモリ比率が変わると Spark や YARN の実効リソースに影響するため、Autoscaling とプロパティ設定を合わせて確認する必要がある。