注目★★★★★AWS
SageMaker Notebook に G6e インスタンス対応、G5 比 2.5 倍の性能で LLM 13B パラメータまで
30秒で把握
- 1SageMaker Notebook が G6e インスタンスを GA、東京リージョン含む 8 拠点で提供
- 2G5 比最大 2.5 倍性能・GPU 48 GB メモリで 13B パラメータ LLM まで対応
- 3既存 Notebook ユーザーはインスタンスタイプ変更のみで G6e に切り替え可能
要約
AWS は SageMaker Notebook インスタンスで Amazon EC2 G6e インスタンスの一般提供を開始した。G6e は NVIDIA L40s Tensor Core GPU を最大 8 基搭載し、GPU あたり 48 GB メモリと第 3 世代 AMD EPYC プロセッサを持ち、G5 比で最大 2.5 倍の性能を発揮する。最大 13B パラメータの LLM や画像・動画・音声向け拡散モデルのデプロイ、生成 AI ファインチューニングなどのインタラクティブなユースケースに対応する。利用可能なリージョンは米国東部 (バージニア・オハイオ)、米国西部 (オレゴン)、アジアパシフィック (東京)、中東 (ドバイ)、欧州 (フランクフルト・スウェーデン・スペイン) となっている。
あなたへの影響
SageMaker Notebook で大規模 LLM のインタラクティブなファインチューニングや推論検証を行うチームは、G5 から G6e への切り替えで同コスト帯でより大きなモデルを扱えるようになる。
推奨：東京リージョンでも即日利用可能なため、国内プロジェクトでも追加手続きなく選択できる。