注目★★★★★AWS
SageMaker HyperPod、LLM 推論を 2 段階に分離・レイテンシ安定化
30秒で把握
- 1AWS SageMaker HyperPod が Disaggregated Prefill and Decode (DPD) に対応・prefill と decode を別 GPU プールで実行
- 2長文リクエストが短文生成を阻害する従来の問題を排除・トークンレイテンシ安定化とスループット予測性向上を実現
- 3pdSpec セクション追加で有効化・ルータが自動振り分け・短文のオーバーヘッドなし
要約
AWS は SageMaker HyperPod に Disaggregated Prefill and Decode (DPD) を導入し、LLM 推論の prefill と decode を専用 GPU プールに分離した。従来は両フェーズが同じ GPU を共有するため長文リクエストが短文生成を阻害していたが、分離により compute 集約的な prefill と memory 集約的な decode が資源競合しなくなる。トークンごとのレイテンシが安定化し、スループット予測性が向上し、両フェーズの容量を独立スケールできる。ルータが自動的に長文リクエストを分離経路に振り分け、短文は直接 decoder に送るため、短文トラフィックに転送オーバーヘッドがかからない。
あなたへの影響
この記事が日本のエンジニアに与える影響と、今日取るべきアクションは、Personal会員向けに掲載しています。
クレカ不要・いつでも解約