注目★★★★★Azure
AT&T、1兆トークン処理を実現 Microsoft Foundry と AMD GPU で通信 AI を実装
30秒で把握
- 1AT&T が 1 兆トークン処理を Microsoft Foundry + AMD/NVIDIA GPU で実装・OTel 2.0 開発
- 2オープンソース AI モデル採用で柔軟性確保・複数 GPU ベンダアーキテクチャで依存回避
- 3通信事業者規模の本番 AI ワークロード運用に必要なインフラ設計パターンを確認すべき
要約
AT&T は Microsoft Foundry のマネージド計算環境を使い、1兆トークン規模のワークロードを処理しながら OTel 2.0 を開発した。AMD と NVIDIA の GPU インフラを組み合わせ、複数のオープンソース AI モデルを柔軟に選択できる構成を実装している。スケーラブルなインフラと モデル選択の自由度が、通信事業者規模の本番 AI ワークロード実現の鍵となることを実証した。
あなたへの影響
大規模トークン処理を必要とする本番 AI システムを構築する組織は、マネージド計算環境と複数 GPU ベンダーの並用により運用コスト削減とベンダーロック回避を同時に実現できる点を参考にすべき。
推奨：今週中にチームで影響と対応方針を確認してください。