microsoft supercharges azure ml with nvidia h200 vms

開示ページを読んで、Windows Insightが編集チームを維持するのをどのように支援できるかを確認してください。続きを読む

読者はWindowsの洞察をサポートするのに役立ちます。あなたが当社のリンクを通して購入する場合、私たちは手数料を取得するかもしれません。

Microsoftは、最新の追加であるND H200 V5仮想マシンで、Azure Machineを1回ノッチアップしています。

Microsoftが指摘しているように、これらのVMはNvidiaのH200テンソルコアGPUを搭載しており、トレーニングの大規模な言語モデルから最も重いAIワークロードを処理するように設計されています。これにより、高度にハイスループットの推論を提供するのに役立ちます。

ND H200 V5が8つのH200 GPUをパックし、合計1,128 GBの高帯域幅HBM3Eメモリを提供することに注意してください。これは、以前のH100世代を超える大規模な76％のジャンプです。

言い換えれば、大規模なメモリプールは、より大きなモデル、より長いコンテキストウィンドウ、およびより少ない妥協で実行できるようになることを意味します。 Microsoftは、このセットアップにより、クロスGPU通信が減少し、トレーニングのオーバーヘッドを削減し、効率を高めると述べています。

NVIDIA NVLINKは、VM内でGPUあたり900 GB/sを提供し、8つのGPUすべてで高速並列トレーニングを可能にします。 VMSの間に、各ノードには3.2 TB/sのインフィニバンド帯域幅が装備されており、GPUDIRECT RDMAによって低遅延GPUからGPUへの通信のために補完されます。

この設計により、何百ものノードにわたってスケーリングがよりスムーズで予測可能になり、最終的にチームが実験から生産に移行し、障害が少なくなります。

ソフトウェア側では、ND H200 V5スロットが既存のAzure MLワークフローに直接、Pytorch、Tensorflow、Jaxなどのフレームワークをサポートします。最適化されたコンテナ、NCCLを介した分散トレーニング、および直接CLIプロビジョニングにより、データサイエンスチームが迅速に開始できるようになります。

初期のベンチマークは、特にLlama 3.1 405bなどのモデルでは、前世代のセットアップと比較して、大規模なモデル推論と比較して最大35％優れたスループットを示唆しています。 Microsoftは、高性能シミュレーションと科学的ワークロードも、メモリ帯域幅と計算密度の組み合わせの恩恵を受けるために存在すると指摘しています。

Azure MLユーザーは、自動スケーリングクラスターをサポートすることで、単一のND H200 VMから数百のノードまで何でもスピンアップでき、使用するもののみを支払うことができます。要するに、これは単なるハードウェアバンプではなく、AIイノベーションの次の波に燃料を供給することを目的としたフルスタックのアップグレードです。

*÷ソースリンク：

最新の追加、 ND H200 V5 Virtual Machines、nvidia’s、