Lesen Sie unsere Offenlegungsseite, um herauszufinden, wie Sie Windows Insight helfen können, das Redaktionsteam zu erhalten. Mehr lesen
Die Leser unterstützen Windows Insight. Wir können eine Provision erhalten, wenn Sie unsere Links kaufen.
Microsoft nimmt Azure Machine Learning mit seiner neuesten Ergänzung, den virtuellen Maschinen ND H200 V5, ein.
Wie Microsoft feststellt, werden diese VMs von NVIDIAs H200 -Tensor -Kern -GPUs betrieben und für die schwersten KI -Workloads ausgelegt, die massive Sprachmodelle trainieren. Dies hilft ihnen, im Maßstab hochdurchschnittliche Inferenz zu servieren.
Es ist erwähnenswert, dass der ND H200 V5 acht H200-GPUs mit einem kombinierten HBM3E-Speicher mit hoher Bandbreite mit hohem Bandbreiten anbietet. Das ist ein massiver Sprung von 76% über die vorherige H100 -Generation.
Mit anderen Worten, der massive Speicherpool bedeutet größere Modelle, längere Kontextfenster und größere Chargengrößen können jetzt mit weniger Kompromissen ausgeführt werden. Laut Microsoft reduziert dieses Setup auch die Cross-GPU-Kommunikation, reduziert das Schulungsaufwand und die Steigerung der Effizienz.
Nvidia NVLink liefert in einem VM 900 GB/s pro GPU und ermöglicht ein schnelles parallele Training in allen acht GPUs. Zwischen VMs ist jeder Knoten mit 3,2 TB/s Infiniband-Bandbreite ausgestattet, ergänzt durch GPUDirect RDMA für die GPU-zu-GPU-Kommunikation mit niedriger Latenz.
Dieses Design macht die Skalierung über Hunderte von Knoten glatter und vorhersehbarer und hilft den Teams, von Experimenten zur Produktion mit weniger Straßensperren zu wechseln.
Auf der Softwareseite sind ND H200 V5 -Slots direkt in vorhandene Azure ML -Workflows und unterstützen Frameworks wie Pytorch, TensorFlow und Jax. Optimierte Container, verteilte Schulung über NCCL und direkte CLI -Bereitstellung stellen sicher, dass Data Science -Teams schnell beginnen können.
Frühe Benchmarks deuten im Vergleich zu früheren Gen-General-Setups bis zu 35% besseren Durchsatz für große Modellinferenz hin, insbesondere für Modelle wie Lama 3.1 405b. Microsoft merkt an, dass die Hochleistungssimulationen und die wissenschaftlichen Workloads auch von der Kombination aus Speicherbandbreite und Berechnung der Dichte profitieren.
Azure ML-Benutzer können mit Unterstützung für automatische Skalierungscluster alles von einem einzelnen ND H200-VM bis zu Hunderten von Knoten aufdrehen und nur für das bezahlen, was sie verwenden. Kurz gesagt, dies ist nicht nur eine Hardware-Beule, sondern ein Upgrade in voller Stapel, das darauf abzielt, die nächste Welle der KI-Innovation zu befeuern.
*️⃣ Quellverknüpfung:
Mit seiner neuesten Ergänzung, Nd H200 V5 Virtual Machines, Nvidia’s,,