SK Hynix und Sandisk stellen High-Bandwidth-Flash vor, der mit HBM im KI-Bereich konkurriert
SK Hynix und Sandisk haben im Rahmen des Open Compute Project eine neue High Bandwidth Flash (HBF)-Initiative vorgestellt. Durch den Umzug wird HBF als neue KI-Speicherebene zwischen HBM und SSD-Speicher positioniert.
Die Ankündigung folgt auf den jüngsten HBM3e-Liefervertrag von SK hynix mit Microsoft und unterstreicht den Wettlauf um die Sicherung von fortschrittlichem Speicher für KI-Beschleuniger.
Eine neue Speicherebene für KI-Inferenz
Laut VideoCardz leiten SK hynix und Sandisk einen dedizierten Workstream im Rahmen des Open Compute Project (OCP) zur Standardisierung von High Bandwidth Flash.
HBF zielt auf KI-Inferenz-Workloads ab und zielt darauf ab, eine weitaus höhere Kapazität als High Bandwidth Memory (HBM) bereitzustellen, ohne auf langsamere, traditionelle speicherähnliche Zugriffsmuster zurückzugreifen.
Sandisk beschreibt HBF als eine NAND-basierte Speicherlösung, die speziell auf KI-Beschleunigersysteme zugeschnitten ist. Das Konzept konzentriert sich auf den Ausgleich von Bandbreite, Kapazität und Energieeffizienz.
Leistungs- und Kapazitätsziele
Nach Angaben der Unternehmen könnte HBF etwa das 8- bis 16-fache der Kapazität von HBM in Ziel-KI-Designs bereitstellen.
Zu den Spezifikationen der ersten Generation gehören:
-
Bis zu 1,6 TB/s Lesebandbreite
-
256 GB pro Chip
-
16-Chip-Stacks mit einer Kapazität von bis zu 512 GB
HBF-Stacks sind so konzipiert, dass sie in Bezug auf Grundfläche, Stapelhöhe und Leistungsprofil mit HBM4 übereinstimmen. Diese Ausrichtung soll die Integration in KI-Beschleuniger der nächsten Generation vereinfachen.
Interne Simulationen deuten darauf hin, dass HBF bei Inferenz-Workloads eine Leistung innerhalb von 2,2 % der „HBM mit unbegrenzter Kapazität“ erreichen kann. Berichten zufolge wurde für den Test ein 8-Bit-Modell Llama 3.1 405B verwendet.
Der Vergleich geht von einer unbegrenzten HBM-Kapazität aus, was bedeutet, dass in erster Linie das Bandbreitenverhalten und nicht der reale Kapazitätsvorteil, den HBF bietet, bewertet wird.
Basierend auf fortschrittlichem NAND und 3D-Stacking
HBF verlässt sich auf die BiCS NAND-Roadmap von Sandisk und seine CMOS Direct Bonded to Array (CBA)-Architektur.
Die Unternehmen entwickeln proprietäre 3D-Stapeltechniken für 16-Chip-Konfigurationen. Diese Designs zielen auf eine verbesserte Thermik und eine geringere Verformung ab, was beides in dichten KI-Hardwareumgebungen von entscheidender Bedeutung ist.
Im Gegensatz zu DRAM-basierten Speichern wie HBM ist HBF nichtflüchtig. Es ist keine Aktualisierungsleistung erforderlich, was in großen KI-Clustern zu einer besseren Energieeffizienz führen kann.
Roadmap: Skalierung über 3 TB/s hinaus
Die Roadmap skizziert ein signifikantes Leistungswachstum:
-
Gen2 strebt eine Lesebandbreite von über 2 TB/s an
-
Gen3 zielt auf eine Lesebandbreite von bis zu 3,2 TB/s ab
Zukünftige Stack-Kapazitäten könnten auf 1 TB und sogar 1,5 TB pro Stack skaliert werden. Die Unternehmen prognostizieren auch einen geringeren Stromverbrauch, wobei Gen2 und Gen3 möglicherweise auf das 0,8-fache bzw. 0,64-fache der Leistungsniveaus von Gen1 sinken werden.
Es wurde kein offizieller Zeitplan für die Bereitstellung bekannt gegeben. Beide Firmen betrachten die OCP-Standardisierung vorerst als nächsten großen Meilenstein.
Die Ankündigung erfolgt zu einem Zeitpunkt, an dem sich der KI-Speicherwettlauf beschleunigt. Samsung hat kürzlich HBM4 vorgestellt, während allgemein erwartet wird, dass die kommende Rubin-Architektur von NVIDIA die HBM4-Nachfrage weiter ankurbeln wird.
Wenn HBF an Bedeutung gewinnt, könnte es die Art und Weise verändern, wie KI-Beschleuniger mit Inferenz-Workloads umgehen und einen Mittelweg zwischen ultraschnellem HBM und SSD-Speicher mit hoher Kapazität bieten.
*️⃣ Quelllink:
Der jüngste HBM3e-Liefervertrag von SK hynix mit Microsoft, VideoCardz, Samsung hat kürzlich HBM4 vorgestellt, treibt die HBM4-Nachfrage weiter voran,