SK Hynix et Sandisk dévoilent un flash à large bande passante pour rivaliser avec HBM pour l’IA
SK Hynix et Sandisk ont dévoilé une nouvelle initiative High Bandwidth Flash (HBF) dans le cadre de l’Open Compute Project. Cette décision positionne HBF comme un nouveau niveau de mémoire IA entre le stockage HBM et SSD.
Cette annonce fait suite au récent accord de fourniture de HBM3e entre SK hynix et Microsoft, soulignant encore davantage la course à la sécurisation de la mémoire avancée pour les accélérateurs d’IA.
Un nouveau niveau de mémoire pour l’inférence de l’IA
Selon VideoCardz, SK hynix et Sandisk dirigent un flux de travail dédié au sein de l’Open Compute Project (OCP) pour normaliser le Flash à large bande passante.
HBF cible les charges de travail d’inférence d’IA et vise à fournir une capacité bien supérieure à celle de la mémoire à haute bande passante (HBM) sans recourir à des modèles d’accès plus lents et traditionnels de type stockage.
Sandisk décrit HBF comme une solution de mémoire basée sur NAND spécialement conçue pour les systèmes d’accélération d’IA. Le concept se concentre sur l’équilibre entre la bande passante, la capacité et l’efficacité énergétique.
Objectifs de performances et de capacité
Selon les entreprises, HBF pourrait fournir environ 8 à 16 fois la capacité de HBM dans les conceptions d’IA cibles.
Les spécifications de première génération incluent :
-
Jusqu’à 1,6 To/s de bande passante en lecture
-
256 Go par die
-
Piles de 16 puces atteignant jusqu’à 512 Go de capacité
Les piles HBF sont conçues pour correspondre au HBM4 en termes d’encombrement, de hauteur de pile et de profil de puissance. Cet alignement devrait simplifier l’intégration dans les accélérateurs d’IA de nouvelle génération.
Les simulations internes suggèrent que HBF peut atteindre des performances inférieures à 2,2 % de celles du « HBM à capacité illimitée » dans les charges de travail d’inférence. Le test aurait utilisé un modèle Llama 3.1 405B 8 bits.
La comparaison suppose une capacité HBM illimitée, ce qui signifie qu’elle évalue principalement le comportement de la bande passante plutôt que l’avantage de capacité réel qu’offre HBF.
Construit sur une NAND avancée et un empilage 3D
HBF s’appuie sur la feuille de route BiCS NAND de Sandisk et son architecture CMOS directement liée au tableau (CBA).
Les sociétés développent des techniques propriétaires d’empilement 3D destinées aux configurations à 16 puces. Ces conceptions visent des performances thermiques améliorées et une réduction du gauchissement, deux éléments essentiels dans les environnements matériels d’IA denses.
Contrairement à la mémoire DRAM telle que HBM, HBF est non volatile. Il ne nécessite pas de puissance de rafraîchissement, ce qui peut se traduire par une meilleure efficacité énergétique dans les grands clusters d’IA.
Feuille de route : évoluer au-delà de 3 To/s
La feuille de route décrit une croissance significative des performances :
-
Gen2 vise une bande passante de lecture supérieure à 2 To/s
-
Gen3 cible jusqu’à 3,2 To/s de bande passante en lecture
Les futures capacités de pile pourraient atteindre 1 To, voire 1,5 To par pile. Les sociétés prévoient également une consommation d’énergie inférieure, les Gen2 et Gen3 pouvant potentiellement chuter à 0,8× et 0,64× des niveaux de puissance Gen1.
Aucun calendrier de déploiement officiel n’a été annoncé. Pour l’instant, les deux sociétés considèrent la normalisation OCP comme la prochaine étape majeure.
L’annonce tombe alors que la course à la mémoire de l’IA s’accélère. Samsung a récemment dévoilé le HBM4, tandis que la prochaine architecture Rubin de NVIDIA devrait largement stimuler la demande en HBM4.
Si HBF gagne du terrain, il pourrait remodeler la façon dont les accélérateurs d’IA gèrent les charges de travail d’inférence, offrant un juste milieu entre le HBM ultra-rapide et le stockage SSD haute capacité.
*️⃣ Lien source :
Le récent accord de fourniture de HBM3e entre SK hynix et Microsoft, VideoCardz, Samsung a récemment révélé HBM4, ce qui stimule la demande de HBM4,