Contents

SK Hynix と Sandisk、AI 向けのライバル HBM の高帯域幅フラッシュを発表

<本文>/images/SK-Hynix-Sandisk.jpg

SK Hynix と Sandisk が AI 向けのライバル HBM に対抗する高帯域幅フラッシュを発表

SK Hynix と Sandisk は、Open Compute Project の下で新しい High Bandwidth Flash (HBF) イニシアチブを発表しました。この動きにより、HBF は HBM と SSD ストレージの間の新しい AI メモリ層として位置付けられます。

この発表は、SK ハイニックスとマイクロソフトとの最近の HBM3e 供給契約に続くもので、AI アクセラレータ用の高度なメモリを確保するための競争をさらに強調しています。

AI 推論のための新しいメモリ層

VideoCardz によると、SK hynix と Sandisk は、高帯域幅フラッシュを標準化するために Open Compute Project (OCP) 内で専用のワークストリームを主導しています。

HBF は AI 推論ワークロードをターゲットにしており、低速で従来のストレージのようなアクセス パターンに後戻りすることなく、高帯域幅メモリ (HBM) よりもはるかに高い容量を提供することを目指しています。

サンディスクは、HBF を AI アクセラレータ システム専用に調整された NAND ベースのメモリ ソリューションであると説明しています。このコンセプトは、帯域幅、容量、電力効率のバランスをとることに重点を置いています。

パフォーマンスと容量の目標

両社によれば、HBF はターゲット AI 設計において HBM のおよそ 8 倍から 16 倍の容量を提供できるとのことです。

第一世代の仕様には次のものが含まれます。

  • 最大 1.6 TB/秒の読み取り帯域幅

  • ダイあたり 256Gb

  • 最大 512GB の容量に達する 16 ダイ スタック

HBF スタックは、設置面積、スタック高さ、電力プロファイルにおいて HBM4 と一致するように設計されています。この連携により、次世代 AI アクセラレータへの統合が簡素化されるはずです。

内部シミュレーションによると、HBF は推論ワークロードにおいて「容量無制限の HBM」の 2.2% 以内のパフォーマンスを達成できることが示唆されています。報告によると、テストでは 8 ビット Llama 3.1 405B モデルが使用されました。

この比較では、無制限の HBM 容量を前提としています。つまり、HBF が提供する実際の容量の利点ではなく、主に帯域幅の動作を評価します。

高度な NAND と 3D スタッキングに基づいて構築

HBF は、サンディスクの BiCS NAND ロードマップとその CMOS Direct Bonded to Array (CBA) アーキテクチャに依存しています。

両社は、16 ダイ構成を目的とした独自の 3D スタッキング技術を開発しています。これらの設計は、高密度 AI ハードウェア環境において重要な、熱の改善と反りの低減をターゲットとしています。

HBM などの DRAM ベースのメモリとは異なり、HBF は不揮発性です。リフレッシュ電力が不要なため、大規模な AI クラスターのエネルギー効率が向上する可能性があります。

ロードマップ: 3 TB/秒を超えるスケーリング

ロードマップでは、パフォーマンスの大幅な向上が示されています。

  • Gen2 は 2 TB/秒を超える読み取り帯域幅を目指しています

  • Gen3 は最大 3.2 TB/秒の読み取り帯域幅をターゲットとしています

将来のスタック容量は、スタックあたり 1 TB、さらには 1.5 TB まで拡張される可能性があります。両社はまた、消費電力の低減も予測しており、第 2 世代と第 3 世代は第 1 世代の電力レベルの 0.8 倍と 0.64 倍に低下する可能性があります。

公式な展開スケジュールは発表されていません。今のところ、両社はOCPの標準化を次の大きなマイルストーンとして扱っている。

この発表は、AIメモリ競争が加速する中で行われた。 Samsung は最近 HBM4 を発表しましたが、NVIDIA の今後の Rubin アーキテクチャは HBM4 の需要をさらに促進すると広く期待されています。

HBF が勢いを増せば、AI アクセラレータによる推論ワークロードの処理方法が再構築され、超高速 HBM と大容量 SSD ストレージの間の中間点が提供される可能性があります。

*️⃣ 出典リンク:

SK ハイニックスとマイクロソフトとの最近の HBM3e 供給契約、 VideoCardz、サムスンは最近 HBM4 を発表し、HBM4 需要をさらに促進