SK Hynix และ Sandisk เปิดตัวแฟลชแบนด์วิธสูงเพื่อแข่งขันกับ HBM สำหรับ AI
SK Hynix และ Sandisk ได้เปิดตัวโครงการริเริ่ม High Bandwidth Flash (HBF) ใหม่ภายใต้ Open Compute Project การย้ายตำแหน่ง HBF เป็นระดับหน่วยความจำ AI ใหม่ระหว่างที่จัดเก็บข้อมูล HBM และ SSD
การประกาศดังกล่าวเกิดขึ้นหลังจากข้อตกลงการจัดหา HBM3e ล่าสุดของ SK hynix กับ Microsoft โดยเน้นย้ำถึงการแข่งขันเพื่อรักษาความปลอดภัยหน่วยความจำขั้นสูงสำหรับตัวเร่งความเร็ว AI
ระดับหน่วยความจำใหม่สำหรับการอนุมาน AI
จากข้อมูลของ VideoCardz นั้น SK hynix และ Sandisk เป็นผู้นำด้านเวิร์กสตรีมเฉพาะภายใน Open Compute Project (OCP) เพื่อสร้างมาตรฐาน High Bandwidth Flash
HBF กำหนดเป้าหมายไปที่ปริมาณงานการอนุมาน AI และมีเป้าหมายที่จะมอบความจุที่สูงกว่าหน่วยความจำแบนด์วิธสูง (HBM) โดยไม่ถอยกลับไปใช้รูปแบบการเข้าถึงที่คล้ายกับพื้นที่จัดเก็บข้อมูลแบบดั้งเดิมที่ช้าลง
Sandisk อธิบายว่า HBF เป็นโซลูชันหน่วยความจำแบบ NAND ที่ปรับแต่งมาโดยเฉพาะสำหรับระบบเร่งความเร็ว AI แนวคิดนี้มุ่งเน้นไปที่การสร้างสมดุลแบนด์วิธ ความจุ และประสิทธิภาพการใช้พลังงาน
เป้าหมายด้านประสิทธิภาพและความจุ
จากข้อมูลของบริษัทต่างๆ HBF สามารถให้ความจุประมาณ 8× ถึง 16× ของ HBM ในการออกแบบ AI เป้าหมาย
ข้อมูลจำเพาะรุ่นแรกประกอบด้วย:
-
แบนด์วิธการอ่านสูงสุด 1.6 TB/s
-
256Gb ต่อดาย
-
สแต็ก 16-die ความจุสูงสุด 512GB
สแตก HBF ได้รับการออกแบบเพื่อให้ตรงกับ HBM4 ในด้านพื้นที่ใช้งาน ความสูงของสแตก และโปรไฟล์กำลัง การจัดตำแหน่งนี้ควรทำให้การรวมเข้ากับตัวเร่งความเร็ว AI รุ่นต่อไปง่ายขึ้น
การจำลองภายในแนะนำว่า HBF สามารถบรรลุประสิทธิภาพภายใน 2.2% ของ “ความจุ HBM ไม่จำกัด” ในปริมาณงานการอนุมาน มีรายงานว่าการทดสอบใช้โมเดล Llama 3.1 405B 8 บิต
การเปรียบเทียบใช้ความจุ HBM แบบไม่จำกัด ซึ่งหมายความว่าระบบจะประเมินพฤติกรรมแบนด์วิดท์เป็นหลัก แทนที่จะเป็นข้อได้เปรียบด้านความจุในโลกแห่งความเป็นจริงที่ HBF เสนอ
สร้างขึ้นบน NAND ขั้นสูงและการซ้อน 3D
HBF อาศัยแผนงาน BiCS NAND ของ Sandisk และสถาปัตยกรรม CMOS แบบ Bonded to Array (CBA) โดยตรง
บริษัทต่างๆ กำลังพัฒนาเทคนิคการเรียงซ้อน 3D ที่เป็นกรรมสิทธิ์โดยมุ่งเป้าไปที่การกำหนดค่า 16 แม่พิมพ์ การออกแบบเหล่านี้มุ่งเป้าไปที่การระบายความร้อนที่ดีขึ้นและการบิดงอที่ลดลง ซึ่งทั้งคู่มีความสำคัญอย่างยิ่งในสภาพแวดล้อมฮาร์ดแวร์ AI ที่มีความหนาแน่นสูง
ต่างจากหน่วยความจำที่ใช้ DRAM เช่น HBM ตรงที่ HBF นั้นไม่ลบเลือน ไม่ต้องการพลังงานรีเฟรช ซึ่งอาจแปลไปสู่ประสิทธิภาพการใช้พลังงานที่ดีขึ้นในคลัสเตอร์ AI ขนาดใหญ่
แผนงาน: การปรับขนาดเกิน 3 TB/s
แผนงานสรุปการเติบโตของผลการดำเนินงานที่สำคัญ:
-
Gen2 ตั้งเป้าไว้ที่แบนด์วิธการอ่านมากกว่า 2 TB/s
-
Gen3 ตั้งเป้าแบนด์วิธการอ่านสูงสุด 3.2 TB/s
ความจุสแต็กในอนาคตสามารถปรับขนาดเป็น 1TB และแม้กระทั่ง 1.5TB ต่อสแต็ก บริษัทต่างๆ ยังคาดการณ์การใช้พลังงานที่ลดลง โดย Gen2 และ Gen3 อาจลดลงเหลือ 0.8× และ 0.64× ของระดับพลังงาน Gen1
ยังไม่มีการประกาศกำหนดเวลาการใช้งานอย่างเป็นทางการ ในตอนนี้ ทั้งสองบริษัทถือว่ามาตรฐาน OCP เป็นก้าวสำคัญต่อไป
การประกาศดังกล่าวเกิดขึ้นในขณะที่การแข่งขันหน่วยความจำของ AI เร่งความเร็วขึ้น Samsung เพิ่งเปิดตัว HBM4 ในขณะที่สถาปัตยกรรม Rubin ที่กำลังจะมาถึงของ NVIDIA ได้รับการคาดหวังอย่างกว้างขวางว่าจะขับเคลื่อนความต้องการ HBM4 ต่อไป
หาก HBF ได้รับแรงผลักดัน ก็สามารถเปลี่ยนวิธีที่ตัวเร่งความเร็ว AI จัดการกับปริมาณงานการอนุมานได้ โดยให้จุดกึ่งกลางระหว่าง HBM ที่เร็วเป็นพิเศษและพื้นที่จัดเก็บข้อมูล SSD ความจุสูง
*️⃣ ลิงค์ที่มา:
ข้อตกลงการจัดหา HBM3e ล่าสุดของ SK hynix กับ Microsoft VideoCardz เมื่อเร็ว ๆ นี้ Samsung ได้เปิดตัว HBM4 ซึ่งขับเคลื่อนความต้องการ HBM4 ให้มากขึ้น