Das Team von SanDisk hat kürzlich ein aufregendes und revolutionäres neues Konzept vorgestellt, das sich im Segment der KI-Beschleuniger als nützlich erweisen und dieses im Wesentlichen revolutionieren könnte. Moderne KI-Beschleuniger verwenden derzeit Speicherchip-Sandwiches, die auf einer Version des HBM- oder High-Bandwidth-Memory-Standards basieren, typischerweise HBM3 oder HBM3E, aber HBM4-Lösungen sind nicht mehr weit entfernt. Diese Speicherchip-Sandwiches bieten eine enorme Speicherbandbreite, aber sie sind teuer in der Herstellung und die verfügbare Speicherkapazität ist im Vergleich zu dem, was das SanDisk-Team geleistet hat, sehr begrenzt.
HBF (High-Bandwidth Flash) ist im Wesentlichen eine Fortsetzung des HBM-Konzepts, d. h. die nächste Generation von KI-Beschleunigern wird Zugang zu On-Board-Speicher in Form von Speicherchip-Sandwiches haben, allerdings nicht mehr auf DRAM-, sondern auf Flash-Basis, mit all seinen Vor- und Nachteilen. Die Vision von SanDisk ist, dass HBF bis zu 4 TB On-Board-Speicher pro KI-Beschleuniger ermöglichen wird, was eine enorme Verbesserung gegenüber dem heutigen Stand darstellt. Den Experten des Unternehmens zufolge können HBF-Speicherchip-Sandwiches die 8- bis 16-fache Speicherkapazität von Lösungen des Typs HBM bieten, während die Kosten und die Speicherbandbreite gleich bleiben.
Der HBF wird mit den BiCS 3D-NAND-Flash-Speicherchips des Unternehmens erstellt, wobei nicht bekannt gegeben wurde, welche NAND-Flash-Technologie im Hintergrund verwendet wird. Dies ist wichtig, da NAND-Flash-Speicherzellen eine endliche Anzahl von Schreib-/Löschzyklen haben, viel weniger als ein HBM-Speicherchip aushalten kann, so dass es nicht unwichtig ist, welche Lösungen verwendet werden, um die Lebensdauer und Robustheit zu erhöhen. Eines ist sicher: Bei HBF-Speicherchip-Sandwiches werden 3D-NAND-Flash-Speicherchips mit der CMOS Directly Bonded to Array (CBA)-Technologie auf eine I/O-Platine geschichtet.
Da jedoch herkömmliche NAND-Flash-Chips Daten in Form von Blättern und Blöcken innerhalb eines Speicherarrays speichern, waren einige Modifikationen erforderlich, damit auf mehr Zellen parallel zugegriffen werden kann und die Datenbandbreite das gewünschte Niveau erreicht. Bei NAND-Flash-Zellen ist die kleinste Einheit, die gelöscht werden kann, der Block, während die kleinste Einheit, die geschrieben werden kann, die Seite ist - letztere besteht aus mehreren Blöcken. Daher wird der Bereich in mehrere Blöcke unterteilt, die vom Speicher-Controller parallel verwaltet werden können. Diese Unterblöcke, die wahrscheinlich über dedizierte Schreib-/Lese-Lanes verfügen, können mit ihren eigenen Seiten und Blöcken arbeiten und sollten in etwa wie NAND-Flash-Chips betrachtet werden, die in mehrere Ebenen unterteilt sind.
Die HBF-Speicherchip-Sandwiches der ersten Generation sollen aus insgesamt 16 HBF-Wafern bestehen, die in Schichten innerhalb der Verkapselung gestapelt werden. Für die Schichtung der Wafer musste eine spezielle Technologie entwickelt werden, um die Gefahr des Verziehens der Chips zu vermeiden. An der Unterseite jedes dieser Wafer-Sandwiches befindet sich ein Logikschaltkreis, der Hunderte oder Tausende von parallelen Datenströmen gleichzeitig verarbeiten kann und damit viel komplexer ist als ein herkömmlicher SSD-Controller.
Leider wurde nicht genau erwähnt, wie sich die Leistung von HBF-Speicherchip-Sandwiches entwickeln wird, aber es scheint sicher, dass sie mit HBM-Speicherchip-Sandwiches gleichziehen wird, obwohl keine Einzelheiten darüber genannt wurden, welcher HBM-Standard gemeint war. HBM3 bietet zum Beispiel Speicherbandbreiten von rund 128 GB/s, während HBM3E Speicherbandbreiten von bis zu 1 TB/s ermöglicht, zum Beispiel bei Nvidias B200 AI-Beschleuniger.
Der neue Speichertyp hat auch eine kleine Einschränkung, die die Bereiche einschränkt, in denen er effektiv genutzt werden kann. Die Latenzzeit pro Bit wird niemals das Niveau von HBM erreichen, und genau aus diesem Grund haben SanDisk-Beamte erklärt, dass der neue Speichertyp vor allem für leseintensive Aufgaben nützlich sein wird, wie z. B. die Verarbeitung großer Datenmengen. In diesen Fällen kann die hohe Datenbandbreite wichtiger sein als die ultraniedrige Latenz, die HBM bietet, was bedeutet, dass HBF-Speicher in vielen Fällen eine gute Wahl sein kann, aber HBM in naher Zukunft nicht ersetzen wird. Der HBF-Speicher selbst verwendet auf elektronischer Ebene denselben Koppler wie der HBM-Speicher, aber der eine kann nicht einfach anstelle des anderen eingesetzt werden, da es keine solche Verbindungsebene zwischen den beiden gibt.
Interessant wird auch die Frage der Robustheit sein, die noch nicht spezifiziert ist, obwohl sie ein kritischer Aspekt ist, wie wir bereits oben erwähnt haben. Eine weitere Herausforderung in diesem Bereich ist, dass NAND-Flash auf Blockebene gelöscht und beschrieben werden kann, während DRAM bitweise adressiert werden kann.
Das SanDisk-Team hat noch keine Angaben dazu gemacht, wann der neue Speichertyp verfügbar sein wird. Das Unternehmen möchte die neue Entwicklung als offenen Standard in Form eines offenen Ökosystems zur Verfügung stellen, und die Zusammenarbeit mit der Industrie könnte in nicht allzu ferner Zukunft beginnen.
