HBM, der High-Bandwidth-Memory-Standard, ist ein wichtiger Akteur auf dem KI- und HPC-Beschleunigermarkt und entwickelt sich natürlich ständig weiter. Der Markt ist derzeit bei HBM3E angelangt, aber Produkte, die auf HBM4 basieren, könnten bald auf den Markt kommen. Einige Marktteilnehmer liefern bereits Speicherchip-Sandwiches, die auf diesem Standard basieren, an ihre Partner, die sie in ihre Produkte der nächsten Generation integrieren können.
KAIST, Südkoreas führendes nationales Forschungsinstitut, hat kürzlich eine Prognose der HBM-Entwicklungen bis einschließlich 2038 vorgelegt. Es ist wichtig, darauf hinzuweisen, dass es sich hierbei nur um eine Prognose und nicht um eine Roadmap eines bestimmten Marktteilnehmers handelt, aber ähnliche Prognosen werden von anderen angesehenen Forschungsinstituten erstellt, die sich oft als absolut richtig erweisen - und oft sogar vom Markt übertroffen werden. Wird dies bei HBM der Fall sein? Wir werden es in den kommenden Jahren mit Sicherheit herausfinden, aber bis dahin wollen wir sehen, was die Forscher bis einschließlich HBM8 erwarten.
Die Kapazität von HBM-Speicherchip-Sandwiches könnte von 288 GB bis 348 GB bei HBM4 auf 5120 GB bis 6144 GB bei HBM8 steigen, gleichzeitig wird aber auch der Stromverbrauch deutlich von 75 W auf 180 W zunehmen. Die letztgenannte Zahl bezieht sich auf ein Speicherchip-Sandwich, d. h. auf einen HBM-Speicherchip.
In Bezug auf die Speicherbandbreite ist zu erwarten, dass die 2 TB/s von HBM4 mit der Einführung von HBM8 auf 64 TB/s ansteigen werden, während sich die Datentransferraten von 8 GT/s auf 32 GT/s katapultieren werden. Während die heutige Speicherdatenrate von 1024 Bit von einigen HBM3- und HBM3E-Speicherchip-Sandwiches verwendet wird, wird sie bei HBM4 2048 Bit betragen, und HBM8 wird diese auf 16384 Bit erhöhen, wenn die Vorhersage der Forscher eintrifft.
Auf HBM4 wird HBM4E folgen, der die Basischips anpassbar macht, so dass sie noch besser auf die Bedürfnisse des KI- und HPC-Marktes zugeschnitten sind, aber auch für Netzwerke optimiert werden können. Diese Fähigkeiten werden auch mit HBM5 beibehalten und durch Extras wie 3D-Cache und gestapelte Entkopplungskondensatoren ergänzt. Bei HBM5 könnte die Speicherdatenrate auf 4096 Bit steigen, die Speicherbandbreite wird 4 TB/s betragen, während die Speicherkapazität pro Speicherchip-Sandwich auf 80 GB ansteigen könnte.
Der Stromverbrauch eines jeden Speicherchip-Sandwichs könnte in der Größenordnung von 100 W liegen, aber die Microbump- oder MR-RUF-Technologie wird weiterhin für die Chips verwendet, auch wenn der Markt bereits das Potenzial der Direct Bonding-Technologie für HBM4 erforscht. Zu den HBM5-Innovationen, die für 2029 erwartet werden, könnten die Unterstützung von LPDDR- und CXL-Schnittstellen auf Boardebene sowie integriertes Third-Level-Caching und Temperaturüberwachung gehören. Ab HBM5 könnten KI-Tools eine zunehmende Rolle beim physischen Layout von Chips und anderen Designphasen spielen.
HBM6, das im Laufe des Jahres 2032 auf den Markt kommen könnte, wird die Geschwindigkeiten weiter erhöhen, so dass die Datenraten einen Spitzenwert von 16 GT/s erreichen werden und die Speicherbandbreite pro Speicherchip-Sandwich auf 8 TB/s steigen könnte. Die Kapazität jedes dieser Speicherchip-Sandwiches könnte einen Spitzenwert von 120 GB erreichen, und der Stromverbrauch wird ebenfalls steigen, voraussichtlich auf 120 W. HBM6 wird nun Direct Bonding anstelle der Microbump-Technologie verwenden, und die hybriden Interposer-Schichten können Silizium und Glas kombinieren.
Was die Architektur betrifft, so werden die Verwendung von Multi-Tower-Speicherschichten, die interne Network-Switching-Funktionalität und die Architektur der TSVs komplexer sein. KI-Tools werden beim Design eine noch größere Rolle spielen, indem sie generative Methoden zur Planung der Signalübertragung und der Leistungsfunktionen einsetzen.
HBM7 und HBM8 werden weitere Steigerungen der Geschwindigkeiten und Bandbreiten sowie komplexere Designs erfahren. HBM8 beispielsweise kann nun Datenübertragungsraten von bis zu 32 GT/s nutzen, und die Speicherbandbreite pro Speicherchip-Sandwich kann 64 TB/s erreichen. Die Chips können vollständig in 3D gestapelt werden und werden durch doppelseitige Interposer miteinander verbunden, die sogar über einen eingebauten Flüssigkeitskanal verfügen können, um die immer stärker werdende Wärmeentwicklung zu kontrollieren. Die Kapazität pro Chip könnte bis zu 240 GB betragen.
Für HBM7 und HBM8 werden auch andere extreme Änderungen erwartet, wie die Einführung von LPDDR5 und CXL-Schnittstellen bei HBM5 und die Hinzufügung von NAND-Flash-Speicher und NAND-Flash-Schnittstellen zum L3-Cache, wodurch Daten mit minimaler CPU-, GPU- oder ASIC-Belastung zu HBM-Chips fließen können. Dies wird natürlich den Stromverbrauch weiter erhöhen, wobei der TDP-Rahmen eines Speicherchip-Sandwichs 180 W erreichen kann. Die KI dieser Generation wird auch in der Lage sein, Wärmeentwicklung, Stromverbrauch und Signalwege in Echtzeit zu optimieren, um einen möglichst effizienten Betrieb zu gewährleisten.
Die obige Vorhersage ist sicherlich interessant, aber man sollte dennoch bedenken, dass es sich nicht um einen konkreten Fahrplan handelt, sondern dass solche "Vorhersagen" mit der Zeit zu sich selbst erfüllenden Vorhersagen werden können, die die Akteure der Branche zu übertreffen versuchen.
