JEDEC hat einen interessanten Speicherstandard entwickelt, dessen vorrangiges Ziel darin besteht, durch kreative Lösungen dazu beizutragen, die Kosten im Zusammenhang mit dem Speichersubsystem von KI-Beschleunigern, die auf dem HBM-Speicherstandard basieren, zu senken – allerdings dazu jedoch auch gewisse Kompromisse eingegangen werden müssen, was darauf hindeutet, dass der SPHBM4-Speicherstandard eher als eine Art interessante Ergänzung fungieren wird und kein Konkurrent zu den HBM4/HBM4E-Speicherstandards sein wird.

Der Standard „Standard Package High Bandwidth Memory“, der unter dem Codenamen JESD330-4 läuft, dient in erster Linie dem Ziel, teure und komplexe Chip-Verpackungstechnologien zu ersetzen, die nur bei begrenzter Fertigungskapazität verfügbar sind, wodurch die Anzahl der damit herstellbaren Chips stark begrenzt ist – man denke beispielsweise an die CoWoS-Technologie von TSMC. Im Rahmen des SPHBM4-Standards werden DRAM-Chips ebenfalls übereinandergeschichtet, d. h., hierfür sind ebenfalls die üblichen vertikalen Durchkontaktierungen (TSVs) erforderlich, jedoch wird unter die Speicherchip-Sandwiches kein teurer und komplexer Interposer gelegt, der fortschrittliche Verpackungstechnologien und teure Rohstoffe erfordert, sondern ein viel kostengünstiger herzustellendes Basis-Chip aus organischen Rohstoffen. die anstelle des üblichen 2048-Bit-Speicher-Bus nur einen deutlich schmaleren, lediglich 512-Bit-Speicher-Bus nutzen kann.

Um sicherzustellen, dass die für HBM4-Speicherchip-Sandwichs typische Datenübertragungsrate trotz des schmaleren Speicher-Busbreiten beibehalten werden kann, wird die Datenübertragungsgeschwindigkeit deutlich erhöht, sodass sie nun zwischen 22,4 GT/s und 46 GT/s liegen kann, während normale HBM4-Chips nur mit einer Geschwindigkeit von 8 GT/s arbeiten und bei HBM4E-Chips bereits mit einer Geschwindigkeit von rund 12 GT/s zu rechnen ist. Normale HBM4E-Speicherchips bieten dank des 2048-Bit-Speicher-Datenbus eine Speicherbandbreite von 3 TB/s, während dieser Wert beim SPHBM4 bei 2,944 TB/s liegt, wenn man von einer Geschwindigkeit von 46 GT/s ausgeht, was in der Anfangsphase sicherlich noch nicht Realität sein wird.

Wie wird diese Geschwindigkeit beim SPHBM4 bei einem 512-Bit-Speicherdatenstrom erreicht? Bei den SPHBM4-Speicherchips stehen insgesamt 32 16-Bit-DDR-Speicherkanäle zur Verfügung, die das System in Form von 8 Quad-Channels nutzen kann. Bei den HBM4-Speicherchip-Sandwiches nutzt jeder einzelne Chip intern insgesamt 32 Speicherkanäle, die jeweils 64 Bit breit sind, wodurch sich ein 2048-Bit-Speicherdatenstrom ergibt. Damit der SPBM4 den 2048-Bit-internen Datenbus auf einen 512-Bit-externen Datenbus übertragen kann, müssen die internen HBM4-Speicherkanäle jeweils zu viert zu Quad-Channel-Blöcken zusammengefasst werden, wobei jeder Quad-Channel insgesamt 64 Datenkanäle verwaltet, d. h., es stehen 4 × 16 Bit zur Verfügung; diese ersetzen im Wesentlichen die 256 internen Datenkanäle, die bei einem normalen HBM4-Chip zur Verfügung stehen.

Die 64 Datenkanäle arbeiten mit einer im Vergleich zu normalen HBM4-Chips viermal höheren Datenrate, sodass der 512-Bit-Chip letztendlich fast die gleiche Speicherbandbreite bieten kann wie eine normale 2048-Bit-Version, wofür jedoch der Einsatz zahlreicher zusätzlicher Technologien erforderlich ist. Beim Basis-Chip kommen zahlreiche Verfahren zum Einsatz, die aufgrund der hohen Datenrate unverzichtbar sind und bei normalen HBM4-Speicherchips aufgrund der geringen Geschwindigkeit, aber hohen Parallelität nicht erforderlich sind. Bei SPHBM4 sind zudem zusätzliche Datenverarbeitungsschritte erforderlich (z. B.: SerDes), die die Latenz um einige Nanosekunden erhöhen können; dies ist bei bestimmten Aufgabentypen akzeptabel, im Bereich der Deduktion jedoch kein gangbarer Weg mehr, da dort die Latenz eine sehr große Rolle spielt.

SPHBM4 ist also eine Kompromisslösung, die nur für einen engeren Bereich von KI-Beschleunigern von Nutzen sein kann – dort aber sehr wohl. Es ist vorerst noch unklar, wie sich die Energieeffizienz letztendlich darstellen wird, da dies stark von den Implementierungen der Hersteller abhängt; sicher ist jedoch, dass mit dieser Technologie nur eine feste I/O-Spannung von 0,75 V verwendet werden kann. Bei HBM4 können 0,7 V, 0,75 V, 0,8 V bzw. 0,9 V zum Einsatz kommen, je nachdem, wie der Spielraum in Bezug auf Stromverbrauch, Geschwindigkeit und Signalintegrität aussieht und wie das Gleichgewicht zwischen diesen Faktoren gefunden werden muss.

Die SPHBM4-Speicherchips können ebenso wie die HBM4E-Modelle aus 4, 8, 12 oder 16 Chipschichten bestehen, wobei diese Chips eine Kapazität von 24 Gb bzw. 32 Gb aufweisen können. Theoretisch lässt sich mit 16 Stück 32-Gb-Chips sowohl bei SPHBM4 als auch bei HBM4E eine Kapazität von 64 GB erreichen, das heißt, in Bezug auf die Speicherkapazität wird das Bild sehr ähnlich aussehen. Da bei den SPHBM4-Chips jedoch dank des schmaleren Speicher-Bus-Breiten kleinere Chips hergestellt werden können, passen auf einer bestimmten Fläche mehr davon unter, als wenn der jeweilige Hersteller auf HBM4-Basis arbeiten würde.

Es bleibt also abzuwarten, inwieweit SPHBM4 für die einzelnen Hersteller attraktiv sein wird, und auch wie sich die Energieeffizienz der jeweiligen Implementierungen im Vergleich zu HBM4 oder eben HBM4E entwickeln wird, wird sich erst später zeigen.