Die Entwicklung der nächsten Generation von HBM-Speicherchip-Sandwiches hat eine interessante Richtung eingeschlagen, die sich in der Geschichte eigentlich schon angedeutet hat: Branchenakteure haben begonnen, an der Integration von GPU-Kernen auf der Grundplatte der HBM-Speicherchip-Verkapselung zu arbeiten, was die Kommunikation mit der E/A-Abteilung erleichtert.
Solche einzigartigen HBM-Speicherchip-Sandwiches bieten eine Reihe von Vorteilen, erfordern aber auch die Bewältigung einer Reihe von technischen Herausforderungen, bevor sie sicher und effizient in größerem Umfang eingesetzt werden können. Unter anderem arbeiten Meta und Nvidia an kundenspezifischen HBM-Speichern, aber das Konzept wird Berichten zufolge auch mit Hilfe von zwei großen Speicherherstellern, SK hynix und Samsung, entwickelt. Interessanterweise hat Samsung bereits HBM-Speicherchip-Sandwiches in Form von HBM-PIM mit einem Controller angekündigt, der in der Lage ist, im Jahr 2021 Rechenaufgaben auszuführen, worüber wir auf in dieser News berichtet haben.
Ein HBM-Speicherchip-Sandwich besteht in der Regel aus einem Basis-Wafer mit mehreren darauf befindlichen Speicherchip-Layern, die durch vertikale Verbindungen, sogenannte TSVs (Through-Silicon-Vias), verbunden sind. Es wurde bereits erwähnt, dass die nächste Generation von HBM-Speicherchip-Sandwiches unkonventionelle Funktionen in das Gehäuse integrieren könnte, und zwar durch einen modifizierbaren Basis-Die, der es ermöglicht, Datenoperationen in der Nähe des Speichers mit einer viel geringeren Latenzzeit als üblich durchzuführen. Dieses Konzept trägt sowohl zur Verbesserung der Leistung als auch zur Steigerung der Energieeffizienz bei, indem die Anzahl der Daten, die zwischen GPU und Speicher hin- und hergeschoben werden müssen, verringert wird, wodurch Speicherbandbreite frei wird und wertvolle GPU-Ressourcen für andere Aufgaben genutzt werden können.
Das Konzept hört sich zwar sehr gut an und hat in der Tat viele Vorteile, aber leider müssen auch einige Herausforderungen bewältigt werden. Eine Herausforderung besteht darin, dass die TSVs, die von der Basisplatine bis zu den Speicherchipschichten reichen, viel wertvollen Platz beanspruchen, so dass nur wenig Raum für die Integration zusätzlicher Funktionen bleibt, was die Möglichkeiten ebenfalls einschränkt. Ein weiteres Problem besteht darin, dass im Falle von Speicherchip-Sandwiches die Integration zusätzlicher Funktionen, d. h. Rechenleistung, zu einem höheren Stromverbrauch führt, so dass auch eine angemessene Stromversorgung gewährleistet sein muss, was aufgrund der geringen Stellfläche ebenfalls eine Herausforderung darstellt. Natürlich bringen eingebettete GPU-Kerne nicht nur zusätzliche Rechenleistung, sondern auch zusätzliche Wärmeentwicklung mit sich, die ebenfalls unter Kontrolle gehalten werden muss und eine weitere Herausforderung darstellt, die es zu bewältigen gilt.
Kim Joung-ho, Professor an der School of Electrical Engineering des KAIST, prognostiziert, dass sich das Tempo der KI-gesteuerten Entwicklung in Zukunft weiter beschleunigen wird, da die Grenzen zwischen Speicher und anderen Halbleitern im System verschwinden werden, was zu einer weiteren Leistungssteigerung führen wird. Um erfolgreich zu sein, müssen die einheimischen Unternehmen ihr Ökosystem über den Speicher hinaus erweitern, um auf dem HBM-Markt der nächsten Generation konkurrenzfähig zu sein.
Im Falle von HBM4 ist bereits erkennbar, dass die Unternehmen unterschiedliche Strategien verfolgen. AMD beispielsweise wird versuchen, das Potenzial der CDNA-Architektur der nächsten Generation in Form des MI430X zu nutzen, bei dem 432 GB On-Board-HBM4-Speicher neben dem Grafikprozessor integriert sind, was eine Speicherbandbreite von 19,6 TB/s ermöglicht. Gleichzeitig wird Nvidia eine spezielle Architektur im Vera Rubin Superchip verwenden, bei der zwei Chipsätze in jeder Rubin-GPU untergebracht sind und zwei dieser GPUs auf einem Superchip untergebracht sind, so dass 2 x 288 GB HBM4 On-Board-Speicher zur Verfügung stehen, was einer Gesamtspeicherkapazität von 576 GB entspricht.
Unternehmen, die sowohl bei den Gehäusetechnologien als auch bei den Logikschaltungen über starke Fähigkeiten verfügen, werden von den oben genannten Änderungen profitieren, während Unternehmen, die nur Speicherchips und Speicherchip-Sandwiches entwickeln, sich für Halbleitertechnologien auf Systemebene öffnen müssen, um wettbewerbsfähig zu sein. Eine solche Öffnung besteht darin, zusätzliche Komponenten an Bord von HBM-Speicherchip-Sandwiches zu platzieren, um eine speicherähnliche Verarbeitung zu ermöglichen.
