Die Nachfrage nach Speicherchip-Sandwiches, die auf verschiedenen Versionen des High-Bandwidth-Memory-Standards basieren, ist enorm, da diese Komponenten für die Herstellung moderner KI-Beschleuniger unverzichtbar sind. Zudem wird der Standard sehr, sehr zügig weiterentwickelt, um den stetig steigenden Anforderungen an Speicherkapazität und Speicherbandbreite so effizient wie möglich gerecht zu werden.
Die drei großen Speicherhersteller – Samsung, Micron und SK hynix – sind nicht in der Lage, so viele Chips zu produzieren, wie der Markt benötigen würde, sodass auf jeden Fall eine Nachfrage nach alternativen Bezugsquellen bestehen dürfte, ebenso wie nach alternativen Speichertechnologien. Letzteres ist natürlich kein einfaches Unterfangen, da der Speichercontroller der KI-Beschleuniger an die neuartigen Speicherchips angepasst werden muss, was keine kurzfristige Aufgabe ist, doch in der nächsten Generation von KI-Beschleunigern könnte bereits der eine oder andere HBM-Konkurrent Platz finden, beispielsweise das kürzlich von Qualcomm vorgestellte HBC.
Das als HBC (High-Bandwidth Compute) bezeichnete Entwicklungsprojekt unterscheidet sich zum einen von HBM dadurch, dass es anstelle von klassischem DRAM energiesparende LPDDR-Speicherchips für den Mobilfunkmarkt verwendet, andererseits verwendet es einen speziellen Basis-Chip, der die Ausführung von Rechenaufgaben in Speichernähe ermöglicht.
Auch Samsung möchte diesen Bereich erschließen, d. h. in diesem Bereich könnte auch HBM wettbewerbsfähig sein, doch in puncto Energieeffizienz könnte sich das Zünglein der Waage zugunsten von HBC neigen, da Speicherchips, die mit einer niedrigeren Betriebsspannung arbeiten, weniger Strom verbrauchen als ihre herkömmlichen Pendants. In einem Rechenzentrum kann dies zu einem wesentlichen Vorteil werden, da ein größerer Cluster in der Regel aus mehreren Tausend oder mehreren Zehntausend KI-Beschleunigern besteht. Bei einer solchen Menge zählt bereits ein Unterschied von wenigen Watt im Stromverbrauch: Durch den geringeren Verbrauch sinken die Betriebskosten, und auch die effiziente Umsetzung der Kühlung kann etwas einfacher werden.
Auf den HBC-Speicherchip-Sandwiches sind LPDDR-Speicherchips übereinander geschichtet; zwischen diesen stellen vertikale Leiterbahnen (TSVs, Through-Silicon-Vias) eine Verbindung her, die im Basis-Chip enden. Der Basis-Chip stellt auch eine gewisse Rechenleistung bereit, um einige grundlegende Operationen an den Daten durchführen zu können. Dadurch wird die GPU des KI-Beschleunigers entlastet und die Arbeitsabläufe effizienter gestaltet, was letztendlich zu einer Leistungssteigerung führt. Auch im letzteren Bereich versucht HBM4, sich zu profilieren, doch die Lösung von Qualcomm strebt nach noch höherer Effizienz und einem noch optimaleren Datenfluss, wodurch die Speicherbandbreite pro Watt Verbrauch im Vergleich zum aktuellen HBM-Standard versechsfacht werden kann.
Mit der ersten Generation von HBC war es möglich, in Verbindung mit einem AI250-Beschleuniger eine Speicherbandbreite von 133 TB/s zu erreichen, was einen 18-fachen-facher Fortschritt im Vergleich zu dem, was die aktuelle AI200-Karte von Qualcomm mit herkömmlichen LPDDR5X-Speicherchips leisten kann. Zu den längerfristigen Plänen gehört, dass Qualcomm auch mehrere AI-Beschleuniger der nächsten Generation mit HBC-Chips ausstatten wird; als erstes könnte das AI250-Modell, das Mitte 2027 auf den Markt kommen soll, damit ausgestattet werden. Die nächste Generation des HBC befindet sich ebenfalls in der Entwicklung, was weitere Fortschritte mit sich bringen wird und vor allem zu einer deutlichen Steigerung der Speicherbandbreite beitragen dürfte.
Bislang ist noch nicht bekannt, von welchem Zulieferer Qualcomm die LPDDR5X-Speicherchips beziehen will, und es wurde auch nicht verraten, auf welchen LPDDR-Standard die neuen Produkte genau basieren werden. Die Snapdragon-SoC-Chips des Unternehmens werden von TSMC hergestellt, doch der im HBC verwendete Compute-Die kann im Grunde von jedem Speicherhersteller produziert werden, d. h., diese Aufgabe kann dem Lieferanten anvertraut werden, der auch die LPDDR-Chips liefert. Eine der naheliegendsten Optionen könnte Samsung Foundry sein, da der Halbleiter-Auftragsfertiger nicht nur intern entwickelte LPDDR-Chips herstellt, sondern auch spezielle Chips für Rechenaufgaben.
Qualcomm hat die Identität des ausgewählten Lieferanten bislang noch nicht bekannt gegeben, doch hoffentlich wird dies in Kürze geschehen. Derzeit ist auch noch unklar, ob Qualcomm mit dem HBC dem HBM Konkurrenz machen und mit seiner eigenen Lösung den Markt für KI-Beschleuniger ins Visier nehmen will – angesichts des KI-Booms wäre das keine schlechte Idee, vor allem, wenn die Resonanz auf dem Markt positiv ausfällt.
