Die Ingenieure von Micron arbeiten an der Entwicklung einer speziellen Speichertechnologie, deren Ziel es ist, in der Nähe der als KI-Beschleuniger fungierenden GPU einen NAND-Flash-Speicherblock mit relativ großer Speicherkapazität, ausreichender Geschwindigkeit und mit ausreichend geringer Latenz in die Nähe der als KI-Beschleuniger fungierenden GPU zu platzieren und damit die Möglichkeiten im Zusammenhang mit der Ausführung und dem Training besonders großer LLMs erheblich zu erweitern.
Das Projekt, das vorerst nur unter dem Arbeitstitel „Near-GPU NAND“ läuft, stellt im Wesentlichen eine nützliche Ergänzung zum HBM- und DRAM-basierten Hauptspeicher sowie zu den klassischen NAND-Flash-basierten Datenspeichersystemen dar und fügt sich zwischen diese ein. Es kann in solchen Fällen nützlich sein, in denen die hohe Datenübertragungsbandbreite oder die geringen Latenzzeiten von HBM- oder normalen DRAM-Chips nicht benötigt werden, die Daten jedoch im Vergleich zu den Möglichkeiten klassischer NAND-Flash-Speichersysteme viel näher an der GPU angeordnet werden müssen.
Um dies zu erreichen, werden spezielle NAND-Flash-Speicherchips entwickelt, die sowohl hinsichtlich der Speicherdichte als auch der Latenz eine Art Zwischenstufe zwischen den genannten Speichertechnologien darstellen. Diese Speicherchips werden eine geringere Speicherdichte aufweisen als klassische TLC- oder QLC-NAND-Flash-Chips, da der Schwerpunkt statt auf der Speicherdichte eher auf einer höheren I/O-Leistung, einer höheren Datenübertragungsbandbreite sowie besseren Lesezeiten liegt. „Near-GPU-NAND“ fungiert im Wesentlichen als superschneller, leistungsstarker Cache und schlägt damit eine Brücke zwischen klassischen HBM- oder GDDR7/LPDDR6-Speicherchips und dem normalen Datenspeichersystem.
Dieser Cache eignet sich hervorragend für Inferenzaufgaben sowie für die Ausführung bestimmter großer Sprachmodelle, während die Daten kostengünstiger in der Nähe der GPU gehalten werden können, als wenn klassische DRAM- oder HBM-Speichertechnologien zum Erreichen dieses Ziels eingesetzt würden. Der betreffende Cache könnte eine Kapazität von mehreren 100 GB bieten, und zwar zu deutlich geringeren Kosten als klassische DRAM-Technologien, und zudem eine bessere Leistung als klassische NAND-Flash-basierte Datenspeichersysteme liefern. Dank des speziellen Cache-Speichers könnten komplexe LLMs auch auf Systemen mit weniger GPUs reibungslos laufen, und zwar dank der Nutzung mehrerer Speicher- und Datenspeicherebenen, was insgesamt zur Optimierung der Systemleistung beitragen würde.
Eine ähnliche Entwicklung entsteht derzeit auch in den Forschungslabors von SanDisk und SK hynix unter dem Namen „ “ (HBF), nämlich unter dem Namen „High-Bandwidth Flash“, das zur Erweiterung des HBM-Speicherbereichs der GPU beitragen soll, indem NAND-Flash-Chips in unmittelbarer Nähe zur GPU eingesetzt und deren Robustheit erhöht werden. Die Arbeiten daran dauern derzeit noch an, da eine Lösung gefunden werden muss, die eine angemessene Datenübertragungsbandbreite und Latenz bietet und gleichzeitig ausreichend robust ist, und somit die superschnellen und extrem teuren HBM-Speicherchip-Sandwiches effizient ergänzen kann, von denen ohnehin nicht so viele hergestellt werden, wie der Markt benötigen würde. Gleichzeitig bleibt auch Samsung nicht untätig und entwickelt unter dem Namen „ zNAND-O“ eine spezielle Speicherarchitektur, ebenfalls für KI-Zwecke, die mit ziemlich beeindruckenden Eigenschaften ausgestattet ist.
