Micron hat einen wichtigen Meilenstein im Segment der SOCAMM-Speichermodule für KI-Rechenzentren erreicht, und zwar mit dem branchenweit ersten SOCAMM2-Speichermodul mit 256 GB, das die Speicherkapazität einzelner Systeme im Vergleich zu dem bisherigen Spitzenmodul mit 192 GB deutlich erhöhen kann. Das 192-GB-Modul, das erst vor sechs Monaten auf den Markt kam, war ein großer Durchbruch in Bezug auf Kapazität, Leistung und Energieeffizienz, aber diese neueste Entwicklung legt die Messlatte noch höher. Die Auslieferung der 256-GB-SOCAMM2-Speichermodule hat bereits begonnen, so dass KI-Server schon bald von den Vorteilen profitieren können, die sie bieten.
Die Modulkapazität von 256 GB ermöglicht nun bis zu 2 TB Systemspeicher pro Prozessor, was bedeutet, dass ein NVL72-Nvidia-Rackschrank nun bis zu 72 TB Systemspeicher für 36 Prozessoren aufnehmen kann, was die Möglichkeiten erheblich erweitert. Das neue SOCAMM2-Speichermodul ist ein großer Schritt nach vorn, denn es bietet bis zu 33 % mehr Speicherkapazität durch eine höhere Speicherdichte als das bisherige "Spitzenmodell" des Speichermoduls und gleichzeitig eine bis zu 66 % bessere Energieeffizienz als klassische RDIMM-Speichermodule.
Ein weiterer Vorteil ist, dass das 256-GB-SOCAMM2-Speichermodul auch mit den immer beliebter werdenden Flüssigkeitskühlsystemen voll kompatibel ist, was eine gute Nachricht ist, da der Anstieg der Leistung und des TDP-Rahmens eine effiziente Kühlung zu einer immer größeren Herausforderung macht, die am besten mit Flüssigkeitskühlung bewältigt werden kann. Das Nvidia-Team, das den SOCAMM-Speicherstandard entwickelt hat, stieß in diesem Bereich an eine Wand, da es die fraglichen Speichermodule in Servern mit hoher Speicherdichte einfach nicht effizient kühlen konnte, weshalb es eine Partnerschaft mit den großen Speicherherstellern einging, die ihm dabei halfen, die Dinge in die richtige Richtung zu lenken. So entstand der SOCAMM2-Standard, und seine Module werden immer leistungsfähiger.
An Bord der neuen SOCAMM2-Speichermodule befinden sich die neuesten LPDDR5X-Speicherchips von Micron mit einer Kapazität von jeweils 32 GB bzw. 4 GB. Es handelt sich um monolithische Chips, d. h. die Speicherzellen und die sie versorgenden Schaltkreise befinden sich auf demselben Siliziumwafer.
Neben der Energieeffizienz und der höheren Speicherkapazität werden die neuen Speichermodule auch die Leistung und die Möglichkeiten von KI-Servern erheblich steigern. Dank der größeren Speicherkapazität kann nun bei der Entwicklung von KI-Modellen mit einem einzigen Prozessor ein viel größeres Kontextfenster geöffnet werden, was zu einer höheren Effizienz der Arbeit beiträgt. Diese Verbesserung wird auch dazu beitragen, die Zeit bis zum ersten Token (TTFT) erheblich zu verkürzen, was schnellere Antworten auf Fragen wie Chatbots und andere Aufgaben ermöglicht.
Im AI-Segment, wo derzeit enorme Dynamik herrscht, ist es nicht nur wichtig, dass die AI-Beschleuniger und die sie bedienenden Prozessoren so schnell wie möglich sind, sondern auch, dass die Datensätze durch ausreichend schnelle Speichermedien und möglichst schnelle Speicher bedient werden, die sich möglichst nahe an den Verarbeitungseinheiten befinden. Dank Micron gibt es im Bereich des Systemspeichers bedeutende Fortschritte, die dazu beitragen, das Entwicklungstempo aufrechtzuerhalten und die Möglichkeiten zu erweitern.
