DeepSeek hat in den letzten Monaten in der Tech-Branche für Aufsehen gesorgt, als sein vielversprechend aussehendes großes Sprachmodell auf den Markt kam. Es ist kostenlos und kann lokal über destillierte große Sprachmodelle ausgeführt werden, was ein großer Vorteil gegenüber bestehenden Lösungen ist und sogar mit seinen Konkurrenten in Bezug auf die Genauigkeit konkurrieren kann, zumindest zeigten das die ersten Tests. Nach der Markteinführung von DeepSeek gab es eine gewisse Panik, aber der Markt scheint sich seitdem beruhigt zu haben.
Der Erfolg von DeepSeek ist auch auf ein spezielles, für KI-Aufgaben optimiertes Dateisystem zurückzuführen, das eine hohe parallele Leistung ermöglicht. Das Fire-Flyer-Dateisystem, das unter dem Namen 3FS läuft, ist erst kürzlich Open Source geworden, da das Team beschlossen hat, es allgemein verfügbar zu machen. Die Entwicklung des chinesischen Unternehmens wird seit mindestens 2019 auf eigenen Servern eingesetzt, was ein Schlüsselfaktor für die kostengünstige und erfolgreiche Entwicklung von DeepSeek LLM war.
3FS ist ein spezialisiertes paralleles Dateisystem für Linux-Betriebssysteme, das in erster Linie für KI- und HPC-Marktoperationen eingesetzt wird, bei denen die Inhalte mehrerer Datenspeicher-Server kontinuierlich und gleichzeitig von GPU-Knoten abgerufen werden müssen, um große Sprachmodelle mit ausreichender Leistung zu trainieren. Dieses Dateisystem ist auch deshalb einzigartig, weil es auf die Bedürfnisse der KI zugeschnitten ist, d. h. es hilft in erster Linie, zufällige Leseaufgaben so effizient wie möglich auszuführen, indem es dieser Art von Aufgaben Vorrang einräumt, während es fast vollständig auf Lese-Caching verzichtet, was ebenfalls eine wichtige Entscheidung ist.
Beim Training großer Sprachmodelle und neuronaler Netze haben die CU-Arrays von KI-Beschleunigern Zugriff auf riesige Datenmengen zur Unterstützung des Lernens, die in der Regel nur einmal verwendet werden. Aufgrund der einmaligen Verwendung ist eine Lesezwischenspeicherung nicht wirklich erforderlich und wird daher von 3FS nicht eingeführt. Die Lesezwischenspeicherung selbst kann während des Trainingsprozesses auch Probleme verursachen, da das Lesen der gleichen Daten in der gleichen Reihenfolge beim Training eines bestimmten LLM die Leistung und Effizienz des LLM beeinträchtigen kann.
Das Team, das einen Lerncluster für Deep Seek LLM betreibt, hat auch einige interessante Testergebnisse zur Leistung des Systems, genannt Fire-Flyer 2, veröffentlicht, die im letzten August veröffentlicht wurden. Fire-Flyer 2 hatte insgesamt 180 Datenspeicherknoten an Bord, jeder mit 16 16-TB-SSDs und zwei 200-Gbit/s-NUCs. Diese Datenspeicherknoten bedienten insgesamt 10.000 Nvidia A100 AI-Beschleuniger im PCIe-Format und kosteten insgesamt weniger als Nvidias eigene DGX-A100-Server.
Basierend auf Leistungsmessungen ermöglichte das 3FS-Dateisystem einen Lesedurchsatz von 6,6 TB/s während der Trainingsworkflows, während es im Hintergrund mit einem zusätzlichen Lesedurchsatz von 1,4 TB/s arbeitete. Im Vergleich dazu erreichte das konkurrierende Ceph-Dateisystem Anfang 2024 Lesegeschwindigkeiten von nur 1,1 TB/s unter Verwendung eines Datenspeicher-Subsets mit 68 Knoten, auf denen jeweils 10 16-TB-SSDs und 2 x 100-Gbit/s-Netzwerkcontroller betrieben wurden - damals eine große Sache.
Der 3FS war ausschlaggebend dafür, dass das KI-LLM-Modell von DeepSeek auf äußerst kostengünstige und effiziente Weise trainiert werden konnte: Es wurde eine Leistungsverbesserung von 80 % gegenüber dem DGX-A100-Server von Nvidia erreicht, während die Betriebskosten nur halb so hoch waren wie beim DGX-A100-Server von Nvidia und der Stromverbrauch 60 % betrug.
Das speziell für zufällige Leseleistung optimierte 3FS-Dateisystem ist also bereits als Open Source verfügbar und dürfte sich in naher Zukunft bei KI-Akteuren großer Beliebtheit erfreuen, wenn es beweist, dass man die chinesische Technologie, die die Grundlagen liefert, nicht zu fürchten braucht. 3FS kann über auf dem virtuellen Fork von GitHub aufgerufen werden.
