Es hat lange gedauert, bis OpenAI mit einem Modell mit offenem Gewicht aufwarten konnte, aber GPT-OSS ist nun wirklich offen für alle und bietet allen Interessierten großartige Möglichkeiten. Es wird sogar möglich sein, das kleinere Modell auf einem High-End-Notebook laufen zu lassen, wobei natürlich Online-Zugang und -Support zur Verfügung stehen.
Die Ankunft des GPT-OSS, oder offenes Gewicht, großes Sprachmodell hat lange auf sich warten lassen, Sam Altman hat mehrmals über diese Entwicklung gesprochen und die Entwicklung hat sich im Vergleich zu den ursprünglichen Plänen stark verzögert. In der ersten Runde werden zwei Versionen von GPT-OSS veröffentlicht, die mit 117 Milliarden Parametern und 21 Milliarden Parametern verfügbar sind. Die größere, leistungsfähigere Lösung soll in etwa dem o4-mini-Sprachmodell entsprechen, während die Lösung mit der bescheideneren Parametermenge dem o3-mini-Modell entsprechen soll.
OpenAI ist stolz darauf, dass diese Modelle dank ihres offenen Designs offline und lokal mit benutzerdefinierten Parametern verwendet werden können, aber der GPT-OSS 120B ist nicht gerade ein gewöhnlicher Computer, um richtig zu funktionieren. Er erfordert eine Nvidia-Karte mit 80 GB Videospeicher (z. B. die Nvidia H100), damit er lokal auf einem dedizierten Computer verwendet werden kann. Glücklicherweise verfügt das Modell GPT-OSS 20B bereits über 16 GB VRAM, so dass es sogar auf High-End-Laptops laufen kann.
In den Modellen kommt die Transformer-Architektur zum Einsatz, ergänzt durch die Mixture-of-Experts (MoE)-Technologie, mit der die Entwickler die bestmögliche Effizienz erreichen konnten. OpenAI hat bereits eine große Anzahl von Modellen im Portfolio, wobei das Unternehmen zunehmend auf die MoE-Architektur setzt. Der GPT-OSS 120B hat 5,1 Milliarden aktive Parameter pro Token, während das kleinere Modell 3,6 Milliarden Parameter hat. Die Anzahl der "Experten" beträgt 128 bzw. 32, aber das sind weniger relevante Informationen für die Nutzer.
Das GPT-OSS richtet sich in erster Linie an unabhängige Entwickler, die die Modelle auf ihre spezifischen Ideen und Innovationen anwenden können. Sie bieten offline einen besseren Datenschutz und mehr Sicherheit als KI-Tools, die in der Cloud laufen.
Beide Sprachmodelle arbeiten mit 128.000 tokenisierten Kontextfenstern, was zwar nicht sehr viel ist, aber für allgemeinere Zwecke vollkommen ausreicht. Die Konkurrenten von OpenAI haben bereits offene Modelle mit viel größeren Kontextfenstern, aber das ist nicht überraschend. Im Allgemeinen sind die Entwicklungen von OpenAI in dieser Hinsicht etwas begrenzter.
Obwohl wir lange auf das GPT-OSS-Modell warten mussten, ist es die Leistung, zu der es fähig ist, eindeutig wert. Im Test "Humanity's Last Exam", bei dem das Überschreiten der 10 %-Grenze früher als eine große Sache galt, erreichte sogar der GPT-OSS-Basisexport mit 20 Milliarden Parametern 10,9 %, und wenn er vorbereitet war, erreichte er 17,3 %, während der GPT-OSS 120B 19 % schaffte.
Es wird viel Potenzial für OpenAI durch GPT-OSS geben, es könnte sogar in mobilen Umgebungen auftauchen. Der GPT-OSS 20B wird als Ergebnis der Zusammenarbeit von OpenAI mit Qualcomm auch in Snapdragon-Chipsatz-Umgebungen mit Offline-Betrieb verfügbar sein.
