Elon Musk sprach vor ein paar Tagen davon, den Quellcode von Grok zu öffnen, und nun tut es der Entwickler xAI. Der Plan ist, mit Meta, Google und natürlich OpenAI konkurrieren zu können, das Elon Musk zu verklagen versucht, weil er glaubt, dass das Unternehmen seinen ursprünglichen Werten nicht mehr gerecht wird.
Grok ist ein generativer, auf KI basierender Chatbot, der sich von dem unterscheidet, was bisher gemacht wurde. Zurzeit ist er noch nicht für die breite Öffentlichkeit verfügbar, sondern kann nur von einem kleinen Kreis getestet werden. Jetzt hat xAI jedoch angekündigt, dass es die Entwicklung mit Open Source fortsetzen wird. Ein Modell namens Grok-1 ist auf GitHub verfügbar, so dass Forscher und Entwickler gleichermaßen damit beginnen können, es zu untersuchen. Wir haben auch erfahren, dass künftige Aktualisierungen des LLM-Systems durch Feedback aus externen Quellen beeinflusst werden.
Grok-1 ist ein Mixture-of-Experts (MoE)-Architekturmodell, was auch Gemini 1.5 sein wird. Dadurch können viel mehr Parameter auf generative KI-Tools angewendet werden. Die Effizienz kann erheblich gesteigert werden, da die höhere Anzahl von Parametern keine drastisch höhere Rechenkapazität erfordert. Dadurch können auch die Kosten niedriger gehalten werden. Nach Angaben von xAI ist Grok-1 ein Modell mit 314 Milliarden Parametern.
Im Prinzip wurde bereits im Oktober 2023 ein komplett unbearbeitetes Basismodell veröffentlicht, das aus der vorläufigen Trainingsphase von Grok-1 stammt. Dieses Modell ist in dieser Form noch in keiner Weise auf z. B. Konversation abgestimmt, so dass es nicht darauf vorbereitet ist, in dieser Form hocheffizient als Chatbot eingesetzt zu werden. Es hat aber auch keine weiteren prinzipiellen Optimierungen erfahren. Es ist auch nicht möglich zu wissen, auf welchen Daten xAI sein LLM-System trainiert, da es dazu keine Angaben macht. Die Offenheit ist also alles andere als vollständig.
Was das Training betrifft, so gab xAI lediglich an, dass eine große Menge an Textinformationen für das Training verwendet wurde. Bei den verschiedenen generativen KI-Modellen ist das Training immer ein heikler Punkt. Die Unternehmen neigen dazu, keine Daten dazu zu veröffentlichen, und es besteht sehr oft der Verdacht, dass sie tatsächlich gestohlene Informationen verwenden (was gelegentlich auch bewiesen wird).
Alles in allem sind wir dem, was Grok können wird, noch nicht viel näher gekommen, aber das war auch nicht die Absicht des Unternehmens. Früheren Berichten zufolge könnte sich der Grok-Chatbot, der auf dem Modell Grok-1 basiert, in Zukunft nicht nur als interessanter Gesprächspartner erweisen, sondern auch für die Arbeit eingesetzt werden. So soll er beispielsweise gute Leistungen beim Codieren erbringen und in früheren Tests ein ähnliches Leistungsniveau wie GPT-4 bieten.
Der jetzige Schritt wurde übrigens höchstwahrscheinlich nicht von xAI gemacht, weil sie sich so gerne öffnen wollten, sondern von Elon Musk. Musk hat darüber gesprochen, dass OpenAI ein ernsthaftes Problem damit hat, nicht offen zu sein, während das Grok-1-Modell nicht von der breiten Öffentlichkeit gesehen wurde. Dies hätte Musk in eine unangenehme Situation bringen können. Deshalb haben sie sich stattdessen für Open Source entschieden, um dieses Problem zu vermeiden. Es gibt bereits viele Modelle, die bis zu einem gewissen Grad offen sind, und Meta hat einige oder alle seiner Entwicklungen zugänglich gemacht.
