Meta arbeitet ständig daran, mit den Entwicklungen von OpenAI, Google, Anthropic und anderen Schritt zu halten. Und das Sprachmodell Llama 4 soll in vielen Tests und Situationen an vorderster Front stehen. Sie können bereits über das neue System bei Meta AI plaudern. Zwei Versionen des Systems sind bereits verfügbar, weitere Versionen sind in Vorbereitung.
Wie wir es in letzter Zeit gewohnt sind, unterscheiden sich die Sprachmodelle in erster Linie durch ihre Größe, was natürlich bedeutet, dass die Möglichkeiten, z. B. für kleinere Modelle, geringer sind. Das kompakteste Modell unter dem Llama 4-Banner heißt Scout und kann nach Angaben des Unternehmens problemlos mit einer einzigen Nvidia H100-Grafikeinheit verwendet werden.
Sehr interessant ist, dass dieses kompakte Llama 4 Scout ein riesiges Kontextfenster hat, das in der Lage ist, 10 Millionen Token in einem Gespräch zu verarbeiten.
Bislang war Google in der Regel führend bei Kontextfenstern, aber Meta hat beschlossen, dass es an der Zeit ist, dies zu ändern. Es wird in der Lage sein, eine Vielzahl von Bildern und Millionen von Wörtern zu verarbeiten. Es verspricht auch, extrem lange Dokumente zu verarbeiten.
Das Llama 4 Maverick kann nun als Gegenstück zum GPT-4o und Gemini 2.0 dienen, ein vielseitiges, hochintelligentes Modell, das auch multimodal eingesetzt werden kann. Allerdings ist es laut Meta immer noch viel kleiner als einige seiner Konkurrenten. Ein Beispiel ist der DeepSeek-V3, der nur halb so viele aktive Parameter hat, aber genauso gut denken und programmieren kann. Für die lokale Ausführung ist ein Nvidia H100 DGX-System erforderlich.
Die beiden oben genannten Sprachmodelle sind fertig und stehen zum Testen bereit, aber das ist noch nicht alles. Metas dritte Entwicklung in der Llama-4-Familie von Sprachmodellen heißt Behemoth. Dieses befindet sich noch im Training, wird einen wesentlich längeren Prozess benötigen und könnte im Laufe seines Betriebs enorme Mengen an Rechenleistung verbrauchen. Mark Zuckerberg ist sehr stolz auf das Llama 4 Behemoth-Modell und hat eine recht kühne Erklärung dazu abgegeben.
"Es ist das leistungsstärkste Basismodell der Welt", betonte Zuckerberg.
Meta verwendet die Mixture-of-Experts (MoE)-Technik für neue Modelle und treibt sie mit dem Behemoth auf die Spitze. Dieses große Sprachmodell hat jetzt 288 Millionen aktive Parameter gleichzeitig, 16 Experten und insgesamt 2 Billionen Parameter. Meta behauptet, dass es in der Lage ist, GPT-4.5, Claude 3.7 Sonnet und Gemini 2.0 Pro in den Bereichen Mathematik, Naturwissenschaften, Technik und Informatik zu übertreffen.
Nach Angaben des Unternehmens wird es mit Llama 4 weit weniger Fälle geben, in denen generative KI sich weigert, zu antworten. Das System wird ausgewogener arbeiten. In Bezug auf den Maverick hob das Unternehmen hervor, dass er den zweiten Platz in der LM-Arena erreicht hat, was eine schöne Leistung ist. Später wurde jedoch von der Community aufgedeckt, dass Meta geschummelt haben könnte. Anscheinend optimierte das Unternehmen eine Variante von Maverick, um in der LM-Arena besser abzuschneiden, und konnte sie dazu bringen, Grok-3 und GPT-4o zu übertreffen, konnte aber Gemini 2.5 Pro nicht schlagen.
Bislang war Betrug in der LM-Arena nicht sehr häufig, und dies ist der erste Fall, in dem er so schnell aufgedeckt wurde. Obwohl es nicht das beste Testprogramm ist, ist es ein Programm, das von vielen Leuten gerne benutzt wird. Meta hat auch gesehen, dass viele Leute anfangen, Sprachmodelle nach den LM-Arena-Ergebnissen zu beurteilen, also dachten sie vielleicht, es wäre eine gute Idee, dem Llama 4 Maverick-Modell ein wenig auf die Sprünge zu helfen.
