Nvidia ist in den letzten 2 Jahren im Bereich der künstlichen Intelligenz brutal gewachsen, und das Unternehmen arbeitet daher ständig daran, KI, Sprachmodelle, noch beliebter zu machen. Die Grünen haben enge Beziehungen mit fast allen großen Tech-Unternehmen, und jetzt haben sie ein sehr interessantes Projekt mit Meta enthüllt.
Gemeinsam haben Meta und Nvidia ein hochgradig optimiertes Sprachmodell entwickelt, das es mit viel größeren Modellen bei geringerem Umfang aufnehmen kann. Das Llama 3.1 Nemotron arbeitet mit 70 Milliarden Parametern und weist einige der besten vorläufigen Testergebnisse auf.
Mit dem Llama-3.1-Nemotron-70B-Instruct-Modell wollten die Entwickler zeigen, was mit einem sehr sorgfältig optimierten Sprachmodell erreicht werden kann. Llama 3.1 ist eine Eigenentwicklung von Meta, aber die Nemotron-Version wurde bereits von Nvidia angepasst, um eine hochwertigere und genauere Antwort auf das große Sprachmodell zu liefern.
Sprachmodelle mit 70 Milliarden Parametern sind keine Kleinigkeit, aber man sollte sehen, dass es Lösungen gibt, die viel größer sind, mit weit über 100 Milliarden Parametern, und Llama 3.1 Nemotron gehört zu den besten, was die Ergebnisse angeht. Die Fähigkeit, eine höhere Genauigkeit bei geringerer Größe zu erreichen, ist wichtig, weil sie die Effizienz der künstlichen Intelligenz erheblich verbessern kann. Die Betriebskosten können gesenkt werden.
Im Arena Hard AI Test erreichte das Llama 3.1 Nemotron 85 Punkte, während das von OpenAI entwickelte GPT-4o unter den gleichen Bedingungen 79,3 Punkte und das Claude 3.5 Sonnet 79,2 Punkte erreichten. In der RewardBench erreichte das GPT-4o 94,1 Punkte gegenüber 86,7 Punkten für das GPT-4o.
Es lassen sich mehrere Tests aufzählen, in denen das von Nvidia fein abgestimmte Sprachmodell Llama triumphiert. AlpacaEval gewinnt den AlpacaEval-Test um Haaresbreite, erreicht aber 57,6 Punkte gegenüber 57,5 Punkten des GPT-4o, während Claude 3.5 Sonnet bescheidene 52,4 Punkte erreicht. Und im MT-Bench-Composite-Test erreicht es 8,98 Punkte gegenüber 8,81 (Claude 3.5 Sonnet) und 8,74 (GPT-4o) (Natürlich wurde das Modell wahrscheinlich für einige der Tests vorbereitet, da kleine Glättungen festgestellt werden können. Den "Erdbeer"-Test kann es problemlos bestehen, d.h. es kann zählen, wie oft ein Buchstabe in dem Wort Erdbeere vorkommt, aber es blutet über das am häufigsten verwendete Beispiel hinaus, es kann sein Messer in andere Wörter stecken).
Das Llama 3.1 Nemotron schneidet in Tests zur Bewertung von Chatbot-Fähigkeiten hervorragend ab, und jeder kann es als Chatbot in Aktion ausprobieren. Er kann überdurchschnittlich genaue Antworten geben, halluziniert weniger und erweist sich als großartiger Chatpartner. Er kann effizient logische Aufgaben lösen. Auch beim Programmieren zeigt er gute Leistungen und ist in der Lage, Aufgaben, die für GPT-4o eine Herausforderung darstellen, ohne Probleme zu lösen. Auch im Umgang mit kontextbezogenen Daten ist er sicherer als seine Konkurrenten, was ihn zu einem guten Partner bei der Verarbeitung großer Datenmengen macht.
Nvidia hat die Genauigkeit und Effizienz bei der Feinabstimmung gesteigert, indem es dem Lernen besondere Aufmerksamkeit schenkte. Es hat Material wie überwachte Daten aus verifizierten Quellen verwendet, so dass es keine ungenauen oder irreführenden Informationen aufgenommen hat. Darüber hinaus wurde das Verstärkungslernen durch menschliches Feedback (RLHF) eingesetzt. Dieser duale Ansatz gewährleistet sowohl Genauigkeit als auch die Anpassung an menschliche Präferenzen.
Es ist möglich, das von Nvidia optimierte Llama-3.1-Nemotron-Modell lokal auszuführen, was jedoch 160 GB VRAM erfordert. Gemäß den Richtlinien benötigen Sie entweder vier Karten mit 40 GB VRAM oder zwei Karten mit 80 GB. Nvidias A100- und H100-Beschleunigerkarten verfügen über diese Menge an VRAM der HBM-Technologie.
