Dank AMD gibt es jetzt eine weitere Anwendung, die Ihnen hilft, LLM (Large Language Model) lokal als Open-Source-Software auszuführen, LLM zu optimieren und seine Genauigkeit zu verbessern. Die Anwendung namens GAIA wurde speziell für Windows-basierte Computer entwickelt und unterstützt nicht nur RYZEN AI, sondern auch andere AI-Beschleuniger und sogar die iGPU. Die neue Software unterstützt eine Reihe von LLMs, darunter Varianten von Llama und Phi.
Da es sich um AMD-Software handelt, bietet sie auch zusätzliche Optimierungen für Prozessoren mit RYZEN AI-Unterstützung und eine spezielle NPU-Komponente. GAIA selbst baut übrigens auf dem Lemonade SDK auf, das aus dem Hause OMNX TurnkeyML stammt und bei der Implementierung von LLM-Induktion/Reduktion hilft. Die neue Software basiert auf RAG (Retrieval-Augmented Generation), das LLM mit einer Wissensbasis kombiniert, um LLM in seiner Interaktion mit dem Benutzer effizienter, genauer und kontextgerechter und damit nützlicher zu machen.
Im Wesentlichen kombiniert RAG vier Arten von GAIA-Agenten, von denen Simple Promt Completion direkte Modellinteraktionen zu Test- und Überprüfungszwecken ermöglicht, während Chaty als Chatbot zur Führung von Gesprächen dient. Die Sektion Clip ermöglicht es, YouTube zu durchsuchen und Fragen zu beantworten. Die vierte Version ist der Joker, ein Witzgenerator, mit dem Sie dem Chatbot etwas Humor verleihen können.
Das Open-Source-Projekt GAIA von AMD funktioniert im Wesentlichen durch die Bereitstellung verschiedener Laufzeitumgebungen für LLM-spezifische Aufgaben über das Lemonade SDK. Dies macht im Wesentlichen einen LLM-Webdienst über die GAIA-Anwendung verfügbar, indem die OpenAI-kompatible Rest-API verwendet wird. Die Software selbst agiert als KI-basierter Agent, der Daten empfängt und verarbeitet, aber auch externe Inhalte vektorisiert, die in einem lokalen Vektorindex gespeichert werden. Diese Inhalte können von YouTube, Textdateien oder sogar GitHub stammen. GAIA kann im Wesentlichen Nutzeranfragen analysieren, bevor LLM sie erhält, so dass die Nutzer bessere Ergebnisse in Bezug auf Relevanz und Genauigkeit erzielen können.
Die Open-Source-Software ist in zwei verschiedenen Installationsprogrammen erhältlich: Die Basisversion ist für Windows-basierte Systeme konzipiert und setzt nicht unbedingt AMD-Hardware voraus, aber es wird auch ein spezielles "Hybrid"-Installationsprogramm für Konfigurationen mit AMD-Hardware angeboten, um das Potenzial der RYZEN-KI-Funktion zu nutzen. Letzteres kann verwendet werden, um die XDNA-basierte NPU in einem gegebenen RZYEN-Prozessor zum Laufen zu bringen, oder den integrierten Grafikcontroller, um bei den Berechnungen zu helfen.
Mit der Einführung von GAIA ist die lokale Ausführung großer Sprachmodelle wieder eine einfachere Aufgabe geworden, die mehrere Vorteile hat. Zum einen müssen keine Cloud-basierten Dienstleistungen genutzt werden, was die Sicherheit erhöht, und zum anderen verringert die lokale Ausführung die Latenzzeit und kann sogar die Leistung verbessern, je nach der verwendeten Hardwarekonfiguration. Darüber hinaus sind lokale LLMs auch ohne Internetverbindung vollkommen in Ordnung.
GAIA kann von heruntergeladen werden.
