Das ASUS-Entwicklungsteam hat den ersten USB-KI-Beschleuniger des Unternehmens mit der Bezeichnung UGen300 entwickelt, der eine beeindruckende INT4-Rechenleistung auf 40 TOPs-Niveau bietet. Der fragliche USB-KI-Beschleuniger basiert auf einem bekannten Prozessor, dem Hailo-10H, der bereits in mehreren unserer News-Stories vorgestellt wurde. Dieses Mal wurde der Prozessor mit 8 GB integriertem LPDDR4-Speicher gepaart, der dabei hilft, effizient zu arbeiten und lokal laufende LLMs und VLMs zu beschleunigen sowie die Geschwindigkeit anderer KI-Aufgaben zu erhöhen.
Das winzige Gerät hat die Form eines USB-Geräts mit 105 Millimetern Länge, 50 Millimetern Breite und 18 Millimetern Höhe und ist damit größer als ein klassischer USB-Stick, aber kleiner als eine leistungsstarke externe SSD. Der an den USB-C-Anschluss angeschlossene KI-Beschleuniger kann zur Ergänzung der Leistung der NPU des Prozessors verwendet werden, kann aber auch in Fällen nützlich sein, in denen überhaupt keine NPU im System vorhanden ist. Der USB-KI-Beschleuniger, der auch für komplexe KI-Aufgaben verwendet werden kann, arbeitet mit einer Leistungsaufnahme von nur 2,5 W und nutzt eine USB 3.1 Gen2 Typ-C-Schnittstelle mit einer Datenübertragungsbandbreite von 10 Gbit/s. Das Produkt arbeitet nahtlos mit den wichtigsten KI-Frameworks zusammen, einschließlich Unterstützung für Keras, PyTorch, TensorFlow, TensorFlowLite und ONNX, unter anderem.
Der Neuzugang, der sowohl in Verbraucher- als auch in Industriegeräten und -systemen eingesetzt werden kann, bietet Unterstützung für Android sowie Windows und Linux, so dass mehrere Plattformen von seinem Potenzial profitieren können. Neben dem stromsparenden KI-Beschleuniger wird das ASUS-Team auch eine spezielle App namens UGen Utility anbieten, die mehr als 100 vortrainierte Modelle für einen einfachen Start enthält. Das Produkt bietet auch Zugang zur Hailo Developer Community, wo Tutorials, Referenzinhalte und eine Fülle von Wissen zur Verfügung stehen, um die Entwicklung und Bereitstellung von Edge-KI-Anwendungen so schnell und effizient wie möglich zu gestalten.
Die ASUS-Innovation richtet sich an Entwickler, Lernende, Pädagogen, Entwickler von eingebetteten Industriesystemen und alle anderen, die einen stromsparenden, einfach zu bedienenden KI-Beschleuniger mit hoher Leistung für die Verwaltung lokaler KI-Inhalte benötigen.
Es wird erwartet, dass das ASUS UGen300-Modell bald im Handel erhältlich sein wird, aber es ist noch nicht bekannt, wie viel es genau kosten wird. Es wird auch eine Version des Produkts in Form einer M.2-Erweiterungskarte geben, die es dem Hersteller ermöglicht, neuere Segmente und Geräte mit ähnlichen Fähigkeiten wie die oben genannten anzusprechen.
