Jamba, ein neues Modell für künstliche Intelligenz, das von AI21 Labs entwickelt wurde, überwindet die typischen Kontextbeschränkungen generativer KI-Modelle und erfordert gleichzeitig weniger Rechenleistung. Die Branche tendiert zu Modellen mit erheblichen Kontextverarbeitungsfunktionen, die die Kohärenz bei längeren Diskussionen verbessern, jedoch häufig auf Kosten höherer Verarbeitungsanforderungen gehen. Oder Dagan, der Produktleiter bei AI21 Labs, behauptet, dass eine effektivere Strategie erreichbar ist und veranschaulicht dies anhand ihres neuesten Modells, Jamba.
Die Kontextfenster von KI-Modellen sind für die Aufrechterhaltung des Dialogflusses und der Datenanalyse von entscheidender Bedeutung. Größere Fenster können den Gesprächsfluss besser erfassen und aufrechterhalten, wohingegen kleinere Fenster dazu führen, dass man die jüngsten Interaktionen schnell vergisst. Jamba von AI21 Labs ist ein hochmodernes Texterstellungs- und Analysemodell, das große Datenmengen verarbeiten und zahlreiche Sprachen abdecken kann und mit der Leistungsfähigkeit bekannter Modelle wie Googles Gemini und OpenAIs ChatGPT mithalten kann.
Ein bemerkenswertes Merkmal von Jamba ist seine Fähigkeit, bis zu 140.000 Token auf einer einzigen High-End-GPU zu verwalten – ungefähr das Äquivalent eines 210-seitigen Romans. Im Vergleich zu Metas Llama 2, das ein kleineres Kontextfenster mit weniger Speicherbedarf verwaltet, ist diese Fähigkeit wesentlich größer.
Jamba ist aufgrund seiner Architektur einzigartig, die Zustandsraummodelle (SSMs), die für Recheneffizienz bei langen Datensequenzen sorgen, mit Transformatoren kombiniert, die für ihre komplizierten Überlegungen bekannt sind. Während SSMs wie das Open-Source-Modell Mamba die Effizienz und den Durchsatz des Modells über längere Kontexte verbessern, eignen sich Transformer hervorragend zur Bestimmung der Relevanz eingehender Daten. Dadurch ist Jamba dreimal effizienter als Transformatormodelle ähnlicher Größe.
Jamba ist ein bahnbrechendes Beispiel für den Einsatz von SSM in kommerziellen Großmodellen, das eine verbesserte Leistung und Effizienz verspricht. Es wurde Forschern unter einer Open-Source-Lizenz zur Verfügung gestellt, mit der Absicht, in späteren Versionen Sicherheitsmaßnahmen und Verbesserungen hinzuzufügen. Laut Dagan ist Jamba in der Lage, die Modellleistung auf einzelnen GPUs vollständig zu transformieren, was einen großen Durchbruch in der Effizienz und dem Design von KI bedeuten würde.
Sichern Sie Ihre Zukunft im Bereich KI und Big Data mit dem praktischen Data Science and AI Bootcamp von Code Labs Academy.