Jamba, nový model umelej inteligencie vytvorený laboratóriami AI21, prekonáva typické kontextové obmedzenia, ktoré majú generatívne modely AI, pričom si vyžaduje menší výpočtový výkon. Priemysel smeruje k modelom s významnými schopnosťami spracovania kontextu, ktoré zlepšujú súdržnosť počas dlhších diskusií, ale často sú na úkor vyšších nárokov na spracovanie. Alebo Dagan, produktový líder v laboratóriách AI21, tvrdí, že je možné dosiahnuť efektívnejšiu stratégiu, a ilustruje to na svojom najnovšom modeli Jamba.
Kontextové okná modelov AI sú nevyhnutné na zachovanie toku dialógov a analýzy údajov. Väčšie okná lepšie zachytávajú a udržiavajú tok konverzácie, zatiaľ čo menšie rýchlo spôsobujú, že človek zabudne na nedávne interakcie. Jamba AI21 Labs je špičkový model tvorby a analýzy textu, ktorý dokáže spracovať veľké množstvo údajov a pokryť množstvo jazykov, čím konkuruje sile známych modelov, ako sú Gemini od Googlu a ChatGPT od OpenAI.
Jednou z pozoruhodných vlastností Jamba je jej schopnosť spravovať až 140 000 tokenov na jednom špičkovom GPU – čo je zhruba ekvivalent 210-stranového románu. V porovnaní s Meta's Llama 2, ktorá spravuje menšie kontextové okno s menšími požiadavkami na pamäť, je táto schopnosť podstatne väčšia.
Jamba je jedinečná vďaka svojej architektúre, ktorá kombinuje modely stavového priestoru (SSM), ktoré poskytujú výpočtovú efektivitu so zdĺhavými dátovými sekvenciami, s transformátormi uznávanými pre ich komplikované uvažovanie. Zatiaľ čo SSM, ako je model s otvoreným zdrojom Mamba, zlepšujú efektívnosť a priepustnosť modelu v dlhších kontextoch, transformátory sú vynikajúce pri určovaní relevantnosti prichádzajúcich údajov. Vďaka tomu je Jamba trikrát efektívnejšia ako modely transformátorov s podobnou veľkosťou.
Jamba je priekopníckym príkladom použitia SSM vo veľkých komerčných modeloch, ktorý sľubuje lepší výkon a efektivitu. Bol sprístupnený výskumníkom na základe licencie s otvoreným zdrojom so zámerom pridať bezpečnostné opatrenia a vylepšenia v neskorších vydaniach. Jamba má podľa Dagana schopnosť úplne transformovať výkon modelu na jednotlivých GPU, čo by znamenalo veľký prielom v efektivite a dizajne AI.
Zabezpečte si budúcnosť v oblasti AI a veľkých dát pomocou praktických [Data Science and AI Bootcamp] od Code Labs Academy (/courses/data-science-and-ai).