Jamba, nový model umělé inteligence vytvořený laboratoří AI21, překonává typická kontextová omezení, která mají generativní modely umělé inteligence, a přitom vyžaduje menší výpočetní výkon. Průmysl se posouvá směrem k modelům s významnými schopnostmi zpracování kontextu, které zlepšují koherenci během delších diskusí, ale často přicházejí na úkor vyšších nároků na zpracování. Nebo Dagan, produktový vedoucí v AI21 Labs, tvrdí, že efektivnější strategie je dosažitelná, a ilustruje to na jejich nejnovějším modelu Jamba.
Kontextová okna modelů AI jsou nezbytná pro zachování toku dialogů a analýzy dat. Větší okna lépe zachycují a udržují tok konverzace, zatímco menší rychle způsobí, že na nedávné interakce zapomenete. AI21 Labs' Jamba je špičkový model pro tvorbu a analýzu textu, který dokáže zpracovat velké množství dat a pokrýt mnoho jazyků, čímž konkuruje síle známých modelů, jako jsou Gemini od Googlu a ChatGPT od OpenAI.
Jednou z pozoruhodných vlastností Jamba je její schopnost spravovat až 140 000 tokenů na jediném špičkovém GPU – což je zhruba ekvivalent 210stránkového románu. Ve srovnání s Meta's Llama 2, která zvládá menší kontextové okno s menšími nároky na paměť, je tato schopnost podstatně více.
Jamba je jedinečná svou architekturou, která kombinuje modely stavového prostoru (SSM), které poskytují výpočetní efektivitu se zdlouhavými datovými sekvencemi, s transformátory uznávanými pro jejich komplikované uvažování. Zatímco SSM, jako je model s otevřeným zdrojovým kódem Mamba, zlepšují efektivitu a propustnost modelu v delších kontextech, transformátory jsou vynikající při určování relevance příchozích dat. Díky tomu je Jamba třikrát účinnější než modely transformátorů podobné velikosti.
Jamba je průkopnickým příkladem použití SSM ve velkých komerčních modelech, které slibují lepší výkon a efektivitu. Byl zpřístupněn výzkumníkům pod licencí open source se záměrem přidat bezpečnostní opatření a vylepšení v pozdějších verzích. Jamba má podle Dagana schopnost zcela transformovat výkon modelu na jednotlivých GPU, což by byl zásadní průlom v efektivitě a designu AI.
Zabezpečte svou budoucnost v oblasti umělé inteligence a velkých dat pomocí praktického Code Labs Academy Data Science and AI Bootcamp.