Jamba, en ny kunstig intelligens-modell laget av AI21 Labs, overvinner de typiske kontekstbegrensningene som generative AI-modeller har mens de krever mindre prosessorkraft. Industrien beveger seg mot modeller med betydelige kontekstbehandlingsevner, som forbedrer sammenhengen over lengre diskusjoner, men som ofte går på bekostning av høyere behandlingskrav. Eller Dagan, produktlederen ved AI21 Labs, hevder at en mer effektiv strategi er oppnåelig og illustrerer det med deres nyeste modell, Jamba.
AI-modellers kontekstvinduer er avgjørende for å bevare flyten av dialog og dataanalyse. Større vinduer er bedre til å fange opp og opprettholde samtaleflyten, mens mindre vinduer raskt får en til å glemme nylige interaksjoner. AI21 Labs' Jamba er en banebrytende tekstopprettings- og analysemodell som kan håndtere store mengder data og dekke en rekke språk, og konkurrerer med kraften til kjente modeller som Googles Gemini og OpenAIs ChatGPT.
Et bemerkelsesverdig trekk ved Jamba er evnen til å administrere opptil 140 000 tokens på en enkelt avansert GPU – omtrent tilsvarende en 210-siders roman. Sammenlignet med Metas Llama 2, som håndterer et mindre kontekstvindu med mindre minnekrav, er denne muligheten betydelig mer.
Jamba er unik på grunn av sin arkitektur, som kombinerer tilstandsrommodeller (SSM), som gir dataeffektivitet med lange datasekvenser, med transformatorer som er anerkjent for deres kompliserte resonnement. Mens SSM-er, som for eksempel åpen kildekode-modellen Mamba, forbedrer modellens effektivitet og gjennomstrømning over lengre sammenhenger, er transformatorer utmerket til å bestemme relevansen til innkommende data. Dette gjør Jamba tre ganger mer effektiv enn transformatormodeller i tilsvarende størrelse.
Jamba er et banebrytende eksempel på bruk av SSM i store, kommersielle modeller som lover forbedret ytelse og effektivitet. Den ble gjort tilgjengelig for forskere under en åpen kildekode-lisens med den hensikt å legge til sikkerhetstiltak og forbedringer i senere utgivelser. Jamba, ifølge Dagan, har evnen til å fullstendig transformere modellytelsen på enkelt GPUer, noe som ville være et stort gjennombrudd i effektiviteten og utformingen av AI.
Sikre fremtiden din innen AI og big data med Code Labs Academys praktiske Data Science og AI Bootcamp.