Jamba, en ny kunstig intelligens-model skabt af AI21 Labs, overvinder de typiske kontekstbegrænsninger, som generative AI-modeller har, mens de kræver mindre processorkraft. Industrien bevæger sig mod modeller med betydelige kontekstbehandlingskapaciteter, som forbedrer sammenhængen over længere diskussioner, men som ofte kommer på bekostning af højere behandlingskrav. Eller Dagan, produktleder hos AI21 Labs, hævder, at en mere effektiv strategi er opnåelig og illustrerer det med deres seneste model, Jamba.
AI-modellers kontekstvinduer er afgørende for at bevare strømmen af dialog og dataanalyse. Større vinduer er bedre til at fange og fastholde samtalestrømmen, hvorimod mindre vinduer hurtigt får en til at glemme de seneste interaktioner. AI21 Labs' Jamba er en banebrydende tekstoprettelse og analysemodel, der kan håndtere store mængder data og dække adskillige sprog, der konkurrerer med velkendte modeller som Googles Gemini og OpenAIs ChatGPT.
Et bemærkelsesværdigt træk ved Jamba er dets evne til at administrere op til 140.000 tokens på en enkelt avanceret GPU - omtrent hvad der svarer til en 210-siders roman. Sammenlignet med Metas Llama 2, som håndterer et mindre kontekstvindue med færre hukommelseskrav, er denne mulighed væsentligt mere.
Jamba er unik på grund af sin arkitektur, som kombinerer tilstandsrumsmodeller (SSM'er), som giver computereffektivitet med lange datasekvenser, med transformatorer, der er anerkendt for deres komplicerede ræsonnement. Mens SSM'er, såsom open source-modellen Mamba, forbedrer modellens effektivitet og gennemløb over længere sammenhænge, er transformatorer fremragende til at bestemme relevansen af indgående data. Dette gør Jamba tre gange mere effektiv end transformermodeller af lignende størrelse.
Jamba er et banebrydende eksempel på brugen af SSM i store, kommercielle modeller, der lover forbedret ydeevne og effektivitet. Det blev gjort tilgængeligt for forskere under en open source-licens med den hensigt at tilføje sikkerhedsforanstaltninger og forbedringer i senere udgivelser. Jamba har ifølge Dagan evnen til fuldstændig at transformere modelydelsen på enkelte GPU'er, hvilket ville være et stort gennembrud i effektiviteten og designet af AI.
Sikr din fremtid inden for AI og big data med Code Labs Academys praktiske Data Science og AI Bootcamp.