Jamba, en ny artificiell intelligensmodell skapad av AI21 Labs, övervinner de typiska kontextbegränsningarna som generativa AI-modeller har samtidigt som de kräver mindre processorkraft. Branschen går mot modeller med betydande kontextbearbetningsförmåga, som förbättrar koherensen under längre diskussioner men ofta kommer på bekostnad av högre bearbetningskrav. Eller Dagan, produktledaren på AI21 Labs, hävdar att en mer effektiv strategi är möjlig och illustrerar det med deras senaste modell, Jamba.
AI-modellers sammanhangsfönster är avgörande för att bevara flödet av dialog och dataanalys. Större fönster är bättre på att fånga och upprätthålla konversationsflödet, medan mindre fönster snabbt får en att glömma de senaste interaktionerna. AI21 Labs Jamba är en banbrytande modell för textskapande och analys som kan hantera stora mängder data och täcka många språk, och konkurrera med kraften hos välkända modeller som Googles Gemini och OpenAI:s ChatGPT.
En anmärkningsvärd egenskap hos Jamba är dess förmåga att hantera upp till 140 000 tokens på en enda avancerad GPU - ungefär motsvarande en 210-sidig roman. Jämfört med Metas Llama 2, som hanterar ett mindre sammanhangsfönster med mindre minneskrav, är denna förmåga betydligt mer.
Jamba är unik på grund av sin arkitektur, som kombinerar tillståndsrymdmodeller (SSM), som ger beräkningseffektivitet med långa datasekvenser, med transformatorer kända för sina komplicerade resonemang. Medan SSM, såsom open source-modellen Mamba, förbättrar modellens effektivitet och genomströmning över längre sammanhang, är transformatorer utmärkta på att avgöra relevansen av inkommande data. Detta gör Jamba tre gånger effektivare än transformatormodeller av liknande storlek.
Jamba är ett banbrytande exempel på användningen av SSM i storskaliga kommersiella modeller som lovar förbättrad prestanda och effektivitet. Den gjordes tillgänglig för forskare under en öppen källkodslicens med avsikten att lägga till säkerhetsåtgärder och förbättringar i senare utgåvor. Jamba, enligt Dagan, har förmågan att helt transformera modellprestanda på enstaka GPU: er, vilket skulle vara ett stort genombrott i effektiviteten och designen av AI.
Säkra din framtid inom AI och big data med Code Labs Academys praktiska Data Science och AI Bootcamp.