Jamba, een nieuw kunstmatige-intelligentiemodel gemaakt door AI21 Labs, overwint de typische contextbeperkingen die generatieve AI-modellen hebben, terwijl er minder verwerkingskracht nodig is. De industrie evolueert naar modellen met aanzienlijke contextverwerkingsmogelijkheden, die de samenhang bij langere discussies verbeteren, maar vaak ten koste gaan van hogere verwerkingseisen. Of Dagan, de productleider bij AI21 Labs, beweert dat een effectievere strategie haalbaar is en illustreert dit met hun meest recente model, Jamba.
De contextvensters van AI-modellen zijn essentieel voor het behoud van de stroom van dialoog en data-analyse. Grotere vensters zijn beter in het vastleggen en in stand houden van de gespreksstroom, terwijl kleinere vensters er snel voor zorgen dat je recente interacties vergeet. Jamba van AI21 Labs is een geavanceerd tekstcreatie- en analysemodel dat grote hoeveelheden gegevens kan verwerken en talloze talen kan bestrijken, en kan wedijveren met de kracht van bekende modellen zoals Google's Gemini en OpenAI's ChatGPT.
Een opvallend kenmerk van Jamba is de mogelijkheid om tot 140.000 tokens te beheren op een enkele high-end GPU, ongeveer het equivalent van een roman van 210 pagina's. Vergeleken met Meta's Llama 2, die een kleiner contextvenster beheert met minder geheugenvereisten, is deze mogelijkheid aanzienlijk groter.
Jamba is uniek vanwege zijn architectuur, die state space models (SSM's) combineert, die rekenefficiëntie bieden met lange datareeksen, waarbij transformatoren bekend staan om hun ingewikkelde redenering. Hoewel SSM's, zoals het open-sourcemodel Mamba, de efficiëntie en doorvoer van het model over langere contexten verbeteren, zijn transformatoren uitstekend in het bepalen van de relevantie van binnenkomende gegevens. Dit maakt Jamba drie keer efficiënter dan transformatormodellen van vergelijkbare grootte.
Jamba is een baanbrekend voorbeeld van het gebruik van SSM in grootschalige, commerciële modellen die betere prestaties en efficiëntie beloven. Het werd beschikbaar gesteld aan onderzoekers onder een open-sourcelicentie met de bedoeling veiligheidsmaatregelen en verbeteringen toe te voegen in latere releases. Jamba heeft volgens Dagan het vermogen om de modelprestaties op afzonderlijke GPU's volledig te transformeren, wat een grote doorbraak zou zijn in de efficiëntie en het ontwerp van AI.
Beveilig uw toekomst in AI en big data met Code Labs Academy's praktische Data Science and AI Bootcamp.