Jamba, 'n nuwe kunsmatige intelligensie-model wat deur AI21 Labs geskep is, oorkom die tipiese konteksbeperkings wat generatiewe KI-modelle het terwyl dit minder verwerkingskrag benodig. Die bedryf beweeg na modelle met aansienlike konteksverwerkingsvermoëns, wat samehang oor langer besprekings verbeter, maar dikwels ten koste van hoër verwerkingseise kom. Of Dagan, die produkleier by AI21 Labs, beweer dat 'n meer effektiewe strategie haalbaar is en illustreer dit met hul mees onlangse model, Jamba.
KI-modelle se konteksvensters is noodsaaklik vir die behoud van die vloei van dialoog en data-analise. Groter vensters is beter om die vloei van gesprek vas te vang en te onderhou, terwyl kleiner vensters vinnig veroorsaak dat jy onlangse interaksies vergeet. AI21 Labs se Jamba is 'n toonaangewende teksskeppings- en ontledingsmodel wat groot hoeveelhede data kan hanteer en talle tale kan dek, wat die krag van bekende modelle soos Google se Gemini en OpenAI se ChatGPT meeding.
Een noemenswaardige kenmerk van Jamba is sy vermoë om tot 140 000 tokens op 'n enkele hoë-end GPU te bestuur - ongeveer die ekwivalent van 'n roman van 210 bladsye. In vergelyking met Meta se Llama 2, wat 'n kleiner konteksvenster met minder geheuevereistes bestuur, is hierdie vermoë aansienlik meer.
Jamba is uniek vanweë sy argitektuur, wat staatsruimtemodelle (SSM'e) kombineer, wat rekenaardoeltreffendheid met lang datareekse bied, met transformators wat erken word vir hul ingewikkelde redenasie. Terwyl SSM'e, soos die oopbronmodel Mamba, die model se doeltreffendheid en deurvloei oor langer kontekste verbeter, is transformators uitstekend om die relevansie van inkomende data te bepaal. Dit maak Jamba drie keer doeltreffender as transformatormodelle van soortgelyke grootte.
Jamba is 'n baanbrekersvoorbeeld van die gebruik van SSM in grootskaalse kommersiële modelle wat verbeterde werkverrigting en doeltreffendheid beloof. Dit is aan navorsers beskikbaar gestel onder 'n oopbronlisensie met die doel om veiligheidsmaatreëls en verbeterings in latere vrystellings by te voeg. Jamba, volgens Dagan, het die vermoë om modelprestasie op enkele GPU's heeltemal te transformeer, wat 'n groot deurbraak in die doeltreffendheid en ontwerp van AI sou wees.
Beveilig jou toekoms in KI en groot data met Code Labs Academy se praktiese Data Science en KI Bootcamp.