Jamba, un nou model d'intel·ligència artificial creat per AI21 Labs, supera les típiques limitacions de context que tenen els models generatius d'IA i requereixen menys potència de processament. La indústria s'està avançant cap a models amb capacitats de processament de context importants, que milloren la coherència en les discussions més llargues, però sovint a costa de demandes de processament més altes. O Dagan, el responsable de producte d'AI21 Labs, afirma que es pot aconseguir una estratègia més eficaç i ho il·lustra amb el seu model més recent, Jamba.
Les finestres de context dels models d'IA són essencials per preservar el flux del diàleg i l'anàlisi de dades. Les finestres més grans són millors per capturar i mantenir el flux de converses, mentre que les més petites fan que s'oblidi ràpidament de les interaccions recents. Jamba d'AI21 Labs és un model de creació i anàlisi de text d'avantguarda que pot gestionar grans quantitats de dades i cobrir nombrosos idiomes, rivalitzant amb el poder de models coneguts com el Gemini de Google i el ChatGPT d'OpenAI.
Una característica notable de Jamba és la seva capacitat per gestionar fins a 140.000 fitxes en una única GPU de gamma alta, aproximadament l'equivalent a una novel·la de 210 pàgines. En comparació amb el Llama 2 de Meta, que gestiona una finestra de context més petita amb menys requisits de memòria, aquesta capacitat és substancialment més gran.
Jamba és únic per la seva arquitectura, que combina models espacials d'estat (SSM), que proporcionen eficiència informàtica amb llargues seqüències de dades, amb transformadors reconeguts pel seu raonament complicat. Si bé els SSM, com el model de codi obert Mamba, milloren l'eficiència i el rendiment del model en contextos més llargs, els transformadors són excel·lents per determinar la rellevància de les dades entrants. Això fa que Jamba sigui tres vegades més eficient que els models de transformadors de mida similar.
Jamba és un exemple pioner de l'ús de SSM en models comercials a gran escala que promet un rendiment i una eficiència millorats. Es va posar a disposició dels investigadors sota una llicència de codi obert amb la intenció d'afegir mesures de seguretat i millores en versions posteriors. Jamba, segons Dagan, té la capacitat de transformar completament el rendiment del model en GPU individuals, cosa que suposaria un gran avenç en l'eficiència i el disseny de la IA.
- Assegureu-vos el vostre futur en IA i big data amb Code Labs Academy pràctica Data Science and AI Bootcamp.*