Jamba, jauns mākslīgā intelekta modelis, ko radījis AI21 Labs, pārvar tipiskos konteksta ierobežojumus, kas piemīt ģeneratīvajiem AI modeļiem, vienlaikus prasot mazāku apstrādes jaudu. Nozare virzās uz modeļiem ar ievērojamām konteksta apstrādes iespējām, kas uzlabo saskaņotību ilgākās diskusijās, bet bieži vien notiek uz augstāku apstrādes prasību rēķina. Vai arī Dagans, AI21 Labs produktu vadītājs, apgalvo, ka ir sasniedzama efektīvāka stratēģija, un ilustrē to ar savu jaunāko modeli Jamba.
AI modeļu konteksta logi ir būtiski, lai saglabātu dialoga un datu analīzes plūsmu. Lielāki logi ļauj labāk uztvert un uzturēt sarunu plūsmu, savukārt mazāki logi ātri liek aizmirst nesenās mijiedarbības. AI21 Labs Jamba ir moderns teksta izveides un analīzes modelis, kas spēj apstrādāt lielu datu apjomu un aptver daudzas valodas, konkurējot ar tādu labi zināmu modeļu kā Google Gemini un OpenAI ChatGPT jaudu.
Viena ievērojama Jamba iezīme ir tā spēja pārvaldīt līdz 140 000 marķieru vienā augstākās klases GPU, kas ir aptuveni līdzvērtīgs 210 lappušu romānam. Salīdzinot ar Meta's Llama 2, kas pārvalda mazāku konteksta logu ar mazākām atmiņas prasībām, šī iespēja ir ievērojami lielāka.
Jamba ir unikāla tās arhitektūras dēļ, kas apvieno stāvokļa telpas modeļus (SSM), kas nodrošina skaitļošanas efektivitāti ar garām datu sekvencēm, ar transformatoriem, kas atzīti par sarežģīto argumentāciju. Lai gan SSM, piemēram, atvērtā koda modelis Mamba, uzlabo modeļa efektivitāti un caurlaidspēju ilgākā kontekstā, transformatori lieliski spēj noteikt ienākošo datu atbilstību. Tas padara Jamba trīs reizes efektīvāku nekā līdzīga izmēra transformatoru modeļi.
Jamba ir novatorisks piemērs SSM izmantošanai liela mēroga komerciālos modeļos, kas sola uzlabotu veiktspēju un efektivitāti. Tas tika darīts pieejams pētniekiem saskaņā ar atvērtā pirmkoda licenci, lai vēlākos laidienos pievienotu drošības pasākumus un uzlabojumus. Jamba, pēc Dagana domām, spēj pilnībā pārveidot modeļa veiktspēju uz viena GPU, kas būtu nozīmīgs sasniegums AI efektivitātē un dizainā.
Nodrošiniet savu nākotni mākslīgā intelekta un lielo datu jomā, izmantojot Code Labs Academy praktisko Data Science and AI Bootcamp.