Jamba, nov model umetne inteligence, ki so ga ustvarili AI21 Labs, premaga tipične kontekstne omejitve, ki jih imajo generativni modeli AI, hkrati pa zahteva manj procesorske moči. Industrija se usmerja k modelom z znatnimi zmogljivostmi obdelave konteksta, ki izboljšujejo skladnost v daljših razpravah, vendar pogosto na račun višjih zahtev za obdelavo. Ali pa Dagan, produktni vodja pri AI21 Labs, trdi, da je učinkovitejša strategija dosegljiva, in to ponazarja z njihovim najnovejšim modelom Jamba.
Kontekstna okna modelov AI so bistvenega pomena za ohranjanje toka dialoga in analize podatkov. Večja okna bolje zajamejo in vzdržujejo tok pogovora, medtem ko zaradi manjših hitro pozabite na nedavne interakcije. Jamba AI21 Labs je vrhunski model za ustvarjanje in analizo besedila, ki lahko obdeluje velike količine podatkov in pokriva številne jezike ter se po moči kosa z znanimi modeli, kot sta Googlov Gemini in OpenAI ChatGPT.
Ena od pomembnih lastnosti Jambe je njena zmožnost upravljanja do 140.000 žetonov na enem vrhunskem GPE-ju – kar je približno enako 210-stranskemu romanu. V primerjavi z Metino Llamo 2, ki upravlja manjše kontekstno okno z manj zahtevami po pomnilniku, je ta zmogljivost bistveno večja.
Jamba je edinstvena zaradi svoje arhitekture, ki združuje modele prostora stanja (SSM), ki zagotavljajo računalniško učinkovitost z dolgimi zaporedji podatkov, s transformatorji, ki so prepoznavni po zapletenem razmišljanju. Medtem ko SSM-ji, kot je odprtokodni model Mamba, izboljšajo učinkovitost modela in prepustnost v daljših kontekstih, so transformatorji odlični pri določanju ustreznosti vhodnih podatkov. Zaradi tega je Jamba trikrat bolj učinkovit kot transformatorski modeli podobne velikosti.
Jamba je pionirski primer uporabe SSM v obsežnih komercialnih modelih, ki obljublja izboljšano zmogljivost in učinkovitost. Raziskovalcem je bil na voljo pod odprtokodno licenco z namenom dodajanja varnostnih ukrepov in izboljšav v kasnejših izdajah. Po Daganu lahko Jamba popolnoma preoblikuje zmogljivost modela na posameznih grafičnih procesorjih, kar bi bil velik preboj v učinkovitosti in oblikovanju AI.
Zavarujte svojo prihodnost na področju umetne inteligence in velikih podatkov s praktičnim Code Labs Academy Data Science and AI Bootcamp.