Ang Jamba, isang bagong modelo ng artificial intelligence na ginawa ng AI21 Labs, ay nagtagumpay sa karaniwang mga hadlang sa konteksto na mayroon ang mga generative na modelo ng AI habang nangangailangan ng mas kaunting kapangyarihan sa pagproseso. Ang industriya ay umuusad patungo sa mga modelong may makabuluhang kakayahan sa pagpoproseso ng konteksto, na nagpapahusay sa pagkakaugnay-ugnay sa mas mahabang mga talakayan ngunit kadalasang nauuwi sa kapinsalaan ng mas matataas na pangangailangan sa pagproseso. O Dagan, ang nangunguna sa produkto sa AI21 Labs, ay iginiit na ang isang mas epektibong diskarte ay makakamit at inilalarawan ito sa kanilang pinakabagong modelo, ang Jamba.
Ang mga window ng konteksto ng mga modelo ng AI ay mahalaga para mapanatili ang daloy ng diyalogo at pagsusuri ng data. Ang mga malalaking bintana ay mas mahusay sa pagkuha at pagpapanatili ng daloy ng pag-uusap, samantalang ang mas maliliit ay mabilis na nagiging sanhi ng pagkalimot ng isa sa mga kamakailang pakikipag-ugnayan. Ang AI21 Labs' Jamba ay isang cutting-edge na modelo ng paglikha at pagsusuri ng teksto na maaaring humawak ng malaking halaga ng data at sumasaklaw sa maraming wika, na nakikipagkumpitensya sa kapangyarihan ng mga kilalang modelo tulad ng Gemini ng Google at ChatGPT ng OpenAI.
Ang isang kapansin-pansing feature ng Jamba ay ang kakayahang mamahala ng hanggang 140,000 token sa isang high-end na GPU—halos katumbas ng isang 210-pahinang nobela. Kung ikukumpara sa Meta's Llama 2, na namamahala sa isang mas maliit na window ng konteksto na may mas kaunting mga kinakailangan sa memorya, ang kakayahang ito ay higit na malaki.
Ang Jamba ay natatangi dahil sa arkitektura nito, na pinagsasama ang state space models (SSMs), na nagbibigay ng kahusayan sa pag-compute na may mahahabang data sequence, na may mga transformer na kinikilala para sa kanilang kumplikadong pangangatwiran. Habang ang mga SSM, tulad ng open-source na modelong Mamba, ay nagpapabuti sa kahusayan at throughput ng modelo sa mas mahabang konteksto, ang mga transformer ay mahusay sa pagtukoy sa kaugnayan ng papasok na data. Ginagawa nitong tatlong beses na mas mahusay ang Jamba kaysa sa mga katulad na laki ng mga modelo ng transpormer.
Ang Jamba ay isang paunang halimbawa ng paggamit ng SSM sa malakihan, komersyal na mga modelo na nangangako ng pinahusay na pagganap at kahusayan. Ginawang available ito sa mga mananaliksik sa ilalim ng isang open-source na lisensya na may layuning magdagdag ng mga hakbang sa kaligtasan at mga pagpapahusay sa mga susunod na release. Ang Jamba, ayon kay Dagan, ay may kakayahang ganap na baguhin ang pagganap ng modelo sa mga solong GPU, na magiging isang malaking tagumpay sa kahusayan at disenyo ng AI.
I-secure ang iyong hinaharap sa AI at malaking data gamit ang hands-on ni Code Labs Academy Data Science at AI Bootcamp.