Jamba, nowy model sztucznej inteligencji stworzony przez AI21 Labs, pokonuje typowe ograniczenia kontekstowe, jakie mają generatywne modele sztucznej inteligencji, wymagając jednocześnie mniejszej mocy obliczeniowej. Branża zmierza w kierunku modeli o znacznych możliwościach przetwarzania kontekstu, które poprawiają spójność podczas dłuższych dyskusji, ale często odbywają się kosztem wyższych wymagań w zakresie przetwarzania. Dagan, lider produktu w AI21 Labs, twierdzi, że możliwa jest bardziej skuteczna strategia, i ilustruje to swoim najnowszym modelem Jamba.
Okna kontekstowe modeli AI są niezbędne do zachowania przepływu dialogu i analizy danych. Większe okna lepiej uchwycą i podtrzymają przebieg rozmowy, podczas gdy mniejsze szybko pozwolą zapomnieć o ostatnich interakcjach. Jamba firmy AI21 Labs to najnowocześniejszy model do tworzenia i analizy tekstu, który może obsługiwać duże ilości danych i obejmować wiele języków, dorównując wydajnością dobrze znanym modelom, takim jak Gemini firmy Google i ChatGPT firmy OpenAI.
Godną uwagi cechą Jamby jest możliwość zarządzania nawet 140 000 tokenów na jednym wysokiej klasy procesorze graficznym – co stanowi mniej więcej równowartość 210-stronicowej powieści. W porównaniu do Meta Llama 2, która zarządza mniejszym oknem kontekstowym przy mniejszych wymaganiach dotyczących pamięci, te możliwości są znacznie większe.
Jamba jest wyjątkowa ze względu na swoją architekturę, która łączy modele przestrzeni stanów (SSM), które zapewniają wydajność obliczeniową przy długich sekwencjach danych, z transformatorami znanymi ze swojego skomplikowanego rozumowania. Podczas gdy SSM, takie jak model Mamba o otwartym kodzie źródłowym, poprawiają wydajność i przepustowość modelu w dłuższych kontekstach, transformatory doskonale sprawdzają się w określaniu istotności przychodzących danych. To sprawia, że Jamba jest trzy razy bardziej wydajna niż modele transformatorów o podobnej wielkości.
Jamba to pionierski przykład zastosowania SSM w wielkoskalowych, komercyjnych modelach, który zapewnia lepszą wydajność i efektywność. Został udostępniony badaczom na licencji open source z zamiarem dodania środków bezpieczeństwa i ulepszeń w późniejszych wersjach. Według Dagana Jamba ma możliwość całkowitego przekształcenia wydajności modelu na pojedynczych procesorach graficznych, co byłoby poważnym przełomem w wydajności i projektowaniu sztucznej inteligencji.
Zabezpiecz swoją przyszłość w zakresie sztucznej inteligencji i dużych zbiorów danych dzięki praktycznemu Code Labs Academy Code Labs Academy](/courses/data-science-and-ai).