Jamba, нова модель штучного інтелекту, створена AI21 Labs, долає типові контекстні обмеження, які мають генеративні моделі ШІ, вимагаючи при цьому меншої обчислювальної потужності. Індустрія рухається до моделей із значними можливостями обробки контексту, які покращують узгодженість під час тривалих обговорень, але часто відбуваються за рахунок вищих вимог до обробки. Або Даган, керівник продукту в AI21 Labs, стверджує, що більш ефективна стратегія досяжна, і ілюструє це на своїй новітній моделі Jamba.
Контекстні вікна моделей штучного інтелекту необхідні для збереження потоку діалогу та аналізу даних. Великі вікна краще вловлюють і підтримують потік розмови, тоді як менші вікна змушують швидко забути останні взаємодії. Jamba від AI21 Labs — це передова модель створення й аналізу тексту, яка може обробляти великі обсяги даних і охоплювати численні мови, конкуруючи за потужністю з такими відомими моделями, як Gemini від Google і ChatGPT від OpenAI.
Однією з помітних особливостей Jamba є його здатність керувати до 140 000 токенів на одному графічному процесорі високого класу, що приблизно еквівалентно 210-сторінковому роману. Порівняно з Llama 2 від Meta, яка керує меншим контекстним вікном із меншими вимогами до пам’яті, ця можливість є значно більшою.
Jamba є унікальною завдяки своїй архітектурі, яка поєднує в собі моделі простору станів (SSM), які забезпечують ефективність обчислень за допомогою довгих послідовностей даних, із трансформаторами, відомими своєю складною аргументацією. У той час як SSM, такі як модель Mamba з відкритим вихідним кодом, покращують ефективність моделі та пропускну здатність у довших контекстах, трансформатори чудово визначають релевантність вхідних даних. Це робить Jamba втричі ефективнішим, ніж моделі трансформаторів аналогічного розміру.
Jamba є новаторським прикладом використання SSM у великомасштабних комерційних моделях, що обіцяє покращену продуктивність та ефективність. Його було надано дослідникам за ліцензією з відкритим вихідним кодом з наміром додати заходи безпеки та вдосконалення в наступних випусках. Jamba, за словами Дагана, має здатність повністю трансформувати продуктивність моделі на одному графічному процесорі, що стане великим проривом у ефективності та дизайні ШІ.
Забезпечте своє майбутнє у сфері штучного інтелекту та великих даних за допомогою Code Labs Academy Code Labs Academy Навчального семінару Data Science and AI Bootcamp.