Jamba, un nouveau modèle d'intelligence artificielle créé par AI21 Labs, surmonte les contraintes contextuelles typiques des modèles d'IA génératives tout en nécessitant moins de puissance de traitement. L'industrie s'oriente vers des modèles dotés d'importantes capacités de traitement du contexte, qui améliorent la cohérence lors de discussions plus longues, mais se font souvent au détriment d'exigences de traitement plus élevées. Or Dagan, responsable produit chez AI21 Labs, affirme qu'une stratégie plus efficace est réalisable et l'illustre avec son modèle le plus récent, Jamba.
Les fenêtres contextuelles des modèles d'IA sont essentielles pour préserver le flux de dialogue et d'analyse des données. Les fenêtres plus grandes sont plus efficaces pour capturer et maintenir le flux de la conversation, tandis que les fenêtres plus petites font rapidement oublier les interactions récentes. Jamba d'AI21 Labs est un modèle de création et d'analyse de texte de pointe capable de gérer de grandes quantités de données et de couvrir de nombreuses langues, rivalisant avec la puissance de modèles bien connus comme Gemini de Google et ChatGPT d'OpenAI.
Une caractéristique notable de Jamba est sa capacité à gérer jusqu'à 140 000 jetons sur un seul GPU haut de gamme, soit à peu près l'équivalent d'un roman de 210 pages. Par rapport à Llama 2 de Meta, qui gère une fenêtre contextuelle plus petite avec moins de besoins en mémoire, cette capacité est nettement supérieure.
Jamba est unique en raison de son architecture, qui combine des modèles d'espace d'états (SSM), qui assurent l'efficacité informatique avec de longues séquences de données, avec des transformateurs reconnus pour leur raisonnement complexe. Alors que les SSM, tels que le modèle open source Mamba, améliorent l'efficacité et le débit du modèle sur des contextes plus longs, les transformateurs sont excellents pour déterminer la pertinence des données entrantes. Cela rend le Jamba trois fois plus efficace que les modèles de transformateurs de taille similaire.
Jamba est un exemple pionnier de l’utilisation de SSM dans des modèles commerciaux à grande échelle qui promet des performances et une efficacité améliorées. Il a été mis à la disposition des chercheurs sous une licence open source dans le but d'ajouter des mesures de sécurité et des améliorations dans les versions ultérieures. Selon Dagan, Jamba a la capacité de transformer complètement les performances des modèles sur des GPU uniques, ce qui constituerait une avancée majeure dans l'efficacité et la conception de l'IA.
Assurez votre avenir dans l'IA et le Big Data avec le [Bootcamp pratique sur la science des données et l'IA] de Code Labs Academy(/courses/data-science-and-ai).