Jamba, um novo modelo de inteligência artificial criado pela AI21 Labs, supera as restrições de contexto típicas dos modelos generativos de IA, ao mesmo tempo que requer menos poder de processamento. A indústria está a avançar para modelos com capacidades significativas de processamento de contexto, que melhoram a coerência em discussões mais longas, mas que frequentemente surgem à custa de maiores exigências de processamento. Ou Dagan, líder de produto do AI21 Labs, afirma que é possível alcançar uma estratégia mais eficaz e ilustra isso com seu modelo mais recente, Jamba.
As janelas de contexto dos modelos de IA são essenciais para preservar o fluxo de diálogo e análise de dados. Janelas maiores são melhores para capturar e manter o fluxo da conversa, enquanto janelas menores fazem com que você esqueça rapidamente as interações recentes. O Jamba do AI21 Labs é um modelo de criação e análise de texto de ponta que pode lidar com grandes quantidades de dados e abranger vários idiomas, rivalizando com o poder de modelos conhecidos como o Gemini do Google e o ChatGPT da OpenAI.
Uma característica notável do Jamba é sua capacidade de gerenciar até 140.000 tokens em uma única GPU de ponta – aproximadamente o equivalente a um romance de 210 páginas. Comparado ao Llama 2 do Meta, que gerencia uma janela de contexto menor com menos requisitos de memória, esse recurso é substancialmente maior.
Jamba é único por sua arquitetura, que combina modelos de espaço de estados (SSMs), que proporcionam eficiência computacional com longas sequências de dados, com transformadores reconhecidos por seu raciocínio complicado. Embora os SSMs, como o modelo de código aberto Mamba, melhorem a eficiência e o rendimento do modelo em contextos mais longos, os transformadores são excelentes para determinar a relevância dos dados recebidos. Isto torna o Jamba três vezes mais eficiente do que modelos de transformadores de tamanho semelhante.
Jamba é um exemplo pioneiro do uso de SSM em modelos comerciais de grande escala que promete melhor desempenho e eficiência. Foi disponibilizado aos pesquisadores sob licença de código aberto com a intenção de adicionar medidas de segurança e melhorias em versões posteriores. Jamba, de acordo com Dagan, tem a capacidade de transformar completamente o desempenho do modelo em GPUs únicas, o que seria um grande avanço na eficiência e no design da IA.
Proteja seu futuro em IA e big data com o [Bootcamp de ciência de dados e IA] prático de Code Labs Academy(/courses/data-science-and-ai).