Jamba 是 AI21 Labs 创建的一种新人工智能模型，它克服了生成式 AI 模型所具有的典型上下文限制，同时需要较少的处理能力。该行业正在转向具有显着上下文处理能力的模型，这可以提高较长讨论的一致性，但通常会以更高的处理要求为代价。 AI21 Labs 的产品负责人 Dagan 断言，更有效的策略是可以实现的，并用他们最新的模型 Jamba 来说明这一点。
人工智能模型的上下文窗口对于保持对话和数据分析的流程至关重要。较大的窗口更适合捕捉和维持对话流程，而较小的窗口很快会导致人们忘记最近的互动。 AI21 Labs 的 Jamba 是一种尖端的文本创建和分析模型，可以处理大量数据并涵盖多种语言，其功能可与 Google 的 Gemini 和 OpenAI 的 ChatGPT 等知名模型相媲美。
Jamba 的一个显着特点是它能够在单个高端 GPU 上管理多达 140,000 个令牌，大约相当于一本 210 页的小说。 Meta 的 Llama 2 管理更小的上下文窗口和更少的内存需求，与此相比，此功能要强大得多。
Jamba 的独特之处在于其架构，它结合了状态空间模型 (SSM)（通过冗长的数据序列提供计算效率）和因其复杂推理而闻名的变压器。虽然 SSM（例如开源模型 Mamba）可以提高模型在较长上下文中的效率和吞吐量，但 Transformer 在确定传入数据的相关性方面表现出色。这使得 Jamba 的效率比类似尺寸的变压器型号高出三倍。
Jamba 是在大规模商业模型中使用 SSM 的先驱示例，有望提高性能和效率。它是根据开源许可证向研究人员提供的，目的是在以后的版本中添加安全措施和增强功能。 Dagan 表示，Jamba 有能力彻底改变单个 GPU 上的模型性能，这将是 AI 效率和设计的重大突破。
通过 Code Labs Academy 的实践数据科学和人工智能训练营，确保你在人工智能和大数据领域的未来。