AI21 Labs によって作成された新しい人工知能モデルである Jamba は、より少ない処理能力を必要としながら、生成 AI モデルが持つ典型的なコンテキスト制約を克服します。業界は、重要なコンテキスト処理機能を備えたモデルに移行しています。これにより、長時間の議論における一貫性が向上しますが、多くの場合、より高い処理要求が犠牲になります。あるいは、AI21 Labs の製品リーダーである Dagan 氏は、より効果的な戦略は達成可能であると主張し、それを最新モデルの Jamba で例証しています。
AI モデルのコンテキスト ウィンドウは、対話とデータ分析のフローを維持するために不可欠です。ウィンドウが大きいほど、会話の流れを捉えて維持するのに優れていますが、ウィンドウが小さいと、最近のやりとりをすぐに忘れてしまいます。 AI21 Labs の Jamba は、大量のデータを処理でき、多数の言語をカバーできる最先端のテキスト作成および分析モデルであり、Google の Gemini や OpenAI の ChatGPT などの有名なモデルの能力に匹敵します。
Jamba の注目すべき機能の 1 つは、単一のハイエンド GPU で最大 140,000 個のトークンを管理できることです。これはおよそ 210 ページの小説に相当します。より少ないメモリ要件でより小さなコンテキスト ウィンドウを管理する Meta の Llama 2 と比較すると、この機能は大幅に優れています。
Jamba がユニークなのは、長いデータ シーケンスでコンピューティング効率を提供する状態空間モデル (SSM) と、複雑な推論で知られるトランスフォーマーを組み合わせたアーキテクチャです。オープンソース モデル Mamba などの SSM は、より長いコンテキストにわたってモデルの効率とスループットを向上させますが、トランスフォーマーは受信データの関連性を判断することに優れています。これにより、Jamba は同様のサイズの変圧器モデルよりも 3 倍効率的になります。
Jamba は、パフォーマンスと効率の向上を約束する大規模商用モデルにおける SSM の使用の先駆的な例です。今後のリリースで安全対策と機能強化を追加することを目的として、オープンソース ライセンスに基づいて研究者が利用できるようになりました。 Dagan 氏によると、Jamba には単一の GPU でモデルのパフォーマンスを完全に変える機能があり、これは AI の効率と設計における大きな進歩となるでしょう。
Code Labs Academy の実践的な データ サイエンスと AI ブートキャンプ で AI とビッグ データの未来を確保しましょう。