Jamba, model kecerdasan buatan baru yang dibuat oleh AI21 Labs, mengatasi kendala konteks umum yang dimiliki model AI generatif namun memerlukan lebih sedikit daya pemrosesan. Industri ini bergerak menuju model dengan kemampuan pemrosesan konteks yang signifikan, yang meningkatkan koherensi melalui diskusi yang lebih panjang namun sering kali mengorbankan tuntutan pemrosesan yang lebih tinggi. Atau Dagan, pimpinan produk di AI21 Labs, menegaskan bahwa strategi yang lebih efektif dapat dicapai dan menggambarkannya dengan model terbaru mereka, Jamba.
Jendela konteks model AI sangat penting untuk menjaga aliran dialog dan analisis data. Jendela yang lebih besar lebih baik dalam menangkap dan mempertahankan alur percakapan, sedangkan jendela yang lebih kecil dengan cepat menyebabkan seseorang melupakan interaksi terkini. Jamba dari AI21 Labs adalah model pembuatan dan analisis teks mutakhir yang dapat menangani data dalam jumlah besar dan mencakup banyak bahasa, menyaingi kekuatan model terkenal seperti Gemini Google dan ChatGPT OpenAI.
Salah satu fitur penting Jamba adalah kemampuannya mengelola hingga 140.000 token pada satu GPU kelas atas—kira-kira setara dengan novel setebal 210 halaman. Dibandingkan dengan Llama 2 Meta, yang mengelola jendela konteks lebih kecil dengan kebutuhan memori lebih sedikit, kemampuan ini jauh lebih baik.
Jamba unik karena arsitekturnya, yang menggabungkan model ruang negara (SSM), yang memberikan efisiensi komputasi dengan urutan data yang panjang, dengan transformator yang dikenal karena penalarannya yang rumit. Meskipun SSM, seperti model sumber terbuka Mamba, meningkatkan efisiensi dan throughput model dalam konteks yang lebih panjang, transformator sangat baik dalam menentukan relevansi data yang masuk. Hal ini membuat Jamba tiga kali lebih efisien dibandingkan model trafo berukuran serupa.
Jamba adalah contoh perintis penggunaan SSM dalam model komersial berskala besar yang menjanjikan peningkatan kinerja dan efisiensi. Ini tersedia bagi para peneliti di bawah lisensi sumber terbuka dengan tujuan untuk menambahkan langkah-langkah keamanan dan peningkatan pada rilis selanjutnya. Jamba, menurut Dagan, memiliki kemampuan untuk sepenuhnya mengubah performa model pada GPU tunggal, yang akan menjadi terobosan besar dalam efisiensi dan desain AI.
Amankan masa depan Anda dalam AI dan big data dengan Code Labs Academy langsung Ilmu Data dan Bootcamp AI.