Jamba ซึ่งเป็นโมเดลปัญญาประดิษฐ์ใหม่ที่สร้างขึ้นโดย AI21 Labs เอาชนะข้อจำกัดด้านบริบททั่วไปที่โมเดล AI ทั่วไปมี ในขณะที่ใช้พลังการประมวลผลน้อยลง อุตสาหกรรมกำลังมุ่งสู่โมเดลที่มีความสามารถในการประมวลผลบริบทที่สำคัญ ซึ่งปรับปรุงความสอดคล้องกันในการอภิปรายที่ยาวนานขึ้น แต่บ่อยครั้งต้องแลกมาด้วยความต้องการในการประมวลผลที่สูงขึ้น Or Dagan หัวหน้าฝ่ายผลิตภัณฑ์ของ AI21 Labs ยืนยันว่าสามารถบรรลุกลยุทธ์ที่มีประสิทธิภาพมากขึ้นได้ และแสดงให้เห็นด้วย Jamba รุ่นล่าสุด
หน้าต่างบริบทของโมเดล AI เป็นสิ่งจำเป็นสำหรับการรักษาการไหลของบทสนทนาและการวิเคราะห์ข้อมูล หน้าต่างที่ใหญ่กว่าจะจับภาพและรักษาบทสนทนาได้ดีกว่า ในขณะที่หน้าต่างที่เล็กกว่าจะทำให้ลืมการโต้ตอบล่าสุดได้อย่างรวดเร็ว Jamba ของ AI21 Labs คือโมเดลการสร้างและวิเคราะห์ข้อความที่ล้ำสมัย ซึ่งสามารถจัดการข้อมูลจำนวนมากและครอบคลุมภาษาต่างๆ มากมาย เทียบได้กับพลังของโมเดลที่มีชื่อเสียง เช่น Gemini ของ Google และ ChatGPT ของ OpenAI
คุณสมบัติเด่นอย่างหนึ่งของ Jamba คือความสามารถในการจัดการโทเค็นได้มากถึง 140,000 โทเค็นบน GPU ระดับไฮเอนด์เพียงตัวเดียว ซึ่งเทียบเท่ากับนวนิยายความยาว 210 หน้า เมื่อเปรียบเทียบกับ Llama 2 ของ Meta ซึ่งจัดการหน้าต่างบริบทที่เล็กกว่าและมีความต้องการหน่วยความจำน้อยกว่า ความสามารถนี้ยังมีมากกว่ามาก
Jamba มีเอกลักษณ์เฉพาะตัวเนื่องจากมีสถาปัตยกรรมที่รวมแบบจำลองพื้นที่รัฐ (SSM) เข้าด้วยกัน ซึ่งให้ประสิทธิภาพการประมวลผลพร้อมลำดับข้อมูลที่มีความยาว โดยที่หม้อแปลงได้รับการยอมรับด้วยเหตุผลที่ซับซ้อน ในขณะที่ SSM เช่น Mamba โมเดลโอเพ่นซอร์ส ปรับปรุงประสิทธิภาพของโมเดลและปริมาณงานในบริบทที่ยาวขึ้น หม้อแปลงไฟฟ้าก็มีความยอดเยี่ยมในการกำหนดความเกี่ยวข้องของข้อมูลที่เข้ามา ทำให้ Jamba มีประสิทธิภาพมากกว่าหม้อแปลงรุ่นที่มีขนาดใกล้เคียงกันถึงสามเท่า
Jamba เป็นตัวอย่างบุกเบิกของการใช้ SSM ในโมเดลเชิงพาณิชย์ขนาดใหญ่ที่รับประกันประสิทธิภาพและประสิทธิผลที่ดีขึ้น เปิดให้นักวิจัยใช้ภายใต้ใบอนุญาตโอเพ่นซอร์ส โดยมีจุดประสงค์เพื่อเพิ่มมาตรการด้านความปลอดภัยและการปรับปรุงในรุ่นต่อๆ ไป ตามข้อมูลของ Dagan Jamba มีความสามารถในการเปลี่ยนแปลงประสิทธิภาพของโมเดลบน GPU ตัวเดียวได้อย่างสมบูรณ์ ซึ่งจะเป็นความก้าวหน้าครั้งสำคัญในด้านประสิทธิภาพและการออกแบบของ AI
รักษาอนาคตของคุณใน AI และข้อมูลขนาดใหญ่ด้วย Code Labs Academy ที่ลงมือปฏิบัติจริง Data Science และ AI Bootcamp.