Llama 3.1 405B ซึ่งเป็นโมเดล AI แบบโอเพ่นซอร์สที่มีพารามิเตอร์ 405 พันล้านพารามิเตอร์ เป็นโมเดลที่ใหญ่ที่สุดที่ Metaได้เปิดตัวแล้ว ไม่ใช่โมเดลที่ใหญ่ที่สุดโดยรวม แต่เป็นโมเดลโอเพ่นซอร์สที่ใหญ่ที่สุดที่เพิ่งเปิดตัวเมื่อไม่นานมานี้ ด้วยการใช้วิธีการใหม่ Llama 3.1 405B ซึ่งได้รับการฝึกฝนบน GPU Nvidia H100 จำนวน 16,000 ตัว สามารถแข่งขันกับโมเดลที่เป็นกรรมสิทธิ์ระดับบนสุด เช่น Claude 3.5 Sonnet ของ Anthropic และ GPT-4o ของ OpenAI โมเดลดังกล่าวสามารถดาวน์โหลดและใช้งานบนแพลตฟอร์มการประมวลผลแบบคลาวด์ รวมถึง Google Cloud, AWS และ Azure นอกจากนี้ยังรวมเข้ากับแชทบอทในสหรัฐอเมริกาโดยใช้ WhatsApp และ Meta.ai
แม้ว่าจะจำกัดเฉพาะกิจกรรมที่เป็นข้อความ แต่ Llama 3.1 405B สามารถทำงานได้หลากหลาย รวมถึงการเข้ารหัสและการสรุปเอกสารหลายภาษา (ในภาษาอังกฤษ เยอรมัน ฝรั่งเศส อิตาลี โปรตุเกส ฮินดี สเปน และไทย) แม้ว่าสิ่งเหล่านี้จะไม่สามารถเข้าถึงได้แบบสาธารณะ แต่ Meta กำลังทำงานอย่างแข็งขันกับโมเดลลามะหลายรูปแบบเพื่อจัดการกับรูปภาพ วิดีโอ และคำพูด แบบจำลองนี้ได้รับการเสริมด้วยข้อมูลสังเคราะห์ ซึ่งเป็นเรื่องปกติ แต่ทำให้เกิดคำถามเกี่ยวกับอคติที่อาจเกิดขึ้น จากนั้นจึงฝึกอบรมกับตัวอย่างที่ได้รับการปรับปรุงแล้วจำนวน 15 ล้านล้านโทเค็น
โมเดลนี้สามารถจัดการกับอินพุตที่ยาวขึ้นได้อย่างมีประสิทธิภาพ และรักษาบริบทการสนทนาด้วยหน้าต่างบริบทโทเค็น 128,000 รายการ Llama 3.1 8B และ Llama 3.1 70B เป็นรุ่นขนาดเล็กที่สามารถใช้เครื่องมือและ API ของบุคคลที่สามเพื่อเพิ่มความสามารถในการปรับตัว นอกเหนือจากความสามารถด้านบริบทที่ขยายออกไปนี้ โมเดลเหล่านี้สามารถสื่อสารกับล่าม Python สำหรับการตรวจสอบโค้ด, Brave Search และ Wolfram Alpha สำหรับคำถามทางคณิตศาสตร์
Meta ต้องการสร้างระบบนิเวศของนักพัฒนารอบๆ ลามะ เพื่อให้มันกลายเป็นเสาหลักของ AI เชิงสร้างสรรค์ ด้วยข้อจำกัดบางประการในการปรับใช้สำหรับนักพัฒนารายใหญ่ ใบอนุญาตใหม่อนุญาตให้นักพัฒนาใช้เอาต์พุตโมเดลสำหรับการพัฒนาโมเดลที่สร้างโดยบุคคลที่สาม เพื่ออำนวยความสะดวกในการปรับแต่งอย่างละเอียด การสร้างข้อมูลสังเคราะห์ และพัฒนาแอปพลิเคชันที่ซับซ้อน Meta ยังเปิดตัวเครื่องมือความปลอดภัยใหม่และ Llama Stack API
Mark Zuckerberg ซีอีโอให้ความสำคัญกับการทำให้การเข้าถึง AI เป็นประชาธิปไตยในขณะเดียวกันก็สร้างเทคโนโลยี AI ของ Meta ให้เป็นบรรทัดฐานของอุตสาหกรรม มีการดาวน์โหลดโมเดลลามะมากกว่า 300 ล้านโมเดล และมีการสร้างแบบจำลองที่แตกต่างกันกว่า 20,000 โมเดล แม้ว่าจะมีปัญหาทางกฎหมายและความกังวลเกี่ยวกับหลักปฏิบัติด้านข้อมูลก็ตาม
ปัญหาด้านพลังงานเกิดขึ้นเมื่อปรับขนาดโมเดลเหล่านี้ เนื่องจากการฝึกอบรมทำให้เกิดความตึงเครียดกับโครงข่ายไฟฟ้า เนื่องจาก Meta ตั้งใจที่จะสร้างโมเดลที่ใหญ่ขึ้นในอนาคต การแก้ไขปัญหาเหล่านี้จึงมีความจำเป็น ด้วยการเปิดตัว Llama 3.1 405B นั้น Meta ได้ก้าวไปอีกขั้นที่สำคัญสู่กลยุทธ์ AI ซึ่งมีจุดมุ่งหมายเพื่อผลักดันขอบเขตของ generative AI และท้าทายคู่แข่ง