Llama 3.1 405B, model AI sumber terbuka dengan 405 miliar parameter, adalah model terbesar yang Metatelah dirilis sejauh ini. Ini bukan model terbesar secara keseluruhan, namun merupakan model sumber terbuka terbesar yang tersedia baru-baru ini. Memanfaatkan metodologi baru, Llama 3.1 405B, yang dilatih pada 16.000 GPU Nvidia H100, dapat menyaingi model berpemilik tingkat atas seperti Claude 3.5 Sonnet dari Anthropic dan GPT-4o dari OpenAI. Model ini dapat diunduh dan digunakan pada platform komputasi awan termasuk Google Cloud, AWS, dan Azure. Itu juga terintegrasi ke dalam chatbots di Amerika Serikat menggunakan WhatsApp dan Meta.ai.
Meskipun terbatas pada aktivitas berbasis teks, Llama 3.1 405B dapat menjalankan berbagai tugas, termasuk pengkodean dan peringkasan dokumen multibahasa (dalam bahasa Inggris, Jerman, Prancis, Italia, Portugis, Hindi, Spanyol, dan Thailand). Meskipun saat ini tidak dapat diakses publik, Meta secara aktif mengerjakan model Llama multimodal untuk menangani foto, video, dan ucapan. Model tersebut diperkuat dengan data sintetis, yang biasa terjadi tetapi menimbulkan pertanyaan tentang potensi bias, kemudian dilatih pada sampel yang disempurnakan sebanyak 15 triliun token.
Model ini dapat secara efektif menangani masukan yang lebih panjang dan menjaga konteks percakapan berkat jendela konteks 128,000 tokennya. Llama 3.1 8B dan Llama 3.1 70B adalah model lebih kecil yang juga dapat memanfaatkan alat dan API pihak ketiga untuk meningkatkan kemampuan adaptasinya selain memiliki kemampuan konteks yang diperluas. Model ini dapat berkomunikasi dengan juru bahasa Python untuk pemeriksaan kode, Brave Search, dan Wolfram Alpha untuk pertanyaan matematika.
Meta ingin menciptakan ekosistem pengembang di sekitar Llama sehingga menjadi pilar AI generatif. Dengan beberapa keterbatasan dalam penerapan untuk pengembang yang lebih besar, lisensi baru ini mengizinkan pengembang untuk menggunakan keluaran model untuk mengembangkan model generatif pihak ketiga. Untuk memfasilitasi penyesuaian, produksi data sintetis, dan pengembangan aplikasi canggih, Meta juga merilis alat keamanan baru dan Llama Stack API.
CEO Mark Zuckerberg sangat menekankan demokratisasi akses terhadap AI sambil menjadikan teknologi AI Meta sebagai norma industri. Lebih dari 300 juta model Llama telah diunduh, dan 20.000 model varian telah dibuat, meskipun ada masalah hukum dan kekhawatiran mengenai praktik data.
Kesulitan energi muncul ketika menskalakan model ini karena pelatihan memberikan beban pada jaringan listrik. Karena Meta bermaksud untuk membangun model yang lebih besar di masa depan, penyelesaian kesulitan ini sangatlah penting. Dengan dirilisnya Llama 3.1 405B, Meta telah mengambil langkah signifikan menuju strategi AI-nya, yang bertujuan untuk mendorong batasan AI generatif dan menantang pesaing.