Llama 3.1 405B, isang open-source AI model na may 405 bilyon na parameter, ang pinakamalaking modelo na Meta ay inilabas sa ngayon. Hindi ito ang pinakamalaking modelo sa pangkalahatan, ngunit ito ang pinakamalaking open-source na modelo na ginawang available kamakailan. Gamit ang mga bagong pamamaraan, ang Llama 3.1 405B, na sinanay sa 16,000 Nvidia H100 GPU, ay maaaring makipagtunggali sa mga nangungunang proprietary na modelo tulad ng Anthropic's Claude 3.5 Sonnet at OpenAI's GPT-4o. Maaaring ma-download at magamit ang modelo sa mga cloud computing platform kabilang ang Google Cloud, AWS, at Azure. Isinama din ito sa mga chatbot sa Estados Unidos gamit ang WhatsApp at Meta.ai.
Bagama't pinaghihigpitan ito sa mga aktibidad na nakabatay sa text, ang Llama 3.1 405B ay maaaring magsagawa ng malawak na hanay ng mga gawain, kabilang ang coding at multilingguwal na pagbubuod ng dokumento (sa English, German, French, Italian, Portuguese, Hindi, Spanish, at Thai). Bagama't ang mga ito ay kasalukuyang hindi naa-access ng publiko, ang Meta ay aktibong nagtatrabaho sa mga multimodal na modelo ng Llama upang mahawakan ang mga larawan, video, at pagsasalita. Ang modelo ay pinalakas ng sintetikong data, na karaniwan ngunit nagtataas ng mga tanong tungkol sa potensyal na bias, pagkatapos ay sinanay sa isang pinong sample ng 15 trilyong token.
Ang modelo ay epektibong makakahawak ng mas mahahabang input at mapanatili ang konteksto ng pag-uusap salamat sa 128,000 token context window nito. Ang Llama 3.1 8B at Llama 3.1 70B ay mas maliliit na modelo na maaari ding gumamit ng mga third-party na tool at API upang mapataas ang kanilang kakayahang umangkop bilang karagdagan sa pagkakaroon ng pinalawak na kakayahan sa konteksto. Maaaring makipag-ugnayan ang mga modelong ito sa isang Python interpreter para sa pagsuri ng code, Brave Search, at Wolfram Alpha para sa mga tanong sa matematika.
Nais ng Meta na lumikha ng isang developer ecosystem sa paligid ng Llama upang ito ay maging isang haligi ng generative AI. Sa ilang limitasyon sa pag-deploy para sa mas malalaking developer, pinahihintulutan ng bagong lisensya ang mga developer na gumamit ng mga output ng modelo para sa pagbuo ng mga third-party na generative na modelo. Upang mapadali ang pag-fine-tuning, paggawa ng sintetikong data, at pagbuo ng mga sopistikadong application, ang Meta ay naglalabas din ng mga bagong tool sa kaligtasan at ang Llama Stack API.
Ang CEO na si Mark Zuckerberg ay nagbibigay ng matinding diin sa demokratisasyon ng access sa AI habang itinatatag ang mga teknolohiya ng AI ng Meta bilang mga pamantayan sa industriya. Mahigit 300 milyong Llama model ang na-download, at 20,000 variant na modelo ang nagawa, sa kabila ng mga legal na isyu at alalahanin sa mga kasanayan sa data.
Lumilitaw ang mga kahirapan sa enerhiya kapag sinusuri ang mga modelong ito dahil ang pagsasanay ay naglalagay ng isang strain sa mga power grid. Dahil nilalayon ng Meta na bumuo ng mas malalaking modelo sa hinaharap, ang paglutas sa mga paghihirap na ito ay mahalaga. Sa paglabas ng Llama 3.1 405B, gumawa ang Meta ng makabuluhang hakbang patungo sa diskarte nito sa AI, na naglalayong itulak ang mga hangganan ng generative AI at hamunin ang mga kakumpitensya.