Llama 3.1 405B, model umelej inteligencie s otvoreným zdrojom so 405 miliardami parametrov, je najväčším modelom, ktorý Meta zatiaľ vyšlo. Nie je to celkovo najväčší model, ale je to najväčší open-source model, ktorý bol nedávno sprístupnený. S využitím nových metodológií môže Llama 3.1 405B, trénovaná na 16 000 GPU Nvidia H100, konkurovať špičkovým proprietárnym modelom, ako sú Claude 3.5 Sonnet od Anthropic a GPT-4o od OpenAI. Model je možné stiahnuť a použiť na platformách cloud computingu vrátane Google Cloud, AWS a Azure. Je tiež integrovaný do chatbotov v Spojených štátoch pomocou WhatsApp a Meta.ai.
Hoci je Llama 3.1 405B obmedzená na textové aktivity, dokáže vykonávať širokú škálu úloh vrátane kódovania a viacjazyčného sumarizácie dokumentov (v angličtine, nemčine, francúzštine, taliančine, portugalčine, hindčine, španielčine a thajčine). Zatiaľ čo tieto nie sú v súčasnosti verejne prístupné, Meta aktívne pracuje na multimodálnych modeloch Llama na spracovanie fotografií, videí a reči. Model bol posilnený syntetickými údajmi, ktoré sú bežné, ale vyvolávajú otázky o potenciálnom skreslení, a následne trénovaný na rafinovanej vzorke 15 biliónov tokenov.
Model dokáže efektívne spracovať dlhšie vstupy a udržiavať kontext konverzácie vďaka kontextovému oknu so 128 000 tokenmi. Llama 3.1 8B a Llama 3.1 70B sú menšie modely, ktoré okrem tejto rozšírenej možnosti kontextu môžu využívať aj nástroje a rozhrania API tretích strán na zvýšenie ich prispôsobivosti. Tieto modely môžu komunikovať s tlmočníkom Python na kontrolu kódu, Brave Search a Wolfram Alpha pre matematické otázky.
Meta chce okolo Llamy vytvoriť vývojársky ekosystém, aby sa stala pilierom generatívnej AI. S určitými obmedzeniami nasadenia pre väčších vývojárov nová licencia umožňuje vývojárom používať výstupy modelov na vývoj generatívnych modelov tretích strán. Aby sa uľahčilo dolaďovanie, vytváranie syntetických údajov a vývoj sofistikovaných aplikácií, Meta tiež vydáva nové bezpečnostné nástroje a Llama Stack API.
Generálny riaditeľ Mark Zuckerberg kladie veľký dôraz na demokratizáciu prístupu k AI a zároveň zavádza technológie AI spoločnosti Meta ako priemyselné normy. Bolo stiahnutých viac ako 300 miliónov modelov Llama a bolo vyrobených 20 000 variantných modelov, a to aj napriek právnym problémom a obavám z praktík údajov.
Energetické ťažkosti vznikajú pri škálovaní týchto modelov, pretože tréning zaťažuje energetické siete. Keďže Meta má v úmysle v budúcnosti stavať ešte väčšie modely, vyriešenie týchto ťažkostí bude nevyhnutné. S vydaním Llama 3.1 405B urobila Meta významný krok smerom k svojej stratégii AI, ktorej cieľom je posúvať hranice generatívnej AI a vyzývať konkurentov.