Llama 3.1 405B, atvērtā pirmkoda AI modelis ar 405 miljardiem parametru, ir lielākais modelis, ko Meta līdz šim ir izlaista. Tas nav lielākais modelis kopumā, taču tas ir lielākais atvērtā pirmkoda modelis, kas nesen ir bijis pieejams. Izmantojot jaunas metodoloģijas, Llama 3.1 405B, kas apmācīts uz 16 000 Nvidia H100 GPU, var konkurēt ar augstākā līmeņa patentētiem modeļiem, piemēram, Anthropic Claude 3.5 Sonnet un OpenAI GPT-4o. Modeli var lejupielādēt un izmantot mākoņdatošanas platformās, tostarp Google Cloud, AWS un Azure. Tas ir integrēts arī tērzēšanas robotos Amerikas Savienotajās Valstīs, izmantojot WhatsApp un Meta.ai.
Lai gan tas attiecas tikai uz tekstu balstītām darbībām, Llama 3.1 405B var veikt plašu uzdevumu klāstu, tostarp kodēšanu un daudzvalodu dokumentu apkopošanu (angļu, vācu, franču, itāļu, portugāļu, hindi, spāņu un taju valodā). Lai gan tie pašlaik nav publiski pieejami, Meta aktīvi strādā pie multimodāliem Llama modeļiem, lai apstrādātu fotoattēlus, videoklipus un runu. Modelis tika pastiprināts ar sintētiskiem datiem, kas ir ierasts, bet rada jautājumus par iespējamo novirzi, un pēc tam tika apmācīts, izmantojot precizētu 15 triljonu marķieru paraugu.
Modelis var efektīvi apstrādāt ilgāku ievadi un saglabāt sarunas kontekstu, pateicoties tā 128 000 marķieru konteksta logam. Llama 3.1 8B un Llama 3.1 70B ir mazāki modeļi, kas var izmantot arī trešo pušu rīkus un API, lai palielinātu to pielāgošanās spēju papildus šai paplašinātajai konteksta iespējai. Šie modeļi var sazināties ar Python tulku koda pārbaudei, Brave Search un Wolfram Alpha matemātikas jautājumiem.
Meta vēlas izveidot izstrādātāju ekosistēmu ap Lamu, lai tā kļūtu par ģeneratīvā AI pīlāru. Ar dažiem ierobežojumiem izvietošanai lielākiem izstrādātājiem, jaunā licence ļauj izstrādātājiem izmantot modeļu izvadus, lai izstrādātu trešās puses ģeneratīvos modeļus. Lai atvieglotu precizēšanu, sintētisko datu ražošanu un sarežģītu lietojumprogrammu izstrādi, Meta izdod arī jaunus drošības rīkus un Llama Stack API.
Izpilddirektors Marks Cukerbergs lielu uzsvaru liek uz piekļuves AI demokratizāciju, vienlaikus nosakot Meta AI tehnoloģijas kā nozares normas. Ir lejupielādēti vairāk nekā 300 miljoni lamu modeļu un ir izveidoti 20 000 variantu modeļi, neskatoties uz juridiskām problēmām un bažām par datu izmantošanu.
Mērogojot šos modeļus, rodas enerģijas grūtības, jo apmācība rada slodzi elektrotīkliem. Tā kā Meta nākotnē plāno veidot vēl lielākus modeļus, šo grūtību atrisināšana būs būtiska. Izlaižot Llama 3.1 405B, Meta ir spērusi nozīmīgu soli ceļā uz savu AI stratēģiju, kuras mērķis ir paplašināt ģeneratīvā AI robežas un izaicināt konkurentus.