Llama 3.1 405B, odprtokodni model AI s 405 milijardami parametrov, je največji model, ki Meta doslej izdanih. To ni največji model na splošno, je pa največji odprtokodni model, ki je bil nedavno na voljo. Z uporabo novih metodologij se lahko Llama 3.1 405B, usposobljena za 16.000 grafičnih procesorjev Nvidia H100, kosa z vrhunskimi lastniškimi modeli, kot sta Anthropicov Claude 3.5 Sonnet in OpenAI GPT-4o. Model je mogoče prenesti in uporabljati na platformah računalništva v oblaku, vključno z Google Cloud, AWS in Azure. Integriran je tudi v chatbote v Združenih državah z uporabo WhatsApp in Meta.ai.
Čeprav je omejen na dejavnosti, ki temeljijo na besedilu, lahko Llama 3.1 405B izvaja širok nabor nalog, vključno s kodiranjem in večjezičnim povzemanjem dokumentov (v angleščini, nemščini, francoščini, italijanščini, portugalščini, hindijščini, španščini in tajščini). Čeprav ti trenutno niso javno dostopni, Meta aktivno dela na multimodalnih modelih Llama za obdelavo fotografij, videoposnetkov in govora. Model je bil okrepljen s sintetičnimi podatki, ki so običajni, vendar sprožajo vprašanja o morebitni pristranskosti, nato pa je bil usposobljen na prečiščenem vzorcu 15 bilijonov žetonov.
Model lahko učinkovito obravnava daljše vnose in ohranja kontekst pogovora zahvaljujoč kontekstualnemu oknu s 128.000 žetoni. Llama 3.1 8B in Llama 3.1 70B sta manjša modela, ki lahko uporabljata tudi orodja in API-je tretjih oseb za povečanje svoje prilagodljivosti poleg tega, da imata to razširjeno kontekstno zmogljivost. Ti modeli lahko komunicirajo s tolmačem Python za preverjanje kode, Brave Search in Wolfram Alpha za matematična vprašanja.
Meta želi ustvariti razvijalski ekosistem okoli Llame, tako da postane steber generativne umetne inteligence. Z nekaterimi omejitvami pri uvajanju za večje razvijalce nova licenca razvijalcem dovoljuje uporabo rezultatov modela za razvoj generativnih modelov tretjih oseb. Za olajšanje natančnega prilagajanja, ustvarjanja sintetičnih podatkov in razvoja sofisticiranih aplikacij Meta izdaja tudi nova varnostna orodja in API Llama Stack.. )
Izvršni direktor Mark Zuckerberg daje močan poudarek demokratizaciji dostopa do umetne inteligence, medtem ko uvaja Metine tehnologije umetne inteligence kot industrijske norme. Prenesenih je bilo več kot 300 milijonov modelov Llama in izdelanih je bilo 20.000 različic modelov, kljub pravnim težavam in skrbem glede podatkovnih praks.
Težave z energijo se pojavijo pri skaliranju teh modelov, saj usposabljanje obremeni električna omrežja. Ker namerava Meta v prihodnosti izdelati še večje modele, bo reševanje teh težav nujno. Z izdajo Llama 3.1 405B je Meta naredila pomemben korak k svoji strategiji umetne inteligence, katere namen je premikati meje generativne umetne inteligence in izzivati tekmece.