Llama 3.1 405B, en åpen kildekode AI-modell med 405 milliarder parametere, er den største modellen som Meta har utgitt så langt. Det er ikke den største modellen totalt sett, men det er den største åpen kildekode-modellen som har blitt gjort tilgjengelig nylig. Ved å bruke nye metoder kan Llama 3.1 405B, trent på 16 000 Nvidia H100 GPUer, konkurrere med topp-lag proprietære modeller som Anthropics Claude 3.5 Sonnet og OpenAIs GPT-4o. Modellen kan lastes ned og brukes på cloud computing-plattformer inkludert Google Cloud, AWS og Azure. Den er også integrert i chatbots i USA ved hjelp av WhatsApp og Meta.ai.
Selv om det er begrenset til tekstbaserte aktiviteter, kan Llama 3.1 405B utføre et bredt spekter av oppgaver, inkludert koding og flerspråklig dokumentoppsummering (på engelsk, tysk, fransk, italiensk, portugisisk, hindi, spansk og thai). Selv om disse foreløpig ikke er offentlig tilgjengelige, jobber Meta aktivt med multimodale Llama-modeller for å håndtere bilder, videoer og tale. Modellen ble forsterket med syntetiske data, som er vanlig, men reiser spørsmål om potensiell skjevhet, og deretter trent på en raffinert prøve på 15 billioner tokens.
Modellen kan effektivt håndtere lengre inndata og beholde samtalekontekst takket være dets 128 000 token-kontekstvindu. Llama 3.1 8B og Llama 3.1 70B er mindre modeller som også kan bruke tredjepartsverktøy og API-er for å øke tilpasningsevnen i tillegg til å ha denne utvidede kontekstfunksjonen. Disse modellene kan kommunisere med en Python tolk for kodesjekking, Brave Search og Wolfram Alpha for matematiske spørsmål.
Meta ønsker å skape et utviklerøkosystem rundt Llama slik at det blir en pilar i generativ AI. Med noen begrensninger på distribusjon for større utviklere, tillater den nye lisensen utviklere å bruke modellutdata for å utvikle generative tredjepartsmodeller. For å lette finjustering, produsere syntetiske data og utvikle sofistikerte applikasjoner, lanserer Meta også nye sikkerhetsverktøy og Llama Stack API.
Administrerende direktør Mark Zuckerberg legger stor vekt på å demokratisere tilgangen til AI samtidig som Metas AI-teknologier etableres som bransjenormer. Over 300 millioner Llama-modeller er lastet ned, og 20 000 variantmodeller er laget, til tross for juridiske problemer og bekymringer over datapraksis.
Energivansker oppstår ved skalering av disse modellene siden trening belaster strømnettet. Siden Meta har til hensikt å bygge enda større modeller i fremtiden, vil det være avgjørende å løse disse vanskelighetene. Med utgivelsen av Llama 3.1 405B har Meta tatt et betydelig skritt mot sin AI-strategi, som tar sikte på å flytte grensene for generativ AI og utfordre konkurrenter.