Llama 3.1 405B, en open source AI-model med 405 milliarder parametre, er den største model, som Meta har udgivet indtil videre. Det er ikke den største model generelt, men det er den største open source-model, der er blevet gjort tilgængelig for nylig. Ved at bruge nye metoder kan Llama 3.1 405B, trænet på 16.000 Nvidia H100 GPU'er, konkurrere med top-tier proprietære modeller som Anthropics Claude 3.5 Sonnet og OpenAI's GPT-4o. Modellen kan downloades og bruges på cloud computing-platforme, herunder Google Cloud, AWS og Azure. Det er også integreret i chatbots i USA ved hjælp af WhatsApp og Meta.ai.
Selvom det er begrænset til tekstbaserede aktiviteter, kan Llama 3.1 405B udføre en lang række opgaver, herunder kodning og flersproget dokumentopsummering (på engelsk, tysk, fransk, italiensk, portugisisk, hindi, spansk og thai). Selvom disse i øjeblikket ikke er offentligt tilgængelige, arbejder Meta aktivt på multimodale Llama-modeller til at håndtere fotos, videoer og tale. Modellen blev forstærket med syntetiske data, hvilket er sædvanligt, men rejser spørgsmål om potentiel bias, og derefter trænet på en raffineret prøve på 15 billioner tokens.
Modellen kan effektivt håndtere længere input og bevare samtalekontekst takket være dens 128.000 token-kontekstvindue. Llama 3.1 8B og Llama 3.1 70B er mindre modeller, der også kan bruge tredjepartsværktøjer og API'er til at øge deres tilpasningsevne ud over at have denne udvidede kontekstkapacitet. Disse modeller kan kommunikere med en Python fortolker til kodekontrol, Brave Search og Wolfram Alpha til matematiske spørgsmål.
Meta ønsker at skabe et udvikler-økosystem omkring Llama, så det bliver en søjle i generativ AI. Med nogle begrænsninger for implementering for større udviklere tillader den nye licens udviklere at bruge modeloutput til at udvikle generative tredjepartsmodeller. For at lette finjustering, produktion af syntetiske data og udvikling af sofistikerede applikationer, udgiver Meta også nye sikkerhedsværktøjer og Llama Stack API.
CEO Mark Zuckerberg lægger stor vægt på at demokratisere adgangen til AI, samtidig med at Metas AI-teknologier etableres som industrinormer. Over 300 millioner Llama-modeller er blevet downloadet, og 20.000 variantmodeller er blevet lavet på trods af juridiske problemer og bekymringer over datapraksis.
Energiproblemer opstår ved skalering af disse modeller, da træning belaster elnettene. Da Meta har til hensigt at bygge endnu større modeller i fremtiden, vil det være afgørende at løse disse problemer. Med udgivelsen af Llama 3.1 405B har Meta taget et væsentligt skridt i retning af sin AI-strategi, som har til formål at skubbe grænserne for generativ AI og udfordre konkurrenter.