Llama 3.1 405B, een open-source AI-model met 405 miljard parameters, is het grootste model dat Meta is tot nu toe uitgebracht. Het is niet het grootste model in het algemeen, maar het is wel het grootste open-sourcemodel dat onlangs beschikbaar is gekomen. Door gebruik te maken van nieuwe methodologieën kan Llama 3.1 405B, getraind op 16.000 Nvidia H100 GPU's, wedijveren met eigen topmodellen zoals Claude 3.5 Sonnet van Anthropic en GPT-4o van OpenAI. Het model kan worden gedownload en gebruikt op cloud computing-platforms, waaronder Google Cloud, AWS en Azure. Het is ook geïntegreerd in chatbots in de Verenigde Staten die WhatsApp en Meta.ai gebruiken.
Hoewel het beperkt is tot op tekst gebaseerde activiteiten, kan Llama 3.1 405B een breed scala aan taken uitvoeren, waaronder coderen en meertalige documentsamenvattingen (in het Engels, Duits, Frans, Italiaans, Portugees, Hindi, Spaans en Thais). Hoewel deze momenteel niet openbaar toegankelijk zijn, werkt Meta actief aan multimodale lamamodellen om foto's, video's en spraak te verwerken. Het model werd versterkt met synthetische gegevens, wat gebruikelijk is maar vragen oproept over mogelijke vooringenomenheid, en vervolgens getraind op een verfijnde steekproef van 15 biljoen tokens.
Het model kan langere invoer effectief verwerken en de gesprekscontext behouden dankzij het contextvenster van 128.000 tokens. De Llama 3.1 8B en Llama 3.1 70B zijn kleinere modellen die ook tools en API's van derden kunnen gebruiken om hun aanpassingsvermogen te vergroten, naast deze uitgebreide contextmogelijkheden. Deze modellen kunnen communiceren met een Python tolk voor codecontrole, Brave Search en Wolfram Alpha voor wiskundige vragen.
Meta wil een ontwikkelaarsecosysteem rond Llama creëren, zodat het een pijler wordt van generatieve AI. Met enkele beperkingen op de implementatie voor grotere ontwikkelaars, staat de nieuwe licentie ontwikkelaars toe modeluitvoer te gebruiken voor het ontwikkelen van generatieve modellen van derden. Om het afstemmen, het produceren van synthetische gegevens en het ontwikkelen van geavanceerde toepassingen mogelijk te maken, brengt Meta ook nieuwe veiligheidstools en de Llama Stack API. uit. )
CEO Mark Zuckerberg legt sterke nadruk op het democratiseren van de toegang tot AI, terwijl hij Meta's AI-technologieën als industrienormen vestigt. Er zijn ruim 300 miljoen Llama-modellen gedownload en er zijn 20.000 variantmodellen gemaakt, ondanks juridische problemen en zorgen over datapraktijken.
Er doen zich energieproblemen voor bij het opschalen van deze modellen, omdat training de elektriciteitsnetwerken onder druk zet. Omdat Meta van plan is in de toekomst nog grotere modellen te bouwen, zal het oplossen van deze problemen essentieel zijn. Met de release van Llama 3.1 405B heeft Meta een belangrijke stap gezet in de richting van zijn AI-strategie, die tot doel heeft de grenzen van generatieve AI te verleggen en concurrenten uit te dagen.