Llama 3.1 405B, 'n oopbron KI-model met 405 miljard parameters, is die grootste model wat Meta het tot dusver vrygestel. Dit is nie die grootste model in die geheel nie, maar dit is die grootste oopbronmodel wat onlangs beskikbaar gestel is. Deur gebruik te maak van nuwe metodologieë, kan Llama 3.1 405B, opgelei op 16 000 Nvidia H100 GPU's, meeding met top-vlak eie modelle soos Anthropic se Claude 3.5 Sonnet en OpenAI se GPT-4o. Die model kan afgelaai en gebruik word op wolkrekenaarplatforms, insluitend Google Cloud, AWS en Azure. Dit is ook geïntegreer in chatbots in die Verenigde State deur WhatsApp en Meta.ai te gebruik.
Alhoewel dit beperk is tot teksgebaseerde aktiwiteite, kan Llama 3.1 405B 'n wye reeks take uitvoer, insluitend kodering en meertalige dokumentopsomming (in Engels, Duits, Frans, Italiaans, Portugees, Hindi, Spaans en Thai). Alhoewel dit tans nie publiek toeganklik is nie, werk Meta aktief aan multimodale Lama-modelle om foto's, video's en spraak te hanteer. Die model is versterk met sintetiese data, wat gewoonlik is, maar vrae laat ontstaan oor potensiële vooroordeel, en dan opgelei op 'n verfynde monster van 15 triljoen tokens.
Die model kan langer insette effektief hanteer en gesprekkonteks behou danksy sy 128 000 tokenkonteksvenster. Die Llama 3.1 8B en Llama 3.1 70B is kleiner modelle wat ook derdeparty-nutsgoed en API's kan gebruik om hul aanpasbaarheid te verhoog, benewens hierdie uitgebreide konteksvermoë. Hierdie modelle kan met 'n Python tolk kommunikeer vir kodekontrolering, Brave Search, en Wolfram Alpha vir wiskundige vrae.
Meta wil 'n ontwikkelaar-ekosisteem rondom Llama skep sodat dit 'n pilaar van generatiewe KI word. Met sekere beperkings op ontplooiing vir groter ontwikkelaars, laat die nuwe lisensie ontwikkelaars toe om modeluitsette te gebruik vir die ontwikkeling van derdeparty-generatiewe modelle. Meta stel ook nuwe veiligheidsnutsgoed en die Llama Stack API. vry om fynafstelling, die vervaardiging van sintetiese data en die ontwikkeling van gesofistikeerde toepassings te vergemaklik. )
Mark Zuckerberg, uitvoerende hoof, plaas 'n sterk klem op die demokratisering van toegang tot KI, terwyl Meta se KI-tegnologie as industrienorme gevestig word. Meer as 300 miljoen Llama-modelle is afgelaai, en 20 000 variante modelle is gemaak, ten spyte van regskwessies en kommer oor datapraktyke.
Energieprobleme ontstaan wanneer hierdie modelle skaal word, aangesien opleiding 'n druk op kragnetwerke plaas. Aangesien Meta van voorneme is om nog groter modelle in die toekoms te bou, sal dit noodsaaklik wees om hierdie probleme op te los. Met die vrystelling van Llama 3.1 405B het Meta 'n belangrike stap geneem in die rigting van sy KI-strategie, wat daarop gemik is om die grense van generatiewe KI te verskuif en mededingers uit te daag.