Llama 3.1 405B, 405.000 milioi parametro dituen kode irekiko AI eredua, Meta kaleratu da orain arte. Ez da eredurik handiena, baina azkenaldian eskuragarri egon den kode irekiko eredurik handiena da. Metodologia berriak erabiliz, Llama 3.1 405B, 16.000 Nvidia H100 GPUtan trebatua, maila goreneko jabedun modeloekin lehiatu daiteke Anthropic-en Claude 3.5 Sonnet eta OpenAI-ren GPT-4o bezalakoekin. Eredua deskargatu eta erabil daiteke hodeiko informatika plataformetan Google Cloud, AWS eta Azure barne. Estatu Batuetako chatbot-etan ere integratuta dago WhatsApp eta Meta.ai erabiliz.
Testuan oinarritutako jardueretara mugatuta dagoen arren, Llama 3.1 405B-k hainbat zeregin exekutatu ditzake, besteak beste, kodeketa eta dokumentu eleaniztunak laburtzea (ingelesez, alemanez, frantsesez, italieraz, portugesez, hindiz, gaztelaniaz eta thailandieraz). Gaur egun horiek publikoki eskuragarri ez dauden arren, Meta aktiboki lan egiten ari da Llama eredu multimodaletan argazkiak, bideoak eta hizkera kudeatzeko. Eredua datu sintetikoekin indartu zen, ohikoa dena baina alborapen potentzialari buruzko zalantzak sortzen dituena, eta gero 15 bilioi token lagin findu batean trebatu zen.
Ereduak sarrera luzeagoak kudeatu ditzake eta elkarrizketaren testuingurua mantendu dezake bere 128.000 token testuinguruko leihoari esker. Llama 3.1 8B eta Llama 3.1 70B eredu txikiagoak dira, hirugarrenen tresnak eta APIak ere erabil ditzaketen moldagarritasuna areagotzeko testuinguruaren gaitasun hedatua izateaz gain. Eredu hauek Python interprete batekin komunika daitezke kodea egiaztatzeko, Brave Search eta Wolfram Alpha galdera matematikoetarako.
Metak Llamaren inguruan garatzaileen ekosistema bat sortu nahi du, AI sortzailearen zutabe bihur dadin. Garatzaile handienentzako hedapenerako muga batzuekin, lizentzia berriak garatzaileei eredu-irteerak erabiltzeko aukera ematen die hirugarrenen sorkuntza-ereduak garatzeko. Sintonizazioa errazteko, datu sintetikoak ekoizteko eta aplikazio sofistikatuak garatzeko, Meta segurtasun-tresna berriak eta Llama Stack API-a ere kaleratzen ari da. )
Mark Zuckerberg zuzendari nagusiak AIrako sarbidea demokratizatzeari garrantzi handia ematen dio Meta-ren AI teknologiak industria-arau gisa ezartzen dituen bitartean. 300 milioi Llama eredu baino gehiago deskargatu dira, eta 20.000 aldaera eredu egin dira, datuen praktiken inguruko lege arazoak eta kezkak izan arren.
Energia-zailtasunak sortzen dira eredu hauek eskalatzean, prestakuntzak sare elektrikoetan tentsioa jartzen baitu. Metak etorkizunean are eredu handiagoak eraikitzeko asmoa duenez, ezinbestekoa izango da zailtasun horiek konpontzea. Llama 3.1 405B kaleratuta, Meta-k urrats esanguratsua eman du bere AI estrategian, AI sortzailearen mugak gainditzea eta lehiakideei erronka egitea helburu duena.