Llama 3.1 405B, բաց կոդով AI մոդել, որն ունի 405 միլիարդ պարամետր, ամենամեծ մոդելն է, որը Meta մինչ այժմ թողարկվել է: Դա ընդհանուր առմամբ ամենամեծ մոդելը չէ, բայց այն ամենամեծ բաց կոդով մոդելն է, որը վերջերս հասանելի է դարձել: Օգտագործելով նոր մեթոդոլոգիաներ, Llama 3.1 405B-ը, որը վերապատրաստվել է 16000 Nvidia H100 GPU-ների վրա, կարող է մրցակցել բարձրակարգ սեփական մոդելների հետ, ինչպիսիք են Anthropic-ի Claude 3.5 Sonnet-ը և OpenAI-ի GPT-4o-ն: Մոդելը կարող է ներբեռնվել և օգտագործվել ամպային հաշվողական հարթակներում, ներառյալ Google Cloud, AWS և Azure: Այն նաև ինտեգրված է ԱՄՆ-ի չաթ-բոտերին՝ օգտագործելով WhatsApp-ը և Meta.ai-ն:
Թեև այն սահմանափակված է տեքստի վրա հիմնված գործողություններով, Llama 3.1 405B-ը կարող է կատարել առաջադրանքների լայն շրջանակ, ներառյալ կոդավորումը և փաստաթղթերի բազմալեզու ամփոփումը (անգլերեն, գերմաներեն, ֆրանսերեն, իտալերեն, պորտուգալերեն, հինդի, իսպաներեն և թայերեն): Թեև դրանք ներկայումս հանրությանը հասանելի չեն, Meta-ն ակտիվորեն աշխատում է մուլտիմոդալ Llama մոդելների վրա՝ լուսանկարներ, տեսանյութեր և խոսք մշակելու համար: Մոդելը ամրապնդվել է սինթետիկ տվյալներով, որը սովորական է, բայց հարցեր է առաջացնում պոտենցիալ կողմնակալության վերաբերյալ, այնուհետև վերապատրաստվել է 15 տրիլիոն ժետոնների ճշգրտված նմուշի վրա:
Մոդելը կարող է արդյունավետ կերպով կառավարել ավելի երկար մուտքեր և պահպանել զրույցի համատեքստը իր 128,000 նշանների համատեքստային պատուհանի շնորհիվ: Llama 3.1 8B-ը և Llama 3.1 70B-ն ավելի փոքր մոդելներ են, որոնք կարող են նաև օգտագործել երրորդ կողմի գործիքներն ու API-ները՝ ավելացնելու իրենց հարմարվողականությունը՝ բացի այս ընդլայնված համատեքստի հնարավորությունից: Այս մոդելները կարող են հաղորդակցվել Python թարգմանչի հետ՝ կոդի ստուգման, Brave Search-ի և Wolfram Alpha-ի՝ մաթեմատիկական հարցերի համար:
Meta-ն ցանկանում է Լամայի շուրջ ստեղծել մշակողների էկոհամակարգ, որպեսզի այն դառնա գեներատիվ AI-ի հենասյուն: Ավելի մեծ ծրագրավորողների համար տեղակայման որոշ սահմանափակումներով՝ նոր լիցենզիան ծրագրավորողներին թույլ է տալիս օգտագործել մոդելային արդյունքներ երրորդ կողմի գեներատիվ մոդելներ մշակելու համար: Կարգավորումը հեշտացնելու, սինթետիկ տվյալներ արտադրելու և բարդ հավելվածներ զարգացնելու համար Meta-ն թողարկում է նաև անվտանգության նոր գործիքներ և Llama Stack API։
Գործադիր տնօրեն Մարկ Ցուկերբերգը մեծ շեշտ է դնում AI-ի հասանելիության ժողովրդավարացման վրա՝ միաժամանակ Meta-ի AI տեխնոլոգիաները որպես արդյունաբերության նորմեր սահմանելով: Ավելի քան 300 միլիոն Llama մոդելներ են ներբեռնվել, և 20,000 տարբերակային մոդելներ են պատրաստվել՝ չնայած իրավական խնդիրներին և տվյալների կիրառման հետ կապված մտահոգություններին:
Էներգետիկ դժվարություններ են առաջանում այս մոդելների չափման ժամանակ, քանի որ ուսուցումը ծանրաբեռնում է էլեկտրացանցերը: Քանի որ Meta-ն մտադիր է ապագայում էլ ավելի մեծ մոդելներ կառուցել, այդ դժվարությունների լուծումը էական կլինի: Llama 3.1 405B-ի թողարկմամբ Meta-ն զգալի քայլ է կատարել իր AI ռազմավարության ուղղությամբ, որի նպատակն է առաջ մղել գեներատիվ AI-ի սահմանները և մարտահրավեր նետել մրցակիցներին: