Llama 3.1 405B, 405 миллиард параметри бар ачык булактуу AI модели Meta ушул убакка чейин чыгарды. Бул жалпысынан эң чоң модель эмес, бирок жакында эле жеткиликтүү болгон эң чоң ачык булактуу модель. Жаңы методологияларды колдонуу менен, 16 000 Nvidia H100 GPUларында үйрөтүлгөн Llama 3.1 405B Anthropic's Claude 3.5 Sonnet жана OpenAI's GPT-4o сыяктуу жогорку деңгээлдеги проприетардык моделдерге атаандаша алат. Модель Google Cloud, AWS жана Azure сыяктуу булуттагы эсептөө платформаларында жүктөлүп алынып, колдонулушу мүмкүн. Ал ошондой эле WhatsApp жана Meta.ai аркылуу АКШдагы чатботторго интеграцияланган.
Ал текстке негизделген иш-аракеттер менен чектелсе да, Llama 3.1 405B тапшырмалардын кеңири спектрин, анын ичинде коддоо жана көп тилдүү документти жыйынтыктоо (англис, немис, француз, италия, португал, хинди, испан жана тай тилдеринде) аткара алат. Булар учурда жалпыга жеткиликтүү болбосо да, Мета сүрөттөрдү, видеолорду жана кептерди иштетүү үчүн мультимодалдык Llama моделдеринин үстүндө жигердүү иштеп жатат. Модель синтетикалык маалыматтар менен бекемделди, бул кадимки эле көрүнүш, бирок потенциалдуу бир тараптуулук жөнүндө суроолорду жаратат, андан кийин 15 триллион токендин такталган үлгүсүндө окутулду.
Модель 128 000 токендик контексттик терезенин аркасында узунураак киргизүүлөрдү эффективдүү иштетип, сүйлөшүү контекстин сактай алат. Llama 3.1 8B жана Llama 3.1 70B - бул кеңейтилген контекст жөндөмүнө ээ болуу менен бирге, алардын ыңгайлашуусун жогорулатуу үчүн үчүнчү тараптын куралдарын жана API'лерин да колдоно алган кичинекей моделдер. Бул моделдер кодду текшерүү үчүн Python котормочу, Brave Search жана математикалык суроолор үчүн Wolfram Alpha менен байланыша алат.
Мета Лламанын айланасында иштеп чыгуучу экосистемасын түзүүнү каалайт, ошондуктан ал генеративдик AIнын түркүгү болуп калат. Чоңураак иштеп чыгуучулар үчүн жайылтуу боюнча кээ бир чектөөлөр менен, жаңы лицензия иштеп чыгуучуларга үчүнчү тараптын генеративдик моделдерин иштеп чыгуу үчүн үлгү натыйжаларын колдонууга уруксат берет. Жакшылап тууралоону, синтетикалык маалыматтарды өндүрүүнү жана татаал тиркемелерди иштеп чыгууну жеңилдетүү үчүн Meta жаңы коопсуздук куралдарын жана Llama Stack API. чыгарат. )
CEO Марк Цукерберг Meta компаниясынын AI технологияларын тармактык нормалар катары белгилөө менен бирге AIга жеткиликтүүлүктү демократиялаштырууга катуу басым жасайт. 300 миллиондон ашык Llama моделдери жүктөлүп алынды жана 20 000 вариант моделдери юридикалык маселелерге жана маалымат практикасына байланыштуу тынчсызданууларга карабастан жасалды.
Бул моделдерди масштабдоодо энергетикалык кыйынчылыктар пайда болот, анткени машыгуу электр тармактарына оорчулук келтирет. Мета келечекте дагы чоңураак моделдерди курууга ниеттенгендиктен, бул кыйынчылыктарды чечүү зарыл. Llama 3.1 405B чыгарылышы менен, Meta генеративдик AIнын чегин кеңейтүүгө жана атаандаштарга каршы чыгууга багытталган AI стратегиясына карай олуттуу кадам жасады.