Llama 3.1 405B, 405 milyard parametrli açıq mənbəli AI modeli Meta indiyə qədər buraxılmışdır. Bu, ümumilikdə ən böyük model deyil, lakin bu yaxınlarda mövcud olan ən böyük açıq mənbəli modeldir. Yeni metodologiyalardan istifadə etməklə, 16.000 Nvidia H100 GPU-da təlim keçmiş Llama 3.1 405B, Anthropic's Claude 3.5 Sonnet və OpenAI'nin GPT-4o kimi yüksək səviyyəli mülkiyyət modelləri ilə rəqabət apara bilər. Model Google Cloud, AWS və Azure daxil olmaqla bulud hesablama platformalarında endirilə və istifadə edilə bilər. O, həmçinin WhatsApp və Meta.ai-dən istifadə edərək ABŞ-da chatbotlara inteqrasiya olunub.
Mətn əsaslı fəaliyyətlərlə məhdudlaşdırılsa da, Llama 3.1 405B kodlaşdırma və çoxdilli sənədlərin ümumiləşdirilməsi (ingilis, alman, fransız, italyan, portuqal, hindi, ispan və tay dillərində) daxil olmaqla geniş tapşırıqları yerinə yetirə bilər. Hal-hazırda bunlar ictimaiyyət üçün əlçatan olmasa da, Meta fotoşəkilləri, videoları və nitqi idarə etmək üçün multimodal Llama modelləri üzərində fəal işləyir. Model adi olan, lakin potensial qərəzliliyə dair suallar doğuran sintetik məlumatlar ilə gücləndirildi, sonra 15 trilyon tokendən ibarət zərif nümunə üzərində təlim keçdi.
Model 128.000 token kontekst pəncərəsi sayəsində daha uzun girişləri effektiv şəkildə idarə edə və söhbət kontekstini saxlaya bilir. Llama 3.1 8B və Llama 3.1 70B daha kiçik modellərdir ki, onlar da bu genişləndirilmiş kontekst qabiliyyətinə malik olmaqla yanaşı, uyğunlaşma qabiliyyətini artırmaq üçün üçüncü tərəf alətləri və API-lərindən də istifadə edə bilirlər. Bu modellər kodu yoxlamaq üçün Python tərcüməçisi, Brave Search və riyazi suallar üçün Wolfram Alpha ilə əlaqə saxlaya bilər.
Meta, generativ AI-nin sütununa çevrilməsi üçün Llama ətrafında bir inkişaf etdirici ekosistemi yaratmaq istəyir. Daha böyük tərtibatçılar üçün yerləşdirmə ilə bağlı bəzi məhdudiyyətlərlə, yeni lisenziya tərtibatçılara üçüncü tərəfin generativ modellərini inkişaf etdirmək üçün model nəticələrindən istifadə etməyə icazə verir. İncə tənzimləməni, sintetik məlumatların istehsalını və mürəkkəb tətbiqləri inkişaf etdirməyi asanlaşdırmaq üçün Meta həmçinin yeni təhlükəsizlik alətləri və Llama Stack API. buraxır. )
Baş direktor Mark Zukerberq, Meta-nın AI texnologiyalarını sənaye normaları kimi qurarkən süni intellektə çıxışın demokratikləşdirilməsinə böyük diqqət yetirir. Hüquqi problemlərə və məlumat təcrübələri ilə bağlı narahatlıqlara baxmayaraq, 300 milyondan çox Llama modeli endirilib və 20.000 variant modeli hazırlanıb.
Bu modelləri miqyaslandırarkən enerji çətinlikləri yaranır, çünki təlim elektrik şəbəkələrinə gərginlik verir. Meta gələcəkdə daha böyük modellər qurmaq niyyətində olduğundan, bu çətinliklərin həlli vacib olacaq. Llama 3.1 405B-nin buraxılması ilə Meta generativ süni intellekt sərhədlərini aşmaq və rəqiblərə meydan oxumaq məqsədi daşıyan AI strategiyasına doğru əhəmiyyətli bir addım atdı.