405 milyar parametreye sahip açık kaynaklı bir yapay zeka modeli olan Llama 3.1 405B, Metaşu ana kadar yayınlandı. Genel olarak en büyük model olmasa da yakın zamanda kullanıma sunulan en büyük açık kaynaklı modeldir. Yeni metodolojiler kullanan, 16.000 Nvidia H100 GPU ile eğitilmiş Llama 3.1 405B, Anthropic'in Claude 3.5 Sonnet'i ve OpenAI'nin GPT-4o'su gibi üst düzey tescilli modellerle rekabet edebilir. Model, Google Cloud, AWS ve Azure dahil olmak üzere bulut bilişim platformlarına indirilebilir ve kullanılabilir. Ayrıca WhatsApp ve Meta.ai kullanılarak Amerika Birleşik Devletleri'ndeki sohbet robotlarına da entegre edilmiştir.
Metin tabanlı etkinliklerle sınırlı olmasına rağmen, Llama 3.1 405B, kodlama ve çok dilli belge özetleme (İngilizce, Almanca, Fransızca, İtalyanca, Portekizce, Hintçe, İspanyolca ve Tayca) dahil olmak üzere çok çeşitli görevleri gerçekleştirebilir. Bunlar şu anda kamuya açık olmasa da Meta, fotoğraf, video ve konuşmayı yönetmek için çok modlu Lama modelleri üzerinde aktif olarak çalışıyor. Model, alışılagelmiş olan ancak potansiyel önyargı hakkında soru işaretleri uyandıran sentetik verilerle güçlendirildi ve ardından 15 trilyon tokenden oluşan rafine edilmiş bir örnek üzerinde eğitildi.
Model, 128.000 jeton bağlam penceresi sayesinde daha uzun girişleri etkili bir şekilde yönetebilir ve konuşma bağlamını koruyabilir. Llama 3.1 8B ve Llama 3.1 70B, bu genişletilmiş bağlam yeteneğine sahip olmanın yanı sıra uyarlanabilirliklerini artırmak için üçüncü taraf araçları ve API'leri de kullanabilen daha küçük modellerdir. Bu modeller, kod kontrolü için bir Python yorumlayıcısıyla, matematik soruları için Brave Search ve Wolfram Alpha ile iletişim kurabilir.
Meta, Llama'nın üretken yapay zekanın temel direği haline gelmesi için etrafında bir geliştirici ekosistemi oluşturmak istiyor. Daha büyük geliştiriciler için dağıtım konusunda bazı kısıtlamalar olmakla birlikte, yeni lisans, geliştiricilerin üçüncü taraf üretken modeller geliştirmek için model çıktılarını kullanmalarına izin veriyor. İnce ayarı kolaylaştırmak, sentetik veriler üretmek ve karmaşık uygulamalar geliştirmek için Meta ayrıca yeni güvenlik araçlarını ve Llama Stack API'sini yayınlıyor. )
CEO Mark Zuckerberg, Meta'nın yapay zeka teknolojilerini endüstri normları olarak belirlerken yapay zekaya erişimi demokratikleştirmeye güçlü bir vurgu yapıyor. Yasal sorunlara ve veri uygulamalarına ilişkin endişelere rağmen 300 milyondan fazla Lama modeli indirildi ve 20.000'den fazla varyant model üretildi.
Eğitim, elektrik şebekelerini zorladığından, bu modelleri ölçeklendirirken enerji zorlukları ortaya çıkıyor. Meta gelecekte daha da büyük modeller oluşturmayı planladığı için bu zorlukların çözülmesi hayati önem taşıyacak. Llama 3.1 405B'nin piyasaya sürülmesiyle Meta, üretken yapay zekanın sınırlarını zorlamayı ve rakiplere meydan okumayı amaçlayan yapay zeka stratejisine doğru önemli bir adım attı.