Llama 3.1 405B, ein Open-Source-KI-Modell mit 405 Milliarden Parametern, ist das größte Modell, das Meta wurde bisher veröffentlicht. Es ist nicht das größte Modell insgesamt, aber es ist das größte Open-Source-Modell, das kürzlich verfügbar gemacht wurde. Mithilfe neuer Methoden kann Llama 3.1 405B, das auf 16.000 Nvidia H100-GPUs trainiert wurde, mit erstklassigen proprietären Modellen wie Claude 3.5 Sonnet von Anthropic und GPT-4o von OpenAI mithalten. Das Modell kann heruntergeladen und auf Cloud-Computing-Plattformen wie Google Cloud, AWS und Azure verwendet werden. Es ist auch in Chatbots in den USA integriert, die WhatsApp und Meta.ai nutzen.
Obwohl es auf textbasierte Aktivitäten beschränkt ist, kann Llama 3.1 405B eine breite Palette von Aufgaben ausführen, einschließlich Codierung und Zusammenfassung mehrsprachiger Dokumente (in Englisch, Deutsch, Französisch, Italienisch, Portugiesisch, Hindi, Spanisch und Thailändisch). Obwohl diese derzeit nicht öffentlich zugänglich sind, arbeitet Meta aktiv an multimodalen Lama-Modellen für den Umgang mit Fotos, Videos und Sprache. Das Modell wurde mit synthetischen Daten verstärkt, was zwar üblich ist, aber Fragen zu möglichen Verzerrungen aufwirft, und dann an einer verfeinerten Stichprobe von 15 Billionen Token trainiert.
Dank seines Kontextfensters mit 128.000 Token kann das Modell längere Eingaben effektiv verarbeiten und den Konversationskontext beibehalten. Bei Llama 3.1 8B und Llama 3.1 70B handelt es sich um kleinere Modelle, die zusätzlich zu dieser erweiterten Kontextfähigkeit auch Tools und APIs von Drittanbietern nutzen können, um ihre Anpassungsfähigkeit zu erhöhen. Diese Modelle können mit einem Python-Interpreter zur Codeprüfung, Brave Search und Wolfram Alpha für mathematische Fragen kommunizieren.
Meta möchte ein Entwickler-Ökosystem rund um Llama schaffen, damit es zu einer Säule der generativen KI wird. Mit einigen Einschränkungen bei der Bereitstellung für größere Entwickler erlaubt die neue Lizenz Entwicklern, Modellausgaben für die Entwicklung generativer Modelle von Drittanbietern zu verwenden. Um die Feinabstimmung, die Erzeugung synthetischer Daten und die Entwicklung anspruchsvoller Anwendungen zu erleichtern, veröffentlicht Meta außerdem neue Sicherheitstools und die Llama Stack API.
CEO Mark Zuckerberg legt großen Wert darauf, den Zugang zu KI zu demokratisieren und gleichzeitig die KI-Technologien von Meta als Industrienormen zu etablieren. Über 300 Millionen Llama-Modelle wurden heruntergeladen und 20.000 Variantenmodelle erstellt, trotz rechtlicher Probleme und Bedenken hinsichtlich der Datenpraktiken.
Bei der Skalierung dieser Modelle treten Energieschwierigkeiten auf, da das Training die Stromnetze belastet. Da Meta in Zukunft noch größere Modelle bauen will, wird die Lösung dieser Schwierigkeiten von entscheidender Bedeutung sein. Mit der Veröffentlichung von Llama 3.1 405B hat Meta einen bedeutenden Schritt in Richtung seiner KI-Strategie gemacht, die darauf abzielt, die Grenzen der generativen KI zu verschieben und die Konkurrenz herauszufordern.