Llama 3.1 405B, un modello di intelligenza artificiale open source con 405 miliardi di parametri, è il modello più grande che Meta è stato rilasciato finora. Non è il modello più grande in assoluto, ma è il modello open source più grande reso disponibile di recente. Utilizzando nuove metodologie, Llama 3.1 405B, addestrato su 16.000 GPU Nvidia H100, può competere con modelli proprietari di alto livello come Claude 3.5 Sonnet di Anthropic e GPT-4o di OpenAI. Il modello può essere scaricato e utilizzato su piattaforme di cloud computing tra cui Google Cloud, AWS e Azure. È anche integrato nei chatbot negli Stati Uniti utilizzando WhatsApp e Meta.ai.
Sebbene sia limitato ad attività basate su testo, Llama 3.1 405B può eseguire un'ampia gamma di attività, tra cui la codifica e il riepilogo di documenti multilingue (in inglese, tedesco, francese, italiano, portoghese, hindi, spagnolo e tailandese). Sebbene questi non siano attualmente accessibili al pubblico, Meta sta lavorando attivamente su modelli multimodali di lama per gestire foto, video e parlato. Il modello è stato rafforzato con dati sintetici, cosa normale ma che solleva interrogativi su potenziali distorsioni, quindi addestrato su un campione raffinato di 15 trilioni di token.
Il modello può gestire efficacemente input più lunghi e mantenere il contesto della conversazione grazie alla sua finestra di contesto da 128.000 token. Llama 3.1 8B e Llama 3.1 70B sono modelli più piccoli che possono anche utilizzare strumenti e API di terze parti per aumentare la loro adattabilità oltre ad avere questa capacità di contesto estesa. Questi modelli possono comunicare con un interprete Python per il controllo del codice, Brave Search e Wolfram Alpha per domande matematiche.
Meta vuole creare un ecosistema di sviluppatori attorno a Llama in modo che diventi un pilastro dell'intelligenza artificiale generativa. Con alcune limitazioni sulla distribuzione per gli sviluppatori più grandi, la nuova licenza consente agli sviluppatori di utilizzare gli output del modello per sviluppare modelli generativi di terze parti. Per facilitare la messa a punto, la produzione di dati sintetici e lo sviluppo di applicazioni sofisticate, Meta sta anche rilasciando nuovi strumenti di sicurezza e Llama Stack API.
Il CEO Mark Zuckerberg pone una forte enfasi sulla democratizzazione dell’accesso all’intelligenza artificiale, stabilendo al tempo stesso le tecnologie AI di Meta come norme del settore. Sono stati scaricati oltre 300 milioni di modelli di Llama e sono state realizzate 20.000 varianti di modelli, nonostante le questioni legali e le preoccupazioni sulle pratiche relative ai dati.
Quando si ridimensionano questi modelli sorgono difficoltà energetiche poiché la formazione mette a dura prova le reti elettriche. Poiché Meta intende costruire in futuro modelli ancora più grandi, risolvere queste difficoltà sarà essenziale. Con il rilascio di Llama 3.1 405B, Meta ha compiuto un passo significativo verso la sua strategia di intelligenza artificiale, che mira a ampliare i confini dell'intelligenza artificiale generativa e sfidare la concorrenza.