17 septembre 2024
Meta, comme de nombreuses autres grandes entreprises technologiques, a développé son propre modèle d'IA générative connu sous le nom de Llama. Ce qui distingue Llama, c'est sa nature ouverte, permettant aux développeurs de le télécharger et de l'utiliser avec une liberté considérable, même s'il y a certaines conditions à garder à l'esprit. Cette approche contraste avec des modèles comme Claude d'Anthropic, GPT-4o d'OpenAI (le moteur derrière ChatGPT) et Gemini de Google, qui sont disponibles uniquement via des API.
Pour offrir aux développeurs plus de flexibilité, Meta s'est associé à des fournisseurs de services cloud tels qu'AWS, Google Cloud et Microsoft Azure pour proposer des versions hébergées dans le cloud de Llama. De plus, Meta a créé des outils qui simplifient le processus permettant aux développeurs d'affiner et d'adapter le modèle pour répondre à leurs besoins spécifiques.
Vous trouverez ci-dessous une description détaillée de Llama, y compris ce qu'il peut faire, les différentes versions qu'il propose et comment vous pouvez l'utiliser efficacement.
Qu'est-ce que le lama ?
Le lama n'est pas qu'un simple modèle ; il englobe une gamme de modèles, tels que :
-
Lama 8B
-
Lama 70B
-
Lama 405B
Les versions les plus récentes (Llama 3.1 8B, Llama 3.1 70B et Llama 3.1 405B) ont été publiées en juillet 2024. Ces modèles sont formés sur un large éventail de sources de données, telles que des pages Web dans différentes langues, du code public, des fichiers disponibles en ligne., et les données synthétiques produites par d’autres systèmes d’IA.
Les Llama 3.1 8B et 70B sont des modèles compacts capables d'exécuter une variété d'appareils, des ordinateurs portables aux serveurs. Le Llama 3.1 405B, en revanche, est un modèle à grande échelle qui nécessite généralement du matériel de centre de données. Même si les modèles plus petits ne sont peut-être pas aussi puissants que le 405B, ils offrent des performances plus rapides et sont optimisés pour réduire le stockage et la latence.
Tous les modèles Llama disposent d'une fenêtre contextuelle de 128 000 jetons, leur permettant de gérer environ 100 000 mots (ou 300 pages de texte). C'est à peu près la longueur de livres comme Wuthering Heights ou Harry Potter et le Prisonnier d'Azkaban. Une longue fenêtre contextuelle aide le modèle à conserver les informations des documents et données récents, réduisant ainsi le risque de s'éloigner du sujet.
Que peut faire le lama ?
Comme d'autres modèles d'IA générative, Llama peut aider dans diverses tâches, telles que le codage, la réponse à des questions mathématiques simples et la synthèse de documents en huit langues : anglais, allemand, français, italien, portugais, hindi, espagnol et thaï. Il peut gérer la plupart des tâches basées sur du texte, telles que l’analyse de fichiers tels que des PDF et des feuilles de calcul, mais il n’a actuellement pas la capacité de générer ou de traiter des images – ce qui pourrait changer à l’avenir.
Les modèles de lama peuvent s'intégrer à des applications, des outils et des API tiers pour effectuer diverses tâches. Ils sont configurés pour utiliser Brave Search pour répondre aux questions sur l'actualité, l'API Wolfram Alpha pour les requêtes mathématiques et scientifiques et un interpréteur Python pour la validation du code. Selon Meta, Llama 3.1 peut même utiliser certains outils sur lesquels il n'a pas été explicitement formé, bien que la fiabilité de cette fonctionnalité soit encore incertaine.
Où pouvez-vous utiliser Lama ?
Si vous souhaitez vous connecter directement avec Llama, l'expérience du chatbot Meta AI est prise en charge sur des plateformes telles que Facebook Messenger, WhatsApp, Instagram, Oculus et Meta.ai.
Pour les développeurs, Llama est disponible en téléchargement et peut être adapté à plusieurs plates-formes cloud populaires. Meta s'est associé à plus de 25 entreprises pour héberger Llama, notamment Nvidia, Databricks, Groq, Dell et Snowflake. Beaucoup de ces partenaires fournissent des outils supplémentaires qui permettent à Llama d'accéder à des données propriétaires ou de fonctionner plus efficacement.
Meta suggère d'utiliser les modèles Llama plus petits, en particulier les 8B et 70B, à des fins générales telles que l'exécution de chatbots ou la création de code. D'un autre côté, le Llama 405B, plus grand, est plus approprié pour des tâches telles que la distillation de modèles, qui impliquent le transfert de connaissances d'un modèle plus grand vers un modèle plus petit, ainsi que la génération de données synthétiques pour entraîner d'autres modèles.
Les développeurs exploitant des applications comptant plus de 700 millions d'utilisateurs mensuels doivent acquérir une licence spéciale auprès de Meta pour accéder à Llama, et celle-ci sera accordée à la discrétion de Meta.
Quels outils Meta propose-t-il pour Llama ?
Meta a introduit plusieurs outils pour améliorer la sécurité de Llama :
-
Llama Guard : un cadre de modération qui identifie les contenus problématiques tels que les discours de haine, l'automutilation et la violation des droits d'auteur.
-
Prompt Guard : Un outil spécialement conçu pour protéger Llama des messages nuisibles qui cherchent à contourner ses mesures de sécurité.
-
CyberSecEval : Une suite d'évaluation des risques de cybersécurité qui évalue la sécurité des modèles, en se concentrant sur les menaces telles que l'ingénierie sociale automatisée et les cyberactivités offensives.
Par exemple, Llama Guard peut détecter le contenu nuisible ou illégal entré ou généré dans Llama, permettant aux développeurs de personnaliser les catégories bloquées. Prompt Guard se concentre sur la défense contre les « attaques par injection de messages » qui tentent de manipuler le modèle. CyberSecEval propose des références pour évaluer les risques de sécurité associés aux modèles Llama.
Les limites du lama
Le lama, comme les autres modèles d’IA générative, a ses limites et ses risques potentiels. L'une des principales préoccupations est de savoir si Meta a utilisé du matériel protégé par le droit d'auteur pour former Llama. Si tel est le cas, les utilisateurs pourraient être tenus responsables de tout contenu protégé par le droit d'auteur généré par le modèle.
Des rapports récents indiquent que Meta utilise des livres électroniques protégés par le droit d'auteur pour la formation en IA, malgré des avertissements juridiques. La société intègre également du contenu d'Instagram et de Facebook dans sa formation de modèles, ce qui rend difficile la désinscription des utilisateurs. Meta fait face à plusieurs poursuites, dont une de la part d'auteurs tels que Sarah Silverman, qui affirment que la société a utilisé du matériel protégé par le droit d'auteur sans autorisation.
Une considération importante est la programmation, car Llama pourrait produire du code bogué ou dangereux. Il est essentiel que les développeurs demandent à un expert humain d’examiner tout code généré par l’IA avant de l’implémenter dans leurs applications.
Bien que le modèle Llama de Meta offre une flexibilité et des opportunités considérables aux développeurs, il est important de reconnaître les risques potentiels et les limites qui l'accompagnent.
–
Proposé par Code Labs Academy – Votre leader Online Coding Bootcamp pour les futurs innovateurs technologiques.