Dans le but de reproduire l’intelligence humaine, la course aux armements en matière d’intelligence artificielle s’est initialement concentrée sur la création de modèles massifs entraînés sur de vastes ensembles de données. Cependant, il y a eu un changement notable ces derniers temps, les géants de la technologie et les startups orientant de plus en plus leur attention vers des logiciels d’IA plus rationalisés et spécialisés, moins chers et plus rapides.
Ces modèles de langage de petite et moyenne taille, particulièrement conçus pour des tâches spécifiques et entraînés avec moins de données, ont gagné en popularité. Contrairement à leurs homologues plus grands, ils peuvent être développés pour un coût inférieur à 10 millions de dollars et utiliser moins de 10 milliards de paramètres. À titre de comparaison, GPT-4o d'OpenAI, l'un des modèles les plus importants, a nécessité plus de 100 millions de dollars pour être construit et utilisé plus d'un billion de paramètres. La plus petite taille de ces modèles se traduit par des besoins en puissance de calcul inférieurs et des prix par requête réduits.
Par exemple, Microsoft a mis l'accent sur sa famille de petits modèles Phi. Satya Nadella, PDG de Microsoft, affirme que ces modèles font 1/100ème de la taille du modèle derrière ChatGPT d'OpenAI, mais qu'ils peuvent gérer de nombreuses tâches avec une efficacité comparable. Yusuf Mehdi, directeur commercial de Microsoft, renforce la nécessité de modèles distincts pour différentes tâches, citant les coûts plus élevés que prévu associés à l'exécution de grands modèles. De plus, Microsoft a récemment introduit des ordinateurs portables IA qui utilisent de nombreux modèles d'IA pour la recherche et la génération d'images. Ces modèles fonctionnent sur l'appareil lui-même sans recourir à de nombreux superordinateurs basés sur le cloud, comme c'est le cas avec ChatGPT.
D'autres sociétés telles que Google et des startups d'IA comme Mistral, Anthropic et Cohere ont également lancé des modèles plus petits. De plus, Apple a dévoilé son intention d'intégrer de petits modèles pour améliorer la vitesse et la sécurité des opérations d'IA sur les téléphones.
OpenAI, réputé pour prôner les grands modèles, a lancé une version plus abordable de son modèle phare et entend se concentrer à l'avenir sur le développement de modèles plus petits. Les grands modèles s'avèrent excessifs pour des tâches telles que la synthèse de documents ou la génération d'images, un peu comme l'utilisation d'un réservoir pour une simple course à l'épicerie. En revanche, les modèles plus petits peuvent offrir des performances comparables à un coût nettement inférieur. Ces modèles sont souvent adaptés à des tâches spécifiques telles que la gestion de documents juridiques ou les communications internes. Yoav Shoham d'AI21 Labs affirme que les petits modèles sont plus économiquement réalisables pour une utilisation généralisée, ne coûtant qu'une fraction de ce qu'impliqueraient les grands modèles tout en fournissant des réponses aux questions.
Les entreprises adoptent volontiers ces modèles plus petits pour améliorer leur efficacité et réduire leurs coûts. Par exemple, Experian est passé à des modèles plus petits pour ses chatbots IA et a obtenu des performances similaires à celles de modèles plus grands, mais à un coût réduit. Clara Shih de Salesforce souligne le caractère pratique des modèles plus petits, car les modèles entraînent souvent des dépenses excessives et des problèmes de latence.
Depuis la sortie de GPT-4 par OpenAI, il n'y a eu aucune avancée significative dans le développement de grands modèles, ce qui a entraîné une stagnation des progrès. Par conséquent, les efforts ont été réorientés vers l’amélioration de l’efficacité des modèles plus petits. Sébastien Bubeck de Microsoft constate une pause actuelle dans le développement à grande échelle et encourage les efforts visant à améliorer l'efficacité.
Malgré ce changement, les grands modèles conservent leur valeur pour les tâches avancées. Des entreprises comme Apple et Microsoft continuent d'incorporer de grands modèles tels que comme ChatGPT dans leurs produits, bien que ces intégrations ne représentent généralement qu'une fraction de leurs initiatives globales en matière d'IA. Cette progression signifie la transformation de l’IA de démonstrations futuristes en publicités pratiques.