En la recerca de replicar la intel·ligència humana, el focus de la carrera armamentística d'intel·ligència artificial es va centrar inicialment en la creació de models massius entrenats en conjunts de dades extensos. Tanmateix, hi ha hagut un canvi notable en els darrers temps, amb els gegants tecnològics i les startups dirigint cada cop més la seva atenció cap a un programari d'IA més racionalitzat i especialitzat, més barat i més ràpid.
Aquests models de llenguatge més petits i mitjans, especialment dissenyats per a tasques específiques i entrenats amb menys dades, han guanyat una popularitat important. A diferència dels seus homòlegs més grans, es poden desenvolupar per un cost inferior a 10 milions de dòlars i utilitzen menys de 10 mil milions de paràmetres. Per comparar, GPT-4o d'OpenAI, un dels models més grans, va requerir més de 100 milions de dòlars per construir i utilitzar més d'un bilió de paràmetres. La mida més petita d'aquests models es tradueix en requisits de potència computacional més baixos i preus reduïts per consulta.
Per exemple, Microsoft ha posat èmfasi en la seva família Phi de models petits. Satya Nadella, director general de Microsoft, afirma que aquests models són 1/100 de la mida del model que hi ha darrere del ChatGPT d'OpenAI, però poden gestionar moltes tasques amb una eficiència comparable. Yusuf Mehdi, director comercial de Microsoft, reforça la necessitat de models diferents per a diferents tasques, citant els costos més alts del previst associats amb l'execució de models grans. A més, Microsoft ha introduït recentment ordinadors portàtils d'IA que utilitzen nombrosos models d'IA per a la cerca i la generació d'imatges. Aquests models funcionen amb el propi dispositiu sense dependre d'extensos superordinadors basats en núvol, com és el cas de ChatGPT.
Altres corporacions com ara Google i startups d'IA com Mistral, Anthropic i Cohere també han llançat models més petits. A més, Apple ha presentat plans per integrar petits models per millorar la velocitat i la seguretat de les operacions d'IA als telèfons.
OpenAI, conegut per defensar models grans, ha llançat una versió més assequible del seu model insígnia i té la intenció de centrar-se en el desenvolupament de models més petits en el futur. Els models grans resulten excessius per a tasques com el resum de documents o la generació d'imatges, de manera similar a l'ús d'un dipòsit per a un simple viatge de compra de queviures. Els models més petits, d'altra banda, poden oferir un rendiment comparable a un cost significativament més baix. Aquests models sovint s'adapten a tasques específiques com la gestió de documents legals o comunicacions internes. Yoav Shoham, d'AI21 Labs, afirma que els models petits són econòmicament més viables per a un ús generalitzat, ja que només costen una fracció del que implicarien els models grans alhora que donen respostes a les preguntes.
Les empreses estan adoptant fàcilment aquests models més petits per millorar l'eficiència i reduir costos. Per exemple, Experian va passar a models més petits per als seus chatbots d'IA i va aconseguir un rendiment similar als models més grans, però amb una despesa reduïda. Clara Shih de Salesforce destaca la practicitat dels models més petits, ja que els models sovint comporten despeses excessives i problemes de latència.
Des del llançament de GPT-4 per part d'OpenAI, no hi ha hagut avenços significatius en el desenvolupament de grans models, cosa que ha provocat un estancament del progrés. En conseqüència, els esforços s'han reorientat cap a la millora de l'eficiència dels models més petits. Sébastien Bubeck de Microsoft observa una pausa actual en el desenvolupament de grans dimensions i anima els esforços per millorar l'eficiència.
Malgrat aquest canvi, els models grans encara tenen valor per a tasques avançades. Empreses com Apple i Microsoft continuen incorporant grans models com ara com ChatGPT als seus productes, tot i que aquestes integracions solen representar només una part de les seves iniciatives globals d'IA. Aquesta progressió significa la transformació de la IA de demostracions futuristes a anuncis pràctics.