In het streven naar het repliceren van menselijke intelligentie concentreerde de focus van de wapenwedloop op het gebied van kunstmatige intelligentie zich aanvankelijk op het creëren van enorme modellen die waren getraind op uitgebreide datasets. Er heeft de laatste tijd echter een opmerkelijke verschuiving plaatsgevonden, waarbij technologiegiganten en startups hun aandacht steeds meer richten op meer gestroomlijnde en gespecialiseerde AI-software die goedkoper en sneller is.
Deze kleinere en middelgrote taalmodellen, die speciaal zijn ontworpen voor specifieke taken en zijn getraind met minder gegevens, zijn aanzienlijk populair geworden. In tegenstelling tot hun grotere tegenhangers kunnen ze worden ontwikkeld voor minder dan 10 miljoen dollar en maken ze gebruik van minder dan 10 miljard parameters. Ter vergelijking: OpenAI's GPT-4o, een van de grootste modellen, had meer dan $100 miljoen nodig om meer dan een biljoen parameters te construeren en te gebruiken. De kleinere omvang van deze modellen vertaalt zich in lagere rekenkrachtvereisten en lagere prijzen per zoekopdracht.
Microsoft heeft bijvoorbeeld de nadruk gelegd op zijn Phi-familie van kleine modellen. Satya Nadella, CEO van Microsoft, beweert dat deze modellen 1/100ste van de grootte zijn van het model achter OpenAI's ChatGPT, maar toch veel taken met vergelijkbare efficiëntie kunnen uitvoeren. Yusuf Mehdi, Chief Commercial Officer van Microsoft, onderstreept de behoefte aan verschillende modellen voor verschillende taken, daarbij verwijzend naar de hoger dan verwachte kosten die gepaard gaan met het runnen van grote modellen. Bovendien heeft Microsoft onlangs AI-laptops geïntroduceerd die gebruikmaken van talloze AI-modellen voor zoeken en het genereren van afbeeldingen. Deze modellen werken op het apparaat zelf zonder afhankelijk te zijn van uitgebreide cloudgebaseerde supercomputers, zoals het geval is bij ChatGPT.
Andere bedrijven zoals Google en AI-startups zoals Mistral, Anthropic en Cohere hebben ook kleinere modellen uitgebracht. Daarnaast heeft Apple plannen onthuld om kleine modellen te integreren om de snelheid en veiligheid van AI-operaties op telefoons te verbeteren.
OpenAI, bekend vanwege het pleiten voor grote modellen, heeft een meer betaalbare versie van zijn vlaggenschipmodel gelanceerd en is van plan zich in de toekomst te concentreren op de ontwikkeling van kleinere modellen. Grote modellen blijken buitensporig voor taken als het samenvatten van documenten of het genereren van afbeeldingen, vergelijkbaar met het gebruik van een tank voor eenvoudig boodschappen doen. Kleinere modellen kunnen daarentegen vergelijkbare prestaties bieden tegen aanzienlijk lagere kosten. Deze modellen zijn vaak op maat gemaakt voor specifieke taken, zoals het beheren van juridische documenten of interne communicatie. Yoav Shoham van AI21 Labs beweert dat kleine modellen economisch haalbaarder zijn voor wijdverbreid gebruik, en slechts een fractie kosten van wat grote modellen zouden kosten, terwijl ze antwoorden op vragen zouden bieden.
Bedrijven adopteren deze kleinere modellen graag om de efficiëntie te verbeteren en de kosten te verlagen. Experian is bijvoorbeeld overgestapt op kleinere modellen voor hun AI-chatbots en behaalde vergelijkbare prestaties als grotere modellen, maar tegen lagere kosten. Clara Shih van Salesforce benadrukt de bruikbaarheid van kleinere modellen, omdat modellen vaak tot buitensporige uitgaven en latentieproblemen leiden.
Sinds de release van GPT-4 door OpenAI zijn er geen significante vorderingen gemaakt in de ontwikkeling van grote modellen, wat heeft geleid tot een stagnatie van de voortgang. Bijgevolg zijn de inspanningen gericht op het verbeteren van de efficiëntie van kleinere modellen. Sébastien Bubeck van Microsoft constateert een huidige pauze in de grote ontwikkelingen en moedigt inspanningen aan om de efficiëntie te verbeteren.
Ondanks deze verschuiving hebben grote modellen nog steeds waarde voor geavanceerde taken. Bedrijven als Apple en Microsoft blijven grote modellen zoals als ChatGPT in hun producten, hoewel deze integraties doorgaans slechts een fractie van hun totale AI-initiatieven vertegenwoordigen. Deze vooruitgang betekent de transformatie van AI van futuristische demonstraties naar praktische reclamespots.