I jagten på at replikere menneskelig intelligens fokuserede våbenkapløbet med kunstig intelligens i begyndelsen omkring skabelsen af massive modeller trænet på omfattende datasæt. Der er dog sket et bemærkelsesværdigt skift i den seneste tid, hvor teknologigiganter og startups i stigende grad retter deres opmærksomhed mod mere strømlinet og specialiseret AI-software, der er billigere og hurtigere.
Disse mindre og mellemstore sprogmodeller, specielt designet til specifikke opgaver og trænet med mindre data, har vundet betydelig popularitet. I modsætning til deres større modstykker kan de udvikles til en pris på under 10 millioner dollars og bruge færre end 10 milliarder parametre. Til sammenligning krævede OpenAI's GPT-4o, en af de største modeller, over $100 millioner for at konstruere og brugte mere end én billion parametre. Den mindre størrelse af disse modeller betyder lavere krav til beregningskraft og reducerede priser pr. forespørgsel.
For eksempel har Microsoft lagt vægt på sin Phi-familie af små modeller. Satya Nadella, CEO for Microsoft, hævder, at disse modeller er 1/100 af størrelsen af modellen bag OpenAIs ChatGPT, men alligevel kan de håndtere mange opgaver med sammenlignelig effektivitet. Yusuf Mehdi, Microsofts Chief Commercial Officer, understreger behovet for adskilte modeller til forskellige opgaver med henvisning til de højere end forventet omkostninger forbundet med at køre store modeller. Desuden har Microsoft for nylig introduceret AI-bærbare computere, der bruger adskillige AI-modeller til søgning og billedgenerering. Disse modeller fungerer på selve enheden uden at være afhængig af omfattende cloud-baserede supercomputere, som det er tilfældet med ChatGPT.
Andre virksomheder som Google og AI-startups som Mistral, Anthropic og Cohere har også udgivet mindre modeller. Derudover har Apple afsløret planer om at integrere små modeller for at forbedre hastigheden og sikkerheden af AI-operationer på telefoner.
OpenAI, der er kendt for at gå ind for store modeller, har lanceret en mere overkommelig version af sin flagskibsmodel og har til hensigt at fokusere på at udvikle mindre modeller i fremtiden. Store modeller viser sig at være overdrevne til opgaver som dokumentopsummering eller billedgenerering, svarende til at bruge en tank til en simpel indkøbstur. Mindre modeller kan på den anden side tilbyde sammenlignelig ydeevne til en markant lavere pris. Disse modeller er ofte skræddersyet til specifikke opgaver som håndtering af juridiske dokumenter eller intern kommunikation. Yoav Shoham fra AI21 Labs hævder, at små modeller er mere økonomisk gennemførlige til udbredt brug, og de koster kun en brøkdel af, hvad store modeller ville medføre, mens de giver svar på spørgsmål.
Virksomheder bruger let disse mindre modeller for at øge effektiviteten og reducere omkostningerne. For eksempel gik Experian over til mindre modeller til deres AI-chatbots og opnåede lignende ydeevne som større modeller, men til en reduceret udgift. Salesforces Clara Shih fremhæver det praktiske ved mindre modeller, da modeller ofte fører til for store udgifter og problemer med ventetid.
Siden udgivelsen af GPT-4 af OpenAI har der ikke været væsentlige fremskridt i udviklingen af store modeller, hvilket resulterer i en stagnation af fremskridt. Derfor er indsatsen blevet omdirigeret til at forbedre effektiviteten af mindre modeller. Sébastien Bubeck fra Microsoft observerer en aktuel pause i stor udvikling og tilskynder til bestræbelser på at øge effektiviteten.
På trods af dette skift har store modeller stadig værdi til avancerede opgaver. Virksomheder som Apple og Microsoft fortsætter med at inkorporere store modeller som f.eks. som ChatGPT i deres produkter, selvom disse integrationer typisk kun repræsenterer en brøkdel af deres samlede AI-initiativer. Denne progression betegner transformationen af AI fra futuristiske demonstrationer til praktiske reklamer.