I jakten på å kopiere menneskelig intelligens, var fokuset for våpenkappløpet med kunstig intelligens i utgangspunktet sentrert rundt etableringen av massive modeller trent på omfattende datasett. Imidlertid har det vært et merkbart skifte i nyere tid, med teknologigiganter og startups som i økende grad retter oppmerksomheten mot mer strømlinjeformet og spesialisert AI-programvare som er billigere og raskere.
Disse mindre og mellomstore språkmodellene, spesielt designet for spesifikke oppgaver og trent med mindre data, har vunnet betydelig popularitet. I motsetning til deres større kolleger, kan de utvikles for en kostnad på under 10 millioner dollar og bruke færre enn 10 milliarder parametere. Til sammenligning krevde OpenAIs GPT-4o, en av de største modellene, over 100 millioner dollar for å konstruere og brukte mer enn én billion parametere. Den mindre størrelsen på disse modellene betyr lavere krav til beregningskraft og reduserte priser per forespørsel.
For eksempel har Microsoft lagt vekt på sin Phi-familie av små modeller. Satya Nadella, administrerende direktør i Microsoft, hevder at disse modellene er 1/100 av størrelsen på modellen bak OpenAIs ChatGPT, men de kan håndtere mange oppgaver med sammenlignbar effektivitet. Yusuf Mehdi, Microsofts Chief Commercial Officer, forsterker behovet for distinkte modeller for ulike oppgaver, med henvisning til de høyere kostnadene enn forventet forbundet med å kjøre store modeller. Videre har Microsoft nylig introdusert AI bærbare datamaskiner som bruker en rekke AI-modeller for søk og bildegenerering. Disse modellene opererer på selve enheten uten å stole på omfattende skybaserte superdatamaskiner, slik tilfellet er med ChatGPT.
Andre selskaper som Google og AI-startups som Mistral, Anthropic og Cohere har også gitt ut mindre modeller. I tillegg har Apple avduket planer om å integrere små modeller for å øke hastigheten og sikkerheten til AI-operasjoner på telefoner.
OpenAI, kjent for å gå inn for store modeller, har lansert en rimeligere versjon av flaggskipmodellen sin og har til hensikt å fokusere på å utvikle mindre modeller i fremtiden. Store modeller viser seg å være overdrevne for oppgaver som dokumentoppsummering eller bildegenerering, på samme måte som å bruke en tank for en enkel tur med dagligvareinnkjøp. Mindre modeller, derimot, kan tilby sammenlignbar ytelse til en betydelig lavere kostnad. Disse modellene er ofte skreddersydd for spesifikke oppgaver som å administrere juridiske dokumenter eller intern kommunikasjon. Yoav Shoham fra AI21 Labs hevder at små modeller er mer økonomisk gjennomførbare for utbredt bruk, og koster bare en brøkdel av hva store modeller vil innebære mens de gir svar på spørsmål.
Bedrifter tar lett i bruk disse mindre modellene for å øke effektiviteten og redusere kostnadene. For eksempel gikk Experian over til mindre modeller for deres AI-chatbots og oppnådde lignende ytelse som større modeller, men med reduserte kostnader. Salesforces Clara Shih fremhever det praktiske ved mindre modeller, ettersom modeller ofte fører til overdrevne utgifter og problemer med ventetid.
Siden utgivelsen av GPT-4 av OpenAI har det ikke vært noen betydelige fremskritt i utviklingen av store modeller, noe som har resultert i en stagnasjon av fremgangen. Følgelig har innsatsen blitt omdirigert mot å forbedre effektiviteten til mindre modeller. Sébastien Bubeck fra Microsoft observerer en pågående pause i stor utvikling og oppmuntrer til forsøk på å forbedre effektiviteten.
Til tross for dette skiftet, har store modeller fortsatt verdi for avanserte oppgaver. Selskaper som Apple og Microsoft fortsetter å inkorporere store modeller som f.eks. som ChatGPT inn i produktene deres, selv om disse integrasjonene vanligvis bare representerer en brøkdel av deres samlede AI-initiativer. Denne progresjonen betyr transformasjonen av AI fra futuristiske demonstrasjoner til praktiske reklamefilmer.