V prizadevanju za posnemanje človeške inteligence se je oboroževalna tekma z umetno inteligenco sprva osredotočila na ustvarjanje ogromnih modelov, usposobljenih na obsežnih zbirkah podatkov. Vendar pa je v zadnjem času prišlo do opaznega premika, saj tehnološki velikani in zagonska podjetja vse bolj usmerjajo svojo pozornost k bolj poenostavljeni in specializirani programski opremi AI, ki je cenejša in hitrejša.
Ti manjši in srednje veliki jezikovni modeli, posebej zasnovani za specifične naloge in usposobljeni z manj podatki, so pridobili veliko popularnost. Za razliko od njihovih večjih primerkov jih je mogoče razviti za ceno pod 10 milijonov dolarjev in uporabiti manj kot 10 milijard parametrov. Za primerjavo, OpenAI-jev GPT-4o, eden največjih modelov, je za izdelavo zahteval več kot 100 milijonov dolarjev in uporabil več kot bilijon parametrov. Manjša velikost teh modelov pomeni nižje zahteve glede računalniške moči in nižje cene na poizvedbo.
Microsoft je na primer dal poudarek družini majhnih modelov Phi. Satya Nadella, izvršni direktor Microsofta, trdi, da so ti modeli 1/100 velikosti modela, ki stoji za OpenAI-jevim ChatGPT, kljub temu pa lahko obravnavajo veliko nalog s primerljivo učinkovitostjo. Yusuf Mehdi, Microsoftov glavni komercialni direktor, poudarja potrebo po različnih modelih za različne naloge in navaja višje stroške od pričakovanih, povezane z izvajanjem velikih modelov. Poleg tega je Microsoft nedavno predstavil prenosnike z umetno inteligenco, ki uporabljajo številne modele umetne inteligence za iskanje in ustvarjanje slik. Ti modeli delujejo na sami napravi, ne da bi se zanašali na obsežne superračunalnike v oblaku, kot je to v primeru ChatGPT.
Druge korporacije, kot je Google, in startupi AI, kot so Mistral, Anthropic in Cohere, so prav tako izdali manjše modele. Poleg tega je Apple razkril načrte za integracijo majhnih modelov za povečanje hitrosti in varnosti operacij AI na telefonih.
OpenAI, znan po zagovarjanju velikih modelov, je lansiral cenovno ugodnejšo različico svojega vodilnega modela in se namerava v prihodnosti osredotočiti na razvoj manjših modelov. Veliki modeli se izkažejo za pretirane za naloge, kot je povzemanje dokumentov ali ustvarjanje slik, podobno kot uporaba rezervoarja za preprosto nakupovanje živil. Manjši modeli pa lahko ponudijo primerljivo zmogljivost po bistveno nižji ceni. Ti modeli so pogosto prilagojeni za posebne naloge, kot je upravljanje pravnih dokumentov ali notranje komunikacije. Yoav Shoham iz AI21 Labs trdi, da so majhni modeli bolj ekonomsko izvedljivi za široko uporabo, saj stanejo le delček tega, kar bi pomenili veliki modeli, hkrati pa zagotavljajo odgovore na vprašanja.
Podjetja hitro sprejemajo te manjše modele za povečanje učinkovitosti in zmanjšanje stroškov. Experian je na primer prešel na manjše modele za svoje klepetalne robote z umetno inteligenco in dosegel podobno zmogljivost kot večji modeli, vendar z nižjimi stroški. Clara Shih iz Salesforce poudarja praktičnost manjših modelov, saj modeli pogosto povzročijo pretirane izdatke in težave z zakasnitvijo.
Odkar je OpenAI izdal GPT-4, ni bilo bistvenega napredka pri razvoju velikih modelov, kar je povzročilo stagnacijo napredka. Posledično so se prizadevanja preusmerila v izboljšanje učinkovitosti manjših modelov. Sébastien Bubeck iz Microsofta opaža trenutni premor v velikem razvoju in spodbuja prizadevanja za povečanje učinkovitosti.
Kljub temu premiku imajo veliki modeli še vedno vrednost za napredne naloge. Podjetja, kot sta Apple in Microsoft, še naprej vgrajujejo velike modele, kot so kot ChatGPT v njihove izdelke, čeprav te integracije običajno predstavljajo le delček njihovih celotnih pobud AI. Ta napredek pomeni preobrazbo umetne inteligence iz futurističnih demonstracij v praktične reklame.