V snahe o replikáciu ľudskej inteligencie sa preteky v zbrojení s umelou inteligenciou spočiatku sústredili na vytváranie masívnych modelov trénovaných na rozsiahlych súboroch údajov. V poslednom čase však došlo k výraznému posunu, keď technologickí giganti a startupy čoraz viac zameriavajú svoju pozornosť na efektívnejší a špecializovanejší softvér AI, ktorý je lacnejší a rýchlejší.
Tieto menšie a stredne veľké jazykové modely, špeciálne navrhnuté pre špecifické úlohy a trénované s menším množstvom údajov, si získali významnú popularitu. Na rozdiel od ich väčších náprotivkov sa dajú vyvinúť za cenu nižšiu ako 10 miliónov dolárov a využívajú menej ako 10 miliárd parametrov. Pre porovnanie, OpenAI's GPT-4o, jeden z najväčších modelov, si vyžiadal viac ako 100 miliónov dolárov na konštrukciu a použil viac ako jeden bilión parametrov. Menšia veľkosť týchto modelov znamená nižšie požiadavky na výpočtový výkon a nižšie ceny za dopyt.
Napríklad Microsoft kládol dôraz na svoju rodinu malých modelov Phi. Satya Nadella, generálny riaditeľ spoločnosti Microsoft, tvrdí, že tieto modely sú o 1/100 väčšie ako model za ChatGPT od OpenAI, napriek tomu dokážu zvládnuť mnohé úlohy s porovnateľnou účinnosťou. Yusuf Mehdi, obchodný riaditeľ spoločnosti Microsoft, zdôrazňuje potrebu odlišných modelov pre rôzne úlohy, pričom uvádza vyššie náklady spojené s prevádzkou veľkých modelov, než sa očakávalo. Okrem toho spoločnosť Microsoft nedávno predstavila notebooky s umelou inteligenciou, ktoré využívajú množstvo modelov umelej inteligencie na vyhľadávanie a generovanie obrázkov. Tieto modely fungujú na samotnom zariadení bez toho, aby sa spoliehali na rozsiahle cloudové superpočítače, ako je to v prípade ChatGPT.
Iné korporácie, ako napríklad Google a startupy AI ako Mistral, Anthropic a Cohere, tiež vydali menšie modely. Okrem toho spoločnosť Apple odhalila plány na integráciu malých modelov s cieľom zvýšiť rýchlosť a bezpečnosť operácií AI na telefónoch.
Spoločnosť OpenAI, známa presadzovaním veľkých modelov, uviedla na trh dostupnejšiu verziu svojho vlajkového modelu a v budúcnosti sa mieni zamerať na vývoj menších modelov. Veľké modely sa ukážu ako nadmerné pre úlohy, ako je sumarizácia dokumentov alebo generovanie obrázkov, podobne ako použitie nádrže na jednoduchý nákup v potravinách. Menšie modely naopak dokážu ponúknuť porovnateľný výkon za výrazne nižšie náklady. Tieto modely sú často prispôsobené špecifickým úlohám, ako je správa právnych dokumentov alebo interná komunikácia. Yoav Shoham z laboratórií AI21 tvrdí, že malé modely sú ekonomicky výhodnejšie pre široké použitie, pričom stoja len zlomok toho, čo by priniesli veľké modely, pričom poskytujú odpovede na otázky.
Firmy tieto menšie modely ochotne prijímajú, aby zvýšili efektivitu a znížili náklady. Napríklad spoločnosť Experian prešla na menšie modely svojich chatbotov AI a dosiahla podobný výkon ako väčšie modely, ale za znížené náklady. Clara Shih zo Salesforce vyzdvihuje praktickosť menších modelov, pretože modely často vedú k nadmerným výdavkom a problémom s oneskorením.
Od vydania GPT-4 spoločnosťou OpenAI nedošlo k žiadnemu významnému pokroku vo vývoji veľkých modelov, čo viedlo k stagnácii pokroku. V dôsledku toho sa úsilie presmerovalo na zlepšenie účinnosti menších modelov. Sébastien Bubeck z Microsoftu si všíma súčasnú pauzu vo veľkom vývoji a podporuje snahy o zvýšenie efektivity.
Napriek tomuto posunu majú veľké modely stále hodnotu pre pokročilé úlohy. Spoločnosti ako Apple a Microsoft naďalej začleňujú veľké modely, napr. ako ChatGPT do svojich produktov, hoci tieto integrácie zvyčajne predstavujú len zlomok ich celkových iniciatív AI. Tento pokrok znamená transformáciu AI z futuristických ukážok na praktické reklamy.