În căutarea reproducerii inteligenței umane, cursa înarmărilor de inteligență artificială sa concentrat inițial pe crearea de modele masive antrenate pe seturi extinse de date. Cu toate acestea, a existat o schimbare notabilă în ultima vreme, giganții tehnologiei și startup-urile îndreptându-și atenția din ce în ce mai mult către un software AI mai eficient și mai specializat, care este mai ieftin și mai rapid.
Aceste modele de limbaj mai mici și mijlocii, concepute în special pentru sarcini specifice și instruite cu mai puține date, au câștigat o popularitate semnificativă. Spre deosebire de omologii lor mai mari, ele pot fi dezvoltate pentru un cost de sub 10 milioane de dolari și pot utiliza mai puțin de 10 miliarde de parametri. Pentru comparație, OpenAI’s GPT-4o, unul dintre cele mai mari modele, a necesitat peste 100 de milioane de dolari pentru a construi și a folosit mai mult de un trilion de parametri. Dimensiunea mai mică a acestor modele se traduce prin cerințe mai mici de putere de calcul și prețuri reduse pe interogare.
De exemplu, Microsoft a pus accent pe familia sa Phi de modele mici. Satya Nadella, CEO al Microsoft, susține că aceste modele sunt cu 1/100 din dimensiunea modelului din spatele ChatGPT al OpenAI, dar se pot ocupa de multe sarcini cu o eficiență comparabilă. Yusuf Mehdi, Chief Commercial Officer al Microsoft, întărește nevoia de modele distincte pentru diferite sarcini, invocând costurile mai mari decât cele anticipate asociate cu rularea modelelor mari. În plus, Microsoft a introdus recent laptop-uri AI care utilizează numeroase modele AI pentru căutare și generare de imagini. Aceste modele funcționează pe dispozitivul în sine, fără a se baza pe supercomputere extinse bazate pe cloud, așa cum este cazul ChatGPT.
Alte corporații precum Google și startup-uri AI precum Mistral, Anthropic și Cohere au lansat și modele mai mici. În plus, Apple a dezvăluit planuri de a integra modele mici pentru a spori viteza și securitatea operațiunilor AI pe telefoane.
OpenAI, renumit pentru susținerea modelelor mari, a lansat o versiune mai accesibilă a modelului său emblematic și intenționează să se concentreze pe dezvoltarea de modele mai mici în viitor. Modelele mari se dovedesc excesive pentru sarcini precum rezumarea documentelor sau generarea de imagini, similar cu utilizarea unui rezervor pentru o simplă excursie la cumpărături. Modelele mai mici, pe de altă parte, pot oferi performanțe comparabile la un cost semnificativ mai mic. Aceste modele sunt adesea adaptate pentru sarcini specifice, cum ar fi gestionarea documentelor juridice sau a comunicațiilor interne. Yoav Shoham de la AI21 Labs afirmă că modelele mici sunt mai fezabile din punct de vedere economic pentru o utilizare pe scară largă, costând doar o fracțiune din ceea ce ar presupune modelele mari, oferind în același timp răspunsuri la întrebări.
Companiile adoptă cu ușurință aceste modele mai mici pentru a spori eficiența și a reduce costurile. De exemplu, Experian a trecut la modele mai mici pentru chatbot-urile lor AI și a obținut performanțe similare cu modelele mai mari, dar cu o cheltuială redusă. Clara Shih de la Salesforce subliniază caracterul practic al modelelor mai mici, deoarece modelele duc adesea la cheltuieli excesive și probleme de latență.
De la lansarea lui GPT-4 de către OpenAI, nu au existat progrese semnificative în dezvoltarea modelelor mari, ceea ce a dus la o stagnare a progresului. În consecință, eforturile au fost redirecționate către îmbunătățirea eficienței modelelor mai mici. Sébastien Bubeck de la Microsoft observă o pauză actuală în dezvoltarea amplă și încurajează eforturile de îmbunătățire a eficienței.
În ciuda acestei schimbări, modelele mari au încă valoare pentru sarcini avansate. Companii precum Apple și Microsoft continuă să încorporeze modele mari, cum ar fi ca ChatGPT în produsele lor, deși aceste integrări reprezintă de obicei doar o fracțiune din inițiativele lor generale de IA. Această progresie semnifică transformarea AI de la demonstrații futuriste la reclame practice.