W pogoni za replikacją ludzkiej inteligencji wyścig zbrojeń związany ze sztuczną inteligencją początkowo skupiał się na tworzeniu ogromnych modeli szkolonych na obszernych zbiorach danych. Jednak w ostatnim czasie nastąpiła wyraźna zmiana, a giganci technologiczni i start-upy coraz częściej kierują swoją uwagę na bardziej usprawnione i wyspecjalizowane oprogramowanie AI, które jest tańsze i szybsze.
Te mniejsze i średnie modele językowe, specjalnie zaprojektowane do konkretnych zadań i trenowane przy użyciu mniejszej ilości danych, zyskały znaczną popularność. W przeciwieństwie do swoich większych odpowiedników, można je opracować kosztem poniżej 10 milionów dolarów i wykorzystywać mniej niż 10 miliardów parametrów. Dla porównania OpenAI GPT-4o, jeden z największych modeli, wymagał ponad 100 milionów dolarów na zbudowanie i wykorzystanie ponad biliona parametrów. Mniejszy rozmiar tych modeli przekłada się na niższe wymagania dotyczące mocy obliczeniowej i obniżoną cenę za zapytanie.
Na przykład Microsoft położył nacisk na rodzinę małych modeli Phi. Satya Nadella, dyrektor generalny Microsoft, twierdzi, że modele te są o 1/100 wielkości modelu stojącego za ChatGPT OpenAI, a mimo to mogą wykonywać wiele zadań z porównywalną wydajnością. Yusuf Mehdi, dyrektor handlowy firmy Microsoft, podkreśla potrzebę stosowania odrębnych modeli do różnych zadań, powołując się na wyższe niż przewidywano koszty związane z uruchamianiem dużych modeli. Ponadto firma Microsoft wprowadziła niedawno laptopy ze sztuczną inteligencją, które wykorzystują liczne modele sztucznej inteligencji do wyszukiwania i generowania obrazów. Modele te działają na samym urządzeniu, bez polegania na rozbudowanych superkomputerach opartych na chmurze, jak ma to miejsce w przypadku ChatGPT.
Inne korporacje, takie jak Google i start-upy AI, takie jak Mistral, Anthropic i Cohere, również wypuściły mniejsze modele. Ponadto Apple ujawnił plany integracji małych modeli w celu zwiększenia szybkości i bezpieczeństwa operacji AI na telefonach.
OpenAI, znane z propagowania dużych modeli, wypuściło tańszą wersję swojego flagowego modelu i w przyszłości zamierza skupić się na opracowywaniu mniejszych modeli. Duże modele okazują się nadmierne do zadań takich jak podsumowywanie dokumentów czy generowanie obrazów, podobnie jak używanie zbiornika podczas prostych zakupów spożywczych. Z drugiej strony mniejsze modele mogą zaoferować porównywalną wydajność przy znacznie niższych kosztach. Modele te są często dostosowane do konkretnych zadań, takich jak zarządzanie dokumentami prawnymi lub komunikacją wewnętrzną. Yoav Shoham z AI21 Labs twierdzi, że małe modele są bardziej ekonomicznie wykonalne w powszechnym użyciu, ponieważ kosztują jedynie ułamek kosztów dużych modeli, zapewniając jednocześnie odpowiedzi na pytania.
Firmy chętnie przyjmują te mniejsze modele, aby zwiększyć wydajność i obniżyć koszty. Na przykład firma Experian przeszła na mniejsze modele swoich chatbotów AI i osiągnęła wydajność podobną do większych modeli, ale mniejszym kosztem. Clara Shih z Salesforce podkreśla praktyczność mniejszych modeli, ponieważ modele często prowadzą do nadmiernych wydatków i problemów z opóźnieniami.
Od czasu wypuszczenia GPT-4 przez OpenAI nie nastąpił żaden znaczący postęp w rozwoju dużych modeli, co spowodowało stagnację postępu. W związku z tym wysiłki skierowano na poprawę wydajności mniejszych modeli. Sébastien Bubeck z Microsoftu zauważa obecną przerwę w dużym rozwoju i zachęca do podejmowania wysiłków na rzecz zwiększania wydajności.
Pomimo tej zmiany duże modele nadal są przydatne w przypadku zaawansowanych zadań. Firmy takie jak Apple i Microsoft w dalszym ciągu wdrażają duże modele, takie jak jako ChatGPT do swoich produktów, chociaż te integracje zazwyczaj stanowią tylko ułamek ich ogólnych inicjatyw w zakresie sztucznej inteligencji. Postęp ten oznacza transformację sztucznej inteligencji z futurystycznych demonstracji w praktyczne reklamy.