In die strewe om menslike intelligensie te repliseer, het die fokus van die kunsmatige intelligensie-wapenwedloop aanvanklik gesentreer rondom die skepping van massiewe modelle wat op uitgebreide datastelle opgelei is. Daar was egter 'n noemenswaardige verskuiwing in onlangse tye, met tegnologiereuse en beginondernemings wat hul aandag toenemend op meer vaartbelynde en gespesialiseerde KI-sagteware wat goedkoper en vinniger is, gerig het.
Hierdie kleiner en mediumgrootte taalmodelle, veral ontwerp vir spesifieke take en opgelei met minder data, het aansienlike gewildheid verwerf. Anders as hul groter eweknieë, kan hulle ontwikkel word vir 'n koste van minder as $10 miljoen en gebruik minder as 10 miljard parameters. Ter vergelyking, OpenAI se GPT-4o, een van die grootste modelle, het meer as $100 miljoen nodig gehad om meer as een triljoen parameters te bou en gebruik. Die kleiner grootte van hierdie modelle kom neer op laer rekenkragvereistes en verlaagde pryse per navraag.
Microsoft het byvoorbeeld klem gelê op sy Phi-familie van klein modelle. Satya Nadella, uitvoerende hoof van Microsoft, beweer dat hierdie modelle 1/100ste is van die grootte van die model agter OpenAI se ChatGPT, maar tog kan hulle baie take met vergelykbare doeltreffendheid hanteer. Yusuf Mehdi, Microsoft se hoof kommersiële beampte, versterk die behoefte aan verskillende modelle vir verskillende take, met verwysing na die hoër as verwagte koste verbonde aan die bestuur van groot modelle. Verder het Microsoft onlangs KI-skootrekenaars bekendgestel wat talle KI-modelle vir soek- en beeldgenerering gebruik. Hierdie modelle werk op die toestel self sonder om op uitgebreide wolkgebaseerde superrekenaars staat te maak, soos die geval is met ChatGPT.
Ander korporasies soos Google en KI-opstarters soos Mistral, Anthropic en Cohere het ook kleiner modelle vrygestel. Boonop het Apple planne onthul om klein modelle te integreer om die spoed en sekuriteit van KI-bedrywighede op fone te verbeter.
OpenAI, wat bekend is vir die voorstander van groot modelle, het 'n meer bekostigbare weergawe van sy vlagskipmodel bekend gestel en beoog om in die toekoms op die ontwikkeling van kleiner modelle te fokus. Groot modelle blyk buitensporig te wees vir take soos dokumentopsomming of beeldgenerering, soortgelyk aan die gebruik van 'n tenk vir 'n eenvoudige kruidenierswinkelreis. Kleiner modelle, aan die ander kant, kan vergelykbare werkverrigting teen 'n aansienlik laer koste bied. Hierdie modelle word dikwels aangepas vir spesifieke take soos die bestuur van regsdokumente of interne kommunikasie. Yoav Shoham van AI21 Labs beweer dat klein modelle meer ekonomies haalbaar is vir wydverspreide gebruik, wat slegs 'n fraksie kos van wat groot modelle sou behels terwyl hulle antwoorde op vrae verskaf.
Besighede neem geredelik hierdie kleiner modelle aan om doeltreffendheid te verbeter en koste te verminder. Experian het byvoorbeeld oorgeskakel na kleiner modelle vir hul KI-kletsbotte en het soortgelyke prestasie as groter modelle behaal, maar teen 'n verminderde koste. Salesforce se Clara Shih beklemtoon die praktiese toepassing van kleiner modelle, aangesien modelle dikwels tot buitensporige uitgawes en vertragingskwessies lei.
Sedert die vrystelling van GPT-4 deur OpenAI, was daar geen noemenswaardige vordering in groot modelontwikkeling nie, wat gelei het tot 'n stagnasie van vordering. Gevolglik is pogings herlei om die doeltreffendheid van kleiner modelle te verbeter. Sébastien Bubeck van Microsoft neem 'n huidige pouse in groot ontwikkeling waar en moedig pogings aan om doeltreffendheid te verbeter.
Ten spyte van hierdie verskuiwing hou groot modelle steeds waarde vir gevorderde take in. Maatskappye soos Apple en Microsoft gaan voort om groot modelle soos bv. as ChatGPT in hul produkte, hoewel hierdie integrasies tipies slegs 'n fraksie van hul algehele KI-inisiatiewe verteenwoordig. Hierdie vordering dui op die transformasie van KI van futuristiese demonstrasies na praktiese advertensies.