Pyrkiessään jäljittelemään ihmisälyä tekoälyn asekilpailun painopiste keskittyi alun perin massiivisten mallien luomiseen, jotka on koulutettu laajoihin tietokokonaisuuksiin. Viime aikoina on kuitenkin tapahtunut huomattava muutos, kun teknologiajätit ja startupit ovat yhä enemmän kiinnittäneet huomionsa virtaviivaisempiin ja erikoistuneempiin tekoälyohjelmistoihin, jotka ovat halvempia ja nopeampia.
Nämä pienemmät ja keskikokoiset kielimallit, jotka on suunniteltu erityisesti tiettyihin tehtäviin ja jotka on koulutettu vähemmällä datalla, ovat saavuttaneet huomattavan suosion. Toisin kuin suuremmat vastineensa, ne voidaan kehittää alle 10 miljoonan dollarin kustannuksilla ja käyttää alle 10 miljardia parametria. Vertailun vuoksi: OpenAI:n GPT-4o, yksi suurimmista malleista, vaati yli 100 miljoonaa dollaria rakentamiseen ja käytti yli biljoonaa parametria. Näiden mallien pienempi koko merkitsee pienempiä laskentatehovaatimuksia ja alhaisempia hintoja kyselyä kohden.
Esimerkiksi Microsoft on korostanut pienten mallien Phi-perhettään. Satya Nadella, Microsoftin toimitusjohtaja, väittää, että nämä mallit ovat 1/100 OpenAI:n ChatGPT:n takana olevan mallin koosta, mutta silti ne pystyvät käsittelemään monia tehtäviä vertailukelpoisella tehokkuudella. Yusuf Mehdi, Microsoftin kaupallinen johtaja, vahvistaa erillisten mallien tarvetta eri tehtäviin vetoamalla suurien mallien käyttöön liittyviin ennakoitua korkeampiin kustannuksiin. Lisäksi Microsoft on äskettäin esitellyt tekoälykannettavia tietokoneita, jotka käyttävät useita tekoälymalleja hakuun ja kuvien luomiseen. Nämä mallit toimivat itse laitteessa turvautumatta laajoihin pilvipohjaisiin supertietokoneisiin, kuten ChatGPT:n tapauksessa.
Muut yritykset, kuten Google ja AI-startupit, kuten Mistral, Anthropic ja Cohere, ovat myös julkaisseet pienempiä malleja. Lisäksi Apple on julkistanut suunnitelmia integroida pieniä malleja puhelimien tekoälytoimintojen nopeuden ja turvallisuuden parantamiseksi.
Suurten mallien puolestapuhujana tunnettu OpenAI on julkaissut edullisemman version lippulaivamallistaan ja aikoo keskittyä jatkossa pienempien mallien kehittämiseen. Suuret mallit osoittautuvat liiallisiksi tehtäviin, kuten asiakirjojen yhteenvetoon tai kuvien luomiseen, kuten säiliön käyttäminen yksinkertaisella ruokaostosmatkalla. Toisaalta pienemmät mallit voivat tarjota vertailukelpoista suorituskykyä huomattavasti pienemmillä kustannuksilla. Nämä mallit on usein räätälöity tiettyihin tehtäviin, kuten lakiasiakirjojen tai sisäisen viestinnän hallintaan. Yoav Shoham AI21 Labsista väittää, että pienet mallit ovat taloudellisesti kannattavampia laajaan käyttöön, koska ne maksavat vain murto-osan siitä, mitä suuret mallit edellyttäisivät, samalla kun ne tarjoavat vastauksia kysymyksiin.
Yritykset ottavat helposti käyttöön näitä pienempiä malleja tehostaakseen tehokkuutta ja alentaakseen kustannuksia. Esimerkiksi Experian siirtyi pienempiin malleihin tekoäly-chatboteissaan ja saavutti samanlaisen suorituskyvyn kuin suuremmissa malleissa, mutta pienemmillä kustannuksilla. Salesforcen Clara Shih korostaa pienempien mallien käytännöllisyyttä, sillä mallit johtavat usein liiallisiin kuluihin ja latenssiongelmiin.
OpenAI:n GPT-4:n julkaisun jälkeen suurten mallien kehityksessä ei ole tapahtunut merkittäviä edistysaskeleita, mikä on johtanut edistyksen pysähtymiseen. Tästä syystä ponnisteluja on suunnattu pienempien mallien tehokkuuden parantamiseen. Microsoftin Sébastien Bubeck havaitsee tämänhetkisen tauon suuressa kehityksessä ja rohkaisee pyrkimyksiä tehostaa.
Tästä muutoksesta huolimatta suuret mallit ovat edelleen arvokkaita edistyneisiin tehtäviin. Yritykset, kuten Apple ja Microsoft sisällyttävät edelleen suuria malleja, kuten ChatGPT:nä tuotteisiinsa, vaikka nämä integraatiot edustavat yleensä vain murto-osaa heidän yleisistä tekoälyaloitteistaan. Tämä kehitys merkitsee tekoälyn muutosta futuristisista demonstraatioista käytännön mainoksiksi.