Na busca de replicar a inteligência humana, o foco da corrida armamentista da inteligência artificial centrou-se inicialmente na criação de modelos massivos treinados em extensos conjuntos de dados. No entanto, tem havido uma mudança notável nos últimos tempos, com gigantes da tecnologia e startups a direcionar cada vez mais a sua atenção para software de IA mais simplificado e especializado, mais barato e mais rápido.
Esses modelos de linguagem de pequeno e médio porte, especialmente projetados para tarefas específicas e treinados com menos dados, ganharam popularidade significativa. Ao contrário de seus equivalentes maiores, eles podem ser desenvolvidos por um custo inferior a US$ 10 milhões e utilizar menos de 10 bilhões de parâmetros. Para efeito de comparação, o GPT-4o da OpenAI, um dos maiores modelos, exigiu mais de US$ 100 milhões para construir e usou mais de um trilhão de parâmetros. O tamanho menor desses modelos se traduz em menores requisitos de poder computacional e preços reduzidos por consulta.
Por exemplo, a Microsoft deu ênfase à sua família Phi de modelos pequenos. Satya Nadella, CEO da Microsoft, afirma que esses modelos têm 1/100 do tamanho do modelo por trás do ChatGPT da OpenAI, mas podem lidar com muitas tarefas com eficiência comparável. Yusuf Mehdi, Diretor Comercial da Microsoft, reforça a necessidade de modelos distintos para diferentes tarefas, citando os custos superiores ao previsto associados à execução de modelos grandes. Além disso, a Microsoft lançou recentemente laptops de IA que utilizam vários modelos de IA para pesquisa e geração de imagens. Esses modelos operam no próprio dispositivo, sem depender de supercomputadores baseados em nuvem, como é o caso do ChatGPT.
Outras corporações como Google e startups de IA como Mistral, Anthropic e Cohere também lançaram modelos menores. Além disso, a Apple revelou planos para integrar modelos pequenos para aumentar a velocidade e a segurança das operações de IA nos telefones.
A OpenAI, conhecida por defender modelos grandes, lançou uma versão mais acessível do seu modelo principal e pretende concentrar-se no desenvolvimento de modelos mais pequenos no futuro. Modelos grandes são excessivos para tarefas como resumo de documentos ou geração de imagens, semelhante ao uso de um tanque para uma simples viagem de compras de supermercado. Os modelos menores, por outro lado, podem oferecer desempenho comparável a um custo significativamente menor. Esses modelos costumam ser adaptados para tarefas específicas, como gerenciamento de documentos jurídicos ou comunicações internas. Yoav Shoham, do AI21 Labs, afirma que os modelos pequenos são mais viáveis economicamente para uso generalizado, custando apenas uma fração do que os modelos grandes implicariam, ao mesmo tempo que fornecem respostas às perguntas.
As empresas estão adotando prontamente esses modelos menores para aumentar a eficiência e reduzir custos. Por exemplo, a Experian fez a transição para modelos menores para seus chatbots de IA e obteve desempenho semelhante aos modelos maiores, mas com custos reduzidos. Clara Shih, da Salesforce, destaca a praticidade dos modelos menores, já que os modelos geralmente levam a gastos excessivos e problemas de latência.
Desde o lançamento do GPT-4 pela OpenAI, não houve avanços significativos no desenvolvimento de grandes modelos, resultando em uma estagnação do progresso. Consequentemente, os esforços foram redirecionados para melhorar a eficiência dos modelos menores. Sébastien Bubeck, da Microsoft, observa uma pausa recente no desenvolvimento massivo e incentiva esforços para melhorar o desempenho.
Apesar dessa mudança, os modelos grandes ainda têm valor para tarefas avançadas. Empresas como a Apple e a Microsoft continuam a incorporar modelos grandes, como como ChatGPT em seus produtos, embora essas integrações normalmente representem apenas uma fração de suas iniciativas gerais de IA. Esta progressão significa a transformação da IA de demonstrações futurísticas em comerciais práticos.