Dalam upaya mereplikasi kecerdasan manusia, fokus perlombaan senjata kecerdasan buatan awalnya berpusat pada pembuatan model besar-besaran yang dilatih pada kumpulan data yang luas. Namun, ada perubahan penting dalam beberapa waktu terakhir, dimana raksasa teknologi dan startup semakin mengarahkan perhatian mereka pada perangkat lunak AI yang lebih efisien dan terspesialisasi, lebih murah dan lebih cepat.
Model bahasa berukuran lebih kecil dan menengah ini, yang dirancang khusus untuk tugas-tugas tertentu dan dilatih dengan data yang lebih sedikit, telah mendapatkan popularitas yang signifikan. Berbeda dengan rekan-rekan mereka yang lebih besar, mereka dapat dikembangkan dengan biaya di bawah $10 juta dan menggunakan kurang dari 10 miliar parameter. Sebagai perbandingan, GPT-4o OpenAI, salah satu model terbesar, membutuhkan lebih dari $100 juta untuk membuat dan menggunakan lebih dari satu triliun parameter. Ukuran model yang lebih kecil berarti kebutuhan daya komputasi yang lebih rendah dan harga per kueri yang lebih rendah.
Misalnya, Microsoft telah menekankan pada keluarga model kecil Phi. Satya Nadella, CEO Microsoft, mengklaim bahwa model ini berukuran 1/100 dari model di belakang ChatGPT OpenAI, namun mereka dapat menangani banyak tugas dengan efisiensi yang sebanding. Yusuf Mehdi, Chief Commercial Officer Microsoft, memperkuat kebutuhan akan model yang berbeda untuk tugas yang berbeda, dengan alasan biaya yang lebih tinggi dari perkiraan terkait dengan menjalankan model berukuran besar. Selain itu, Microsoft baru-baru ini memperkenalkan laptop AI yang memanfaatkan berbagai model AI untuk penelusuran dan pembuatan gambar. Model ini beroperasi pada perangkat itu sendiri tanpa bergantung pada superkomputer berbasis cloud yang luas, seperti halnya ChatGPT.
Perusahaan lain seperti Google dan startup AI seperti Mistral, Anthropic, dan Cohere juga telah merilis model yang lebih kecil. Selain itu, Apple telah mengumumkan rencana untuk mengintegrasikan model kecil guna meningkatkan kecepatan dan keamanan pengoperasian AI pada ponsel.
OpenAI, yang terkenal karena menganjurkan model-model besar, telah meluncurkan versi yang lebih terjangkau dari model andalannya dan bermaksud untuk fokus pada pengembangan model-model kecil di masa depan. Model berukuran besar terbukti berlebihan untuk tugas-tugas seperti peringkasan dokumen atau pembuatan gambar, mirip dengan menggunakan tangki untuk perjalanan belanja bahan makanan sederhana. Sebaliknya, model yang lebih kecil dapat menawarkan kinerja yang sebanding dengan biaya yang jauh lebih rendah. Model-model ini sering kali disesuaikan untuk tugas-tugas tertentu seperti mengelola dokumen hukum atau komunikasi internal. Yoav Shoham dari AI21 Labs menegaskan bahwa model kecil lebih layak secara ekonomi untuk digunakan secara luas, karena biayanya hanya sebagian kecil dari biaya yang diperlukan untuk model besar sekaligus memberikan jawaban atas pertanyaan.
Dunia usaha siap mengadopsi model yang lebih kecil ini untuk meningkatkan efisiensi dan mengurangi biaya. Misalnya, Experian beralih ke model yang lebih kecil untuk chatbot AI mereka dan mencapai kinerja serupa dengan model yang lebih besar tetapi dengan biaya yang lebih rendah. Clara Shih dari Salesforce menyoroti kepraktisan model yang lebih kecil, karena model sering kali menyebabkan pengeluaran berlebihan dan masalah latensi.
Sejak GPT-4 dirilis oleh OpenAI, belum ada kemajuan signifikan dalam pengembangan model skala besar, yang mengakibatkan stagnasi kemajuan. Akibatnya, upaya dialihkan untuk meningkatkan efisiensi model yang lebih kecil. Sébastien Bubeck dari Microsoft mengamati jeda saat ini dalam pengembangan skala besar dan mendorong upaya untuk meningkatkan efisiensi.
Meskipun ada perubahan ini, model besar masih memiliki nilai untuk tugas-tugas tingkat lanjut. Perusahaan seperti Apple dan Microsoft terus menerapkan model besar seperti sebagai ChatGPT ke dalam produk mereka, meskipun integrasi ini biasanya hanya mewakili sebagian kecil dari keseluruhan inisiatif AI mereka. Kemajuan ini menandakan transformasi AI dari demonstrasi futuristik menjadi iklan praktis.