Để theo đuổi việc tái tạo trí thông minh của con người, trọng tâm của cuộc chạy đua vũ trang trí tuệ nhân tạo ban đầu tập trung vào việc tạo ra các mô hình khổng lồ được đào tạo trên các bộ dữ liệu mở rộng. Tuy nhiên, đã có một sự thay đổi đáng chú ý trong thời gian gần đây, khi những gã khổng lồ công nghệ và các công ty khởi nghiệp ngày càng hướng sự chú ý của họ sang phần mềm AI chuyên dụng và hợp lý hơn, rẻ hơn và nhanh hơn.
Những mô hình ngôn ngữ vừa và nhỏ này, được thiết kế đặc biệt cho các nhiệm vụ cụ thể và được đào tạo với ít dữ liệu hơn, đã trở nên phổ biến đáng kể. Không giống như các đối tác lớn hơn, chúng có thể được phát triển với chi phí dưới 10 triệu USD và sử dụng ít hơn 10 tỷ thông số. Để so sánh, GPT-4o của OpenAI, một trong những mô hình lớn nhất, cần hơn 100 triệu USD để xây dựng và sử dụng hơn một nghìn tỷ thông số. Kích thước nhỏ hơn của các mô hình này đồng nghĩa với việc giảm yêu cầu về công suất tính toán và giảm giá cho mỗi truy vấn.
Ví dụ, Microsoft đã nhấn mạnh vào dòng Phi của các mẫu máy nhỏ. Satya Nadella, Giám đốc điều hành của Microsoft, tuyên bố rằng các mô hình này có kích thước bằng 1/100 mô hình đằng sau ChatGPT của OpenAI, nhưng chúng có thể xử lý nhiều tác vụ với hiệu quả tương đương. Yusuf Mehdi, Giám đốc Thương mại của Microsoft, củng cố nhu cầu về các mô hình riêng biệt cho các nhiệm vụ khác nhau, trích dẫn chi phí cao hơn dự đoán liên quan đến việc chạy các mô hình lớn. Hơn nữa, Microsoft gần đây đã giới thiệu máy tính xách tay AI sử dụng nhiều mô hình AI để tìm kiếm và tạo hình ảnh. Các mô hình này hoạt động trên chính thiết bị mà không cần dựa vào các siêu máy tính dựa trên đám mây mở rộng, như trường hợp của ChatGPT.
Các tập đoàn khác như Google và các công ty khởi nghiệp về AI như Mistral, Anthropic và Cohere cũng đã tung ra các mô hình nhỏ hơn. Ngoài ra, Apple còn tiết lộ kế hoạch tích hợp các mô hình nhỏ để nâng cao tốc độ và tính bảo mật của hoạt động AI trên điện thoại.
OpenAI, nổi tiếng với việc ủng hộ các mô hình lớn, đã tung ra phiên bản giá cả phải chăng hơn của mẫu hàng đầu của mình và dự định tập trung phát triển các mẫu nhỏ hơn trong tương lai. Các mô hình lớn tỏ ra quá mức đối với các nhiệm vụ như tóm tắt tài liệu hoặc tạo hình ảnh, tương tự như việc sử dụng xe tăng cho một chuyến đi mua hàng tạp hóa đơn giản. Mặt khác, các mẫu nhỏ hơn có thể mang lại hiệu suất tương đương với chi phí thấp hơn đáng kể. Những mô hình này thường được thiết kế riêng cho các nhiệm vụ cụ thể như quản lý tài liệu pháp lý hoặc liên lạc nội bộ. Yoav Shoham của AI21 Labs khẳng định rằng các mô hình nhỏ khả thi hơn về mặt kinh tế khi sử dụng rộng rãi, chi phí chỉ bằng một phần nhỏ so với những mô hình lớn đồng thời đưa ra câu trả lời cho các câu hỏi.
Các doanh nghiệp đang sẵn sàng áp dụng những mô hình nhỏ hơn này để nâng cao hiệu quả và giảm chi phí. Ví dụ: Experian đã chuyển đổi sang các mô hình nhỏ hơn cho chatbot AI của họ và đạt được hiệu suất tương tự như các mô hình lớn hơn nhưng với chi phí thấp hơn. Clara Shih của Salesforce nhấn mạnh tính thực tế của các mô hình nhỏ hơn, vì các mô hình thường dẫn đến chi phí quá cao và các vấn đề về độ trễ.
Kể từ khi OpenAI phát hành GPT-4, không có tiến bộ đáng kể nào trong việc phát triển mô hình lớn, dẫn đến tiến độ bị đình trệ. Do đó, những nỗ lực đã được chuyển hướng sang việc nâng cao hiệu quả của các mô hình nhỏ hơn. Sébastien Bubeck từ Microsoft nhận thấy sự tạm dừng hiện tại trong quá trình phát triển quy mô lớn và khuyến khích nỗ lực nâng cao hiệu quả.
Bất chấp sự thay đổi này, các mô hình lớn vẫn giữ giá trị cho các nhiệm vụ nâng cao. Các công ty như Apple và Microsoft tiếp tục kết hợp các mô hình lớn như như ChatGPT vào các sản phẩm của họ, mặc dù những tích hợp này thường chỉ chiếm một phần trong tổng thể các sáng kiến AI của họ. Sự tiến triển này biểu thị sự chuyển đổi của AI từ các cuộc trình diễn tương lai sang quảng cáo thực tế.