Theo một nghiên cứu gần đây, ngay cả những mô hình AI giỏi nhất cũng thường xuyên gặp phải ảo giác—lỗi trong đó mô hình tạo ra thông tin sai lệch hoặc gây hiểu lầm. Tất cả các mô hình AI tổng quát—từ Gemini của Google đến Claude của Anthropic và GPT-4o gần đây nhất của OpenAI—đều gặp phải vấn đề này, tuy nhiên loại và tần suất lỗi khác nhau tùy theo dữ liệu huấn luyện.
Trong nỗ lực đánh giá những ảo giác này, các nhà nghiên cứu từ Cornell, các trường đại học Washington và Waterloo, và tổ chức AI2 đã so sánh kết quả đầu ra của mô hình với các nguồn đáng tin cậy về nhiều chủ đề khác nhau, bao gồm địa lý, lịch sử, sức khỏe và luật. Theo dữ liệu, không có mô hình nào hoạt động tốt một cách nhất quán trên tất cả các cá nhân, và những người ít gặp ảo giác hơn đã làm như vậy một phần vì họ từ chối trả lời những câu hỏi mà họ có thể đã trả lời sai.
Nghiên cứu nhấn mạnh khó khăn dai dẳng khi dựa vào tài liệu do AI tạo ra, vì ngay cả những mô hình tiên tiến nhất cũng chỉ có thể tạo ra văn bản chính xác, không gây ảo giác trong khoảng 35% trường hợp. Cuộc điều tra này bao gồm các chủ đề khó hơn được Wikipedia đề cập, chẳng hạn như văn hóa, tài chính và y học, trong khi các nghiên cứu trước đây thường tập trung vào các câu hỏi có câu trả lời dễ tiếp cận trên Wikipedia. Chúng tôi đã đánh giá hơn chục mô hình nổi tiếng, chẳng hạn như Gemini 1.5 Pro của Google, Llama 3 của Meta và GPT-4o.
Nghiên cứu phát hiện ra rằng mặc dù các mô hình AI đã tiến bộ nhưng tỷ lệ ảo giác của chúng không giảm đáng kể. Các mô hình của OpenAI nằm trong số ít có khả năng tạo ra kết quả không chính xác nhất; tuy nhiên, các người mẫu gặp nhiều khó khăn hơn khi trả lời các câu hỏi về tài chính và người nổi tiếng hơn là về địa lý và khoa học máy tính.
Các mô hình thiếu khả năng tìm kiếm trên web không chỉ phải vật lộn để giải quyết các vấn đề không có trong Wikipedia, mà các mô hình nhỏ hơn còn vượt trội hơn các mô hình lớn hơn về tỷ lệ ảo giác. Những kết quả này đặt ra nghi ngờ về những tiến bộ mà các nhà cung cấp AI tuyên bố đã đạt được.
Nghiên cứu chỉ ra rằng ảo giác sẽ là một vấn đề trong thời gian tới và các tiêu chí được sử dụng để đánh giá các mô hình này có thể không đủ. Mô hình Claude 3 Haiku, đạt được độ chính xác cao hơn nhờ không trả lời khoảng 28% số câu hỏi, là một ví dụ về mô hình mà các nhà nghiên cứu đề xuất như một giải pháp trung gian. Lập trình mô hình để làm tương tự. Mặt khác, không rõ liệu mọi người có chấp nhận được một mô hình liên tục từ chối trả lời hay không.
Các nhà nghiên cứu ủng hộ luật đảm bảo các chuyên gia con người tham gia vào việc xác minh nội dung do AI tạo ra, cũng như các nỗ lực tập trung hơn để giảm ảo giác, có thể thông qua việc kiểm tra thực tế trong vòng lặp của con người và các thủ tục trích dẫn được cải thiện. Họ tin rằng có rất nhiều tiềm năng để cải thiện các công cụ xác minh tính xác thực và đưa ra các bản sửa lỗi nội dung cho những nội dung đã bị thay đổi do ảo giác.