Ny studie avslöjar ihållande hallucinationer i bästa AI-modeller

Uppdaterad på August 16, 2024 2 minuter läst

Enligt en nyligen genomförd studie upplever även de bästa AI-modellerna regelbundet hallucinationer ))—fel där modellerna genererar falsk eller vilseledande information. Alla generativa AI-modeller – från Googles Gemini till Anthropics Claude och OpenAIs senaste GPT-4o – har detta problem, men typen och frekvensen av fel varierar beroende på träningsdata.

I ett försök att bedöma dessa hallucinationer jämförde forskare från Cornell, universiteten i Washington och Waterloo och organisationen AI2 modellutdata mot tillförlitliga källor om en mängd olika ämnen, inklusive geografi, historia, hälsa och juridik. Ingen modell fungerade konsekvent bra för alla individer, enligt data, och de som upplevde mindre hallucinationer gjorde det delvis för att de vägrade att svara på frågor som de kan ha besvarat felaktigt.

Forskningen understryker den ihållande svårigheten att förlita sig på AI-genererat material, eftersom även de mest avancerade modellerna bara kan generera exakt text utan hallucinationer i cirka 35 % av fallen. Den här undersökningen inkluderar svårare ämnen som inte behandlas av Wikipedia, såsom kultur, ekonomi och medicin, medan tidigare studier ofta fokuserade på frågor med lättillgängliga svar på Wikipedia. Vi utvärderade mer än ett dussin välkända modeller, som Googles Gemini 1.5 Pro, Metas Llama 3 och GPT-4o.

Studien upptäckte att även om AI-modeller har utvecklats, har deras frekvens av hallucinationer inte minskat märkbart. OpenAI:s modeller var bland de minst benägna att ge felaktiga resultat; ändå hade modellerna mer problem med att svara på frågor om ekonomi och kändisar än om geografi och datavetenskap.

Inte bara modeller som saknade webbsökningsmöjligheter kämpade för att svara på problem som inte täcks av Wikipedia, utan mindre modeller överträffade de större när det gäller hallucinationsfrekvens. Dessa resultat tvivlar på de framsteg som AI-leverantörer har påstått sig ha gjort.

Forskningen tyder på att hallucinationer kommer att vara ett problem under en tid framöver och att kriterierna som används för att bedöma dessa modeller kanske inte är tillräckliga. Claude 3 Haiku-modellen, som uppnådde större noggrannhet genom att inte svara på ungefär 28 % av frågorna, är ett exempel på en modell som forskarna föreslår som en mellanlösning. Programmera modeller för att göra detsamma. Å andra sidan är det oklart om folk kommer att tolerera en modell som konsekvent vägrar att svara.

Forskarna stöder lagstiftning som garanterar att mänskliga experter är inblandade i att verifiera AI-genererat innehåll, såväl som mer koncentrerade ansträngningar för att minska hallucinationer, kanske genom faktagranskning och förbättrade citeringsprocedurer. De tror att det finns en stor potential att förbättra verktyg för faktakontroll och erbjuda innehållskorrigeringar för innehåll som har förändrats av hallucinationer.