Segons un estudi recent, fins i tot els millors models d'IA experimenten regularment al·lucinacions )): errors en què els models generen informació falsa o enganyosa. Tots els models d'IA generativa, des del Gemini de Google fins al Claude d'Anthropic i el GPT-4o més recent d'OpenAI, tenen aquest problema, però el tipus i la freqüència dels errors difereixen segons les dades d'entrenament.
En un esforç per avaluar aquestes al·lucinacions, investigadors de Cornell, les universitats de Washington i Waterloo i l'organització AI2 van comparar els resultats del model amb fonts fiables sobre una varietat de temes, com ara geografia, història, salut i dret. Cap model va tenir un bon rendiment constant en tots els individus, segons les dades, i els que van experimentar menys al·lucinacions ho van fer en part perquè es van negar a respondre a preguntes que podrien haver respost erròniament.
La investigació subratlla la dificultat persistent de confiar en material generat per IA, ja que fins i tot els models més avançats només són capaços de generar text precís i sense al·lucinacions en aproximadament el 35% dels casos. Aquesta investigació inclou temes més difícils que no estan coberts per Wikipedia, com la cultura, les finances i la medicina, mentre que els estudis anteriors sovint es van centrar en preguntes amb respostes fàcilment accessibles a la Viquipèdia. Hem avaluat més d'una dotzena de models coneguts, com ara el Gemini 1.5 Pro de Google, el Llama 3 de Meta i el GPT-4o.
L'estudi va descobrir que, tot i que els models d'IA han avançat, les seves taxes d'al·lucinacions no han disminuït notablement. Els models d'OpenAI eren dels menys propensos a produir resultats inexactes; tanmateix, els models tenien més problemes per respondre preguntes sobre finances i celebritats que no pas sobre geografia i informàtica.
Els models que no tenien capacitat de cerca web no només van lluitar per respondre problemes que no tractava la Viquipèdia, sinó que els models més petits van superar els més grans en termes de taxa d'al·lucinacions. Aquests resultats van posar en dubte els avenços que els proveïdors d'IA han afirmat haver fet.
La investigació indica que les al·lucinacions seran un problema durant un temps i que els criteris que s'utilitzen per avaluar aquests models poden no ser suficients. El model Claude 3 Haiku, que va aconseguir més precisió en no respondre a aproximadament el 28% de les preguntes, és un exemple de model que els investigadors proposen com a solució intermèdia. Models de programació per fer el mateix. D'altra banda, no està clar si la gent tolerarà un model que es nega constantment a respondre.
Els investigadors donen suport a la legislació que garanteix que els experts humans participin en la verificació del contingut generat per la intel·ligència artificial, així com esforços més concentrats per reduir les al·lucinacions, potser mitjançant la verificació de fets humans-in-the-loop i procediments de citació millorats. Creuen que hi ha molt potencial per millorar les eines de verificació de fets i oferir solucions de contingut per al contingut que ha estat alterat per al·lucinacions.