De réir staidéar le déanaí, fiú na samhlacha AI is fearr taithí acu go rialta hallucinations—earráidí nuair a ghineann na samhlacha faisnéis bhréagach nó mhíthreorach. Tá an fhadhb seo ag gach samhail AI giniúna - ó Google Gemini go Claude Anthropic agus an GPT-4o is déanaí de chuid OpenAI - ach athraíonn cineál agus minicíocht na n-earráidí de réir sonraí oiliúna.
Mar iarracht chun na siabhránachtaí seo a mheas, rinne taighdeoirí ó Cornell, ollscoileanna Washington agus Waterloo, agus an eagraíocht AI2 aschuir mhúnla a chur i gcomparáid le foinsí iontaofa ar ábhair éagsúla, lena n-áirítear tíreolaíocht, stair, sláinte agus dlí. Níor éirigh go maith le múnla ar bith go comhsheasmhach ar fud na ndaoine aonair go léir, de réir na sonraí, agus rinne na cinn a d’fhulaing níos lú siabhránachtaí amhlaidh i bpáirt toisc gur dhiúltaigh siad freagra a thabhairt ar cheisteanna a d’fhéadfadh a bheith freagartha acu go hearráideach.
Leagann an taighde béim ar an deacracht leanúnach a bhaineann le bheith ag brath ar ábhar a ghintear le AI, toisc nach bhfuil fiú na samhlacha is forbartha in ann téacs beacht gan siabhránachtaí a ghiniúint i thart ar 35% de na cásanna. Áirítear san imscrúdú seo ábhair níos deacra nach bhfuil clúdaithe ag Vicipéid, cultúr, airgeadas agus leigheas, ach is minic a dhírigh staidéir roimhe seo ar cheisteanna a raibh teacht orthu go héasca ar an Vicipéid. Rinneamar measúnú ar níos mó ná dosaen samhlacha aitheanta, mar shampla Google's Gemini 1.5 Pro, Meta's Llama 3, agus GPT-4o.
Fuair an staidéar amach cé go bhfuil samhlacha AI tar éis dul chun cinn, níor tháinig laghdú suntasach ar a rátaí siabhránachtaí. Bhí samhlacha OpenAI ar na cinn ba lú dóchúla torthaí míchruinne a thabhairt; Mar sin féin, bhí níos mó trioblóide ag na samhlacha ceisteanna a fhreagairt faoi airgeadas agus daoine cáiliúla ná mar a bhí acu faoin tíreolaíocht agus an ríomheolaíocht.
Ní hamháin go raibh sé deacair ag samhlacha nach raibh cumas cuardaigh gréasáin acu fadhbanna a fhreagairt nach bhfuil clúdaithe ag Vicipéid, ach d'fheidhmigh samhlacha níos lú níos fearr ná na cinn níos mó i dtéarmaí ráta bréagchabhrach.
Léiríonn an taighde go mbeidh siabhránachtaí ina fhadhb go ceann tamaill eile agus go mb’fhéidir nach leor na critéir atá á n-úsáid chun na múnlaí seo a mheasúnú. Is sampla amháin é samhail Claude 3 Haiku, a bhain níos cruinne amach trí nár fhreagair tuairim is 28% de na ceisteanna, de shamhail a mholann na taighdeoirí mar réiteach idirmheánach. Samhlacha ríomhchlárú chun an rud céanna a dhéanamh. Ar an láimh eile, níl sé soiléir an nglacfaidh daoine le múnla a dhiúltaíonn go comhsheasmhach freagra a thabhairt.
Tacaíonn na taighdeoirí le reachtaíocht a ráthaíonn go bhfuil baint ag saineolaithe daonna le hábhar a ghintear in AI a fhíorú, chomh maith le hiarrachtaí níos comhchruinnithe chun siabhránachtaí a laghdú, b’fhéidir trí sheiceáil fíricí daonna-i-an-lúb agus nósanna imeachta feabhsaithe lua. Creideann siad go bhfuil go leor féidearthachtaí ann feabhas a chur ar uirlisí seiceála fíricí agus réitigh ábhair a thairiscint d’inneachar a d’athraigh siabhránachtaí.