20 Márta, 2024
An Mallacht Aisiompaithe
Léirigh Múnlaí Móra Teanga (LLManna) cosúil le GPT-4 agus Llama-2 cumais iontacha i dtuiscint agus ag giniúint téacs cosúil le duine, a chuimsíonn raon leathan eolais. Mar sin féin, teipeann orthu ag tasc atá simplí de réir dealraimh: fíricí foghlamtha a aisiompú. Tugann an teorannú seo, ar a dtugtar an "Mallacht Aisiompaithe," le tuiscint nach féidir le LLManna a bhaint amach gur "gné de A" é B ó fhoghlaim "go bhfuil gné B ag A," bunscil réasúnaíochta atá ag leanaí fiú. Tugann an páipéar seo isteach "Reverse Training," modh nua chun aghaidh a thabhairt ar an dúshlán seo trí chur chuige oiliúna déthreo a ghiaráil chun tuiscint an mhúnla ar fhíorais a fheabhsú i bhformáidí chun cinn agus i bhformáidí droim ar ais.
Bunús an Mhallacht Aisiompaithe
Eascraíonn an fhadhb as cur chuige oiliúna bunúsacha LLManna, a bhaineann go hiondúil le foghlaim atá forchéimnitheach ó chlé go deas. Ní mhúineann an modh seo go bunúsach na samhlacha chun faisnéis a thuiscint nó a ghiniúint san ord droim ar ais. Mar gheall ar nádúr an dáileacháin sonraí de réir dhlí Zipf, ní luaitear go leor fíricí ach i dtreo amháin, rud a chuireann an cheist seo níos measa. Cuireann an "Mallacht Aisiompaithe" teorainn le tuiscint na LLM ar chaidrimh chómhalartacha agus ar choibhéis i ráitis, rud a fhágann go bhfuil easnamh suntasach ina gcumas réasúnaíochta.
An Mallacht Aisiompú a Shárú le hOiliúint Aisiompaithe
Déanann an réiteach atá beartaithe, Reverse Training, na sonraí oiliúna atá ar fáil a dhúbailt trí bhunleaganacha agus leaganacha droim ar ais de theaghráin oiliúna a áireamh. Tá an próiseas aisiompaithe cúramach gan fotheaghráin áirithe a athrú, mar ainmneacha aonáin, ag coinneáil a seicheamh bunaidh chun an comhthéacs a chaomhnú. Cuireann an modh seo, cosúil le tabhairt isteach an dara teanga don LLM le foghlaim, go mór le cumas an mhúnla faisnéis a phróiseáil agus a ghiniúint sa dá threo.
An Modh Oiliúna Droim ar Ais a Thástáil
Rinne na húdair na turgnaimh seo a leanas chun a modh molta a thástáil:
1- Tasc Droim ar Ais Siombalach: Triail timpeallachta rialaithe a thaispeánann cumas an mhodha gaolmhaireacht aisiompaithe a thuiscint agus a chur i bhfeidhm.
2- Tasc Beathaisnéise a Fhreaschur: Úsáid a bhaint as tacar sonraí beathaisnéise chun feidhmíocht a mheas maidir le hainmneacha daoine a ghiniúint ó mhionsonraí tugtha, ar chúl.
3- Fíor-Aisiompú Faisnéise an Domhain: Measúnú a dhéanamh ar éifeachtacht an mhodha i gcásanna sa saol fíor, lena n-áirítear fíricí faoi dhaoine cáiliúla agus a gcaidrimh a aisiompú.
4- Mionchoigeartú ar Fhíricí Bréige: Cumas foghlama na samhla a thástáil ar fhíorais bhréige nua-thionscanta.
Ar fud na dturgnaimh seo, ní hamháin gur mhaolaigh Reverse Training an Mallacht Aisiompaithe ach, i gcásanna áirithe, chuir siad deireadh leis go hiomlán. Bhí an modh an-éifeachtach nuair a caomhnaíodh ainmneacha aonán ina n-ord bunaidh le linn an phróisis aisiompaithe, rud a chuir béim ar a thábhachtaí atá sé go gcoimeádfaí ancairí comhthéacsúla áirithe.
Impleachtaí agus Treonna Amach Anseo
Osclaíonn rathúlacht Reverse Training maidir le dul i ngleic leis an Reversal Curse bealaí nua le haghaidh modheolaíochtaí oiliúna LLM. Trí fheabhas a chur ar thuiscint samhlacha ar chaidrimh chómhalartacha agus ar choibhéis i ráitis, osclaíonn an cur chuige seo an doras chuig cumais réasúnaíochta níos sofaisticiúla. D’fhéadfadh taighde sa todhchaí leas iomlán a bhaint as an bpróiseas aisiompaithe a fhiosrú, an poitéinseal chun oiliúint droim ar ais a chomhtháthú in ailtireachtaí samhlacha teanga eile, agus feidhmiú níos leithne an mhodha seo i dtuiscint teanga nádúrtha agus i dtascanna giniúna.