Is algartam coitianta é Ionchódú Péire Beart (BPE) a úsáidtear i bpróiseáil teanga nádúrtha (NLP) le haghaidh tokenization subword. Is é an príomhsprioc atá aige ná focail a dheighilt ina haonaid níos lú, comharthaí fofhocail go minic, focail as stór focal a láimhseáil, léiriú na bhfocal neamhchoitianta a fheabhsú, agus athruithe moirfeolaíocha a ghabháil níos fearr..
Seo miondealú ar conas a oibríonn BPE:
Próiseas Ionchódú Péire Beart (BPE)
Túsú
- Tosaigh tríd an stór focal a thúsú le carachtair aonair nó le seichimh beart.
Cumasc atrialach
-
Atriall tríd an gcorpas agus sainaithin an péire comharthaí as a chéile is minice.
-
Cumaisc an dá chomhartha seo chun comhartha nua a dhéanamh.
-
Nuashonraigh an stór focal leis an comhartha nua seo agus lean ar aghaidh leis an atriall.
Stop Criterion
- Leanann an próiseas seo ar aghaidh ar feadh líon socraithe atriallta nó go dtí go mbaintear amach tairseach áirithe (amhail méid foclóra nó clúdach corpais).
Stór Focal Deiridh
- Is éard atá sa stór focal deiridh na comharthaí cumaisc, lena n-áirítear carachtair singil agus comharthaí fofhocail chumaisc.
Focail As Stór Focal (OOV) a Láimhseáil
-
Nuair a thagann BPE ar fhocal nach bhfuil sa stór focal, is féidir le BPE é a léiriú mar sheicheamh comharthaí fofhocail ón stór focal.
-
Trí fhocail anaithnid a bhriseadh ina n-aonaid fofhocail a fhaightear sa stór focal, is féidir leis focail OOV a láimhseáil trí iad a athchruthú go páirteach.
Feidhmchlár i gComhbhrú Téacs agus sa Mhúnlú Teanga
-
Comhbhrú Téacs: Mar thoradh ar chumasc péirí minice BPE déantar léiriú comhbhrúite den téacs. Cuirtear léirithe níos giorra in ionad seichimh mhinice de charachtair.
-
Samhaltú Teanga: Ceadaíonn BPE léiriú níos solúbtha ar fhocail trí iad a bhriseadh síos ina aonaid níos lú. Cuireann sé seo ar chumas an mhúnla éagsúlachtaí moirfeolaíocha a ghabháil agus focail neamhchoitianta nó nach bhfacthas cheana a láimhseáil ar bhealach níos éifeachtaí.
Comhbhabhtáil agus Éifeachtúlacht
-
Comhthrádáil: tá forchostais ríomhaireachtúla ag BPE mar gheall ar nádúr atriallach na n-earraí cumaisc. Is féidir leis foclóir mór a chruthú, rud a imríonn tionchar ar éifeachtúlacht cuimhne agus ríomh. Féadann an próiseas comharthaíochta a bheith mall freisin le haghaidh corparáidí níos mó.
-
Éifeachtúlacht: Tá BPE an-éifeachtach maidir le athruithe moirfeolaíocha a ghabháil, go háirithe i dteangacha comhghabhála (m.sh. Fionlainnis, Tuircis) áit ar féidir le struchtúir chasta a bheith ag focail. Tá sé cumasach freisin ag láimhseáil focail neamhchoitianta, ag feabhsú cumas an mhúnla chun ginearálú go stór focal nach bhfacthas riamh cheana.
Comparáid le Modhanna Comharthaíochta Eile
-
Vs. Comharthaíocht Focal-bhunaithe: Láimhseálann BPE focail OOV níos fearr ná modhanna focal-bhunaithe ach is féidir leis stór focal níos mó a chruthú.
-
Vs. Comharthaíocht Carachtar-bhunaithe: Gabhann BPE faisnéis mhoirfeolaíoch níos fearr ná modhanna atá bunaithe ar shaintréithe ach d’fhéadfadh go mbeadh níos mó comharthaí ag teastáil chun roinnt focal a léiriú go héifeachtach.
Tá BPE ildánach agus in úsáid go forleathan i dtascanna éagsúla NLP mar gheall ar a chumas focail OOV a láimhseáil, focail annamha a léiriú go héifeachtach, agus faisnéis moirfeolaíoch a ghabháil, rud a fhágann gur teicníc chumhachtach chomharthaíochta fofhocail é.
