Byte Pair Encoding (BPE) hizkuntza naturalaren prozesamenduan (NLP) erabiltzen den algoritmo ezaguna da azpihitzen tokenizazioa egiteko. Bere helburu nagusia da hitzak unitate txikiagoetan segmentatzea, askotan azpihitz-tokenak, hiztegitik kanpoko hitzak kudeatzea, hitz arraroen irudikapena hobetzea eta hobeto aldaera morfologikoak harrapatzea..
Hona hemen BPE-k nola funtzionatzen duen:
Byte Bikoteen Encoding (BPE) prozesua
Hasieran
- Hiztegia karaktere indibidualekin edo byte-sekuentziarekin hasieratzen hasi.
Bategite iteratiboa
-
Korpusean zehar errepikatu eta ondoz ondoko token bikoterik ohikoena identifikatu.
-
Batu bi token hauek token berri bat osatzeko.
-
Eguneratu hiztegia token berri honekin eta jarraitu errepikatzen.
Gelditu irizpidea
- Prozesu honek iterazio kopuru jakin batean jarraitzen du edo atalase jakin bat (adibidez, hiztegiaren tamaina edo corpusaren estaldura) iritsi arte.
Azken Hiztegia
- Azken hiztegia batutako tokenek osatzen dute, karaktere bakarrak eta bateratutako azpihitzen tokenak barne.
Hiztegitik kanpoko hitzak maneiatzea
-
Hiztegian ez dagoen hitz batekin topo egitean, BPEk hiztegiko azpihitz-token sekuentzia gisa irudika dezake.
-
Hitz ezezagunak hiztegian aurkitzen diren azpihitz-unitateetan zatituz, OOV hitzak kudeatu ditzake partzialki berreraikiz.
Testu-konpresioan eta hizkuntza-modelizazioan aplikazioa
-
Testu-konpresioa: BPE-k maiz bikoteen bat egiteak testuaren irudikapen konprimitua lortzen du. Karaktere-segida maiz ordezkatzen ditu irudikapen laburragoekin.
-
Hizkuntza eredua: BPE-k hitzen irudikapen malguagoa ahalbidetzen du, unitate txikiagoetan zatituz. Horri esker, ereduari aldaera morfologikoak atzemateko eta aurrez ikusi gabeko hitz arraroak edo lehenago ikusi gabeko hitzak modu eraginkorragoan kudeatzen ditu.
Konpromisoak eta eraginkortasuna
-
Trade-offs: BPE-k konputazio-gastua du, token batuketaren izaera iteratiboa dela eta. Hiztegi handia sor dezake, memorian eta konputazioaren eraginkortasuna eraginez. Tokenizazio-prozesua ere motela izan daiteke corpus handiagoetarako.
-
Eraginkortasuna: BPE oso eraginkorra da aldaera morfologikoak harrapatzeko, bereziki hizkuntza aglutinatiboetan (adibidez, finlandiera, turkiera), hitzek egitura konplexuak izan ditzaketenean. Hitz arraroak maneiatzen ere trebea da, ereduak ikusten ez den hiztegira orokortzeko duen gaitasuna hobetuz.
Beste Tokenizazio-metodo batzuekin alderatzea
-
Vs. Hitzetan oinarritutako tokenizazioa: BPEk hitzetan oinarritutako metodoek baino hobeto maneiatzen ditu OOV hitzak, baina hiztegi handiagoak sor ditzake.
-
Vs. Karaktereetan oinarritutako tokenizazioa: BPEk informazio morfologikoa hobeto harrapatzen du karaktereetan oinarritutako metodoek baino, baina baliteke token gehiago behar izatea hitz batzuk modu eraginkorrean irudikatzeko.
BPE polifazetikoa eta oso erabilia da NLPko hainbat zereginetan OOV hitzak kudeatzeko, hitz arraroak modu eraginkorrean irudikatzeko eta informazio morfologikoa harrapatzeko duelako, azpihitzen tokenizazio teknika indartsua dela eta.
