Byte Pair Encoding (BPE) je priljubljen algoritem, ki se uporablja pri obdelavi naravnega jezika (NLP) za podbesedno tokenizacijo. Njegov glavni cilj je segmentirati besede na manjše enote, pogosto podbesedne žetone, ravnati z besedami, ki niso v besedišču, izboljšati predstavitev redkih besed in bolje zajeti morfološke različice.
Tukaj je razčlenitev delovanja BPE:
Proces kodiranja bajtnih parov (BPE)
Inicializacija
- Začnite z inicializacijo besedišča s posameznimi znaki ali zaporedji bajtov.
Iterativno spajanje
-
Ponovite skozi korpus in identificirajte najpogostejši par zaporednih žetonov.
-
Združite ta dva žetona, da ustvarite nov žeton.
-
Posodobite besedišče s tem novim žetonom in nadaljujte s ponavljanjem.
Merilo zaustavitve
- Ta postopek se nadaljuje določeno število ponovitev ali dokler ni dosežen določen prag (kot je velikost besedišča ali pokritost korpusa).
Končni besednjak
- Končni besednjak je sestavljen iz združenih žetonov, vključno s posameznimi znaki in združenimi žetoni podbesed.
Ravnanje z besedami izven besedišča (OOV)
-
Ko naleti na besedo, ki je ni v besedišču, jo lahko BPE predstavi kot zaporedje žetonov podbesed iz besednjaka.
-
Z razdelitvijo neznanih besed na podbesedne enote, ki jih najdemo v besedišču, lahko obravnava besede OOV tako, da jih delno rekonstruira.
Uporaba pri stiskanju besedila in jezikovnem modeliranju
-
Stiskanje besedila: BPE-jevo združevanje pogostih parov povzroči stisnjeno predstavitev besedila. Zamenja pogosta zaporedja znakov s krajšimi predstavitvami.
-
Jezikovno modeliranje: BPE omogoča bolj prilagodljivo predstavitev besed tako, da jih razdeli na manjše enote. To omogoča modelu, da zajame morfološke variacije in učinkoviteje obravnava redke ali prej nevidene besede.
Kompromisi in učinkovitost
-
Kompromisi: BPE ima računske stroške zaradi iterativne narave združevanja žetonov. lahko ustvari velik besedni zaklad, kar vpliva na spomin in učinkovitost računanja. Postopek tokenizacije je lahko tudi počasen za večje korpuse.
-
Učinkovitost: BPE je zelo učinkovit pri zajemanju morfoloških variacij, zlasti v aglutinativnih jezikih (npr. finščini, turščini), kjer imajo lahko besede kompleksne strukture. Prav tako je spreten pri ravnanju z redkimi besedami, kar izboljša sposobnost modela, da posploši na neviden besednjak.
Primerjava z drugimi metodami tokenizacije
-
Vs. Tokenizacija na podlagi besed: BPE obravnava besede OOV bolje kot metode, ki temeljijo na besedah, vendar lahko ustvari večje besednjake.
-
Vs. Tokenizacija na podlagi znakov: BPE zajame morfološke informacije bolje kot metode, ki temeljijo na znakih, vendar bo morda zahtevalo več žetonov za učinkovito predstavitev nekaterih besed.
BPE je vsestranski in se pogosto uporablja pri različnih nalogah NLP zaradi svoje zmožnosti obravnavanja besed OOV, učinkovitega predstavljanja redkih besed in zajemanja morfoloških informacij, zaradi česar je močna tehnika tokenizacije podbesed.
