Baitų poros kodavimas (BPE) yra populiarus natūralios kalbos apdorojimo (NLP) algoritmas, skirtas požodžių žymėjimui. Pagrindinis jo tikslas yra suskaidyti žodžius į mažesnius vienetus, dažnai požodžių žetonus, tvarkyti žodžius, kurie nėra žodyno, patobulinti retų žodžių vaizdavimą ir geriau fiksuoti morfologinius variantus..
Štai kaip veikia BPE:
Byte Pair Encoding (BPE) procesas
Inicijuoti
- Pradėkite inicijuodami žodyną atskirais simboliais arba baitų sekomis.
Iteratyvus sujungimas
-
Pakartokite korpusą ir nustatykite dažniausiai pasitaikančią žetonų porą iš eilės.
-
Sujunkite šiuos du žetonus, kad sudarytumėte naują žetoną.
-
Atnaujinkite žodyną naudodami šį naują prieigos raktą ir tęskite kartojimą.
Sustabdymo kriterijus
- Šis procesas tęsiasi tam tikrą pakartojimų skaičių arba tol, kol pasiekiama tam tikra riba (pvz., žodyno dydis arba korpuso aprėptis).
Galutinis žodynas
- Galutinį žodyną sudaro sujungti žetonai, įskaitant atskirus simbolius ir sujungtus požodžių žetonus.
Žodžių, kurių nėra žodyno (OOV) tvarkymas
-
Susidūrus su žodžiu, kurio žodyne nėra, BPE gali jį pavaizduoti kaip požodžių žetonų seką iš žodyno.
-
Suskaidydamas nežinomus žodžius į žodyne esančius požodžių vienetus, jis gali tvarkyti OOV žodžius, iš dalies juos rekonstruodamas.
Taikymas teksto glaudinimo ir kalbos modeliavimo srityje
-
Teksto suspaudimas: BPE sujungus dažnas poras, tekstas yra suglaudintas. Jis pakeičia dažnas simbolių sekas trumpesniais atvaizdais.
-
Kalbos modeliavimas: BPE leidžia lanksčiau vaizduoti žodžius suskaidant juos į mažesnius vienetus. Tai leidžia modeliui užfiksuoti morfologinius variantus ir efektyviau valdyti retus ar anksčiau nematytus žodžius.
Kompromisai ir veiksmingumas
-
Kompetai: BPE turi skaičiavimo išlaidų dėl pasikartojančio jungimo žetonų pobūdžio. Jis gali sukurti didelį žodyną, paveikdamas atmintį ir skaičiavimo efektyvumą. Tokenizacijos procesas taip pat gali būti lėtas didesniems korpusams.
-
Efektyvumas: BPE labai veiksmingas fiksuojant morfologinius variantus, ypač agliutinacinėse kalbose (pvz., suomių, turkų), kuriose žodžiai gali turėti sudėtingą struktūrą. Jis taip pat puikiai valdo retus žodžius, pagerindamas modelio gebėjimą apibendrinti iki neregėto žodyno.
Palyginimas su kitais tokenizacijos metodais
-
Vs. Žodžių žymėjimas: BPE geriau apdoroja OOV žodžius nei žodžiais pagrįsti metodai, tačiau gali sukurti didesnius žodynus.
-
Vs. Ženklinimas simboliais: BPE užfiksuoja morfologinę informaciją geriau nei simboliais pagrįsti metodai, tačiau gali prireikti daugiau žetonų, kad kai kurie žodžiai būtų efektyviai pavaizduoti.
BPE yra universalus ir plačiai naudojamas atliekant įvairias NLP užduotis dėl gebėjimo tvarkyti OOV žodžius, veiksmingai atvaizduoti retus žodžius ir fiksuoti morfologinę informaciją, todėl tai yra galinga požodžių atpažinimo technika.
