Baitu pāru kodēšana (BPE) ir populārs algoritms, ko izmanto dabiskās valodas apstrādē (NLP) apakšvārdu marķierēšanai. Tās galvenais mērķis ir segmentēt vārdus mazākās vienībās, bieži vien apakšvārdu marķieros, apstrādāt vārdus ārpus vārdnīcas, uzlabot retu vārdu attēlojumu un labāk tvert morfoloģiskās variācijas..
Tālāk ir sniegts BPE darbības sadalījums:
Baitu pāru kodēšanas (BPE) process
Inicializācija
- Sāciet, inicializējot vārdu krājumu ar atsevišķām rakstzīmēm vai baitu secībām.
Iteratīva sapludināšana
-
Atkārtojiet korpusu un identificējiet visbiežāk sastopamo secīgo marķieru pāri.
-
Apvienojiet šos divus marķierus, lai izveidotu jaunu marķieri.
-
Atjauniniet vārdu krājumu ar šo jauno marķieri un turpiniet atkārtošanu.
Apturēšanas kritērijs
- Šis process turpinās noteiktu iterāciju skaitu vai līdz tiek sasniegts noteikts slieksnis (piemēram, vārdu krājuma apjoms vai korpusa pārklājums).
Galīgā vārdnīca
- Galīgo vārdu krājumu veido sapludinātie marķieri, tostarp atsevišķas rakstzīmes un apvienoti apakšvārdu marķieri.
Vārdu, kas neietilpst vārdnīcā (OOV) apstrāde
-
Sastopoties ar vārdu, kura vārdu krājumā nav, BPE to var attēlot kā apakšvārdu marķieru secību no vārdnīcas.
-
Sadalot nezināmos vārdus vārdnīcā atrodamajās apakšvārdu vienībās, tas var apstrādāt OOV vārdus, tos daļēji rekonstruējot.
Lietojumprogramma teksta saspiešanā un valodas modelēšanā
-
Teksta saspiešana: BPE biežu pāru sapludināšana rada saspiestu teksta attēlojumu. Tas aizstāj biežas rakstzīmju secības ar īsākiem attēlojumiem.
-
Valodas modelēšana: BPE ļauj elastīgāk attēlot vārdus, sadalot tos mazākās vienībās. Tas ļauj modelim uztvert morfoloģiskās variācijas un efektīvāk apstrādāt retus vai iepriekš neredzētus vārdus.
Kompromisi un efektivitāte
-
Kompromisi: BPE ir pieskaitāmās skaitļošanas izmaksas, jo apvienošanas pilnvaras ir iteratīvas. Tas var izveidot lielu vārdu krājumu, ietekmējot atmiņu un skaitļošanas efektivitāti. Tokenizācijas process var būt arī lēns lielākiem korpusiem.
-
Efektivitāte: BPE ir ļoti efektīva morfoloģisko variāciju tveršanā, jo īpaši aglutinatīvajās valodās (piemēram, somu, turku), kur vārdiem var būt sarežģīta struktūra. Tas arī prasmīgi apstrādā retus vārdus, uzlabojot modeļa spēju vispārināt līdz neredzētam vārdu krājumam.
Salīdzinājums ar citām tokenizācijas metodēm
-
Vs. Uz vārdiem balstīta marķieri: BPE labāk apstrādā OOV vārdus nekā uz vārdiem balstītas metodes, taču var izveidot lielākas vārdnīcas.
-
Vs. Uz rakstzīmēm balstīta marķieri: BPE tver morfoloģisko informāciju labāk nekā metodes, kuru pamatā ir rakstzīmes, taču, lai efektīvi attēlotu dažus vārdus, var būt nepieciešams vairāk marķieru.
BPE ir daudzpusīga un plaši izmantota dažādos NLP uzdevumos, pateicoties tā spējai apstrādāt OOV vārdus, efektīvi attēlot retus vārdus un tvert morfoloģisko informāciju, padarot to par spēcīgu apakšvārdu marķieru paņēmienu.
