Byte Pair Encoding (BPE) és un algorisme popular utilitzat en el processament del llenguatge natural (NLP) per a la tokenització de subparaules. El seu objectiu principal és segmentar paraules en unitats més petites, sovint testimonis de subparaules, per manejar paraules fora del vocabulari, millorar la representació de paraules rares i captar millor les variacions morfològiques..
Aquí teniu un desglossament de com funciona BPE:
Procés de codificació de parells de bytes (BPE)
Inicialització
- Començar inicialitzant el vocabulari amb caràcters individuals o seqüències de bytes.
Fusió iterativa
-
Iterar pel corpus i identificar la parella de fitxes consecutives més freqüent.
-
Combina aquestes dues fitxes per formar una nova fitxa.
-
Actualitzeu el vocabulari amb aquest nou testimoni i continueu iterant.
Stop Criterion
- Aquest procés continua durant un nombre determinat d'iteracions o fins que s'arriba a un determinat llindar (com ara la mida del vocabulari o la cobertura del corpus).
Vocabulari final
- El vocabulari final consta de les fitxes combinades, inclosos els caràcters individuals i les fitxes de subparaules combinades.
Maneig de paraules fora de vocabulari (OOV)
-
Quan trobeu una paraula que no està al vocabulari, BPE la pot representar com una seqüència de fitxes de subparaules del vocabulari.
-
En dividir paraules desconegudes en unitats de subparaules que es troben al vocabulari, pot gestionar paraules OOV reconstruint-les parcialment.
Aplicació en compressió de text i modelatge de llenguatge
-
Compressió de text: la fusió de parells freqüents de BPE dóna com a resultat una representació comprimida del text. Substitueix les seqüències freqüents de caràcters per representacions més curtes.
-
Modelació lingüística: BPE permet una representació més flexible de les paraules dividint-les en unitats més petites. Això permet al model capturar variacions morfològiques i manejar paraules rares o inèdites amb més eficàcia.
Compartiments i efectivitat
-
Compromisos: BPE té càrrega computacional a causa de la naturalesa iterativa de la fusió de fitxes. Pot crear un vocabulari gran, afectant la memòria i l'eficiència de càlcul. El procés de tokenització també pot ser lent per a corpus més grans.
-
Efectivitat: BPE és molt eficaç per captar variacions morfològiques, especialment en llengües aglutinants (per exemple, finès, turc) on les paraules poden tenir estructures complexes. També és hàbil en el maneig de paraules rares, millorant la capacitat del model de generalitzar-se a vocabulari no vist.
Comparació amb altres mètodes de tokenització
-
Vs. Tokenització basada en paraules: BPE gestiona les paraules OOV millor que els mètodes basats en paraules, però pot crear vocabularis més grans.
-
Vs. Tokenització basada en caràcters: BPE captura la informació morfològica millor que els mètodes basats en caràcters, però pot ser que requereixin més fitxes per representar algunes paraules de manera eficient.
BPE és versàtil i s'utilitza àmpliament en diverses tasques de PNL a causa de la seva capacitat per manejar paraules OOV, representar paraules rares de manera eficaç i captar informació morfològica, la qual cosa la converteix en una potent tècnica de tokenització de subparaules.
