Definition
BLEU (BiLsproget Evaluering Uunderstudy), er en metrik, der bruges i naturlig sprogbehandling (NLP) og maskinoversættelse til at evaluere kvaliteten af genereret tekst i forhold til en eller flere referenceoversættelser af høj kvalitet. Den måler, hvor meget en maskingenereret tekst ligner en eller flere menneskeskabte referencetekster.
BLEU fungerer ved at sammenligne n-gram (sekvenser af n på hinanden følgende ord) mellem den genererede tekst og referenceteksterne. Den beregner præcision i betragtning af, hvor mange n-gram i den genererede tekst, der matcher dem i referenceteksten(erne). Præcisionsresultatet modificeres derefter med en korthedsstraf for at undgå at favorisere kortere oversættelser.
BLEU-score er kendt for at korrelere godt med menneskelig vurdering af oversættelseskvalitet.
Formlen til beregning af BLEU-scoren involverer præcision og en korthedsstraf. Her er en forenklet version af formlen:
Hvor
-
BP er korthedsstraffen for at tage højde for længden af den genererede tekst sammenlignet med referenceteksten(erne).
-
n er den maksimale n-gram rækkefølge, der tages i betragtning (normalt 4).
-
P_i er præcisionen af i-grammet mellem den genererede tekst og referenceteksten(e).
Præcisionen p_i for hvert i-gram beregnes ved at dividere antallet af matchende i-gram i den genererede tekst med det samlede antal i-gram i den genererede tekst. Denne præcisionsværdi multipliceres sammen for alle i-gram ordrer og hæves derefter til potensen af den reciproke af n (den maksimale n-gram rækkefølge).
Korthedsstraffen (BP) straffer kortere oversættelser ved at sammenligne længden af den genererede tekst med den nærmeste referencetekst med hensyn til længde. Det er beregnet som:
Hvor
-
c er længden af den genererede tekst
-
r er længden af den nærmeste referencetekst
Denne straf forhindrer alt for korte oversættelser i at få uforholdsmæssigt høje scores.
Husk, at dette er en forenklet forklaring af BLEU-scoreformlen. Den faktiske beregning kan involvere yderligere udjævningsteknikker eller modifikationer for specifikke variationer af BLEU brugt i forskellige sammenhænge.
Fortolkning
BLEU-scoren går fra 0 til 1, hvor 1 angiver et perfekt match mellem den genererede tekst og referenceteksten/-erne. Højere BLEU-score tyder generelt på bedre oversættelseskvalitet, men det er vigtigt at overveje dets begrænsninger, såsom ikke at tage højde for semantisk betydning eller flydende.
BLEU-scoren er ikke et absolut mål, og sammenligning af BLEU-scorer mellem passager, sprog eller endda på det samme sprog med forskellige antal referenceoversættelser (jo flere oversættelser, jo mere sandsynligt er det at matche kandidatens n-gram) er ikke nøjagtig.
Den følgende fortolkning kan dog bruges til at få en grov idé af kvaliteten af oversættelserne:
Det er værd at bemærke, at BLEU kun er en af flere målinger, der bruges til at evaluere maskinoversættelse og tekstgenerering, og den bruges ofte sammen med andre evalueringsmetoder til en mere omfattende vurdering af modellens ydeevne.
