Määritelmä
BLEU (BiLlingual Evaluation Understudy) on mittari, jota käytetään luonnollisen kielen käsittelyssä (NLP) ja konekäännöksissä luodun tekstin laadun arvioimiseksi. yksi tai useampi korkealaatuinen viitekäännös. Se mittaa, kuinka samanlainen koneella luotu teksti on yhden tai useamman ihmisen luoman viitetekstin kanssa.
BLEU toimii vertaamalla n-grammia (n peräkkäisen sanan sekvenssiä) luodun tekstin ja viitetekstien välillä. Se laskee tarkkuuden ottaen huomioon, kuinka monta n-grammaa luodussa tekstissä vastaa viitetekstin tai -tekstien n-grammia. Tarkkuuspisteitä muutetaan sitten lyhyyden rangaistuksella, jotta vältytään suosimasta lyhyempiä käännöksiä.
BLEU-pisteiden tiedetään korreloivan hyvin ihmisen arvioon käännösten laadusta.
BLEU-pisteiden laskentakaava sisältää tarkkuuden ja lyhyyden rangaistuksen. Tässä on yksinkertaistettu versio kaavasta:
Missä
-
BP on lyhyysrangaistus, joka ottaa huomioon luodun tekstin pituuden verrattuna viitetekstiin.
-
n on suurin huomioitu n-grammien järjestys (yleensä 4).
-
P_i on i-grammin tarkkuus luodun tekstin ja viitetekstien välillä.
Tarkkuus p_i jokaiselle i-grammille lasketaan jakamalla generoidussa tekstissä olevien vastaavien i-grammien lukumäärä generoidun tekstin i-grammien kokonaismäärällä. Tämä tarkkuusarvo kerrotaan kaikilla i-grammien järjestyksillä ja nostetaan sitten n:n käänteisluvun potenssiin (maksimi n-grammien järjestys).
Lyhyysrangaistus (BP) rankaisee lyhyempiä käännöksiä vertaamalla luodun tekstin pituutta pituuden suhteen lähimpään viitetekstiin. Se lasketaan seuraavasti:
Missä
-
c on luodun tekstin pituus
-
r on lähimmän viitetekstin pituus
Tämä rangaistus estää liian lyhyitä käännöksiä saamasta suhteettoman korkeita pisteitä.
Muista, että tämä on yksinkertaistettu selitys BLEU-pistemääräkaavasta. Varsinainen laskenta saattaa sisältää ylimääräisiä tasoitustekniikoita tai muutoksia BLEU:n tietyille muunnelmille, joita käytetään eri yhteyksissä.
Tulkinta
BLEU-pisteet vaihtelevat välillä 0-1, jossa 1 osoittaa täydellisen vastaavuuden luodun tekstin ja viitetekstien välillä. Korkeammat BLEU-pisteet viittaavat yleensä parempaan käännöslaatuun, mutta on tärkeää ottaa huomioon sen rajoitukset, kuten semanttisen merkityksen tai sujuvuuden huomiotta jättäminen.
BLEU-pistemäärä ei ole absoluuttinen mitta, eikä BLEU-pisteiden vertaaminen kohtien, kielten tai jopa saman kielen välillä eri määrällä viitekäännöksiä (mitä enemmän käännöksiä, sitä todennäköisemmin vastaa ehdokkaiden n-grammia) ole tarkkaa.
Seuraavaa tulkintaa voidaan kuitenkin käyttää karkea käsitys käännösten laadusta:
On syytä huomata, että BLEU on vain yksi monista mittareista, joita käytetään konekääntämisen ja tekstin luomisen arvioinnissa, ja sitä käytetään usein muiden arviointimenetelmien rinnalla mallin suorituskyvyn kattavampaan arviointiin.
