Ορισμός
BLEU (BiLingual Evaluation Understudy), είναι μια μετρική που χρησιμοποιείται στην επεξεργασία φυσικής γλώσσας (NLP) και στη μηχανική μετάφραση για την αξιολόγηση της ποιότητας του παραγόμενου κειμένου σε σχέση με μία ή περισσότερες μεταφράσεις αναφοράς υψηλής ποιότητας. Μετρά πόσο παρόμοιο είναι ένα κείμενο που παράγεται από μηχανή με ένα ή περισσότερα κείμενα αναφοράς που έχουν παραχθεί από άνθρωπο.
Το BLEU λειτουργεί συγκρίνοντας n-grams (ακολουθίες n διαδοχικών λέξεων) μεταξύ του παραγόμενου κειμένου και των κειμένων αναφοράς. Υπολογίζει την ακρίβεια, λαμβάνοντας υπόψη πόσα n-γράμματα στο παραγόμενο κείμενο ταιριάζουν με εκείνα στο κείμενο αναφοράς. Η βαθμολογία ακρίβειας τροποποιείται στη συνέχεια με μια ποινή συντομίας για να μην ευνοούνται οι μικρότερες μεταφράσεις.
Η βαθμολογία BLEU είναι γνωστό ότι συσχετίζεται καλά με την ανθρώπινη κρίση σχετικά με την ποιότητα της μετάφρασης.
Ο τύπος για τον υπολογισμό της βαθμολογίας BLEU περιλαμβάνει ακρίβεια και ποινή συντομίας. Ακολουθεί μια απλουστευμένη εκδοχή του τύπου:
Πού
-
Η BP είναι η ποινή συντομίας για να ληφθεί υπόψη το μήκος του παραγόμενου κειμένου σε σύγκριση με το(τα) κείμενο(α) αναφοράς.
-
n είναι η μέγιστη εξεταζόμενη σειρά n-γραμμάτων (συνήθως 4).
-
P_i είναι η ακρίβεια του i-γράμματος μεταξύ του παραγόμενου κειμένου και του(των) κειμένου(-ων) αναφοράς.
Η ακρίβεια p_i για κάθε i-gram υπολογίζεται διαιρώντας τον αριθμό των ταιριαστών i-grams στο παραγόμενο κείμενο με τον συνολικό αριθμό των i-grams στο παραγόμενο κείμενο. Αυτή η τιμή ακρίβειας πολλαπλασιάζεται για όλες τις τάξεις i-gram και στη συνέχεια αυξάνεται στη δύναμη του αντίστροφου του n (η μέγιστη τάξη n-gram).
Η ποινή συντομίας (ΒΡ) τιμωρεί τις μικρότερες μεταφράσεις συγκρίνοντας το μήκος του παραγόμενου κειμένου με το πλησιέστερο κείμενο αναφοράς ως προς το μήκος. Υπολογίζεται ως εξής:
Πού
-
c είναι το μήκος του παραγόμενου κειμένου
-
r είναι το μήκος του πλησιέστερου κειμένου αναφοράς
Αυτή η ποινή αποτρέπει τις υπερβολικά σύντομες μεταφράσεις από το να λαμβάνουν δυσανάλογα υψηλή βαθμολογία.
Λάβετε υπόψη ότι αυτή είναι μια απλουστευμένη εξήγηση του τύπου της βαθμολογίας BLEU. Ο πραγματικός υπολογισμός μπορεί να περιλαμβάνει πρόσθετες τεχνικές εξομάλυνσης ή τροποποιήσεις για συγκεκριμένες παραλλαγές του BLEU που χρησιμοποιούνται σε διαφορετικά πλαίσια.
Ερμηνεία
Η βαθμολογία BLEU κυμαίνεται από 0 έως 1, όπου το 1 υποδηλώνει τέλεια ταύτιση μεταξύ του παραγόμενου κειμένου και του κειμένου αναφοράς. Οι υψηλότερες βαθμολογίες BLEU υποδηλώνουν γενικά καλύτερη ποιότητα μετάφρασης, αλλά είναι σημαντικό να ληφθούν υπόψη οι περιορισμοί της, όπως η μη συνεκτίμηση της σημασιολογικής σημασίας ή της ευχέρειας.
Η βαθμολογία BLEU δεν είναι ένα απόλυτο μέτρο και η σύγκριση των βαθμολογιών BLEU μεταξύ κειμένων, γλωσσών ή ακόμη και στην ίδια γλώσσα με διαφορετικό αριθμό μεταφράσεων αναφοράς (όσο περισσότερες μεταφράσεις, τόσο πιο πιθανό να ταιριάζουν με τα υποψήφια n-grams) δεν είναι ακριβής.
The following interpretation, however, can be used to get a rough idea of quality of the translations:
| BLEU | Ερμηνεία |
|---|---|
| ﹤0.1 | Σχεδόν άχρηστο |
| 0.1-0.19 | Δύσκολο να καταλάβεις το νόημα |
| 0.2-0.29 | Η ουσία είναι σαφής, αλλά έχει σημαντικά γραμματικά λάθη |
| 0.3-0.39 | Κατανοητές έως καλές μεταφράσεις |
| 0.4-0.49 | Μεταφράσεις υψηλής ποιότητας |
| 0.5-0.59 | Πολύ υψηλής ποιότητας, επαρκείς και άπταιστες μεταφράσεις |
| ≥0.6 | Ποιότητα συχνά καλύτερη από τους ανθρώπους |
Αξίζει να σημειωθεί ότι η BLEU είναι μόνο μία από τις πολλές μετρικές που χρησιμοποιούνται για την αξιολόγηση της μηχανικής μετάφρασης και της παραγωγής κειμένου και χρησιμοποιείται συχνά μαζί με άλλες μεθόδους αξιολόγησης για μια πιο ολοκληρωμένη αξιολόγηση της απόδοσης του μοντέλου.
