Аныктама
BLEU (BiLingual Evaluation Understudy), табигый тилди иштетүүдө (NLP) жана машина котормосунда түзүлгөн тексттин сапатын баалоо үчүн колдонулган метрика. бир же бир нече жогорку сапаттагы шилтеме котормолору. Ал машинада түзүлгөн тексттин адам тарабынан түзүлгөн бир же бир нече маалымдама текстине канчалык окшош экенин өлчөйт.
BLEU түзүлгөн текст менен маалымдама тексттердин ортосундагы n-граммдарды (н ырааттуу сөздөрдүн ырааттуулугун) салыштыруу менен иштейт. Түзүлгөн тексттеги канча n-грамм маалымдама тексттериндегиге дал келерин эске алып, тактыкты эсептейт. Андан кийин тактык упай кыскараак котормолорго артыкчылык бербөө үчүн кыскартуу жазасы менен өзгөртүлөт.
BLEU упайынын котормо сапаты боюнча адамдын пикири менен жакшы байланышы белгилүү.
BLEU упайын эсептөө формуласы тактыкты жана кыскартууну камтыйт. Бул жерде формуланын жөнөкөйлөтүлгөн версиясы:
Кайда
-
BP - бул маалымдама текстке (тексттерге) салыштырмалуу түзүлгөн тексттин узундугун эсепке алуу үчүн кыскартуунун жазасы.
-
n - максималдуу n-граммдык тартип (көбүнчө 4).
-
P_i - түзүлгөн текст менен маалымдама текст(тер) ортосундагы i-грамманын тактыгы.
Ар бир i-грамм үчүн p_i тактыгы түзүлгөн тексттеги дал келген i-граммдардын санын түзүлгөн тексттеги i-граммдардын жалпы санына бөлүү жолу менен эсептелет. Бул тактыктын мааниси бардык i-грамм буйруктары үчүн чогуу көбөйтүлөт жана андан кийин n-дин (максималдуу n-грамм тартиби) өз ара күчүнө чейин көтөрүлөт.
Кыскалык жаза (BP) кыскараак котормолорду узундугу боюнча түзүлгөн тексттин узундугун эң жакын маалымдама текст менен салыштырып жазалайт. Ал төмөнкүдөй эсептелет:
Кайда
-
c - түзүлгөн тексттин узундугу
-
r - эң жакын шилтеме текстинин узундугу
Бул жаза өтө кыска котормолордун пропорционалдуу эмес жогорку упайларды алуусуна жол бербейт.
Бул BLEU упай формуласынын жөнөкөйлөштүрүлгөн түшүндүрмөсү экенин унутпаңыз. Иш жүзүндө эсептөө ар кандай контексттерде колдонулган BLEUнун конкреттүү вариациялары үчүн кошумча тегиздөө ыкмаларын же модификацияларды камтышы мүмкүн.
Чечмелөө
BLEU баллы 0дөн 1ге чейин диапазондо, мында 1 түзүлгөн текст менен маалымдама тексттин (тексттердин) ортосундагы кемчиликсиз дал келүүнү көрсөтөт. Жогорку BLEU упайлары көбүнчө жакшыраак котормо сапатын сунуштайт, бирок анын чектөөлөрүн эске алуу зарыл, мисалы, семантикалык мааниге же эркин сүйлөөгө.
BLEU упай абсолюттук өлчөө эмес, жана үзүндүлөр, тилдер, жада калса бир тилде ар кандай сандагы шилтеме котормолору менен BLEU упайларын салыштыруу (канчалык көп котормо болсо, талапкер n-граммга дал келиши ошончолук көп) так эмес.
Төмөнкү interpretation, бирок, [орой идея] алуу үчүн колдонулушу мүмкүн (https://www.cs.cmu. edu/%7Ealavie/Presentations/MT-Evaluation-MT-Summit-Tutorial-19Sep11.pdf) котормолордун сапаты:
<таблица>
BLEU Тертмелөө ﹤0,1 Дээрлик пайдасыз 0,1-0,19 Маңызды түшүнүү кыйын 0,2-0,29 Мааниси түшүнүктүү, бирок олуттуу грамматикалык каталар бар 0,3-0,39 Жакшы котормолорго түшүнүктүү 0,4-0,49 Жогорку сапаттагы котормолор 0,5-0,59 Абдан сапаттуу, адекваттуу жана эркин котормолор ≥0,6 Сапаты көбүнчө адамдарга караганда жакшыраак</таблица>
Белгилей кетсек, BLEU машина котормосун жана текстти түзүүнү баалоо үчүн колдонулган бир нече көрсөткүчтөрдүн бири гана болуп саналат жана ал моделдин иштешин кеңири баалоо үчүн башка баалоо ыкмалары менен катар колдонулат.
