ⵜⴰⴱⴰⴷⵓⵜ
BLEU (BⵉLⵜⵓⵜⵍⴰⵢⵜ Eⴰⵙⴽⴰⵙⵉ Uⵏⴷⴻⵔⵙⵜⵓⴷⵢ), ⴷ ⵜⴰⵙⴻⴽⴽⵉⵔⵜ ⵢⴻⵜⵜⵡⴰⵙⵇⴻⴷⵛⴻⵏ ⴷⴻⴳ ⵓⵙⴻⵍⴽⴻⵎ ⵏ ⵜⵓⵜⵍⴰⵢⵜ ⵜⴰⵎⴰⴳⵏⵓⵜ (NLP) ⴷ ⵜⵙⵓⵇⵉⵍⵜ ⵙ ⵜⵎⴰⵛⵉⵏⵉⵏ ⵉ ⵓⵙⴽⴰⵣⴰⵍ ⵏ ⵜⵖⴰⵔⴰ ⵏ ⵓⴹⵔⵉⵙ ⵢⴻⵜⵜⵡⴰⵙⵏⵓⵍⴼⴰⵏ ⵎⴳⴰⵍ . ⵢⵉⵡⴻⵜ ⵏⴻⵖ ⴰⵟⴰⵙ ⵏ ⵜⵙⵓⵇⵇⵉⵍⵉⵏ ⵏ ⵜⵎⵓⵖⵍⵉ ⵏ ⵜⵖⴰⵔⴰ ⵏ ⵜⵖⴰⵔⴰ. ⵢⴻⵜⵜⵇⴰⴷⴰⵔ ⴰⵎⴻⴽ ⵉ ⵢⴻⵜⵜⴻⵎⵛⴰⴱⵉ ⵓⴹⵔⵉⵙ ⵉ ⴷⵢⴻⵙⵏⵓⵍⴼⴰ ⵜⵎⴰⵛⵉⵏⵜ ⵖⴻⵔ ⵢⵉⵡⴻⵏ ⵏⴻⵖ ⴰⵟⴰⵙ ⵏ ⵢⵉⴹⵔⵉⵙⴻⵏ ⵏ ⵓⵙⵎⴻⵍ ⵉ ⴷⵢⴻⵙⵏⵓⵍⴼⴰ ⵓⵎⴷⴰⵏ.
BLEU ⵉⵅⴻⴷⴷⴻⵎ ⵙ ⵓⵙⵇⴻⵔⴷⴻⵛ ⵏ ⵏⴳⵔⴰⵎⵙ (ⵉⵙⴻⴽⴽⵉⵍⴻⵏ ⵏ ⵏ ⵡⴰⵡⴰⵍⴻⵏ ⵢⴻⵜⵜⵡⴰⴹⴻⴼⵔⴻⵏ) ⴳⴰⵔ ⵓⴹⵔⵉⵙ ⵉ ⴷⵢⴻⵜⵜⵡⴰⵙⵏⵓⵍⴼⴰⵏ ⴷ ⵢⵉⴹⵔⵉⵙⴻⵏ ⵏ ⵜⵎⵓⵖⵍⵉ. ⵢⴻⵜⵜⵃⴻⵙⵙⵉⵙ ⵙ ⵜⵖⴰⵡⵍⴰ, ⵢⴻⵜⵜⵅⴻⵎⵎⵉⵎ ⴰⵛⵃⴰⵍ ⵏⴳⵔⴰⵎⵙ ⴷⴻⴳ ⵓⴹⵔⵉⵙ ⵢⴻⵜⵜⵡⴰⵙⵏⵓⵍⴼⴰⵏ ⵢⴻⵜⵜⴻⵎⵛⴰⴱⵉⵏ ⴷ ⵡⵉⴷ ⵢⴻⵍⵍⴰⵏ ⴷⴻⴳ ⵓⴹⵔⵉⵙ (ⵏ) ⵏ ⵓⵙⵎⴻⵍ. ⵙⵢⵉⵏ, ⵢⴻⵜⵜⵡⴰⴱⴻⴷⴷⴻⵍ ⵓⵙⵡⵉⵔ ⵏ ⵜⵖⴰⵔⴰ ⵙ ⵍⵃⴻⴱⵙ ⵏ ⵜⵖⵓⵔⵉ ⴰⴽⴽⴻⵏ ⵓⵔ ⵢⴻⵜⵜⵃⴻⵎⵎⵉⵍ ⴰⵔⴰ ⵜⵉⵙⵓⵇⵇⵉⵍⵉⵏ ⵜⵉⴳⴻⵊⴷⴰⵏⵉⵏ.
ⵙⴽⵓⵔ ⵏ BLEU ⵢⴻⵜⵜⵡⴰⵙⵙⴻⵏ ⴷ ⴰⴽⴽⴻⵏ ⵢⴻⵜⵜⵡⴰⵇⵇⴻⵏ ⵎⵍⵉⵃ ⵖⴻⵔ ⵍⵃⴻⵇⵇ ⵏ ⵓⵎⴷⴰⵏ ⵖⴻⴼ ⵜⵖⴰⵔⴰ ⵏ ⵜⵙⵓⵇⵉⵍⵜ.
Formula ⵏ ⵓⵃⴻⵙⵙ ⵏ ⵓⵙⵡⵉⵔ ⵏ BLEU ⵜⴻⵙⵄⴰ ⴰⵣⴰⵍ ⴷ ⵍⵃⴻⴱⵙ ⵏ ⵜⵖⵓⵔⵉ. ⴰⵜⴰⵏ ⵓⵍⵖⵓ ⴰⴼⵔⴰⵔⴰⵢ ⵏ ⵜⴰⵍⵖⴰ:
ⴰⵏⴷⴰ
-
BP ⴷ ⴰⵄⴰⵇⴻⴱ ⵏ ⵜⵖⵓⵔⵉ ⵉ ⵍⵎⴻⵏⴷ ⵏ ⵓⵃⵙⴻⴱ ⵏ ⵜⴻⵖⵣⵉ ⵏ ⵓⴹⵔⵉⵙ ⵉ ⴷⵢⴻⵜⵜⵡⴰⵙⵏⵓⵍⴼⴰⵏ ⵙ ⵜⵎⵓⵖⵍⵉ ⵏ ⵓⴹⵔⵉⵙ (ⵏ) ⵏ ⵓⵙⵎⴻⵍ.
-
ⵏ ⴷ ⴰⴹⵔⵉⵙ ⵏ ⵏⴳⵔⴰⵎ ⴰⵎⴻⵇⵇⵔⴰⵏ ⵢⴻⵜⵜⵡⴰⵃⴻⵙⴱⴻⵏ (ⵙ ⵓⵎⴰⵜⴰ 4).
-
P_i ⴷ ⴰⴹⵔⵉⵙ ⵏ ⵉⴳⵔⴰⵎ ⴳⴰⵔ ⵓⴹⵔⵉⵙ ⵢⴻⵜⵜⵡⴰⵙⵏⵓⵍⴼⴰⵏ ⴷ ⵓⴹⵔⵉⵙ (ⵏ) ⵏ ⵓⵙⵎⴻⵍ.
ⴰⴹⵔⵉⵙ p_i ⵏ ⵜⵖⴰⵔⴰ ⵉ ⵢⴰⵍ igram ⵢⴻⵜⵜⵡⴰⵃⵙⴰⴱ ⵙ ⵜⴼⴻⵔⵇⴻⵜ ⵏ ⵓⵎⴹⴰⵏ ⵏ ⵉⴳⵔⴰⵎⵙ ⵢⴻⵜⵜⴻⵎⵛⴰⴱⵉⵏ ⴷⴻⴳ ⵓⴹⵔⵉⵙ ⵢⴻⵜⵜⵡⴰⵙⵏⵓⵍⴼⴰⵏ ⵙ ⵓⵎⴹⴰⵏ ⵏ ⵉⴳⵔⴰⵎⵙ ⴰⵎⴰⵜⵓ ⴷⴻⴳ ⵓⴹⵔⵉⵙ ⵢⴻⵜⵜⵡⴰⵙⵏⵓⵍⴼⴰⵏ. ⴰⵣⴰⵍⴰⴳⵉ ⵏ ⵜⵖⴰⵔⴰ ⵢⴻⵜⵜⵡⴰⵙⵏⴻⵔⵏⴰ ⴰⴽⴽ ⵉ ⵡⴰⴽⴽ ⵉⴹⵔⵉⵙⴻⵏ ⵏ ⵉⴳⵔⴰⵎ ⵙⵢⵉⵏ ⵢⴻⵜⵜⵡⴰⵙⵏⴻⵔⵏⴰ ⵙ ⵜⴻⵣⵎⴻⵔⵜ ⵏ ⵜⵎⵓⵖⵍⵉ ⵏ ⵏ (ⴰⴹⵔⵉⵙ ⵏ ⵏⴳⵔⴰⵎ ⴰⵎⴻⵇⵇⵔⴰⵏ).
ⵜⴰⵖⴷⴻⵎⵜ ⵏ ⵜⵖⵓⵔⵉ (BP) ⵜⴻⵜⵜⵃⴻⵜⵜⵉⵎ ⵜⵉⵙⵓⵇⵇⵉⵍⵉⵏ ⵜⵉⴳⴻⵊⴷⴰⵏⵉⵏ ⵙ ⵓⵙⵙⴻⵎⴳⴻⵔⵔⴰⴷ ⵏ ⵜⴻⵖⵣⵉ ⵏ ⵓⴹⵔⵉⵙ ⵉ ⴷⵢⴻⵜⵜⵡⴰⵙⵏⵓⵍⴼⴰⵏ ⴷ ⵓⴹⵔⵉⵙ ⵏ ⵓⵙⵎⴻⵍ ⵉ ⴷⵉⵇⴻⵔⴱⴻⵏ ⴷⴻⴳ ⵡⴰⵢⴻⵏ ⵢⴻⵔⵣⴰⵏ ⵜⵉⵖⵣⵉ. ⵢⴻⵜⵜⵡⴰⵃⵙⴰⴱ ⴰⵎ:
ⴰⵏⴷⴰ
-
ⵛ ⴷ ⵜⵉⵖⵣⵉ ⵏ ⵓⴹⵔⵉⵙ ⵢⴻⵜⵜⵡⴰⵙⵏⵓⵍⴼⴰⵏ
-
ⵔ ⴷ ⵜⵉⵖⵣⵉ ⵏ ⵓⴹⵔⵉⵙ ⵏ ⵓⵙⵎⴻⵍ ⵉⵇⴻⵔⴱⴻⵏ
ⴰⵄⴰⵇⴻⴱⴰ ⵢⴻⴳⴷⴻⵍ ⵜⵉⵙⵓⵇⵇⵉⵍⵉⵏ ⵜⵉⴳⴻⵊⴷⴰⵏⵉⵏ ⵙ ⵡⴰⵟⴰⵙ ⴰⴽⴽⴻⵏ ⵓⵔ ⵜⵜⴰⵡⵉⵏⵜ ⴰⵔⴰ ⵉⴳⵎⴰⴹ ⵓⵔ ⵏⴻⵙⵄⵉ ⵍⵇⵉⵎⴰ.
ⵃⴰⴷⵔⴻⵜ ⴷⴻⴳ ⵡⴰⵍⵍⴰⵖⵏⵡⴻⵏ ⴱⴻⵍⵍⵉ ⴰⵢⴰ ⴷ ⴰⵙⴻⴼⵀⴻⵎ ⵙⴼⴻⵀⵎⴻⵏ ⵏ ⵜⴼⴻⵍⵡⵉⵜ ⵏ ⵓⵙⵡⵉⵔ ⵏ BLEU. ⴰⵃⵔⵉⵛ ⵏ ⵜⵉⴷⴻⵜ ⵢⴻⵣⵎⴻⵔ ⴰⴷ ⴷⵢⴻⵙⵎⴻⴽⵜⵉ ⵜⵉⴳⵏⴰⵜⵉⵏ ⵏ ⵓⵙⵏⴻⴼⵍⵉ ⵏ ⵜⵎⴻⵔⵏⴰ ⵏⴻⵖ ⵉⴱⴻⴷⴷⴰⵍⴻⵏ ⵉ ⵢⵉⴱⴻⴷⴷⵉⵍⴻⵏ ⵉⴳⴻⵔⵔⵣⴻⵏ ⵏ BLEU ⵢⴻⵜⵜⵡⴰⵙⵇⴻⴷⵛⴻⵏ ⴷⴻⴳ ⵢⵉⵎⵓⴽⴰⵏ ⵢⴻⵎⴳⴰⵔⴰⴷⴻⵏ.
ⵜⴰⴼⵙⵉⵔⵜ
ⵜⴰⴳⵎⵓⴹⵜ ⵏ BLEU ⵜⴻⵍⵍⴰ ⴳⴰⵔ 0 ⴰⵔ 1, ⴰⵏⴷⴰ 1 ⵢⴻⵙⵙⴽⴰⵏⴰⵢⴷ ⴰⵙⵙⴰⵖ ⵉⴽⴻⵎⵍⴻⵏ ⴳⴰⵔ ⵓⴹⵔⵉⵙ ⵉ ⴷⵢⴻⵜⵜⵡⴰⵙⵏⵓⵍⴼⴰⵏ ⴷ ⵓⴹⵔⵉⵙ (ⵏ) ⵏ ⵓⵙⵎⴻⵍ. ⵉⵙⵡⵉⵔⴻⵏ ⵏ BLEU ⵢⵓⴳⴰⵔⴻⵏ ⵙ ⵓⵎⴰⵜⴰ ⵙⵙⵓⵜⵓⵔⴻⵏⴷ ⵜⴰⵖⴰⵔⴰ ⵏ ⵜⵙⵓⵇⵉⵍⵜ ⵢⴻⵍⵀⴰⵏ, ⵎⴰⵛⴰ ⵢⴻⵙⵙⴻⴼⴽ ⴰⴷ ⵏⵅⴻⵎⵎⴻⵎ ⵖⴻⴼ ⵜⵖⴰⵡⵙⵉⵡⵉⵏⵏⵏⴻⵙ, ⴰⵎ ⵓⵔ ⵏⵃⴻⵙⵙ ⴰⵔⴰ ⴰⵏⴰⵎⴻⴽ ⵏ ⵜⵎⴻⵏⵏⴰ ⵏⴻⵖ ⵙ ⵜⵖⴰⵡⵍⴰ.
ⴰⵙⵡⵉⵔ ⵏ BLEU ⵓⵔ ⵢⴻⵍⵍⵉ ⴰⵔⴰ ⴷ ⴰⵄⴻⵇⵇⴰ ⵏ ⵜⵎⵓⵖⵍⵉ, ⵢⴻⵔⵏⴰ ⴰⵙⵙⴻⵎⴳⴻⵔⵔⴰⴷ ⵏ ⵢⵉⵙⵡⵉⵔⴻⵏ ⵏ BLEU ⴳⴰⵔ ⵢⵉⴹⵔⵉⵙⴻⵏ, ⵜⵓⵜⵍⴰⵢⵉⵏ, ⵏⴻⵖ ⵓⵍⴰ ⴷⴻⴳ ⵢⵉⵡⴻⵜ ⵏ ⵜⵓⵜⵍⴰⵢⵜ ⵙ ⵓⵎⴹⴰⵏ ⵢⴻⵎⴳⴻⵔⵔⴰⴷⴻⵏ ⵏ ⵜⵙⵓⵇⵇⵉⵍⵉⵏ ⵏ ⵜⵎⵓⵖⵍⵉ (ⴰⴽⴽⴻⵏ ⵍⵍⴰⵏⵜ ⵜⵙⵓⵇⵇⵉⵍⵉⵏ, ⵍⵍⴰⵏⵜ ⵜⵣⴻⵎⵎⴰⵔ ⴰⴷ ⵎⵇⴰⴱⴰⵍⴻⵏⵜ ⵏⴳⵔⴰⵎⵙ ⵏ ⵓⵎⴰⵣⵡⴰⵔ) ⵓⵔ ⵢⴻⵍⵍⵉ ⴰⵔⴰ ⴷ ⴰⵢⴻⵏ ⵢⴻⵍⵀⴰⵏ.
[ⵜⴰⴼⵙⴻⵔⵜ]ⴰⴳⵉ ⵉ ⴷⵉⵜⴻⴷⴷⵓⵏ (https://cloud.google.com/ⴰⵙⵓⵇⴻⵍ/automl/docs/ⴰⵙⴽⴰⵙⵉ#ⵜⴰⴼⵙⴻⵔⵜ), ⴷ ⴰⵛⵓ ⴽⴰⵏ, ⵜⴻⵣⵎⴻⵔ ⴰⴷ ⵜⴻⵜⵜⵡⴰⵙⴻⵇⴷⴻⵛ ⴰⴽⴽⴻⵏ ⴰⴷ ⴷⵏⴰⵡⵉ ⵜⴰⴽⵜⵉ ⵏ ⵜⵎⴻⵥⵥⵓⵖⵜ ⵏ ⵜⵖⴰⵔⴰ ⵏ ⵜⵙⵓⵇⵇⵉⵍⵉⵏ:
<ⵜⴰⴼⴻⵍⵡⵉⵜ>
<ⴰⵇⴻⵔⵔⵓ>
<ⵜⵔ>
<ⵜⵉⵙ>ABLEU</ⵜ>
<ⵜⵀ>ⵜⴰⴼⵙⵉⵔⵜ</ⵜⵀ>
</ⵜⵔ>
</ⴰⵇⴻⵔⵔⵓ>
<ⵜⴰⴼⴻⴽⴽⴰ>
<ⵜⵔ>
<ⵜⴷ>﹤0.1</ⵜⴷ>
<ⵜⴷ>ⵇⵔⵉⴱ ⵓⵔ ⵢⴻⵙⵄⵉ ⴰⵔⴰ ⵍⴼⴰⵢⴷⴰ</ⵜⴷ>
</ⵜⵔ>
<ⵜⵔ>
<ⵜⴷ>0,1-0,19</ⵜⴷ>
<ⵜⴷ>ⵢⴻⵡⵄⴻⵔ ⴰⴷ ⴷⵜⴰⴼⴻⴹ ⴰⵙⴻⵏⵜⴻⵍ</ⵜⴷ>
</ⵜⵔ>
<ⵜⵔ>
<ⵜⴷ>0,2-0,29
<ⵜⴷ>Asmel ⵉⴱⴰⵏ, ⵎⴰⵛⴰ ⵢⴻⵙⵄⴰ ⵜⵓⵛⵛⴹⵉⵡⵉⵏ ⵜⵉⵎⴻⵇⵇⵔⴰⵏⵉⵏ ⵏ ⵜⵊⴻⵔⵔⵓⵎⵜ</ⵜⴷ>
</ⵜⵔ>
<ⵜⵔ>
<ⵜⴷ>0,3-0,39
<ⵜⴷ>ⵢⴻⵜⵜⵡⴰⴼⵀⴻⵎ ⵉ ⵜⵙⵓⵇⵇⵉⵍⵉⵏ ⵢⴻⵍⵀⴰⵏ</ⵜⴷ>
</ⵜⵔ>
<ⵜⵔ>
<ⵜⴷ>0,4-0,49
<ⵜⴷ>ⵜⵉⵙⵓⵇⵇⵉⵍⵉⵏ ⵏ ⵜⵖⴰⵔⴰ ⵄⵍⴰⵢⴻⵏ</ⵜⴷ>
</ⵜⵔ>
<ⵜⵔ>
<ⵜⴷ>0,5-0,59
<ⵜⴷ>ⵜⵉⵙⵓⵇⵇⵉⵍⵉⵏ ⵙ ⵜⵖⴰⵔⴰ ⵢⴻⵍⵀⴰⵏ ⴰⵟⴰⵙ, ⵙ ⵡⴰⵣⴰⵍⵏⵙⴻⵏⵜ, ⵢⴻⵔⵏⴰ ⵙ ⵜⵖⴰⵡⵍⴰ</ⵜⴷ>
</ⵜⵔ>
<ⵜⵔ>
<ⵜⴷ>≥0.6</ⵜⴷ>
<ⵜⴷ>ⵜⴰⵖⴰⵡⵙⴰ ⵜⴻⵍⵀⴰ ⵙ ⵡⴰⵟⴰⵙ ⵖⴻⴼ ⵢⴻⵎⴷⴰⵏⴻⵏ</ⵜⴷ>
</ⵜⵔ>
</ⵜⴰⴼⴻⴽⴽⴰ>
</ⵜⴰⴼⴻⵍⵡⵉⵜ>
ⵢⴻⵙⵙⴻⴼⴽ ⴰⴷ ⴷⵏⴻⵙⵎⴻⴽⵜⵉ ⴷ ⴰⴽⴽⴻⵏ BLEU ⴷ ⵢⵉⵡⴻⵜ ⴽⴰⵏ ⵙⴻⴳ ⵡⴰⵟⴰⵙ ⵏ ⵜⵎⵉⴹⵔⴰⵏⵉⵏ ⵢⴻⵜⵜⵡⴰⵙⵇⴻⴷⵛⴻⵏ ⵉ ⵓⵇⴻⵢⴻⵎ ⵏ ⵜⵙⵓⵇⵉⵍⵜ ⵏ ⵜⵎⴰⵛⵉⵏⵉⵏ ⴷ ⵓⵙⵏⵓⵍⴼⵓ ⵏ ⵢⵉⴹⵔⵉⵙⴻⵏ, ⵢⴻⵔⵏⴰ ⵢⴻⵜⵜⵡⴰⵙⴻⵇⴷⴰⵛ ⵙ ⵡⴰⵟⴰⵙ ⵖⴻⵔ ⵢⵉⴷⵉⵙ ⵏ ⵜⵜⴰⵡⵉⵍⴰⵜ ⵏⵉⴹⴻⵏ ⵏ ⵓⵇⴻⵢⴻⵎ ⵉ ⵓⵇⴻⵢⴻⵎ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵍⴻⵎⵜⴻⵍ ⵙ ⵜⵖⴰⵡⵍⴰ ⵓⴳⴰⵔ.
