ⴷⴻⴳ ⵓⵏⵏⴰⵔ ⵏ ⵜⴷⵉⵏⴰⵎⵉⵜ ⵏ ⵓⵙⴻⵇⴷⴻⵛ ⵏ ⵜⵓⵜⵍⴰⵢⵜ ⵜⴰⵖⴻⵍⵏⴰⵡⵜ (NLP), ⴰⵙⴻⵏⴼⴰⵔ ⵏ SuperGLUE ⵢⴻⴼⴼⴻⵖⴷ ⴷ ⴰⵃⵔⵉⵛ ⵏ ⵓⵙⵏⴻⴼⵍⵉ, ⵢⴻⵔⵏⴰ ⵢⴻⵜⵜⴱⴻⴷⴷⵉⵍⴻⵏ ⴰⴹⵔⵉⵙ ⵏ ⵓⵙⴽⴰⵣⴰⵍ ⵏ ⵜⴻⵣⵎⵎⴰⵔ ⵏ ⵢⵉⵎⵓⴽⴰⵏ ⵏ ⵜⵓⵜⵍⴰⵢⵜ. ⵢⴻⵜⵜⵡⴰⵙⵏⵓⵍⴼⴰⴷ ⴰⵎ ⵓⵙⵏⴻⵔⵏⵉ ⵏⵏⵉⴳ ⵏ ⵡⵉⵏ ⴰⵢ ⵜⵉⴷⵢⴻⵣⵡⴰⵔⴻⵏ, GLUE, SuperGLUE ⵢⴻⵙⵙⴻⵎⵖⴻⵔ ⵡⵉⵏ ⴰⵢ ⵜⵉⴷⵢⴻⵣⵡⴰⵔⴻⵏ ⵢⴻⵔⵏⴰ ⵢⴻⵜⵜⵄⴻⵔⵔⵉⴹ ⴰⴷ ⴷⵢⴻⴼⴽ ⴽⵔⴰ ⵙⴻⴳ ⵍⴻⵅⵚⴰⵚⴰⵜⵏⵏⴻⵙ.
ⴰⵙⵏⴻⵔⵏⵉ ⵏⵏⵉⴳ ⵏ GLUE: Talalit ⵏ SuperGLUE
SuperGLUE ⵢⴻⴼⴼⴻⵖⴷ ⴷ ⵜⵉⵔⵉⵔⵉⵜ ⵖⴻⴼ ⵢⵉⵙⵓⵜⵓⵔ ⴰⵢ ⵍⴰ ⵢⴻⵜⵜⵏⴻⵔⵏⵉⵏ ⴷⴰⵅⴻⵍ ⵏ ⵜⵎⴻⵜⵜⵉ ⵏ PLN ⵉ ⵍⵎⴻⵏⴷ ⵏ ⵢⵉⵡⴻⵏ ⵏ ⵓⵙⵡⵉⵔ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⴰⵢ ⴷⵢⴻⵜⵜⵡⴰⵙⴱⴻⴷⴷⴻⵏ ⵙ ⵜⵖⴰⵡⵍⴰ ⵢⴻⵔⵏⴰ ⵙ ⵜⵖⴰⵡⵍⴰ. ⵎⴰ ⵢⴻⵍⵍⴰ GLUE ⵢⴻⵍⵍⴰ ⴷ ⴰⵃⵔⵉⵛ ⴰⴳⴻⵊⴷⴰⵏ ⴷⴻⴳ ⵓⵙⵙⴻⵎⵔⴻⵙ ⵏ ⵜⵎⵉⴹⵔⴰⵏⵜ ⵏ ⵓⵙⴽⴰⵣⴰⵍ, ⵉⴱⴰⵏⴷ ⴷⴰⴽⴽⴻⵏ ⵉⵎⵓⴷⴻⵍ ⵏ ⵜⵓⵜⵍⴰⵢⵜ ⵢⴻⵙⵙⴻⴼⴽ ⴰⴷ ⵄⴻⴷⴷⵉⵏ ⵖⴻⴼ ⵜⵍⵉⵙⴰ ⵏ ⵍⴻⵛⵖⴰⵍ ⵉⵙⴻⵀⵍⴻⵏ ⵓⴳⴰⵔ ⵢⴻⵔⵏⴰ ⴰⴷ ⵖⵍⵉⵏ ⴷⴻⴳ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵜⵓⵜⵍⴰⵢⵜ ⴰⵢ ⴷⵢⴻⵜⵜⵡⴰⵙⵇⴻⴷⵛⴻⵏ ⵙ ⵜⵖⴰⵡⵍⴰ ⵓⴳⴰⵔ.
ⵉⵎⵙⴻⴹⵔⵓⵢⴻⵏ ⵏ SuperGLUE ⵙⵙⴰⵡⴹⴻⵏ ⴰⴷ ⵙⵏⴻⵇⵙⴻⵏ ⴰⵃⵔⵉⵛ ⵙ ⵓⵙⵙⴻⴽⵛⴻⵎ ⵏ ⵢⵉⵡⴻⵜ ⵏ ⵜⵎⴻⵣⴳⵓⵏⵜ ⵏ ⵍⴻⵛⵖⴰⵍ ⴰⵢ ⵢⴻⵙⵙⴻⴼⴽⴻⵏ ⵎⴰⵛⵉ ⴽⴰⵏ ⴰⴼⵀⴰⵎ, ⵡⴰⵏⴰⴳ ⵓⵍⴰ ⴷ ⴰⵙⴻⵏⵇⴻⴷ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ, ⴰⴼⵀⴰⵎ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵙ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ, ⴷ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ, ⴷⵖⴰ ⵙ ⵡⴰⵢⴰ, ⴰⴷ ⴷⵙⵙⴻⴽⵏⴻⵏ ⴰⵙⴽⴰⵣⴰⵍ (évaluation) ⵙ ⵜⵖⴰⵡⵍⴰ ⵓⴳⴰⵔ ⵏ ⵢⵉⵎⵓⴽⴰⵏ ⵏ ⵓⵙⵙⴻⴼⵀⴻⵎ ⵏ ⵜⵓⵜⵍⴰⵢⵜ.
ⵜⵉⵖⵔⵉⵡⵉⵏ ⴷⴻⴳ SuperGLUE: ⴰⵃⴻⵜⵜⴻⵎ ⵖⴻⴼ ⵜⵍⵉⵙⴰ ⵏ ⵓⵙⴼⴰⵀⴻⵎ ⵏ ⵜⵓⵜⵍⴰⵢⵜ
SuperGLUE ⵢⴻⵙⵙⴽⴰⵏⴰⵢⴷ ⵢⵉⵡⴻⵜ ⵏ ⵜⵎⴻⵣⴳⵓⵏⵜ ⵏ ⵍⴻⵛⵖⴰⵍ ⵉⵅⵓⵚⵚⴻⵏ ⵢⴻⵔⵏⴰ ⵎⵅⴰⵍⵍⴰⴼⴻⵏ ⴰⵢ ⴷⵢⴻⵙⵇⴻⴷⵛⴻⵏ ⵜⵉⵎⵙⴰⵍ ⵢⴻⵎⴳⴻⵔⵔⴰⴷⴻⵏ ⵏ ⵓⵙⵙⴻⴼⵀⴻⵎ ⵏ ⵜⵓⵜⵍⴰⵢⵜ. ⵜⵉⵖⵔⵉⵡⵉⵏⴰ ⵜⵜⵡⴰⵅⴻⴷⵎⴻⵏⵜ ⴰⴽⴽⴻⵏ ⴰⴷ ⵙⵙⵓⵜⵔⴻⵏⵜ ⴰⵙⴻⵏⵇⴻⴷ ⴷ ⵓⵙⵙⴻⴼⵀⴻⵎ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵙ ⵜⴻⵍⵇⴻⵢ ⵓⴳⴰⵔ, ⴰⴷ ⵙⵙⵉⵡⴹⴻⵏⵜ ⴰⴷ ⵙⵙⵉⵡⴹⴻⵏⵜ ⵜⵉⵍⵉⵙⴰ ⵏ ⵜⵎⵓⵖⵍⵉⵡⵉⵏ ⵜⵉⵇⴱⵓⵔⵉⵏ. ⵜⵉⵖⴱⵓⵍⴰ ⵢⴻⵍⵍⴰⵏ ⴷⴰⵅⴻⵍ ⵏ SuperGLUE ⵍⵍⴰⵏⵜ ⴷⴻⴳⵙⴻⵏⵜ:
-
ⴰⵙⴽⴰⵙⵉ ⵏ ⵜⵖⴻⵍⵍⵉⵙⵜ ⵜⴰⵎⴻⵇⵇⵔⴰⵏⵜ (AXb)
-
ⵜⴰⴱⴰⵏⴽⴰ ⵏ ⵓⵄⴰⵇⴻⴱ (CB)
-
ⴰⴼⵔⴰⵏ ⵏ ⵜⵎⵓⵖⵍⵉⵡⵉⵏ ⵜⵉⵎⴰⵢⵏⵓⵜⵉⵏ (COPA): Ajerred ⵏ ⵜⵎⵓⵖⵍⵉ ⵏ ⵙⵙⴻⴱⴱⴰ ⵙ ⵓⴼⵔⴰⵏ ⵏ ⵜⴼⴻⵔⵏⵉⵜ ⵉⵡⴰⵜⴰⵏ ⵙ ⵍⵙⴰⵙ ⵏ ⵡⴰⵙⵙⴰⵖ ⵏ ⵙⵙⴻⴱⴱⴰ ⴷ ⵍⴼⴰⵢⴷⴰ.
-
ⴰⴼⵀⴰⵎ ⵏ ⵜⵖⵓⵔⵉ ⵙ ⵡⴰⵟⴰⵙ ⵏ ⵜⴻⴼⵢⴰⵔ (MultiRC): Ajerred ⵏ ⵜⴼⴻⵀⵎⵉⵜ ⵏ ⵜⵖⵓⵔⵉ ⵙ ⵓⵙⵓⵜⴻⵔ ⵏ ⵢⵉⵎⵓⴽⴰⵏ ⵏ ⵜⵔⵉⵔⵉⵜ ⵉ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ ⵙ ⵡⴰⵟⴰⵙ ⵏ ⵜⴼⴻⵔⵏⵉⵏ ⵙ ⵍⵙⴰⵙ ⵏ ⵢⵉⵡⴻⵏ ⵏ ⵓⴹⵔⵉⵙ.
-
ⴰⵄⵇⴰⵍ ⵏ ⵜⵎⴻⵥⵔⵉ ⵏ ⵓⴹⵔⵉⵙ (RTE): Am ⵡⴰⴽⴽⴻⵏ ⵉ ⴷⵢⴻⵍⵍⴰ ⴷⴻⴳ ⵓⵅⴻⴷⴷⵉⵎ ⵢⴻⵍⵍⴰⵏ ⴷⴻⴳ GLUE, ⴰⵢⴰ ⵢⴻⵜⵜⵃⴻⵜⵜⵉⵎⴷ ⴰⵙⴻⵏⵇⴻⴷ ⵏ ⵡⴰⵙⵙⴰⵖ ⵏ ⵜⵎⴻⵥⵔⵉ ⴳⴰⵔ ⵜⵎⴻⵥⵔⵉⵡⵉⵏ ⵏ ⵜⴻⴼⵢⴰⵔ.
-
ⴰⵡⴰⵍⴻⵏ ⴷⴻⴳ ⵓⵙⵡⵉⵔ (WiC): Askasi ⵏ ⵜⵎⵓⵙⵙⵏⵉ ⵏ ⵢⵉⵎⵓⴽⴰⵏ ⵏ ⵜⵎⵓⵖⵍⵉ ⵖⴻⴼ ⵓⵙⴻⵇⴷⴻⵛ ⵏ ⵡⴰⵡⴰⵍⴻⵏ ⴷⴻⴳ ⵓⵙⵡⵉⵔ ⵢⴻⵎⴳⴰⵔⴰⴷⴻⵏ ⵙ ⵓⵄⴻⵢⵢⴻⵏ ⵎⴰ ⵢⴻⵍⵍⴰ ⴰⵡⴰⵍ ⵢⴻⵙⵄⴰ ⵢⵉⵡⴻⵏ ⵏ ⵓⵏⴰⵎⴻⴽ ⴷⴻⴳ ⵙⵏⴰⵜ ⵏ ⵜⴻⴼⵢⴰⵔ.
-
ⴰⵙⵡⵉⵔ ⵏ ⵓⵙⵏⵓⵍⴼⵓ ⵏ Winograd (WSC): Aqeddic ⵏ ⵜⵣⴻⵎⵎⴰⵔ ⵏ ⵢⵉⵎⴷⴰⵏⴻⵏ ⴷⴻⴳ ⵓⴼⵔⴰⵏ ⵏ ⵢⵉⵙⴻⵎ ⵙ ⵓⵙⴼⴻⵀⴻⵎ ⵏ ⵜⵎⴻⵏⴹⴰⵡⵜ ⴷⴻⴳ ⵜⴻⴼⵢⵉⵔⵜ.
-
BoolQ: Aqeddic ⵏ ⵜⴻⵣⵎⴻⵔⵜ ⵏ ⵢⵉⵎⵓⴽⴰⵏ ⵏ ⵜⵔⵉⵔⵉⵜ ⵉ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ ⵏ ⵜⴱⵓⵛⵉⴹⴰⵏⵜ ⵙ ⵍⵙⴰⵙ ⵏ ⵢⵉⴹⵔⵉⵙⴻⵏ ⵢⴻⵜⵜⵓⵏⴻⴼⴽⴻⵏ.
-
ⴰⴼⵀⴰⵎ ⵏ ⵜⵖⵓⵔⵉ ⵙ ⵓⵙⴽⴰⵙⵉ ⵏ ⵜⵎⵓⵙⵏⵉ (ReCoRD): D ⴰⵅⴻⴷⴷⵉⵎ ⵏ ⵓⵙⴽⴰⵣⴰⵍ ⵏ ⵜⴼⴻⵀⵎⵉⵜ ⵏ ⵜⵖⵓⵔⵉ ⵙ ⵓⵙⵓⵜⴻⵔ ⵏ ⵢⵉⵎⵓⴽⴰⵏ ⵏ ⵜⵎⵓⵖⵍⵉ ⵙ ⵜⵎⵓⵙⵏⵉ ⵏ ⵜⵎⵓⵙⵏⵉ.
-
Askasi ⵏ Skema ⵏ Wwinogender (AXg)
ⴰⵣⴰⵍ ⵏ SuperGLUE ⴷⴻⴳ ⵓⵙⵏⴻⵔⵏⵉ ⵏ PLN
ⵜⴰⵙⴻⴽⵛⴻⵎⵜ ⵏ SuperGLUE ⵜⴻⵔⵔⴰⴷ ⵙ ⵜⵎⵓⵖⵍⵉ ⵏ ⵜⵎⵓⵖⵍⵉⵡⵉⵏ ⵏ ⵓⵙⴽⴰⵣⴰⵍ ⵏ ⵢⵉⵎⵓⴽⴰⵏ ⵏ ⵜⵎⵓⵙⵙⵏⵉ ⵏ ⵜⵓⵜⵍⴰⵢⵜ. ⵜⵉⵖⴱⵓⵍⴰⵉⵏⴻⵙ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵍⵍⴰⵏⵜ ⴷ ⵜⵉⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵓⵙⵏⵓⵍⴼⵓ, ⵙⵙⴰⵡⴹⴻⵏⵜ ⵉⵏⴰⴳⵎⴰⵢⴻⵏ ⴷ ⵢⵉⵎⴻⵙⵏⴻⴼⵍⵉⵢⴻⵏ ⴰⴷ ⴷⵙⵏⵓⵍⴼⵓⵏ ⵉⵎⵓⴷⴻⵍ ⵙ ⵜⵎⵓⵖⵍⵉ ⵢⴻⵜⵜⵡⴰⵙⵏⴻⵔⵏⴰⵏ, ⵙ ⵓⵙⵙⴻⴼⵀⴻⵎ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ, ⴷ ⵜⵣⴻⵎⵎⴰⵔ ⵏ ⵓⵙⵙⴻⴼⵀⴻⵎ ⵙ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ.
SuperGLUE ⵢⴻⵙⵙⴻⴼⵙⴻⵙⴷ ⴰⴱⴻⴷⴷⴻⵍ ⵏ ⵜⵎⵓⵖⵍⵉ ⴷⴻⴳ ⵜⵎⴻⵜⵜⵉ ⵏ PLN ⵙ ⵓⵙⵎⴻⴽⵜⵉ ⵏ ⵡⴰⵣⴰⵍ ⵓⵔ ⵏⴻⵙⵄⵉ ⴰⵔⴰ ⴽⴰⵏ ⴰⵙⵉⵡⴻⴹ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵙ ⵜⵖⴰⵡⵍⴰ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ, ⵎⴰⵛⴰ ⴷⴰⵖⴻⵏ ⵙ ⵓⵙⵏⴻⵔⵏⵉ ⵏ ⵢⵉⵎⵓⴽⴰⵏ ⵙ ⵓⵙⵙⴻⴼⵀⴻⵎ ⵢⴻⵍⵀⴰⵏ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵜⵓⵜⵍⴰⵢⵜ ⴷ ⵓⵙⴽⴰⵙⵉ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵙ ⵜⵖⴰⵡⵍⴰ. ⴰⵙⵏⴻⵔⵏⵉⴰ ⵢⴻⵙⵙⴻⴱⵖⴻⵙ ⵍⵎⴻⵊⵀⵓⴷ ⵏ ⵜⴰⵍⵍⴻⵍⵜ ⴷ ⵓⵙⵙⴻⵎⵔⴻⵙ ⵏ ⵜⵎⵓⵙⵙⵏⵉ ⴷⴰⵅⴻⵍ ⵏ ⵜⵎⴻⵜⵜⵉ ⵏ AI, ⴷⵖⴰ ⴷ ⴰⵢⴰ ⴰⵢ ⵢⴻⵙⵙⴰⵡⴹⴻⵏ ⵖⴻⵔ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⴷⴻⴳ ⵢⵉⵎⵓⴽⴰⵏ ⵏ ⵓⵙⵙⴻⴼⵀⴻⵎ ⵏ ⵜⵓⵜⵍⴰⵢⵜ.
ⵉⵖⴻⴱⵍⴰⵏ ⴷ ⵜⵎⵓⵖⵍⵉⵡⵉⵏ ⵏ ⵓⵣⴻⴽⴽⴰ
ⵖⴰⵙ ⴰⴽⴽⴻⵏ ⵍⵍⴰⵏⵜ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵢⴻⵍⵀⴰⵏ, SuperGLUE ⵜⴻⵜⵜⵇⴰⴱⴰⵍⴷ ⵓⴳⵓⵔⴻⵏ ⴰⵎ ⵡⵉⴷ ⴰⵢ ⵜⵉⴷⵢⴻⵣⵡⴰⵔⴻⵏ. ⵜⵉⵖⴱⵓⵍⴰⵏⵏⵉ, ⵖⴰⵙ ⵎⴰ ⵢⴻⵍⵍⴰ ⵜⵜⵡⴰⵃⴻⵔⵣⴻⵏⵜ, ⵣⴻⵎⵔⴻⵏⵜ ⴰⴷ ⵇⵇⵉⵎⴻⵏⵜ ⵙⵄⴰⵏⵜ ⵜⵉⵍⵉⵙⴰ ⴷⴻⴳ ⵓⴹⴼⴰⵔ ⵏ ⵜⵎⵓⵙⵙⵏⵉ ⵏ ⵜⵓⵜⵍⴰⵢⵜ ⵙ ⵍⴻⴽⵎⴰⵍⵏⵏⴻⵙ, ⴷⵖⴰ ⴰⵢⴰ ⴰⴷ ⵢⴻⴵⴵ ⴰⵎⴽⴰⵏ ⵉ ⵓⵙⵙⴻⵊⵀⴻⴷ ⴻⴷ ⵓⵙⵏⴻⵔⵏⵉ ⵏⵉⴹⴻⵏ.
ⵏⵏⵉⴳ ⵡⴰⵢⴰ, ⴰⴹⴼⴰⵔ ⵏ ⵓⵙⵙⵉⵡⴻⴹ ⵏ ⵢⵉⵙⵡⴰⵏ ⵏ ⵜⵖⴰⵔⴰ ⵏ ⵜⵖⴰⵔⴰ ⴷⴻⴳ ⵍⴻⵛⵖⴰⵍ ⵏ SuperGLUE ⵢⴻⵙⵙⴻⴼⴽ ⴰⴷ ⴷⵢⵉⵍⵉ ⵙ ⵜⵎⵓⵖⵍⵉⵡⵉⵏ ⵏ ⵜⵖⴰⵔⴰ. ⴰⴹⵎⴰⵏ ⵏ ⵜⴻⵖⴷⴻⵎⵜ, ⴰⵙⴻⵏⵇⴻⵙ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ, ⴷ ⵓⵃⴻⵣⵣⴻⴱ ⵎⴳⴰⵍ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵜⵖⴰⵔⴰ ⵉ ⴷⵢⴻⵍⵍⴰⵏ ⴷⴰⵅⴻⵍ ⵏ ⵜⵎⴻⵣⵣⵓⴳⵉⵏ ⵏ ⵢⵉⵙⴻⴼⴽⴰ ⵎⴰⵣⴰⵍⵉⵜⴻⵏⵜ ⴷ ⵜⵉⴷ ⵢⴻⵙⵄⴰⵏ ⴰⵣⴰⵍ ⴰⵎⴻⵇⵇⵔⴰⵏ ⵉ ⵓⵙⵏⴻⴼⵍⵉ ⵏ AI ⵙ ⵜⵎⴰⵙⵉⵜ.
