ⵜⴰⴳⵔⵓⵎⵎⴰ ⵏ ⵢⵉⵙⴻⴼⴽⴰ SQuAD

ⵜⴰⴳⵔⵓⵎⵎⴰ ⵏ ⵢⵉⵙⴻⴼⴽⴰ ⵏ SQuAD ⵜⴻⵜⵜⵡⴰⵙⵇⴻⴷⵛⴻⵎ ⴷⴻⴳ ⵓⵏⴰⴷⵉ ⵏ ⵓⵙⵏⴻⴼⵍⵉ ⵏ ⵜⵓⵜⵍⴰⵢⵜ ⵜⴰⵎⴰⴳⵏⵓⵜ ⵢⴻⵔⵏⴰ ⵜⵄⴰⵡⴻⵏ ⴷⴻⴳ ⵓⵙⵏⴻⵔⵏⵉ ⵏ ⵢⵉⵥⴻⴹⵡⴰⵏ ⵏ ⵜⴳⴻⵔⵎⴰⵏⵜ ⴷⴻⴳ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ ⴷ ⵓⵙⵙⴻⴼⵀⴻⵎ ⵏ ⵜⵎⴰⵛⵉⵏⵉⵏ. ⵙⵇⵓⴰⴷ, ⴷ ⴰⴳⵣⵓⵎ ⵏ Stanford Question Answering Dataset, ⴷ ⴰⵄⴻⵇⵇⴰ ⴷⴻⴳ ⵓⵏⵏⴰⵔ, ⵢⴻⵜⵜⴰⴽⴷ ⵢⵉⵡⴻⵏ ⵏ ⵓⵙⵎⴻⵍ ⵏ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ ⵢⴻⵎⴳⴰⵔⴰⴷⴻⵏ ⵢⴻⵜⵜⵡⴰⵙⴷⵓⴽⴽⵍⴻⵏ ⴷ ⵢⵉⴹⵔⵉⵙⴻⵏⵏⵙⴻⵏ ⵉ ⴷⵢⴻⵜⵜⵡⴰⵙⵇⴻⴷⵛⴻⵏ.

ⴰⴼⵀⴰⵎ ⵏ SQuAD

ⴰⵥⴰⵔ ⴷ ⵓⵙⵏⵓⵍⴼⵓ

[ⵙⵇⵓⴰⴷ](ⵙⵇⵓⴰⴷ](https://arxiv.org/ⴰⴱⵙ/1606.05250) ⵢⴻⴼⴼⴻⵖⴷ ⵙⴻⴳ ⵜⵎⴻⵜⵜⵉ ⵏ ⵓⵏⴰⴷⵉ ⵏ ⵜⴻⵙⴷⴰⵡⵉⵜ ⵏ Stanford ⴷⴻⴳ 2016, ⵉⵙⵡⵉⵙ ⴷ ⴰⵙⵏⴻⵔⵏⵉ ⵏ ⵓⵙⵏⴻⵔⵏⵉ ⴷⴻⴳ ⵓⵙⵙⴻⴼⵀⴻⵎ ⵏ ⵜⵎⴰⵛⵉⵏⵉⵏ. ⴰⵙⵏⵓⵍⴼⵓⵏⵏⴻⵙ ⵢⴻⵍⵍⴰⴷ ⵙ ⵓⴼⵔⴰⵏ ⵏ ⵢⵉⴹⵔⵉⵙⴻⵏ ⵙⴻⴳ ⵢⵉⵖⴱⵓⵍⴰ ⵢⴻⵎⴳⴻⵔⵔⴰⴷⴻⵏ ⵢⴻⵔⵏⴰ ⵙⴷⵓⴽⴽⵍⴻⵏⵜⴻⵏ ⴻⴷ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ ⴰⵢ ⴷⵢⴻⵜⵜⵡⴰⵙⵇⴻⴷⵛⴻⵏ ⵙ ⵜⵖⴰⵡⵍⴰ. ⵜⴰⴳⵔⵓⵎⵎⴰ ⵏ ⵢⵉⵙⴻⴼⴽⴰ ⵜⴻⵙⵄⴰ ⵉⵙⵡⵉ ⵏ ⵓⵃⴻⵜⵜⴻⵎ ⵏ ⵢⵉⵎⵓⴽⴰⵏ ⵏ AI ⴰⴽⴽⴻⵏ ⴰⴷ ⴼⴻⵀⵎⴻⵏ ⵢⴻⵔⵏⴰ ⴰⴷ ⴷⵔⵔⴻⵏ ⵖⴻⴼ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ ⴰⵢ ⴷⵢⴻⵍⵍⴰⵏ ⴽⴰⵏ ⵙ ⵍⵙⴰⵙ ⵏ ⵜⵎⴻⵏⴹⴰⵡⵜ ⴰⵢ ⴷⵢⴻⵜⵜⵡⴰⴼⴽⴰⵏ ⵡⴰⵔ ⵎⴰ ⵜⵜⴽⴻⵍⴼⴻⵏ ⵖⴻⴼ ⵢⵉⵙⴰⵍⴰⵏ ⵏ ⴱⴻⵕⵕⴰ ⵏ ⵓⵙⵏⴻⵔⵏⵉ.

ⵜⵓⵚⴽⵉⵡⵜ ⴷ ⵓⵙⵓⴷⴷⴻⵙ

ⴰⵖⴻⵔⵙⵉⵡ ⵏ SQuAD ⵢⴻⵙⵄⴰ ⵓⴳⴰⵔ ⵏ 100.000 ⵏ ⵜⵎⴻⵔⵡⵉⵏ ⵏ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ ⴷ ⵜⵔⵉⵔⵉⵜ ⵢⴻⵜⵜⵡⴰⵙⵇⴻⴷⵛⴻⵏ ⵙⴻⴳ ⵢⵉⵎⴰⴳⵔⴰⴷⴻⵏ, ⵉⴷⵍⵉⵙⴻⵏ, ⴷ ⵢⵉⵖⴱⵓⵍⴰ ⵏⵏⵉⴹⴻⵏ ⵏ ⵢⵉⴹⵔⵉⵙⴻⵏ ⵢⴻⵎⴳⴰⵔⴰⴷⴻⵏ. ⵢⴰⵍ ⴰⵙⵜⴻⵇⵙⵉ ⵢⴻⵜⵜⵡⴰⵇⵇⴻⵏ ⵖⴻⵔ ⵢⵉⵡⴻⵜ ⵏ ⵜⴻⵙⴳⵉⵍⵜ ⵉⴷⴻⴳ ⵜⴻⵍⵍⴰ ⵜⵔⵉⵔⵉⵜ. ⵜⴰⵊⵎⵉⵍⵜⴰ ⵢⴻⵎⴳⴰⵔⴰⴷⴻⵏ ⵜⴻⵜⵜⵃⴻⵜⵜⵉⵎ ⴰⵟⴰⵙ ⵏ ⵢⵉⵙⴻⵏⵜⴰⵍ, ⵜⴹⴻⵎⵏⴻⵏ ⴷⴰⴽⴽⴻⵏ ⵉⵎⵓⴷⴻⵍ ⵢⴻⵜⵜⵡⴰⵙⵍⴻⵖⵎⴻⵏ ⴷⴻⴳ SQuAD ⵣⴻⵎⵔⴻⵏ ⴰⴷ ⵙⵇⴻⴷⵛⴻⵏ ⵚⵚⴻⵏⴼ ⵢⴻⵎⴳⴰⵔⴰⴷⴻⵏ ⵏ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ ⴷⴻⴳ ⵢⵉⵃⵔⵉⵛⴻⵏ ⵢⴻⵎⴳⴰⵔⴰⴷⴻⵏ.

ⴰⵣⴰⵍ ⴷ ⵜⴹⵓⵍⵍⵉⵜ

ⵜⴰⵙⴻⴽⴽⵉⵔⵜ ⵉ ⵓⵙⴽⴰⵣⴰⵍ

ⵙⵇⵓⴰⴷ ⵢⴻⴼⴼⴻⵖⴷ ⴷ ⴰⵄⴻⵇⵇⴰ ⵏ ⵓⵙⵡⵉⵔ ⵏ ⵓⵙⴽⴰⵣⴰⵍ ⵏ ⵜⵖⴰⵔⴰ ⵏ ⵢⵉⵙⵓⴹⴰⴼ ⵏ ⵜⴳⴻⵔⵎⴰⵏⵜ ⵏ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ ⴷ ⵢⵉⵎⵓⴽⴰⵏ ⵏ ⵜⵎⵓⵙⵙⵏⵉ ⵏ ⵜⵎⴰⵛⵉⵏⵉⵏ. ⵉⵎⵏⴰⴷⵉⵢⴻⵏ ⴷ ⵢⵉⵎⴻⵙⵏⴻⴼⵍⵉⵢⴻⵏ ⵙⵙⴻⵇⴷⴰⵛⴻⵏ ⵜⴰⵖⵓⵍⵜⴰ ⵏ ⵢⵉⵙⴻⴼⴽⴰ ⴰⴽⴽⴻⵏ ⴰⴷ ⵙⵇⴻⴷⵛⴻⵏ ⵍⴼⴰⵢⴷⴰ ⴷ ⵜⵖⴻⵍⵍⵉⵙⵜ ⵏ ⵢⵉⵍⵓⴳⴰⵏⵏⵙⴻⵏ ⴷⴻⴳ ⵓⵙⵙⴻⴼⵀⴻⵎ ⵏ ⵜⵖⴰⵡⵙⴰ ⴷ ⵜⵓⴽⵛⵉ ⵏ ⵜⵔⵉⵔⵉⵢⵉⵏ ⵜⵉⵖⴻⵍⵏⴰⵡⵉⵏ ⵉ ⵢⵉⵡⴻⵜ ⵏ ⵜⵎⴻⵣⴳⵓⵏⵜ ⵏ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ ⵢⴻⵎⴳⴻⵔⵔⴰⴷⴻⵏ.

ⴰⵙⵏⴻⵔⵏⵉ ⵏ ⵉⵎⵣⵓⵏⴻⵏ ⵏ PLN

ⴰⵙⴻⴽⵛⴻⵎ ⵏ SQuAD ⵢⴻⵙⵙⴻⴽⵛⴻⵎⴷ ⵉⵏⴻⴹⵔⵓⵢⴻⵏ ⵉⵎⴻⵇⵔⴰⵏⴻⵏ ⴷⴻⴳ ⵢⵉⵎⵓⴽⴰⵏ ⵏ ⵓⵙⵙⴻⵇⴷⴻⵛ ⵏ ⵜⵓⵜⵍⴰⵢⵜ ⵜⴰⵎⴰⴳⵏⵓⵜ (NLP). ⵉⵎⵏⴰⴷⵉⵢⴻⵏ ⵙⵇⴻⴷⵛⴻⵏ ⵜⴰⵖⵓⵍⵜⴰ ⵏ ⵢⵉⵙⴻⴼⴽⴰ ⴰⴽⴽⴻⵏ ⴰⴷ ⵙⵙⴻⵍⵖⵓⵏ ⵢⴻⵔⵏⴰ ⴰⴷ ⵙⴼⴻⴹⴹⴻⵏ ⵉⵥⴻⴹⵡⴰⵏ ⵏ ⵜⵏⴻⴼⵙⵉⵜ, ⴰⵎ BERT (Tismektiwin ⵏ Usekkil ⵏ Snat ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵙⴻⴳ Yimuḍan), GPT (Transformateur prétrainé génératif), ⴷ ⵢⵉⴼⴻⵔⴷⵉⵙⴻⵏⵏⵙⴻⵏ, ⵙⵏⴻⵔⵏⴰⵏ ⵜⴰⵣⵎⴻⵔⵜⵏⵙⴻⵏ ⴰⴽⴽⴻⵏ ⴰⴷ ⴼⴻⵀⵎⴻⵏ ⵢⴻⵔⵏⴰ ⴰⴷ ⴷⵙⵏⵓⵍⴼⵓⵏ ⵜⵉⵡⵡⵓⵔⴰ ⵢⴻⵛⴱⴰⵏ ⵜⵉⴷ ⵏ ⵓⵎⴷⴰⵏ ⵉ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ ⵢⴻⵜⵜⵡⴰⵙⴱⴻⴷⴷⴻⵏ ⵙ ⵜⵓⵜⵍⴰⵢⵜ ⵜⴰⵎⴰⴳⵏⵓⵜ.

ⵉⵖⴻⴱⵍⴰⵏ ⴷ ⵓⵙⵏⵓⵍⴼⵓ

ⵎⴰ ⵢⴻⵍⵍⴰ SQuAD ⵢⴻⵍⵍⴰ ⴷ ⴰⵃⵔⵉⵛ ⴰⵎⴻⵇⵔⴰⵏ ⴷⴻⴳ ⵓⵙⵏⴻⵔⵏⵉ ⵏ ⵡⴻⵏⵔⴰⵔ ⵏ PLN, ⵎⴰⵛⴰ ⵢⴻⵜⵜⴰⴽⴼⴷ ⴷⴰⵖⴻⵏ ⵓⴳⵓⵔⴻⵏ ⵉ ⵢⵉⵏⴰⴳⵎⴰⵢⴻⵏ. ⵉⵙⴻⵙⵜⴰⵏⴻⵏⵏⵏⴻⵙ ⵢⴻⵎⴳⴻⵔⵔⴰⴷⴻⵏ ⵢⴻⵔⵏⴰ ⵜⵜⵡⴰⴼⴻⵔⵇⴻⵏ ⵜⵜⵃⴻⵜⵜⵉⵎⴻⵏ ⵙ ⵡⴰⵟⴰⵙ ⵉⵎⵓⴷⴻⵍ (modèles) ⴰⴽⴽⴻⵏ ⴰⴷ ⴼⴻⵀⵎⴻⵏ ⵜⵉⵖⴱⵓⵍⴰ ⵜⵓⵜⵍⴰⵢⵉⵏ ⵜⵉⵎⴻⵇⵔⴰⵏⵉⵏ, ⵢⴻⵔⵏⴰ ⵜⵜⵃⴻⵜⵜⵉⵎⴻⵏⴷ ⴰⵙⵏⵓⵍⴼⵓ (innovation) ⵏ ⵜⴽⴻⵎⵎⵉⵍⵜ ⴷⴻⴳ ⵜⵎⴻⵚⴽⵉⵡⵜ ⵏ ⵢⵉⵎⵓⴷⴻⵍ ⴻⴷ ⵜⵜⴰⵡⵉⵍⴰⵜ ⵏ ⵓⵙⵙⵉⵍⴻⵖ (ⵜⵔⴰⵉⵏⵉⵏⴳ) ⴰⴽⴽⴻⵏ ⴰⴷ ⴰⵡⴹⴻⵏ ⵖⴻⵔ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵙ ⵜⵖⴰⵡⵍⴰ ⴷ ⵓⵙⵙⴻⴼⵀⴻⵎ ⴰⵎⴻⵇⵔⴰⵏ.

ⴰⵙⴻⵇⴷⴻⵛ ⴷ ⵜⵏⴻⴼⵍⵉⵜ ⵏ ⵓⵣⴻⴽⴽⴰ

ⴰⵙⵏⴰⵙ ⵏ ⵓⵎⴰⴹⴰⵍ ⵏ ⵜⵉⴷⴻⵜ

ⵜⴰⵣⵎⴻⵔⵜ ⵏ SQuAD ⵜⴻⵜⵜⴽⴻⵎⵎⵉⵍ ⵏⵏⵉⴳ ⵏ ⵜⴻⵙⵏⴰⵡⵉⵢⵉⵏ ⵏ ⵓⵏⴰⴷⵉ. ⵉⵎⵓⵀⴰⵍⵏⵏⴻⵙ ⵙⵙⴰⵡⴹⴻⵏ ⴰⴷ ⵙⴼⴻⵀⵎⴻⵏ ⴰⵙⵏⴻⵔⵏⵉ ⵏ ⵢⵉⵥⴻⴹⵡⴰⵏ ⵏ AI ⴰⵢ ⵉⵣⴻⵎⵔⴻⵏ ⴰⴷ ⴷⵔⵔⴻⵏ ⵖⴻⴼ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ ⵏ ⵢⵉⵎⵙⴻⵇⴷⴰⵛⴻⵏ, ⴰⴷ ⵄⵉⵡⵏⴻⵏ ⴷⴻⴳ ⵓⵄⵉⵡⴻⵏ ⵏ ⵢⵉⵎⵙⴰⵖⴻⵏ, ⴰⴷ ⴷⵙⴼⴰⵢⴷⵉⵏ ⵙⴻⴳ ⵢⵉⵙⴰⵍⴰⵏ, ⵢⴻⵔⵏⴰ ⵓⵍⴰ ⴷ ⴰⵟⵓⵎⴰⵜⵉⴽ ⵏ ⴽⵔⴰ ⵏ ⵢⵉⵃⵔⵉⵛⴻⵏ ⵏ ⵓⵙⵙⴻⴼⵔⴻⴽ ⴷ ⵓⵙⵙⴻⴼⵇⴻⴷ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ.

ⴰⴽⴻⵎⵎⴻⵍ ⵏ ⵓⵙⵏⴻⵔⵏⵉ

ⴰⵔⵔⴰⵣ ⴷ ⵜⵎⴻⵖⵔⴰ ⵏ SQuAD ⵙⵙⴰⵡⴹⴻⵏ ⴰⴷ ⴷⵙⵏⵓⵍⴼⵓⵏ ⵜⵉⴼⴻⵍⵡⵉⵢⵉⵏ ⵉ ⴷⵉⵜⴻⴷⴷⵓⵏ ⴷ ⵜⵎⴻⵣⵣⵓⴳⵉⵏ ⵏⵏⵉⴹⴻⵏ ⵏ ⵢⵉⵙⴻⴼⴽⴰ ⵙ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⴷ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ. ⵉⵙⵡⵉ ⵏ ⵜⵎⴻⵣⵣⵓⴳⵉⵏⴰ ⵏ ⵢⵉⵙⴻⴼⴽⴰ ⴷ ⴰⵃⴰⵔⴻⴱ ⵖⴻⴼ ⵜⵎⵉⴹⵔⴰⵏⵜ ⵏ SQuAD ⴷ ⵓⵙⵏⴻⵔⵏⵉ ⵏ ⵜⵍⵉⵙⴰ ⵏ ⵜⵎⵓⵙⵙⵏⵉ ⵏ ⵜⵎⴰⵛⵉⵏⵉⵏ ⵓⴳⴰⵔ.

ⵉⵎⵢⴰⴳⴻⵏ ⵏ ⵜⵎⴻⵣⴳⵓⵏⵉⵏⴰ ⵍⵍⴰⵏ ⴷⴻⴳⵙⴻⵏ:

ⵙⵇⵓⴰⴷ 2.0: ⵢⴻⵜⵜⵡⴰⵙⵇⴻⴷⵛⴻⵎ ⴷ ⴰⵙⴻⵏⵇⴻⵙ ⵏ SQuAD ⴰⵥⴰⵢⴰⵏ, ⵢⴻⵜⵜⵇⴻⴷⴷⵉⵎⴷ ⵢⵉⵡⴻⵜ ⵏ ⵜⵖⴰⵡⵙⴰ ⵙ ⵡⴰⵣⴰⵍⵉⵙ ⵓⴳⴰⵔ ⵙ ⵓⵙⵎⴻⴽⵜⵉ ⵏ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ ⵓⵔ ⵏⴻⵙⵄⵉ ⵜⵉⵔⵉⵔⵉⵜ. ⵎⴰⵞⵞⵉ ⴰⵎ ⵍⵇⴻⵎ ⴰⵎⴻⵣⵡⴰⵔⵓ, SQuAD 2.0 ⵢⴻⵙⵄⴰ ⵉⵙⴻⵙⵜⴰⵏⴻⵏ ⵓⵔ ⵏⴻⵙⵄⵉ ⴰⵔⴰ ⵜⵉⵔⵉⵔⵉⵜ ⴷⴰⵅⴻⵍ ⵏ ⵜⵎⴻⵏⴹⴰⵡⵜ ⵢⴻⵜⵜⵓⵏⴻⴼⴽⴻⵏ, ⵙⵙⵓⵜⵓⵔⴻⵏ ⵉⵎⵓⴷⴻⵍ ⴰⴷ ⵙⵙⵉⵏⴼⴻⵏ ⵢⴻⵔⵏⴰ ⴰⴷ ⵃⴻⴱⵙⴻⵏ ⵜⵉⵔⵉⵔⵉⵜ ⵎⴰ ⵢⴻⵍⵍⴰ ⵢⴻⵙⵙⴻⴼⴽ. ⵔⵏⵓⴰ ⵜⴻⵙⵙⴻⴱⵖⴰⵙ ⵉⵎⵓⴷⴻⵍ ⴰⴽⴽⴻⵏ ⵓⵔ ⵜⵜⴼⴻⵀⵀⵉⵎⴻⵏ ⴰⵔⴰ ⴽⴰⵏ ⴰⴹⵔⵉⵙ ⵎⴰⵛⴰ ⴰⴷ ⵙⴼⴻⵀⵎⴻⵏ ⴷⴰⵖⴻⵏ ⵎⴻⵍⵎⵉ ⵓⵔ ⵢⴻⵣⵎⵉⵔ ⴰⵔⴰ ⴰⴷ ⵢⴻⵜⵜⵡⴰⵔⵔⴻⴹ ⵢⵉⵡⴻⵏ ⵏ ⵓⵙⵜⴻⵇⵙⵉ ⵙ ⵍⵙⴰⵙ ⵏ ⵢⵉⵙⴰⵍⵍⴻⵏ ⵢⴻⵜⵜⵓⵏⴻⴼⴽⴻⵏ, ⴷ ⴰⵢⴻⵏ ⴰⵢ ⴷⵢⴻⵙⵙⴽⴰⵏⴰⵢⴻⵏ ⴰⵙⴻⵏⴼⴰⵔ ⵏ ⵜⵉⴷⴻⵜ ⵓⴳⴰⵔ ⵉ ⵢⵉⵙⵓⴹⴰⴼ ⵏ ⵜⴳⴻⵔⵎⴰⵏⵜ ⴷⴻⴳ ⵓⵙⵇⴻⵔⴷⴻⵛ ⵏ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ.

TriviaQA ⴷ ⵜⴰⵖⵓⵍⵜ ⵏ ⵢⵉⵙⴻⴼⴽⴰ ⵉ ⴷⵢⴻⵜⵜⴰⵡⵉⵏ ⵖⴻⴼ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ ⵏ trivia ⵢⴻⵔⵏⴰ ⵜⴻⵜⵜⵡⴰⵅⴷⴻⵎ ⴰⴽⴽⴻⵏ ⴰⴷ ⵜⵉⵍⵉ ⴷ ⵜⵉⵏ ⵉⵅⵓⵚⵚⴻⵏ ⵓⴳⴰⵔ ⵏ SQuAD. ⵢⴻⵜⵜⵃⴻⵜⵜⵉⵎ ⴰⵟⴰⵙ ⵏ ⵢⵉⵙⴻⵏⵜⴰⵍ ⵢⴻⵔⵏⴰ ⵢⴻⵜⵜⵃⴻⵜⵜⵉⵎⴷ ⵉⵎⵓⴷⴻⵍ ⴰⴽⴽⴻⵏ ⴰⴷ ⴷⵢⴻⵙⵙⵓⴼⴼⴻⵖ ⵜⵉⵡⵡⵓⵔⴰ ⵙⴻⴳ ⵡⴰⵟⴰⵙ ⵏ ⵜⴻⴼⵢⴰⵔ, ⵙⴻⴳ ⵜⴻⵙⴼⵉⴼⵉⵏ, ⵏⴻⵖ ⵓⵍⴰ ⵙⴻⴳ ⵢⵉⵎⴰⴳⵔⴰⴷⴻⵏ ⵙ ⵍⴻⴽⵎⴰⵍⵏⵙⴻⵏ. ⵜⴰⴳⵔⵓⵎⵎⴰ ⵏ ⵢⵉⵙⴻⴼⴽⴰ TriviaQA ⵜⴻⵜⵜⵇⴰⴱⴰⵍ ⵉⵎⵓⴷⴻⵍ ⵙ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ ⵉⵅⵓⵚⵚⴻⵏ ⵓⴳⴰⵔ, ⵙ ⵡⴰⵟⴰⵙ ⵜⵜⵃⴻⵜⵜⵉⵎⴻⵏ ⴰⵙⴻⵏⵇⴻⴷ ⵏ ⵡⴰⵟⴰⵙ ⵏ ⵢⵉⵃⵔⵉⵛⴻⵏ ⴷ ⵓⵙⴽⴰⵙⵉ ⵏ ⵢⵉⵙⴰⵍⵍⴻⵏ ⴳⴰⵔ ⵢⵉⴹⵔⵉⵙⴻⵏ, ⵜⵜⵃⴻⵜⵜⵉⵎⴻⵏ ⵜⵉⵍⵉⵙⴰ ⵏ ⵜⴼⴻⵀⵎⵉⵜ ⵏ ⵜⵎⴰⵛⵉⵏⵉⵏ.

ⵉⵙⴻⵙⵜⴰⵏⴻⵏ ⵉⴳⵎⴰⴹⴰⵏⴻⵏ ⵜⴰⴳⵔⵓⵎⵎⴰ ⵏ ⵢⵉⵙⴰⵍⵍⴻⵏ ⵍⵍⴰⵏ ⴷⴻⴳⵙⴻⵏ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ ⵏ ⵜⵉⴷⴻⵜ, ⵉ ⴷⵢⴻⵙⵏⵓⵍⴼⴰ ⵓⵙⴻⵇⴷⴰⵛ, ⵉ ⴷⵢⴻⴽⴽⴰⵏ ⵙⴻⴳ ⵓⵏⴰⴷⵉ ⵏ Google ⴰⵎⵓⵜⵓⵔ. ⵉⵙⴻⵙⵜⴰⵏⴻⵏ ⵜⵜⵡⴰⴹⴻⴼⵔⴻⵏ ⵙ ⵢⵉⴹⵔⵉⵙⴻⵏ ⵙⴻⴳ ⵣⴻⵎⵔⴻⵏ ⴰⴷ ⴷⴼⴼⵖⴻⵏⵜ ⵜⵔⵉⵔⴻⵢⵢⵉⵏ, ⵎⴰⵛⴰ ⵎⴰⵞⵞⵉ ⴰⵎ SQuAD, ⵉⴹⵔⵉⵙⴻⵏⴰ ⵣⴻⵎⵔⴻⵏ ⴰⴷ ⵖⵍⵉⵏ ⵙ ⵡⴰⵟⴰⵙ ⵢⴻⵔⵏⴰ ⴰⴷ ⵎⴳⴻⵔⵔⴰⴷⴻⵏ. ⵜⴰⴳⵔⵓⵎⵎⴰⴰ ⵏ ⵢⵉⵙⴻⴼⴽⴰ ⵜⴻⵜⵜⴱⴰⵏⴷ ⴷⴻⴳ ⵜⵎⵓⵖⵍⵉ ⵏ ⵜⵎⵓⵖⵍⵉⵡⵉⵏ ⵏ ⵓⵏⴰⴷⵉ ⴷⴻⴳ ⵓⵎⴰⴹⴰⵍ ⵏ ⵜⵉⴷⴻⵜ ⴰⵏⴷⴰ ⵜⵉⵡⵡⵓⵔⴰ ⵣⴻⵎⵔⴻⵏⵜ ⵓⵔ ⵍⵍⵉⵏⵜ ⴰⵔⴰ ⵙ ⵜⵖⴰⵡⵍⴰ ⴷⴻⴳ ⵢⵉⵡⴻⵜ ⵏ ⵜⴻⵙⴳⵉⵍⵜ ⵏⴻⵖ ⴷⴻⴳ ⵢⵉⵡⴻⵜ ⵏ ⵜⴻⴼⵢⵉⵔⵜ, ⴷⵖⴰ ⴷ ⴰⵢⴰ ⴰⵢ ⵢⴻⵙⵙⴻⴼⴽⴻⵏ ⴰⴼⵀⴰⵎ ⴷ ⵓⵙⴻⵎⵔⴻⵙ ⵢⴻⵍⵀⴰⵏ ⵏ ⵢⵉⴹⵔⵉⵙⴻⵏ ⵉⵖⴻⵣⴼⴰⵏⴻⵏ.

CoQA (Asqerdec ⵏ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ ⵙ ⵜⵎⴻⵙⵍⵉⵡⵜ) ⵢⴻⵜⵜⵃⴻⵜⵜⵉⵎⴷ ⵜⵉⵔⵉⵔⵉⵜ ⵏ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ ⵙ ⵜⵎⴻⵙⵍⵉⵡⵜ, ⴰⵏⴷⴰ ⴰⴹⵔⵉⵙ ⵢⴻⵜⵜⵉⵍⵉⴷ ⵙ ⵓⴷⵉⵡⴻⵏⵏⵉ ⴳⴰⵔ ⵙⵉⵏ ⵏ ⵢⵉⵎⵜⵜⴻⴽⴽⵉⵢⴻⵏ, ⴷⵖⴰ ⴷ ⴰⵢⴰ ⴰⵢ ⵜⵢⴻⴵⴵⴰⵏ ⴰⴷ ⵢⵉⵍⵉ ⴷ ⴰⵢⴻⵏ ⵢⴻⵙⵄⴰⵏ ⴰⵣⴰⵍ ⵓⴳⴰⵔ ⵢⴻⵔⵏⴰ ⴷ ⴰⵢⴻⵏ ⴰⵢ ⴷⵢⴻⵜⵜⴰⵡⵉⵏ ⵛⵛⵡⴰⵍ. ⵉⵙⴻⵙⵜⴰⵏⴻⵏ ⵜⵜⵡⴰⵙⵜⴻⵇⵙⴰⵏ ⵙ ⵜⴰⵔⵔⴰⵢⵜ ⵏ ⵜⵎⴻⵙⵍⵉⵡⵜ, ⵃⵡⴰⴵⴻⵏ ⵉⵎⵓⴷⴻⵍ ⴰⴽⴽⴻⵏ ⴰⴷ ⴼⴻⵀⵎⴻⵏ ⵉⴱⴻⴷⴷⴰⵍⴻⵏ ⵏ ⵜⵎⴻⵏⴹⴰⵡⵜ ⵢⴻⵔⵏⴰ ⴰⴷ ⵃⴻⵔⵣⴻⵏ ⴰⵙⵙⴰⵖⴻⵏ. ⵜⴰⴳⵔⵓⵎⵎⴰ ⵏ ⵢⵉⵙⴻⴼⴽⴰ CoQAⵜⴻⵙⵙⴻⵎⵔⴰⵙ ⴰⵎⴽⴰⵏ ⵏ ⵜⵎⴻⵥⴷⵉⵜ ⵓⴳⴰⵔ, ⵜⴻⵜⵜⵃⴻⵜⵜⵉⵎ ⵉⵎⵓⴷⴻⵍ ⴰⴽⴽⴻⵏ ⴰⴷ ⴼⴻⵀⵎⴻⵏ ⵢⴻⵔⵏⴰ ⴰⴷ ⵜⵜⴻⴽⴽⵉⵏ ⴷⴻⴳ ⵢⵉⵡⴻⵏ ⵏ ⵓⵎⵛⵉⵡⴻⵔ ⵢⴻⵜⵜⵡⴰⵙⴷⵓⴽⴽⵍⴻⵏ, ⵜⴻⵜⵜⵇⴰⴷⴰⵔ ⵜⵉⵖⴰⵡⵙⵉⵡⵉⵏ ⵜⵉⵎⴻⵛⵟⴰⵃ ⴷⴻⴳ ⵜⵎⵓⵖⵍⵉⵡⵉⵏ ⵏ ⵜⵓⵜⵍⴰⵢⵜ ⴷ ⵜⵎⵓⵖⵍⵉⵡⵉⵏ.

ⵜⴰⴳⵔⵓⵎⵎⴰ ⵏ ⵢⵉⵙⴻⴼⴽⴰ HotpotQA ⵜⴻⵜⵜⵇⴻⴷⴷⵉⵎⴷ ⴰⵖⴱⴻⵍ ⵏ ⵓⵙⵏⵓⵍⴼⵓ ⵙ ⵡⴰⵟⴰⵙ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ, ⴰⵏⴷⴰ ⵜⵉⵔⵉⵔⵉⵜ ⵏ ⴽⵔⴰ ⵏ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ ⵜⴻⵃⵡⴰⴵ ⴰⵊⵎⴰⵄ ⵏ ⵢⵉⵙⴰⵍⵍⴻⵏ ⵙⴻⴳ ⵡⴰⵟⴰⵙ ⵏ ⵢⵉⴹⵔⵉⵙⴻⵏ ⵏ ⵜⴰⵍⵍⴻⵍⵜ ⴰⴽⴽⴻⵏ ⴰⴷ ⴷⵏⴰⴼ ⵜⵉⵔⵉⵔⵉⵜ ⵢⴻⵍⵀⴰⵏ. ⵜⴰⴳⵔⵓⵎⵎⴰⴰ ⵏ ⵢⵉⵙⴻⴼⴽⴰ ⵜⴻⵜⵜⵡⴻⴽⴽⵉⴷⴷ ⵖⴻⴼ ⵡⴰⵣⴰⵍ ⵏ ⵜⵣⴻⵎⵎⴰⵔ ⵏ ⵓⵙⴽⴰⵙⵉ ⴷ ⵓⵙⵏⴻⴼⵍⵉ ⵏ ⵢⵉⵙⴰⵍⵍⴻⵏ ⵙ ⵜⵖⴰⵡⵍⴰ. ⵙ ⵓⵙⵓⵜⴻⵔ ⵏ ⵓⵙⴷⵓⴽⴽⴻⵍ ⵏ ⵢⵉⵙⴰⵍⵍⴻⵏ ⵙⴻⴳ ⵢⵉⵖⴱⵓⵍⴰ ⵢⴻⵎⴳⴰⵔⴰⴷⴻⵏ, HotpotQA ⵢⴻⵜⵜⵇⴰⴷⴰⵔ ⵜⴰⵣⵎⴻⵔⵜ ⵏ ⵓⵎⴷⴰⵏ ⴰⴽⴽⴻⵏ ⴰⴷ ⵢⴻⵅⴷⴻⵎ ⴰⵙⴻⵏⵇⴻⴷ ⵏ ⵡⴰⵟⴰⵙ ⵏ ⵢⵉⵃⵔⵉⵛⴻⵏ ⵢⴻⵔⵏⴰ ⴰⴷ ⵢⴻⴼⵀⴻⵎ ⵉⵙⴰⵍⴰⵏ ⵉⵛⵓⴷⴷⴻⵏ ⴳⴰⵔⴰⵙⴻⵏ.

ⵜⴰⴳⵔⵓⵎⵎⴰ ⵏ ⵢⵉⵙⴻⴼⴽⴰ SQuAD ⵜⴻⵙⵙⴽⴻⵏⴷ ⵜⴰⵣⵎⴻⵔⵜ ⵏ ⵢⵉⵙⴻⴼⴽⴰ ⵢⴻⵜⵜⵡⴰⵙⵇⴻⴷⵛⴻⵏ ⴷⴻⴳ ⵓⵙⵏⴻⵔⵏⵉ ⵏ ⵜⴻⵣⵎⵎⴰⵔ ⵏ AI ⴷⴻⴳ ⵓⵙⵙⴻⴼⵀⴻⵎ ⵏ ⵜⵓⵜⵍⴰⵢⵜ ⵜⴰⵖⴻⵍⵏⴰⵡⵜ. ⵜⴰⵎⵍⵉⵍⵜⵉⵙ ⴷⴻⴳ ⵓⵙⵏⴻⴼⵍⵉ ⵏ ⵜⵎⵓⵖⵍⵉⵡⵉⵏ, ⵓⵙⵏⴻⵔⵏⵉ ⵏ ⵓⵙⵏⵓⵍⴼⵓ, ⴷ ⵓⵙⵏⴻⵔⵏⵉ ⵏ ⵢⵉⵙⴻⵏⴼⴰⵔⴻⵏ ⵏ ⵓⵎⴰⴹⴰⵍ ⵏ ⵜⵉⴷⴻⵜ ⵜⴻⵙⵙⴻⵎⵖⴻⵔ ⴰⵎⴽⴰⵏⵉⵙ ⴷ ⴰⵖⴱⴰⵍⵓ ⵏ ⵍⵍⵙⴰⵙ ⴷⴻⴳ ⵓⵏⵏⴰⵔ ⵏ PLN. ⴰⴽⴽⴻⵏ ⵢⴻⵜⵜⴽⴻⵎⵎⵉⵍ ⵓⵏⵏⴰⵔⴰ ⵢⴻⵜⵜⵏⴻⵔⵏⵉ, SQuAD ⵎⴰⵣⴰⵍⵉⵜ ⴷ ⴰⵃⵔⵉⵛ ⵢⴻⵙⵄⴰⵏ ⴰⵣⴰⵍ ⴷⴻⴳ ⵓⵏⴰⴷⵉ ⵖⴻⴼ ⵜⵎⴰⵛⵉⵏⵉⵏ ⴰⴽⴽⴻⵏ ⴰⴷ ⴼⴻⵀⵎⴻⵏⵜ ⵢⴻⵔⵏⴰ ⴰⴷ ⵔⵔⴻⵏⵜ ⵉ ⵜⵓⵜⵍⴰⵢⵜ ⵏ ⵡⴻⵎⴷⴰⵏ ⵙ ⵜⵖⴰⵡⵍⴰ ⴷ ⵜⵎⵓⵙⵙⵏⵉ ⴰⵢ ⵍⴰ ⵢⴻⵜⵜⵉⵎⵖⵓⵔⴻⵏ.

ⵜⵉⵙⵖⵓⵏⵉⵏ

• Pranav Rajpurkar, Jian Zhang, Kunstantin Lupiriv, Pirsi Liang. ["ⵙⵇⵓⴰⴷ: 100.000+ ⵏ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ ⵉ ⵜⴼⴻⵀⵎⵉⵜ ⵏ ⵓⴹⵔⵉⵙ ⵙ ⵜⵎⴰⵛⵉⵏⵉⵏ."]

• ⵊⴰⴽⵓⴱ Devlin, MingWei Cang, Kentun Li, Kristina Tutanova. ["BERT: Asselmed ⵓⵇⴱⴻⵍ ⵏ ⵢⵉⵎⵓⴹⴰⵏ ⵏ ⵙⵏⴰⵜ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵉⵍⵇⴰⵢⴻⵏ ⵉ ⵍⵎⴻⵏⴷ ⵏ ⵓⵙⴼⴻⵀⴻⵎ ⵏ ⵜⵓⵜⵍⴰⵢⵜ."]

• ⴱⵔⴰⵓⵏ, Tum B., ⴷ ⵡⵉⵢⴰⴹ. ["ⵉⵎⴷⴰⵏⴻⵏ ⵏ ⵜⵓⵜⵍⴰⵢⵜ ⴷ ⵉⵏⴻⵍⵎⴰⴷⴻⵏ ⵏ ⵜⵎⴻⵙ ⴷⵔⵓⵙ."]

• Pranav Rajpurkar, Rubin Jia, Pirsi Liang. "ⵙⵙⴻⵏ ⴰⵢⴻⵏ ⵓⵔ ⵜⴻⵥⵔⵉⴹ ⴰⵔⴰ: Isestanen ⵓⵔ ⵏⴻⵙⵄⵉ ⵜⵉⵔⵉⵔⵉⵜ ⵉ SQuAD.".

• ⵎⴰⵏⴷⴰⵔ ⵊⵓⵛⵉ, ⵓⵏⵙⵓⵍ ⵛⵓⵢ, ⴷⴰⵏⵉⵢⴻⵍ ⵙ. ⵡⴻⵍⴷ, ⵍⵓⴽⴰ ⵣⴻⵜⵍⵎⵓⵢⴻⵔ. ["TriviaQA: Tagrumma ⵏ ⵢⵉⵙⴰⵍⴰⵏ ⵏ ⵓⵄⴻⵡⵡⴻⵍ ⵢⴻⵜⵜⵡⴰⴹⴻⴼⵔⴻⵏ ⵙ ⵜⵖⴰⵡⵍⴰ ⵙ ⵜⵖⴰⵡⵍⴰ ⵜⴰⵎⴻⵇⵔⴰⵏⵜ ⵉ ⵜⴼⴻⵀⵎⵉⵜ ⵏ ⵜⵖⵓⵔⵉ."]

• Tom Kwiatkowski, Jennimaria Palomaki, Ulivya Redfield, Maykel Collins, Ankur Parikh, Kris Alberti, Daniyel Epstein, Illia Polosukhin, Jacob Devlin, Kenton Lee, Kristina N. ⵢⴰⴽⵓⴱ ⵓⵙⵣⴽⵓⵔⵢⵉⵜ, ⴽⵓⴽ ⵍⴻ, ⵙⵍⴰⵡ ⵒⵉⵜⵔⵓⵠ. "ⵉⵙⴻⵙⵜⴰⵏⴻⵏ ⵉⴳⵎⴰⴹⴰⵏⴻⵏ: ⴰⵄⴻⵇⵇⴰ ⵏ ⵓⵏⴰⴷⵉ ⵏ ⵜⴳⴻⵔⵎⴰⵏⵜ ⴷⴻⴳ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ." (2019).

• Siva Reddi, Danqi Chen, Kristufer D. Manning. "CoQA: ⴰⵄⴻⵡⵡⵉⵇ ⵏ ⵜⴳⴻⵔⵎⴰⵏⵜ ⴷⴻⴳ ⵓⵙⵜⴻⵇⵙⵉ ⵏ ⵜⵎⴻⵙⵍⵉⵡⵜ.".

• ⵣ. ⵢⴰⵏⴳ, ⴱ. ⵇⵉ, ⵙ. ⵣⵀⴰⵏⴳ, ⵢ. ⴱⴻⵏⵊⵢⵓ, ⵡ. ⵡ. ⴽⵓⵀⴻⵏ, ⵔ. "HotpotQA: Tagrumma ⵏ ⵢⵉⵙⴻⴼⴽⴰ ⵉ ⵜⵔⵉⵔⵉⵜ ⵏ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ ⵢⴻⵎⴳⴰⵔⴰⴷⴻⵏ, ⵉⵣⴻⵎⵔⴻⵏ ⴰⴷ ⵜⵜⵡⴰⵙⴼⴻⵀⵎⴻⵏ.".