ⴰⵃⴻⵣⵣⴻⴱ ⵖⴻⴼ ⵡⴰⵟⴰⵙ ⵏ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ ⴷⴻⴳ ⵉⵎⵓⵜⵜⵉⵢⴻⵏ

ⵜⴰⵎⴻⵚⴽⵉⵡⵜ ⵏ Transformer ⵜⴻⴼⴼⴻⵖⴷ ⴷ ⴰⵙⵏⵓⵍⴼⵓ ⴰⵢ ⴷⵢⴻⵍⵍⴰⵏ ⵙ ⵍⵙⴰⵙ. ⵜⴻⵅⴷⴻⵎ ⵜⴰⴳⵔⴰⵡⵍⴰ ⴷⴻⴳ ⵡⴰⵎⴻⴽ ⴰⵔⴰ ⵏⴻⵇⵔⴻⴱ ⵖⴻⵔ ⵍⴻⵛⵖⴰⵍ ⴰⵎ ⵜⵙⵓⵇⵉⵍⵜ, ⴰⵙⴻⵏⴼⴰⵔ ⵏ ⵢⵉⴹⵔⵉⵙⴻⵏ, ⴷ ⵓⵙⵏⴻⴼⵍⵉ ⵏ ⵜⵎⵓⵖⵍⵉⵡⵉⵏ. ⵢⵉⵡⴻⵏ ⵙⴻⴳ ⵢⵉⴼⴻⵔⴷⵉⵙⴻⵏ ⵉⴳⴻⵊⴷⴰⵏⴻⵏ ⴰⵢ ⵢⴻⵜⵜⴻⴽⴽⴰⵏ ⴷⴻⴳ ⵓⵙⵏⴻⵔⵏⵉ ⵏ Transformers ⴷ ⴰⵎⴻⴽⴽⴰⵏ ⵏ ⵜⵎⵓⵖⵍⵉ, ⵢⴻⵔⵏⴰ ⵙ ⵓⵎⴰⵜⴰ, ⴷ ⴰⴼⴻⵔⴷⵉⵙ ⵏ ⵜⵎⵓⵖⵍⵉ ⵏ ⵡⴰⵟⴰⵙ ⵏ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ (MQA). ⴷⴻⴳ ⵓⵎⴰⴳⵔⴰⴷⴰ, ⴰⴷ ⵏⵡⴰⵍⵉ ⵜⵉⴽⵜⵉ ⵏ MQA, ⴰⵣⴰⵍⵉⵙ ⴷⴻⴳ ⵜⵎⴻⵏⴹⴰⵡⵜ ⵏ Transformers, ⴷ ⵡⴰⵎⴻⴽ ⵉ ⵜⴻⵙⵏⴻⵔⵏⴰⵢ ⵜⵉⵣⴻⵎⵎⴰⵔ ⵏ ⵢⵉⵎⵓⴽⴰⵏⴰ.

ⵜⴰⵙⴻⴳⴷⴰ ⵏ Transformatur

ⵓⵇⴱⴻⵍ ⴰⴷ ⵏⵖⴻⵔ ⴷⴻⴳ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ MQA, ⴷ ⴰⵢⴻⵏ ⵢⴻⵙⵄⴰⵏ ⴰⵣⴰⵍ ⴰⵎⴻⵇⵇⵔⴰⵏ ⴰⴷ ⵜⴻⵙⵄⵓⴹ ⵜⵉⴼⵔⴰⵜ ⵏ ⵍⵍⵙⴰⵙ ⵏ ⵜⵎⴻⵚⴽⵉⵡⵜ ⵏ Transformer. ⵢⴻⵜⵜⵡⴰⵙⴻⴽⵛⴻⵎ ⴷⴻⴳ ⵓⴷⵍⵉⵙ ⵏ ⵜⵎⴻⵥⴷⵉⵜ "ⴰⵃⴻⵣⵣⴻⴱ ⴷ ⴰⵢⴻⵏ ⴰⴽⴽ ⵉ ⵜⴻⵃⵡⴰⴵⴻⴹ" ⵙⵖⵓⵔ Vaswani ⴷ ⵡⵉⵢⴰⴹ., ⵉⵎⴻⵙⵏⴰⵍⵍⵓⵏⴻⵏ ⵙⴱⴻⴷⴷⴻⵏⴷ ⵉⵍⵓⴳⴰⵏ ⵉⵎⴰⵢⵏⵓⵜⴻⵏ ⴷⴻⴳ ⵓⵏⵏⴰⵔ ⵏ PLN. ⴷⴻⴳ ⵡⵓⵍ ⵏ ⵜⵎⴻⵚⴽⵉⵡⵜⴰ, ⵢⴻⵍⵍⴰ ⵓⵎⴻⵙⵏⵉ ⵏ ⵜⵎⵓⵖⵍⵉ ⵏ ⵢⵉⵎⴰⵏ, ⴷ ⵡⵉⵏ ⴰⵢ ⵢⴻⵜⵜⴰⴵⴵⴰⵏ ⴰⵎⴷⴰⵏ ⴰⴷ ⵢⴻⵣⴳⴻⵍ ⴰⵣⴰⵍ ⵏ ⵡⴰⵡⴰⵍⴻⵏ ⵢⴻⵎⴳⴻⵔⵔⴰⴷⴻⵏ ⴷⴻⴳ ⵜⴻⴼⵢⵉⵔⵜ, ⴷⵖⴰ ⴷ ⴰⵢⴰ ⴰⵢ ⵜⵢⴻⴵⴵⴰⵏ ⴰⴷ ⵢⴻⵟⵟⴻⴼ ⴰⴹⵔⵉⵙ ⴷ ⵡⴰⵙⵙⴰⵖⴻⵏ ⴳⴰⵔ ⵡⴰⵡⴰⵍⴻⵏ ⵙ ⵜⵖⴰⵡⵍⴰ.

ⵜⴰⵎⵍⵉⵍⵜ ⵏ ⵢⵉⵎⴻⵥⵍⴰ ⵏ ⵓⵃⴻⵣⵣⴻⴱ

ⵉⵎⴻⵥⵍⴰ ⵏ ⵜⵎⵓⵖⵍⵉ ⴷⴻⴳ Transformers ⵜⵜⵡⴰⵅⴻⴷⵎⴻⵏ ⴰⴽⴽⴻⵏ ⴰⴷ ⵙⵙⵉⵡⴹⴻⵏ ⵖⴻⵔ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵜⵎⵉⴹⵔⴰⵏⵜ ⵏ ⵜⵎⵉⴹⵔⴰⵏⵜ ⵏ ⵜⵎⵉⴹⵔⴰⵏⵜ, ⵉ ⵢⴻⵜⵜⴽⴻⵍⴼⴻⵏ ⵙ ⵢⵉⵥⴻⴹⵡⴰⵏ ⵏ ⵜⵏⴻⴼⵙⵉⵜ ⵢⴻⵜⵜⵡⴰⵄⴻⵔⴹⴻⵏ (RNN) ⵏⴻⵖ ⵉⵥⴻⴹⵡⴰⵏ ⵏ ⵜⵎⴻⵥⴷⵉⵜ ⵏ ⵜⴻⵙⵡⵉⵄⵜ ⵜⴰⵡⴻⵣⵍⴰⵏⵜ (LSTM). ⵉⵎⵣⵓⵏⴻⵏⴰ ⵉⵇⴱⵓⵔⴻⵏ ⵜⵜⵏⴰⵖⴻⵏ ⵙ ⵡⴰⵟⴰⵙ ⴷ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵜⵖⴻⵔⵖⴻⵔⵜ ⵢⴻⵔⵏⴰ ⵣⴻⵎⵔⴻⵏ ⴰⴷ ⵉⵍⵉⵏ ⴷ ⵉⵃⵔⵉⵛⴻⵏ ⵏ ⵓⵙⵙⴻⴹⵔⵓ. ⵓⵔ ⵍⵍⵉⵏ ⴰⵔⴰ ⴷⴰⵖⴻⵏ ⴷ ⵉⵎⵙⴰⵡⴰⵍⴻⵏ. ⴰⵎⴻⴽⴽⴰⵏ ⵏ ⵜⵎⵓⵖⵍⵉ ⵏ ⵢⵉⵎⴰⵏ, ⵙⴻⴳ ⵜⴰⵎⴰ ⵏⵉⴹⴻⵏ, ⵢⴻⵙⵙⴻⴼⵔⴰⴽ ⴰⵎⴹⴰⵏ ⴰⴷ ⴷⵢⴻⵙⵎⴻⴽⵜⵉ ⵉⵃⵔⵉⵛⴻⵏ ⵢⴻⵎⴳⴰⵔⴰⴷⴻⵏ ⵏ ⵜⵎⴻⵣⴳⵓⵏⵜ ⵏ ⵓⵙⵎⴻⵍ, ⴰⴽⴽⴻⵏ ⵢⴻⴱⵖⵓ ⵢⵉⵍⵉ ⵍⴱⴻⵄⴷⵏⵙⴻⵏ, ⴷⵖⴰ ⴰⵢⴰ ⴰⴷ ⴷⵢⴻⵙⵙⵉⵡⴹⴻⵏ ⵙ ⵓⵙⵏⴻⴼⵍⵉ ⵏ ⵓⴹⵔⵉⵙ ⵙ ⵜⵖⴰⵡⵍⴰ ⴷ ⵜⵖⴰⵡⵍⴰ ⵓⴳⴰⵔ.

ⴰⵃⴻⵣⵣⴻⴱ ⵖⴻⴼ ⵡⴰⵟⴰⵙ ⵏ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ

ⴰⵃⴻⵣⵣⴻⴱ ⵏ ⵡⴰⵟⴰⵙ ⵏ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ (MQA) ⴷ ⴰⵙⴻⵏⵇⴻⵙ ⵏ ⵜⵎⴻⵥⵍⴰ ⵏ ⵓⵃⴻⵣⵣⴻⴱ ⵏ ⵢⵉⵎⴰⵏ, ⴷ ⴰⵢⴻⵏ ⴰⵢ ⵢⴻⵙⵏⴻⵔⵏⴰⵏ ⵓⴳⴰⵔ ⵜⵉⵣⴻⵎⵎⴰⵔ ⵏ Transformers. ⴷⴻⴳ ⵓⵙⴻⴱⴷⴻⴷ ⵏ ⵜⵎⵓⵖⵍⵉ ⵏ ⵢⵉⵎⴰⵏ ⵏ ⵓⵙⵡⵉⵔ, ⵢⴰⵍ ⴰⴼⴻⵔⴷⵉⵙ ⴷⴻⴳ ⵜⵎⴻⵣⴳⵓⵏⵜ ⵏ ⵓⵙⵎⴻⵍ ⵢⴻⵜⵜⴰⴽⴷ ⵢⵉⵡⴻⵏ ⵏ ⵓⵙⴻⵇⴷⴻⵛ, ⵜⴰⵙⴰⵔⵓⵜ, ⴷ ⵓⴼⴻⵔⴷⵉⵙ ⵏ ⵡⴰⵣⴰⵍ. ⵎⴰⵛⴰ, ⴷⴻⴳ MQA, ⵢⴰⵍ ⴰⴼⴻⵔⴷⵉⵙ ⵢⴻⵜⵜⴰⴽⴷ ⴰⵟⴰⵙ ⵏ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ, ⵎⴰ ⴷ ⵉⵥⴻⴹⵡⴰⵏ ⴷ ⵡⴰⵣⴰⵍⴻⵏ ⵇⵇⵉⵎⴻⵏ ⴰⵎ ⵡⴰⴽⴽⴻⵏ ⵍⵍⴰⵏ. ⴰⵢⴰ ⵢⴻⵜⵜⴰⴵⴵⴰ ⴰⵎⴹⵉⵇ ⴰⴷ ⵢⴻⵟⵟⴻⴼ ⴰⵟⴰⵙ ⵏ ⵡⴰⵙⵙⴰⵖⴻⵏ ⴳⴰⵔ ⵢⵉⴼⴻⵔⴷⵉⵙⴻⵏ, ⵉⵎⵉ ⵢⴰⵍ ⴰⴼⴻⵔⴷⵉⵙ ⵢⴻⵣⵎⴻⵔ ⵜⵓⵔⴰ ⴰⴷ ⵉⵃⴰⴷⴻⵔ ⵖⴻⴼ ⵢⵉⵃⵔⵉⵛⴻⵏ ⵢⴻⵎⴳⴰⵔⴰⴷⴻⵏ ⵏ ⵢⵉⴼⴻⵔⴷⵉⵙⴻⵏⵏⵏⵉⴹⴻⵏ ⴷⴻⴳ ⵜⵎⴻⵣⴳⵓⵏⵜ.

ⴰⵎⴻⴽ ⵉⵅⴻⴷⴷⴻⵎ MQA

ⴰⴽⴽⴻⵏ ⴰⴷ ⵏⴻⴼⵀⴻⵎ ⴰⵎⴻⴽ ⵉⵅⴻⴷⴷⴻⵎ MQA, ⴰⴷ ⵏⵡⴰⵍⵉ ⴰⵎⴻⴷⵢⴰ ⵙⴼⴻⵀⵎⴻⵏ. ⵅⴰⵢⴻⵍⴷ ⴱⴻⵍⵍⵉ ⵏⴻⵙⵄⴰ ⵜⴰⴼⵢⵉⵔⵜ ⵙ ⴽⵔⴰⴹ ⵏ ⵡⴰⵡⴰⵍⴻⵏ: "Amcic ⵢⴻⵜⵜⵃⴻⵇⵔⵉⵇ." ⴷⴻⴳ ⵓⵎⴻⴽⴽⴰⵏ ⵏ ⵜⵎⵓⵖⵍⵉ ⵏ ⵢⵉⵎⴰⵏ ⵏ ⵓⵙⵡⵉⵔ, ⵢⴰⵍ ⴰⵡⴰⵍ ⴰⴷ ⴷⵢⴻⵙⵙⵓⴼⴼⴻⵖ ⵢⵉⵡⴻⵏ ⵏ ⵓⵙⴻⵇⴷⴻⵛ, ⵏ ⵜⵎⴻⵥⴷⵉⵜ, ⴷ ⵢⵉⵡⴻⵏ ⵏ ⵓⴼⴻⵔⴷⵉⵙ ⵏ ⵡⴰⵣⴰⵍ. ⵎⴰⵛⴰ, ⴷⴻⴳ MQA, ⵢⴰⵍ ⴰⵡⴰⵍ ⵢⴻⵣⵎⴻⵔ ⴰⴷ ⴷⵢⴻⵙⵏⵓⵍⴼⵓ ⵙⵉⵏ ⵏ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ (Q1 ⴷ Q2), ⴰⴽⴽ ⴷ ⵢⵉⵡⴻⵏ ⵏ ⵓⵙⵎⴻⵍ ⵏ ⵜⵎⴻⵥⴷⵉⵜ ⴷ ⵡⴰⵣⴰⵍ. ⴰⵢⴰ ⴰⵏⴰⵎⴻⴽⵉⵙ ⵎⵉ ⴰⵔⴰ ⵜⵜⵡⴰⵃⴻⵙⴱⴻⵏ ⵢⵉⵥⴻⴹⵡⴰⵏ ⵏ ⵜⵎⵓⵖⵍⵉ, ⵢⴰⵍ ⴰⵡⴰⵍ ⵢⴻⵣⵎⴻⵔ ⵜⵓⵔⴰ ⴰⴷ ⵉⵃⴰⴷⴻⵔ ⵙⵉⵏ ⵏ ⵢⵉⵃⵔⵉⵛⴻⵏ ⵢⴻⵎⴳⴰⵔⴰⴷⴻⵏ ⵏ ⵡⴰⵡⴰⵍⴻⵏⵏⵏⵉⴹⴻⵏ, ⴷⵖⴰ ⴰⵢⴰ ⴰⴷ ⴷⵢⴰⵡⵉ ⵖⴻⵔ ⵓⵙⵙⴻⴼⵀⴻⵎ ⵏ ⵜⴻⴼⵢⵉⵔⵜ ⵙ ⵜⵖⴰⵡⵍⴰ ⵓⴳⴰⵔ.

ⵍⴼⴰⵢⴷⴰⵜ ⵏ MQA

ⵜⴰⵙⴻⴽⵛⴻⵎⵜ ⵏ ⵡⴰⵟⴰⵙ ⵏ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ ⵉ ⵢⴰⵍ ⴰⴹⵔⵉⵙ ⵜⴻⵜⵜⴰⵡⵉⴷ ⴰⵟⴰⵙ ⵏ ⵍⴼⴰⵢⴷⴰⵜ ⵉ ⵜⵎⴻⵚⴽⵉⵡⵜ ⵏ Transformer:

1. Asnerni ⵏ ⵓⵙⴼⴰⵀⴻⵎ ⵏ ⵜⵎⴻⵏⴹⴰⵡⵜ: ⵙ ⵓⵄⵉⵡⴻⴷ ⵏ ⵢⴰⵍ ⴰⴼⴻⵔⴷⵉⵙ ⴰⴽⴽⴻⵏ ⴰⴷ ⴷⵢⴻⵙⵏⵓⵍⴼⵓ ⴰⵟⴰⵙ ⵏ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ, MQA ⵢⴻⵙⵙⴻⴼⵔⴰⴽ ⴰⵎⴹⴰⵏ ⴰⴽⴽⴻⵏ ⴰⴷ ⵢⴻⵟⵟⴻⴼ ⴰⵟⴰⵙ ⵏ ⵢⵉⵙⴰⵍⵍⴻⵏ ⵏ ⵜⵎⴻⵏⴹⴰⵡⵜ, ⴷⵖⴰ ⴰⵢⴰ ⴰⴷ ⴷⵢⴰⵡⵉ ⵙ ⵜⵎⵓⵖⵍⵉⵡⵉⵏ ⵏ ⵜⴼⴻⵍⵡⵉⵜ ⵏ ⵓⵙⵎⴻⵍ ⵙ ⵜⵖⴰⵡⵍⴰ ⵓⴳⴰⵔ.

2. Asnerni ⵏ ⵓⵙⵏⴻⵔⵏⵉ: MQA ⵢⴻⵜⵜⴰⴽⴷ ⵉ ⵓⵎⴹⵉⵇⵏⵏⵉ ⵜⴰⵣⵎⴻⵔⵜ ⴰⴽⴽⴻⵏ ⴰⴷ ⴷⵢⴻⵙⵎⴻⴽⵜⵉ ⵙ ⵢⵉⵃⵔⵉⵛⴻⵏ ⵢⴻⵎⴳⴰⵔⴰⴷⴻⵏ ⵏ ⵜⵎⵉⴹⵔⴰⵏⵜ ⵏ ⵓⵙⵎⴻⵍ, ⴷ ⴰⵢⴻⵏ ⵉⵣⴻⵎⵔⴻⵏ ⴰⴷ ⵢⵉⵍⵉ ⴷ ⴰⵏⴼⴰⵢ ⵍⴰⴷⵖⴰ ⴷⴻⴳ ⵍⴻⵛⵖⴰⵍ ⵉ ⵢⴻⵙⵙⴻⴼⴽⴻⵏ ⴰⴼⵀⴰⵎ ⵏ ⵓⴹⵔⵉⵙ ⵙ ⵜⵖⴰⵡⵍⴰ, ⴰⵎ ⵓⵙⵏⴻⴼⵍⵉ ⵏ ⵜⵎⵓⵖⵍⵉ ⵏⴻⵖ ⴰⵙⵜⴻⵇⵙⵉ . ⵢⴻⵜⵜⴰⵔⵔⴰⴷ.

3. ⴰⵙⵏⴻⴼⵍⵉ ⵏ ⵜⵎⵓⵙⵙⵏⵉ: ⵖⴰⵙ ⴰⴽⴽⴻⵏ ⵢⴻⵡⵡⴻⴹ ⵓⵎⴹⴰⵏ ⵏ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ, MQA ⵢⴻⵣⵎⴻⵔ ⴰⴷ ⵢⴻⵜⵜⵡⴰⵙⵙⴻⴹⵔⵓ ⵙ ⵜⵎⵓⵙⵙⵏⵉ, ⵙ ⵍⵎⴻⵏⴷⴰⴷ ⵏ ⵜⵖⴰⵡⵙⴰ ⵏ ⵜⵎⴻⵚⴽⵉⵡⵜ ⵏ Transformer ⵉ ⵉⵣⴻⵎⵔⴻⵏ ⴰⴷ ⵜⴻⵜⵜⵡⴰⵙⴻⵎⵔⴻⵙ. ⴰⵢⴰ ⵢⴻⵜⵜⴹⴻⵎⵎⵉⵍ ⴷⴰⴽⴽⴻⵏ ⵍⴼⴰⵢⴷⴰ ⵏ ⵓⵙⵏⴻⵔⵏⵉ ⵏ ⵓⵙⴼⴰⵀⴻⵎ ⵏ ⵜⵎⴻⵏⴹⴰⵡⵜ ⵓⵔ ⴷⵜⴻⵜⵜⵉⵍⵉ ⴰⵔⴰ ⵙ ⵍⵇⵉⵎⴰ ⵏ ⵓⵙⵏⴻⵔⵏⵉ ⵏ ⵓⵙⵡⵉⵔ ⵏ ⵜⵎⴻⵥⵔⵉ.

MQA ⴷⴻⴳ Useqdec

ⴰⴽⴽⴻⵏ ⴰⴷ ⴷⵏⴻⵙⵙⴽⴻⵏ ⴰⵙⴻⵏⴼⴰⵔ ⵏ MQA ⴷⴻⴳ Transformers, ⴰⴷ ⴷⵏⴻⴼⴽ ⴰⵎⴻⴷⵢⴰ ⵏ ⵜⵎⵓⵖⵍⵉ ⴷⴻⴳ ⵜⵎⴻⵏⴹⴰⵡⵜ ⵏ ⵜⵙⵓⵇⵉⵍⵜ ⵏ ⵜⵎⴰⵛⵉⵏⵉⵏ. ⴰⴷ ⴷⵏⵉⵏⵉ ⴷ ⴰⴽⴽⴻⵏ ⵏⴻⵙⵙⵓⵇⴻⵍ ⵜⴰⴼⵢⵉⵔⵜⴰ "Aqcic ⴰⵇⴻⵔⵔⵓⵢ ⵙ ⵜⵖⴰⵡⵍⴰ ⵢⴻⵜⵜⵄⴻⴷⴷⴰⵢ ⵖⴻⴼ ⵓⵇⵊⵓⵏ ⵏ ⵜⵎⴻⵥⵥⵓⵖⵜ" ⵙⴻⴳ ⵜⴻⴳⵍⵉⵣⵉⵜ ⵖⴻⵔ tespenyulit. ⵙ MQA, ⴰⵎⴹⴰⵏ ⵢⴻⵣⵎⴻⵔ ⴰⴷ ⴷⵢⴻⵙⵏⵓⵍⴼⵓ ⴰⵟⴰⵙ ⵏ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ ⵉ ⵢⴰⵍ ⴰⵡⴰⵍ ⴷⴻⴳ ⵜⴻⴼⵢⵉⵔⵜ, ⴷⵖⴰ ⴰⵢⴰ ⴰⴷ ⵜⵢⴻⴵⴵ ⴰⴷ ⵢⴻⵟⵟⴻⴼ ⵜⵉⵖⴰⵡⵙⵉⵡⵉⵏ ⵢⴻⵎⴳⴰⵔⴰⴷⴻⵏ ⵏ ⵡⴰⵡⴰⵍⴻⵏ. ⴰⵎⴻⴷⵢⴰ, ⴰⵡⴰⵍ "ⵇⵓⵉⵛⴽ" ⵢⴻⵣⵎⴻⵔ ⴰⴷ ⴷⵢⴻⵙⵏⵓⵍⴼⵓ ⵢⵉⵡⴻⵏ ⵏ ⵓⵙⴻⵇⴷⴻⵛ ⵉⵛⵓⴷⴷⴻⵏ ⵖⴻⵔ ⵜⵖⴰⵡⵙⴰ ⴷ ⵡⴰⵢⴻⴹ ⵉⵛⵓⴷⴷⴻⵏ ⵖⴻⵔ ⵜⵖⴰⵡⵙⴰ. ⴰⵙⴻⵎⵔⴻⵙⴰ ⴰⵢ ⴷⵢⴻⵍⵍⴰⵏ ⵙ ⵜⵖⴰⵡⵍⴰ ⵢⴻⵣⵎⴻⵔ ⴰⴷ ⵉⵄⵉⵡⴻⵏ ⴰⵎⵣⵓⵏⵏⵏⵉ ⴰⴷ ⴷⵢⴻⵙⵙⵓⴼⴼⴻⵖ ⵜⴰⵙⵓⵇⵉⵍⵜ ⴰⵢ ⴷⵢⴻⵜⵜⵡⴰⵙⴱⴻⴷⴷⴻⵏ ⵙ ⵜⵖⴰⵡⵍⴰ ⵢⴻⵔⵏⴰ ⵙ ⵜⵖⴰⵡⵍⴰ.

ⵜⴰⴳⴳⴰⵔⴰ

ⵎⵓⵍⵜⵉⵇⵓⴻⵔⵢ Attention ⴷ ⴰⵙⴻⵏⵇⴻⵙ ⵉⵊⴻⵀⴷⴻⵏ ⵏ ⵜⵎⴻⵥⵍⴰ ⵏ ⵓⵙⴽⴰⵙⵉ ⵏ ⵢⵉⵎⴰⵏ ⵢⴻⵙⵄⴰⵏ ⵜⴰⵣⵎⴻⵔⵜ ⴰⴷ ⵢⴻⵙⵏⴻⵔⵏⵉ ⵓⴳⴰⵔ ⵜⵉⵣⴻⵎⵎⴰⵔ ⵏ ⵢⵉⵎⵓⴽⴰⵏ ⵏ Transformer. ⵙ ⵓⵄⵉⵡⴻⴷ ⵏ ⵢⴰⵍ ⴰⴼⴻⵔⴷⵉⵙ ⴰⴽⴽⴻⵏ ⴰⴷ ⴷⵢⴻⵙⵏⵓⵍⴼⵓ ⴰⵟⴰⵙ ⵏ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ, MQA ⵢⴻⵜⵜⴰⴽⴷ ⴰⵙⴻⴼⵀⴻⵎ ⵙ ⵜⵖⴰⵡⵍⴰ ⵓⴳⴰⵔ ⵏ ⵜⵎⴻⵣⴳⵓⵏⵜ ⵏ ⵓⵙⵎⴻⵍ, ⴷⵖⴰ ⴰⵢⴰ ⵢⴻⵜⵜⴰⵡⵉⴷ ⵙ ⵓⵙⵏⴻⵔⵏⵉ ⵏ ⵓⵅⴻⴷⴷⵉⵎ ⴷⴻⴳ ⵢⵉⵡⴻⵏ ⵏ ⵓⵙⵡⵉⵔ ⵎⴻⵇⵇⵔⴻⵏ ⵏ ⵍⴻⵇⴷⵉⵛⴰⵜ ⵏ NLP.