ⴷⴻⴳ ⵎⴻⵖⵔⴻⵙ, 2024
ⵜⴰⵏⴻⵄⵡⵉⵍⵜ ⵏ ⵓⴱⴻⴷⴷⴻⵍ
ⵉⵎⴷⴰⵏⴻⵏ ⵉⵎⴻⵇⵇⵔⴰⵏⴻⵏ ⵏ ⵜⵓⵜⵍⴰⵢⵜ (LLM) ⴰⵎ GPT4 ⴷ Llama2 ⵙⵙⴻⴽⵏⴻⵏⴷ ⵜⵉⵣⴻⵎⵎⴰⵔ ⵉⴳⴻⵔⵔⵣⴻⵏ ⴷⴻⴳ ⵓⵙⴼⴻⵀⴻⵎ . ⴰⴽⴽⴻⴷ ⵓⵙⵏⵓⵍⴼⵓ ⵏ ⵓⴹⵔⵉⵙ ⵢⴻⵛⴱⴰⵏ ⵡⵉⵏ ⵏ ⵓⵎⴷⴰⵏ, ⵉ ⴷⵢⴻⵙⴷⵓⴽⴽⵍⴻⵏ ⴰⵟⴰⵙ ⵏ ⵜⵎⵓⵙⵏⵉⵡⵉⵏ. ⴷ ⴰⵛⵓ ⴽⴰⵏ, ⵜⵜⴼⴻⵚⵚⵉⵍⴻⵏ ⴷⴻⴳ ⵢⵉⵡⴻⵜ ⵏ ⵜⵖⴰⵡⵙⴰ ⴰⵢ ⴷⵢⴻⵜⵜⴱⴰⵏⴻⵏ ⴷ ⵜⵉⵏ ⵙⵔⵉⴷ: ⴷ ⴰⴱⴻⴷⴷⴻⵍ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⴰⵢ ⴷⵢⴻⵍⵎⴻⴷ. ⵜⴰⴳⵏⵉⵜⴰ, ⵓⵎⵉ ⵙⴻⵎⵎⴰⵏ "ⴰⵄⴰⵇⴻⴱ ⵏ ⵓⵄⴻⴹⴹⴻⵍ", ⵜⴻⵜⵜⵡⴰⵍⵉ ⴷⴰⴽⴽⴻⵏ ⵍⵍⵎ ⵓⵔ ⵣⵎⵉⵔⴻⵏ ⴰⴷ ⴷⵙⵏⵓⵍⴼⵓⵏ ⴷ ⴰⴽⴽⴻⵏ "ⴱ ⴷ ⵜⴰⵖⴰⵡⵙⴰ ⵏ ⴰ" ⵙⴻⴳ ⵓⵍⵎⴰⴷ ⵏ "ⴰ ⵢⴻⵙⵄⴰ ⵜⴰⵖⴰⵡⵙⴰ ⴱ", ⴷ ⵜⴰⵎⵓⵙⵏⵉ ⵏ ⵓⵙⵙⴻⴼⵀⴻⵎ ⵏ ⵍⵍⵙⴰⵙ ⴰⵢ ⵙⵄⴰⵏ ⵓⵍⴰ ⴷ ⵉⴳⴻⵔⴷⴰⵏ. ⴰⵔⵔⴰⵣⴰ ⵢⴻⵙⵙⴽⴰⵏⴰⵢⴷ "Asleɣmu ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵙ ⵜⵖⴰⵡⵍⴰ", ⴷ ⵜⴰⵔⵔⴰⵢⵜ ⵜⴰⵎⴰⵢⵏⵓⵜ ⵉ ⵍⵎⴻⵏⴷ ⵏ ⵓⵃⴱⴰⵙ ⵏ ⵡⵓⴳⵓⵔⴻⵏⴰ ⵙ ⵓⵙⵙⴻⵇⴷⴻⵛ ⵏ ⵜⵎⵓⵖⵍⵉ ⵏ ⵓⵙⵙⵉⵍⴻⵖ ⵙ ⵙⵏⴰⵜ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵉ ⵍⵎⴻⵏⴷ ⵏ ⵓⵙⵏⴻⵔⵏⵉ ⵏ ⵓⵙⵙⴻⴼⵀⴻⵎ ⵏ ⵓⵎⴷⴰⵏ ⵖⴻⴼ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⴰⵎⴰ ⴷⴻⴳ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵣⴷⴰⵜ, ⴰⵎⴰ ⴷⴻⴳ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵣⴷⴰⵜ.
ⴰⵥⴰⵔ ⵏ ⵏⴻⵄⵢⴰ ⵏ ⵓⴱⴻⴷⴷⴻⵍ
ⵓⴳⵓⵔⴰ ⵢⴻⴽⴽⴰⴷ ⵙⴻⴳ ⵜⵎⵓⵖⵍⵉ ⵏ ⵓⵙⵙⵉⵍⴻⵖ ⵏ ⵍⵍⵙⴰⵙ ⵏ LLM, ⴷ ⵜⵉⵏ ⴰⵢⴷⴻⴳ ⵙ ⵓⵎⴰⵜⴰ ⴰⵍⵎⵓⴷ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵙ ⵜⵉⵎⵎⴰⴷⵏⵙⴻⵏⵜ, ⵙⴻⴳ ⵓⵣⴻⵍⵎⴰⴹ ⵖⴻⵔ ⵢⵉⴷⵉⵙ ⴰⵢⴻⴼⴼⵓⵙ. ⵜⴰⵎⴻⵥⵍⴰⴰ ⵓⵔ ⵜⴻⵙⵙⴻⵍⵎⴰⴷ ⴰⵔⴰ ⵙ ⵜⵖⴰⵡⵍⴰ ⵉⵎⵓⴷⴻⵍ ⴰⴽⴽⴻⵏ ⴰⴷ ⴼⴻⵀⵎⴻⵏ ⵏⴻⵖ ⴰⴷ ⴷⵙⵏⵓⵍⴼⵓⵏ ⵉⵙⴰⵍⴰⵏ ⵙ ⵜⵎⴻⵏⴹⴰⵡⵜ ⵏ ⵜⵎⵓⵖⵍⵉ. ⵙ ⵍⵎⴻⵏⴷⴰⴷ ⵏ ⵜⵖⴰⵡⵙⴰ ⵏ ⵜⴼⴻⵔⵇⴻⵜ ⵏ ⵢⵉⵙⴻⴼⴽⴰ ⵙ ⴹⴻⴼⵔⴻⵏ ⴰⵙⴰⴹⵓⴼ ⵏ Zipf, ⴰⵟⴰⵙ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⴰⵢ ⴷⵢⴻⵜⵜⵡⴰⴱⴷⴻⵔ ⴽⴰⵏ ⴷⴻⴳ ⵢⵉⵡⴻⵜ ⵏ ⵜⵎⵓⵖⵍⵉ, ⴷⵖⴰ ⴰⵢⴰ ⵢⴻⵙⵙⴻⵎⵖⴻⵔ ⵜⴰⵎⵙⴰⵍⵜⴰ. "ⵜⴰⵄⴻⵙⵙⴰⵙⵜ ⵏ ⵓⵙⴱⴻⴷⴷⵉ" (Reversal Curse) ⵜⴻⵜⵜⵃⴻⵜⵜⵉⵎ ⵍⴻⴼⵀⴰⵎⴰ ⵏ LLM ⵖⴻⴼ ⵡⴰⵙⵙⴰⵖⴻⵏ ⵢⴻⵎⴳⴻⵔⵔⴰⴷⴻⵏ ⴻⴷ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⴷⴻⴳ ⵢⵉⵙⴰⵍⴰⵏ, ⴷⵖⴰ ⴷ ⴰⵢⴰ ⴰⵢ ⴷⵢⴻⵙⵙⴽⴰⵏⴰⵢⴻⵏ ⵍⴻⵅⵚⴰⵚ ⴰⵎⴻⵇⵔⴰⵏ ⴷⴻⴳ ⵜⵣⴻⵎⵎⴰⵔⵏⵙⴻⵏ ⵏ ⵓⵙⵙⴻⴼⵀⴻⵎ.
ⴰⵖⴻⵍⵍⴻⴱ ⵖⴻⴼ ⵏⴻⵄⵢⴰ ⵏ ⵓⴱⴻⴷⴷⴻⵍ ⵙ ⵓⵙⵙⵉⵍⴻⵖ ⵏ ⵓⴱⴻⴷⴷⴻⵍ
ⵜⵉⴼⵔⴰⵜ ⴰⵢ ⴷⵢⴻⵜⵜⵡⴰⵙⵙⵓⵎⵔⴻⵏ, Reverse Training, ⵜⴻⵙⵙⴻⵎⵖⴻⵔ ⵙ ⵙⵉⵏ ⵏ ⵢⵉⵎⵓⴽⴰⵏ ⵉⵙⴻⴼⴽⴰ ⵏ ⵓⵙⵙⵉⵍⴻⵖ ⴰⵢ ⵢⴻⵍⵍⴰⵏ ⵙ ⵓⵙⵙⴻⴽⵛⴻⵎ ⴰⵎⴰ ⵏ ⵜⴼⴻⵍⵡⵉⵢⵉⵏ ⵜⵉⵥⵓⵔⴰⵏⵉⵏ, ⴰⵎⴰ ⵏ ⵜⴼⴻⵍⵡⵉⵢⵉⵏ ⵏ ⵓⵙⵙⵉⵍⴻⵖ ⵏ ⵜⴼⴻⵍⵡⵉⵜ ⵏ ⵓⵙⵙⵉⵍⴻⵖ. ⴰⴽⴰⵍⴰ ⵏ ⵓⵙⴱⴻⴷⴷⵉ ⵢⴻⵜⵜⵃⴰⴷⴰⵔ ⴰⴽⴽⴻⵏ ⵓⵔ ⵢⴻⵜⵜⴱⴻⴷⴷⵉⵍ ⴰⵔⴰ ⴽⵔⴰ ⵏ ⵜⴼⴻⵍⵡⵉⵢⵉⵏ ⵏ ⵜⴼⴻⵍⵡⵉⵜ, ⴰⵎ ⵢⵉⵙⵎⴰⵡⴻⵏ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ, ⵢⴻⵜⵜⵃⴰⴷⴰⵔ ⵜⴰⵙⴻⴽⴽⵉⵔⵜⵏⵙⴻⵏ ⵜⴰⵥⵓⵔⴰⵏⵜ ⴰⴽⴽⴻⵏ ⴰⴷ ⵢⴻⵃⵔⴻⵣ ⴰⴹⵔⵉⵙ. ⵜⴰⵎⴻⵥⵍⴰⴰ, ⵜⵛⵓⴷⴷ ⵖⴻⵔ ⵓⵙⵙⴻⴽⵛⴻⵎ ⵏ ⵜⵓⵜⵍⴰⵢⵜ ⵜⵉⵙ ⵙⵏⴰⵜ ⵉ LLM ⴰⴽⴽⴻⵏ ⴰⴷ ⵜⵜⵢⴻⵍⵎⴻⴷ, ⵜⴻⵙⵙⴻⵍⵀⵓ ⵙ ⵡⴰⵟⴰⵙ ⵜⴰⵣⵎⴻⵔⵜ ⵏ ⵓⵎⴷⴰⵏⵏⵏⵉ ⴰⴽⴽⴻⵏ ⴰⴷ ⵢⴻⵙⵙⴻⵇⴷⴻⵛ ⵢⴻⵔⵏⴰ ⴰⴷ ⴷⵢⴻⵙⵏⵓⵍⴼⵓ ⵉⵙⴰⵍⴰⵏ ⴷⴻⴳ ⵙⵏⴰⵜ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏⴰ.
ⴰⵊⴻⵔⵔⴻⴷ ⵏ ⵜⴰⵔⵔⴰⵢⵜ ⵏ ⵓⵙⵙⵉⵍⴻⵖ ⵏ ⵓⵇⴱⴰⵍ
ⵉⵎⵢⵓⵔⴰⴰ ⵅⴻⴷⵎⴻⵏ ⵜⵉⵊⴻⵔⵔⵓⵎⵉⵏⴰ ⴰⴽⴽⴻⵏ ⴰⴷ ⵙⵇⴻⴷⵛⴻⵏ ⵜⴰⵔⵔⴰⵢⵜⵏⵙⴻⵏ ⵉ ⴷⵙⵙⵓⵜⵓⵔⴻⵏ :
1- Symbolic Reverse Task: Ajerred ⵏ ⵜⵡⴻⵏⵏⴰⴹⵜ ⵢⴻⵜⵜⵡⴰⵃⴻⵔⵣⴻⵏ ⵉ ⴷⵢⴻⵙⴽⴰⵏⴰⵢⴻⵏ ⵜⴰⵣⵎⴻⵔⵜ ⵏ ⵜⴰⵔⵔⴰⵢⵜ ⴰⴽⴽⴻⵏ ⴰⴷ ⴷⵜⴻⵙⵏⵓⵍⴼⵓ ⵢⴻⵔⵏⴰ ⴰⴷ ⵜⴻⵙⵇⴻⴷⵛⴻⵎ ⴰⵙⵙⴰⵖⴻⵏ ⵢⴻⵜⵜⵡⴰⴹⴻⴼⵔⴻⵏ.
2- Reversing Biography Tazrawt: Aseqdec ⵏ ⵜⵎⴻⵣⴳⵓⵏⵜ ⵏ ⵜⴻⵙⵍⴻⴹⵜ ⵉ ⵓⵇⴻⵢⴻⵎ ⵏ ⵜⵖⴰⵔⴰ ⴷⴻⴳ ⵓⵙⵏⵓⵍⴼⵓ ⵏ ⵢⵉⵙⵎⴰⵡⴻⵏ ⵏ ⵢⵉⵎⴷⴰⵏⴻⵏ ⵙⴻⴳ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵢⴻⵜⵜⵓⵏⴻⴼⴽⴻⵏ, ⵙ ⵜⵎⵓⵖⵍⵉ ⵏ ⵜⵎⵓⵖⵍⵉ.
3- Abeddel ⵏ ⵜⵎⵓⵙⵙⵏⵉ ⴷⴻⴳ ⵓⵎⴰⴹⴰⵍ ⵏ ⵜⵉⴷⴻⵜ: Askasi ⵏ ⵜⵎⵓⵙⵙⵏⵉ ⵏ ⵜⴰⵔⵔⴰⵢⵜ ⴷⴻⴳ ⵜⴻⵙⵏⴰⵍⵍⵓⵏⵉⵏ ⵏ ⵓⵎⴰⴹⴰⵍ ⵏ ⵜⵉⴷⴻⵜ, ⴳⴰⵔⴰⵙⴻⵏⵜ ⴰⴱⴻⴷⴷⴻⵍ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵖⴻⴼ ⵢⵉⵎⴻⴷⵢⴰⵣⴻⵏ ⴷ ⵡⴰⵙⵙⴰⵖⴻⵏⵏⵙⴻⵏ.
4- Asenqes ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵜⵉⵎⴻⵥⵢⴰⵏⵉⵏ: Ajerred ⵏ ⵜⴻⵣⵎⴻⵔⵜ ⵏ ⵓⵍⵎⴰⴷ ⵏ ⵓⵎⴷⴰⵏ ⵖⴻⴼ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵜⵉⵎⴻⵥⵢⴰⵏⵉⵏ ⵉ ⴷⵢⴻⵜⵜⵡⴰⵙⵇⴻⴷⵛⴻⵏ ⵙ ⵡⵓⴷⴻⵎ ⴰⵎⴰⵢⵏⵓⵜ, ⵢⴻⵜⵜⵡⴰⴱⴻⴷⴷⵍⴻⵏ.
ⵙ ⵜⵖⴰⵡⵙⵉⵡⵉⵏⴰ, ⴰⵙⵉⵍⴻⵖ (ⵜⵔⴰⵉⵏⵉⵏⴳ) ⵏ ⵓⵄⴻⴹⴹⴻⵍ ⵓⵔ ⵢⴻⵙⵙⴻⴼⵙⴰⵢ ⴽⴰⵏ ⵜⴰⵄⴽⴻⵎⵜ ⵏ ⵓⵄⴻⵡⵡⴻⵍ, ⵡⴰⵏⴰⴳ, ⴷⴻⴳ ⴽⵔⴰ ⵏ ⵜⴻⴳⵏⵉⵜ, ⵢⴻⴽⴽⴻⵙⵉⵜⵜ ⵙ ⵍⴻⴽⵎⴰⵍⵏⵏⴻⵙ. ⵜⴰⵎⴻⵥⵍⴰⴰ ⵜⴻⵙⵙⴽⴰⵏⴰⵢⴷ ⴷ ⴰⴽⴽⴻⵏ ⵜⴻⵍⵍⴰ ⵙ ⵡⴰⵣⴰⵍⵉⵙ ⵍⴰⴷⵖⴰ ⵎⵉ ⵜⵜⵡⴰⵃⴻⵔⵣⴻⵏ ⵢⵉⵙⵎⴰⵡⴻⵏ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⴷⴻⴳ ⵓⵎⴹⵉⵇⵏⵙⴻⵏ ⴰⵥⴰⵢⴰⵏ ⴷⴻⴳ ⵜⴰⵍⵍⵉⵜ ⵏ ⵓⴱⴻⴷⴷⴻⵍ, ⴷⵖⴰ ⴷ ⴰⵢⴰ ⴰⵢ ⴷⵢⴻⵙⵙⴽⴰⵏⴰⵢⴻⵏ ⴰⵣⴰⵍ ⵏ ⵓⵃⵔⴰⵣ ⵏ ⴽⵔⴰ ⵏ ⵢⵉⴼⴻⵔⴷⵉⵙⴻⵏ ⵏ ⵜⵎⴻⵏⴹⴰⵡⵜ.
ⵜⵉⵎⵙⵉⵔⵉⵏ ⴷ ⵜⵎⵓⵖⵍⵉⵡⵉⵏ ⵏ ⵓⵣⴻⴽⴽⴰ
ⴰⵔⵔⴰⵣ ⵏ Reverse Training ⴷⴻⴳ ⵓⵙⵙⴻⴱⴷⴻⴷ ⵏ Reversal Curse ⵢⴻⵍⴷⵉⴷ ⵉⴱⴻⵔⴷⴰⵏ ⵉⵎⴰⵢⵏⵓⵜⴻⵏ ⵉ ⵜⵜⴰⵡⵉⵍⴰⵜ ⵏ ⵓⵙⵙⵉⵍⴻⵖ ⵏ LLM. ⵙ ⵓⵙⵏⴻⵔⵏⵉ ⵏ ⵓⵙⴼⴰⵀⴻⵎ ⵏ ⵢⵉⵎⵓⴽⴰⵏ ⵏ ⵜⵎⵓⵖⵍⵉ ⵖⴻⴼ ⵡⴰⵙⵙⴰⵖⴻⵏ ⵏ ⵜⵎⵓⵖⵍⵉⵡⵉⵏ ⴷ ⵜⵎⵓⵖⵍⵉⵡⵉⵏ ⴷⴻⴳ ⵢⵉⵎⴻⵙⵍⴰⵢⴻⵏ, ⵜⴰⵣⵔⴰⵡⵜⴰ ⵜⴻⵍⴷⵉ ⵜⴰⵡⵡⵓⵔⵜ ⵉ ⵜⵣⴻⵎⵎⴰⵔ ⵏ ⵓⵙⵏⵓⵍⴼⵓ ⵙ ⵡⴰⵣⴰⵍⵏⵙⴻⵏⵜ ⵓⴳⴰⵔ. ⴰⵏⴰⴷⵉ ⴰⵔⴰ ⴷⵢⵉⵍⵉⵏ ⵙⴷⴰⵜⵏⴻⵖ ⵢⴻⵣⵎⴻⵔ ⴰⴷ ⴷⵢⴻⵙⵏⵓⵍⴼⵓ ⵓⴳⴰⵔ ⵏ ⵓⵙⵏⴻⵔⵏⵉ ⵏ ⵜⵎⵓⵖⵍⵉ ⵏ ⵓⴱⴻⴷⴷⴻⵍ, ⵜⴰⵣⵎⴻⵔⵜ ⵏ ⵓⵙⴷⵓⴽⴽⴻⵍ ⵏ ⵓⵙⵉⵍⴻⵖ ⵏ ⵓⴱⴻⴷⴷⴻⵍ ⴷⴻⴳ ⵜⵎⴻⵚⴽⵉⵡⵜ ⵏⵏⵉⴹⴻⵏ ⵏ ⵜⵎⵓⴷⴻⵎⵜ ⵏ ⵜⵓⵜⵍⴰⵢⵜ, ⴷ ⵓⵙⵙⴻⵇⴷⴻⵛ ⵏ ⵜⵎⵓⵖⵍⵉⴰ ⵙ ⵡⴰⵟⴰⵙ ⴷⴻⴳ ⵓⵙⵙⴻⴼⵀⴻⵎ ⵏ ⵜⵓⵜⵍⴰⵢⵜ ⵜⴰⵎⴰⴳⵏⵓⵜ ⴷ ⵍⴻⵛⵖⴰⵍ ⵏ ⵓⵙⵏⵓⵍⴼⵓ.