ⴰⵙⵏⴻⴼⵍⵉ ⵏ ⵜⵙⴻⵔⵜⵉⵜ ⵜⴰⵇⴻⵔⵏⵉⵜ (PPO) ⴷ ⴰⴼⴻⵔⴷⵉⵙ ⵢⴻⵜⵜⵡⴰⵙⵙⵏⴻⵏ ⴷⴻⴳ ⵓⵍⵎⴰⴷ ⵏ ⵓⵙⴻⴵⵀⴻⴷ (RL) ⵢⴻⵜⵜⵡⴰⵙⵇⴻⴷⵛⴻⵏ ⵉ ⵓⵙⵙⴻⵇⴷⴻⵛ ⵏ ⵜⵙⴻⵔⵜⵉⵜ ⵙ ⵜⵖⴰⵡⵍⴰ ⴷ ⵜⵖⴰⵡⵍⴰ. ⵢⴻⵜⵜⵇⴰⴷⴰⵔ ⴽⵔⴰ ⵏ ⵜⴻⵎⵙⴰⵍ ⵉ ⴷⵢⴻⵜⵜⵡⴰⴼⴽⴰⵏ ⴷⴻⴳ ⵜⵜⴰⵡⵉⵍⴰⵜ ⵏ ⵓⵙⵏⴻⴼⵍⵉ ⵏ ⵜⵙⴻⵔⵜⵉⵜ ⵜⴰⵇⴱⵓⵔⵜ ⴰⵎ ⵜⵎⵓⵖⵍⵉ ⵏ ⵜⵎⵓⵖⵍⵉ ⵏ ⵜⵎⵓⵖⵍⵉ ⴷ ⵜⵎⵓⵖⵍⵉ ⵏ ⵜⵎⵓⵖⵍⵉ.
ⵉⴼⴻⵔⴷⵉⵙⴻⵏ ⵉⴳⴻⵊⴷⴰⵏⴻⵏ<ⴰ ⵉⴷ="ⵉⴼⴻⵔⴷⵉⵙⴻⵏⵉⴳⴻⵊⴷⴰⵏⴻⵏ"></ⴰ>
ⵜⴰⵖⵓⵍⵜ ⵏ ⵢⵉⵙⵡⵉ<ⴰ ⵉⴷ="ⵜⴰⵖⵓⵍⵜⵉⵙⵡⵉ"></ⴰ>
PPO ⵉⵙⵡⵉⵙ ⴷ ⴰⵙⴻⵏⵇⴻⵙ ⵏ ⵜⵎⴻⵔⵏⵉⵡⵜ ⵏ ⵜⵎⴻⵔⵏⵉⵡⵜ ⵢⴻⵜⵜⵡⴰⵕⴵⴰⵏ ⴷⴻⴳ ⵍⴻⵛⵖⴰⵍ ⵏ RL. ⵜⴰⵖⵓⵍⵜⵉⵙ ⵏ ⵢⵉⵙⵡⵉ ⵜⴻⵙⵄⴰ ⵙⵉⵏ ⵏ ⵢⵉⴼⴻⵔⴷⵉⵙⴻⵏ ⵉⴳⴻⵊⴷⴰⵏⴻⵏ:
-
ⵜⴰⵖⵓⵍⵜ ⵏ ⵜⵙⴻⵔⵜⵉⵜ: ⴰⵢⴰ ⵢⴻⵜⵜⴳⴻⵏⵙⵉⵙⴷ ⵜⴰⵙⴻⵔⵜⵉⵜ ⵏ ⵓⵎⴻⴳⴳⵉ ⵉ ⵓⴼⵔⴰⵏ ⵏ ⵜⵉⴳⴰⵡⵉⵏ ⵢⴻⵜⵜⵓⵏⴻⴼⴽⴻⵏ ⵉ ⵢⵉⵡⴰⵏⴰⴽⴻⵏ. ⵢⴻⵜⵜⵡⴰⵙⵙⴻⵏ ⵙ ⵡⴰⵟⴰⵙ ⵙ π<ⵙⵓⴱ>θ</ⵙⵓⴱ>(ⴰ|ⵙ), ⴰⵏⴷⴰ θ ⴷ ⵉⴼⴻⵔⴷⵉⵙⴻⵏ ⵏ ⵜⵙⴻⵔⵜⵉⵜ.
-
ⵜⴰⵖⵓⵍⵜ ⵏ ⵡⴰⵣⴰⵍ: ⵢⴻⵜⵜⵇⴰⴷⴰⵔ ⴰⵣⴰⵍ ⵏ ⵜⵎⴻⵔⵏⵉⵡⵜ ⵢⴻⵜⵜⵡⴰⵕⴵⴰⵏ ⵙⴻⴳ ⵢⵉⵡⴻⵏ ⵏ ⵓⵡⴰⵏⴰⴽ ⵢⴻⵜⵜⵓⵏⴻⴼⴽⴻⵏ ⴷⴷⴰⵡ ⵏ ⵜⵙⴻⵔⵜⵉⵜ. ⵢⴻⵜⵜⵡⴰⵙⵎⴻⴽⵜⴰⵢ ⵙ V (ⵙ).
ⴰⵙⵏⴻⵔⵏⵉ ⵏ ⵜⵙⴻⵔⵜⵉⵜ<ⴰ ⵉⴷ="ⴰⵙⵏⴻⵔⵏⵉ ⵏ ⵜⵙⴻⵔⵜⵉⵜ"></ⴰ>
PPO ⵢⴻⵙⵙⴻⵇⴷⴰⵛ ⵜⴰⵖⵓⵍⵜ ⵏ ⵢⵉⵙⵡⵉ ⵏ ⵜⵎⴻⵥⴷⵉⵜ ⵢⴻⵜⵜⵡⴰⵇⵏⴻⵏ ⴰⴽⴽⴻⵏ ⴰⴷ ⵢⴻⵙⵏⴻⴼⵍⵉ ⵉⴼⴻⵔⴷⵉⵙⴻⵏ ⵏ ⵜⵙⴻⵔⵜⵉⵜ. ⴷⴻⴳ ⵓⵎⴽⴰⵏ ⵏ ⵓⵙⵏⴻⵔⵏⵉ ⵏ ⵢⵉⵙⵡⵉ ⵙⵔⵉⴷ, ⵢⴻⵜⵜⵃⴻⵜⵜⵉⵎ ⴰⵙⴻⵏⵇⴻⵙ ⵏ ⵜⵙⴻⵔⵜⵉⵜ ⴰⴽⴽⴻⵏ ⴰⴷ ⵜⴹⴻⵎⵏⴻⴹ ⴷⴰⴽⴽⴻⵏ ⵜⴰⵙⴻⵔⵜⵉⵜ ⵜⴰⵎⴰⵢⵏⵓⵜ ⵓⵔ ⵜⴻⵜⵜⴱⴻⴷⴷⵉⵍⴻⵏ ⴰⵔⴰ ⴰⵟⴰⵙ ⵙⴻⴳ ⵜⵙⴻⵔⵜⵉⵜ ⵜⴰⵇⴱⵓⵔⵜ. ⵜⴰⵖⵜⴰⵙⵜⴰ ⵜⴻⵜⵜⵡⴰⵙⴻⴽⵛⴻⵎ ⵙ ⴰⵙⵡⵉⵔ ⵢⴻⵜⵜⵡⴰⵇⵏⴻⵏ ⵏ ⵜⵣⴻⵎⵎⴰⵔ ⵏ ⵜⵙⴻⵔⵜⵉⵜ ⵜⴰⵎⴰⵢⵏⵓⵜ ⵖⴻⵔ ⵜⵣⴻⵎⵎⴰⵔ ⵏ ⵜⵙⴻⵔⵜⵉⵜ ⵜⴰⵇⴱⵓⵔⵜ.
ⵍⴼⴰⵢⴷⴰⵜ ⵖⴻⴼ ⵜⵜⴰⵡⵉⵍⴰⵜ ⵏⵏⵉⴹⴻⵏ<ⴰ ⵉⴷ="ⵍⴼⴰⴷⴰⵜ ⵖⴻⴼ ⵜⵜⴰⵡⵉⵍⴰⵜⵏⵏⵉⴹⴻⵏ"></ⴰ>
-
ⴰⵙⴷⵓⴽⴽⴻⵍ: PPO ⵢⴻⵙⵙⴻⵇⴷⴰⵛ ⴰⵀⵉⵍ ⵏ ⵓⵙⵏⴻⴼⵍⵉ ⵏ ⵜⵙⴻⵔⵜⵉⵜ ⴰⵢ ⴷⵢⴻⵜⵜⵡⴰⵃⴻⵔⵣⴻⵏ ⵓⴳⴰⵔ, ⴷⵖⴰ ⴷ ⴰⵢⴰ ⴰⵢ ⵢⴻⵙⵏⴻⵇⵙⴻⵏ ⴰⵅⴻⵙⵙⴰⵔ ⵏ ⵢⵉⴱⴻⴷⴷⵉⵍⴻⵏ ⵉⵎⴻⵇⵔⴰⵏⴻⵏ ⵏ ⵜⵙⴻⵔⵜⵉⵜ ⴰⵢ ⵉⵣⴻⵎⵔⴻⵏ ⴰⴷ ⵙⵏⴻⵇⵙⴻⵏ ⴰⵙⴷⵓⴽⴽⴻⵍ ⵏ ⵓⵙⵙⵉⵍⴻⵖ.
-
ⵜⴰⵣⵎⴻⵔⵜ ⵏ ⵜⴻⵙⵍⴻⴹⵜ: ⵜⴻⵜⵜⵃⵓⵍⴼⵓ ⴰⴷ ⵜⴻⵃⵡⴰⴵ ⴷⵔⵓⵙ ⵏ ⵜⴻⵙⵍⴻⴹⵜ ⴰⴽⴽⴻⵏ ⴰⴷ ⵜⴰⵡⴻⴹ ⵙ ⵜⵖⴰⵔⴰ ⵢⴻⵍⵀⴰⵏ ⵙ ⵜⵎⵓⵖⵍⵉ ⵏ ⵜⵜⴰⵡⵉⵍⴰⵜ ⵏⵏⵉⴹⴻⵏ ⵏ ⵜⵙⴻⵔⵜⵉⵜ ⵏ ⵜⴳⴻⵔⵎⴰⵏⵜ ⴰⵎ ⵜⴳⴻⵔⵎⴰⵏⵜ ⵏ ⵜⵙⴻⵔⵜⵉⵜ ⵏ vanilla ⵏⴻⵖ ⴰⵙⴻⵏⵇⴻⵙ ⵏ ⵜⵙⴻⵔⵜⵉⵜ ⵏ ⵜⴻⵎⵏⴰⴹⵜ ⵏ ⵜⴻⴼⵍⴻⵙⵜ (TRPO).
-
ⵜⴰⴼⴻⵙⵙⴰⵙⵜ: PPO ⴷ ⴰⵢⴻⵏ ⵉⵙⴻⵀⵍⴻⵏ ⴰⵟⴰⵙ ⵉ ⵓⵙⴻⴹⵔⵓ ⴷ ⵓⵙⵏⵉⵍⴻⵙ ⵎⴰ ⵏⴻⵙⵙⴻⵎⴳⴰⵔⴰⴷⵉⵜ ⴷ ⴽⵔⴰ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏⵏⵉⴹⴻⵏ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ.
ⵉⵙⵉⵏⴰⵕⵢⵓⵜⴻⵏ ⴰⵏⴷⴰ PPO ⵢⴻⵜⵜⴼⴻⴳⴳⵉⴹ<ⴰ ⵉⴷ="ⵙⵉⵏⴰⵕⵢⵓⵜⴻⵏⴰⵏⴷⴰ-ittfeggiḍpo"></ⴰ>
-
ⵉⵎⵓⴽⴰⵏ ⵏ ⵜⵉⴳⴰⵡⵜ ⵉⴽⴻⵎⵍⴻⵏ: PPO ⵢⴻⵣⵎⴻⵔ ⴰⴷ ⵢⴻⵙⵙⵉⵡⴻⴹ ⵉⵎⵓⴽⴰⵏ ⵏ ⵜⵉⴳⴰⵡⵜ ⵉⴽⴻⵎⵍⴻⵏ ⵙ ⵜⵖⴰⵡⵍⴰ ⵙ ⵙⵙⴻⴱⴰ ⵏ ⵜⵖⴻⵍⵍⵉⵙⵜⵉⵙ ⴷ ⵜⵣⴻⵎⵎⴰⵔⵉⵙ ⴰⴷ ⵉⵅⴻⴷⴷⴻⵎ ⵙ ⵓⵙⵏⴻⴼⵍⵉ ⵏ ⵜⵙⴻⵔⵜⵉⵜ ⴷⴻⴳ ⵉⵎⵓⴽⴰⵏⴰ.
-
ⵜⵉⵡⴻⵏⵏⴰⴹⵉⵏ ⵜⵉⵎⴻⵇⵇⵔⴰⵏⵉⵏ: Yettkemmil ⴰⴽⴽⴻⵏ ⵉⵍⴰⵇ ⴷⴻⴳ ⵜⵡⴻⵏⵏⴰⴹⵉⵏ ⵜⵉⵎⴻⵇⵇⵔⴰⵏⵉⵏ ⴰⵏⴷⴰ ⵉⵍⴰⵇ ⴰⴷ ⵜⵜⵡⴰⵙⴻⵎⵍⴻⵏ ⵙ ⵜⵎⵓⵙⵙⵏⵉ ⵓⵏⴰⴷⵉ ⴷ ⵓⵙⵇⴻⵔⴷⴻⵛ.
ⵉⵖⴻⴱⵍⴰⵏ ⵉ PPO<ⴰ ⵉⴷ="ⵉⵖⴻⴱⵍⴰⵏⵉ-ppo"></ⴰ>
-
ⴰⵙⵡⵉⵔ ⵏ ⵓⵙⵎⴻⵍ: Ma ⵢⴻⵍⵍⴰ PPO ⴷ ⴰⵙⴻⵍⴽⵉⵎ ⵏ ⵓⵙⵎⴻⵍ ⵓⴳⴰⵔ ⵏ ⴽⵔⴰ ⵏ ⵢⵉⵍⵓⴳⴰⵏ, ⵢⴻⵣⵎⴻⵔ ⴰⴷ ⵢⴻⵇⵇⵉⵎ ⵢⴻⵜⵜⵏⴰⵖ ⴷⴻⴳ ⵜⵡⴻⵏⵏⴰⴹⵉⵏ ⴰⵏⴷⴰ ⵜⴰⵣⵎⴻⵔⵜ ⵏ ⵓⵙⵎⴻⵍ ⴷ ⴰⵢⴻⵏ ⵢⴻⵙⵄⴰⵏ ⴰⵣⴰⵍ ⴰⵎⴻⵇⵇⵔⴰⵏ.
-
ⵉⵎⵓⴽⴰⵏ ⵏ ⵜⵉⴳⴰⵡⵜ ⵏ ⵓⵙⵡⵉⵔ ⴰⵄⵍⴰⵢⴰⵏ: ⵖⴰⵙ ⴰⴽⴽⴻⵏ ⵢⴻⵣⵎⴻⵔ ⴰⴷ ⵢⴻⵙⵙⵉⵡⴻⴹ ⵉⵎⵓⴽⴰⵏ ⵏ ⵜⵉⴳⴰⵡⵜ ⵢⴻⵜⵜⵡⴰⴽⴻⵎⵍⴻⵏ, PPO ⵢⴻⵣⵎⴻⵔ ⴰⴷ ⵉⵇⴰⴱⴻⵍ ⵓⴳⵓⵔⴻⵏ ⴷⴻⴳ ⵢⵉⵎⵓⴽⴰⵏ ⵏ ⵜⵉⴳⴰⵡⵜ ⵏ ⵓⵙⵡⵉⵔ ⴰⵄⵍⴰⵢⴰⵏ ⴰⵟⴰⵙ.
ⵜⵉⵡⴻⵏⵏⴰⴹⵉⵏ ⴰⵏⴷⴰ PPO ⵢⴻⵣⵎⴻⵔ ⴰⴷ ⵢⴻⴼⵔⵓ<ⴰ ⵉⴷ="ⵜⵉⵡⴻⵏⵏⴰⴹⵉⵏⴷⴻⴳⵢⴻⵣⵎⴻⵔ-ppo"></ⴰ>
-
Robotics: ⵜⵉⵖⴱⵓⵍⴰ ⵉⴷⴻⴳ ⵢⴻⵍⵍⴰ ⵓⴹⴼⴰⵔ ⵏ ⵔⵔⵓⴱⵓⵜ ⵙⴼⴰⵢⴷⵉⵏⵜ ⵙⴻⴳ PPO ⵙ ⵍⴵⴻⵀⴷⵉⵙ ⴷ ⵜⵣⴻⵎⵎⴰⵔⵉⵙ ⵏ ⵓⵃⴰⵔⴻⴱ ⵖⴻⴼ ⵢⵉⵎⵓⴽⴰⵏ ⵏ ⵜⵉⴳⴰⵡⵜ ⵢⴻⵜⵜⵡⴰⴽⴻⵎⵍⴻⵏ.
-
ⵓⵔⴰⵔ: Deg ⵜⵡⴻⵏⵏⴰⴹⵉⵏ ⵏ ⵡⵓⵔⴰⵔ ⵉⵅⵓⵚⵚⴻⵏ, PPO ⵢⴻⵙⵙⴽⴻⵏⴷ ⴰⵅⴻⴷⴷⵉⵎ ⵏ ⵜⵎⴻⵖⵔⴰ ⵙ ⵙⵙⴻⴱⴰ ⵏ ⵜⵖⴻⵍⵍⵉⵙⵜⵉⵙ ⴷ ⵜⵖⴰⵔⴰ ⵏ ⵜⵎⵓⵖⵍⵉ.
ⵙ ⵓⵎⴰⵜⴰ, PPO ⵢⴻⵜⵜⴰⴼⴷ ⵍⵎⵉⵣⴰⵏ ⴳⴰⵔ ⵜⵎⵓⵙⵙⵏⵉ ⵏ ⵜⵎⵓⵖⵍⵉ ⴷ ⵜⵖⴻⵍⵍⵉⵙⵜ, ⴷⵖⴰ ⴷ ⴰⵢⴰ ⴰⵢ ⵜⵢⴻⴵⴵⴰⵏ ⴰⴷ ⵢⵉⵍⵉ ⴷ ⴰⴼⵔⴰⵏ ⵉⴵⴻⵀⴷⴻⵏ ⴷⴻⴳ ⵜⴻⵙⵏⴰⵍⵍⵓⵏⵜ ⵢⴻⵎⴳⴻⵔⵔⴰⴷⴻⵏ ⵏ ⵓⵍⵎⴰⴷ ⵏ ⵓⵙⴻⴵⵀⴻⴷ.
