ⴰⵖⴻⵍⵍⵓⵢ ⵏ ⵓⵙⵏⵓⴼⴼⴻⵙ

ⴰⵙⵎⴰⵢⵏⵓ ⵅⴼ October 18, 2024 [ⵜ_ⵉ_ⵎ_ⵎ_ⵉ] ⵏⴷⵇⵉⵇⴰ

ⵜⴰⵣⵙⴰⵔⴻⵜ

ⵅⴰⵢⴻⵍⴷ ⴱⴻⵍⵍⵉ ⵏⴻⵙⵄⴰ ⵜⴰⵖⵓⵍⵜ ⵖⴼ(x)ⵖ ⵢⴻⵔⵏⴰ ⵏⴻⴱⵖⴰ ⴰⴷ ⵏⴰⴼ ⴰⵣⴰⵍⵉⵙ ⴰⵎⴻⵥⵢⴰⵏ. ⴷ ⴰⵛⵓ ⴰⵔⴰ ⵜⵅⴻⴷⵎⴻⴹ ?

ⴰⵣⵔⴻⴼ ⴰⴼⵔⴰⵔⴰⵢ ? ⵏⴻⵃⵡⴰⴵ ⴽⴰⵏ ⴰⴷ ⵏⴻⴼⵔⵓ ⵜⴰⴳⴷⴰⵍⵜⴰ:

$$f’(x) = 0$$

ⵜⴰⵖⴰⵡⵙⴰ ⴷ ⴰⴽⴽⴻⵏ ⵜⵓⴼⴼⵖⴰ ⵏ ⵜⴼⴻⵍⵡⵉⵜ ⵏ ⵖⴼ’ⵖ ⵓⵔ ⵜⴻⵍⵍⵉ ⴰⵔⴰ ⴷⵉⵎⴰ ⴷ ⵜⵉⵏ ⵉⵙⴻⵀⵍⴻⵏ ⵉⵎⵉ ⵜⵜⵃⵓⵍⴼⵓⵏⵜ ⴷ ⴰⴽⴽⴻⵏ ⵜⵜⵡⴰⵃⴻⵔⵣⴻⵏⵜ ⴰⵟⴰⵙ ⵍⴰⴷⵖⴰ ⴷⴻⴳ ⵓⵍⵎⴰⴷ ⴰⵍⵇⴰⵢⴰⵏ ⴰⵏⴷⴰ ⵏⴻⵜⵜⵇⴰⴱⴰⵍ ⵜⵉⵖⴰⵡⵙⵉⵡⵉⵏ ⵙ ⵡⴰⵣⴰⵍⵏⵙⴻⵏⵜ. ⵉⵀⵉ ⵢⴻⵙⵙⴻⴼⴽ ⴰⴷ ⵏⴰⴼ ⵜⴰⵔⵔⴰⵢⵜ ⵏⵏⵉⴹⴻⵏ ⵉ ⵉⵣⴻⵎⵔⴻⵏ ⴰⴷ ⴰⵖⴷ-ⵜⴻⴼⴽ ⴰⵣⴰⵍ ⴰⵎⴻⵥⵢⴰⵏ ⵏ ⵜⵎⴻⵥⵍⴰ ⵡⴰⵔ ⵎⴰ ⵏⴻⵃⵡⴰⴵ ⴰⴷ ⵏⴰⴼ ⵜⴰⴼⴻⵍⵡⵉⵜ ⵏ ⵜⵎⴻⵥⵍⴰ ⵖⴼ’ⵖ.

ⴰⴷ ⵏⴻⴱⵏⵓ ⴽⵔⴰ ⵏ ⵜⵎⵓⵙⵏⵉ

ⴰⴷ ⴷⵏⵉⵏⵉ ⴱⴻⵍⵍⵉ ⵏⴻⵙⵄⴰ ⵜⴰⵖⵓⵍⵜ ⴼ ⵙ ⵜⴼⴻⵍⵡⵉⵜ ⵉ ⴷⵢⴻⵜⵜⴰⵡⵉⵏ:

ⴰⴷ ⵏⴻⴱⴷⵓ ⵙ ⵜⵏⴻⵇⴹⵉⵜ ⵏ ⵜⵎⴻⵥⵥⵓⵖⵜ ɣx_{0}ɣ. ⵉⵙⵡⵉ ⴷ ⴰⵙⴻⵏⵇⴻⵙ ⵏ ⵜⵏⴻⵇⴹⵉⵜⴰ ⵢⴻⵔⵏⴰ ⴰⴷ ⵜⵜⵏⴻⵙⵙⴻⵇⵔⴻⴱ ⵙ ⵡⴰⵟⴰⵙ ⵖⴻⵔ ⵖⵅ*ⵖ ⴰⴽⴽⴻⵏ ⴰⴷ ⵢⵉⵍⵉ ⵖⴼ’(ⵖⵅ*ⵖ) = 0ɣ. ⵉⵀⵉ ⵓⴳⵓⵔⴰ ⵢⴻⵣⵎⴻⵔ ⴰⴷ ⵢⴻⵜⵜⵡⴰⴱⴹⵓ ⵖⴻⴼ ⵙⵉⵏ ⵢⵉⵃⵔⵉⵛⴻⵏ:

• ⴷⴻⴳ ⵡⴰⵏⴷⴰ ⵉ ⵢⴻⵙⵙⴻⴼⴽ ⴰⴷ ⵏⴻⵙⵙⵉⵡⴻⴹ ⵜⴰⵏⵇⵉⴹⵜ ⵖⵅⵖ ? ⴰⵣⴻⵍⵎⴰⴹ ⵏⴻⵖ ⴰⵢⴻⴼⴼⵓⵙ ?

• ⴰⵛⵃⴰⵍ ⵉⵍⴰⵇ ⴰⴷ ⵜⵏⴻⵙⵙⵉⵡⴻⴹ ?

ⵜⴰⵙⵡⵉⵄⵜⵏⵏⵉ

ⴰⴷ ⵏⴻⴱⵏⵓ ⴽⵔⴰ ⵏ ⵜⵎⵓⵙⵏⵉ ⴰⴽⴽⴻⵏ ⴰⴷ ⴷⵏⴻⵔⵔ ⵉ ⵜⵓⵜⵜⵔⴰ ⵜⴰⵎⴻⵣⵡⴰⵔⵓⵜ. ⵡⴰⵍⵉⴷ ⵙ ⵜⵎⵓⵖⵍⵉⴰⴳⵉ ⵉ ⴷⵉⵜⴻⴷⴷⵓⵏ:

ⵜⴰⵎⴰⵡⵜ ⴷⴰⴽⴽⴻⵏ:

• ⵎⵉ ⴰⵔⴰ ⵜⵉⵍⵉ ⵜⵏⴻⵇⴹⵉⵜ ɣx_{0}ⵖ ⵙ ⵢⵉⴷⵉⵙ ⴰⵢⴻⴼⴼⵓⵙ ⵏ ⵜⵏⴻⵇⴹⵉⵜ ⵏ ⵜⵖⴰⵔⴰ ɣx*$, ⵜⴰⵖⴻⵛⵜⵉⵙ ⵏ ⵜⵎⴻⵥⵥⵓⵖⵜ ⵜⴻⵜⵜⵏⴻⵔⵏⵉ.

• ⵎⵉ ⴰⵔⴰ ⵜⵉⵍⵉ ⵜⵏⴻⵇⴹⵉⵜ ɣx_{0}ⵖ ⵙ ⵢⵉⴷⵉⵙ ⴰⵢⴻⴼⴼⵓⵙ ⵏ ⵜⵏⴻⵇⴹⵉⵜ ⵏ ⵜⵖⴰⵔⴰ ɣx*$ ⵜⴰⵖⴻⵛⵜⵉⵙ ⵏ ⵜⵎⴻⵥⵥⵓⵖⵜ ⵜⴻⵜⵜⵃⴰⵣ.

ⵜⴰⵙⵡⵉⵄⵜ ⵏ ⵢⵉⵡⴻⵏ ⵏ ⵓⵣⴻⴳⵣⴰⵡ ⵜⴻⵜⵜⵡⴰⵙⵙⴻⵏ ⵙ ⵓⵣⴰⵎⵓⵍ ⵏ ⵓⵏⴻⴽⵛⵓⵎⵉⵙ:

• ⵜⴰⵖⴻⵛⵜ ⵜⴻⵜⵜⵏⴻⵔⵏⵉ ɣ\impliesɣ ⵍⵇⴻⴷⴷ ɣⴰⵖ ⴷ ⴰⵖⴻⵔⵙⵉⵡ.

• ⵜⴰⵖⴻⵛⵜ ⵜⴻⵜⵜⵃⴻⵣⵣⵉⴱ ⵖ\impliceɣ ⵍⵇⴻⴷⴷ ⵖⴰⵖ ⴷ ⵏⴻⴳⴰⵜⵉⴼ.

ⴰⴷ ⵏⵡⴰⵍⵉ ⴱⴻⵍⵍⵉ: \

ⴰⵙⴻⵏⵇⴻⵙ ⵏ ⵜⴼⴻⵍⵡⵉⵜ ⵏ ⵜⵎⴻⵥⴷⵉⵢⵉⵏ ⵏ ⵜⵎⴻⵥⴷⵉⵢⵉⵏ ⴷⴻⴳ ⴽⵔⴰ ⵏ ⵜⵏⴻⵇⴹⵉⵜ ɣx_{0}ⵖ ⵓⵔ ⵢⵓⴳⴰⵔ ⴰⵔⴰ ⴰⵙⴻⵏⴼⴰⵔ ⴷⴻⴳ ⵜⵏⴻⵇⴹⵉⵜⵏⵏⵉ ɣf’(x_{0})ɣ:

$$ tangent(x*{0}): g(x) = f’(x*{0}).(x-x*{0}) + f(x*{0}) $$

ⵉⵀⵉ ⴰⵎ ⵜⵔⵉⵔⵉⵜ ⵖⴻⴼ ⵓⵙⵜⴻⵇⵙⵉ “Anida ⵉⵍⴰⵇ ⴰⴷ ⵏⴻⵙⵙⵉⵡⴻⴹ ɣx_{0}ɣ ?”:

• ⵖⴼ’(x_{0}) < 0ɣ ɣ\implies$ ɣx_{0}ⵖ ⵖⴻⵔ ⵢⵉⴷⵉⵙ ⴰⵢⴻⴼⴼⵓⵙ ⵏ ɣx*$ $\impliesɣ Yessefk ⴰⴷ ⵏⴻⵙⵙⵉⵡⴻⴹ ɣx_{0}ⵖ ⵖⴻⵔ ⵓⵣⴻⵍⵎⴰⴹ.

• ⵖⴼ’(x_{0}) > 0ɣ ɣ\impliesɣ ɣx_{0}ⵖ ⵙ ⵓⵣⴻⵍⵎⴰⴹ ⵏ ɣx*$ $\impliesɣ Yessefk ⴰⴷ ⵏⴻⵙⵙⵉⵡⴻⴹ ɣx_{0}ɣ ⵙ ⴰⵢⴻⴼⴼⵓⵙ.

ⵉⵙⵓⵔⵉⴼⴻⵏⵏⵏⵉ

ⵜⵓⵔⴰ ⵉ ⵓⵙⵜⴻⵇⵙⵉ ⵡⵉⵙ ⵙⵉⵏ, ⴰⵛⵃⴰⵍ ⵉⵍⴰⵇ ⴰⴷ ⵏⴻⵙⵙⴻⵎⵔⴻⵙ ɣx_{0}ɣ ?

ⵡⴰⵍⵉ ⵉⵎⴻⴷⵢⴰⵜⴻⵏⴰ :

ⵏⴻⵣⵎⴻⵔ ⴰⴷ ⵏⴻⴽⴽⴻⵙ ⴱⴻⵍⵍⵉ:

• ɣx_{0}$ ⵉⵇⴻⵔⵔⴻⴱ ⵖⴻⵔ ɣx*$ => ⵜⴰⵖⴻⵛⵜ ⵏ ⵜⵎⴻⵥⵥⵓⵖⵜ ⴷ ⵜⴰⵎⴻⵛⵟⵓⵃⵜ => ɣⴼ’(x_{0})ⵖ ⴷ ⵜⴰⵎⴻⵛⵟⵓⵃⵜ.

• ɣx_{0}ⵖ ⵉⴱⴻⵄⴷⴻⴹ ⵖⴻⴼ ɣx*ⵖ => ⵜⴰⵖⴻⵛⵜ ⵏ ⵜⵎⴻⵥⵥⵓⵖⵜ ⴷ ⵜⴰⵎⴻⵇⵇⵔⴰⵏⵜ => ɣⴼ’(x_{0})ⵖ ⴷ ⵜⴰⵎⴻⵇⵇⵔⴰⵏⵜ.

ⵙ ⵜⵔⵉⵔⵉⵜ ⵖⴻⴼ ⵙⵉⵏ ⵏ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏⴰ, ⵏⴻⴽⴽⴻⵙⴷ ⴱⴻⵍⵍⵉ ⴰⵍⴰ ⵜⴰⵎⵓⵙⵏⵉ ⵏ ⵜⵎⴻⵥⵔⵉ ⴷⴻⴳ ⵜⵏⴻⵇⴹⵉⵜ ɣx_{0}ⵖ ⵉ ⵉⵣⴻⵎⵔⴻⵏ ⴰⴷ ⴰⵖⴷ-ⵜⴻⴼⴽ ⴰⵟⴰⵙ ⵏ ⵜⵎⵓⵖⵍⵉ ⵖⴻⴼ ⵜⵎⵓⵖⵍⵉ ⴷ ⵜⵖⴻⵔⵖⴻⵔⵜ ⵏ ⵜⵏⴻⵇⴹⵉⵜ ⵏ ⵜⵖⴰⵔⴰ ɣx_{0}ⵖ.

ⴰⵖⴻⵍⵍⵓⵢ ⵏ ⵜⵖⴻⵔⵖⴻⵔⵜ

ⴰⵙⴻⵏⵇⴻⵙ ⵏ ⵜⴼⴻⵍⵡⵉⵜ ⴷ ⴰⵙⴻⵏⴼⴰⵔ ⵏ ⵜⵔⵉⵔⵉⵢⵉⵏ ⵏ ⵙⵉⵏ ⵏ ⵢⵉⵙⴻⵙⵜⴰⵏⴻⵏ ⵉⵄⴻⴷⴷⴰⵏ. ⴷ ⴰⴼⴻⵔⴷⵉⵙ ⵏ ⵓⵙⵏⴻⵔⵏⵉ ⵏ ⵜⵎⴻⵥⵍⴰ (algorithme iteratif d’optimisation) ⵉ ⵢⴻⵜⵜⵇⴻⵔⵔⵉⴱⴻⵏ ⵖⴻⵔ ⵖⵅ*ⵖ ⵏ ⵜⵎⴻⵥⵍⴰ ⵢⴻⴱⴷⴰⵏ ⵙⴻⴳ ⵜⵏⴻⵇⴹⵉⵜ ⵏ ⵜⵎⴻⵣⵡⴰⵔⵓⵜ ⵏ ⵜⵎⴻⵥⵍⴰ ⵖⵅ_{0}ⵖ. Algorithme ⵢⴻⵜⵜⵡⴰⴱⴷⴻⵔ ⴰⴽⴽⴻⵏ ⵉ ⴷⵉⵜⴻⴷⴷⵓⵏ:

$$ x*{n+1} = x*{n} - lr \times \frac{\mathrm{d} f}{\mathrm{d} x_{n}} $$

ⴰⵏⴷⴰ:

• $ \ⴼⵔⴰⵛ{\ⵎⴰⵜⵀⵔⵎ{ⴷ} ⴼ}{\ⵎⴰⵜⵀⵔⵎ{ⴷ} x*{ⵏ}} $ ⵓⵔ ⵢⵓⴳⴰⵔ ⴰⵔⴰ ⴰⵙⴻⵏⵇⴻⴷ ⵏ $ⴼⵖ ⴷⴻⴳ ⵜⵏⴻⵇⴹⵉⵜ $x*{ⵏ}ɣ.

• ⵖⵍⵔⵖ ⴷ ⴰⵙⴻⵎⵔⴻⵙ ⵏ ⵜⵖⴰⵡⵙⴰ (constante positif) ⵉ ⴷⵢⴻⵙⴱⴰⵏⴻⵏ ⴰⵛⵃⴰⵍ ⴰⵔⴰ ⵉⵍⵉⵏ ⵢⵉⴹⵔⵉⵙⴻⵏ.

ⴳⵣⵓ ⴱⴻⵍⵍⵉ:

• $x_{ⵏ}$ ⵢⴻⵍⵍⴰ ⵙ ⵢⵉⴷⵉⵙ ⴰⵢⴻⴼⴼⵓⵙ ⵏ $x*$ => $\ⴼⵔⴰⵛ{\mathrm{ⴷ} ⴼ}{\mathrm{ⴷ} x_{ⵏ}} > 0 $ => $ x_{ⵏ+ 1} = x_{ⵏ} - ⴰⵙⴻⵎⴷⵓ $ => $x_{ⵏ}$ ⵢⴻⵜⵜⵎⵓⵇⵓⵍ ⵙ ⵓⵣⴻⵍⵎⴰⴹ.

• $x_{ⵏ}$ ⵢⴻⵍⵍⴰ ⵙ ⵓⵣⴻⵍⵎⴰⴹ ⵏ $x*$ => $\ⴼⵔⴰⵛ{\ⵎⴰⵜⵀⵔⵎ{ⴷ} ⴼ}{\ⵎⴰⵜⵀⵔⵎ{ⴷ} x_{ⵏ}} < 0ɣ => $ x*{ⵏ +1} = x*{ⵏ} + ⴰⵙⴻⵎⵎⴰⴷ $ => $x_{ⵏ}$ ⵢⴻⵜⵜⵎⵓⵇⵓⵍ ⵙ ⵢⵉⴷⵉⵙ ⴰⵢⴻⴼⴼⵓⵙ.

• ɣx_{ⵏ}$ ⵉⵇⴻⵔⴱⴻⵏ ⵖⴻⵔ ɣx*$ => $\ⴼⵔⴰⵛ{\mathrm{ⴷ} ⴼ}{\mathrm{ⴷ} x_{ⵏ}}$ ⵉⵇⴻⵔⴱⴻⵏ ⵖⴻⵔ $0ɣ => Asnefli ⴰⵎⴻⵥⵢⴰⵏ ⵉ $x_{ ⵏ}ⵖ.

ⴰⵙⴻⵇⵙⵉ

• ⵎⴻⵍⵎⵉ ⴰⵔⴰ ⵢⴻⵃⴱⴻⵙ ⵓⵖⴻⵍⵍⵓⵢ ⵏ ⵜⵖⴻⵔⵖⴻⵔⵜ:

• ⵎⵉ ⴰⵔⴰ ⵢⵉⵍⵉ ɣx_{ⵏ}$ ⴷ ⴰⵎⴻⵥⵢⴰⵏ.

• ⵎⵉ ⴰⵔⴰ ⵢⵉⵍⵉ ɣx_{ⵏ}ⵖ ⵉⵇⴻⵔⵔⴻⴱ ⵖⴻⵔ ɣ_{0}ⵖ .

• ⵎⵉ ⴰⵔⴰ ⵢⵉⵍⵉ $\ⴼⵔⴰⵛ{\ⵎⴰⵟⵀⵔⵎ{ⴷ} ⴼ}{\ⵎⴰⵜⵀⵔⵎ{ⴷ} x_{ⵏ}} = 0 $. ⵅⵅⵅ

• ⴰⵎⴻⴽ ⴰⵔⴰ ⵏⴻⴼⵔⴻⵏ ɣx_{0}$:

• ⵏⴻⴼⵔⴻⵏⵉⵜ ⵙ ⵜⵖⴰⵡⵍⴰ. ⵅⵅⵅ

• ⴰⴷ ⵜⵏⴻⵟⵟⴻⴼ ⴷⴻⴳ ⵜⵍⴻⵎⵎⴰⵙⵜ ⵏ ɣx{ⵏ}$.

• ⵉⵛⵓⴷⴷ ⵖⴻⵔ ⵡⵓⴳⵓⵔ.

• ⴰⵢⵖⴻⵔ ⵉ ⵏⴻⵃⵡⴰⴵ ⴰⵙⴻⵏⵇⴻⵙ ⵏ ⵜⵖⴻⵔⵖⴻⵔⵜ :

• ⵉⵎⵉ ⵉⵙⴻⵍⴽⵉⵎⴻⵏ ⵓⵔ ⵙⵄⵉⵏ ⴰⵔⴰ ⵜⴰⵣⵎⴻⵔⵜ ⴰⴽⴽⴻⵏ ⴰⴷ ⵃⴻⵙⴱⴻⵏ ⵉⴼⴻⵔⴷⵉⵙⴻⵏ ⵏ ⵜⵎⴻⵥⵔⵉ.

• ⵉⵎⵉ ⴷ ⴰⵢⴻⵏ ⵉⵡⴻⵄⵔⴻⵏ ⴰⵟⴰⵙ ⴰⴷ ⵏⴰⴼ ⵜⵉⴼⴻⵔⴷⵉⵡⵉⵏ ⵏ ⵜⵎⴻⵥⵔⵉⵡⵉⵏ ⵏ ⵢⵉⵎⵓⴽⴰⵏ ⵏ ⵓⵍⵎⴰⴷ ⴰⵍⵇⴰⵢⴰⵏ. ⵅⵅⵅ

• ⵉⵎⵉ ⵜⵉⵖⴱⵓⵍⴰ ⵙⵄⴰⵏⵜ ⵓⴳⴰⵔ ⵏ ⵢⵉⵡⴻⵏ ⵏ ⵓⵎⵉⴹⴰⵏ ⴰⴷⵉⴳⴰⵏ.