Gradienta nolaišanās

Ievads

Iedomājieties, ka mums ir funkcija $f(x)$ un mēs vēlētos atrast tās minimumu. ko tu darītu?

Vienkārši vai ne? Mums ir jāatrisina tikai šāds vienādojums:

$f'(x) = 0$

Lieta tāda, ka $f'$ formulas atrašana ne vienmēr ir vienkārša, jo tās mēdz būt ārkārtīgi sarežģītas, it īpaši dziļās mācībās, kur mēs nodarbojamies ar sarežģītām funkcijām. Tāpēc mums ir jāatrod cita metode, kas var nodrošināt mums minimālo funkciju bez nepieciešamības atrast atvasinājuma $f'$ formulu.

Veidosim kādu intuīciju

Pieņemsim, ka mums ir funkcija f ar atbilstošo grafiku:

Sāksim ar nejaušu punktu $x_{0}$ . Mērķis ir pārvietot šo punktu un padarīt to tuvāk un tuvāk $x*$ tā, lai $f'($ x* $) = 0$ . Tātad problēmu var iedalīt divās daļās:

Kurā virzienā jāpārvieto punkts $x$ ? Pa kreisi vai pa labi?
Cik mums tas jāpārvieto?

Virziens

Veidosim intuīciju, lai atbildētu uz pirmo jautājumu. Apskatiet šādu punktu:

Ņemiet vērā, ka:

ja punkts $x_{0}$ atrodas pa labi no optimālā punkta $x*$ , tā pieskares līnija iet uz augšu.
ja punkts $x_{0}$ atrodas pa labi no optimālā punkta $x*$ , tā pieskares līnija iet uz leju.

Līnijas virzienu nosaka tās slīpuma zīme:

Līnija iet uz augšu $\implies$ , slīpums $a$ ir pozitīvs.
Līnija iet uz leju $\implies$ , slīpums $a$ ir negatīvs.

Ņemiet vērā, ka: \

Funkcijas pieskares līnijas slīpums noteiktā punktā $x_{0}$ nav lielāks par atvasinājumu šajā punktā $f'(x_{0})$ :

$tangent(x*{0}): g(x) = f'(x*{0}).(x-x*{0}) + f(x*{0})$

Tātad kā atbilde uz jautājumu "Kur mums vajadzētu pārvietot $x_{0}$ ?":

$f'(x_{0}) < 0$ $\implies$ $x_{0}$ pa labi no $x*$ $\implies$ Mums ir jāpārvieto $x_{0}$ pa kreisi.
$f'(x_{0}) > 0$ $\implies$ $x_{0}$ pa kreisi no $x*$ $\implies$ Mums ir jāpārvieto $x_{0}$ pa labi.

Soļi

Tagad par otro jautājumu Cik daudz mums vajadzētu pārvietot $x_{0}$ ?

Apskatiet tālāk norādītos piemērus.

Mēs varam secināt, ka:

$x_{0}$ ir tuvu $x*$ => Pieskares slīpums ir mazs => $f'(x_{0})$ ir mazs.
$x_{0}$ ir tālu no $x*$ => Pieskares slīpums ir liels => $f'(x_{0})$ ir liels.

Atbildot uz abiem jautājumiem, mēs secinājām, ka tikai zināšanas par atvasinājumu punktā $x_{0}$ var sniegt mums lielu ieskatu par optimālā punkta $x_{0}$ virzienu un attālumu.