Գրադիենտ ծագում

Ներածություն

Պատկերացրեք, որ մենք ունենք $f(x)$ ֆունկցիա և ցանկանում ենք գտնել դրա նվազագույնը։ Ինչ կանեիր դու

Պարզ չէ՞ Մեզ միայն անհրաժեշտ է լուծել հետևյալ հավասարումը.

$$f'(x) = 0$$

Բանն այն է, որ $f'$-ի բանաձևը գտնելը միշտ չէ, որ հեշտ է, քանի որ դրանք չափազանց բարդ են հատկապես խորը ուսուցման մեջ, որտեղ մենք գործ ունենք բարդ գործառույթների հետ: Այսպիսով, մենք պետք է գտնենք մեկ այլ մեթոդ, որը կարող է ապահովել մեզ ֆունկցիայի նվազագույն չափը՝ առանց $f'$ ածանցյալի բանաձևը գտնելու անհրաժեշտության:

Եկեք կառուցենք որոշ ինտուիցիա

Ենթադրենք, որ ունենք f ֆունկցիա՝ համապատասխան գրաֆիկով.

Սկսենք $x_{0}$ պատահական կետից: Նպատակն է տեղափոխել այս կետը և այն ավելի ու ավելի մոտեցնել $x*$-ին այնպես, որ $f'($x*$) = 0$: Այսպիսով, խնդիրը կարելի է բաժանել երկու մասի.

• Ո՞ր ուղղությամբ պետք է տեղափոխենք $x$ կետը: Ձախ թե աջ.

-Որքա՞ն պետք է տեղափոխենք:

Ուղղությունը

Եկեք որոշ ինտուիցիա ձևավորենք առաջին հարցին պատասխանելու համար: Նայեք հետևյալ կետին.

Նշենք, որ.

• երբ $x_{0}$ կետը գտնվում է $x*$ օպտիմալ կետից աջ, նրա շոշափող գիծը բարձրանում է:

• երբ $x_{0}$ կետը գտնվում է $x*$ օպտիմալ կետից աջ, նրա շոշափող գիծը իջնում ​​է:

Գծի ուղղությունը որոշվում է նրա թեքության նշանով.

• Գիծը բարձրանում է $\ենթադրում$, $a$ թեքությունը դրական է:

• Գիծն իջնում ​​է $\ենթադրում$, $a$ թեքությունը բացասական է:

Նշեք, որ \

Որոշակի $x_{0}$-ի մի ֆունկցիայի շոշափող գծի թեքությունն ավելին չէ, քան $f'(x_{0})$ կետի ածանցյալը:

$$ tangent(x*{0}): g(x) = f'(x*{0}).(x-x*{0}) + f(x*{0}) $$

Այսպիսով, որպես պատասխան հարցի «Որտե՞ղ տեղափոխենք $x_{0}$?».

• $f'(x_{0}) < 0$ $\implies$ $x_{0}$ $x*$ $\implies$-ի աջ կողմում Մենք պետք է $x_{0}$-ը տեղափոխենք ձախ:

• $f'(x_{0}) > 0$ $\implies$ $x_{0}$ դեպի ձախ $x*$ $\implies$ Մենք պետք է $x_{0}$-ը տեղափոխենք աջ:

Քայլերը

Հիմա երկրորդ հարցի համար՝ Որքա՞ն պետք է տեղափոխենք $x_{0}$ ?

Նայեք հետևյալ օրինակներին.

Կարող ենք եզրակացնել, որ.

• $x_{0}$-ը մոտ է $x*$ => շոշափողի թեքությունը փոքր է => $f'(x_{0})$ փոքր է:

• $x_{0}$-ը հեռու է $x*$ => շոշափողի թեքությունը մեծ է => $f'(x_{0})$ մեծ է:

Պատասխանելով երկու հարցերին՝ մենք եզրակացրինք, որ միայն $x_{0}$ կետի ածանցյալի իմացությունը կարող է մեզ շատ պատկերացում տալ $x_{0}$ օպտիմալ կետի ուղղության և հեռավորության մասին:

Գրադիենտ վայրէջք

Գրադիենտ վայրէջքը նախորդ երկու հարցերի պատասխանների ձևակերպումն է։ Սա օպտիմիզացման կրկնվող ալգորիթմ է, որը մոտավոր է $x*$-ի նվազագույն ֆունկցիան՝ սկսած $x_{0}$ պատահական սկզբնական կետից: Ալգորիթմը ներկայացված է հետևյալ կերպ.

$$ x*{n+1} = x*{n} - lr \times \frac{\mathrm{d} f}{\mathrm{d} x_{n}} $$

որտեղ:

• $ \frac{\mathrm{d} f}{\mathrm{d} x*{n}} $-ն ավելին չէ, քան $f$-ի ածանցյալը $x*{n}$ կետում:

• $lr$-ը դրական հաստատուն է, որը որոշում է, թե որքան մեծ են լինելու քայլերը:

Ուշադրություն դարձրեք, որ.

• $x_{n}$-ը $x*$ => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}} > 0 $ => $ x_{n+-ի աջ կողմում է 1} = x_{n} - դրական $ => $x_{n}$-ը շարժվում է դեպի ձախ:

• $x_{n}$-ը ձախ է $x*$ => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}} < 0$ => $ x*{n +1} = x*{n} + դրական $ => $x_{n}$-ը շարժվում է աջ:

• $x_{n}$ մոտ $x*$ => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}}$ մոտ $0$ => Փոքր թարմացում մինչև $x_{ n}$.

Վիկտորինա

• Ե՞րբ է գրադիենտ վայրէջքը դադարում կրկնվել.

• Երբ $x_{n}$-ը բավական փոքր է:

• Երբ $x_{n}$-ը մոտ է $x_{0}$-ին:

• Երբ $\frac{\mathrm{d} f}{\mathrm{d} x_{n}} = 0 $: XXX

• Ինչպե՞ս ենք մենք ընտրում $x_{0}$:

• Մենք ընտրում ենք այն պատահականորեն: XXX

• Մենք այն վերցնում ենք $x{n}$-ի հարեւանությամբ:

• Դա կախված է խնդրից։

• Ինչու՞ է մեզ անհրաժեշտ գրադիենտ վայրէջք.

• Որովհետև համակարգիչները բավականաչափ հզոր չեն ածանցյալները հաշվարկելու համար:

• Որովհետև չափազանց դժվար է գտնել խորը ուսուցման մոդելների ածանցյալ բանաձևերը: XXX

• Որովհետև գործառույթներն ունեն մեկից ավելի տեղական նվազագույն: