Գրադիենտ ծագում
Թարմացվել է November 15, 2024 3 Րոպեներ կարդացեք

Ներածություն
Պատկերացրեք, որ մենք ունենք $f(x)$ ֆունկցիա և ցանկանում ենք գտնել դրա նվազագույնը։ Ինչ կանեիր դու
Պարզ չէ՞ Մեզ միայն անհրաժեշտ է լուծել հետևյալ հավասարումը.
$$f’(x) = 0$$
Բանն այն է, որ $f’$-ի բանաձևը գտնելը միշտ չէ, որ հեշտ է, քանի որ դրանք չափազանց բարդ են հատկապես խորը ուսուցման մեջ, որտեղ մենք գործ ունենք բարդ գործառույթների հետ: Այսպիսով, մենք պետք է գտնենք մեկ այլ մեթոդ, որը կարող է մեզ ապահովել ֆունկցիայի նվազագույն չափը՝ առանց $f’$ ածանցյալի բանաձևը գտնելու անհրաժեշտության:
Եկեք կառուցենք որոշ ինտուիցիա
Ենթադրենք, որ ունենք f ֆունկցիա՝ համապատասխան գրաֆիկով.
Սկսենք $x_{0}$ պատահական կետից: Նպատակն է տեղափոխել այս կետը և այն ավելի ու ավելի մոտեցնել $x*$-ին այնպես, որ $f’($x*$) = 0$: Այսպիսով, խնդիրը կարելի է բաժանել երկու մասի.
- Ո՞ր ուղղությամբ պետք է տեղափոխենք $x$ կետը: Ձախ թե աջ.
-Որքա՞ն պետք է տեղափոխենք:
Ուղղությունը
Եկեք որոշ ինտուիցիա ձևավորենք առաջին հարցին պատասխանելու համար: Նայեք հետևյալ կետին.
Նշենք, որ.
-
երբ $x_{0}$ կետը գտնվում է $x*$ օպտիմալ կետից աջ, նրա շոշափող գիծը բարձրանում է:
-
երբ $x_{0}$ կետը գտնվում է $x*$ օպտիմալ կետից աջ, նրա շոշափող գիծը իջնում է:
Գծի ուղղությունը որոշվում է նրա թեքության նշանով.
-
Գիծը բարձրանում է $\ենթադրում$, $a$ թեքությունը դրական է:
-
Գիծն իջնում է $\ենթադրում$, $a$ թեքությունը բացասական է:
Նշեք, որ \
Որոշակի $x_{0}$-ի մի ֆունկցիայի շոշափող գծի թեքությունն ավելին չէ, քան $f’(x_{0})$ կետի ածանցյալը:
$$ tangent(x*{0}): g(x) = f’(x*{0}).(x-x*{0}) + f(x*{0}) $$
Այսպիսով, որպես պատասխան հարցի «Որտե՞ղ տեղափոխենք $x_{0}$?».
-
$f’(x_{0}) < 0$ $\implies$ $x_{0}$ $x*$ $\implies$-ի աջ կողմում Մենք պետք է $x_{0}$-ը տեղափոխենք ձախ:
-
$f’(x_{0}) > 0$ $\implies$ $x_{0}$ դեպի ձախ $x*$ $\implies$ Մենք պետք է $x_{0}$-ը տեղափոխենք աջ:
Քայլերը
Հիմա երկրորդ հարցի համար՝ Որքա՞ն պետք է տեղափոխենք $x_{0}$ ?
Նայեք հետևյալ օրինակներին.
Կարող ենք եզրակացնել, որ.
-
$x_{0}$-ը մոտ է $x*$ => շոշափողի թեքությունը փոքր է => $f’(x_{0})$ փոքր է:
-
$x_{0}$-ը հեռու է $x*$ => շոշափողի թեքությունը մեծ է => $f’(x_{0})$ մեծ է:
Պատասխանելով երկու հարցերին՝ մենք եզրակացրինք, որ միայն $x_{0}$ կետի ածանցյալի իմացությունը կարող է մեզ շատ պատկերացում տալ $x_{0}$ օպտիմալ կետի ուղղության և հեռավորության մասին:
Գրադիենտ վայրէջք
Գրադիենտ վայրէջքը նախորդ երկու հարցերի պատասխանների ձևակերպումն է։ Սա օպտիմիզացման կրկնվող ալգորիթմ է, որը մոտավոր է $x*$-ի նվազագույն ֆունկցիան՝ սկսած $x_{0}$ պատահական սկզբնական կետից: Ալգորիթմը ներկայացված է հետևյալ կերպ.
$$ x*{n+1} = x*{n} - lr \times \frac{\mathrm{d} f}{\mathrm{d} x_{n}} $$
որտեղ:
-
$ \frac{\mathrm{d} f}{\mathrm{d} x*{n}} $-ն ավելին չէ, քան $f$-ի ածանցյալը $x*{n}$ կետում:
-
$lr$-ը դրական հաստատուն է, որը որոշում է, թե որքան մեծ են լինելու քայլերը:
Ուշադրություն դարձրեք, որ.
-
$x_{n}$-ը $x*$ => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}} > 0 $ => $ x_{n+-ի աջ կողմում է 1} = x_{n} - դրական $ => $x_{n}$-ը շարժվում է դեպի ձախ:
-
$x_{n}$-ը ձախ է $x*$ => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}} < 0$ => $ x*{n +1} = x*{n} + դրական $ => $x_{n}$-ը շարժվում է աջ:
-
$x_{n}$ մոտ $x*$ => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}}$ մոտ $0$ => Փոքր թարմացում մինչև $x_{ n}$.
Վիկտորինա
-
Ե՞րբ է գրադիենտ վայրէջքը դադարում կրկնվել.
-
Երբ $x_{n}$-ը բավականաչափ փոքր է:
-
Երբ $x_{n}$-ը մոտ է $x_{0}$-ին:
-
Երբ $\frac{\mathrm{d} f}{\mathrm{d} x_{n}} = 0 $: XXX
-
Ինչպե՞ս ենք ընտրում $x_{0}$:
-
Մենք ընտրում ենք այն պատահականորեն: XXX
-
Մենք այն վերցնում ենք $x_{n}$-ի հարեւանությամբ:
-
Դա կախված է խնդրից։
-
Ինչու՞ է մեզ անհրաժեշտ գրադիենտ վայրէջք.
-
Որովհետև համակարգիչները բավականաչափ հզոր չեն ածանցյալները հաշվարկելու համար:
-
Որովհետև չափազանց դժվար է գտնել խորը ուսուցման մոդելների ածանցյալ բանաձևերը: XXX
-
Որովհետև գործառույթներն ունեն մեկից ավելի տեղական նվազագույն:
- Վարպետ Data Science and AI Code Labs Academy-ի հետ: Միացեք մեր առցանց Bootcamp-ին. Հասանելի են ճկուն կես դրույքով և լրիվ դրույքով ընտրանքներ:*