Giriş
Təsəvvür edin ki, bizim $f(x)$ funksiyamız var və biz onun minimumunu tapmaq istəyirik. Siz nə edərdiniz?
Sadə deyilmi? Yalnız aşağıdakı tənliyi həll etməliyik:
$$f'(x) = 0$$
Məsələ burasındadır ki, $f'$ düsturunu tapmaq həmişə asan olmur, çünki onlar xüsusilə mürəkkəb funksiyalarla məşğul olduğumuz dərin öyrənmədə olduqca mürəkkəb olur. Beləliklə, $f'$ törəməsinin düsturunu tapmağa ehtiyac olmadan bizə funksiyanın minimumunu təmin edə biləcək başqa bir üsul tapmalıyıq.
Gəlin bir az intuisiya quraq
Fərz edək ki, müvafiq qrafiki olan f funksiyamız var:
$x_{0}$ təsadüfi nöqtəsi ilə başlayaq. Məqsəd bu nöqtəni hərəkət etdirmək və onu $x*$-a elə yaxınlaşdırmaqdır ki, $f'($x*$) = 0$. Beləliklə, problemi iki hissəyə bölmək olar:
-
$x$ nöqtəsini hansı istiqamətdə hərəkət etdirməliyik? Sol yoxsa Sağ?
-
Nə qədər köçürməliyik?
İstiqamət
Birinci suala cavab vermək üçün bir az intuisiya quraq. Aşağıdakı məqama nəzər salın:
Qeyd edək ki:
-
$x_{0}$ nöqtəsi optimal $x*$ nöqtəsinin sağında olduqda onun tangens xətti yuxarı qalxır.
-
$x_{0}$ nöqtəsi optimal $x*$ nöqtəsinin sağında olduqda onun tangens xətti aşağı enir.
Xəttin istiqaməti onun yamacının işarəsi ilə müəyyən edilir:
-
Xətt yuxarıya doğru qalxarsa, $\a$ meylinin müsbət olduğunu bildirir.
-
Xətt aşağı enir $$a$ yamacının mənfi olduğunu bildirir.
Qeyd edək ki: \
Müəyyən $x_{0}$ nöqtəsində funksiyanın tangens xəttinin mailliyi həmin $f'(x_{0})$ nöqtəsindəki törəmədən çox deyil:
$$ tangent(x*{0}): g(x) = f'(x*{0}).(x-x*{0}) + f(x*{0}) $$
Beləliklə, "$x_{0}$-ı hara köçürməliyik?" sualına cavab olaraq:
-
$f'(x_{0}) < 0$ $\implies$ $x_{0}$ $x*$-ın sağında $\implies$ Biz $x_{0}$-nı sola köçürməliyik.
-
$f'(x_{0}) > 0$ $\implies$ $x_{0}$ $x*$-ın solunda $\implies$ Biz $x_{0}$-nı sağa köçürməliyik.
Addımlar
İndi ikinci suala, $x_{0}$-ı nə qədər köçürməliyik?
Aşağıdakı nümunələrə nəzər salın:
Belə nəticəyə gələ bilərik:
-
$x_{0}$ $x*$-a yaxındır => Tangensin mailliyi kiçikdir => $f'(x_{0})$ kiçikdir.
-
$x_{0}$ $x*$-dan uzaqdır => Tangensin mailliyi böyükdür => $f'(x_{0})$ böyükdür.
Hər iki suala cavab verərək belə qənaətə gəldik ki, yalnız $x_{0}$ nöqtəsində törəmə haqqında bilik bizə optimal $x_{0}$ nöqtəsinin istiqaməti və məsafəsi haqqında çoxlu fikir verə bilər.
Qradient eniş
Qradient eniş əvvəlki iki sualın cavablarının tərtibidir. Bu, $x_{0}$ təsadüfi başlanğıc nöqtəsindən başlayaraq funksiyanın minimum $x*$ dəyərini təxmin edən optimallaşdırma iterativ alqoritmidir. Alqoritm aşağıdakı kimi ifadə edilir:
$$ x*{n+1} = x*{n} - lr \times \frac{\mathrm{d} f}{\mathrm{d} x_{n}} $$
harada:
-
$ \frac{\mathrm{d} f}{\mathrm{d} x*{n}} $ $x*{n}$ nöqtəsində $f$-ın törəməsindən çox deyil.
-
$lr$ addımların nə qədər böyük olacağını müəyyən edən müsbət sabitdir.
Qeyd edək ki:
-
$x_{n}$ $x*$-ın sağındadır => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}} > 0 $ => $ x_{n+ 1} = x_{n} - müsbət $ => $x_{n}$ sola doğru hərəkət edir.
-
$x_{n}$ $x*$-ın solundadır => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}} < 0$ => $ x*{n +1} = x*{n} + müsbət $ => $x_{n}$ sağa doğru hərəkət edir.
-
$x_{n}$ yaxın $x*$ => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}}$ $0$-a yaxın => $x_{-a kiçik yeniləmə n}$.
Viktorina
-
Qradiyentin enməsi təkrarlanmağı nə vaxt dayandırır:
-
$x_{n}$ kifayət qədər kiçik olduqda.
-
$x_{n}$ $x_{0}$-a yaxın olduqda.
-
$\frac{\mathrm{d} f}{\mathrm{d} x_{n}} = 0 $ olduqda. XXX
-
Necə $x_{0}$ seçirik:
-
Biz təsadüfi seçirik. XXX
-
Biz bunu $x{n}$ məhəlləsində götürürük.
-
Problemdən asılıdır.
-
Nə üçün bizə gradient eniş lazımdır:
-
Çünki kompüterlər törəmələri hesablamaq üçün kifayət qədər güclü deyil.
-
Çünki dərin öyrənmə modellərinin törəmə düsturlarını tapmaq olduqca çətindir. XXX
-
Çünki funksiyaların birdən çox lokal minimumu var.
