Qradient eniş

Giriş

Təsəvvür edin ki, bizim $f(x)$ funksiyamız var və biz onun minimumunu tapmaq istəyirik. Nə edərdiniz?

Sadə deyilmi? Yalnız aşağıdakı tənliyi həll etməliyik:

$f'(x) = 0$

Məsələ burasındadır ki, $f'$ düsturunu tapmaq həmişə asan olmur, çünki onlar xüsusilə mürəkkəb funksiyalarla məşğul olduğumuz dərin öyrənmədə olduqca mürəkkəb olur. Beləliklə, $f'$ törəməsinin düsturunu tapmağa ehtiyac olmadan bizə funksiyanın minimumunu təmin edə biləcək başqa bir üsul tapmalıyıq.

Gəlin bir az intuisiya quraq

Fərz edək ki, müvafiq qrafiki olan f funksiyamız var:

$x_{0}$ təsadüfi nöqtəsi ilə başlayaq. Məqsəd bu nöqtəni hərəkət etdirmək və onu $x*$-a elə yaxınlaşdırmaqdır ki, $f'($x*$) = 0$ olsun. Beləliklə, problemi iki hissəyə bölmək olar:

• $x$ nöqtəsini hansı istiqamətdə hərəkət etdirməliyik? Sol yoxsa Sağ?

• Nə qədər köçürməliyik?

İstiqamət

Birinci suala cavab vermək üçün bir az intuisiya quraq. Aşağıdakı məqama nəzər salın:

Qeyd edək ki:

• $x_{0}$ nöqtəsi optimal $x*$ nöqtəsinin sağında olduqda onun tangens xətti yuxarı qalxır.

• $x_{0}$ nöqtəsi optimal $x*$ nöqtəsinin sağında olduqda onun tangens xətti aşağı enir.

Xəttin istiqaməti onun yamacının işarəsi ilə müəyyən edilir:

• Xətt yuxarı qalxır \implies$$ yamacı a$ müsbət olur.

• Xətt aşağı enir \a$ yamacının mənfi olduğunu bildirir.

Qeyd edək ki: \

Müəyyən $x_{0}$ nöqtəsində funksiyanın tangens xəttinin mailliyi həmin $f'(x_{0})$ nöqtəsindəki törəmədən çox deyil:

$tangent(x*{0}): g(x) = f'(x*{0}).(x-x*{0}) + f(x*{0})$

Beləliklə, "$x_{0}$-ı hara köçürməliyik?" sualına cavab olaraq:

• $f'(x_{0}) < 0$ $\implies$ $x_{0}$ $x*$-ın sağında $\implies$ Biz $x_{0}$-nı sola köçürməliyik.

• $f'(x_{0}) > 0$ $\implies$ $x_{0}$ $x*$-ın solunda $\implies$ Biz $x_{0}$-nı sağa köçürməliyik.

Addımlar

İndi ikinci suala, $x_{0}$-ı nə qədər köçürməliyik?

Aşağıdakı nümunələrə nəzər salın:

Belə nəticəyə gələ bilərik:

• $x_{0}$ $x*$-a yaxındır => Tangensin mailliyi kiçikdir => $f'(x_{0})$ kiçikdir.

• $x_{0}$ $x*$-dan uzaqdır => Tangensin mailliyi böyükdür => $f'(x_{0})$ böyükdür.

Hər iki suala cavab verərək belə nəticəyə gəldik ki, yalnız $x_{0}$ nöqtəsindəki törəmə haqqında bilik bizə optimal $x_{0}$ nöqtəsinin istiqaməti və məsafəsi haqqında çoxlu fikir verə bilər.

Qradient eniş

Qradient eniş əvvəlki iki sualın cavablarının tərtibidir. Bu, $x_{0}$ təsadüfi başlanğıc nöqtəsindən başlayaraq funksiyanın minimum $x*$ dəyərini təxmin edən optimallaşdırma iterativ alqoritmidir. Alqoritm aşağıdakı kimi ifadə edilir:

$x*{n+1} = x*{n} - lr \times \frac{\mathrm{d} f}{\mathrm{d} x\_{n}}$

harada:

• $\frac{\mathrm{d} f}{\mathrm{d} x*{n}}$ $x*{n}$ nöqtəsində $f$-ın törəməsindən çox deyil.

• $lr$ addımların nə qədər böyük olacağını müəyyən edən müsbət sabitdir.

Qeyd edək ki:

• $x_{n}$ $x*$-ın sağındadır => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}} > 0$ => $x_{n+ 1} = x_{n} - müsbət$ => $x_{n}$ sola doğru hərəkət edir.

• $x_{n}$ $x*$-ın solundadır => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}} < 0$ => $x*{n +1} = x*{n} + müsbət$ => $x_{n}$ sağa doğru hərəkət edir.

• $x_{n}$ yaxın $x*$ => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}}$ $0$-a yaxın => $x_{-a kiçik yeniləmə n}$.

Viktorina

• Qradiyentin enməsi təkrarlanmağı nə vaxt dayandırır:

• $x_{n}$ kifayət qədər kiçik olduqda.

• $x_{n}$ $x_{0}$-a yaxın olduqda.

• $\frac{\mathrm{d} f}{\mathrm{d} x\_{n}} = 0$ olduqda. XXX

• Necə $x_{0}$ seçirik:

• Biz təsadüfi seçirik. XXX

• Biz bunu $x_{n}$ məhəlləsində götürürük.

• Problemdən asılıdır.

• Nə üçün bizə gradient eniş lazımdır:

• Çünki kompüterlər törəmələri hesablamaq üçün kifayət qədər güclü deyil.

• Çünki dərin öyrənmə modellərinin törəmə düsturlarını tapmaq olduqca çətindir. XXX

• Çünki funksiyaların birdən çox lokal minimumu var.

---

Master Data Science and AI ilə Code Labs Academy! Onlayn təlim düşərgəmizə qoşulun – Çevik Part-Time və Tam Zamanlı Seçimlər Mövcuddur.