Penurunan Gradien

Perkenalan

Bayangkan kita mempunyai fungsi $f(x)$ dan kita ingin mencari nilai minimumnya. Apa yang akan kamu lakukan?

Sederhana bukan? Kita hanya perlu menyelesaikan persamaan berikut:

$f'(x) = 0$

Masalahnya adalah menemukan rumus $f'$ tidak selalu mudah karena cenderung sangat rumit terutama dalam pembelajaran mendalam yang menangani fungsi-fungsi kompleks. Jadi kita perlu mencari metode lain yang dapat memberikan kita fungsi minimum tanpa perlu mencari rumus turunan $f'$.

Mari kita membangun intuisi

Misalkan kita mempunyai fungsi f dengan grafik yang bersesuaian:

Mari kita mulai dengan titik acak $x_{0}$. Tujuannya adalah untuk memindahkan titik ini dan membuatnya semakin dekat ke $x*$ sehingga $f'($x*$) = 0$. Jadi permasalahannya dapat dibagi menjadi dua bagian:

• Ke arah mana kita harus memindahkan titik $x$ ? Kiri atau Kanan?

• Berapa banyak kita harus memindahkannya?

Arahnya

Mari kita membangun intuisi untuk menjawab pertanyaan pertama. Perhatikan poin berikut ini:

Perhatikan bahwa:

• bila titik $x_{0}$ berada di sebelah kanan titik optimal $x*$ garis singgungnya naik.

• bila titik $x_{0}$ berada di sebelah kanan titik optimal $x*$ garis singgungnya turun.

Arah suatu garis ditentukan oleh tanda kemiringannya:

• Sebuah garis naik $\menyiratkan$ kemiringan $a$ adalah positif.

• Garis turun $\menyiratkan kemiringan$a$ negatif.

Perhatikan bahwa: \

Kemiringan garis singgung suatu fungsi di titik tertentu $x_{0}$ tidak lebih dari turunan di titik tersebut $f'(x_{0})$:

$tangent(x*{0}): g(x) = f'(x*{0}).(x-x*{0}) + f(x*{0})$

Jadi sebagai jawaban atas pertanyaan "Kemana kita harus pindah $x_{0}$ ?":

• $f'(x_{0}) < 0$ $\implies$ $x_{0}$ di sebelah kanan $x*$ $\implies$ Kita perlu memindahkan $x_{0}$ ke kiri.

• $f'(x_{0}) > 0$ $\implies$ $x_{0}$ ke kiri $x*$ $\implies$ Kita perlu memindahkan $x_{0}$ ke kanan.

Langkah-langkahnya

Sekarang untuk pertanyaan kedua, Berapa banyak yang harus kita pindahkan $x_{0}$ ?

Lihatlah contoh berikut:

Kita dapat menyimpulkan bahwa:

• $x_{0}$ mendekati $x*$ => Kemiringan garis singgungnya kecil => $f'(x_{0})$ kecil.

• $x_{0}$jauh dari $x*$ => Kemiringan garis singgungnya besar => $f'(x_{0})$ besar.

Dengan menjawab kedua pertanyaan tersebut, kami menyimpulkan bahwa hanya pengetahuan tentang turunan di titik $x_{0}$ yang dapat memberi kita banyak wawasan tentang arah dan jarak dari titik optimal $x_{0}$.

Penurunan gradien

Penurunan gradien merupakan rumusan jawaban dari dua pertanyaan sebelumnya. Ini adalah algoritme berulang pengoptimalan yang memperkirakan fungsi minimum $x*$ dimulai dari titik awal acak $x_{0}$. Algoritmanya dinyatakan sebagai berikut:

$x*{n+1} = x*{n} - lr \times \frac{\mathrm{d} f}{\mathrm{d} x\_{n}}$

Di mana:

• $\frac{\mathrm{d} f}{\mathrm{d} x*{n}}$ tidak lebih dari turunan $f$ pada titik $x*{n}$.

• $lr$ adalah konstanta positif yang menentukan seberapa besar langkah yang akan diambil.

Perhatikan bahwa:

• $x_{n}$ berada di sebelah kanan $x*$ => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}} > 0$ => $x_{n+ 1} = x_{n} - positif$ => $x_{n}$ bergerak ke kiri.

• $x_{n}$ berada di sebelah kiri $x*$ => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}} < 0$ => $x*{n +1} = x*{n} + positif$ => $x_{n}$ bergerak ke kanan.

• $x_{n}$ mendekati $x*$ => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}}$ mendekati $0$ => Pembaruan kecil ke $x_{ n}$.

Kuis

• Kapan penurunan gradien berhenti berulang:

• Ketika $x_{n}$ cukup kecil.

• Ketika $x_{n}$ mendekati $x_{0}$ .

• Ketika $\frac{\mathrm{d} f}{\mathrm{d} x\_{n}} = 0$. XXX

• Bagaimana cara kita memilih $x_{0}$:

• Kami mengambilnya secara acak. XXX

• Kami mengambilnya di sekitar $x{n}$.

• Itu tergantung masalahnya.

• Mengapa kita memerlukan penurunan gradien:

• Karena komputer tidak cukup kuat untuk menghitung turunan.

• Karena sangat sulit menemukan rumus turunan model deep learning. XXX

• Karena fungsi memiliki lebih dari satu minimum lokal.