Lupa Bencana, juga dikenal sebagai Interferensi Katastrofi, adalah fenomena yang terjadi ketika jaringan saraf atau model pembelajaran mesin "lupa", atau secara drastis mengurangi kinerjanya pada tugas yang dipelajari sebelumnya setelah mempelajari tugas baru. Hal ini dapat terjadi saat melatih model pada serangkaian tugas, dibandingkan melatih model pada semua tugas sekaligus.
Ada beberapa cara berbeda yang menyebabkan bencana lupa dapat terjadi. Salah satu caranya adalah melalui proses “overfitting” 1, dimana model sangat fokus pada penyesuaian data pelatihan untuk tugas baru sehingga melupakan informasi dari tugas sebelumnya. Cara lain adalah melalui proses "interferensi", di mana tugas baru terkait dengan tugas sebelumnya dalam beberapa cara, dan pembelajaran model tentang tugas baru "mengganggu" pengetahuannya tentang tugas sebelumnya. Salah satu cara umum terjadinya Catastrophic Forgetting adalah ketika melatih model menggunakan pendekatan "Pembelajaran Online" 2, di mana model tersebut terus diperbarui dengan contoh-contoh baru ketika mereka masuk, daripada dilatih berdasarkan serangkaian contoh yang tetap sekaligus. Dalam skenario ini, model dapat disajikan dengan contoh-contoh baru yang sangat berbeda dari contoh-contoh yang dilatih sebelumnya, dan hal ini dapat menyebabkan model "lupa" atau menurunkan performanya secara signifikan pada tugas sebelumnya.
Ada beberapa cara untuk mengurangi bencana lupa:
-
Salah satu pendekatannya adalah dengan menggunakan teknik seperti “Regularisasi Berat” 3, yang dapat membantu mencegah model dari mengubah nilai bobotnya secara drastis dan kehilangan pengetahuan yang diperoleh dari tugas sebelumnya.
-
"Elastic Weight Consolidation" 4, yang melibatkan penambahan sedikit noise ke bobot jaringan selama pelatihan, juga dapat membantu mencegah Catastrophic Forgetting. Kebisingan ini membantu "menstabilkan" bobot, sehingga memperkecil kemungkinan model melupakan pengetahuannya tentang tugas sebelumnya.
-
Pendekatan lainnya adalah dengan menggunakan metode seperti “Rehearsal” 5, yang modelnya terus disajikan dengan contoh dari tugas yang telah dipelajari sebelumnya untuk membantunya mempertahankan pengetahuan tersebut.
-
Metode populer lainnya untuk mengatasi Catastrophic Forgetting adalah dengan menggunakan "Transfer Learning" 6, yang menggunakan model dilatih pada satu tugas disesuaikan dengan tugas terkait. Misalnya, model yang telah dilatih untuk mengenali gambar anjing mungkin akan disesuaikan untuk mengenali gambar kucing. Dalam hal ini, model telah mempelajari banyak fitur yang berguna untuk mengenali gambar hewan secara umum, sehingga dapat menggunakan pengetahuan tersebut untuk belajar mengenali gambar kucing dengan cepat.
-
"Metode Ensemble" 7, di mana beberapa model dilatih untuk menyelesaikan tugas yang berbeda, dan keluarannya digabungkan untuk membuat prediksi akhir, juga membantu dalam mencegah Lupa Bencana. Misalnya, model ansambel mungkin terdiri dari satu model yang dilatih untuk mengenali gambar anjing, model lain yang dilatih untuk mengenali gambar kucing, dan seterusnya. Saat disajikan dengan contoh baru, model ansambel dapat menggunakan keluaran dari setiap model penyusunnya untuk membuat prediksi yang lebih tepat.
Lupa Bencana merupakan pertimbangan penting saat melatih model pembelajaran mesin, terutama saat model tersebut dilatih untuk mempelajari banyak tugas dari waktu ke waktu. Dengan menggunakan teknik seperti Regularisasi Bobot, Konsolidasi Bobot Elastis, Latihan, Pembelajaran Transfer, dan Metode Ensemble, dampak dari bencana lupa dan meningkatkan performa model pembelajaran mesin dapat dikurangi.
[1] Gunung Es yang Overfitting (2020)
[2] Metode Online dalam Pembelajaran Mesin - Teori dan Aplikasi (Dikonsultasikan pada Januari 2023)
[3] Teknik Regularisasi dalam Pembelajaran Mendalam (2019)
[4] Mengatasi Bencana Lupa di Jaringan Syaraf Tiruan (2017)
[5] Bencana Lupa, Latihan, dan Latihan Semu (1995)
[6] Survei Pembelajaran Transfer (2016)
[7] Pembelajaran Ensemble - Wikipedia (Dikonsultasikan pada Januari 2023)
