Yıkıcı Girişim olarak da bilinen Yıkıcı Unutma, bir sinir ağı veya makine öğrenimi modelinin yeni bir görevi öğrendikten sonra önceden öğrenilen görevlerdeki performansını "unutması" veya önemli ölçüde azaltması durumunda ortaya çıkan bir olgudur. Bu, bir modeli aynı anda tüm görevler üzerinde eğitmek yerine, bir görev akışı üzerinde eğitirken ortaya çıkabilir.
Yıkıcı unutmanın meydana gelebileceği birkaç farklı yol vardır. Bunun bir yolu, modelin eğitim verilerini uygun hale getirmeye çok odaklandığı "aşırı uyum" 1 sürecidir. yeni görev, önceki görevlerden gelen bilgileri unutur. Diğer bir yol ise yeni görevin bir şekilde önceki görevlerle ilişkili olduğu ve modelin yeni görevi öğrenmesinin önceki görevlerle ilgili bilgisine "müdahale ettiği" "müdahale" sürecidir. Yıkıcı Unutmanın yaygın bir yolu, modelin yeni örneklerle sürekli olarak güncellendiği "Çevrimiçi Öğrenme" 2 yaklaşımını kullanarak bir model eğitmektir. Aynı anda sabit bir dizi örnek üzerinde eğitilmek yerine, geldiklerinde. Bu senaryoda model, daha önce eğitildiği örneklerden önemli ölçüde farklı olan yeni örneklerle sunulabilir ve bu, modelin "unutmasına" veya önceki görevdeki performansının önemli ölçüde düşmesine neden olabilir.
Felaket niteliğindeki unutmayı hafifletmenin birkaç yolu vardır:
-
Yaklaşımlardan biri, modelin önlenmesine yardımcı olabilecek "Ağırlık Düzenlemesi" 3 gibi teknikleri kullanmaktır. ağırlık değerlerini büyük ölçüde değiştirmekten ve önceki görevlerden edindiği bilgileri kaybetmekten.
-
Eğitim sırasında ağın ağırlıklarına küçük bir miktar gürültü eklemeyi içeren "Esnek Ağırlık Konsolidasyonu" 4, Felaketsel Unutmanın önlenmesine de yardımcı olabilir. Bu gürültü, ağırlıkların "dengelenmesine" yardımcı olarak modelin önceki görevlerle ilgili bilgilerini unutma olasılığını azaltır.
-
Diğer bir yaklaşım ise “Prova” gibi yöntemleri kullanmaktır 5, modelin bu bilgiyi korumasına yardımcı olmak için önceden öğrenilen görevlerden örneklerle sürekli olarak sunulduğu.
-
Yıkıcı Unutmayı ele almanın bir başka popüler yöntemi de "Transfer Öğrenimi"ni 6 kullanmaktır. Bir görev üzerinde eğitilen kişi, ilgili görev üzerinde ince ayar yapar. Örneğin, köpek resimlerini tanıyacak şekilde eğitilmiş bir model, kedi resimlerini tanıyacak şekilde ince ayar yapabilir. Bu durumda model, genel olarak hayvan görüntülerini tanımak için yararlı olan birçok özelliği zaten öğrenmiştir, dolayısıyla bu bilgiyi kedi görüntülerini tanımayı hızlı bir şekilde öğrenmek için kullanabilir.
-
Farklı görevleri çözmek için birden fazla modelin eğitildiği ve bunların çıktılarının nihai bir tahmin yapmak için birleştirildiği "Topluluk Yöntemleri" 7 de faydalıdır Yıkıcı Unutuşun önlenmesi. Örneğin, bir topluluk modeli, köpek resimlerini tanıyacak şekilde eğitilmiş bir modelden, kedi resimlerini tanıyacak şekilde eğitilmiş başka bir modelden vb. oluşabilir. Yeni bir örnekle sunulduğunda topluluk modeli, daha bilinçli bir tahmin yapmak için kendisini oluşturan modellerin her birinin çıktısını kullanabilir.
Yıkıcı Unutma, makine öğrenimi modellerini eğitirken, özellikle de bu modeller zaman içinde birden fazla görevi öğrenmek üzere eğitilirken dikkate alınması gereken önemli bir husustur. Ağırlık Düzenleme, Elastik Ağırlık Konsolidasyonu, Prova, Transfer Öğrenme ve Topluluk Yöntemleri gibi teknikler kullanılarak felaketle sonuçlanan unutmanın etkilerini azaltmak ve makine öğrenimi modellerinin performansını artırmak mümkündür.
[1] Aşırı Uyumlu Buzdağı (2020)
[2] Makine Öğreniminde Çevrimiçi Yöntemler - Teori ve Uygulamalar (Ocak 2023'te danışıldı)
[3] Derin Öğrenmede Düzenleme Teknikleri (2019)
[4] Sinir Ağlarında Felaketli Unutmanın Üstesinden Gelmek (2017)
[5] Felaket Unutma, Prova ve Sahte Prova (1995)
[6] Transfer Öğrenimi Araştırması (2016)
[7] Toplu Öğrenme - Wikipedia (Ocak 2023'te danışıldı)
