Катастрофическое забывание, также известное как катастрофическое вмешательство, — это явление, которое возникает, когда нейронная сеть или модель машинного обучения «забывает» или резко снижает свою производительность при выполнении ранее изученных задач после изучения новой задачи. Это может произойти при обучении модели потоку задач, а не при обучении ее всем задачам одновременно.
Есть несколько различных способов возникновения катастрофического забывания. Один из способов — процесс «переобучения» 1, когда модель настолько сосредоточена на подгонке обучающих данных для новую задачу, которая забывает информацию из предыдущих задач. Другой способ - через процесс «вмешательства», когда новая задача каким-то образом связана с предыдущими задачами, а знание модели о новой задаче «вмешивается» в ее знания о предыдущих задачах. Одним из распространенных способов возникновения катастрофического забывания является обучение модели с использованием подхода «онлайн-обучения» 2, при котором модель постоянно обновляется новыми примерами. по мере их поступления, а не обучаться на фиксированном наборе примеров одновременно. В этом сценарии модели могут быть представлены новые примеры, которые существенно отличаются от примеров, на которых она обучалась ранее, и это может привести к тому, что она «забудет» или значительно ухудшит свою производительность при выполнении предыдущей задачи.
Есть несколько способов смягчить катастрофическое забывание:
-
Один из подходов – использовать такие методы, как «Регуляризация веса» 3, которые могут помочь предотвратить модель от резкого изменения значений веса и потери знаний, полученных в ходе предыдущих задач.
-
«Эластичная консолидация весов» 4, которая предполагает добавление небольшого количества шума к весам сети во время обучения, также может помочь предотвратить катастрофическое забывание. Этот шум помогает «стабилизировать» веса, снижая вероятность того, что модель забудет свои знания о предыдущих задачах.
-
Другой подход – использовать такие методы, как «Репетиция» 5, в котором модели постоянно представлены примеры из ранее изученных задач, чтобы помочь ей сохранить эти знания.
-
Еще один популярный метод решения проблемы катастрофического забывания — использование «Переносного обучения» 6, в котором модель обученный на одной задаче, точно настроен на связанную задачу. Например, модель, обученная распознавать изображения собак, может быть настроена на распознавание изображений кошек. В этом случае модель уже усвоила множество функций, полезных для распознавания изображений животных в целом, поэтому она может использовать эти знания, чтобы быстро научиться распознавать изображения кошек.
-
«Ансамблевые методы» 7, в которых несколько моделей обучаются для решения различных задач, а их результаты объединяются для получения окончательного прогноза, также полезны в предотвращение катастрофического забывания. Например, ансамблевая модель может состоять из одной модели, обученной распознавать изображения собак, другой модели, обученной распознавать изображения кошек, и так далее. При представлении нового примера модель ансамбля может использовать выходные данные каждой из составляющих ее моделей, чтобы сделать более обоснованный прогноз.
Катастрофическое забывание является важным фактором при обучении моделей машинного обучения, особенно когда эти модели обучаются для изучения нескольких задач с течением времени. Используя такие методы, как регуляризация веса, эластичная консолидация веса, повторение, трансферное обучение и ансамблевые методы, можно смягчить последствия катастрофического забывания и повысить производительность моделей машинного обучения.
[1] Айсберг переоснащения (2020)
[2] Онлайн-методы машинного обучения – теория и приложения (просмотр в январе 2023 г.)
[3] Методы регуляризации в глубоком обучении (2019)
[4] Преодоление катастрофического забывания в нейронных сетях (2017)
[5] Катастрофическое забвение, репетиция и псевдорепетиция (1995)
[6] Обзор трансферного обучения (2016)
[7] Ансамблевое обучение – Википедия (проверено в январе 2023 г.)
