El olvido catastrófico, también conocido como interferencia catastrófica, es un fenómeno que se produce cuando una red neuronal o un modelo de aprendizaje automático "olvida" o reduce drásticamente su rendimiento en tareas aprendidas previamente tras aprender una nueva tarea. Esto puede ocurrir cuando se entrena un modelo en un flujo de tareas, en lugar de entrenarlo en todas las tareas a la vez.
El olvido catastrófico puede producirse de varias maneras. Una forma es a través del proceso de "sobreajuste" 1, en el que el modelo se centra tanto en ajustar los datos de entrenamiento para la nueva tarea que olvida la información de las tareas anteriores. Otra forma es a través del proceso de "interferencia", en el que la nueva tarea está relacionada con las tareas anteriores de alguna manera, y el aprendizaje del modelo sobre la nueva tarea "interfiere" con su conocimiento sobre las tareas anteriores. Una forma habitual de que se produzca el olvido catastrófico es cuando se entrena un modelo utilizando el enfoque de "aprendizaje en línea" 2, en el que el modelo se actualiza continuamente con nuevos ejemplos a medida que van llegando, en lugar de entrenarse con un conjunto fijo de ejemplos de una sola vez. En este escenario, al modelo se le pueden presentar nuevos ejemplos que son significativamente diferentes de los ejemplos con los que fue entrenado previamente, y esto puede hacer que "olvide" o degrade significativamente su rendimiento en la tarea anterior.
Hay varias formas de mitigar el olvido catastrófico:
-
Un enfoque es usar técnicas como "Regularización de peso" 3, que puede ayudar a evitar que el modelo cambie drásticamente sus valores de peso y pierda el conocimiento que ha obtenido de tareas anteriores.
-
"Consolidación de peso elástico" 4, que implica agregar una pequeña cantidad de ruido a los pesos de la red durante el entrenamiento, también puede ayudar a prevenir el olvido catastrófico. Este ruido ayuda a "estabilizar" los pesos, por lo que es menos probable que el modelo olvide su conocimiento sobre tareas anteriores.
-
Otro enfoque consiste en utilizar métodos como "Ensayo" 5, en el que el modelo se presenta continuamente con ejemplos de tareas aprendidas previamente para ayudarlo a retener ese conocimiento.
-
Otro método popular para abordar el olvido catastrófico es usar el "aprendizaje de transferencia" 6, en el que un modelo entrenado en una tarea se ajusta en una tarea relacionada. Por ejemplo, un modelo que ha sido entrenado para reconocer imágenes de perros podría ajustarse para reconocer imágenes de gatos. En este caso, el modelo ya ha aprendido muchas funciones que son útiles para reconocer imágenes de animales en general, por lo que puede usar este conocimiento para aprender rápidamente a reconocer imágenes de gatos.
-
Los "métodos de conjunto" 7, en los que se entrenan varios modelos para resolver diferentes tareas y sus resultados se combinan para hacer una predicción final, también son útiles para prevenir el olvido catastrófico. Por ejemplo, un modelo de conjunto puede constar de un modelo entrenado para reconocer imágenes de perros, otro modelo entrenado para reconocer imágenes de gatos, etc. Cuando se le presenta un nuevo ejemplo, el modelo de conjunto puede usar la salida de cada uno de sus modelos constituyentes para hacer una predicción más informada.
El olvido catastrófico es una consideración importante cuando se entrenan modelos de aprendizaje automático, especialmente cuando esos modelos se entrenan para aprender múltiples tareas a lo largo del tiempo. Mediante el uso de técnicas como la regularización del peso, la consolidación del peso elástico, el ensayo, el aprendizaje por transferencia y los métodos de conjunto, es posible mitigar los efectos del olvido catastrófico y mejorar el rendimiento de los modelos de aprendizaje automático.
[1] El iceberg del sobreajuste (2020)
[2] Métodos en línea en aprendizaje automático: teoría y aplicaciones (Consultado en enero de 2023)
[3] Técnicas de regularización en aprendizaje profundo (2019)
[4] Superación del olvido catastrófico en redes neuronales (2017)
[5] Olvido catastrófico, ensayo y pseudoensayo (1995)
[6] Una encuesta sobre el aprendizaje transferido (2016)
[7] Ensemble Learning - Wikipedia (Consultado en enero de 2023)
