Le catastrophic-forgetting, également connu sous le nom d'interférence catastrophique, est un phénomène qui se produit lorsqu'un réseau neuronal ou un modèle d'apprentissage automatique "oublie" ou réduit considérablement ses performances sur des tâches précédemment apprises après l'apprentissage d'une nouvelle tâche. Ce phénomène peut se produire lorsqu'un modèle est entraîné sur un flux de tâches, plutôt que sur toutes les tâches à la fois.
Le catastrophic-forgetting peut se produire de différentes manières. L'une d'entre elles est le processus de "surajustement" 1, où le modèle est tellement concentré sur l'ajustement des données d'apprentissage pour la nouvelle tâche qu'il oublie les informations des tâches précédentes. D'autre part, le processus d'"interférence", où la nouvelle tâche est liée aux tâches précédentes d'une manière ou d'une autre, et où l'apprentissage du modèle sur la nouvelle tâche "interfère" avec ses connaissances sur les tâches précédentes. L'oubli catastrophique se produit couramment lors de la formation d'un modèle à l'aide de l'approche de l'"apprentissage en ligne" 2, dans laquelle le modèle est continuellement mis à jour avec de nouveaux exemples au fur et à mesure qu'ils arrivent, au lieu d'être formé sur un ensemble fixe d'exemples en une seule fois. Dans ce scénario, le modèle peut être confronté à de nouveaux exemples très différents de ceux sur lesquels il a été formé précédemment, ce qui peut entraîner un "oubli" ou une dégradation significative de ses performances pour la tâche précédente.
Il existe plusieurs moyens d'atténuer les oublis catastrophiques :
-
Une approche consiste à utiliser des techniques telles que la "régularisation des poids" 3, qui permet d'éviter que le modèle ne modifie radicalement ses valeurs de poids et ne perde les connaissances qu'il a acquises au cours des tâches précédentes.
-
La "consolidation élastique des poids" 4, qui consiste à ajouter une petite quantité de bruit aux poids du réseau pendant la formation, peut également contribuer à prévenir l'oubli catastrophique. Ce bruit permet de "stabiliser" les poids, ce qui réduit la probabilité que le modèle oublie ses connaissances sur les tâches précédentes.
-
Une autre approche consiste à utiliser des méthodes telles que la "répétition" 5, dans laquelle le modèle est continuellement présenté avec des exemples de tâches apprises précédemment pour l'aider à retenir ces connaissances.
-
Une autre méthode populaire pour remédier à l'oubli catastrophique consiste à utiliser l'"apprentissage par transfert" 6, dans lequel un modèle formé à une tâche est affiné pour une tâche connexe. Par exemple, un modèle formé à la reconnaissance d'images de chiens peut être adapté à la reconnaissance d'images de chats. Dans ce cas, le modèle a déjà appris de nombreuses caractéristiques utiles à la reconnaissance d'images d'animaux en général, et il peut donc utiliser ces connaissances pour apprendre rapidement à reconnaître des images de chats.
-
Les "méthodes d'ensemble" 7, dans lesquelles plusieurs modèles sont formés pour résoudre différentes tâches et leurs résultats sont combinés pour obtenir une prédiction finale, sont également utiles pour prévenir les oublis catastrophiques. Par exemple, un modèle d'ensemble peut être constitué d'un modèle entraîné à reconnaître des images de chiens, d'un autre modèle entraîné à reconnaître des images de chats, et ainsi de suite. Lorsqu'il est confronté à un nouvel exemple, le modèle d'ensemble peut utiliser les résultats de chacun des modèles qui le composent pour faire une prédiction plus éclairée.
L'oubli catastrophique est une considération importante lors de la formation de modèles d'apprentissage automatique, en particulier lorsque ces modèles sont formés pour apprendre de multiples tâches au fil du temps. En utilisant des techniques telles que la régularisation des poids, la consolidation élastique des poids, la répétition, l'apprentissage par transfert et les méthodes d'ensemble, il est possible d'atténuer les effets de l'oubli catastrophique et d'améliorer les performances des modèles d'apprentissage automatique.
[1] L'iceberg de l'overfitting (2020)
[2] Méthodes en ligne en apprentissage automatique - théorie et applications (consulté en janvier 2023).
[3] Techniques de régularisation en apprentissage profond (2019)
[4] Surmonter l'oubli catastrophique dans les réseaux neuronaux (2017)
[5] Oubli catastrophique, répétition et pseudo-répétition (1995)
[6] Enquête sur l'apprentissage par transfert (2016)
[7] Ensemble Learning - Wikipedia (Consulté en janvier 2023)
