La normalisation par lots est une technique utilisée dans les réseaux neuronaux profonds pour améliorer la vitesse de formation, la stabilité et la convergence. Son objectif principal est de résoudre le problème du décalage des covariables internes, c'est-à-dire la modification de la distribution des entrées de chaque couche au cours de la formation en raison de changements dans les paramètres de la couche précédente. Ce changement peut ralentir le processus d'apprentissage et rendre plus difficile l'apprentissage efficace de chaque couche.
Fonctionnement de la normalisation par lots
-
Normalisation au sein des mini-lots: Pendant la formation, la normalisation des lots normalise l'entrée de chaque couche en soustrayant la moyenne du mini-lot et en la divisant par l'écart-type du mini-lot. Cela permet de réduire le décalage des covariables internes, de rendre le réseau plus stable et de permettre une formation plus rapide.
-
Paramètres d'apprentissage: La normalisation par lots introduit deux paramètres d'apprentissage par activation, généralement appelés paramètres d'échelle et de décalage. Ces paramètres permettent au modèle de s'adapter et d'apprendre l'échelle et le décalage optimaux pour les entrées de chaque couche.
-
Normalisation des caractéristiques: Outre la normalisation de la dimension du mini-lot, la normalisation du lot normalise également les caractéristiques de chaque échantillon du lot. Cette normalisation est effectuée indépendamment pour chaque dimension de caractéristique.
Impact sur la formation
-
Convergence plus rapide: La normalisation par lots conduit souvent à une convergence plus rapide pendant l'apprentissage en permettant l'utilisation de taux d'apprentissage plus élevés sans risque de divergence.
-
Réduction du surajustement: Il agit comme une forme de régularisation, réduisant la dépendance à l'égard de l'abandon ou d'autres techniques de régularisation, ce qui permet d'éviter le surajustement dans une certaine mesure.
-
Stabilité et flux de gradient: il stabilise le processus de formation en réduisant la probabilité de disparition ou d'explosion des gradients, ce qui permet un flux de gradient plus robuste à travers le réseau.
Inconvénients et limites
-
Dépendance de la taille du lot: L'efficacité de la normalisation par lots peut être influencée par la taille des lots utilisés pendant la formation. Des lots de très petite taille peuvent conduire à des estimations inexactes des statistiques du mini-lot, ce qui affecte ses performances.
-
Difficulté d'application à certaines architectures: La normalisation par lots peut ne pas fonctionner de manière optimale avec les réseaux neuronaux récurrents (RNNs) en raison de la nature séquentielle de leur calcul.
-
Impact sur l'inférence: Lors de l'inférence, la moyenne et l'écart-type utilisés pour la normalisation doivent être estimés à partir de l'ensemble des données d'apprentissage ou des statistiques courantes, ce qui peut entraîner des divergences, en particulier lorsque la distribution des données d'inférence diffère sensiblement des données d'apprentissage.
Bien que la normalisation par lots soit une technique puissante et couramment utilisée dans de nombreuses architectures d'apprentissage profond, son efficacité peut varier en fonction de l'architecture du réseau, de la distribution des données et des cas d'utilisation spécifiques. Dans certains scénarios, des alternatives telles que la normalisation des couches ou la normalisation des instances peuvent être préférées.
