La normalización por lotes es una técnica utilizada en redes neuronales profundas para mejorar la velocidad de entrenamiento, la estabilidad y la convergencia. Su objetivo principal es abordar el problema del desplazamiento interno de covariables, que se refiere al cambio en la distribución de las entradas de cada capa durante el entrenamiento debido a cambios en los parámetros de la capa anterior. Este desplazamiento puede ralentizar el proceso de entrenamiento y dificultar el aprendizaje efectivo de cada capa.
Cómo funciona la normalización por lotes
-
Normalización dentro de minilotes: Durante el entrenamiento, la normalización por lotes normaliza la entrada de cada capa restando la media del minilote y dividiéndola por la desviación estándar del minilote. Esto ayuda a reducir el desplazamiento interno de las covariables, haciendo que la red sea más estable y permitiendo un entrenamiento más rápido.
-
Parámetros aprendibles: La normalización por lotes introduce dos parámetros aprendibles por activación, normalmente denominados parámetros de escala y desplazamiento. Estos parámetros permiten que el modelo se adapte y aprenda la escala y el desplazamiento óptimos para las entradas de cada capa.
-
Normalización a través de las características: Además de normalizar a través de la dimensión del mini lote, la normalización del lote también normaliza a través de las características para cada muestra dentro del lote. Esta normalización se realiza independientemente para cada dimensión de característica.
Impacto en la formación
-
Convergencia más rápida: La normalización por lotes a menudo conduce a una convergencia más rápida durante el entrenamiento al permitir el uso de tasas de aprendizaje más altas sin el riesgo de divergencia.
-
Reducción del sobreajuste: Actúa como una forma de regularización, reduciendo la dependencia del abandono u otras técnicas de regularización, ayudando así a prevenir el sobreajuste en cierta medida.
-
Estabilidad y flujo de gradientes: estabiliza el proceso de entrenamiento reduciendo la probabilidad de que se produzcan gradientes de fuga o explosión, lo que permite un flujo de gradientes más robusto a través de la red.
Inconvenientes y limitaciones
-
Dependencia del tamaño del lote: La eficacia de la normalización por lotes puede verse influida por el tamaño del lote utilizado durante el entrenamiento. Los tamaños de lote muy pequeños pueden dar lugar a estimaciones inexactas de las estadísticas de minilotes, lo que afecta a su rendimiento.
-
Dificultad de aplicación a algunas arquitecturas: La normalización por lotes puede no funcionar de forma óptima con redes neuronales recurrentes (RNNs) debido a la naturaleza secuencial de su cálculo.
-
Impacto en la inferencia: Durante la inferencia, la media y la desviación estándar utilizadas para la normalización deben estimarse a partir de todo el conjunto de datos de entrenamiento o de las estadísticas en ejecución, lo que podría introducir alguna discrepancia, especialmente en los casos en que la distribución de los datos de inferencia difiera significativamente de los datos de entrenamiento.
Aunque la normalización por lotes es una técnica potente y de uso común en muchas arquitecturas de aprendizaje profundo, su eficacia puede variar en función de la arquitectura de la red, la distribución de los datos y los casos de uso específicos. En algunos casos, es posible que se prefieran alternativas como la normalización de capas o la normalización de instancias.
