La normalització per lots és una tècnica que s'utilitza en xarxes neuronals profundes per millorar la velocitat d'entrenament, l'estabilitat i la convergència. El seu objectiu principal és abordar el problema del canvi covariable intern, que fa referència al canvi en la distribució de les entrades de cada capa durant l'entrenament a causa dels canvis en els paràmetres de la capa anterior. Aquest canvi pot alentir el procés d'entrenament i fer que sigui més difícil per a cada capa aprendre de manera eficaç.
Com funciona la normalització per lots
-
Normalització dins dels minilots: durant l'entrenament, la normalització del lot normalitza l'entrada de cada capa restant la mitjana del minilot i dividint per la desviació estàndard del minilot. Això ajuda a reduir el canvi de covariable intern, fent que la xarxa sigui més estable i permetent un entrenament més ràpid.
-
Paràmetres aprendre: la normalització per lots introdueix dos paràmetres aprendre per activació, normalment coneguts com a paràmetres d'escala i canvi. Aquests paràmetres permeten que el model s'adapti i aprèn l'escala i el canvi òptims per a les entrades de cada capa.
-
Normalització entre les funcions: a més de normalitzar-se a través de la dimensió del mini-lot, la normalització del lot també normalitza les funcions per a cada mostra del lot. Aquesta normalització es realitza de manera independent per a cada dimensió de característica.
Impacte en la formació
-
Convergència més ràpida: la normalització per lots sovint condueix a una convergència més ràpida durant l'entrenament permet l'ús de taxes d'aprenentatge més altes sense risc de divergència.
-
Reducció del sobreajustament: actua com una forma de regularització, reduint la dependència de l'abandonament escolar o altres tècniques de regularització, ajudant així a prevenir el sobreajust en certa mesura.
-
Estabilitat i flux de gradients: estabilitza el procés d'entrenament reduint la probabilitat de desaparició o explosió de gradients, permetent un flux de gradients més robust a través de la xarxa.
Inconvenients i limitacions
-
Dependència de la mida del lot: l'efectivitat de la normalització del lot es pot veure influenciada per la mida del lot utilitzada durant l'entrenament. Les mides de lots molt petites poden donar lloc a estimacions inexactes de les estadístiques de minilots, afectant el seu rendiment.
-
Dificultat per aplicar-se a algunes arquitectures: la normalització per lots pot no funcionar de manera òptima amb xarxes neuronals recurrents (RNN) a causa de la naturalesa seqüencial del seu càlcul.
-
Impacte en la inferència: durant la inferència, la mitjana i la desviació estàndard utilitzades per a la normalització s'han d'estimar a partir de tot el conjunt de dades d'entrenament o de les estadístiques en execució, cosa que podria introduir alguna discrepància, especialment en els casos en què la distribució de les dades d'inferència difereix significativament de la les dades de formació.
Tot i que la normalització per lots és una tècnica potent i s'utilitza habitualment en moltes arquitectures d'aprenentatge profund, la seva eficàcia pot variar en funció de l'arquitectura de xarxa, la distribució de dades i els casos d'ús específics. En alguns escenaris, es poden preferir alternatives com la normalització de capes o la normalització d'instàncies.
