批量归一化是深度神经网络中使用的一种技术，用于提高训练速度、稳定性和收敛性。其主要目的是解决内部协变量偏移问题，它指的是训练期间由于前一层参数的变化而导致每层输入的分布发生变化。这种转变会减慢训练过程，并使每一层有效学习变得更具挑战性。
批量标准化的工作原理
-
小批量内的标准化：在训练期间，批量标准化通过减去小批量平均值并除以小批量标准差来标准化每层的输入。这有助于减少内部协变量偏移，使网络更加稳定并允许更快的训练。
-
可学习参数：批量归一化引入了每次激活两个可学习参数，通常称为 scale 和 shift 参数。这些参数允许模型适应并学习每层输入的最佳比例和偏移。
-
跨特征标准化：除了跨小批量维度标准化之外，批量标准化还跨批次内每个样本的特征标准化。这种归一化是针对每个特征维度独立执行的。
对训练的影响
-
更快的收敛：批量归一化通常会导致训练过程中更快的收敛，因为允许使用更高的学习率而没有发散的风险。
-
减少过度拟合：它作为一种正则化形式，减少对dropout或其他正则化技术的依赖，从而在一定程度上帮助防止过度拟合。
-
稳定性和梯度流：它通过减少梯度消失或爆炸的可能性来稳定训练过程，从而使网络中的梯度流更加稳健。
缺点和限制
-
批量大小依赖性：批量归一化的有效性可能会受到训练期间使用的批量大小的影响。非常小的批量可能会导致小批量统计数据的估计不准确，从而影响其性能。
-
难以应用于某些架构：由于计算的顺序性质，批量归一化可能无法在循环神经网络 (RNN) 中最佳地工作。
-
对推理的影响：在推理过程中，用于归一化的平均值和标准差必须根据整个训练数据集或运行统计数据进行估计，这可能会引入一些差异，特别是在推理数据分布与预测数据分布显着不同的情况下训练数据。
虽然批量归一化是一种强大的技术，并且常用于许多深度学习架构中，但其有效性可能会根据网络架构、数据分布和特定用例而有所不同。在某些情况下，可能会首选层标准化或实例标准化等替代方案。
