在神经网络的训练和推理过程中，归一化是一类对特征数据进行尺度变换、将其映射到特定分布区间的通用技术，是提升模型训练效率与性能的核心组件之一。它的核心作用主要体现在以下几个方面：
第一，大幅提升模型收敛速度。未经过归一化的输入特征往往存在明显的尺度差异，比如用户画像数据中“年龄”取值范围为0~100，“月收入”取值可能达到0~100000，不同尺度的特征会让损失函数的等高线呈狭长的椭圆形，梯度下降时会沿着垂直等高线的方向反复震荡，需要更多迭代才能收敛。归一化后所有特征被映射到相近的数值区间，损失函数等高线更趋近于圆形，梯度下降路径更平滑，可将收敛速度提升数倍甚至数十倍。
第二，稳定深层网络的训练过程。深层神经网络的每一层输入分布都会随着前层参数的更新而发生变化，这一现象被称为“内部协变量偏移”，会导致深层的输入落入Sigmoid、Tanh等激活函数的饱和区间，引发梯度消失问题，甚至让训练完全崩溃。以批量归一化（BN）、层归一化（LN）为代表的归一化手段，会将每一层的输入调整为均值为0、方差为1的标准分布，让激活函数的输入始终落在梯度较大的非饱和区域，有效避免梯度消失或爆炸，让数十层的ResNet、上百层的Transformer等深层网络能够稳定训练。
第三，提升模型的泛化能力。归一化过程会弱化极端异常值对模型的影响，避免模型过度依赖个别大尺度的噪声特征，相当于给模型引入了轻微的正则效应，能够抑制过拟合风险。同时归一化也降低了模型对参数初始化的敏感度，即便初始参数设置不够合理，模型也能顺利完成训练，在未知数据上的表现会更稳定。
第四，降低超参数调优的难度。未归一化时，不同尺度特征对学习率的适配要求差异极大：学习率设置过高会导致大尺度特征的梯度过大引发参数震荡，设置过低又会导致小尺度特征更新过慢。归一化后所有特征的尺度一致，模型对学习率的容忍度大幅提升，不需要针对不同特征设计差异化的超参数，调参效率明显提升。
如今归一化已经成为各类神经网络架构中的标配组件，针对不同任务场景衍生出的批量归一化、层归一化、实例归一化等多种变体，为计算机视觉、自然语言处理等领域的大模型训练提供了重要的基础支撑。

本文由AI大模型（Doubao-Seed-1.6）结合行业知识与创新视角深度思考后创作。