在神经网络的训练流程中，权重初始化是容易被忽略却至关重要的第一步。不合理的权重初始化可能导致梯度消失、梯度爆炸等问题，使得模型训练停滞不前；而合适的初始化策略则能有效加速模型收敛，提升最终的性能表现。本文将围绕神经网络权重初始化的核心意义、常见问题及经典方法展开介绍。

### 一、为什么不能用零初始化
很多初学者可能会想到将所有权重初始化为0，但这是一个典型的错误做法。当所有权重都为0时，神经网络中同一层的所有神经元在训练过程中会接收到相同的输入信号，计算出相同的激活值，反向传播时也会得到相同的梯度更新。这就导致所有神经元的权重始终保持一致，无法学习到不同的特征，神经网络退化为一个“单一神经元”，彻底失去了深度模型的表达能力。

### 二、基础随机初始化的局限
为了打破神经元的对称性，最基础的策略是随机初始化——从某种概率分布（如均匀分布、高斯分布）中随机采样权重值。例如，从均值为0、方差较小的高斯分布中采样，确保初始时神经元的输出处于合理范围。

不过，随机初始化也存在明显局限性：如果采样的方差过大，神经元的激活值可能迅速趋近于sigmoid、tanh等激活函数的饱和区域，导致反向传播时梯度趋近于0，出现梯度消失；如果方差过小，神经元的激活值会集中在极小的范围内，模型的表达能力受限，训练收敛速度极慢。

### 三、经典初始化方法与适用场景
针对随机初始化的不足，研究者们提出了一系列经过数学推导的初始化策略，核心目标是让神经网络在前后向传播过程中，每一层的信号方差保持稳定，避免信号被过度放大或衰减。

#### 1. Xavier（Glorot）初始化
Xavier初始化的设计基于对称激活函数（如sigmoid、tanh）的特性，假设激活函数的输入输出均值为0。其核心是将权重的方差设置为`Var(w) = 1 / (n_in + n_out)`，其中`n_in`是输入神经元数量，`n_out`是输出神经元数量。在实现时，通常采用均匀分布`U[-sqrt(6/(n_in + n_out)), sqrt(6/(n_in + n_out))]`或高斯分布`N(0, 1/(n_in + n_out))`进行采样。

这种初始化策略能保证前后向传播的信号方差一致，有效缓解梯度消失或爆炸问题，非常适合搭配sigmoid、tanh的浅层神经网络。

#### 2. He（Kaiming）初始化
当神经网络使用ReLU及其变种（如Leaky ReLU）作为激活函数时，Xavier初始化的效果会大打折扣。因为ReLU会将负输入置为0，导致约一半的神经元输出为0，打破了Xavier的对称假设。

He初始化针对这一特性调整了方差计算：`Var(w) = 2 / n_in`，对应的均匀分布采样范围为`U[-sqrt(6/n_in), sqrt(6/n_in)]`，高斯分布为`N(0, 2/n_in)`。通过将方差放大1倍，弥补了ReLU对信号的“过滤”作用，确保每一层的信号方差稳定。目前，He初始化是使用ReLU激活的深度卷积神经网络（CNN）的默认选择。

#### 3. 正交初始化
正交初始化通过将权重矩阵初始化为正交矩阵，能有效防止梯度爆炸问题，在循环神经网络（RNN）中尤为实用。RNN的时序特性容易导致梯度累积爆炸，而正交矩阵可以保证梯度在反向传播时的范数保持稳定，避免训练过程崩溃。

### 四、总结与实践建议
不同的权重初始化方法对应不同的网络结构和激活函数：使用sigmoid、tanh时优先选择Xavier初始化；使用ReLU系列激活函数的深度CNN、MLP可首选He初始化；RNN则可尝试正交初始化。

在实际应用中，合适的初始化策略能让模型在训练初期就处于“良性循环”——合理的信号范围保证梯度有效传递，加速收敛；结合Adam、SGD等优化器，还能进一步提升训练效率。理解权重初始化的核心逻辑，能帮助我们更深刻地认识神经网络的训练机制，为构建高效、稳定的模型奠定基础。

本文由AI大模型（Doubao-Seed-1.8）结合行业知识与创新视角深度思考后创作。