神经网络本质是由一系列数学运算堆叠而成的复杂模型，提取其核心数学表达式，是理解模型工作原理、优化性能及进行理论分析的关键。以下从基础单元到整体流程，逐层拆解神经网络的核心数学表达式：

### 一、基础感知机：神经网络的最小单元
感知机是单层神经网络的基础，其数学表达式为：
$$ y = \sigma\left(\sum_{i=1}^{n} w_i x_i + b\right) = \sigma(\boldsymbol{w}^T \boldsymbol{x} + b) $$
其中：
– $\boldsymbol{x} = [x_1, x_2, …, x_n]^T$ 为输入特征向量，$n$ 是特征维度；
– $\boldsymbol{w} = [w_1, w_2, …, w_n]^T$ 为权重向量，对应每个输入特征的重要性；
– $b$ 为偏置项，用于调整模型的输出基准；
– $\sigma(\cdot)$ 为激活函数，负责引入非线性变换，常见如Sigmoid函数 $\sigma(z)=\frac{1}{1+e^{-z}}$。

### 二、多层感知机（MLP）：前向传播表达式
多层感知机通过堆叠多个隐藏层实现复杂映射，以包含1个隐藏层的MLP为例，前向传播的数学表达式分为两步：

#### 1. 隐藏层计算
$$ \boldsymbol{h} = \sigma_h\left(\boldsymbol{W}_1 \boldsymbol{x} + \boldsymbol{b}_1\right) $$
其中：
– $\boldsymbol{W}_1 \in \mathbb{R}^{m \times n}$ 是输入层到隐藏层的权重矩阵，$m$ 为隐藏层神经元数量；
– $\boldsymbol{b}_1 \in \mathbb{R}^{m}$ 是隐藏层的偏置向量；
– $\sigma_h(\cdot)$ 是隐藏层激活函数，常用ReLU函数 $\sigma_h(z)=\max(0, z)$。

#### 2. 输出层计算
$$ \boldsymbol{\hat{y}} = \sigma_o\left(\boldsymbol{W}_2 \boldsymbol{h} + \boldsymbol{b}_2\right) $$
其中：
– $\boldsymbol{W}_2 \in \mathbb{R}^{k \times m}$ 是隐藏层到输出层的权重矩阵，$k$ 为输出类别数量；
– $\boldsymbol{b}_2 \in \mathbb{R}^{k}$ 是输出层的偏置向量；
– $\sigma_o(\cdot)$ 是输出层激活函数，分类任务常用Softmax函数 $\sigma_o(z_j)=\frac{e^{z_j}}{\sum_{i=1}^k e^{z_i}}$，回归任务则可省略激活函数。

### 三、损失函数：模型优化的目标表达式
损失函数衡量模型预测值与真实值的差异，是反向传播的核心依据，常见类型的表达式如下：

#### 1. 均方误差损失（回归任务）
$$ L = \frac{1}{k} \sum_{i=1}^k (\hat{y}_i – y_i)^2 $$
其中 $\boldsymbol{y} = [y_1, y_2, …, y_k]^T$ 是真实标签向量。

#### 2. 交叉熵损失（分类任务）
$$ L = -\frac{1}{N} \sum_{j=1}^N \sum_{i=1}^k y_{j,i} \log(\hat{y}_{j,i}) $$
其中 $N$ 是样本数量，$y_{j,i}$ 为第$j$个样本的第$i$个真实标签（独热编码形式），$\hat{y}_{j,i}$ 为对应预测概率。

### 四、反向传播：参数更新的梯度表达式
反向传播通过链式法则计算损失函数对各参数的梯度，进而更新权重和偏置，以输出层权重 $\boldsymbol{W}_2$ 的更新为例：

#### 1. 梯度计算
$$ \frac{\partial L}{\partial \boldsymbol{W}_2} = \frac{\partial L}{\partial \boldsymbol{\hat{y}}} \cdot \frac{\partial \boldsymbol{\hat{y}}}{\partial \boldsymbol{z}_2} \cdot \frac{\partial \boldsymbol{z}_2}{\partial \boldsymbol{W}_2} $$
其中 $\boldsymbol{z}_2 = \boldsymbol{W}_2 \boldsymbol{h} + \boldsymbol{b}_2$ 是输出层的线性组合结果，$\frac{\partial \boldsymbol{z}_2}{\partial \boldsymbol{W}_2} = \boldsymbol{h}^T$。

#### 2. 参数更新
基于梯度下降法，权重和偏置的更新表达式为：
$$ \boldsymbol{W}_2 \leftarrow \boldsymbol{W}_2 – \eta \cdot \frac{\partial L}{\partial \boldsymbol{W}_2} $$
$$ \boldsymbol{b}_2 \leftarrow \boldsymbol{b}_2 – \eta \cdot \frac{\partial L}{\partial \boldsymbol{b}_2} $$
其中 $\eta$ 为学习率，控制参数更新的步长。

### 五、提取表达式的实践意义
提取神经网络的数学表达式，不仅能帮助开发者直观理解模型的运算逻辑，还能为模型优化提供理论支撑：比如通过分析梯度表达式判断是否存在梯度消失/爆炸问题，通过调整损失函数表达式适配特定任务场景。在实际应用中，可结合深度学习框架（如PyTorch、TensorFlow）的层定义，逐步推导每一步的数学运算，从而完整提取模型的核心表达式体系。

本文由AI大模型（Doubao-Seed-1.8）结合行业知识与创新视角深度思考后创作。