正则化是机器学习中应对过拟合问题的核心手段之一，通过在模型损失函数中加入额外惩罚项约束参数复杂度，避免模型过度拟合训练数据的噪声。L1（Lasso）和L2（Ridge）正则化是两种最常用的正则化方法，它们在数学形式、惩罚机制、优化特性及适用场景上存在显著差异，下面从多个维度展开对比分析。

一、数学形式与基本定义
L1正则化又称Lasso（Least Absolute Shrinkage and Selection Operator）正则化，惩罚项为模型权重参数的绝对值之和，表达式为：
$$L_1 = \lambda \sum_{i=1}^n |w_i|$$
其中$\lambda$是控制正则化强度的超参数，$w_i$为模型第$i$个权重参数，$\lambda$越大对权重的约束越强。

L2正则化又称Ridge正则化，惩罚项为权重参数的平方和（为方便求导常乘以1/2，不改变最优解位置）：
$$L_2 = \frac{1}{2}\lambda \sum_{i=1}^n w_i^2$$
其平方项特性使得大权重的惩罚力度远大于小权重，能更严格地限制极端权重的出现。

二、惩罚机制的核心差异
L1正则化采用“线性惩罚”：无论权重大小，每增加1单位权重，惩罚项的增量固定为$\lambda$。这种机制对大权重和小权重的压缩力度相对均衡，不会针对性压制大权重。

L2正则化采用“平方级惩罚”：权重越大，惩罚项的增长速度呈指数级上升。例如，权重从1增至2时，惩罚项增量为$3\lambda$；从10增至11时，增量达$21\lambda$。因此L2会优先将大权重快速向0的方向压缩，同时对小权重的约束相对温和。

三、稀疏性产生能力的本质区别
L1正则化的核心优势是**能产生稀疏解**：训练完成后部分权重参数会直接变为0。这是因为L1损失函数在权重为0处不可导，模型优化至最优解时，损失函数的次梯度与正则化项的次梯度易在坐标轴上相交（即某一权重为0的位置），从而自动完成特征选择——权重为0的特征对预测无贡献，可直接剔除。

L2正则化仅能让权重**趋近于0但不会完全为0**：其损失函数处处连续可导，最优解通常出现在损失函数与正则化约束的内部交点而非坐标轴上，意味着L2会保留所有输入特征，仅通过缩小权重大小降低模型复杂度。

四、优化难度与算法适配
L1正则化的损失函数在权重为0处存在“尖点”，不满足处处可导条件，传统梯度下降算法无法直接应用。需采用次梯度下降、坐标下降、近端梯度下降等专门优化算法，或使用Lasso回归这类原生支持L1的模型框架。

L2正则化的损失函数处处连续可导，梯度计算简单直接（对权重$w_i$的梯度为$\lambda w_i$），可无缝适配梯度下降、牛顿法等主流优化算法，实现成本低、收敛稳定性高，这也是Ridge回归广泛应用的关键原因。

五、几何视角的直观解释
从几何角度看，模型最优解是“损失函数等高线”与“正则化约束区域”的交点：
– L1的约束区域是菱形（高维下为超菱形），损失函数等高线与菱形的交点更大概率落在顶点上——顶点对应坐标恰好是某一权重为0的情况，直观解释了L1的稀疏性；
– L2的约束区域是圆形（高维下为超球体），损失函数等高线与圆形的交点通常落在圆周任意位置而非坐标轴上，因此权重参数不会严格为0。

六、适用场景对比
1. **L1正则化适用场景**：
– 特征数量远大于样本数量的高维任务（如文本分类、基因数据建模），可通过稀疏性自动筛选关键特征，降低模型复杂度；
– 存在大量冗余特征的场景，剔除无用特征后能提升模型的可解释性与预测效率。

2. **L2正则化适用场景**：
– 大部分输入特征均对预测有贡献的任务，需保留所有特征信息，仅通过压缩权重避免过拟合；
– 训练数据噪声较多的场景，L2的平方惩罚对异常值鲁棒性更强，可避免模型被噪声干扰；
– 对模型稳定性要求较高的场景，L2的优化过程更平滑，泛化性能更稳定。

七、总结与延伸
L1与L2正则化的核心差异可概括为：L1重“特征选择”，通过稀疏解剔除冗余特征；L2重“权重压缩”，通过限制权重大小实现模型轻量化。若无法确定最优策略，可选择Elastic Net模型——它融合了两者特性，既保留L1的特征选择能力，又具备L2的优化稳定性，能解决L1在特征高度相关时的选择偏差问题。

通过深入理解两者差异，开发者可根据任务的特征规模、数据质量及需求目标，精准选择正则化策略，构建兼具准确性与泛化能力的机器学习模型。

本文由AI大模型（Doubao-Seed-1.8）结合行业知识与创新视角深度思考后创作。