自然语言处理（NLP）是实现人机语言交互的核心技术，其发展历程中诞生的一系列经典算法，如同基石般支撑着从文本分类到智能对话的各类应用。这些算法从早期的统计建模，逐步演进到深度学习驱动的分布式表示，勾勒出NLP技术从“规则化”到“智能化”的发展脉络。
### 一、传统统计自然语言处理算法：从词频到序列建模
在深度学习兴起之前，统计方法是NLP的主流，核心是通过对语料的统计规律建模，实现语言的自动处理。
#### 1. TF-IDF：词的重要性度量标尺
TF-IDF（词频-逆文档频率）是最基础的文本特征提取算法，核心思想是：一个词在文档中出现越频繁，且在整个语料库中出现越少，就越能代表该文档的主题。其中，词频（TF）衡量词在单篇文档中的出现频率，逆文档频率（IDF）衡量词在整个语料库中的稀缺性。TF-IDF的计算逻辑简单高效，至今仍广泛应用于文本检索、关键词提取、文本聚类等任务，是许多NLP系统的“入门级”特征方案。
#### 2. 隐马尔可夫模型（HMM）：序列生成的经典框架
HMM是一种生成式概率模型，基于“马尔可夫假设”——当前状态仅依赖于前一个状态，且状态是不可观测的（隐状态），我们能观测到的是与隐状态对应的输出序列。在NLP中，HMM常被用于序列标注任务：比如词性标注中，隐状态是“名词”“动词”等词性，观测序列是文本中的词；语音识别中，隐状态是语音的音素，观测序列是音频信号。尽管HMM的独立性假设略显局限，但它开启了NLP序列建模的先河，是后续复杂模型的重要参照。
#### 3. 条件随机场（CRF）：全局最优的序列判别模型
为解决HMM对全局上下文信息利用不足的问题，条件随机场（CRF）作为判别式模型应运而生。CRF放弃了HMM的生成式假设，直接对条件概率P(隐状态序列|观测序列)建模，能够全局考虑所有观测特征和上下文依赖关系。在命名实体识别、词性标注等序列标注任务中，CRF可以避免HMM可能出现的局部最优问题，更精准地捕捉序列中的长距离依赖，曾是该类任务的“黄金标准”。
### 二、机器学习驱动的NLP算法：从特征工程到分类决策
随着机器学习技术的成熟，NLP开始引入分类、回归等模型，将文本处理转化为机器学习任务，进一步提升了任务的泛化能力。
#### 1. 朴素贝叶斯：简单高效的文本分类器
朴素贝叶斯基于贝叶斯定理和“特征独立假设”，在文本分类任务中表现出色。它将文本视为“词袋”，通过计算不同类别下词的条件概率，快速判断文本所属类别。由于算法复杂度低、训练速度快，朴素贝叶斯至今仍是垃圾邮件识别、情感分析等轻量级任务的首选模型，其“简单却有效”的特性，让它在海量文本处理中占据一席之地。
#### 2. 支持向量机（SVM）：高维文本特征的最优分隔
SVM的核心是寻找能最大化类别间隔的最优超平面，在处理高维、稀疏的文本特征（如词袋模型特征）时表现卓越。通过核函数，SVM可以将线性不可分的文本特征映射到高维空间，实现非线性分类。在文本分类、情感分析等任务中，SVM曾因优于传统统计模型的精度，成为很长一段时间内的主流算法之一。
### 三、深度学习时代的NLP算法：从分布式表示到注意力机制
深度学习的出现彻底重塑了NLP的格局，核心是将语言转化为可计算的分布式表示，并通过端到端模型处理复杂任务。
#### 1. Word2Vec：词的分布式表示革命
在Word2Vec之前，词的表示多为独热编码，无法捕捉词的语义相似性。Word2Vec通过两种轻量级模型（CBOW：用上下文预测中心词；Skip-gram：用中心词预测上下文），将词映射到低维稠密的向量空间，使得语义相似的词在向量空间中距离相近（如“king – man + woman ≈ queen”）。这一突破让词具有了“语义理解”能力，是后续预训练语言模型的重要基础。
#### 2. LSTM/GRU：解决长依赖的序列模型
循环神经网络（RNN）天生适合处理文本这类序列数据，但存在梯度消失/爆炸问题，难以捕捉长距离依赖。长短期记忆网络（LSTM）通过输入门、遗忘门、输出门的门控机制，选择性地保留或遗忘序列中的信息，有效解决了长依赖问题；门控循环单元（GRU）则简化了LSTM的结构，在保持性能的同时提升了效率。LSTM/GRU曾是机器翻译、文本生成、对话系统等任务的核心模型，为序列数据的深度建模提供了可行方案。
#### 3. Transformer：注意力机制驱动的范式革新
2017年，Transformer架构的出现开启了NLP的新时代。它完全摒弃了RNN的循环结构，通过自注意力机制（Self-Attention）并行处理序列中的所有词，精准捕捉任意两个词之间的语义关联，无论它们在序列中的距离远近。Transformer的编码器-解码器架构，不仅在机器翻译任务中实现了精度和效率的双重突破，更成为BERT、GPT等预训练语言模型的核心骨架，为今天的大语言模型奠定了技术基础。
### 结语：经典算法是NLP创新的根基
从统计建模到深度学习，NLP的经典算法见证了技术从“模仿语言”到“理解语言”的跨越。TF-IDF的特征思想、HMM的序列建模、Transformer的注意力机制，每一个算法都解决了特定阶段的核心问题，构成了NLP技术的知识图谱。即使在大语言模型盛行的今天，这些经典算法依然是理解语言处理本质、推动技术迭代的关键——正是这些基石的积累，才让人机自由对话的愿景逐渐成为现实。
本文由AI大模型（Doubao-Seed-1.8）结合行业知识与创新视角深度思考后创作。