自然语言理解中的词向量发展历史

发布于 2025-5-28 06:56

浏览

0收藏

词向量技术作为自然语言处理（NLP）的核心基础，其发展历程深刻反映了人工智能领域对语言本质认知的演进。从早期基于统计的符号化表示，到深度学习驱动的分布式语义建模，再到预训练语言模型时代的动态上下文感知，词向量的技术革新始终围绕着"如何让计算机理解人类语言"这一核心命题展开。

一、理论奠基与早期实践（1950-2000）

1. 分布式语义假设的提出

1954年，英国哲学家John Firth提出"词的语义由其上下文决定"的分布式假设，这一思想成为词向量技术的理论基石。早期研究者通过构建共现矩阵（Co-occurrence Matrix）量化词间关系，矩阵元素记录词汇在固定窗口内的共现次数。例如，在语料库"I love deep learning. Deep learning is amazing."中，"deep"与"learning"的共现次数会被统计为2。

2. 统计方法的突破

潜在语义分析（LSA，1990）：通过奇异值分解（SVD）对共现矩阵降维，在低维空间捕捉词间潜在语义关系。其局限性在于无法处理一词多义，且计算复杂度随语料规模指数增长。
主题模型（LDA，2003）：引入概率图模型，将文档表示为主题分布，词表示为概率分布。这种方法通过贝叶斯推断实现语义解耦，但主题数量需预先指定，且难以处理短文本。

3. 神经网络的早期探索

2003年，Yoshua Bengio提出神经网络语言模型（NNLM），首次将词向量作为模型参数联合训练。该模型通过投影层将离散词符号映射为连续向量，但受限于计算资源，仅在小规模语料上验证可行性。

二、深度学习驱动的革命（2003-2013）

1. Word2Vec的技术突破

2013年，Google发布的Word2Vec工具标志着词向量技术的成熟。该框架包含两种核心模型：

CBOW（Continuous Bag-of-Words）：通过上下文词预测目标词，适合大规模语料。例如，给定"the cat sits on __"，模型需预测"mat"。
Skip-Gram：反向操作，用目标词预测上下文，在稀有词表示上表现更优。如输入"mat"，需预测"the cat sits on"。

技术创新点包括：

层次Softmax：通过霍夫曼树将词汇编码为路径，将计算复杂度从O(V)降至O(logV)。
负采样（Negative Sampling）：随机采样负例优化目标函数，显著提升训练效率。

2. GloVe的全局语义捕捉

2014年，斯坦福团队提出GloVe模型，结合全局词频统计与局部上下文。相比Word2Vec，GloVe在词类比任务（如"king-man+woman=queen"）上表现提升15%。

三、预训练时代的范式升级（2018-2023）

1. 动态上下文感知

ELMo（2018）：采用双向LSTM架构，为每个词生成上下文相关表示。在SQuAD阅读理解任务中，ELMo将F1值从70.2提升至75.8。
BERT（2019）：基于Transformer编码器，通过掩码语言模型（MLM）和下一句预测（NSP）任务预训练。其340M参数模型在GLUE基准测试中平均得分80.5，较传统词向量提升25%。

2. 模型架构创新

Transformer-XL（2019）：引入片段递归机制和相对位置编码，解决长文本依赖问题。在WikiText-103数据集上，困惑度（perplexity）从21.8降至18.3。
XLNet（2019）：通过排列语言建模（PLM）融合自回归和自编码优势，在20项NLP任务中18项超越BERT。