Transformer中的位置编码技术：从理论到实践的深度解析！

位置编码（Postitional Encoding）是Transformer架构中的关键技术之一。不同于卷积神经网络利用局部感受野、共享权重和池化操作等机制，可以自然地感受输入数据的空间位置信息，也不同于循环神经网络凭借循环结构和隐藏状态的记忆与更新机制，能够隐式地捕捉输入序列中的时间顺序信息，Tranformer架构并未显式地建模输入序列中的绝对或相对位置信息，故需通过位置编码技术显式地注入位置信息，以使模型能更好地理解序列中不同位置间的依赖关系。

1.位置编码技术的发展

位置编码技术的发展从Transformer模型最初使用的利用序列中元素的绝对位置的绝对位置编码（Absolute Positional Encoding）技术开始，到可以捕捉序列中元素之间的相对位置关系的相对位置编码（Relative Positional Encoding）技术，再到结合了前二者优点的旋转位置编码（Rotary Position Embedding, RoPE）技术的提出，在DeepSeek等大语言模型中得到了广泛且有效的使用。

本文主要针对Transformer模型最初提出的绝对位置编码技术进行深入探究，包括技术原理、优缺点及基于Pytorch的代码实现和效果可视化展示。（全文近1700字，感兴趣可点赞、推荐、转发、关注，将持续更新！！！）

2.Transformer中的绝对位置编码

3.绝对位置编码的优点与局限性

（1）优点：绝对位置编码在 Transformer 模型中具有简单易实现、显式顺序信息和计算效率高等优点，特别适用于短文本处理任务。

（2）局限性：绝对位置编码是基于固定长度的序列设计的，无法适应模型推理阶段序列长度变化的情况，这种缺乏外推性的问题限制了模型在处理不同长度序列时的灵活性。同时，无法捕捉序列中元素之间的相对位置关系，使模型对长距离依赖的捕捉能力有限。

4.绝对位置​编码的实现

（3）可视化位置编码效果：由下图可见，每一行代表输入序列中一个token的位置信息编码，具有明显不同且连续的模式，能够帮助Transformer区分输入序列中不同位置的元素。

本文转载自​​南夏的算法驿站​​，作者：赵南夏