DeepSeek-V3.2-Exp 论文快速解读

架构变化

V3.2-Exp 在 V3.1-Terminus 的基础上，模型架构引入稀疏注意力DSA，核心由两部分组成：

Lightning Indexer：轻量化索引器计算 query 与历史 token 的相似度分数，选出前 k 个最相关的 token。

Top-k Token Selection：基于索引分数只保留少量关键 Key-Value 对，再进行注意力计算。

训练方法

持续预训练，冻结主模型，仅训练索引器，使其分布对齐原始注意力分布。启用稀疏选择机制，优化主模型 + 索引器。

后训练专家蒸馏，先针对数学、编程、逻辑推理、智能体编码与搜索等任务训练专门模型，再将其蒸馏回通用模型。

混合强化学习，采用 GRPO 算法，将推理、智能体行为与对齐训练合并为单阶段，避免多阶段训练中的“灾难性遗忘”。

类似笔者在​​DeepSeek-R1 登 Nature，再看 GRPO，附改进建议​​文中的建议吗？

实验效果

与 V3.1-Terminus 对比，V3.2-Exp 在多数任务上性能差距不大。

但DSA 带来巨大效率优势：主模型注意力复杂度从O(L²)降为O(L·k)，其中 k ≪ L。

索引器虽然仍为 O(L²)，但由于头数少、支持 FP8，计算量远小于原 MLA。

深层机制

表面上 V3.2-Exp 的创新点是 DSA，让大模型处理长文本更快更省，

但从​​大模型的数理认知框架​​的角度，可以看到更深层的机制：

稀疏注意 = 主动投影

传统注意力是对全体 token 做全局配对，复杂度 O(L²)，对应的是高维全连接计算。

稀疏注意力通过 Lightning Indexer 选择前 k 个最相关 token，等于在高维空间中做了一次 投影 + 筛选：

把原本密集的“信息几何”关系，投影到一个“低秩近似”的子空间里。

这类似于物理系统里，把所有相互作用简化为少数“主导相互作用”，降低了系统的熵耗。

减少冗余，保留主要信号

在长文本中，信息冗余度高。DSA 的 Top-k 选择机制，相当于一次 压缩感知：

不需要完整采样所有数据点，只要选出信息贡献最大的部分，就能重建主要结构。

这基于一个假设：信息并不是均匀分布的，而是集中在流形上的少数维度，DSA 是主动做 信息维度缩减。

索引器，动态自适应的能量函数

Lightning Indexer 通过轻量的计算来决定哪些 token 被激活，本质上是为每个 query 构建一个动态能量地形。

统计物理角度看相当于：原全局相互作用，替换为稀疏相互作用；系统能量函数由密集矩阵转为动态稀疏矩阵。

潜在问题

DSA 带来了效率与成本优势，但同时可能带来一些潜在问题与风险：

信息丢失

Top-k 机制让模型只看少数 token，如果筛选标准不够稳健，可能会漏掉关键的远距信息。

等同于人类只关注“显眼的信号”，而忽略“隐含的线索”，在复杂逻辑推理、长链条因果中，可能导致推理链断裂。

相空间收缩过度

DSA 相当于把推理限制在某个子流形，如果选取过度保守，可能让模型掉进“局部相空间”，导致视野狭窄，无法跨范畴推理。

像是大脑只在某个习惯性范畴内循环，而难以跨域联想，可能削弱模型的创造性和泛化能力。

索引器偏差累积

Lightning Indexer 本身是轻量近似器，如果在某些语境下“选错token”，主模型后续计算都会建立在错误子集上。

就像大脑前额叶“注意力调度中心”判断失误，导致大脑聚焦在无关刺激上。表现为推理过程走偏、答案不稳定。

自由能最小化“过拟合”

稀疏注意力减少冗余，自由能下降，但过度压缩可能让模型错过复杂但必要的高能路径。

类似只走“最省力”的道路，放弃了探索潜在的复杂解释。模型可能趋向于“简短回答”，推理 token 数减少，牺牲深度。

笔者看来，某种意义上，DSA 是一种量化措施。

硬件实现隐患

稀疏机制对 内存管理、并行通信更敏感，稍有实现不当可能导致吞吐量抖动。

如果未来结合硬件加速，可能在不同 GPU 架构之间出现不一致，这是DeepSeek 同时开源 TileLang & CUDA 算子的原因吗？！

总体看，DeepSeek-V3.2-Exp 本质上是“效率 vs 性能”的权衡：

工程上，牺牲全局注意力，换取效率；认知上，把模型推向更“局部约束”的推理模式。

效率提升了，但可能在推理深度、跨范畴泛化和创造性上付出代价。

本文转载自​​清熙​​，作者：王庆法