读完这篇，你就能让AI大模型“听话”：揭秘确定性推理的终极奥义 精华

摘要：为什么你用同样的指令，大模型却给出不同回答？这不只是随机性采样的问题。本文将揭示看似“玄学”的非确定性背后，一个鲜为人知的技术真相，并提供实操方案，让你成为真正能驯服AI大模型的少数人。

为什么你问大模型同一个问题，它却给出不同答案？

最常见的解释是“采样”：大模型不是给出唯一的答案，而是给出一系列概率最高的“备选词”，然后随机抽取一个。就像掷骰子一样，即使某个面朝上的概率最高，每次结果也可能不同。

这很好理解。但更让人困惑的是，当你把参数Temperature（温度）调到0，也就是让AI每次都贪婪地选择概率最高的那个词，理论上应该每次都得到同样的结果，可现实并非如此。即使是同一个API、同一个模型，甚至在你自己的硬件上用开源推理库跑，结果依然难以复现。

这种“非确定性”的锅，通常被甩给了“并发+浮点数”的组合拳。这个假说认为：GPU在处理海量并行计算时，浮点数的加法顺序会因为不同的线程执行速度而改变，导致微小的舍入误差，并像多米诺骨牌一样，最终影响整个输出。

这个解释听起来很有道理，但它只揭示了表象，没有触及问题的核心。

因为，如果你在GPU上重复运行同一个矩阵乘法1000次，结果会精确地、位对位地完全一致。这说明，问题不在于浮点数本身，也不在于GPU的并发性，而在更深层次的机制上。

这就是今天我们要解开的谜题：大模型非确定性的真正元凶是什么？

大模型非确定性的真正元凶，是“批量大小”

我们先来做个思想实验。

一个推理服务，可以同时处理多个用户的请求。你的请求和别人的请求，被打包成一个“批次”（batch），送进GPU一起计算。

从服务的角度看，它处理的是一个固定的输入（包含你和别人的请求），因此每次运行的结果都是确定的。这也就是为什么在后台，推理引擎可以说自己是“确定性”的。

但是，从你作为单个用户的角度看，情况就完全不同了。

你永远不知道，在你发出请求的那一刻，服务器正在处理多少其他请求。这个**“负载”是不确定**的。而这个不确定的负载，决定了你请求被打包的 “批量大小”。

这就像你买电影票，你不知道有多少人同时在购票。你当然期望，不管和你一起买票的人有多少，你买到的都是同一张票。

然而，大模型推理的真相是：你的请求的输出，竟然会受到同一批次中其他请求数量的影响。

为什么会这样？

因为大模型推理中的核心运算，如矩阵乘法，虽然是 “运行-运行确定的”（run-to-run deterministic），但在不同批量大小下，它的运算顺序会改变。

这是一个反直觉的现象。你可能会觉得，对一个矩阵的每一行进行计算，不应该受到其他行的影响。但在现实中，为了优化性能，底层的GPU计算会根据批量大小来调整并行策略，从而导致浮点数的累加顺序发生改变，并最终产生微小的数值差异，这些差异层层累积，足以让最终的输出分道扬镳。

所以，大模型非确定性的核心不在于“并发+浮点数”，而在于一个更隐秘的敌人——“批量不变量”。或者说，是“批量大小”这个不确定的变量，与“非批量不变量” 的计算内核结合，制造了非确定性的假象。

如何驯服AI？三个步骤实现“确定性”

既然我们知道了问题的根源，解决方案也随之清晰起来：让推理服务的核心运算实现“批量不变量”。这听起来很技术，但你可以这样理解：不管你的请求和多少个其他请求一起处理，它的计算过程和结果都保持一致。

这需要对大模型推理中的几个核心操作进行特殊处理。

1. RMSNorm（根均方归一化）

这是一个常见的归一化操作，其核心是把一个向量的元素平方求和再开方。在并行处理时，一个简单策略是让每个核心处理一个独立的请求。如果请求数量足够多，这个策略很高效，而且由于每个请求的计算都是独立的，天然是批量不变量的。

但当请求量很少，不足以填满所有核心时，为了不浪费算力，系统会把一个请求的计算任务“劈开”，让多个核心并行处理，最后再汇总。这个“劈开再汇总”的过程，改变了计算顺序，也就破坏了批量不变量。

解决方案： 牺牲一点小批量下的性能，确保无论批量大小如何，每个请求的归一化计算都遵循完全相同的并行策略。

2. 矩阵乘法

矩阵乘法是Transformer模型的核心，它也面临类似问题。底层计算库会根据输入的矩阵大小动态选择最优的并行策略。当批量大小改变时，矩阵的维度随之改变，库会切换到不同的策略，导致计算顺序差异。

解决方案： 强制使用一个固定的计算策略，确保不管输入矩阵的批量维度如何，都使用同一套并行方案。这可能导致某些情况下性能并非最优，但能保证结果的确定性。

3. 注意力机制（Attention）

注意力是Transformer的灵魂，其计算复杂性更高。尤其在FlashAttention这类高性能实现中，为了提升速度，其反向传播（Backward）通常会采用一种需要原子加法（Atomic Add）的算法，而原子加法正是非确定性的主要来源。

解决方案： 避免在正向推理中使用任何依赖原子加法的操作，并确保其实现也是批量不变量的。这要求对底层算法有深刻理解和改造。

结论：成为掌握AI的少数人

总而言之，大模型的“非确定性”并非不可战胜的玄学。它源于一个核心技术问题：推理服务在处理不同批量大小时，其底层计算策略的动态切换，导致了微小的数值差异，并最终改变了输出。

要获得可复现的确定性输出，需要从根本上改造推理引擎，确保其所有核心运算都具备批量不变量的属性。当然，在某些情况下，为了性能，我们可能需要接受微小的非确定性。

对于普通用户来说，如果你需要稳定、可复现的AI输出，比如用于自动化报告、代码生成或关键决策辅助，你需要寻找那些明确承诺支持“确定性”的AI服务商。他们通常会在API中提供​​seed​​​（随机种子）或​​deterministic​​参数，为你提供一个可信赖的“确定性”保证。

理解了这一点，你将不再被大模型看似随意的回答所困扰，而是能更有效地利用它，让它真正为你所用。

原文链接：​​​https://thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference/​​

本文转载自​​草台AI​​，作者：RangerEX