斯坦福团队揭秘LLM 智能体行为策略三要素：简化提示、引导懊悔、抑制干扰 精华

大模型（LLM）正逐渐从语言理解的工具转变为自主决策的智能体，一个根本性问题被推向前台：它们真的能够在多智能体环境中表现出理性的、趋于均衡的行为吗？

语言模型的“博弈挑战”，从理解文本到理解对手

LLM如今不仅被用于对话生成或文本创作，还被寄予厚望以模拟人类的经济行为、参与博弈决策甚至社会互动。其背后的直觉很简单：人类的行为高度语言化，那为何不能用掌握了海量文本知识的模型来“模拟”人类选择？

但语言模型并非天生具有“记忆”。它们依赖的是前置输入的信息，也就是所谓的prompt。不同于强化学习智能体可以在内部维护一个状态空间，LLM的“状态”，只能由我们以自然语言的方式人为构造出来。换句话说，LLM 只能“被告知”过去发生了什么，它无法自己记住。

这就引发了一个关键问题：我们该如何组织历史信息，才能让LLM像一个真正理性的博弈者那样做出判断？

动态路由博弈，一个理性与非理性的分水岭

作为研究舞台，斯坦福大学的一个研究团队选用了一个经典但颇具讽刺意味的博弈结构：动态自私路由博弈（Dynamic Selfish Routing Game）。它不仅简单可控，还具有理论上已知的均衡解，尤其是在存在布雷斯悖论的场景中，明明多提供了一条看似更优的路径，却可能导致所有玩家收益降低——这正是测试“表面理性”与“真实理性”的绝佳实验田。

在这样的环境下，研究团队将LLM投入其中，不断重复博弈，并尝试回答一个核心问题：

哪种历史提示方式，能让LLM以最稳定、最接近纳什均衡的方式行动？

斯坦福大学研究团队提出了一个统一框架，将所有自然语言状态提示的构造方法划分为三个基本维度。

1.给LLM提供多少自己的行为与他人的行为信息？

2.告诉它的是过去的收益还是懊悔值（即“你本可以更好地选择”）？

3.用的是完整的“聊天记录”还是压缩过的摘要？

他们将这些因素组合成八种状态表示方式，在40轮重复博弈中，测试LLM的表现，并与人类、经典博弈学习算法（如MWU与EXP3）进行对比。

通过系统分析不同状态表示在博弈表现上的影响，研究团队不仅揭示了LLM行为生成背后的语言结构机制，也提供了一套可推广的实验范式。

斯坦福大学这支跨学科团队核心成员包括Lyle Goodyear、Rachel Guo、Ramesh Johari，这支团队结合了理论建模、实验设计与语言模型实践的多元背景，尤其在平台机制设计与 LLM 博弈行为建模方面具备强大互补性。

1.统一的自然语言状态表征框架

在理解大型语言模型（LLM）如何在博弈环境中做出理性决策的道路上，一个看似技术性的设计抉择正在发挥深远影响——我们究竟该如何“告诉”模型过去发生了什么？这是斯坦福研究团队提出并尝试回答的核心问题之一。他们构建了一个颇具开创性的自然语言状态表征框架，为我们打开了LLM博弈行为建模的新维度。

图1：在完整聊天（图1a）和总结（图1b）表示中给代理的提示的比较。

从“无状态”出发，为什么提示方式如此关键？

与强化学习算法不同，LLM 并没有内部状态存储机制。它们每一轮的决策，依赖于当前输入的提示（prompt）内容。换句话说，它们不知道上一次自己做了什么，除非你用自然语言再次告诉它。

这也就意味着，提示不是一个简单的上下文拼接问题，而是一门有关“信息编码策略”的艺术。不同的提示形式不仅影响模型对博弈历史的解读，还会显著左右其行为表现：是稳定走向理性均衡，还是在策略中反复试探、持续震荡。

于是，研究团队提出了一个三维的自然语言状态表示框架，系统刻画了构建LLM提示的三个核心维度。它既是工具箱，也是实验设计的指南针。

维度一：行动信息量（Action Informativeness）

在这个维度中，研究者关心的是——你告诉LLM了谁的行为？是它自己的，还是包括其他智能体的？

只提供自身行为信息：能够让模型聚焦自身行为与反馈，避免信息冗余，同时减少策略震荡。

也提供其他玩家的行为：理论上给予更多博弈背景，有助于模型做出更全面的判断，但代价是上下文变得更复杂，可能引入误导或过拟合历史。

实际实验中，作者发现“知人太多”的代理人反而容易出现非理性波动，甚至盲目“跟风”而偏离均衡。相反，仅让模型审视自己的行为，更有利于保持稳定和自洽的策略路径。

维度二：奖励反馈形式（Reward Informativeness）

这是策略调整的方向盘。你究竟告诉模型它“赚了多少钱”，还是“错过了多少”？

得分反馈（Payoff）：告诉模型每轮获得的收益。直观，但不一定足够激发策略调整。

懊悔反馈（Regret）：告诉模型“如果选择最优路径，你本可以获得更好的结果”。这是一种反事实推理线索，更贴近无懊悔学习算法的精神。

实验显示，在存在明确策略梯度（如支配策略）的博弈中，懊悔信息能显著提升代理人识别最佳行为的能力，促成更快的策略收敛。而单纯的得分，往往引发不确定的反应——模型可能把低得分归因于运气、拥堵或他人行为，从而无法形成稳定判断。

维度三：提示风格（Prompting Style）

这是提示结构上的核心差异——你是给模型完整的“历史回放”，还是一个精炼的“摘要笔记”？

完整对话式（Full-chat）：包括每一轮的原始交互记录，从系统提示到代理回应，全都串在一起。

摘要式提示（Summarized）：将历史信息压缩为结构化摘要（如表格），筛选关键信息并统一呈现。

尽管理论上完整信息应更全面，但研究发现，摘要提示才是促进收敛的关键。原因有三：

• 摘要更易于模型处理，减少上下文窗口压力；
• 摘要提升了上下文的结构化程度，更利于策略泛化；
• 摘要抑制了模型对“最新一轮”的过度关注，缓解了近视化决策的倾向。

在实验中，使用摘要提示的智能体普遍表现出更低的懊悔值、更少的切换次数、以及更接近理论均衡的行为轨迹。

图2：a.测试的状态表示摘要。b.信息轴的视觉比较。

为什么这个框架意义重大？

这个三维状态表征框架的最大贡献在于，它为博弈场景中的LLM设计提供了一套可实验、可调控、可解释的结构化指南。研究者不再需要靠直觉去“凑”提示，而是可以系统评估不同提示方式对模型行为的影响。

更重要的是，这一框架并不限于路由博弈。任何需要LLM做出战略性决策的环境（如多轮谈判、拍卖、合作规划等），都可以借助这一工具进行提示设计与行为调控。

2.实验方法与博弈环境设计

在斯坦福团队的这场实验中，语言模型不再是纸上谈兵的“文字工匠”，而是被投入到一场真实动态、多代理的“交通博弈”中，扮演拥有目标与偏好的行为体。这是一场关于路径选择、学习反馈与行为收敛性的考验——而背后的舞台设计，也别具巧思。

自私路由博弈，理性选择与布雷斯悖论的实验剧场

研究团队聚焦于一种经典的路由博弈框架，其中多个智能体必须在一个交通网络中选择从起点 O 到终点 D 的路径。两个实验环境分别被称为 Game A 和 Game B。

Game A是双路径结构：代理可以选择上路（O-L-D）或下路（O-R-D），每条路径的成本取决于选择该路径的总人数。两条路在结构上对称，理论分析显示其纯策略纳什均衡是 9:9 均分，这种结构极利于观测模型行为是否趋向均衡。

相比之下，Game B则加入了一条“桥接路径”（O-L-R-D）。按理说，这给了代理更多选择，但这恰好是布雷斯悖论的精髓所在：添加一条看似“更好”的路径，反而导致整体成本增加。Game B 的纯策略纳什均衡是所有人都走桥（18:0:0），个人成本却比 Game A 更高。这种“看似多，实则差”的选择困境，为测试LLM是否能识别并坚持弱支配策略提供了绝佳环境。

更妙的是，这两个博弈不仅在静态结构上有明晰均衡，它们的重复博弈版本也存在完美子博弈纳什均衡（SPNE）。这为模型行为的定量分析提供了清晰的理论标尺。

模型、设置与提示工程

实验共设定了 18 个 LLM 智能体，每位智能体被视为一个独立的决策体，参与 Game A 和 Game B 的40 轮博弈。架构上，研究者使用了 OpenAI 的GPT-4o 模型，借助 LangChain 平台构建代理执行逻辑。温度参数设定为 1，以鼓励策略多样性，从而更加贴近人类被试的分布特性。

更具创新性的是状态表征策略的系统化设定。研究团队围绕“行动信息量、奖励反馈类型与提示风格”三大轴心，组合出八种状态表示方式。命名方式也十分直观：

• 动作信息：O（仅自身行为）、E（包含他人行为）
• 奖励信息：P（Payoff 得分）、R（Regret 懊悔）
• 提示风格：F（Full-chat 完整提示）、S（Summarized 摘要提示）

因此，像 S-RO 就表示：“摘要提示 + 懊悔反馈 + 自身行为”。

为了确保提示真实可控，研究者设计了两套提示模板——详见论文图1与图4–5。在 full-chat 模式中，每轮博弈的系统说明、行为记录与模型回应都会一轮轮叠加，模拟出一种对话历史积累的结构。而在 summarized 模式中，模型仅收到高度精炼的轮次摘要表，例如：

这种压缩式记录更像是战况总结，有助于模型跳出“上一轮”框架，更专注于整体趋势。

图4-图 5

博弈运行机制：每一轮都记录行为、反馈与偏离

实验每轮博弈按以下流程自动运行：

• 生成提示内容：根据智能体状态表示策略动态构建输入提示；
• 执行模型调用：模型收到提示后输出下一轮选择（例如 O-R-D），格式为结构化 JSON；
• 计算结果反馈：

     根据所有代理选择更新网络负载；

     计算每位代理的得分与懊悔值；

     更新总轮次记录。

在此过程中，系统不仅记录每轮的集体分布，还为后续回合生成所需的上下文提示。特别地，对于使用懊悔反馈的策略，模型还需知道“如果我选了别的路，能不能更好”——这一反事实推理极具挑战性，但也正是 LLM 所擅长的语言生成能力能够大显身手之处。

3.评估指标与数据分析方法

在一次关于博弈智能与自然语言提示策略的系统性实验中，研究团队并没有满足于“谁选了什么路”这样表层的数据，而是以极为细致的指标体系与可视化手段，揭示了 LLM 在动态环境中的学习、调整与趋近均衡的轨迹。

如何判断LLM博弈行为是否“理性”？四项核心指标揭示答案

要识别一个智能体是否在动态博弈中做出合理选择，仅凭最终结果远远不够。研究团队基于路由博弈的结构与理论预期，设计了四项紧密配合的核心评估指标。

图3：游戏中使用的网络比较𝐴和游戏𝐵,哪里𝑥表示给定边上的代理数量。

平均选择人数 在 Game A 中，最优策略应是每条路径各有 9 位代理（18人总共），实现平衡分流；而 Game B 的支配性策略则是所有人选择桥接路径（O–L–R–D）。因此，该指标衡量的是模型是否集体逼近理论预测。偏差越小，说明模型越“懂博弈”。

平均收益与平均懊悔值 前者反映智能体通过当前策略获得的绝对回报，后者则衡量它“本可以更好”的程度。懊悔值越低，意味着模型越能稳健地识别最优选择。这组指标一硬一软，前者讲结果，后者讲过程，搭配使用更全面。

策略切换频率 这是模型“行为稳定性”的晴雨表。若一个代理人频繁改换路径，可能是对历史反馈理解混乱，或提示设计引导过于模糊。低切换频率常与更强的策略一致性、更快的均衡收敛性挂钩。

静态汇总之外，动态趋势才是博弈智能的真实写照

为了还原模型在博弈过程中的演进轨迹，研究者构建了逐轮统计的可视化路径。每一轮的平均表现都被记录，构成40个时间节点的数据曲线。这种做法不仅揭示了最终效果，更回答了一个关键问题：模型是怎么一步步走向、或走离均衡的？

但为了真正量化这种“越来越接近”的趋势，研究团队引入了一个经典的秩相关系数：Kendall’s τ。

它的作用在于衡量“博弈轮数”与“均衡偏离度”之间的单调关系。如果 τ 为负值，说明随着时间推移，偏离度稳定减少，即表现出稳步收敛；如果为正值，代表情况相反，模型越玩越偏。如果为零，则说明整体上没有趋势，行为波动性较大。

在 Game A 中，均衡偏离度被定义为两条路径与理想 9:9 分配的距离之和；在 Game B 中，则是三条路径与 0:0:18 理想分布的距离总和。这种设计非常符合博弈结构的逻辑，使得 τ 不再只是统计学玩具，而成为战略判断的尺子。

可视化是逻辑的放大器，揭示提示风格与行为的深度联系

为了展现八种提示状态组合在四项指标上的差异，研究团队提供了两套图像系统：

聚合统计可视图（图6–图9） 每张图呈现不同状态组合下的平均表现，采用 2×2 子图矩阵结构（按提示风格、奖励反馈、行动信息拆分）。颜色深浅代表离均衡距离，轻色为表现佳。例如，图6b 中浅色块集中在“摘要 + 懊悔 + 仅自信息”区域，直观展现了S-RO 的优势地位。

时间序列轨迹图（图10–图13） 这是代理行为演化的“心电图”。无论是选择人数的演进、懊悔值的下降还是切换频率的收敛，图形都揭示出一个规律：摘要提示显著优于完整提示，而懊悔反馈进一步强化策略稳定性。

值得注意的是，这种分析不仅支持了三维表征框架的理论意义，还从实证层面赋予了其可操作性——不同提示策略对模型行为的影响，并非玄学，而是肉眼可见的博弈路径。

4.实验结果解读

研究者并不满足于看“模型选了什么路”，而是细致入微地量化了每一种提示设计如何影响策略选择、决策收敛与行为稳定。这些数据让人得以一窥语言模型作为理性博弈代理的潜力与脆弱。

谁说一句话无足轻重？提示风格塑造行为轨迹

无论是在 Game A（双路径）还是 Game B（三路径），一个结论反复印证：摘要提示比完整对话提示更能促成理性均衡的行为。实验数据显示，采用摘要方式的LLM代理更接近均衡选择，在得分、懊悔值和切换稳定性上也表现更优。原因或许在于：压缩提示避免了模型陷入“上一轮记忆”的过度解读，从而鼓励了全局思考与战略稳定。

尤其在 Game B 中，桥接路径作为弱支配策略并非收益最高，若只盯着“得了多少分”，模型可能误判形势。而“你原本能得更多”的懊悔信息，反而是点醒代理人的那句关键台词。懊悔式反馈让模型对最优选择有了更明确的判断坐标系。

哪种提示组合最有效？S-RO成为“理性教科书”

在所有八种状态表示中，S-RO（Summarized + Regret + Own actions only）毫无悬念地成为表现最佳者。

在 Game B 中，S-RO 模型几乎每一轮都集中选择桥接路径，逼近理论预期的18人一致；懊悔值迅速趋于零，行为稳定性极高，策略切换次数远低于其它组合；即便在结构对称的 Game A 中，S-RO 也展现出高度一致性和快速稳定的均衡行为。

相比之下，F-RO（Full-chat + Regret + Own actions）虽然也用上了懊悔信息，却因冗长的提示上下文而陷入“短视陷阱”——模型更易受到上一轮反馈干扰，无法聚焦长期稳定策略。这一点在样本轨迹图中表现尤为突出。

在一些得分提示的组合中（如S-PO），代理人频繁切换路径，陷入“收益追逐”而非战略收敛。这再次强调：不是信息越多越好，也不是数据越真实越理性，关键在于怎样组织提示中的“关键信号”。

τ 系数出真章：理性是可以量化的

为了追踪博弈过程中的收敛趋势，研究者引入 Kendall’s τ 来衡量“回合数”与“均衡偏离度”之间的单调关系。

图14：肯德尔的𝜏博弈A和博弈B中的轮数与均衡偏差得分之间的关系。

结果一目了然：摘要提示+懊悔反馈的组合展现出最强的负相关性，即偏离度随时间持续下降，策略趋向均衡；而完整提示或得分反馈组合则表现出波动性大、趋向模糊的特征。

在 Game A 中，S-系列组合普遍τ<0，体现出稳定收敛；而 Game B 中，F-系列仅 F-RO 勉强展示出部分收敛性，其他多数表现近似于无序随机策略。这说明，高效的提示不仅提高单轮表现，更塑造了行为的演化方向。

和老牌学习算法比一比，谁更懂“后悔”？

为了进一步验证S-RO的卓越性，研究者将其与经典在线学习算法 MWU（全反馈）与 EXP3（赌博式反馈）进行对比。

图15：在Game A和B中，比较S-RO下LLM代理与学习算法EXP3和MWU在四个聚合指标上的性能。

结果令人振奋。

在 Game B 中，S-RO 在平均收益、懊悔值、策略集中度与稳定性等四项指标上全面超越 MWU 与 EXP3；

即使在 Game A 中，S-RO 与这两种算法的平均表现相当，但切换次数显著更低，策略稳定性更强。

这意味着，当提示设计得当时，LLM 不仅能媲美传统学习算法，甚至能在稳定性与策略一致性方面领先一步。

更值得注意的是，这一优势是在不调整模型参数、不用额外训练的前提下，仅靠语言提示实现的。这一结果对LLM作为“类学习体”的潜能释放，具有重要启示意义。

5.讨论与未来展望

理性行为的三大催化剂：简洁、反思、自省

透过大量实验数据与可视化分析，三种状态表征设计因素对 LLM 智能体行为的正向引导作用脱颖而出。

首先是摘要提示的优越性。相比冗长的完整聊天记录，精炼的历史信息摘要不仅减轻了上下文负担，更提高了模型对长期策略结构的掌握能力。它避免了语言模型陷入“上一轮过度记忆”的陷阱，有助于策略的一致性和全局性判断。

其次是懊悔反馈机制的提振效应。与简单告知“得了多少分”相比，提醒模型“本可以得多少分”更能激发策略自省，显著降低行为噪声。在支配策略明确的 Game B 中，这一点尤其明显：懊悔引导使模型更坚定地走向最优路径，迅速收敛于纳什均衡。

最后，仅提供自身行为信息的提示方案展现出更高的策略稳定性。这不仅减少了模型被同伴行为干扰所引发的“盲目跟风”，也限制了不必要的上下文膨胀，使得推理过程更加聚焦和紧凑。

从 LLM 的链式思考（chain-of-thought）生成观察来看，研究者指出，模型在处理完整提示时更易产生错误推理或陷入局部模式；而在高度结构化的摘要+懊悔设计中，模型思维路径更清晰，理由更接近博弈理论中的“最优回应”逻辑。

从交通博弈到决策经济学，一个可迁移的设计蓝图

这一套自然语言状态表征框架的意义，绝不止步于实验场景本身。它为我们提供了构建“理性 LLM 代理”的语言操作指南，具备高度可迁移性。

在多轮谈判、在线广告竞价、零售补货、供应链管理等涉及策略互动的真实系统中，这种状态提示逻辑完全可以移植应用。而在社会模拟、政经预测乃至多智能体协同决策等领域，合理的提示压缩、对懊悔结构的建模与对行为历史的提纯也同样关键。

更值得期待的是，这一框架为交叉学科带来新桥梁：博弈论、心理学、AI语言建模、社会模拟、系统工程之间的边界正在变得模糊。这正是推动下一代语言智能向“认知代理”演化所需的基础设施之一。

语言提示时代的探索议题

当然，这只是序章。未来的研究路径仍有诸多值得深挖的方向。

一方面，团队主要聚焦于动态自私路由博弈这一结构良好的场景。将该框架应用于如公共品博弈、合作博弈、背叛—信任游戏等更复杂、更具社会性张力的环境，将更加检验其普适性与可塑性。

另一方面，值得关注的是 LLM 版本间的策略差异。例如在当前 GPT-4o 的架构下收敛速度优异，但是否在更高参数或嵌入显式推理链条的模型（如OpenAI的 o系列、DeepSeek R1）中呈现更强策略理解？是否能通过语言提示触发更多多阶段学习？这仍是悬而未决的待验证命题。

此外，未来还可探索提示历史的深度裁剪策略，例如滑动窗口、记忆提炼、懊悔轨迹聚合等压缩方式，这些可能成为“策略回顾”的语言工程关键；而模型内部生成过程的行为解释与元认知追踪，也亟需更精细的可视化与分析手段。

正如研究者最后所强调的那样，当我们把提示语言当作策略控制变量时，就开启了一个以“语言设计”塑造“博弈智能”的新纪元。从技术到理论，从博弈环境到语言上下文，斯坦福团队这项工作不仅在AI实验范式上划下浓墨重彩的一笔，也为我们重新思考“何为理性”提供了语言智能时代的答案雏形。真正的LLM智能体，也许不是在学习“博弈本身”，而是在学会“如何理解你告诉它的博弈”。这是新的边界。（END）

参考资料：​​​https://arxiv.org/pdf/2506.15624​​

本文转载自​​​​​​独角噬元兽​​​​​​，作者：FlerkenS