
人工智能开始理解和预测人的意图
人工智能要真正走进人类社会,光会下棋、写诗、画画、制作视频还远远不够。真正的挑战在于它能否理解我们在想什么、为什么这么做,并在关键时刻做出合理的预测。换句话说,AI 不仅要“聪明”,还要“懂人”。这就是所谓的社会智能 AI。
现有的方法在这条路上并不顺利。最常见的“行为克隆”(Behavior Cloning, BC)就像小学生抄作业,见过的题能做,换个场景就傻眼。逆向强化学习(Inverse Reinforcement Learning, IRL)则是另一种极端:它试图从行为中推断出背后的奖励函数,但计算量大得惊人,常常在复杂环境里寸步难行。至于直接用大语言模型预测下一个动作,效果虽有时惊艳,却缺乏稳定性和可解释性,像个天马行空的预言家。
认知科学给了研究者一个启发:人类在日常生活中,其实并不会时时刻刻推理别人的“终极目标”。更多时候,我们依赖的是“脚本化”的行为模式。比如看到红灯就停下,看到餐桌就会找椅子坐下。这些脚本简单、可复用,却足以支撑复杂的社会互动。
于是问题来了:如果人类的思维模式可以被看作一段段“脚本”,那么 AI 是否也能通过“代码”来表达和预测他人的行为?这正是最新研究ROTE(Representing Others’ Trajectories as Executables)要解决的核心问题。
图1:动作预测方法的比较:行为克隆需要大量数据集,泛化能力有限,而逆向规划在测试时的计算成本很高。研究团队的方法ROTE使用LLM来生成观察到的行为的高效和可解释的代码表示,在效率和准确性之间实现了卓越的平衡。
这项研究由华盛顿大学和约翰霍普金斯大学的团队联合完成。第一作者 Kunal Jha 来自华盛顿大学,专注于多智能体系统与社会智能;合作者 Aydan Yuenan Huang 则来自约翰霍普金斯大学,研究机器如何理解他人的意图。
团队中还有 Eric Ye,负责实验环境与基准设计;而两位资深作者 Natasha Jaques 和 Max Kleiman-Weiner 则是社会强化学习与计算认知科学领域的知名学者。他们的跨学科背景,让这项研究既有技术的锋利,也有认知科学的深度。
ROTE为人工智能系统高效有效地预测现实世界中的人类行为开辟了一条道路。环境、算法、评估脚本等的代码可以在以下网址找到。https://github.com/KJha02/mindsAsCode.
1.ROTE 框架
研究的最大亮点就是提出了一个新颖的框架:ROTE(Representing Others’ Trajectories as Executables)。顾名思义,它的目标是把他人的行为轨迹表示为一段可执行的程序。
与传统方法不同,ROTE 并不试图去推断一个复杂的奖励函数,也不满足于简单的模仿。它的核心思想是把行为轨迹转化为可执行的代码脚本。这样一来,AI 就能像人类一样,依赖“脚本”来理解和预测他人的行为。
图2:ROTE概述。ROTE通过生成和加权解释其观察到的行为的Python程序来预测代理的下一个动作。从t=0到t=7,ROTE观察蓝色机器人的轨迹。最初,在t=1时,与搬到餐厅相关的程序被加重。然而,在t=3时,机器人拿起一个玩具,ROTE仍然不确定目标是清理卧室里的玩具还是把它们放在客厅的椅子上。当机器人在t=5时将玩具放在椅子上后,ROTE自信地更新其程序权重,以反映“将玩具带到椅子上”的脚本。到t=7时,ROTE可以使用此推断脚本快速准确地预测未来的行动。
具体来说,ROTE 的技术路线分为两步: 第一步,利用大语言模型生成候选程序。这些程序通常是Python 脚本,描述了某种可能的行为逻辑,比如“如果看到玩具,就把它搬到椅子上”。 第二步,使用 Sequential Monte Carlo 与贝叶斯推断,对这些候选程序进行筛选和加权,最终找到最能解释观测到行为的那一个。
这种方法的优势非常明显。首先是可解释性:生成的程序是人类可读的,研究者甚至可以直接运行它,验证逻辑是否合理。其次是泛化性:脚本化的建模方式可以迁移到新环境中,不会像行为克隆那样一换场景就失效。最后是高效性:相比逆向强化学习那种对目标空间的穷举推理,ROTE 避免了巨大的计算开销。
换句话说,ROTE 就像给 AI 装上了一本“行为剧本集”,既能快速翻阅,又能灵活改编,还能在新舞台上继续演出。
2.实验设计与验证
要验证“把他人思维建模为代码”这件事是否靠谱,研究团队当然不能只停留在理论层面。他们搭建了两个风格迥异的实验舞台:一个是简洁抽象的二维格子世界,另一个则是复杂逼真的家庭/办公室模拟环境。就像先在棋盘上练兵,再把 AI 丢进真实的“家务战场”,看看它能否应对自如。
在Construction(Gridworld) 环境中,智能体需要完成一些基础任务,比如搬运物品、巡逻路径。这是一个高度可控的实验场景,研究者可以清晰地观察 AI 是否学会了“脚本化”的行为逻辑。比如,当它看到一个方块时,是否会像人类一样遵循“捡起—搬运—放下”的固定套路。
而在Partnr(Embodied Household Simulator) 环境中,情况就复杂得多了。这里模拟的是家庭或办公室场景,任务包括收拾玩具、整理桌面、搬动家具等。换句话说,这里不仅有空间的复杂性,还有任务的多样性和不确定性。能在这种环境下预测人类或其他智能体的行为,才算是真正迈向“社会智能”。
当然,光有舞台还不够,还得有对手。研究团队设置了几种对比基线方法,来检验 ROTE 的实力。第一位出场的是老牌选手 行为克隆(BC),它的策略就是“看你怎么做,我就怎么学”,但一旦换个场景就容易失灵。第二位是 朴素法学硕士(Naive LLM, NLLM),直接用大语言模型来预测下一个动作,结果往往显得即兴而缺乏稳定性。最后是 AutoToM,一种神经符号结合的方法,试图在逻辑和神经网络之间找到平衡。
评估标准也很讲究。研究者不仅看 AI 在单步预测上的准确率,还考察它在多步预测中的表现——毕竟,预测别人下一秒要干什么和预测接下来一分钟的行为,难度完全不同。
此外他们还测试了 泛化能力,也就是所谓的“零样本迁移”:在一个全新环境里,AI 是否还能保持水准。最后,研究团队甚至把 ROTE 的预测结果和人类的直觉进行了对比,看看它是否真的接近“人类水平”的社会推理。
这一整套实验设计,就像是一场层层递进的考验:从棋盘到客厅,从单步到长时序,从模仿到迁移,再到与人类直觉的正面对比。结果如何?ROTE 在这些舞台上的表现,确实让人眼前一亮。
3.实验结果与发现
真正的考验总是在舞台灯光亮起之后。研究团队把 ROTE 推上了实验场,结果显示,它不仅能唱准调子,还能在复杂的合奏中游刃有余。
图3:ROTE在脚本(a)和人类代理(b)的单步和多步动作预测方面都优于所有基线。ROTE的基于代码的表示将人类行为视为高效的脚本,使其能够从有限的观察中有效地进行泛化。
对于单步预测,ROTE在脚本(NLLM p<0.05,BC和AutoToM p<0.001)和人类药物(BC p<0.05,NLLM p<0.01,AutoToM p<0.001)方面明显比所有基线更准确。在两种试剂类型的多步预测中都保持了这种优越的性能(脚本:BC、AutoToM和NLLM的p<0.001;人类:BC的p<0.01,NLLM和AutoToM的p<0.001)。ROTE实现了人类行为的人类水平预测准确性。
首先是最直观的指标——预测准确率。在单步预测和多步预测的任务中,ROTE 的表现都远远甩开了对手。与行为克隆、朴素 LLM 预测、AutoToM 等基线方法相比,它的准确率提升幅度最高可达50%。这意味着,当其他方法还在“差不多猜对”的水平徘徊时,ROTE 已经能稳定地给出更接近真实的行为预测。
更令人惊喜的是它的泛化性。在全新的环境中,ROTE 展现了强大的零样本迁移能力。换句话说,它并不需要在新场景里重新学习,而是能直接把之前归纳出的“脚本”迁移过来继续使用。
这就像一个经验丰富的演员,换了舞台和剧本,依然能迅速进入角色。相比之下,行为克隆往往在新环境里完全失效,朴素 LLM 则容易出现“即兴发挥过度”的问题。
图4:ROTE展示了对Construction中新环境的卓越零射击泛化能力。在不对代理行为进行任何额外条件的情况下,ROTE程序从一个环境转移到新设置的推断比所有其他基线更有效(双侧t检验中p<0.001)。
研究团队还进行了人类实验,把 ROTE 的预测与人类直觉进行对比。结果显示,ROTE 的预测准确率已经接近人类水平。这是一个相当重要的信号:它不只是比机器更聪明,而是开始在某种程度上“像人类一样”去理解和推测他人的行为。
最后是计算效率。在长时序预测中,很多方法的计算开销会随着预测步数的增加而呈指数级膨胀,仿佛陷入了“未来越远,越难看清”的困境。而ROTE 的开销增长却相对平缓,远低于其他方法。这意味着它不仅聪明,还很耐力十足,能够在长时间的交互中保持高效。
ROTE 的表现几乎在所有维度上都胜出:准确率更高,泛化性更强,预测更接近人类直觉,同时还能保持计算上的高效。它就像是一位既能背台词、又能即兴表演,还不容易疲惫的演员,为人工智能理解和预测人类意图开辟了一条全新的道路。
4.理论与方法论意义
研究最具颠覆性的地方,在于它把“预测他人行为”重新定义为一个程序归纳问题。在传统的机器学习视角里,预测往往意味着拟合函数、优化参数,而在 ROTE 的框架下,预测更像是寻找一段最简洁、最合理的程序来解释观测到的行为。
图5:(a)大规模、部分可观测Partnr环境中的预测精度。ROTE在预测目标导向、基于LLM的代理行为方面表现出了卓越的能力,双侧t检验显示ROTE的表现明显优于所有其他模型(p<0.001)。(b)伪代码示例说明了ROTE的推断程序如何使用条件和状态跟踪来捕获复杂的任务逻辑。
这与Solomonoff 归纳理论不谋而合:最短的程序往往是最优的解释。换句话说,AI 不再是“黑箱”里调参的苦工,而是一个在代码空间里寻找“剧本”的编剧。
这种方法的另一个重大意义在于可解释性。ROTE 生成的不是晦涩难懂的神经网络权重,而是一段段清晰的 Python 程序。研究者甚至可以直接读懂这些代码,看到其中的逻辑分支与条件判断。比如,“如果看到玩具,就把它搬到椅子上”这样的规则,不仅直观,而且可以复用。这让 AI 的推理过程第一次变得像一本打开的剧本,而不是一团无法解读的神经网络。
图6:施工中的多步预测总时间。尽管在单步预测情况下比BC和Naive LLM提示慢,但ROTE的程序化表示使其多步计算成本能够比其他方法更有效地扩展数量级,使其比其他预测个体行为的方法更适合长期设置。
更重要的是,这种脚本化建模为社会智能 AI 提供了一条全新的路径。人类的日常交互,本质上就是在执行各种“脚本”:见面打招呼、红灯停绿灯行、餐桌上先摆盘再上菜。ROTE 的方法正好贴近这种逻辑,让 AI 不再只是模仿动作,而是学会了理解背后的“套路”。这意味着未来的 AI 在与人类互动时,可能会更自然、更符合直觉。
5.应用前景与挑战
如果说理论意义让人眼前一亮,那么应用前景则让人浮想联翩。
在人机协作领域,ROTE 的潜力巨大。想象一下,一个机器人助手能提前预测你要伸手去拿杯子,于是主动把水倒好;或者在自动驾驶场景中,AI 能够推测出行人下一步可能要横穿马路,从而提前减速。这种预测能力,正是安全与高效的关键。
在多智能体系统中,ROTE 也能大显身手。无论是金融市场的博弈模拟,还是多机器人协作任务,理解和预测“他人”的行为都是核心问题。ROTE 提供了一种可解释、可迁移的建模方式,让智能体之间的互动更像是有章可循的剧本,而不是混乱的即兴表演。
在教育与训练方面,ROTE 甚至可以用来模拟人类的决策模式。比如在军事训练、医疗教学或企业管理中,AI 可以扮演“虚拟对手”或“虚拟同事”,通过脚本化的行为模式来帮助学员理解复杂的社会互动。
当然,前景再美好,也不能忽视挑战。首先是程序合成的复杂性与计算成本。虽然 ROTE 已经比 IRL 高效,但在更复杂的环境中,生成和筛选程序仍然可能消耗大量资源。其次是行为脚本的多样性与不可预测性。人类的行为并非总是遵循固定套路,偶尔的“即兴发挥”可能让 AI 措手不及。最后是与真实人类心理模型的差距。ROTE 的脚本化建模虽然贴近人类逻辑,但它毕竟不是人类的心智,仍然缺乏情感、动机等更深层次的心理维度。
6.未来研究方向
ROTE 的提出只是一个开端,真正的挑战还在前方。研究团队也清楚,要让“代码化思维建模”走向成熟,还需要在多个维度上继续探索。
首先是更复杂环境的验证。目前的实验虽然已经覆盖了格子世界和家庭模拟,但这些环境仍然是相对封闭和可控的。未来的研究需要把 ROTE 放进更开放的世界里,比如动态的城市交通、多智能体的协作博弈,甚至是虚拟经济系统。在这些场景中,智能体之间的互动更复杂,脚本之间的冲突与重叠也更频繁,能否保持预测的准确性和效率,将是对 ROTE 的真正考验。
其次是与认知科学的结合。ROTE 的灵感来自人类的“脚本化思维”,但这种思维模式在大脑中是如何实现的?它与神经机制、记忆系统、甚至情绪调节之间有怎样的关系?如果 AI 的脚本化建模能与认知科学的实证研究相互印证,就有可能推动我们对人类心智本身的理解。换句话说,ROTE 不仅是 AI 的工具,也可能成为认知科学的实验平台。
第三个方向是与政策和伦理的结合。可解释 AI 一直是社会治理和合规领域的热点。相比黑箱式的深度学习,ROTE 生成的“脚本”天然具备可读性和可审查性。这意味着它可能在金融监管、自动驾驶安全审查、甚至司法辅助决策中发挥作用。但与此同时,如何确保这些脚本不会被误解或滥用,如何在透明与隐私之间找到平衡,也是未来必须面对的伦理难题。
最后是跨学科的融合。ROTE 本身就是符号 AI 与大语言模型的结合体,未来它还可以与博弈论、进化计算、甚至经济学模型结合,形成更强大的社会智能框架。想象一下,一个既懂逻辑推理,又能进行概率博弈,还能在复杂环境中即兴发挥的 AI,将会是怎样的存在?这正是跨学科融合所能带来的前景。
7.结 论
研究团队为人工智能研究提供了一种全新的视角:把人的行为建模为代码。通过 ROTE 框架,AI 不再只是模仿人类的动作,而是学会了归纳和执行“脚本”,从而在预测他人行为时展现出更高的准确性、泛化性和可解释性。
这项研究的意义在于,它推动 AI 从“模仿行为”走向“理解逻辑”。过去的 AI 更像是一个模仿者,看你怎么做就怎么学;而 ROTE 让 AI 更像是一个编剧,能从有限的片段中推断出背后的剧本,并在新的舞台上继续演绎。这种转变不仅提升了技术性能,也让 AI 更贴近人类的社会交互逻辑。
ROTE 有望成为社会智能 AI 的重要基石。它的可解释性让它在政策与合规中具备独特价值,它的脚本化逻辑让它在教育、协作和多智能体系统中大有可为。更重要的是,它为跨学科研究开辟了新路径,让 AI 不再只是工程问题,而是与认知科学、伦理学、经济学等领域深度对话的桥梁。
可以说,ROTE 不仅是一种算法,更是一种范式的转变。它让我们看到了一个未来:人工智能不只是会算账的机器,而是能够理解、预测,甚至在某种程度上“共情”人类意图的伙伴。
参考资料:https://arxiv.org/pdf/2510.01272
本文转载自波动智能,作者:FlerkenS
