基础智能体的进展与挑战：人类价值观对齐和安全责任可控 原创

Foundation  Agent不再将智能体视为 LLM  的简单应用，而是将其看作一个由认知、记忆、学习、感知、行动等多个核心组件构成的复杂、有机的系统。其核心意义在于提供了系统性框架，强调了自主性，关注协作与生态，并突出了安全与对齐。然而，实现这一愿景也面临着技术复杂度高、需要庞大计算资源、评估困难、自进化可控性问题以及安全与对齐的根本性难题等巨大挑战。

• 论文链接： https://arxiv.org/abs/2504.01990

随着 Foundation Agent 能力的增强，其潜在的风险也随之增大。如何构建安全、可控、符合人类价值观的智能体也是整个 AI 领域面临的最核心的挑战之一。

价值对齐反映了对人类智能与人工智能关系进行简化的理论惰性，其本质潜藏着一种价值维度上的人类中心主义投射，同时也体现了人类在技术自治性面前的不安感。价值对齐是一种企图将所有的技术-社会的复杂性问题都置于“价值偏差”的系统性盈余中予以整体性解决的技术治理方法。

然而，将人类价值观嵌入人工智能系统，一方面会使得技术的发展成为最小化人类责任的借口；另一方面，这种话语以一种抽象性的人机价值差异掩盖了人工智能技术发展全过程中的价值性因素，从而以价值排他性的方式将人工智能的“问题”建构为一种绝对意义上的外在，使得关于价值的讨论只逡巡在人机的边界之上，而不向人类内部返回。

从这个意义上来说，人工智能已经建构起来的社会历史中的价值无意识和不平衡的数据分布现实，是一个关于“具有自主性的智能体应该和不应该被如何设计”的问题。

1. 安全威胁与措施

高级智能体面临诸多安全威胁，包括对抗性攻击、越狱与滥用、目标漂移和意外交互等。这些威胁可能导致智能体做出错误行为、绕过安全限制执行恶意任务、在自进化过程中偏离初始目标，或在复杂  MAS  中引发系统级故障。为应对这些挑战，需要研究部署多层次安全措施，如提高抵抗攻击能力的鲁棒性训练、检测阻止有害内容的过滤与监控机制、证明行为符合安全规范的形式化验证、帮助理解决策原因的可解释性与透明度设计，以及限制权限与影响的沙箱与隔离技术。

2. 对齐问题

这是最根本的挑战：如何确保智能体（尤其是具备自进化能力的 Foundation Agent）的目标和行为始终与人类的价值观和意图保持一致？这涉及到价值学习、意图理解、伦理推理等多个难题。论文强调了对齐研究的紧迫性和重要性，需要跨学科的努力来解决这一问题。

3. 未来方向

构建安全有益的 AI 是一个持续的过程。未来的研究需要在技术、伦理、治理等多个层面共同推进。包括开发更可靠的对齐技术、建立完善的 AI 安全评估标准、制定相应的法律法规和社会规范等。

安全和对齐是 Foundation Agent 发展不可或缺的基石。如果不能有效解决这些问题，再强大的智能也可能带来巨大的风险。这部分内容敲响了警钟，强调了负责任地发展 AI 的重要性。

智能体面临的安全问题

RICE 原则定义了一个对齐系统应具备的四个关键特性，这四个特性并无特定顺序：(1) 鲁棒性 (Robustness) 指人工智能系统的稳定性需要在各种环境中得到保证；(2) 可解释性 (Interpretability) 指人工 智能系统的操作和决策过程应该清晰易懂；(3) 可控性 (Controllability) 指人工智能系统应该在人类的指导 和控制下运行；(4) 道德性 (Ethicality) 指出人工智能系统应该遵守社会规范和普适价值观。

这四个原则指导人工智能系统与人类意图和价值观的对齐。他们本身并不是最终目标，而是服务于对齐的中间目标。具体来说，我们用四个关键词来描述对齐的目标：鲁棒性，可解释性，可控性，和道德性（RICE）。

目前并没有一个被普遍接受的用来衡量对齐的标准。“如何创建能够按照用户意图行事的智能体？” 进一步，其将问题扩展到了超级人工智能系统：“如何确保比人类更聪明的人工智能系统遵循 人类的意图？” 在这些讨论中，一个一致的主题是对人类意图的关注。为了清楚地定义对齐目标，我们必须 准确地描述人类的意图，这是一个具有挑战性的任务。

对齐循环。(1) 前向对齐 (对齐训练) 基于对齐需求训练初步对齐的系统；(2) 后向对齐 (对齐精炼) 衡量训练过的系统的实际对齐程度并更新对齐需求；(3) 重复此循环直到人工智能系统达到足够的对齐程度。值得注意的是，尽管后向对齐的最终目标是确保前向对齐后训练过的系统的实际对齐，但为了实现这个目标，它在系统的生命周期中始终被执行，包括在训练前、训练中、训练后以及部署后。

从反馈中学习的概述。描绘了三个核心组件：人工智能系统 - 主要的学习实体和算法目标；反馈 - 来自顾问集的系统调整信息；代理 - 代表直接学习复杂的反馈的模型。两种学习路径随之涌现：直接基于反馈的学习和通过代理进行的学习 (例如，来自人类反馈的强化学习 (RLHF))。人工智能系统的反馈形式分为三种类型：奖励、示范和比较。

在人工智能系统的背景下，有四个不同的领域：强化学习 (RL)、模仿学习 (IL)、逆强化学习 (IRL) 和基于偏好的强化 学习 (PbRL)。可扩展监督，一个旨在确保人工智能系统，即使超越了人类的专业知识，也能与人类的意图保持一致的研究主题，通过引入四个有前景的方向进行探讨：迭代蒸馏扩增 (IDA)、递归奖励建模 (RRM)、 辩论和合作逆强化学习 (CIRL)。

在技术的原初设定中，价值对齐作为一种人工智能治理方法，彰显的是技术设计者企图通过人类价值嵌入机器体系的方式获得更加可靠的人工智能产品的信心。然而，在面对技术-社会的复杂互动关系时，价值对齐却无法真正有效付诸实践。一方面，潜藏于价值对齐背后的人类中心主义的控制幻想假设了一种以人类现有道德水平和认知为基准的整体性解决方案，坚信人类所形成的价值体系和原则足以为人工智能技术的发展植入更好的目标和原则。这无疑是一种人类在面对人工智能时的“造物主式”的傲慢。另一方面，围绕着价值观差异所引发的冲突、斗争等长久地存在于人类社会发展始终，历史性和多元性构成了价值观本身的特质。

今天，简单化的人机关系理解模式已经无法理解泛在的人工智能对人类社会的整体性重塑，在现有实践和未来趋势中，人机协作智能是进一步回答“人类如何面对人工智能时代到来”问题的基础性认识。

人类智能和人工智能具有不同的特点和优势，这也就意味着人机协作和融合在不同的程度和场景中可以有个性化的应用。与单纯强调人工智能的超越性相比，协作智能的类型和开放性具有更广阔的前景和潜力。重新连通效率与公平、性能与价值、情境性与普遍性、全球性与地方性，这也是后人类知识图谱生成的方式之一。

道德价值观的变化性（variability of ethical values）道德价值观不是静态的，而是会随着时间、文化、社会环境的变化而改变的。这种变化性具体体现在3个方面： 

①时间的演化性。在社会发展的不同阶段，人类的道德要求和标准不尽相同。例如，在20世纪和21世纪发展的种族/性别平等的道德观念在封建时代并不存在；

②情景的歧义性。不同的文化、社会和个体可能对道德价值观有着极为不同的理解和诠释，在特定场景下符合道德价值的行为在其他情景下可能违反道德；

③道德的多元性。考虑到文化和社会的多样性，在同一时间和背景下也会有适用的多种道德准则，且准则之间可能相互冲突，产生道德困境。

在这样的变化之下，定义一个通用且公正的道德框架极具挑战。 这样的变化性要求针对大模型的对齐方法具备高度的可扩展性. 对齐方法需要进行持续性地学习和适应，以便准确地反映道德价值观上的变化与差异. 

Foundation Agent 的概念提醒我们，通往通用人工智能的道路需要在智能体的认知架构、学习机制、协作模式和安全保障上取得根本性突破，这需要跨学科领域的共同努力。虽然前路漫漫，但一个由能够自主学习、协作进化、并与人类和谐共存的 Foundation Agent  构成的智能新纪元已经徐徐而来。

本文转载自公众号数字化助推器  作者：天涯咫尺TGH

原文链接：​​https://mp.weixin.qq.com/s/LVFXDeLUQQsvuKrO8QVB1A​​