AI Agents和Agentic AI: 智能体概念分类、应用与挑战 - 康奈尔大学等

摘要

本综述批判性地区分了人工智能代理和代理性人工智能，提供了一个结构化的概念分类、应用映射，并分析了机会与挑战，以阐明它们不同的设计理念和能力。我们首先概述了搜索策略和基本定义，将人工智能代理描述为由大型语言模型和大型知识图谱驱动和启用的模块化系统，用于特定任务的自动化。生成式人工智能被定位为提供基础的前驱，人工智能代理则通过工具集成、提示工程和推理增强而发展。然后我们描述了代理性人工智能系统，与人工智能代理相比，它代表了一种由多代理协作、动态任务分解、持久记忆和协调自主性所标志的范式转变。通过对架构演变、操作机制、交互风格和自主水平的时间顺序评估，我们进行了人工智能代理和代理性人工智能范式的比较分析。由人工智能代理（如客户支持、调度和数据总结）启用的应用程序主动性与研究自动化、机器人协调和医疗决策支持中的代理人工智能部署进行了对比。我们进一步探讨了每个范式中的独特挑战，包括幻觉、脆弱性、涌现行为和协调失败，并提出了针对性的解决方案，如反应循环、检索增强生成（RAG）、自动化协调层和因果建模。本工作的目标是为开发健壮、可扩展且可解释的人工智能驱动系统提供路线图。

关键词 - Agent、智能体、人工智能代理、代理人工智能、自主性、推理、上下文感知、多代理系统、概念分类法、视觉语言模型

核心速览

研究背景

1. 研究问题：这篇文章旨在区分AI代理和代理AI，提供一种结构化的概念分类、应用映射以及分析机会和挑战，以阐明它们不同的设计理念和能力。
2. 研究难点：该问题的研究难点包括：如何明确AI代理和代理AI的设计哲学和能力差异；如何在复杂动态环境中实现多代理系统的协调和自主性；如何应对AI代理和代理AI的独特挑战，如幻觉、脆弱性、涌现行为和协调失败。
3. 相关工作：早期的人工智能研究主要集中在多代理系统和专家系统上，强调社会行动和分布式智能。Castelfranchi和Ferber等人的工作奠定了社会行动建模的基础，而早期的对话系统和反应式机器人则展示了基本的社交互动能力。然而，这些系统缺乏自我学习、生成推理和对非结构化环境的适应性。

研究方法

这篇论文提出了一种结构化的多阶段方法来捕捉AI代理和代理AI的演变、架构、应用和局限性。具体来说，

1. 基础理解：首先，建立AI代理的基础理解，分析其核心定义、设计原则和架构模块，包括感知、推理和行动选择。这些组件形成了一个闭环操作循环，通常称为“理解、思考、行动、学习”。
2. 基础模型的作用：讨论LLMs作为核心推理组件的作用，强调预训练语言模型如何通过指令微调和强化学习从人类反馈中改进交互、规划、决策和有限的任务执行能力。LLMs如GPT-4和PaLM在自然语言理解、问答、摘要、对话连贯性和符号推理方面表现出强大的能力。
3. 代理AI的演变：探讨从工具增强的单代理系统到协作、数据分布式生态系统的转变，这种转变是由系统需要分解目标、分配子任务、协调输出和适应动态上下文的需求驱动的。代理AI系统由多个专门代理组成，每个代理分配一个特定的子任务，并通过集中式协调器或去中心化协议进行协调。

结果与分析

1. AI代理的应用：AI代理在客户支持自动化、内部企业搜索、电子邮件过滤和优先级排序、个性化内容推荐和基本数据报告等领域得到了广泛应用。例如，AI代理可以集成企业的客户关系管理系统（CRM）和履行API，回答用户查询、跟踪订单或发起退货请求。
2. 代理AI的应用：代理AI在多代理研究助理、智能机器人协调、协作医疗决策支持和自适应工作流程自动化等领域得到了广泛应用。例如，在多代理研究助理中，代理系统可以分配角色，管理依赖关系，并将输出整合成连贯的草稿或审查摘要。
3. 挑战与限制：AI代理面临的主要挑战包括缺乏因果推理、LLM的继承限制（如幻觉、浅层推理）、不完全的代理属性（如自主性、主动性）以及长期规划和恢复的失败。代理AI系统面临的独特挑战包括放大因果关系问题、协调瓶颈、涌现行为和可扩展性问题。

总体结论

这篇论文全面评估了AI代理和代理AI系统的演变景观，提供了一个结构化的分类法，突出了基础概念、架构演变、应用领域以及关键限制和潜在解决方案。AI代理在狭义的工具集成场景中表现良好，而代理AI代表了向分布式、多代理认知的转变，能够自主规划和决策。从反应性任务执行到协调的协作工作流程的转变标志着智能系统进化的重要里程碑。这些见解为未来开发和部署可信赖、可扩展的代理AI系统提供了路线图。

论文评价

优点与创新

1. 全面的概念分类：论文提供了一种结构化的概念分类法，清晰地界定了AI代理和代理AI之间的差异，帮助研究人员更好地理解这两种技术的核心概念。
2. 详细的架构演化分析：通过对比分析AI代理和代理AI的架构演化，展示了从单一模型到复杂多代理系统的转变过程。
3. 丰富的应用领域覆盖：论文详细探讨了AI代理和代理AI在不同应用领域的部署情况，包括客户服务自动化、内部企业搜索、电子邮件过滤和优先级排序等。
4. 深入的挑战与解决方案：论文系统地分析了AI代理和代理AI面临的主要挑战，并提出了相应的解决方案，如检索增强生成（RAG）、工具增强推理、记忆架构等。
5. 未来的路线图：论文提出了一个未来发展的路线图，预测了AI代理和代理AI在自主性、模块化智能、多代理协调等方面的进步。

不足与反思

1. 局限性：论文提到，尽管AI代理在某些特定任务中表现出色，但在处理复杂、动态、多步骤和协作场景时仍存在局限性。
2. 代理AI的挑战：代理AI系统面临的挑战包括放大因果问题、协调瓶颈、涌现行为和治理问题，这些都需要进一步的研究来解决。
3. 未来的研究方向：论文指出，未来的研究需要解决多代理系统中的因果发现、推理集成和基准测试等问题，以确保代理AI系统的可靠性和可扩展性。

关键问题及回答

问题1：AI代理和代理AI在设计哲学和能力上有何根本区别？

1. 任务范围：AI代理通常是单体的，专注于执行特定的、定义明确的任务。它们通过集成LLM和 LIMs来增强功能，适用于工具集成场景。而代理AI则是多体的，能够分解复杂的目标，分配子任务，并通过协作实现共同目标。
2. 自主性和协作：AI代理在特定任务内具有高度自主性，但通常独立操作，缺乏跨任务的协作能力。代理AI则具有广泛的自主性，能够在多代理系统中进行动态的角色分配和任务协调。
3. 学习和适应能力：AI代理主要通过规则或监督学习进行适应，通常局限于单一领域。代理AI则具备更强的学习和适应能力，能够通过多步骤规划和元学习在不同的任务和环境中进行动态调整。
4. 应用场景：AI代理适用于客户支持、内部搜索、电子邮件管理等结构化任务。代理AI则更适合于复杂的研究助理、机器人协调、医疗决策支持等需要多代理协作的场景。

问题2：代理AI系统在应对复杂动态环境中的多代理协作时面临哪些独特挑战？

1. 放大因果关系问题：在多代理系统中，一个代理的行为可能会影响其他代理的行为，导致复杂的因果关系。代理AI需要有效的因果建模和干预机制来协调这些关系。
2. 协调瓶颈：多代理系统需要高效的通信和协调机制来确保所有代理能够协同工作。当前的实现中存在目标对齐和共享上下文的问题，影响了系统的整体性能。
3. 涌现行为：多代理系统中的复杂交互可能导致不可预测的涌现行为，这些行为可能偏离预期目标，甚至产生有害结果。代理AI需要设计机制来检测和应对这些行为。
4. 可扩展性和调试复杂性：随着代理数量的增加，系统的可扩展性和调试复杂性也随之增加。代理AI需要系统化的架构控制和可追溯工具来支持大规模系统的开发和维护。

问题3：论文中提到的潜在解决方案有哪些？这些方案如何克服AI代理和代理AI的挑战？

1. 检索增强生成（RAG）：通过将用户查询与实时数据结合，生成更准确和上下文相关的响应。这种方法适用于AI代理和代理AI，特别是在需要实时数据集成的场景中。
2. 工具增强推理：使AI代理能够通过调用外部工具来扩展其功能，从而处理更复杂的任务。这种方法显著提高了AI代理的实用性和代理AI的自主性。
3. 代理反馈循环（ReAct）：通过迭代推理和行动来提高决策的质量。这种方法特别适用于需要多步骤规划和动态调整的场景，适用于AI代理和代理AI。
4. 记忆架构：通过持久存储来保持跨任务的上下文信息，支持长期规划和任务执行。这种方法有助于解决AI代理的短期记忆问题和代理AI的分布式记忆管理问题。
5. 多代理编排：通过集中式或分布式的协调器来管理多代理系统的生命周期和任务分配。这种方法有助于解决代理AI的系统化和可扩展性问题。

这些解决方案共同构成了克服AI代理和代理AI挑战的综合路线图，旨在提高系统的可靠性、可扩展性和适应性。

本文转载自​​​知识图谱科技​​​，作者：知识图谱科技