ICLR25 | 告别手搓workflow！AI 能自己设计更强智能体吗? 精华

今天分享一篇ICLR25的一篇文章，标题为：AUTOMATED DESIGN OF AGENTIC SYSTEMS（自动化Agent设计系统）。

手写workflow太累啦，这篇文章探讨了如何自动化设计强大的Agent系统（ADAS系统），其通过一种元智能体（meta-agent）来自动编写和迭代优化Agent，让他自动化去发明新颖的构建模块和组合方式。同时通过一个名为 元智能体搜索（Meta Agent Search） 迭代地编程新颖智能体，并根据其性能进行评估和优化。

该方法特点总结如下：

1.自动化Agent设计系统： 自动发明新颖的构建模块并设计强大的智能体系统。

2.代码空间搜索： 在代码空间中定义和搜索智能体的方法，理论上允许发现任何可能的智能体系统（包括提示、工具使用、工作流等），并利用大模型的编程能力来实现自动化发现。

3.元智能体搜索算法： 引入了 Meta Agent Search 算法，通过让元智能体迭代地编程新颖智能体，并根据其性能进行评估和优化，从而实现性能的持续提升和泛化能力的增强。

一、概述

•Title:AUTOMATED DESIGN OF AGENTIC SYSTEMS

•URL:​​ https://arxiv.org/abs/2408.08435​​

•Authors:Shengran Hu, Cong Lu, Jeff Clune

•Code:​​ https://github.com/ShengranHu/ADAS​​

1 Motivation

•手动设计智能体系统效率低下：当前 Foundation Models (FMs) 虽强大，但解决复杂问题时往往需要将其作为模块构建成多组件的智能体系统（如 Chain-of-Thought, Self-Reflection）。这些系统以及各种构建块（如思维链推理、记忆结构、工具使用、自反思等）的开发和组合，通常需要研究人员和工程师付出大量手动调优和精力，且容易受限于领域特定知识。

•长期来看自动化解决方案最终取代手动设计：机器学习的历史表明，手动设计的解决方案最终会被更高效的学习型解决方案所取代（例如，计算机视觉中手动设计的 HOG 特征被 CNN 学习到的特征取代，以及 AutoML、AI-GA 等方法在自动设计神经网络、生成环境方面的成功）。这暗示着智能体系统设计也应走向自动化。

2 Methods

本文提出了一种名为 自动化智能体系统设计 (Automated Design of Agentic Systems, ADAS) 的新研究方向，其核心思想是让一个“元智能体”（meta agent）通过编写和修改代码来自动发现和设计更优秀的智能体系统。

主要模块说明:

1）搜索空间 (Search Space): 定义了 ADAS 方法能够表示和发现的智能体系统类型。提出在 代码空间 中定义整个智能体系统。选择 Python 等图灵完备的编程语言作为搜索空间，可以尝试各种提示、工具使用逻辑、工作流和它们的任意组合。

2） 搜索算法 (Search Algorithm): 元智能体（基于 GPT-4等强大的LLM）迭代地编程新颖的智能体。元智能体根据一个不断增长的、包含先前发现的智能体及其性能的档案来生成新的智能体。相当于迭代去探索（新颖或有价值）的可能结果。

实现细节：

• 为元智能体提供一个包含基本功能（如 FM 查询 API、提示格式化）的简单框架（少于 100 行代码）。

• 元智能体只需编写一个​​forward​​ 函数来定义新智能体的功能。

• 可以可选地用基线智能体（如 Chain-of-Thought, Self-Refine）初始化档案。

3）评估函数 (Evaluation Function): 以智能体在任务验证数据上的 准确率或 F1 分数 作为性能指标来优化。

3 Conclusion

•新颖智能体设计：Meta Agent Search 能够系统地发现具有新颖设计的智能体，这些智能体在 ARC 挑战等任务中显著超越了手 SOTA 手动设计的智能体。

•跨领域和模型通用性：论文中的研究表明，通过 Meta Agent Search 发现的智能体不仅在特定领域表现出色，而且在跨领域（如从数学到阅读理解）和跨模型（如从 GPT-3.5 到 Claude-Sonnet）的迁移中仍能保持卓越性能，这体现了其强大的鲁棒性和通用性。

•克服手动设计限制：这项研究展示了 ADAS 在自动化智能体系统设计方面的巨大潜力，能够节省大量人类手动调优的努力，并可能比手动设计更快地发现更有效的解决方案。

4 Limitation

• •领域复杂性限制：目前的评估主要集中在单步 QA 任务上，尚未扩展到涉及多步骤交互和复杂环境的真实世界应用中，这限制了其在更复杂场景下的验证。
• •未充分利用现有构建模块：尽管理论上代码空间允许从头开始编程所有组件，但实践中效率低下。当前的方法未能充分利用现有的人类努力，例如搜索引擎工具、RAG 框架（如 LangChain），以及多模态能力等，这可能限制了智能体的复杂性和功能性。
• •探索算法相对简单：Meta Agent Search 的搜索算法设计相对简单，主要侧重于探索“有趣”的新设计。缺乏更复杂的探索与利用平衡机制，如 Quality-Diversity 或其他 AI-GA 算法中的高级策略，可能限制了其在超大搜索空间中的探索效率和最优性。

5 Future Work

• •适配更复杂的领域：将 Meta Agent Search 扩展到更复杂的领域，如涉及与复杂环境进行多步交互的真实世界应用。
• •新颖性搜索算法：改进 Meta Agent Search 的搜索算法，结合 Quality-Diversity、AI-GA 等领域的更复杂理念，以更有效地平衡探索与利用。

二、总结

结论1: 自动化Agent系统设计可能代表着智能体开发的新范式。 手动设计智能体系统所面临的效率低下和创新局限性。利用LLM的强大编程能力在代码空间中进行搜索，可能能够自动发明新颖、高效的智能体构建块和组合方式，可以加速了智能体系统的发展。

结论2: 元智能体搜索算法能够持续发现超越 SOTA 手动设计的智能体。 本文提出的 Meta Agent Search 算法在多个领域（包括逻辑推理、阅读理解、数学、多任务和科学问题解决）的实验中表现出色，在未见过的领域也有强大的泛化和迁移能力。一定程度证明了自动化设计智能体系统是可行的。

结论3: 代码空间搜索是实现通用智能体设计和 AI 进步的关键。 理论上这种方法能发现任何可能的智能体系统——包括提示、工具使用、工作流和它们的任意组合。

本文转载自​​​​NLP PaperWeekly​​​​，作者：NLP PaperWeekly