Agent²：基于agent生成的强化学习自动化框架

论文(Agent2: An Agent-Generates-Agent Framework for Reinforcement Learning Automation)使用自然语言和环境代码来自动生成有效的强化学习解决方案，无需人工干预。可以将其视为强化学习领域的AutoML工具。Agent²本质上是一个为你构建强化学习agent的agent系统。你不需要手动选择状态、动作、奖励、算法、网络和超参数，只需提供任务描述和（可选的）一些环境代码。该系统（由LLM驱动）端到端地设计agent，测试它，修复问题，并持续优化直到有效运行。

图片

工作原理：双agent设置：

生成器agent = 读取任务、分析任务并输出强化学习agent设计的AI工程师

目标agent = 接受训练和优化的强化学习agent

图片

两阶段流水线

1.任务→MDP映射：将你的问题转换为清晰的强化学习设置（状态、动作、奖励）。它可以修补错误的环境定义，重新设计稀疏或棘手的奖励。

2.算法优化：选择正确的算法（PPO、SAC、TD3、MAPPO等），设计神经网络架构，调优超参数，并将所有内容集成到配置文件中（YAML导出）。

反馈循环：如果出现问题（代码错误、训练曲线不佳、收敛性差），生成器agent使用日志和指标来自动修复或调整设置。

这节省大量手动试错时间。降低非强化学习专家开发者的门槛。产生的agent实际上超越了强基线：Ant-v4 (TD3)：奖励提升55%（3853 → 5981）；Humanoid-v4 (SAC)：+45%（4682 → 6788）；MetaDrive (SAC)：+46%（178 → 260）； SMAC 8m胜率：0.77 → 0.94

图片

图片

图片

通过MCP服务标准化agent创建，并使用LLM对代码、日志和配置进行推理，Agent²使强化学习agent设计变得易于访问且稳健，在单agent和多agent设置中都显示出样本效率和最终性能的一致提升。将Agent²视为强化学习领域的AutoML工具：你描述任务，它自动构建和优化agent。对于任何从事机器人学、仿真控制或多agent系统的人来说，这可以节省数周的设置和调优时间。

本文转载自​​AI帝国​​，作者：无影寺