突破性创新：ZeroSearch如何彻底改变大语言模型的搜索能力训练

大语言模型(LLM)在各种应用场景中展现出了令人瞩目的能力，但其固有的知识静态性和更新滞后性一直是制约其实际应用的关键因素。为解决这一问题，阿里巴巴统一实验室(Tongyi Lab)的研究团队提出了一种创新的解决方案——ZeroSearch，这是一个无需与真实搜索引擎交互即可增强LLM搜索能力的强化学习框架。本文将深入分析这项突破性技术的原理、实现方法及其重要意义。

1. 研究背景与挑战

大语言模型虽然在数学推理、问答和代码生成等多种任务中表现出色，但它们的知识本质上是静态的，受限于预训练数据的范围。这导致模型容易生成虚构内容或过时信息，严重影响其在实际应用中的可靠性。因此，使LLM能够访问外部信息源以生成更准确、更有依据的响应变得至关重要。

检索增强生成(RAG)是解决这一问题的常用方法，它将外部知识整合到生成流程中。早期工作主要集中在基于提示的策略上，引导LLM完成查询生成、查询分解和多轮信息检索。虽然有效，但这些策略通常需要精心设计的提示工程，并对模型的推理能力提出很高要求。

后续研究探索了监督微调(SFT)来增强小型LLM的性能，以及测试时间扩展技术(如蒙特卡洛树搜索)，这些方法在推理过程中动态扩展搜索空间。尽管前景光明，但这类方法会产生大量计算开销，给实际部署带来挑战。

近期，强化学习(RL)作为提升LLM性能的有效策略逐渐兴起，通过增强其推理和决策能力显著提高模型表现。基于RL的模型如OpenAI-o1和DeepSeek-R1在逻辑推理和迭代推理方面取得了显著进步。在这一范式下，一些研究探索了使用RL来训练能够更有效搜索相关信息的策略模型，如Search-R1、R1-Searcher和ReSearch等。

特别值得注意的是，DeepResearcher引入了与Google等商业搜索引擎的实时交互，使模型能在与现实世界网络搜索非常相似的环境中进行训练。然而，将RL与现实世界搜索场景结合仍面临两大挑战：

1. 文档质量不可控从实时搜索引擎检索的文档质量通常难以预测，给训练过程引入噪音和不稳定性
2. API成本过高RL训练需要频繁部署，可能涉及数十万次API调用，产生巨大财务成本并严重限制可扩展性

2. ZeroSearch的创新方法

为应对上述挑战，研究团队提出了ZeroSearch——一个使LLM无需与真实搜索引擎交互即可学习搜索策略的强化学习框架。其核心洞察是：LLM在大规模预训练过程中已获得广泛的世界知识，能够根据搜索查询生成相关文档。真实搜索引擎和模拟LLM之间的主要区别在于返回内容的文本风格，而通过轻量级监督微调，即使相对较小的LLM也能有效模拟真实搜索引擎的行为。

使用LLM进行文档生成的一个重要优势是能够控制文档质量。在监督微调期间，通过提示设计来区分导致正确或错误答案的文档，使模拟LLM能够通过调整提示中的几个单词来学习生成相关或嘈杂的文档。

2.1 强化学习目标

ZeroSearch的优化目标可以表述为：

max_{π_θ}𝔼_{x∼𝒟,y∼π_θ(⋅∣x;π_ψ)}[r_ϕ(x,y)]−βD_KL[π_θ(y∣x;π_ψ)∥π_ref(y∣x;π_ψ)]

其中：

• π_θ是待优化的策略模型
• π_ref是参考模型
• r_ϕ表示奖励函数
• π_ψ代表模拟LLM，其参数在训练过程中保持不变

2.2 训练模板设计

ZeroSearch采用多轮交互模板，引导策略模型通过迭代推理和信息检索直至得出最终答案。交互分为三个明确阶段：

1. 模型在<think>...</think>标签内阐述内部推理
2. 如需额外证据，在<search>...</search>标签内发出搜索查询
3. 一旦获取足够信息，在<answer>...</answer>标签内提供答案

这种推理、搜索和回答的明确分离强化了结构化决策过程，提高了模型的透明度和可靠性。

2.3 搜索模拟微调

在部署过程中，ZeroSearch使用LLM模拟真实搜索引擎，根据查询生成文档。为弥合与真实搜索引擎输出的风格差距，研究团队提出了轻量级监督微调(SFT)程序：

1. 首先收集交互轨迹，提示LLM以多轮方式与真实搜索引擎交互直至得出最终答案
2. 产生正确答案的轨迹被标记为正面样本，表明检索到的文档有用；导致错误答案的轨迹被标记为负面样本，表明检索结果有噪声
3. 从正负轨迹中提取查询-文档对，进行轻量级SFT以提升LLM模拟真实搜索引擎的能力

有用和嘈杂检索的区别通过调整提示中的几个词实现。此外，还将输入问题及其对应答案纳入提示，以扩展LLM的知识边界。微调后，LLM能够生成有用和嘈杂的文档，实现部署过程中的动态文档质量控制。

2.4 基于课程的部署策略

在部署过程中，策略模型进行交互推理并生成搜索查询，这些查询被输入模拟LLM以生成相应文档。为逐步增加训练难度，研究团队引入了基于课程学习的部署机制，随时间逐步降低生成文档的质量。这通过概率函数p_i控制，该函数决定在步骤i生成嘈杂文档的可能性：

p_i = p_s + (b^(i/m)-1)/(b-1)·(p_e-p_s)

其中：

• p_s和p_e分别表示初始和最终噪声概率
• i和m分别表示当前和总训练步骤数
• b是指数基数，默认值为4

随着训练进行，比率i/m增加，导致p_i值升高——即产生嘈杂文档的几率更大。这使策略模型首先学习基本输出结构和任务要求，然后逐步适应更具挑战性和噪声的检索场景。

2.5 奖励设计

奖励信号是强化学习过程中的主要监督。ZeroSearch采用基于规则的奖励函数，仅关注答案准确性。在初步实验中，研究团队观察到使用精确匹配(EM)作为奖励指标往往导致奖励黑客行为：策略模型倾向于产生过长答案以增加包含正确答案的几率。

为缓解这一问题，ZeroSearch采用基于F1分数的奖励，平衡精确度和召回率：

r_ϕ(x,y) = 2×IN/(PN+RN)

其中：

• IN表示预测与真实答案之间的重叠词数
• PN是预测中的词数
• RN是真实答案中的词数

研究团队没有为输出格式纳入额外奖励，因为观察到模型在没有明确监督的情况下始终产生格式良好的响应。

2.6 训练算法

ZeroSearch兼容多种强化学习算法，包括近端策略优化(PPO)、组相对策略优化(GRPO)和Reinforce++，每种算法都为优化检索增强推理提供独特优势。

在ZeroSearch中，部署序列包括策略模型生成的标记和模拟LLM返回的文档标记。对两种类型的标记统一应用相同的优化程序可能导致训练不稳定，因为检索内容是外部生成的，不受策略模型直接控制。

为缓解这一问题，研究团队为检索标记引入了损失掩码机制，确保梯度仅针对模型自身输出计算。这一策略稳定了RL训练过程，同时保持了检索增强生成的有效性。

3. 实验设置与评估

3.1 数据集与评估指标

研究团队在多样化的问答基准上评估了ZeroSearch：

1. 单跳问答包括NQ、TriviaQA和PopQA
2. 多跳问答包括HotpotQA、2WikiMultiHopQA、Musique和Bamboogle

评估采用精确匹配(EM)作为指标。如果预测的规范化形式与任何规范化的真实答案完全匹配，则认为预测正确。

3.2 基线方法

为评估ZeroSearch的有效性，研究团队将其与以下基线进行比较：

1. 基础提示方法包括直接提示、思维链(CoT)和标准检索增强生成(RAG)
2. 高级RAG方法考虑RAgent和Search-o1，它们迭代搜索相关信息
3. RL调优方法包括R1和Search-R1。R1训练策略模型仅基于其内部知识进行深入推理，而Search-R1使策略模型能够在推理过程中多次与真实搜索引擎交互

为确保公平比较，所有RL方法均采用F1分数作为奖励指标。

3.3 实验配置

实验使用三个模型系列：

• Qwen-2.5-7B (基础/指令)
• Qwen-2.5-3B (基础/指令)
• LLaMA-3.2-3B (基础/指令)

为模拟真实世界检索场景，通过SerpAPI使用Google Web Search作为外部搜索引擎。所有方法的检索文档数量固定为5，以确保公平比较。

对于数据集，按照Search-R1的设置，合并NQ和HotpotQA的训练集创建统一数据集用于所有基于微调的方法。在七个数据集上进行评估，以评估域内和域外性能。

对于基于提示的基线，使用指令模型，因为基础模型通常难以遵循任务指令。对于基于RL的方法，评估基础和指令变体，以评估跨模型类型的通用性。

为训练模拟LLM，使用Qwen-2.5-3B、Qwen-2.5-7B和Qwen-2.5-14B作为骨干进行轻量级SFT，学习率设为1e-6。

为训练ZeroSearch，采用两种强化学习算法：GRPO和PPO。在GRPO设置中，策略LLM的学习率为1e-6，每个提示采样5个响应。在PPO设置中，策略LLM的学习率为1e-6，而价值模型的学习率为1e-5。应用广义优势估计(GAE)，超参数λ=1和γ=1。

除非另有说明，GRPO作为默认强化学习算法，Qwen-2.5-14B作为所有实验中的默认模拟LLM。

4. 主要研究结果

4.1 性能评估

实验结果表明，ZeroSearch在各个数据集上均优于所有基线方法，这种性能优势在域内数据集(NQ和HotpotQA)和域外数据集(TriviaQA、PopQA、2WikiMultiHopQA、Musique和Bamboogle)上均成立，展示了该方法的鲁棒性。

值得注意的是，ZeroSearch超越了依赖真实搜索引擎的方法。与使用真实搜索引擎的Search-R1相比，ZeroSearch取得了更好的性能，突显其作为大规模强化学习中真实搜索引擎有效替代品的潜力。

此外，ZeroSearch展示了强大的泛化能力。在不同模型系列、参数大小和类型(基础或指令调优)上，ZeroSearch始终优于基线。更大的模型进一步提升了性能，凸显其可扩展性。

4.2 与真实搜索引擎的比较

研究团队比较了ZeroSearch和Search-R1(使用真实搜索引擎)在LLaMA-3.2-3B上的奖励曲线，观察到：

1. 两种方法的总体奖励趋势相似。随着训练进行，ZeroSearch和Search-R1的奖励分数稳步增加，表明两种设置中的策略模型都有效学习了如何与搜索引擎交互并产生正确答案。
2. ZeroSearch实现了更稳定、更平滑的学习曲线。ZeroSearch最初落后于Search-R1，但最终超越了它，波动也小得多，这得益于课程机制帮助模型逐步掌握搜索工具使用。
3. ZeroSearch在基础和指令调优模型上均表现良好。在两种模型类型下，ZeroSearch稳步提高奖励性能，凸显其泛化能力。

4.3 模拟LLM的选择

研究团队调查了不同模拟引擎配置如何影响性能，包括基于提示和微调的LLM(从3B到14B参数)。结果表明：

1. 微调的7B模拟引擎(SFT-7B)实现了与Google搜索相当的性能，而14B变体(SFT-14B)甚至超越了它。这证明了使用训练良好的LLM作为强化学习设置中真实搜索引擎替代品的可行性。
2. 微调的模拟引擎显著优于基于提示的引擎。尽管基于提示的方法明确指导模仿真实搜索引擎的响应风格，但仍存在显著分布差距，导致性能较差。
3. 性能随模型大小增加而一致提升。更大的模拟LLM不仅展示更强的模拟能力，还能更准确区分相关和不相关文档，从而在训练过程中实现更有效的课程学习。

4.4 交互轮次研究

研究团队分析了ZeroSearch的训练动态，检查了训练过程中奖励进展和交互轮次数量。结果显示：

在训练早期阶段，交互轮次数量急剧下降，而奖励缓慢增加。这主要是因为策略模型最初不知道如何正确调用搜索引擎，导致冗余交互。然而，它很快学会了正确格式并开始有效消除不必要步骤。

随着训练进行，交互轮次数量和奖励曲线急剧上升然后稳定。这主要是因为策略模型能够有效检索相关文档并最终获得正确答案，从而获得更高奖励。值得注意的是，尽管后期训练阶段奖励看似稳定，但由于课程机制，底层任务难度持续增加。因此，策略必须不断完善其策略并提高推理能力，以保持一致性能。

4.5 不同RL算法比较：PPO vs. GRPO

研究团队评估了两种广泛采用的RL训练算法(PPO和GRPO)在ZeroSearch框架内的性能。结果表明，PPO和GRPO都成功激励了框架内的搜索能力，展示了该方法的多功能性。其中，GRPO在两种模型上表现更为稳定，强调了其在训练稳定性方面的优势。

值得注意的是，GRPO中的重复部署机制在与真实搜索引擎交互时会产生更高的API成本，进一步凸显了模拟搜索设置的实用性。

4.6 逆向课程研究

研究团队分析了课程部署策略的有效性，将其与逆向课程设置进行比较，在逆向课程中，训练难度随时间降低，通过逐步提高检索文档的质量。结果清晰表明，标准的由易到难课程始终优于逆向的由难到易变体，支持了课程学习在该框架中的有效性。

从更好的搜索结果开始允许策略模型首先学习如何调用搜索引擎并理解基本输出格式。随着训练进行，模型接触到越来越具挑战性的场景，培养了更强的推理能力。

5. 技术优势与应用价值

ZeroSearch框架具有多方面的技术优势：

1. 零API成本：通过使用模拟搜索引擎，ZeroSearch完全消除了对昂贵API调用的依赖，大幅降低了训练成本
2. 文档质量控制：与真实搜索引擎不同，ZeroSearch能够精确控制生成文档的质量，使训练过程更加稳定和可预测
3. 课程学习机制：渐进式增加训练难度的方法使模型能够从简单场景开始，逐步适应更复杂的检索环境
4. 强大的可扩展性：增加GPU数量可显著加速模拟LLM的生成吞吐量，从而实现高效的大规模部署
5. 广泛的兼容性：ZeroSearch与各种参数大小的基础模型和指令调整模型兼容，无需单独的监督预热阶段

这些优势使ZeroSearch在实际应用中具有重要价值：

1. 降低商业部署成本：消除API成本使大规模训练和部署变得经济可行
2. 提高训练效率：可控的文档质量和课程学习机制加速了模型的学习过程
3. 增强模型鲁棒性：通过暴露于各种质量的检索结果，模型学会了更有效地处理不确定性
4. 简化架构设计：无需复杂的API集成和错误处理机制

6. 局限性与未来方向

尽管ZeroSearch展现出显著优势，但仍存在一些局限性：

1. 部署模拟搜索LLM需要访问GPU服务器。虽然比商业API使用更具成本效益，但这仍然引入了额外的基础设施成本。
2. 模拟搜索引擎的知识边界仍受限于预训练数据。虽然通过提示设计扩展了知识覆盖范围，但仍无法完全匹配实时搜索引擎的最新信息。
3. 当前实现主要关注文本检索，尚未扩展到图像、视频等多模态检索场景。

未来研究可能的方向包括：

1. 扩展到多模态检索：将框架扩展到图像、视频和音频等多种模态的检索
2. 探索更复杂的课程学习策略：根据模型性能动态调整文档质量，而非预定义课程
3. 集成知识图谱：将结构化知识与文本检索相结合，增强模型的推理能力
4. 开发更高效的模拟LLM：研究如何使用更小、更快的模型实现相似的模拟效果，进一步降低基础设施成本

7. 结论

ZeroSearch提出了一种创新的强化学习框架，无需与真实搜索引擎交互即可增强LLM的搜索能力。通过监督微调，LLM被转换为能够生成相关和嘈杂文档的检索模块。课程部署机制通过将模型暴露于越来越具挑战性的检索场景，逐步提升其推理能力。

实验结果表明，ZeroSearch优于基于真实搜索的模型，在基础和指令调优的LLM上均表现良好，并支持多种RL算法。这一方法不仅解决了文档质量变异性和经济成本这两个限制实时搜索集成的挑战，还提供了一个可扩展、实用的解决方案，有望推动LLM搜索能力的进一步发展。

ZeroSearch的成功实现了一个重要里程碑：它证明了LLM不仅可以作为信息消费者，还可以作为信息提供者，为其他模型提供有价值的检索服务。这一双重角色开辟了LLM应用的新范式，为未来研究提供了丰富的可能性。

参考资源

• 论文：​https://arxiv.org/abs/2505.04588
• 模型：https://huggingface.co/collections/sunhaonlp/zerosearch-681b4ce012b9b6899832f4d0
• 代码实现：​https://github.com/Alibaba-NLP/ZeroSearch

本文转载自​​顿数AI​​，作者：葱葱