S1-Bench：评估大型推理模型中的系统 1 思维

介绍

大型推理模型 (LRM) 在解决复杂问题方面表现出了令人印象深刻的能力，但它们常常难以处理人类凭直觉就能解决的简单任务。这种悖论是名为 S1-Bench 的新基准测试的核心，该基准测试专门针对评估 LRM 中的“系统 1”思维能力。

与大多数侧重于复杂推理任务的现有基准测试不同，S1-Bench 考察了 LRM 如何有效地处理简单、直观的问题，这些问题应该只需要最少的思考。该基准测试表明，当前的 LRM 倾向于“过度思考”简单问题，从而导致效率低下，有时甚至降低准确性。

S1-Bench 性能图图 1：各种 LRM 在 S1-Bench 上的性能比较，绘制了准确率与平均响应 token 的关系。该图表明，许多较大的模型会生成明显更多的 token，但没有相应的准确率提升，这表明它们在处理简单任务时效率低下。

双系统框架

该研究基于认知心理学的双系统框架，该框架将人类思维分为两个系统：

1.系统 1（直觉思维）：快速、自动且毫不费力的处理，以最少的有意识思考来处理日常任务和模式识别。

2.系统 2（审慎思维）：缓慢、费力且分析性的处理，解决需要仔细推理和逐步分析的复杂问题。

虽然人类会根据任务的复杂性自然地在这两个系统之间切换，但 LRM 的主要设计和训练目标是在系统 2 思维方面表现出色。当它们遇到可以通过更直观的方法受益的简单任务时，这会产生效率低下。作者认为，真正智能的系统应该能够根据任务要求动态选择合适的认知系统。

S1-Bench 设计与方法

S1-Bench 经过精心设计，以确保其问题真正简单直观。该基准测试包括 380 个问题，涵盖四个主要类别和 28 个子类别，包括英语和中文。

S1-Bench 构建过程图 2：S1-Bench 的构建工作流程，展示了生成、验证和完善问题的迭代过程，以确保简单性和准确性。

基准测试的构建过程包括：

1.问题生成：创建跨多个类别的各种问题。

2.质量控制：使用判别器过滤掉模棱两可或复杂的问题。

3.简单性验证：验证小型语言模型是否可以轻松回答问题，以确认其简单性。

4.迭代改进：修改过于复杂的问题，直到它们满足简单性标准。

S1-Bench 中的问题刻意简短，大多数问题仅包含 6-17 个 token：

问题 Token 长度分布图 3：S1-Bench 中问题 token 长度的分布，表明大多数问题简洁明了。

S1-Bench 中的四个主要类别是：

1.推理问题：简单的逻辑或数学问题（例如，“7减去7是多少？”）

2.知识问题：基本的事实查询（例如，“化学家玛丽·居里的性别是什么？”）

3.指令遵循：需要特定输出格式或约束的任务

4.分析问题：简单的分类或识别任务

评估指标

该研究使用几个关键指标评估了 22 种不同的 LRM：

1.格式指标：

•L-Corr：衡量模型将思维过程与最终答案分离的程度

•S-Corr：评估对特定输出格式要求的遵守情况

2.效率指标：

•ART（平均响应Token数） ：量化模型输出的长度，较短的响应表示更高的效率

3.准确性指标：

•pass@1：衡量首次尝试的答案是否正确

•acc@k：评估采样 k 次并选择最常见答案时的准确性

这些指标提供了对 LRM 在简单任务上的效率和有效性的全面评估。

主要发现

该研究揭示了关于 LRM 处理简单任务的几个关键见解：

1.低效性：在解决相同的简单问题时，LRM 生成的输出比小型语言模型长 15.5 倍。这表明在处理直观任务时存在显著的低效率。

2.低准确性：尽管采用了复杂的推理过程，但与小型模型相比，大型模型有时在简单问题上获得的准确性较低。这表明过度思考实际上会阻碍在简单任务上的表现。

3.与模型大小没有明确的相关性：该研究发现模型大小与响应长度之间没有直接关系，表明低效率不仅仅是参数数量的函数。

4.任务特定的变化：LRM 在处理指令遵循问题时表现出最显著的 token 低效率，这表明它们尤其难以将简单的指令映射到简洁的行动。

不同问题类别中 token 使用情况的综合热图说明了这些低效率：

Token Usage Heatmap图 4：热图显示了每个模型在不同子类别中的 token 使用情况。较深的颜色表示使用的 token 更多，揭示了不同任务类型中的低效率模式。

过度思考分析

该研究提供了对 LRM 中“过度思考”现象的详细分析。作者将模型响应分解为两个组成部分：

1.初始思考：用于启动推理过程的 token

2.额外思考：在完成基本推理后生成的额外 token

Initial vs. Additional Thinking图 5：比较了不同 LRM 之间的初始思考与额外思考，表明许多模型在不必要的额外思考上花费了不成比例的 token。

该研究发现，大多数 LRM 在处理简单问题时会进行多轮“解决方案”。这种迭代推理通常会引入冗余，因为模型会在不同的推理段中重复相似的信息。相似性分析表明，内容相似性随着每个额外的推理段而增加，表明信息价值正在降低：

Reasoning Redundancy Analysis图 6：不同问题类型之间推理段的最大相似性得分，显示随着推理的进行冗余度增加。

这种模式表明 LRM 缺乏一种有效的机制来识别它们何时达到了足够的推理水平，并且应该提供一个简洁的答案。

错误模式

一个特别有趣的发现是，LRMs有时会在推理的早期阶段得出正确的答案，但随后会偏离并产生不正确的最终答案。错误分析揭示了几种模式：

1.正确的思考，错误的结论：模型有时会在整个思考过程中进行正确的推理，但却莫名其妙地给出一个错误的最终答案。

2.不正确的中间结论：准确率较低的模型通常在其推理链中包含不正确的步骤。

3.答案识别失败：一些模型在推理过程中正确地提到了答案，但未能将其识别为最终答案。

错误模式分析图 7：错误模式分析，显示了思考过程 (TP) 和最终答案 (FA) 之间的关系。该图表揭示了模型在思考中提供正确信息但得出不正确最终答案的情况。

这些错误模式表明，LRMs 的扩展推理过程有时可能会引入混乱而不是清晰性，尤其是在应该凭直觉回答的问题上。

简单性预判

一个有趣的发现是，许多 LRMs 能够识别出一个问题何时简单，但它们仍然会进行冗长的推理过程。该研究分析了模型明确评论问题简单性的案例：

简单性预判分析图 8：分析模型识别问题简单性的能力以及对 Token 使用的影响。上面的图表显示了每个模型明确识别问题为简单的频率，而下面的图表比较了有和没有这种识别时的 Token 使用情况。

该分析揭示了模型识别简单性的能力与其响应简单问题的行为之间存在脱节。即使模型明确承认问题很简单，它们通常仍然会产生冗长的响应——这表明对简单性的识别并不能有效地触发更有效的响应策略。

意义和未来方向

该研究指出了未来工作的一些重要意义和方向：

1.双系统 LRMs：研究结果强调，需要能够根据任务要求在系统 1 和系统 2 思考之间动态切换的 LRMs。这样的模型将更有效率，并且在更广泛的任务中可能更准确。

2.利用预判：由于许多 LRMs 可以识别出一个问题何时简单，未来的工作应侧重于开发允许模型利用这种识别来产生更简洁响应的机制。

3.训练数据考虑：作者认为，这个问题可能源于训练数据强调对所有类型的问题进行冗长的推理。未来的训练方法应包括复杂问题的详细推理示例和简单问题的简洁响应示例。

4.更复杂的提示：研究表明，当前的提示策略可能无法有效地指导模型根据任务复杂性调整其推理深度。开发更好的提示技术可能有助于解决过度思考问题。

5.认知框架：作者建议开发更细致的认知框架，使 LRMs 能够更好地将其推理方法与任务要求相匹配。

结论

S1-Bench 代表了对 LRMs 的评估和理解的重要贡献，它强调了一个关键的局限性：过度思考简单问题的趋势。这种低效率不仅导致不必要的计算成本，而且还可能导致简单任务的准确性降低。

该基准测试为评估当前和未来大型语言模型的系统 1 思维能力提供了一个有价值的工具。通过量化大型语言模型与理想双系统模型之间的性能差距，S1-Bench 激发了对更具认知灵活性的 AI 系统的开发，这些系统可以高效地处理简单和复杂的任务。

研究结果表明，真正先进的 AI 系统需要发展出根据任务复杂性动态调整其推理深度的能力——就像人类一样。这代表着一个重大的挑战，同时也为人工智能的未来研究提供了一个令人兴奋的方向。

本文转载自​​芝士AI吃鱼​​，作者：芝士AI吃鱼