推理大模型并非一定要推理

发布于 2025-4-23 07:14
浏览
0收藏

论文笔记分享, Reasoning Models Can Be Effective Without Thinking。 uc berkeley。

推理大模型并非一定要推理-AI.x社区

目前主流的推理模型在解决问题时,通常会有一个think阶段。这种方式虽然结果会大幅提升,但消耗的计算资源却不少。

所以,这个文章研究的问题是: AI真的需要这么“认真思考”吗?

注:本文写于o3发布之前, o3的思考充分利用工具能力,模型即产品,有一点跳脱o1版推理大模型的范畴了。另外,今天开源的Gemini 2.5 Flash,支持了thinking budget,有一些理念与本论文趋同。

所以他们用了 NoThinking 的方式,就是让AI直接给出答案,跳过所有中间推理步骤。

就类似下图框出来那样,或者直接对比正常的模式。效果竟然还不错。

推理大模型并非一定要推理-AI.x社区

  • 省3~4倍资源。
  • 始终优于没有经过RL训练的非推理模型。
  • 很适合多次尝试,允许模型采样多次,看pass@k的效果。
  • 在一些任务中,跟正常思考的模型的结果差不多。

如下图:

推理大模型并非一定要推理-AI.x社区

限定token预算 (在达到指定token之后,强行添加,如 答案是xxx 的内容上去)之后,很多数据集表现比经过think的效果更好。

推理大模型并非一定要推理-AI.x社区

本文转载自​NLP前沿​,作者:NLP前沿

已于2025-4-23 09:58:01修改
收藏
回复
举报
回复
相关推荐