GPT-5 数学推理能力深度剖析：一项基于“哥德尔测试”的初步研究 精华

引言：大语言模型在高等数学领域的推理能力边界？

近年来，前沿人工智能（AI）模型在标准化数学竞赛（如国际数学奥林匹克竞赛，IMO）中取得了引人注目的成就，这标志着其在解决有明确答案和既定路径的复杂问题上的能力已达到甚至超越了顶尖人类水平。然而，真正的数学研究并非仅限于解题，更在于提出和证明全新的、未曾解决的猜想。这要求模型不仅具备强大的计算和逻辑推演能力，还需要拥有数学家所谓的“数学成熟度”——一种融合了领域背景知识、直觉和创造性思维的综合素养。

“哥德尔测试”的提出与核心理念

为了系统性地评估大语言模型（LLM）在真实数学研究场景下的潜力，一篇于2025年9月发表的论文《G¨odel Test: Can Large Language Models Solve Easy Conjectures?》提出了一种全新的评估范式——“哥德尔测试”（G¨odel Test）。该测试的核心思想是：评估一个AI系统能否为那些对于受过适当训练的人类专家而言相对简单，但在现有文献中尚无记载的全新猜想，提供正确且严谨的证明。这个名字致敬了伟大的逻辑学家库尔特·哥德尔，暗示了对机器推理能力边界的终极探问。

该研究选取了当时最前沿的模型GPT-5作为测试对象，并精心设计了五个源于组合优化领域中“子模最大化”方向的猜想。这些猜想被刻意设计得足够简单，以期理论计算机科学或相关应用数学领域的优秀研究生或高年级本科生能够在一天内解决。这种设计旨在将评估的焦点从解决高难度竞赛题的能力，转移到衡量模型在更高级数学领域进行原创性推理的能力上。

研究目标与实验设计概述

该研究的核心目标是初步探究GPT-5在面对全新、简单数学猜想时的表现，并从中洞察其当前的推理能力、原创性火花以及存在的局限性。实验设计遵循了以下几个关键原则：

1. 最小化提示：研究者没有像陶哲轩（Terence Tao）与早期模型互动时那样提供大量提示或引导。他们仅为每个问题提供了最少的描述，并附上一到两篇作为背景灵感的源论文，然后让模型自主解读问题并尝试生成解决方案。
2. 领域专注：所有五个猜想均来自研究者自身专长的子模最大化领域。这确保了问题的原创性、具体性和适度的难度，同时也使得研究者能够对模型生成的证明进行深入、精确的评估。
3. 过程导向的评估：评估不仅关注最终答案的正确性，更侧重于对模型推理过程的详细审查。研究者逐行检查了GPT-5生成的证明，分析其逻辑链条、引用的定理以及可能存在的瑕疵。

通过这一系列精心设计的实验，该研究试图回答一个根本性问题：当前最先进的大语言模型，是否已经开始具备成为一名“合格的研究生”的潜质，从而朝着最终通过“哥德尔测试”的宏伟目标迈出了坚实的第一步？

核心概念解析：子模最大化

为了深入理解该研究中提出的五个猜想，首先需要对“子模最大化”（Submodular Maximization）这一核心领域有一个基本的认识。这是一个在组合优化、机器学习和博弈论等多个领域都有着广泛应用的数学分支。

子模函数的基本定义与性质

从直观上理解，一个集合函数 ​​f(S)​​​ 用来衡量集合 ​​S​​ 中元素的“价值”。在最简单的情况下，集合的价值等于其中所有元素独立价值的总和，这类函数被称为“模函数”（modular functions）。然而，在现实世界中，元素间的关系往往更为复杂，存在互补或替代效应。

• 互补性（Complementarity）：元素组合在一起的价值大于它们各自价值之和。例如，左脚的鞋和右脚的鞋，单独价值很低，但组合在一起价值大增。
• 替代性（Substitution）：元素组合在一起的价值小于它们各自价值之和。例如，一台电脑和一台平板电脑，功能多有重叠，同时拥有它们的总价值并非两者价值的简单相加。

子模函数（Submodular Functions） 正是用来描述这种“收益递减”（diminishing returns）或无互补性现象的数学工具。其形式化定义为：对于任意两个集合 ​​A​​​ 和 ​​B​​​，一个集合函数 ​​f​​​ 如果满足 ​​f(A) + f(B) ≥ f(A ∪ B) + f(A ∩ B)​​​，则称其为子模函数。一个等价且更直观的定义是：对于任意集合 ​​S ⊆ T​​​ 和任意不在 ​​T​​​ 中的元素 ​​u​​​，向 ​​S​​​ 中添加 ​​u​​​ 带来的价值增量，不小于向 ​​T​​​ 中添加 ​​u​​​ 带来的价值增量。即 ​​f(S ∪ {u}) - f(S) ≥ f(T ∪ {u}) - f(T)​​。

DR-子模函数、弱子模性与相关变体

该研究中的猜想涉及了子模函数的多种扩展和变体，这些概念对于理解问题的复杂性至关重要。

• DR-子模函数（DR-Submodular Functions）：这是子模性在连续域上的一个自然推广。对于一个在​​[0, 1]^n​​​ 上定义的可微函数​​f​​​，如果对于任意满足​​x ≤ y​​​（逐坐标比较）的向量​​x​​​ 和​​y​​​，其梯度也满足​​∇f(y) ≤ ∇f(x)​​（逐坐标比较），则称该函数为DR-子模函数。这捕捉了连续域中的收益递减特性。
• γ-弱子模性（γ-weak Submodularity）：这是对标准子模性的一个松弛。参数​​γ ∈ [0, 1]​​​ 控制了松弛的程度。当​​γ = 1​​​ 时，它就是标准的子模函数；当​​γ = 0​​ 时，它允许是任何集合函数。这个概念使得理论可以应用于那些不完全满足但“近似”满足子模性的函数。
• m-单调性（m-monotonicity）：这是对函数单调性（即​​f(A) ≥ f(B)​​​ 对于所有​​B ⊆ A​​​）的松弛。参数​​m​​​ 衡量了函数与单调性的接近程度，​​m=1​​ 对应标准单调函数。
• 约束类型：子模最大化问题通常是在特定约束下进行的，例如基数约束（集合大小不超过​​k​​）、拟阵约束（Matroid Constraint，捕捉了线性无关性等组合结构）或更复杂的p-系统约束。

为何选择子模最大化作为测试平台

研究者选择子模最大化作为测试平台是经过深思熟虑的。首先，这个领域的问题具体、动机明确，并且与人工智能的多个应用方向（如数据摘要、影响力最大化）紧密相关。其次，该领域拥有丰富的理论结构和成熟的证明技术，为评估模型的数学推理能力提供了坚实的基础。最后，通过引入弱子模性、部分单调性等变体，研究者可以灵活地调整问题的难度，并测试模型处理理论推广和组合的能力。

GPT-5 在五个猜想上的表现详析

研究的核心部分在于对GPT-5在五个具体猜想上的表现进行逐一分析。每个案例都揭示了模型能力的不同侧面，从近乎完美的证明适配，到闪现原创性的解决方案，再到在复杂推理面前的明显失败。

问题 1：单调与非单调DR-子模函数在凸集约束下的最大化

此问题旨在探索模型处理一个混合目标函数的能力，该函数是一个单调DR-子模函数与一个非单调DR-子模函数的和。

问题描述与研究者预期

研究者向GPT-5提出了以下问题：给定一个目标函数 ​​F(x) = G(x) + H(x)​​​，其中 ​​G​​​ 是非负、单调递增的DR-子模函数，​​H​​​ 是非负的DR-子模函数（不一定单调），约束条件为一个下闭凸多胞体 ​​P​​​。要求使用一篇给定的NeurIPS 2021论文 中的算法，为算法输出 ​​x​​​ 相对于最优解 ​​o​​​ 的性能提供一个形式为 ​​α * G(o) + β * H(o) - err​​​ 的下界。研究者的猜想是，一个类Frank-Wolfe算法可以达到 ​​α = 1 - 1/e​​​ 和 ​​β = 1/e​​ 的保证。

GPT-5 的解答策略与证明过程

GPT-5 在思考了2分49秒后给出了回应。它声称将运行论文中的“度量贪心Frank-Wolfe”（MGFW）算法，并对其证明进行适配，用非单调的DR-子模部分 ​​H​​ 替代原始分析中的凹函数部分。模型给出的最终保证与研究者的猜想完全一致：

• 对于单调部分​​G​​​，保证系数​​α = 1 - 1/e​​。
• 对于非单调部分​​H​​​，保证系数​​β = 1/e​​。

其证明过程严格遵循了原始论文的框架，分为三个步骤：

1. 单步进展分析：利用函数的光滑性（smoothness）和DR-子模性，推导了算法在一次迭代中目标函数值的增量下界。
2. 关联中间解与最优解：通过引入“单调性乘子”（monotonicity multipliers），将迭代过程中构造的中间解​​zi​​​ 的函数值与最优解​​o​​ 的函数值关联起来，得到了一个关键的递归不等式。
3. 求解递归式：通过对递归不等式进行归纳求解，最终在​​T = 1/ε​​​ 次迭代后，得出了所声称的​​α​​​ 和​​β​​ 值。

研究者的评估：正确但“懒惰”的证明适配

研究者评估认为，GPT-5的解答在整体上是正确的，但表现出一种类似人类专家的“懒惰”模式。

• 证明的正确性：模型成功地抓住了问题的核心，正确地将原始证明中的凹函数部分替换为DR-子模函数，并得出了预期的近似比。
• “懒惰”的两个体现：

跳过不变步骤：模型省略了许多与源论文 相比没有变化的证明细节，这使得其回答更像是一个高层次的证明草图，而非一个完全独立的证明。

固守原始结构：模型极力保持与原始证明的结构一致，即使在某些地方存在更自然或直接的推导方式。例如，它引入了通用的单调性乘子​​M(f, i)​​​，而没有直接根据​​G​​​ 的单调性和​​H​​ 的非单调性代入具体表达式，这使得证明显得比实际需要的更为通用和复杂。

• 细节上的小瑕疵：评估还指出了几个微小的不准确之处，例如在引用“标准掩码界限”时使用了非标准术语，在应用不等式时未提及或检查其成立条件，以及在最后一步推导​​β​​ 的下界时使用了错误的不等式（尽管结论恰好正确）。

总而言之，在问题1上，GPT-5展现了强大的模式匹配和证明适配能力。它能准确理解任务要求，并对一个已知的复杂证明进行正确的修改。然而，它也表现出一种“最小努力原则”，倾向于复用和微调，而非从头构建一个更清晰的论证。

问题 2：p-系统约束下单调子模函数的双标准最大化

这个问题将已知的拟阵约束下的双标准算法推广到更一般的p-系统约束，考验模型处理组合结构推广的能力。

问题描述与研究者预期

研究者要求GPT-5为一个在p-系统约束下的单调子模函数最大化问题设计一个双标准算法。双标准近似保证的形式为 ​​(1 - ε, g(ε))​​​，意味着算法找到的解 ​​S​​​ 满足 ​​f(S) ≥ (1 - ε)f(OPT)​​​，同时在某种意义上只比可行解“大”​​g(ε)​​​倍。研究者基于一篇关于拟阵约束的论文，猜想对于p-系统，一个简单的贪心算法可以达到 ​​(1 - ε, ⌈log_{p+1} (1/ε)⌉)​​ 的保证。

GPT-5 的解答策略与证明过程

GPT-5 在思考了2分57秒后，提出了一个多轮贪心算法，并给出了一个与研究者猜想不同的保证。

• 算法：该算法非常简洁，执行​​ℓ​​​ 轮标准的贪心算法。在每一轮中，它最大化相对于前几轮已选集合的边际收益​​f(· | S_{i-1})​​​，并将该轮产生的独立集​​T_i​​ 并入总集合。
• 近似保证：模型证明其算法可以达到​​(1 - ε, g_p(ε))​​​ 的双标准保证，其中​​g_p(ε) = ⌈ln(1/ε) / ln((p+1)/p)⌉​​​，约等于​​(p+1)ln(1/ε)​​。

其证明逻辑如下：

1. 可行性界定：由于算法返回​​ℓ​​​ 个独立集的并集，其解的大小自然地被​​ℓ​​ 倍的某个可行解所约束，满足了双标准定义的一半。
2. 价值界定：关键在于分析函数值的增长。利用p-系统上标准贪心算法的​​1/(p+1)​​​ 近似比，模型推导出在每一轮​​i​​​，当前解与最优解之间的“差距”​​f(OPT) - f(S_i)​​​ 会以​​p/(p+1)​​​ 的比例缩小。经过​​ℓ​​​ 轮迭代后，这个差距将变为​​(p/(p+1))^ℓ * f(OPT)​​​。通过选择合适的​​ℓ​​​（即​​g_p(ε)​​​），可以使这个差距小于​​ε * f(OPT)​​​，从而保证​​f(S_ℓ) ≥ (1 - ε)f(OPT)​​。

研究者的评估：超越预期的原创性解决方案

研究者对GPT-5在这个问题上的表现给予了高度评价，认为它甚至反驳了他们自己最初的猜想，并提供了一个更合理且有效的解决方案。

• 正确且更合理的结果：GPT-5推导出的 infeasibility ratio​​g_p(ε) = log_{1+1/p}(1/ε)​​​，与研究者猜想的​​log_{1+p}(1/ε)​​​ 不同。研究者指出，GPT-5的版本更有意义，因为随着​​p​​ 的增大（约束变弱）， infeasibility ratio 应该变差（增大），而模型的公式恰好满足这一点，研究者的猜想则相反。
• 证明基本正确：尽管存在一个小瑕疵（在推导​​f(OPT) - f(S_ℓ) ≤ ε · f(OPT)​​ 时插入了一个不必要且有损耗的不等式），但其核心逻辑和最终结论是正确的。
• 未能识别特例：一个有趣的观察是，当​​p=1​​​（拟阵情况）时，GPT-5的公式​​g_1(ε)​​​ 精确地等于​​⌈log_2(1/ε)⌉​​​，这与它引用的参考论文 中的一个结果完全吻合。然而，模型在其注释中未能识别出这一点，因为它使用了自己推导的一个较松的​​g_1(ε)​​上界进行比较，从而“忘记”了自己结果的精确形式。

这个问题展示了GPT-5不仅能适配证明，还能在一定程度上进行原创性的推导，甚至修正了人类专家的初步直觉。这无疑是模型展现出“数学成熟度”的一个重要迹象。

问题 3：弱DR-子模函数在凸集约束下的最大化

此问题引入了对DR-子模性的松弛（γ-弱DR-子模性），旨在测试模型处理新定义和参数化理论的能力。

问题描述与研究者预期

研究者定义了一个新的概念——​​γ​​​-弱DR-子模函数，并要求GPT-5为在这类函数上的最大化问题设计一个算法并给出近似保证。研究者猜想，一篇关于DR-子模函数的论文 中提出的类Frank-Wolfe算法，可以为这个问题提供 ​​1 - e^{-γ}​​ 的近似保证。

GPT-5 的解答策略与证明过程

GPT-5 在1分47秒的思考后，迅速确认了研究者的猜想。它提出了一个基于Frank-Wolfe的算法，并声称其近似保证为 ​​(1 - e^{-αγ})​​​，其中 ​​α​​​ 是线性预言机（linear oracle）的精度。当使用精确预言机时（​​α=1​​），这与研究者的猜想完全一致。

模型的第一次回应非常简洁，更像是一个高层概述，它指出证明过程与标准DR-子模情况下的分析非常相似，唯一的关键变化在于，由于​​γ​​​-弱DR-子模性的定义，在推导边际收益下界时会引入一个额外的 ​​γ​​​ 因子，这个因子最终在指数上体现出来，将 ​​1 - 1/e​​​ 的经典保证变成了 ​​1 - e^{-γ}​​。

由于初版回答省略了大量中间步骤，研究者追问要求提供“完整证明”。GPT-5 在4分32秒后生成了一个更详尽、自包含的证明。这个版本严格遵循了参考论文 的分析框架，包括：

1. 关键不等式推导：从​​γ​​​-弱DR-子模性的定义出发，推导出​​⟨v_k, ∇F(x_k)⟩ ≥ αγ [F(x^*) - F(x_k)]​​，这是整个证明的核心，将新定义的性质与算法的单步进展联系起来。
2. 利用光滑性进行单步分析：结合函数的光滑性，得到关于函数值增量的递归不等式​​∆_{k+1} ≤ (1 - αγγ_k)∆_k + L/2 * γ_k^2​​。
3. 求解递归式：通过解这个递归关系，最终得到了​​(1 - e^{-αγ})​​ 的近似比。

研究者的评估：基本正确但细节待完善

研究者认为GPT-5的回答在总体上是正确的，但也存在一些问题，主要源于其对参考论文的“盲从”和一些不严谨的表述。

• 不必要的约束：模型在其回答中假设可行集​​C​​ 是下闭的（down-closed），这是一个在许多相关文献中常见但在此问题中并非必要的假设。模型只是沿用了文献的习惯，而没有洞察到该假设可以被移除。
• 奇怪的措辞：模型使用了一些非标准术语，如用“value factor”代替“approximation ratio”，并引用了未具体说明的“Algorithm 1 + Theorem 1”。
• 过度复杂的证明结构：在详细版的证明中，模型完全复制了参考论文 中使用可变步长的分析框架，直到最后才简化为固定步长。这使得证明比必要的更加复杂。更直接的方法是从一开始就使用固定步长进行分析。
• 微小错误：证明中存在一些小错误，例如混淆了研究者新定义的​​γ​​​-弱DR-子模性与文献中已有的弱DR-子模性概念，以及对​​F(0)=0​​​ 的错误断言（实际上只需​​F(0)≥0​​）。

此案例表明，GPT-5能够成功地将一个新的参数化定义整合进一个已知的证明框架中。然而，它倾向于机械地复制文献的结构，缺乏对证明进行简化和提炼的能力，并且在细节的严谨性上仍有欠缺。

问题 4：基数约束下部分单调弱子模函数的最大化

这是第一个模型完全失败的问题，它要求模型结合两种不同的理论松弛：部分单调性（m-monotonicity）和弱子模性（γ-weak submodularity）。

问题描述与研究者预期

研究者提供了两篇独立的论文，一篇 定义了m-单调性，另一篇 研究了非单调弱子模函数的最大化。问题是要求GPT-5为同时满足m-单调和γ-弱子模的函数，在基数约束下找到一个近似最大化算法。研究者的猜想是，通过将m-单调性的性质代入论文 的证明框架中，可以得到一个随着 ​​m​​​ 和 ​​γ​​ 平滑改进的近似保证。

GPT-5 的解答策略与证明过程

GPT-5的第一次尝试（思考2分52秒）完全没有解决问题。它只是罗列了一些已知的特例结果：

• 如果忽略m-单调性，可以使用已知的非单调弱子模函数的结果。
• 如果函数是完全单调的（​​m=1​​），可以使用已知的单调弱子模函数的结果。
• 如果函数是完全子模的（​​γ=1​​），可以使用已知的m-单调子模函数的结果。 这完全回避了问题的核心——如何结合这两种性质。

在研究者明确要求“找到一个保证随着m和γ平滑改进的算法”后，GPT-5 进行了长达11分44秒的思考，并给出了一个看似详尽且复杂的证明。它声称标准的“带虚拟元素的随机贪心”算法可以得到一个平滑依赖于 ​​m​​​ 和 ​​γ​​​ 的保证：​​E[f(S_k)] ≥ [m(1 - e^{-γ}) + (1 - m)γ/e] f(OPT)​​。

这个证明过程极其复杂，它试图将两篇论文的分析技术融合在一起：

1. 它从论文 中借用了基于“局部弱子模比率”的单步进展分析。
2. 它从论文 中借用了基于“部分单调性”和Lovász扩展来界定“联合价值”​​E[f(S_{i-1} ∪ OPT)]​​的方法。
3. 它试图通过一个复杂的代数推导（包括一个自创的“微积分不等式”(MIX)）将这两部分结合起来，建立一个关于​​E[f(S_i)]​​ 的递归式并求解。

研究者的评估：综合推理失败的典型案例

研究者在仔细审查后，判定GPT-5的第二次尝试是一个彻底的失败，其证明包含了多个致命的错误。

• 核心假设的错误应用：证明的关键一步依赖于一个名为 (PM) 的不等式，该不等式利用Lovász扩展来处理部分单调性。GPT-5声称可以应用这个不等式，但研究者一针见血地指出，Lovász扩展及其相关性质仅对子模函数成立，对于弱子模函数是无效的。这个错误从根本上摧毁了整个证明的逻辑基础。
• 不合理的代数推导：在推导不等式 (3) 时，模型做出了一个没有根据的代数步骤，并且其为该步骤提供的辩护也是无效的。它似乎忽略了在移除了某些项之后，无法再保证另一些项的非负性，这是一个微妙但关键的逻辑漏洞。
• 其他多处错误：评估还指出了许多其他错误，包括：在关键不等式 (LSR) 和 (P) 中遗漏了因子；为了处理其自己引入的（不必要的）局部比率而使用了非常弱的界；对一个简单代数不等式给出了不恰当的“微积分不等式”的标题；在最后解递归式时对一个乘积项进行了无理的丢弃。

问题4的失败是一个标志性的案例。它清晰地揭示了GPT-5在进行跨论文、跨理论的综合推理时的严重局限性。当问题不再是简单地适配或推广单个证明框架，而是需要创造性地融合来自不同理论体系的工具时，模型便会“凭空捏造”看似合理但实则错误的逻辑链条，最终导致了“看似令人信服但从根本上是错误的”输出。

问题 5：拟阵交约束下单调弱子模函数的最大化

这是研究中最后一个，也是难度最高的问题。它要求将单拟阵约束下的弱子模最大化算法推广到双拟阵交约束。

问题描述与研究者预期

研究者提供了一篇研究单拟阵约束下弱子模最大化的论文，该论文给出了 ​​(1 + 1/γ)^{-2}​​ 的近似比。问题是要求为双拟阵交约束下的同一问题提供一个算法和完整的证明。研究者最初的猜想是，论文 中的算法和分析技术可以被直接扩展到双拟阵交的情况，尽管会得到一个更差的保证。他们设想的算法是“随机贪心算法”（Algorithm 1）。

GPT-5 的解答策略与证明过程

GPT-5 在思考了10分43秒后，确实提出了一个与研究者设想的 Algorithm 1 非常相似的算法，并为其提供了一个完整的、看似严谨的证明，声称可以达到 ​​(γ / (γ + 2))^2​​ 的近似保证。

其证明框架模仿了参考论文 对单拟阵情况的分析，分为几个步骤：

1. 双拟阵交换耦合：这是证明中最具“创造性”的部分。它试图将单拟阵情况下的基交换引理（Brualdi's bijection lemma）推广到双拟阵交。对于当前解​​S_{i-1}​​​ 的一个最大权重补集​​M_i​​​ 和一个最优补集​​OPT_i​​​，它分别在两个拟阵​​M1​​​ 和​​M2​​​ 中应用交换引理，为​​M_i​​​ 中的每个元素​​u​​​ 找到一个在​​OPT_i​​​ 中的“阻碍集”​​Ψ_i(u)​​​（包含一到两个元素），移除这个阻碍集可以让​​u​​​ 加入​​OPT_i​​ 仍保持双重独立性。
2. 进展不等式：基于这个交换结构和​​M_i​​​ 的最大权重性质，模型推导出一个关键的权重支配关系，并最终得到一个单步进展不等式，声称​​E[f(S_i) - f(S_{i-1})]​​​ 的下界与​​f(OPT_i | S_{i-1})​​​ 相关，但比单拟阵情况多了一个​​1/2​​ 的损失因子。
3. 衰减不等式：模型声称，在每一轮随机选择一个元素​​u_i​​​ 后，可以通过移除其阻碍集​​Ψ_i(u_i)​​ 来更新“残余最优解”，并断言残余最优解的期望价值会以一种可控的方式衰减。
4. 求解递归式：结合进展不等式和衰减不等式，建立递归关系并求解，最终得到​​(γ / (γ + 2))^2​​ 的结果。

研究者的评估：识别正确路径但分析失败，揭示问题深度

与问题4类似，研究者发现GPT-5的这个证明同样充满了根本性的错误。然而，这个案例的特殊之处在于，模型的失败过程反而帮助研究者认识到这个问题比他们最初预想的要困难得多。

• 对组合结构的根本性误解：最致命的错误在于，模型似乎完全没有理解“移除两个元素”和“移除一个元素”在组合结构上的巨大差异。在衰减不等式的分析中，它错误地认为在每一轮从残余最优解中移除了​​Ψ_i(u_i)​​（可能包含两个元素）后，其期望大小只减少1。这导致其关于残余最优解价值衰减的引理（Lemma 1）及其证明是完全错误的。
• 算法本身存在缺陷：模型提出的算法（RRG-2MI）本身就有问题。它迭代​​r​​​ 轮（​​r​​​ 是最大可行解的大小），但由于双拟阵交的结构，很可能在远少于​​r​​​ 轮之后就无法再添加任何元素了。此外，它假设在每一步总能找到一个大小为​​r-i+1​​​ 的补集​​M_i​​，这个假设在双拟阵交中通常不成立。
• 多处逻辑和代数错误：评估报告还列举了大量其他错误，包括：一个毫无意义的集合交集操作；一个完全错误的权重支配不等式 (2)；对一个关键不等式 (3) 的含糊证明（尽管一个更强的结论可以被轻易证明）；在最终结果中遗漏了一个误差项；对其结果在单拟阵特例下的不确定断言；以及对尚不存在的“弱子模函数的内容竞争方案”的幻想式引用。

尽管GPT-5的证明是错误的，但它指出了正确的算法方向（随机贪心），并且其失败的尝试（特别是它构造的双拟阵交换结构）揭示了将单拟阵分析推广到双拟阵交时真正的困难所在。研究者坦承，在研究了GPT-5的错误回答后，他们意识到要为这个算法提供一个有意义的保证，比他们最初想象的要“更具挑战性”。这从一个侧面说明，即使是错误的AI输出，有时也能激发人类研究者更深层次的思考。

研究方法与结果评估

这篇论文通过“哥德尔测试”这一新颖视角，对GPT-5的数学推理能力进行了有价值的初步探索。其研究设计和结论都值得深入评估。

研究设计的优点

该研究的设计展现了几个显著的优点，使其在众多关于LLM数学能力的评估中脱颖而出。

• 创新的评估框架：“哥德尔测试”：该研究没有停留在评估模型解决已有问题的能力上，而是提出了一个更接近真实科研过程的“哥德尔测试”框架。这个框架关注模型面对全新、未解猜想时的原创性推理能力，为衡量AI在科学发现中的潜力提供了一个更有意义的基准。
• 领域专注性与问题原创性：通过将问题限制在研究者自身专长的子模最大化领域，研究得以确保所提出猜想的原创性和适度的难度。这避免了模型仅凭其庞大训练数据中的“记忆”来解决问题的可能性，从而更真实地测试其推理能力。同时，领域专长也使得研究者能够对模型的输出进行精准、深入的专家级评估。
• 最小化提示的评估方式：实验中有意避免了对模型进行大量引导和提示，模拟了数学研究中独立探索的场景。这种“零样本”或“少样本”的提问方式，更能揭示模型自主的、内在的推理能力，而不是在人类指导下完成任务的能力。

研究的局限性与潜在问题

研究者在论文中坦诚地指出了该研究存在的多项局限性，这些局限性对于客观看待其结论至关重要。

• 样本量过小与模型单一性：整个研究仅基于五个猜想和一款模型（GPT-5）。这是一个非常小的样本，其结论的普适性有限。对每个证明的仔细验证是高度耗时和劳动密集的过程，这限制了研究的规模。因此，我们无法确定观察到的现象（如“懒惰”推理、综合能力瓶颈）是GPT-5特有的，还是当前所有前沿模型的共性。
• 评估过程的主观性与劳动密集性：对一个数学证明的正确性、优雅性和原创性的评估，本质上带有一定的主观判断。此外，验证一个看似正确的复杂证明是否真的无懈可击，需要投入大量的人类专家时间。这使得“哥德尔测试”的规模化应用面临巨大挑战。
• 猜想原创性的不确定性：尽管研究者已尽力确保猜想的原创性，但他们也风趣地引用了一个轶事来说明，在浩如烟海的数学文献中，完全确保一个“简单”猜想前无古人是极其困难的。

对GPT-5能力评估的深入剖析

基于五个案例的详细分析，该研究揭示了关于GPT-5数学推理能力的几个深刻洞见。

“看似正确”的幻觉：对数学推理的潜在风险

该研究最重要的发现之一是，GPT-5能够生成“在表面上看起来正确，甚至令人信服，但实际上包含深层谬误”的证明。这一点在问题4和问题5的失败案例中表现得淋漓尽致。模型能够熟练地运用专业术语、模仿标准证明的格式和行文风格，构建出逻辑上看似连贯的复杂论证。然而，只有经过专家的逐行审查，才能发现其在关键假设的应用或核心组合结构的理解上存在致命缺陷。

这揭示了一个重大风险：随着模型变得越来越“能言善辩”，非专家用户，甚至是没有足够时间进行深入核查的专家，都很容易被其错误的输出所误导。在数学和科学研究等要求绝对严谨的领域，这种“自信的错误”可能比“坦率的无知”更具危害性。

“懒惰”推理模式的根源与启示

在问题1和问题3中观察到的“懒惰”推理模式——即倾向于复用和微调现有证明，而非从头构建——也颇具启发性。这种行为模式非常像一个试图以最小努力完成任务的人类学生。从模型的角度看，这可能是其基于Transformer架构的“模式匹配”和“序列预测”本质的体现。当面对一个与训练数据中某个已知模板高度相似的问题时，模型最“经济”的策略就是复现该模板，并对不匹配的部分进行局部修改。

这启示我们，当前LLM的“推理”可能在很大程度上仍是一种高级的、结构化的模式匹配，而非真正意义上基于公理和逻辑规则的符号推演。要实现更灵活、更具原创性的推理，可能需要新的模型架构或训练范式。

综合推理能力的瓶颈分析

问题4的失败清晰地标示出GPT-5在综合推理（integrative reasoning） 上的瓶颈。当一个问题需要融合来自不同理论背景的多个概念和工具时，模型表现出明显的困难。它没能理解两种不同理论松弛（m-单调性和γ-弱子模性）之间深刻的相互作用，而是尝试进行一种机械的、表面的“拼接”，最终导致了核心假设的错误应用。

这表明，模型的“理解”可能是局部的和上下文相关的。它能很好地在一个固定的理论框架内进行操作，但当需要跨越框架、建立新的联系时，其能力就捉襟见肘了。这或许是从“合格的毕业生”到“独立的青年研究员”所需跨越的最关键的一步。

重大问题详析：问题4与问题5的失败案例

这两个失败案例是理解GPT-5当前能力边界的关键。

问题4的失败根源：未能融合两种理论松弛

问题4的失败根源在于，弱子模性破坏了子模性的一个关键结构——Lovász扩展的良好性质。而m-单调性的分析框架恰恰严重依赖于这个性质。一个真正理解这些概念的“数学家”会立刻意识到这种根本性的不兼容，从而寻找全新的分析路径。而GPT-5则像一个只记住了公式和步骤但不明其所以然的学生，强行将不兼容的两个工具捏合在一起，导致了证明的崩溃。这暴露了其缺乏对数学工具背后深层结构和适用边界的理解。

问题5的失败根源：对复杂组合结构的理解偏差

问题5的失败则更多地体现在对复杂组合结构的动态演化过程的误解上。双拟阵交的结构远比单拟阵复杂。在算法的每一步，移除一个元素的“阻碍集”可能会移除两个元素，这彻底改变了残余问题的结构和规模。GPT-5的分析完全忽略了这一点，机械地套用单拟阵情况下“每次迭代问题规模减一”的简单模型。这表明，模型对于算法执行过程中状态空间的动态变化缺乏准确的追踪和建模能力，尤其是在涉及到复杂组合约束时。

结论与展望：迈向通用数学推理的第一步？

这项基于“哥德尔测试”的初步研究，为我们提供了一个关于前沿大语言模型GPT-5在高等数学推理领域能力的珍贵快照。尽管样本量有限，但其观察和结论具有深刻的启示意义。

研究核心发现总结

• 单路径推理表现良好：当一个问题可以通过对单个已知证明进行直接适配或简单推广来解决时，GPT-5表现出色，能够产出近乎正确的解决方案（问题1, 2, 3）。
• 偶现原创性火花：在问题2中，GPT-5不仅解决了问题，还提供了一个比人类专家最初猜想更优、更合理的答案，展现了出人意料的原创性。
• 综合推理能力是主要瓶颈：当问题需要融合来自不同论文或理论体系的多个洞见时，模型表现出严重困难，其尝试往往是机械的拼接，并导致根本性的逻辑错误（问题4, 5）。
• “看似正确”的幻觉是潜在风险：模型能够生成在表面上极具说服力但实则错误的证明，这对未来AI在严肃科学领域的应用提出了警示。
• 失败亦有价值：在问题5中，模型失败的尝试帮助人类研究者更深刻地认识到问题的内在难度，这表明人机协作在数学研究中具有潜在价值，即使AI的输出是错误的。

对未来AI模型发展的启示

这项研究的结果对未来AI模型的发展方向提供了几点思考。提升模型的综合推理能力和跨领域知识整合能力，应成为下一代模型研发的重点。接下来，需要探索如何让模型更好地理解数学概念背后的深层结构和公理基础，而不仅仅是表面的符号模式。最后，开发能够自我验证、或至少能够表达其“不确定性”的模型，对于降低“看似正确”的风险至关重要。

“哥德尔测试”的长期愿景

这项研究只是一个起点。研究者呼吁更广泛的科学界参与进来，提出新的、不同领域的简单猜想，对更多的前沿模型进行测试。“哥德尔测试”的长期愿景，是建立一个持续的、动态的基准，以衡量并推动AI在原创性科学发现方面的进展。

相对于早期模型，GPT-5在基础数学能力和偶尔的原创性上显示出明显的进步，这让我们有理由保持谨慎的乐观。或许在未来几年内，随着模型能力的进一步迭代和与符号计算、形式化证明助手等工具的深度融合，我们真的能够见证AI从一个“平庸的研究生”，成长为一个“合格的研究生”，并最终系统性地通过“哥德尔测试”，成为人类探索数学与科学未知疆域的得力伙伴。

最后用论文中引述的陶哲轩的那个判断作结吧，这个毕竟是专业的数学家对于大模型数学能力分界的专业阐述：

“The new model could work its way to a correct (and well-written) solution if provided a lot of hints and prodding, but did not generate the key conceptual ideas on its own, and did make some non-trivial mistakes. The experience seemed roughly on par with trying to advise a mediocre, but not completely incompetent, graduate student. However, this was an improvement over previous models, whose capability was closer to an actually incompetent graduate student. It may only take one or two further iterations of improved capability (and integration with other tools, such as computer algebra packages and proof assistants) until the level of ‘competent graduate student’ is reached.”

— Terence Tao

翻译如下：

“在获得大量提示和引导的情况下，这个新模型能够一步步推导出一个正确且表述优美的解决方案。然而，它无法独立地产生出那些关键性的概念想法，并且还会犯下一些不容忽视的错误。

总的来说，这次的体验大致相当于指导一名资质平庸、但还不算完全无能的研究生。

不过，这已经比之前的模型有了显著的进步，因为过去模型的水平更接近于一个确实无能的研究生。或许我们只需要再进行一两次能力迭代（并与计算机代数系统、证明助手等工具相集成），它就能达到‘称职研究生’的水准了。”

参考链接： https://arxiv.org/abs/2509.18383v1

本文转载自​​上堵吟​​，作者：一路到底的孟子敬