沿最优输运方向的重整化可能是世界演化的核心方式

发布于 2025-5-16 06:17
浏览
0收藏

早在2014年,Mehta和Schwab就证明了“基于受限玻尔兹曼机(RBM)的深度模型和变分RG之间存在精确对应”。深度网络底层神经元捕捉细节,高层神经元提取抽象特征,本质上等同于RG中积分掉高频自由度压缩与粗化信息的过程。

2022年Erdmenger等学者引入相对熵、最优输运(OT)等非微扰工具,来描述深度网络,证明多层神经网络的特征提取过程与RG的粗粒化步骤具有形式一致性。深度学习并非在模仿物理,而是在自然演化中与物理过程趋同。

沿最优输运方向的重整化可能是世界演化的核心方式-AI.x社区图片

沿最优输运方向重整化

重整化群流作为最优输运,不仅确定了精确重整化群流的方程等效于场的相对熵的最优输运梯度流,还巧妙的使用最优输运的思想将重整化群转化为变分问题。笔者进一步总结:

尺度变换的每一步,RG Flow 的流向,都将沿着最优输运的方向进行,也就是物理量的 RG Flow 尺度变换前的概率分布与尺度变换后的概率分布的距离最近的方向,而这就是Wasserstein 距离决定的方向。

Wasserstein 距离是概率分布空间上的距离度量,在最优输运中起着核心作用,用于衡量两个概率分布之间的距离。世界的不断演进,都是冥冥中遵循最小化各种代价或成本的方式进行,最优输运某种意义上是自然演化的必然方向和准则。

沿最优输运方向的重整化可能是世界演化的核心方式-AI.x社区

大模型数理认知框架

笔者借鉴类似思想,构建了大模型的数理认知框架:1、重整化从海量语料中提取出范畴,2、持续重整化驱动范畴解构重组结晶,3、于范畴中采样变分生成,即逆重整化过程。这里的重整化,均沿最优输运方向进行。

沿最优输运方向的重整化可能是世界演化的核心方式-AI.x社区图片

数理框架的核心视角是将深度网络的后续层看作沿着最优输运方向的 RG 流。到目前为止,用这个数理框架来理解和解释大模型的各种行为特征,分析预判相应的技术与行业演进方向,均表现健全且自洽。

自旋玻璃与重整化

数据雕刻自旋玻璃中笔者介绍过spin-transformer :一个可微的矢量自旋系统,由数据驱动,其集体行为可以通过训练来塑造。这是一个高度自适应的系统,其中自旋交互形势全景本身是由输入动态塑造的。

自旋玻璃实际上不是玻璃,而是形象化比喻一个网络状的自旋系统。"玻璃"二字形容自旋方向的无规则分布,自旋玻璃的集体微观无序到宏观有序行为,天然适合用重整化描述。

一个由大量自由度描述的无序系统,逐级尺度执行粗粒度化操作,自由度子集被组合在一起平均,形成新的集体变量或隐变量。遵循成本最低原则即最优输运的重整化,成为刻画这些系统物理本质特征的最佳方式。

沿最优输运方向的重整化可能是世界演化的核心方式-AI.x社区图片

自旋玻璃是自然界中众多复杂体系的代表,在物理世界中无处不在、无时不有。研究清楚其特征和规律对认知其他复杂体系可以触类旁通,从构建迁移学习的统计模型,到整合量子场论与爱因斯坦引力。

自旋玻璃角度看迁移学习

迁移学习(TL)使用从相关源任务获得的信息来提高特定目标任务的泛化性能。尽管经验结果证明了TL功能强大,其理论基础却至今不够清晰,尤其是在有限宽度的设定下,或者当源与目标任务在结构上相关却不完全相同时。

利用深度学习理论比例极限机制的最新进展,结合自旋玻璃理论中经典“Franz-Parisi ”形式、核重整化方法等统计力学的工具,最近的研究【文献1】提出了一种新的TL理论方法。

在比例极限中,TL通过重整化的源-目标核函数实现——该核函数量化任务间关联性并决定TL是否能改善泛化性能,也就是精确量化TL何时或如何改善泛化能力,以及在什么条件下会变得无效甚至有害。

沿最优输运方向的重整化可能是世界演化的核心方式-AI.x社区

重整化弥合引力与量子场论

读者或许了解,现代物理学两大基石 - 量子场论与爱因斯坦引力理论之间存在根本性矛盾。量子理论描述微观世界的概率性粒子相互作用,而广义相对论诠释宏观物体的引力现象。将引力纳入统一框架是几代物理学家的夙愿。

量子场论运用的是与量子场内部自由度相关的紧致有限维对称性,而广义相对论则建立在非紧致无限维外部时空对称性之上。【文献2】试图借助重整化加持的新型量子引力理论,利用紧致有限维对称性推导引力规范。

在一个自洽的数学框架内,标准模型所有基本相互作用的量子场共同描述引力。论文给出了统一引力的费曼规则,研究了一阶项的可重整化性及辐射修正。等效原理要求惯性质量与引力质量的重整化值相等。

沿最优输运方向的重整化可能是世界演化的核心方式-AI.x社区

统一引力有望为构建完整的、可重整化的量子引力理论奠定基础。新理论通过"重整化"处理计算中出现的无穷大量,证明在"一阶项"计算中有效,但高阶项的有效性尚未完整证明。学者们相信成功概率很高,一旦成功,将是革命性的。

虽然论文没有明确重整化的方向,其遵循的物理壳层重整化方案(On-Shell Renormalization Scheme)严格遵循自由粒子的质量、能量和动量关系,因而笔者判断其天然符合自然演化的规律,类似最优输运的最小成本方向。

生成化学反应过渡态的最优输运方法

Nature上有一项来自化学反应过渡态(TS:transition state)领域的有趣的研究【文献3】 -- 用于生成化学反应过渡态的最优输运方法。让我们惊讶于最优输运在自然界的广泛存在与意义。

化学反应TS是瞬态结构,对于理解反应机理和设计催化剂至关重要,但通过实验捕获极具挑战性。论文开发了基于最优输运的方法React-OT,可从反应物和产物生成独特的TS结构。笔者理解类似该领域的AlphaFold。

沿最优输运方向的重整化可能是世界演化的核心方式-AI.x社区

React-OT方法的核心创新在于将反应物到产物的结构转换建模为最优输运问题。通过流匹配(flow matching)技术,构建从反应物分布到产物分布的确定性传输路径,而过渡态恰好对应于传输过程中"质量"重新分配剧烈的临界点(critical point)。

高阶拉普拉斯重整化中探讨过临界点不稳定,常常发生对称性破缺,导致剧烈的相变。相变是重整化流中的特殊阶段,是最剧烈和难以把控的部分,但从React-OT的效果可以推断其同样遵循最优输运的方向。

这种视角将化学反应动力学与概率分布的演化联系起来。大规模预训练实际上是在构建化学空间的基础度量,即学习如何准确衡量不同分子结构之间的"距离"。这种度量决定了过渡态间传输成本函数的合理性,前景同样堪比AlphaFold。

世界演化的核心方式

从微观到宏观,从物理变化弥合量子场论与引力,到化学反应复杂剧烈的能量与物质交换,重整化和最优输运这两个好搭档,与自然现象相伴相生。物理变化化学反应本质并无差异,只是相变的时间尺度和剧烈程度的不同。

道生万物的现代物理学解读中笔者讲万事万物不过是能量传递与演化的不同方式。重整化带来不同的尺度,而最优输运则决定演化的方向。

沿最优输运方向的重整化可能是世界演化的核心方式-AI.x社区

道生“能量”,能量“源”“汇”分布,产生“空间”;“源”“汇”的相互流动产生“时间”;能量流动的尺度和速度,决定不同的时空,也促成能量到“质量”的转换,从“波”到“粒子”。

能量在时空中流动,穿越边界的通量变化,派生散度与旋度,即电场和磁场;波放慢速度钝化成粒子(薛定谔的爱情与狄拉克的996),粒子构成化学元素,元素物理变化或者化学反应形成实物世界。自由能喂食生命体;能量分布的辨识产生信息;对信息的分尺度重整化即为认知。获取能量分布的局部认知,进一步推断出原始整体分布,就是学习和智能。 

文献1,Statistical mechanics of transfer learning in fully-connected networks in the proportional limit,https://arxiv.org/html/2407.07168v1

文献2,Gravity generated by four one-dimensional unitary gauge symmetries and the Standard Model,https://iopscience.iop.org/article/10.1088/1361-6633/adc82e/pdf

文献3,Optimal transport for generating transition states in chemical reactions,https://www.nature.com/articles/s42256-025-01010-0

本文转载自​​​​​​​清熙​​​,作者:王庆法

收藏
回复
举报
回复
相关推荐