扩散模型攻克算法难题,AGI不远了!谷歌大脑找到迷宫最短路径

人工智能
GAN、VAE、大型自回归神经网络模型、归一化流等方法,在样本质量、采样速度、对数似然,以及训练稳定性方面都各有千秋。

「扩散模型」也能攻克算法难题?

图片图片

一位博士研究人员做了一个有趣的实验,用「离散扩散」寻找用图像表示的迷宫中的最短路径。

图片图片

作者介绍,每个迷宫都是通过反复添加水平和垂直墙生成的。

其中,起始点和目标点随机选取。

从起点到目标点的最短路径中,随机采样一条作为解决方案的路径。最短路径是通过精确算法算出来的。

图片图片

然后使用离散扩散模型和U-Net。

将起点和目标的迷宫被编码在一个通道中,而模型在另一个通道中用解来消除迷宫的噪声。

图片图片

再难一点的迷宫,也能做的很好。

图片图片

为了估算去噪步骤 p(x_{t-1} | x_t),算法会估算 p(x_0 | x_t)。在这个过程中可视化这一估计值(底行),显示「当前假设」,最终聚焦在结果上。

图片图片

英伟达高级科学家Jim Fan表示,这是一个有趣的实验,扩散模型可以「渲染」算法。它可以仅从像素实现迷宫遍历,甚至使用了比Transforme弱得多的U-Net。

我一直认为扩散模型是渲染器,而Transformer是推理引擎。看起来,渲染器本身也可以编码非常复杂的顺序算法。

图片图片

这个实验简直惊呆了网友,「扩散模型还能做什么?!」

图片图片

还有人表示,一旦有人在足够好的数据集上训练扩散Transformer,AGI就解决了。

图片图片

不过这项研究还未正式发布,作者表示稍后更新在arxiv上。

值得一提的是,这个实验中,他们采用了谷歌大脑团队曾在2021年提出的离散扩散模型。

图片图片

就在最近,这项研究重新更新了一版。

离散扩散模型

「生成模型」是机器学习中的核心问题。

它既可用于衡量我们捕获自然数据集统计数据的能力,也可用于需要生成图像、文本和语音等高维数据的下游应用程序。

GAN、VAE、大型自回归神经网络模型、归一化流等方法,在样本质量、采样速度、对数似然,以及训练稳定性方面都各有千秋。

最近,「扩散模型」已成为图像、音频生成,最受欢迎的替代方案。

它可以用更少的推理步骤,实现了与GAN相当的样本质量,以及与自回归模型相当的对数似然。

图片图片

论文地址:https://arxiv.org/pdf/2107.03006.pdf

虽然已有人提出了离散和连续状态空间的扩散模型,但最近的研究主要集中在,连续状态空间中运行的高斯扩散过程(如实值图像和波形数据)。

离散状态空间的扩散模型,已在文本和图像分割领域进行了探索,但是还没有在文本和图像的大规模生成任务中,证明是一个有竞争力的模型。

谷歌研究团队提出了一种全新的离散去噪扩散概率模型(D3PM)。

研究中,作者证明了过度矩阵的选择是一个重要的设计决策,它能改善图像和文本领域的结果。

此外,他们还提出了一种新的损失函数,它结合了变分下界和辅助的交叉熵损失。

在文本方面,这个模型在字符级文本生成方面取得了很好的效果,同时可以扩展到大词汇量的LM1B数据集上。

在CIFAR-10图像数据集上,最新模型接近了连续空间DDPM模型的样本质量,并超过了连续空间 DDPM 模型的对数似然。

图片图片

项目作者

Arnaud Pannatier

图片

Arnaud Pannatier从2020年3月在导师François Fleuret的机器学习小组开始攻读博士学位。

他最近开发了HyperMixer,使用超级网络让MLPMixer能够处理各种长度输入。这使得模型能够以一种排列不变的方式处理输入,并证明了它给了模型一种随着输入长度线性扩展的注意力行为。

在EPFL,他先后获得了物理学学士学位和计算机科学与工程硕士学位(CSE-MASH)。

参考资料:

https://arxiv.org/pdf/2107.03006.pdf

https://x.com/DrJimFan/status/1762888644933902681?s=20

责任编辑:武晓燕 来源: 新智元
相关推荐

2011-05-17 13:58:37

最短路径

2013-04-23 09:31:52

SQL Server

2024-01-06 17:19:16

模型AI

2011-12-19 12:39:37

Java

2021-05-10 08:07:40

图算法路径顶点

2021-03-10 09:50:15

算法Dijkstra短路问题

2022-10-20 15:38:02

谷歌模型

2015-07-16 14:25:56

SDN网络感知服务

2015-06-08 09:46:01

Google Play回归

2023-10-09 08:07:37

快排快速排序合并排序

2010-07-29 16:24:40

新华都唐骏

2021-04-12 14:30:30

GitLinux命令

2021-03-19 10:11:06

VimLinux命令

2024-02-19 08:58:00

模型AI

2021-08-26 17:36:42

Floyd算法数据结构

2011-06-01 09:27:00

OSPF路由路由器

2024-02-17 08:00:00

内部威胁滥用数据网络安全

2011-03-22 12:17:29

赛门铁克SSL证书

2015-12-07 17:07:36

SDN网络流量
点赞
收藏

51CTO技术栈公众号