DeepMind“反向”搭建Transformer方法火了:由可解释程序设计AI,项目已开源

人工智能 新闻
这是DeepMind针对Transformer模型设计的最新工具,被po到网上后爆火。

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

先搭个模型,效果好就试着解释它,是我们常见的AI设计套路。

但,有人已经受够了这样“莫名其妙”的流程——

既然人类总是试图解释AI模型,那为什么不能反过来,直接用看得懂的程序来设计AI模型权重呢?

这样做出来的模型,既提升了它的可解释性,又降低了设计架构的复杂度。

图片

这是DeepMind针对Transformer模型设计的最新工具,被po到网上后爆火:

图片

有网友惊讶表示:

这真有意思。它或许是第一个能将代码(软件1.0)变模型(软件2.0)的系统。

图片

所以它究竟是如何实现的?

将可读代码转变成AI权重的“编译器”

这个将可读性较高的代码“翻译”成Transformer模型的工具,名叫Tracr

具体来说,它有点像是一个“编译器”,懂得将一种名叫RASP(Restricted Access Sequence Processing Language)的编程语言转换成Transformer模型权重。

RASP,是此前在ICLR 2021一篇论文中提出的“编程语言”,专门根据Transformer架构(编解码器-注意力机制等)设计。

Tracr则在此基础上更进一步,不仅简单优化了原有的RASP语言,而且能将基于RASP编写的程序很好地转换为Transformer模型的权重。

具体来说,Tracr会先将“编程语言”RASP转换成“汇编语言”craft,后者表示向量空间以及其间的对应操作,再进一步地,将craft转变成“机器码”模型权重。

图片

具体实现过程如下,一共分为5步:

图片

基于它,作者们创建了一系列人工编写程序的基准Transformer,包括计算token频率、排序以及Dyck-n括号识别等。

图片

据一作介绍,Tracr最大的亮点在于,可以“从0开始搭建你自己的Transformer模型”。

还提出了配套压缩方法

不过,基于Tracr打造的模型可能效率很低,因此作者们又提出了一种配套的“压缩”方法。

基于案例来看,这种方法不仅能让Tracr模型更高效,而且允许将D维特征压缩到小于D维的特征空间中。

例如这是基于RASP语言编写的程序示例:

图片

在对模型进行压缩后,同样能很好地完成原来的任务,且效果相差不大:

图片

同时作者们还观察到,在对模型进行压缩后,它甚至保留了更重要的特征,学会自动筛掉一些不重要的特征:

图片

与此同时也能保证一个不错的精度:

图片

目前对应的Tracr模型已经开源,感兴趣的小伙伴们可以去查看一波~

作者介绍

论文作者们分别来自DeepMind和苏黎世联邦理工学院。

图片

一作David Lindner,苏黎世联邦理工学院在读博士生,这份工作是他在DeepMind实习期间完成,目前感兴趣的研究方向是AI鲁棒性、强化学习等。

图片

你想好用它设计一个怎样的Transformer模型了吗?

论文地址:https://arxiv.org/abs/2301.05062

项目地址:
​https://github.com/deepmind/tracr​

责任编辑:张燕妮 来源: 量子位
相关推荐

2023-01-17 15:25:33

模型深度学习

2010-02-22 15:06:05

Python解释程序

2022-06-06 07:52:41

反欺诈技术AI

2021-03-12 15:38:32

DeepMindAI人工智能

2022-02-07 15:49:15

人工智能机器学习技术

2019-05-13 09:22:21

微软开源机器学习

2010-07-20 09:58:59

配置Telnet服务器

2022-11-04 16:23:30

AI人工智能

2022-05-27 09:30:17

AI计算机自动化

2013-12-12 16:30:20

Lua脚本语言

2022-08-08 09:29:19

AIDeepMind

2022-07-29 15:28:45

人工智能Python框架

2009-12-04 10:53:06

VS WEB

2010-12-28 10:12:39

PHP

2022-01-06 10:21:56

自动驾驶数据人工智能

2022-10-20 15:58:51

人工智能研究

2020-11-11 12:15:31

AI人工智能可解释性

2021-01-25 21:41:59

人工智能深度学习自动驾驶

2021-09-16 09:09:03

“可解释的”人工智能XAI人工智能

2021-07-07 17:19:07

人工智能代码开源
点赞
收藏

51CTO技术栈公众号