社区编辑申请
注册/登录
芯片巨头正在偷偷研发这些新AI技术,不比拍照有意思
人工智能 新闻
侯博士分享了AI研究在基础、平台和应用三个研究方向的一些首创技术成果。

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

不知道你们有没有这样一种感觉,芯片性能要遇上瓶颈了。

光就芯片制程来看,从7nm卷到5nm再卷到3nm,已经越来越逼近摩尔极限。

于是,不少厂商开始试着用AI给芯片性能提供灵感,从神经拟态到用AI设计芯片,各种技术路线都有人在尝试。

这种情况下,哪些新AI技术最可能被应用到下一代芯片当中?

对此,我们采访了一下高通工程技术副总裁侯纪磊

侯纪磊博士毕业于加州大学圣迭戈分校,在高通已经工作了19年,目前是高通公司AI研究项目负责人,负责高通AI研究(Qualcomm AI Research)的技术创新规划。

芯片巨头正在偷偷研发这些新AI技术,不比拍照有意思

在采访中,侯博士分享了高通AI研究在基础、平台和应用三个研究方向的一些首创技术成果。

其中,基础研究主要针对前沿性、基础性的AI技术进行研究,例如神经压缩和AI+量子计算相关领域的探索;

平台研究则主要是从平台能力和创新的角度,推动AI技术的发展并提升能效、进行端侧学习,例如量化技术和联邦学习;

应用研究包括移动端视频AI技术和3D+AI技术等,涵盖智能手机、XR、自动驾驶等各个行业应用领域的技术研究。

同时,侯博士还分享了不少“AI落地狂魔”高通,将AI技术快速应用到芯片上的秘诀。一起来看看。

芯片厂商悄悄研发这些新AI

虽然高通最广为人知的AI技术是量化,不过要看最新的技术,还得从高通AI研究的顶会论文中去找。

从论文来看,高通相对着重的AI基础技术可能是以下四个方向:神经增强弱监督学习神经推理量子AI

芯片巨头正在偷偷研发这些新AI技术,不比拍照有意思

先来看看神经增强(neural augmentation)技术,目前高通已经将之用到了无线通信中。

平时处理无线通信信号主要有两种方法,一种是用传统滤波器搞一套公式出来,另一种是用AI直接训练并预测结果,前者精度不高,后者训练数据量太大。

高通选择将二者结合起来,在保留传统滤波器的基础之上,让AI自己学习调参。

没错,就是教会AI自己当调参侠,熟练应用并掌握那些看起来晦涩难懂的公式,类似于应用卡尔曼滤波器的场景中,让AI自己学会调整其中的QR参数。

芯片巨头正在偷偷研发这些新AI技术,不比拍照有意思

再或者以麦克斯韦方程为例,高通选择保留y=x*H模型的线性,同时采用AI学习H的分布:

要是类似的技术能用于手机无线通信基带上,信号说不定还能再进一步增强。

而神经增强还只是高通神经推理研究的一部分。如果AI真的同时具备了逻辑思维和抽象能力,那距离芯片性能突破也不远了。

再说到弱监督学习,这个方向一直是解决长尾问题、以及AI技术落地新场景的一大趋势之一。

就像是“让AI自己学习”一样,这项技术旨在避免数据标记错误导致的AI精度下降、以及降低标记成本等,来利用少量标记数据,实现与监督学习接近甚至超过监督学习的精度效果。

侯博士介绍了在去年MWC,高通做的一个演示,用弱标记的方法,训练出相对精确度高的定位的模型。

而且最令人惊讶的是,这种定位的模型它不是通过视觉的方式,而是通过射频信号来进行定位的学习,使用了弱监督和自监督的学习方法。

芯片巨头正在偷偷研发这些新AI技术,不比拍照有意思

室内定位场景所需的信号数据标记比较复杂,通过射频感知的方法,使用弱监督学习能比较有效地节省成本、提升效率。

嗯,现在老板只需要通过无线信号,就知道你在哪个办公室和同事摸鱼聊天了(手动狗头)。

芯片巨头正在偷偷研发这些新AI技术,不比拍照有意思

再来看看神经推理(Neural Reasoning)技术。

事实上,这里的推理并不是指单纯的模式识别,而更像是教AI学会“逻辑推断”,概念上和Yoshua Bengio之前提到的system2(逻辑分析系统)有些相似。

那么,神经推理和芯片有什么关系,可以应用在哪些方向,高通又进展到哪一步了?

据侯博士介绍,神经推理是一种将符号推理和神经网络优势结合起来的思路,让模型兼具并行性和串行性,而这个思路对于计算硬件而言同样具有借鉴性,目前高通已经利用自回归语言模型做出了一些首创成果。

最后来看看量子AI技术

目前高通主要有进行两个方面的研究,一个是基于AI加速构建量子计算机,另一个是让AI更快在量子计算机上运行的新方法。

其中,基于AI加速构建量子计算,主要研究方向在群等变卷积神经网络上。

研究人员通过引进群等变卷积神经网络,提出了一种新的解码方式,比传统解码器运行效率更高、性能也更好。

而高通登上ICML 2021的一项新研究,还提出了一种基于量子场论,在光学量子计算中运行神经网络的新思路。

芯片巨头正在偷偷研发这些新AI技术,不比拍照有意思

如果未来真的能用量子计算运行AI,那大模型快速运算也不是梦了。

所以问题来了,高通正在进行的这些基础研究,究竟有没有落地的可能?

距离我们用上还有多久?

技术之终极意义,还是要看向应用。

实际上,高通AI研究关注前沿科技背后,更加重视的是这些技术具体如何落地。

例如在早些年AI领域还在关注图像处理的时候,高通就已经在布局视频AI技术的落地了,并产生了不少相应的首创成果。

包括在移动端将视频超分到4K 100+FPS,就是高通率先实现的。

那么在这个过程中,高通是如何实现将AI论文落地到芯片应用中的呢?

这就得说回高通AI研究的三大布局

  • 基础研究,涉及量子AI、强化学习、群等变卷积神经网络等,着眼于遥远的未来,通常更具有基础性。
  • 平台研究,包括软硬件协同设计、AI模型效率工具包以及模型量化、压缩和神经架构搜索等,来实现最佳的能效、性能和时延。
  • 应用研究,是指利用AI基础研究和平台研究的成果在某些特定用例中,包含视频识别与预测、指纹图谱、图形深度学习、视觉质量提升等。

芯片巨头正在偷偷研发这些新AI技术,不比拍照有意思

一方面,高通一直以平台研究技术带动应用研究的落地。

以模型量化为例。

这是高通AI研究这几年钻研的核心技术之一,目的就是给AI模型做个“瘦身”。

在实际应用场景中,由于电量、算力、内存和散热能力受限,手机使用的AI模型和PC上的AI模型有很大不同。

在PC上,GPU动辄上百瓦功率,AI模型的计算可以使用16或32位浮点数(FP16、FP32)。而手机SoC只有几瓦功率,也难存储大体积AI模型。

这时候就需要将FP32模型缩小成8位整数(INT8)乃至4位整数(INT4),同时确保模型精度不能有太大损失。

芯片巨头正在偷偷研发这些新AI技术,不比拍照有意思

以AI抠图模型为例,我们以电脑处理器的算力,通常能实现十分精准的AI抠图,但相比之下,如果要用手机实现“差不多效果”的AI抠图,就得用到模型量化的方法。

值得一提的是,基于模型量化快速部署,高通在2020年开源的AI模型增效工具包(AIMET)

这其中包含了同年以及上年被ICML、ICCV收录的技术方法。

芯片巨头正在偷偷研发这些新AI技术,不比拍照有意思

量化的结果之一就是,更多应用方向的AI模型被“压缩”并优化,然后加速部署到芯片中。

比如视频语义分割上,首次在移动端上以FHD分辨率实现实时街景;神经视频压缩方面,首次在移动端实现了实时高清解码……

从这些行业首次落地的成果中可以直观感受到,高通AI研究在结合前沿学术、应用需求上的考量。

侯纪磊博士在采访中表示,高通的AI技术从最初发现到形成开源或商业化生态,只需要2-3年时间。

芯片巨头正在偷偷研发这些新AI技术,不比拍照有意思

另一方面,从应用和平台需求上反过来push基础研究技术的进展,催生出更多交叉领域。

比如联邦学习、图像预内核优化,就是基础与平台研究相交叉产生的领域;音视频压缩、面向无线领域和射频感知的AI等,则是基础和应用研究相结合的体现。

也就是说,高通在基础、平台、应用三方面上的研究,完整地将AI技术落地所需的算法模型、数据、软硬件、应用场景几大要素囊括其中,以支持边缘AI,走的是全栈AI研究的路线,并首次在移动终端上演示了概念验证。

以此,高通希望能通过研究“可以应用并落地的AI”,快速推动技术落地的进程。

侯博士表示,其实高通本身在平台和应用上投入比重就会更大,此外在基础研发过程中,产品团队还会深度参与,方便技术人员更加了解应用需求。从AI研究到落地往往非常复杂,需要考虑更多现实世界中的问题(如长尾场景等)。

高通AI研究的目的不仅在于技术创新,也是实际场景应用中的创新。

目前,高通光是实现落地的AI首创研究成果,就有这么多:

芯片巨头正在偷偷研发这些新AI技术,不比拍照有意思

由此可见,高通AI研究在首创技术之外,更致力于将这些成果成功运行到终端上。

例如前段时间发布的骁龙X70,就是经过这样的历程问世的。作为全球首款引入AI处理器的5G调制解调器及射频系统系统,骁龙X70预计后续会集成到骁龙年度的8系旗舰平台上。

猜猜,下一代5G手机的信号、图像、音视频处理等技术会不会更强?

你最期待哪些顶会AI技术应用到手机上呢?

责任编辑:张燕妮 来源: 量子位
相关推荐

2022-07-22 11:52:25

芯片机器人供应链

2022-07-04 18:48:30

昇腾

2022-07-01 11:06:25

AI人工智能科技巨头

2022-08-11 13:44:59

芯片AI

2022-07-05 11:31:57

半导体加密货币芯片

2022-07-03 12:54:18

AI人脸识别神经网络

2022-03-07 17:01:50

AI芯片AI创业AI产品

2019-01-03 11:23:45

AI数据芯片

2022-02-18 09:53:17

2021-12-03 13:52:25

2022-03-01 09:45:51

芯片自研技术

2020-04-23 18:30:25

AI人工智能芯片

2022-01-04 09:58:31

2020-03-09 15:18:34

人工智能AI芯片前景

2022-01-25 15:32:11

2019-07-11 15:13:33

AI芯片英伟达华为

2018-07-23 10:22:36

2022-04-28 11:12:15

芯片

2020-12-07 13:29:45

AI芯片初创公司人工智能

2020-02-27 15:52:48

AI芯片人工智能爆款

同话题下的热门内容

基于人工智能技术快速构建三维模型福佑卡车技术合伙人陈冠岭:自动驾驶在干线物流的应用美国“断供EDA”,究竟怎么一回事?AI赋能视频直播,如何提升系统安全性?专访字节跳动王明轩:机器翻译和人工翻译实质是两个赛道 | T前线面向推荐的汽车知识图谱构建特斯拉全自动驾驶三次撞上儿童假人,撞后没停重新加速数据闭环研究:自动驾驶发展从技术驱动转向数据驱动

编辑推荐

转转公司架构算法部孙玄:AI下的微服务架构Facebook开源相似性搜索类库Faiss,超越已知最快算法8.5倍运维:对不起,这锅,我们不背快消品图像识别丨无人店背后的商品识别技术最全面的百度NLP自然语言处理技术解析
我收藏的内容
点赞
收藏

51CTO技术栈公众号