没想到吧,让你一秒变纸片人的爆火AI特效,背后还有这么多知识点

新闻 机器学习
想整张手绘头像,无需点亮绘画技能,拿起手机打开APP拍张照,AI“秒秒钟”帮你自动搞定。

 [[419073]]

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

要说现在什么AI技术跟大家伙儿走得最近,那真是非AI特效玩法莫属。

想整张手绘头像,无需点亮绘画技能,拿起手机打开APP拍张照,AI“秒秒钟”帮你自动搞定。

没想到吧,让你一秒变纸片人的爆火AI特效,背后还有这么多知识点

△快手“手绘封面”特效

并且早已不仅仅局限于单张照片,短视频的每一帧都能用这样的麻瓜“魔法”丝滑覆盖。

没想到吧,让你一秒变纸片人的爆火AI特效,背后还有这么多知识点

各种艺术风格,只有你想不到,没有AI做不到。

不过,别看这些特效滤镜层出不穷,动不动掀起一波网络狂欢,从一个模型的诞生到它真正走进你的手机,那背后的故事还真不是三言两语就能轻松说完的。

特效是怎么进到手机里的?

不妨以快手爆火的手绘特效为例,详细唠唠这件事。

首先,自然还是算法层面的一系列操作。

从用户拍摄视频/照片,到AI的“手绘作品”输出,在AI看来大致是这样一个流程:

ISP将处理好的视频/照片发送给App,AI接收到需要处理的画面,就会预先对每一帧画面进行预处理,统一格式和尺寸。

接下来,就可以开始侦测并剪切画面中的人脸,运用已经定制好风格的“艺术家”神经网络(如U-Net等)对其进行加工。

这一步生成的手绘效果与输入帧进一步融合之后,手绘特效就初步完成了。

当然,在正式输出之前,每一帧画面还得经过一道化妆和美颜的步骤,来提升整体图像的质量。

没想到吧,让你一秒变纸片人的爆火AI特效,背后还有这么多知识点

这时候可能有盆友会问了,现在各种开源生成算法都很成熟,直接搬到手机里,何难之有啊?

非也非也。

且不说为了最大程度保留用户本人的五官和外形特征,同时兼顾手绘风格的美学和艺术效果,需要在整体风格和局部细节上对AI模型进行更加严苛的调教,对于快手这样的App来说,训练出一个稳定好用的模型往往还只是第一步

更大的困难其实在于手机这个载体本身。

手机作为移动端设备,本身算力有限。也就是说,AI的手绘能力越强大、技术越复杂,对于手机来说,想要流畅不卡顿地运行它,就越困难。

而对于咱用户来说,如果一开特效就是一顿卡卡卡卡卡,电量哐哐掉,那也就没有什么乐趣可言了。

另外,像手绘滤镜这样的算法,默认是在手机CPU上运行的。CPU是一个通用计算单元,本身也并非运行AI工作负载的最佳选择。

[[419077]]

怎么解决?大体上有如下三种思路。

第一种思路,还是从算法上着手,对模型进行压缩。以快手为例,AI滤镜背后就都有定制化模型压缩算法的加持,使其可以在考量各种边界条件、有限的计算和内存资源条件下,把模型计算量降到最低。

不过再怎么在算法上优化,硬件层面的限制仍然是无法绕开的问题。

于是就有了第二种思路,上云。许多App提供商都会选择在云端进行复杂的AI处理,以解决移动端算力不足带来的挑战。

但这又引发了新的问题——在云端计算,就会受到网络环境的影响,导致额外的时延和其他变化,也没有办法满足离线需要。

所以第三种思路,就是直接从SoC硬件厂商这一侧解决问题。

以最常见的高通骁龙移动平台为例,其搭载的高通AI引擎,就在硬件这一侧,实现了AI计算的加速。

高通AI引擎有啥不一样?

高通AI引擎,其实就是内置于骁龙移动平台的一套完整软硬件AI解决方案。

在硬件方面,高通AI引擎采用多核异构计算方案,包含:

  • Hexagon向量处理器
  • Adreno GPU
  • Kryo CPU

因此,通过智能调度CPU、GPU和向量处理器来进行AI运算,高通AI引擎能充分发挥出不同架构处理器的优点,在实现高算力的同时,最大限度保证能效。

而在软件方面,高通AI引擎的软件工具包括:骁龙神经处理SDK、Android NN和Hexagon NN。利用这些软件工具,像视频平台这样的算法开发方,就能够快速接入高通AI引擎,充分探索AI算法的性能边界。

事实上,快手和高通早在骁龙765移动平台推出时就展开了合作。针对App在移动平台的性能、功耗、扩展性和兼容性等方面的需求,高通神经处理SDK能够以软件的方式提供支持,并释放CPU工作负载,通过Hexagon处理器来实现AI加速。并且,双方还在模型量化压缩方面开展了合作,在提升模型性能和能效的同时,确保AI处理的精确度。

由此带来的效果可以直接用一组数据体现:手绘滤镜帧率(FPS)提升56%,功耗降低32%

而在今年,随着新一代骁龙778G移动平台的推出,双方的合作还在进一步加深。核心围绕的,就是第6代高通AI引擎

骁龙778G支持的第6代高通AI引擎包含高通Hexagon 770处理器,算力可达12TOPS,性能较前代平台实现翻番。为便于大家参照:苹果A14为11TOPS。

此外,骁龙778G采用的全新Qualcomm Spectra ISP,支持每秒处理20亿像素,能够为高通AI引擎运行特效算法提供额外加持。

快手Y-tech AI工程组负责人边红昌针对这项合作,还表示:

与高通技术公司的出色合作帮助快手突破了AI算法的性能边界。我们很高兴能够与高通继续协作,充分发挥骁龙高端芯片的强大异构计算能力。通过增强神经网络性能并提升输出质量,我们将能为用户提供更具吸引力的应用和更高价值。”

“AI大厂”高通?

说起高通,或许你的印象还停留在“一家手机芯片厂”,长于游戏和图形。

但从手绘滤镜这个案例中,就不难看出,其实高通早已是一家AI大厂,还是App开发商们乐于携手合作的那种。

事实上,早在AI方兴未艾之时,高通就已经将AI视为技术发展的重点。

在2007年,高通旗下的Qualcomm Research就启动了首个人工智能项目,并于2018年正式成立Qualcomm AI Research。

2015年,搭载第一代高通AI引擎的骁龙820发布,正式引入高通Hexagon向量扩展内核,以支持更强大的AI处理能力。

在历经6年的逐年迭代之后,今年同样搭载第6代高通AI引擎的骁龙888 Plus,已经实现了高达32 TOPS的强大算力。

没想到吧,让你一秒变纸片人的爆火AI特效,背后还有这么多知识点

并且,高通的AI能力或许也比你想象的更深入日常生活。

虽然不像App里的AI特效算法那样让人感知强烈,但你的手机、手机应用越来越智能背后,或多或少都有高通AI引擎的影子。

最近就有新例子——

搭载了骁龙888系列的荣耀Magic 3,通过场景元素识别和智能匹配、推荐,实现AI影调推荐功能,让用户在手机上也能拍出电影大片的质感。

而同样搭载了骁龙888 Plus的小米MIX4,惊艳的屏下摄像头落地背后,少不了AI图像增强算法的加持;更有全景AI翻译新玩法,带来同声传译、屏幕翻译、拍照翻译、AI字幕等实用AI功能,让用户能在刷视频、线上会议等诸多场景中,都方便体验到AI“翻译大师”的服务……

黑科技有多复杂?那不是大多数用户需要考虑的。

但在高通与其合作厂商的碰撞中,更多的黑科技正在成为生活的常态。

拿来就完事了,你说呢(手动狗头)?

 

责任编辑:张燕妮 来源: 量子位
相关推荐

2021-08-31 09:35:01

TCPIP漏洞

2019-12-09 10:13:20

HashMap选择容量

2016-10-11 14:19:07

2022-03-21 08:55:53

RocketMQ客户端过滤机制

2021-03-18 09:06:17

函数MainJava

2022-11-29 09:12:12

硬件技术拼图

2023-11-13 08:49:54

2021-01-27 18:13:35

日志nginx信息

2016-09-01 13:54:23

Google太空电梯悬滑板

2024-02-20 08:09:51

Java 8DateUtilsDate工具类

2021-01-14 05:08:44

编译链接

2022-07-05 13:56:21

模式Spring注入

2020-06-08 08:38:24

可执行文件文件字符

2017-07-04 14:01:40

机房机柜

2024-01-02 12:48:49

2021-08-01 12:34:01

跳水人工智能AI

2020-08-14 08:19:25

Shell命令行数据

2021-11-29 05:37:24

Windows Def操作系统微软

2022-05-29 08:54:44

Edge浏览器

2020-04-07 19:16:31

微信隐藏功能移动应用
点赞
收藏

51CTO技术栈公众号