uSens凌感王晓涛:这是手势交互最棒的发展时机

原创
网络
 王晓涛告诉记者,手势识别已经发展了这么多年,但是之前一直没有普及开,以至于很多人开始怀疑这个命题的真伪性,这是为什么呢?因为以往的需求是假想出来的,例如希望用手势代替鼠标,代替遥控器,但是终究是可用可不用,并且有可能还不好用。一方面之前由于技术和计算能力的问题,手势性能比鼠标遥控器差,另一方面还是应用场景需求度低,体现不出来手势的优势。

【51CTO.com原创稿件】2017年7月21-22日, 以“人工智能,不止于技术的革命”为主题的WOT2017全球创新技术峰会在北京富力万丽酒店圆满落幕。本次峰会为期两天,30+人工智能领域的一线实战专家、BAT等企业技术大牛围绕机器学习、人机交互、技术实践等前沿技术话题展开深度分享。除了场内的精彩演讲,场外还有专门为AI爱好者搭建的动手实验室和科技体验区,这一切都让本次大会亮点十足。

王晓涛

  uSens凌感中国研发中心高级研究员王晓涛在人机交互分会场做了《VR/AR中的交互技术》主题演讲。演讲结束后,记者采访到了他,请他分享关于手势交互领域的精彩观点。

  人机交互往往与硬件变革相伴相生

  谈到VR和AR,大多数人的***印象就是那些虚拟可视化设备,例如Oculus rift、Htc vive、PSVR、Hololens等。体验过的人都知道,这些设备的确给人们带来了很奇幻的感觉,并且佩戴越来越轻便,分辨率越来越高,内容越来越丰富。可以说VR/AR设备已经日趋成熟,面向消费者并且开始普及。王晓涛指出,如今VR和AR发展外界看来似乎开始放缓,事实从业内看,从未停止,而且都是关键技术的推进。整个行业不仅仅依靠硬件设备,还需要很多其他的东西来支撑和完善。

  王晓涛告诉记者,当人们回顾一下历史就会发现,每次硬件产品重大变革都伴随着革新的人机交互方案,并且趋势都是向着更自然的方向发展。例如***台台式机Programma 键盘做输入,纸带做输出;***款消费级PC Macintosh, 鼠标做输入,GUI界面输出;大家都熟悉的***款智能手机 iPhone, 多点触控输入IOS界面输出。“可以看出,随着硬件产品的换代,交互方式也越来越方便,好用,并且也容易学习,不在需要熟记各种命令。那么VR/AR想要成为新一代革命性的硬件产品,也需要全新的人机交互方式。”

  那么在人机交互的发展史上,有哪些里程碑式的产品呢?王晓涛列举了三款重要的产品。一是1965年的***台台式机(开创了商业机普及),引入卡片为输出,键盘输入;二是1984年Macintosh(开创了PC消费品市场普及),引入GUI输出,鼠标输入(继LISA后第二部使用图形用户界面,***应用到个人电脑,systemSoftware,MacOS);三是2007年iPhone(开创了智能手机消费品普及),引入multi-touch和iOS系统。

  前景看好的手势交互

  据了解,VR/AR目前的交互方式可以说五花八门,各个厂商都在做各种尝试和探索。王晓涛介绍到,有基于手持设备的手柄、操作杆的厂商如Oculus、 htc vivi、 psvr,也有基于触摸板的Gear vr,还有基于磁电传感器手套的诺亦腾、基于眼球追踪的、基于语音识别的,以及基于裸手手势的各类厂商。他认为每一类方式都有自己的特点,都有适合的场景和适用的内容,尤其是有的适用于VR环境,有的适用于AR环境。

  在VR环境中,由于场景都是虚拟出来的,所以各种手持设备、传感器等并不影响使用的感官,人们虽然看不到手里拿着东西,但是可以习惯性的像使用鼠标一样使用这些交互工具。所以,在VR环境中,基于设备的交互方式目前处于主导地位,一方面是无论是在精度还是在稳定性上基于物理元件的方式更优秀,实现起来也相对简单;另一方面也是各大厂商同时推出交互设备与匹配的交互内容,即卖硬件又卖软件,有利润驱动。

  他告诉记者,在VR交互中,另一种方式就是手势交互,原因在于,即使在虚拟世界里,人们也要追求自然、便捷、灵活的方案,因为从PC到智能手机,人们已经几乎丢掉了鼠标和键盘,在新一代产品里不应该再捡起附加设备。但客观的讲,自然手势交互还处于技术攻关阶段,还有很大多问题需要解决。但毋庸置疑,手势交互更自然,对VR沉浸感来说,是至关重要的一个方面,在VR中更有带入感,在大众化市场中更有前景

  不同于VR,在AR环境中,手是看得到的,并且AR中有手的真实使用需求,这导致AR环境的交互方式不能使用手柄之类的设备,更趋向于不影响手的真实功能的交互方案。那么可选的就只有手势、眼球、语音、脑电肌电这些稍微黑一点的科技,这里面语音识别已经很成熟了,但是通过对话的方式来拖动某个东西是很违和的。那么来看,从技术成熟度,适用范围来看,手势交互更有优势。Hololens选择的就是手势的方案,其他的方式可以作为辅助,使得AR的交互更立体、便捷。“可以看到,手势交互在VR中有前途,在AR中有地位,随着技术的成熟,将会得到越来越多的应用。”

  精准识别手势是个技术活!

  手势交互并不是简单地识别几种固定的手势,也不是跟踪五个指尖,而是要在看得到的情况下,能够实时识别出当前手的状态,例如手型是什么,角度如何,距离有多远等等。

  王晓涛透露,目前流行的是通过骨骼来模型化手,就包括关节点、骨骼的长度、骨骼间的角度。常用的量化模型有NYU的14个关节点模型、帝国理工的16关节点模型、MSRA21个关节点模型等等。不同方式表达量化的精度是不一样的,通常用多少个自由度来刻画手模型的精度,比如微软的26个自由度。

  “手势交互关键技术基本包括,检测、跟踪、回归、手模型优化一套整体的流程。”王晓涛举例道,首先设备要能找到手的位置,识别出手的关节点,使得串联起来的关节点像一只手;其次找到手之后,需要确定各个关节的位置。他介绍到,方法有基于点云匹配的,通过球模型或者球棍模型与检测到的手的点云匹配;也有直接回归坐标点的,每个点有两维或者三维,按顺序给出所有点的预测值。

  他还特别强调关于手的结构约束。这个技术主要有两类,一类是分段式的,先得到各个关节点,通过后处理的方式使得铰接在一起的关节点得到的手不是畸形的;另一类是end-to-end的,将手的模型约束直接融入到关节点回归中,或者直接回归3D手的pose等。他强调,这一环节十分重要,起着很明显的作用。

  手势交互正处在***的发展机遇

  当然,王晓涛也坦言,到目前为止手势交互目前还有很多问题亟待解决,例如需要提高识别的精度与稳定性,算法万年不变的话题。他举了一个例子,在VR/AR环境中,人们要做到实时,不能占用太多计算资源,有可能还是在移动端运行,并且算法是deep learning这种,算法的优化加速面临极大的挑战。

  除此之外还需要解决视觉盲区问题、反馈问题等。以反馈问题为例,在AR/VR中手势交互的反馈比较麻烦,人们没有触觉体验,目前有通过设备提供触碰感的,还有多元反馈机制,例如通过声音等元素来营造气氛。也正因如此,手势交互还有很长的路要走。

  王晓涛告诉记者,手势识别已经发展了这么多年,但是之前一直没有普及开,以至于很多人开始怀疑这个***的真伪性,这是为什么呢?因为以往的需求是假想出来的,例如希望用手势代替鼠标,代替遥控器,但是终究是可用可不用,并且有可能还不好用。一方面之前由于技术和计算能力的问题,手势性能比鼠标遥控器差,另一方面还是应用场景需求度低,体现不出来手势的优势。

  “但VR和AR,对手势来说,恰恰是一个好的时机,首先像我们前面说的手势是AR/VR交互中优先级很高的交互方案,另外现在移动设备的计算能力也变强了,可以说,与VR/AR结合,是手势发展***的机会。”王晓涛十分肯定这一点。

【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】

责任编辑:周雪 来源: 51CTO
相关推荐

2013-12-08 22:02:24

手势交互交互设计交互体验

2013-04-26 11:07:07

大数据全球技术峰会

2011-11-30 09:09:13

王涛Windows Pho移动开发

2010-07-08 09:46:32

2022-07-01 16:55:17

调试板子手势操作

2015-06-19 11:08:05

JavaScript图表库

2012-10-31 09:16:36

IT管理

2011-08-22 10:31:26

MeeGoN9诺基亚

2017-07-21 13:37:10

2013-06-17 11:01:49

程序员离职

2013-12-16 10:12:39

Firefox插件

2012-03-30 09:55:37

.NET

2015-11-23 18:00:41

Qt互联网汽车

2013-06-24 15:51:04

大学生IT博客大赛IT博客大赛IT博客大赛50强

2009-07-21 14:25:27

阿里巴巴王涛

2022-11-30 07:49:49

交互事件屏幕手势识别

2015-05-28 17:25:01

TechWorld王晓岩企业云

2009-07-29 08:51:50

Windows 7游戏平台游戏性能

2017-01-11 10:09:14

2015-11-16 16:40:04

开源终端模拟器
点赞
收藏

51CTO技术栈公众号