九又VR技术负责人官山山:九又VR平台架构设计的深层思考

原创
开发 架构
作为一家专注于IT技术创新与发展的互联网媒体平台,51CTO 以"专注IT技术领域,打造中国领先的IT技术网络平台"为宗旨。2016年我们将以一场VR/AR技术的研讨大会,开启未来极具潜力的技术推广,为技术的应用和发展,尽媒体的一份力量。

2016年04月22日,由51CTO传媒主办的《中国首届VR/AR技术大会》在北京骏马国际酒店召开。我们邀请了业界知名的技术精英来分享VR/AR热度下最前沿的探索,交流观点并进行实践分享,志在打造一届真正有干货有内容产出的技术盛会。除了技术交流分享外,我们还设置了现场体验专区,提供***的***的VR设备供您体验VR游戏、电影场景等。

下面是来自九又VR技术负责人官山山先生给大家带来的是主题为《九又VR平台架构设计的深层思考》的精彩演讲实录。

官山山,哈尔滨工业大学硕士,研究方向为人工智能、机器学习、系统架构。曾任百度高级研发工程师,移动搜索短视频、作业帮等项目早期创始人。现负责研发九又系统平台,包括9U ROM、9U UI,九又SDK等。

【以下为现场演讲实录】

我是来自九又VR的工程师官山山,我先解释一下“九又”,我们取这个名字是带你进入魔法世界的意思,有人问我们九又四分之三是不是用数字提示你们,不断地向十全十美这个目标迈进,我们确实没有想到这一点,但是我们确实是这样做的。

接下来我们讲一点我们自己在这两年实践中的思考,跟大家一起讨论一下。从以下几个方面开始,先介绍一下九又。我先介绍一下VR的发展史,VR是一门综合技术,它是一个拥有较高技术门槛的一项技术。很多人说VR没有技术门槛,但是我认为把一个普通的应用,把一个普通的游戏直接摁成左右,我觉得这不能算是一个VR应用,它只能算是在VR上可以使用的应用。

在我们开发应用的时候,我们把一个应用左右分屏,这肯定是一种不太好的体验,VR并不是一门新的技术,在1989年的时候,VR概念***提出来,但是在60年代,计算机创始人首先进行了初步的尝试,但是确实也没有成功,因为技术受限。到了1980年,硬件设备进行了一次大的更新升级,人们又进行尝试,但是这次尝试再次受挫,受挫主要体现在并没有民用化,但是在一些商用化得到了极大的发展,在航空领域,在部队领域,都得到了较大的应用。VR再次***热潮,是得益于智能手机的发展。

九又从2013年底开始立项,也是看到了智能化设备的发展,从一开始我们做一个VR娱乐设备,2013年底立项。2014年10月推出了***代工程机,我们不光有图显设备,还有输入指环,这一代没有推向市场,我们衍生目标做一个民用化的产品,我们想着尽可能把它优化,优化以后再推向市场,我们进行了第二步的迭代,在2015年12月的时候,登陆了京东众筹,在2月份的时候,给***批用户发货,通过市场上的反馈,我们进行了一些思考。

在现阶段VR产品发展的时候,***个问题,没有内容。为什么没有内容?虚拟现实跟互联网还有一点区别,互联网发展大约有十几年以后,我们才开始提跨界,提互联网+。但是我认为虚拟现实天生就是与传统行业相结合,什么现实?拥有各种行业才是一种现实。而互联网上可能就没有这种本质,所以说它要跨界,但是VR肯定就是跨界的技术产品。我们现在说没有内容,我们去其他行业寻找,有很多这样的情况,我们举一个实际合作的例子。

有专家装修设计公司,有很多装修方案,传统的做法可能就是电脑、大屏幕给客户看一下方案,但是我们看一个屋子,通过图片来展示效果肯定不好,客户看了一遍又一遍,***看了实际效果不一样。VR的兴起,让他们看到了希望,通过VR的形式更好的展现我们的室内设计。但是他们是室内设计的公司,他们并不懂VR,他们想用这项技术,他们怎么解决呢?他们有他们的困惑,我们把所有的问题归纳总结了以下,有以下几点。

***点,人机交互没有通用的方案。传统操作电脑、手机都是二维,我们进入三维的世界,对用户来说是陌生的,而且一个应用是这样,另外一个应用还不一样,他学会这个应用再进入另外一个应用他要重新学习,这是用户的困惑。对于开发者,所有的东西不一样了,要重新开发,我添加一个按钮怎么添加,跟手机和电脑上又是不一样的,我开发的这个会不会获得用户的认可,让用户喜欢,我的这种模式用户是不一定认可的。提到人机交互,我想说一点,现在很多的应用开发者,他在开发的时候,在手机上开发,基本上所有的应用打开应用以后,点一下开始,然后才进入一个VR模式,这样子的应用,就遇到很大的问题,一体机没法说拿出来点一下,或者单屏幕操作,用户也吐槽,这不是设备的问题,这个应用就差一步,只要点击开始以后,进去以后就可以操作,但是就差这一步,这也是我们的交互没有通用的方案导致的。

第二点,在研发上没有通用的方案,现在各种各样的平台都有,基于一体机设备的,在不同的设备上面,还有不同的引擎、不同的开发平台。这对用户来说,又有一个困扰,我要体验所有的东西,我要把所有的平台都买了,我要买一个一体机。刚才我说了内容少,还有那么多平台,给用户造成困扰显显而易见。现在我不能做到开发应用照顾到所有的平台,针对每一个平台开发的成本是非常高的。

第三点,外设的管理没有通用方案,在电脑上有键盘、鼠标,但是VR的输入设备是什么?现在没有标准,有手势识别、我们做的是指环,这所有都是不统一的,这对用户来说,我选择你的平台,我只能接入你的外设,想体验其他的外设不支持,用户一下子很难体会到更多的东西。对于开发者来说更痛苦了,可能一个平台上就有多个外设,我要针对不同的外设,都要进行定制开发,开发的成本又大大的加大。

基于以上三点,在开发内容的时候,形成不了闭环,没有特别深入的内容,用户难以找到更多有价值的内容和应用,而研发团队一个应用没法做到足够的应用。这是我们总结的几个问题,现在VR产品发展现在遇到一个问题。

针对这些问题,我们提出了自己小的思考,首先我们选择了一个比较广泛的移动开发平台—安卓,在安卓基础之上可以支持Cardboard、支持Unity定制化开发。谷歌只是给我们提供了一个大约的框架,并没有在VR上提供版本系统,他提供了一个基础的功能,但是并没有告诉我们,你在这上面应该怎么做,谷歌只能说是这个行业的引导者,不是竞争者,我们可以跟着谷歌一起做。

九又VR整体框架

上图是九又的整体框架,我们把这些位置进行了抽象图分析,三个部分,一个是视觉处理;一个是场景容器;一个是外设适配,视觉处理是最重要的,VR是一个输出设备,在这上面要做反畸变、ATW、光场成像。人在看真实世界的,发出的光是无数点发出来的,我们看一个屏幕的时候,只是在一个屏幕上发出来的,本身是欺骗你的眼睛的,这跟真实世界完全不一样,就算把延迟降到10毫秒,还是存在一定程度上的延迟,光上,在视觉处理上非常重要的一点。

场景容器,可以支持多场景的融合,我们把所有的外设进行统一,输出成语义事件,什么是语义事件?比如说最简单的点击,不同的地方点击的定义不一样,一个手势识别可能是一个动作,而一个手表有一个按键,或者一个指环有一个按键,这些东西定义不一样,我们在SDK里面把所有的都分装,把所有的外设进行抽象,所有的都映射到这个事件中。指环是怎么样挥拳动作,我们可以把所有的动作,不一样在上层统一一个接口,这是我们想到的语义事件解析。在语义事件上,不光有外设的,还有其他的,比如说一个系统事件,比如说页面上提示,或者说关机,有一些系统事件,我们也把这些事件进行统一,视为所有的设备。应用事件,可能也需要我们统一成一个标准事件,比如说瞄准,我们把瞄准都统一下来。

  九又VR整体方案

   九又VR整体方案

上图,上面一层,是SDK内部做的一个事情,我们内部做这些事情暴露出来的接口,上面第二层,提供给开发者的SDK,我们通过下面这层实现,提供给开发者基本的交互组件,包括各种各样的,一个按钮,我们要在空间中显示一个名字,显示一张图片,包括一段视频,或者说一个提示框,我们把这个变成标准的组件,我们可以定义它的位置、颜色、大小,用户就像在传统设备上开发应用一样简单容易。在组件上还有正常的系统运行时的组件,比如说要选择、瞄准,包括外设事件。在这之上,暴露给用户就是最上层的这些。

全局菜单,我们在使用很多设备的时候,我们发现有一些基本的交互是依赖于设备的,比如说我要返回,一些东西要操作要依赖于设备,这样肯定不好,对用户和开发者不好,我们在想交互组件的时候,我们就要把这些全局组件剥离出来,是针对整个平台使用的。我们对全局组件用户可以进行个性化的定制,比如说我有一个全局返回按钮,在每一个开发者内部都根据自己的系统,重新设计全局按钮,我怎么返回,怎么进行操作,这是一点。还有VR输入法,也是我们自己已经做了的,现在把它进行开元,当然现在做的比较简单。还有用户账户、支付系统等等,基本的东西可以构成内容闭环的。本地文件服务不是文件管理,APP Store是云端的应用,本地文件服务就是本地资源的管理,开发者可以有各种各样的形式,让用户进行应用管理,不限于传统的,我摆一个圈,这个地方可以更多更好玩的定制。

用户习惯采集,我们提到了外设,外设都不那么精准,至少我们在这个地方,如果把一些用户的一些常用操作采集起来,这将是一个非常非常有价值的数据。我们也查大数据应用,现在还是仅限于一些网页上比较多,但是未来更大的数据是基于传感器的,人所做的各种各样的操作,如果说我们能把这样的操作收集起来,这样的数据将会是非常非常有价值的。所以说针对用户的操作习惯采集,我们把这些数据收集起来,进行大数据的学习,再反馈到外设,从而不断地提高外设的精度和可用性。

具体我们要做的,基于一个开放平台,提供一些核心组件,提供支付、发布广告,我们构建资源平台,用户可以在资源平台获取云端资源到9UOS,进入9UOS,可以收集用户的使用习惯进行深度学习,同时,还可以反馈到外设上,同时我们可能还有一个在线商城,销售所有的外设,我们可以支持各种各样的外设,你用我们的OS就支持所有的操作,你可以使用指环设备,可以用一个手势识别的广告。

广告联盟是什么呢?微信在做广告的时候,他当时说了一点,广告是无处不在的,因为是一个虚拟现实,你进入虚拟环境,广告可能就不那么明显,比如说我在玩一个游戏的时候,在这个游戏行业的时候,可能就有游戏的T恤,广告再的不那么突兀,而是这个场景中的一部分。所有的这些,都是基于9UOS基础之上的。

以上是51CTO.com记者从一线为您带来的精彩现场报道。后续我们还有更加精彩的独家报道,敬请关注。

 

责任编辑:王雪燕 来源: 51CTO
相关推荐

2016-04-24 18:56:18

九又VR

2016-04-25 13:13:10

HTCviveVR

2019-06-13 18:50:47

支付平台架构设计

2016-01-15 10:47:08

技术团队能力

2009-04-01 10:43:26

雅虎产品技术离职

2015-11-16 10:16:56

技术蜕变创业

2014-06-27 14:49:41

SDN

2017-03-13 15:30:22

慕尼黑WindowsLiMux

2023-09-11 11:14:54

IT团队CIO

2020-04-07 15:36:25

IBM云计算克里希纳

2012-05-21 17:40:41

PChome

2024-03-18 09:29:16

2019-04-01 13:20:34

技术负责人CEO

2023-06-04 13:56:44

开源项目AI

2016-04-22 12:10:57

VR大会现场报道马杰思

2014-05-21 16:04:38

面试面试规则

2013-04-09 11:35:44

微信游戏微信微信游戏平台

2021-10-14 10:40:10

人工智能AI智能科技

2012-12-13 11:12:24

戴尔

2011-08-23 17:02:37

FedoraLinux 20周年
点赞
收藏

51CTO技术栈公众号