社区编辑申请
注册/登录
戴上AR眼镜·与未来交互 原创 精选
元宇宙
AR的使命是将真实世界与虚拟世界融合。

在元宇宙概念火爆的当下,XR硬件设备作为进入元宇宙这一未来世界的重要“入场券”,在短时间内受到了各大科技企业的关注。Rokid作为专注于人机交互技术与人工智能硬件研发的科技企业,在AR眼镜的研发道路上深耕已久,并积累了大量的技术实践经验。

在不久前由51CTO举办的MetaCon元宇宙技术大会上,Rokid产品技术总监赵维奇带来了《戴上AR眼镜·与未来交互》专题演讲,重点介绍了Rokid如何借助AI与5G技术的融合,对AR眼镜进行赋能,以实现3D空间的虚实结合与沉浸感升级。51CTO将本次分享的核心内容进行了整理,希望能给大家带来一些启发:

AR的使命是将真实世界与虚拟世界融合。利用AR技术创造场景下更自然的虚实结合交互,是Rokid一直的努力的方向。想要实现这一目标,则需要具备以下几方面的能力:

 1.感知力:利用硬件上的传感器与模组以及软件上的各种应用功能,使用户能够更好地去获取环境和自身的相关信息。

2.理解力:借助AI技术,基于感知获得信息,包括对人的理解、对物体的理解、对环境的理解、对行为意图的理解,以及周边信息的理解。

3.协同能力:人类脱离不开社交与协作,每天我们都需要与人沟通合作。如何更好地、更低成本、更高效地协同在目前环境下异常重要。

4.展现力:更多的形式、多模态的内容呈现方式,例如2D音视频、3D的模型等,空间让更丰富的交互成为可能。

5.内容生产及数字资产管理能力:AR使平面升维到空间,这带来了大量的数字内容需求与数字资产管理要求。此情景下,高效生产和管理数字资产的能力是不必可少的。

Rokid通过软件、硬件能力的融合以实现这些的能力:

1.芯片:Rokid与国内头部企业海思共同开发了XR平台,提供了芯片平台等级的能力。

2.解决方案:Rokid在toC、toBtoC、toB与toG的各个行业,均有非常成熟的解决方案。

3.语音交互:Rokid深耕语音交互技术多年,在离线语音和精准识别上已经达到99%的准确率。

 4.硬件:硬件设计是Rokid的强项,Rokid会结合ID、ME以及供应链,提供完善的硬件能力,以保证硬件设备拥有更高的舒适度以及更强的基础能力。

5.光学显示:Rokid提供全球领先的光波导技术,也将这一技术应用在了大量产品之中。

6.视觉算法:AR眼镜通过视觉算法了解、感知并理解环境,以此提供对应的内容呈现方式。

通过上述基础,Rokid能够更好地将AR与AI的能力进行融合。

细节方面,Rokid软件层提供了更加多模态的交互能力,包括兼容2D、3D生态的操作系统、功能丰富的SDK、便捷的开发工具,以及支持全球开发者的社区与应用发布平台。

无论是合作伙伴还是开发者,都能够方便快捷地应用这些能力。此外,在整体XR系统之中,Rokid始终坚持围绕AI与AR打造面向未来的技术能力。包括主流芯片平台、AR硬件平台,AR头环/头盔、单目/双目眼镜、一体/分体设备设计、消费级/工业级设备的配置与设计等。

Rokid在基础OS之上,拥有较为完善的感知系统与理解系统。感知系统目前已有多个引擎,包括平台支持、AI服务、AR服务以及云存储服务。同时,Rokid也为开发者提供了大量平台SDK与基础SDK,以便开发者在OS之上以及面向行业进行应用开发。

目前,Rokid已经拥有大量的合作伙伴,无论对于应用开发者、应用制作者、解决方案商或是系统集成商,Rokid都能够赋予其软硬件能力。借助这些能力,无论是toB、toBtoC还是toC场景下的应用,都能够轻松实现。Rokid打造了XR元宇宙的基础能力,以帮助人们在元宇宙环境下释放更多的创造力。

产品层面,Rokid也有着大量的积累与技术创新。

新发布的Rokid  Air,是面向toC市场的AR产品,拥有着轻巧便携、视角广阔、清晰度高等优势,两个高品质扬声器所带来的环绕立体声能够让音效更加震撼。同时,Rokid Air还拥有着强大的语音交互能力,通过非常简单的语音指令就能够完成大量操作,真正实现解放使用者双手,让用户能够沉浸式享受AR带来的快乐。

除此之外,Rokid Air支持500度以下的近视的调节,通过旋钮调节,近视用户也能够轻松使用这款产品。即插即用,适配手机与各类娱乐硬件设备的特性,也为Rokid Air的使用带来了更高的灵活性与便捷性。

目前Rokid Air的适用场景主要有以下几类:

1.音视频体验:Rokid Air能够随时收纳,无论在家中、飞机上还是火车上,你都能够使用Rokid Air连接手机与其他娱乐设备。此时,一个120寸的高清屏幕、一个独享私人版的巨幕影院就将呈现在你的面前。

2.游戏体验:Rokid应用商店拥有大量游戏内容,支持用户在真实世界里通过创造3D空间来完成游戏体验。此外,Rokid Air也支持移动端游戏,包括连接游戏主机及游戏手柄。不但是手机,Switch、SteamDeck甚至PS,Rokid Air都能够“照单全收”,并为用户带来低延时、高画质的巨屏享受。

Rokid Air Pro是一款toBtoC的AR产品,其与Rokid最大的不同点在于交互。第一,Rokid Air Pro拥有定向出音设计,用户自己所说的话只有自己能够听到,不会打扰到周边的人。此外,Rokid Air Pro提供了更多的交互功能。除语音交互外,由于Rokid Air Pro拥有摄像头,因此其能提供更加丰富的视觉识别功能。通过摄像头,Rokid Air Pro能识别更多场景并感知到周遭环境,以呈现和提供更加定制化和场景化的应用与交互。

目前Rokid Air Pro已在许多toBtoC的场景下进行了应用,包括各大博物馆与展览,Rokid Air Pro能够提供一种新的观展打开方式,原有的知识壁垒会被打破,用户的好奇心和求知欲将被充分调动。Rokid Air Pro能够让用户完全通过AR和AI能力享受更多展馆背后的知识的传播和体验。

Rokid与苏州博物馆和大英博物馆合作的国际导览项目,可以利用AR设备让用户方便、快捷地获取到来自大英博物馆展品背后的讲解。这是原来的导览员与讲解员很难做到的。除语音介绍外,AR设备还能够用视频、图文、3D模型的方式,将难以理解的部分海外文化讲解得更加透彻,让用户能够在短时间内更好地能获得所需知识,给用户带来更加优质的参观体验。

Rokid与腾讯及故宫合作的数字特展,让用户能够通过AR设备参观故宫中的知名的避暑的圣地——倦勤斋。通过AR的方式,用户能够环绕整个虚拟空间,一目了然地了解到故宫中建筑的外观形状、用料、颜色以及尺寸大小等以往难以观测到的建筑细节。这在一定程度上可以使故宫文化得到更好的传承和传播。

Rokid与故宫合作的另一个项目是故宫书画展。书画观赏的过程始终有一个痛点,就是人们只能看到表面,并不知道书画背后的故事,也无法看到书画所呈现的场景。通过AR的方式,我们能够将2D升维成3D,使用户能够看到书画的真实形态,用最简单和高效的方式去呈现书画背后、文化背后的故事与渊源。

Rokid与腾讯游戏合作的AR观影台对《英雄联盟》的游戏场景进行了复现,使用户能够通过AR眼镜看到一条巨龙从东方明珠上盘旋而下。此外,AR也能将游戏中的许多元素,包括比赛的现场、比赛选手特写以及一些重要的指标进行虚实结合,这也是目前AR主要的发展方向之一。

未来,Rokid希望能够更多地探索元宇宙领域,通过软件与硬件相结合的方式,将AR与AI两种能力结合起来,创造更实用、更智能、更自然的内容呈现解决方案与交互能力。为场景赋能、为场景下的用户赋能、为合作伙伴及开发者赋能。使用大家够在元宇宙的环境中获得更多样化、多模态的体验。

责任编辑:徐杰承 来源: 51CTO
相关推荐

2022-06-15 08:25:07

Python天气数据可视化分析

2022-04-13 10:51:22

AR眼镜元宇宙

2022-06-22 09:19:55

HDC鸿蒙ADB命令

2022-07-01 14:25:27

机器学习人工智能工业4.0

2022-04-23 17:49:05

区块链元宇宙MetaCon

2022-05-27 10:00:06

C++游戏引擎

2022-06-07 10:09:42

新技术人工智能5G

2022-04-12 09:48:22

云计算安全云服务云安全

2022-05-06 16:31:27

人工智能自然语言生物特征识别

2022-06-30 10:56:18

字节云数据库存储

2022-06-28 13:41:07

浏览网页互联网交互Python

2022-06-28 10:03:56

CentOSLinux

2022-07-01 17:19:33

网络安全零信任

2022-05-31 10:35:36

AR/VR虚拟现实

2022-06-21 14:22:08

云计算混合云人工智能

2022-06-21 10:04:25

数据中心智慧城市

2022-07-01 15:46:20

网络安全数字化智能制造

2022-06-30 14:23:56

机器学习工具算法

2022-05-11 14:54:02

输入法框架鸿蒙

2022-05-12 14:22:39

NFC标签鸿蒙

同话题下的热门内容

其实元宇宙没那么神秘元宇宙的特性、社会影响与特殊意义现在是规划采用元宇宙的时候了Meta再放大招!VR新模型登CVPR Oral:像人一样「读」懂语音从《雪崩》到百度“希壤”,元宇宙30年的16件大事关于“元宇宙”的伦理之思元宇宙风吹“热”VR内容市场 发展势头喜人如何在元宇宙中保护自己

编辑推荐

对AR应用开发项目有帮助的12款优秀的增强现实类SDK用区块链+元宇宙连接非遗与企业文化增强现实正在改变各行业的未来百度“希壤”来了:国内首款“元宇宙”产品面世虚拟人成为潮流新宠,“内卷”渗透各行各业,或将取代明星?
我收藏的内容
点赞
收藏

51CTO技术栈公众号