火山引擎RTC,用技术打破虚拟偶像与现实的次元壁

业界
为了带来更好的感官体验,演出画面就必须高清。

1962年,贝尔实验室的 IBM 7094计算机,这是人类历史上第一台会唱歌的计算机,这也形成了最早的虚拟偶像概念;1990年,日本动画制作方以《超时空要塞》中女主角林明美的形象制作发行专辑,创造了虚拟偶像的雏形。此后,虚拟偶像如雨后春笋般出现在大众的视野内:2004年,人气偶像E欣欣面世;2007年“初音未来”、2012年“洛天依”、2016年“绊爱”。

国民虚拟偶像A- SOUL

2020年11月底正式出道的国民虚拟偶像女团A-SOUL ,五位性格迥异的少女向晚(AvA)、贝拉(Bella)、珈乐(Carol)、嘉然(Diana)、乃琳(Eileen)走到一起,为共同的偶像目标努力,伴随粉丝的互动应援和陪伴成长。

虽然出道仅一年多的时间,但A-SOUL在B站、抖音、微博等平台,都已经拥有大量粉丝。嘉然在B站目前已拥有160万以上的粉丝,并在不断增长。嘉然今年的生日会舰长数16000+,突破了B站舰长数历史,位居第一。

图片1.png

伴随技术的演进,A-SOUL也在逐渐打破虚拟与现实的次元壁,背后的音视频技术支撑,让虚拟偶像与粉丝实现实时互动,更有望带来与真人偶像同样的参与感与沉浸感。

嘉然百万粉丝AR直播:A-SOUL融入到现实场景中,演唱《最炫民族风》、《对面的女孩看过来》等的热门歌曲,为百万粉丝送上了一场长达3个多小时的直播盛宴,增强直播场景的真实感和沉浸感,以更加多元化的形式带给粉丝欢乐。此外,借助弹幕的方式与粉丝进行互动,给粉丝带来更强的参与感。

图片2.png

2021 Bilibili World 线下演唱会:A-SOUL以出道单曲《Quiet》作为开场曲,出现在线下真实演唱会现场的大屏幕上,引发现场千人合唱,粉丝挥舞双手,高举荧光棒,享受音乐的魅力,热情经久不息,带来跨次元沟通的全新体验,A-SOUL五位成员频频与粉丝互动,让现场粉丝几度尖叫不断为之疯狂,全场气氛直达沸点。

图片3.png

高清实时是互动“真人”感的必要条件

虚拟偶像如何更“真人”,除了人物设计、表情的打磨外,与粉丝交互的实时性、画面的清晰度更是“真人”感的必要条件,这也对实时音视频传输的技术方案提出了更高的要求:

超低延时

虚拟偶像AR直播场景的直播画面需要虚拟偶像和真实场景合成,通常来说,虚拟偶像与真实场景是两个视频源,为了保持偶像和真实场景良好的互动性和同步性,就需要解决音视频超低延时(50ms以内)传输的问题。

高清画面

为了带来更好的感官体验,演出画面就必须高清。通常需要 1080P(60fps) 甚至更高的视频规格,那相应的解决方案就需要在保证流畅性、稳定性、低延时的前提下,还能够保证虚拟偶像演出画面的高清晰度,带给观众身临其境的体验。

复杂网络环境

线下演唱会因现场观众较多,网络环境也就更为复杂和恶劣。为了还原真人线下演出的体验效果,需保证远在动捕棚的虚拟偶像与现场观众进行高画质、高流畅的实时音视频互动,因此要制定特殊的策略和方案来对抗此类复杂网络环境。

更贴近业务场景的RTC服务

为了更好解决行业痛点,火山引擎视频云基于字节跳动音视频技术能力,通过对底层架构、产品能力进行全面优化,为客户提供贴近业务场景的音视频产品与服务。

50ms超低延时传输方案助力虚拟偶像业务发展

火山引擎 RTC 基于对底层技术架构的不断优化,针对虚拟偶像场景提供专属超低延时传输方案,1080P(60fps)高清画面的传输延时可低至50ms。

先进的网络对抗策略保障虚拟偶像演出过程稳定流畅

火山引擎 RTC 针对虚拟偶像线下演唱会场景制定了弱网对抗方案,基于实时、精准的网络预测和自适应拥塞控制策略,通过应用FEC、ARQ、HARQ、自适应 Jitter Buffer、自适应码率下发等弱网策略可以实现50%丢包无感知恢复,80%丢包情况下依然可以保证音视频体验流畅,保证演出的互动性和同步性。

火山引擎实时音视频团队已为 A-SOUL 的萤火虫漫展、BW(Bilibili world)、嘉然百万粉丝AR直播等多场活动提供技术支持,保障 A-SOUL 的虚拟偶像演出顺利进行。

责任编辑:企业商讯
相关推荐

2022-08-19 18:15:04

视频会议音频质量噪声

2023-05-31 14:54:32

2022-11-24 09:35:52

2022-12-07 19:24:33

2011-09-29 14:58:54

中视典VRP虚拟现实

2022-09-30 15:15:03

OpusRTC 领域音频编码器

2016-01-22 08:54:43

虚拟现实下一代交互VR市场

2023-02-28 07:22:14

数据血缘能DataLeap

2024-01-29 16:47:44

函数封装开发

2023-09-06 15:27:00

混合现实架构

2023-05-11 10:49:49

VR数字孪生元宇宙

2021-06-24 10:18:21

NVIDIA

2023-04-04 13:38:30

DataLeap数据血缘

2022-04-06 15:58:25

火山引擎差分隐私LDPDC

2023-10-30 15:51:43

ByteHouse大数据

2022-07-18 11:48:11

元宇宙虚拟现实数字空间

2018-02-01 10:38:08

VR虚拟现实
点赞
收藏

51CTO技术栈公众号