火山引擎超清修复Beyond经典演唱会,技术能力已对外开放

新闻 算法
火山引擎对外开放了画质全链路端到端解决方案,覆盖上传、转码、传输、消费等环节,实现视频内容在画质、码率、体验等方面的全方位优化。

7月3日晚,抖音携手环球音乐旗下厂牌宝丽金,直播经过火山引擎超清修复的Beyond Live1991生命接触演唱会及纪念音乐会精选内容,吸引了超1.4亿人次观看。

Beyond是一支成立于1983年的摇滚乐队,随着粤语音乐的兴起,Beyond乐队的名字成为一个时代的文化印记。“Beyond Live1991生命接触” 是Beyond第一次在红磡体育馆举办的演唱会,宝丽金随后发行的影碟在90年代几乎一盘难求。此后的31年中,这场演唱会成为几代歌迷的音乐启蒙和青春记忆。

受限于当时的拍摄器材、存储介质及录音设备技术,演唱会母带及网络上流传的各版本音视频质量欠佳。为了提升观看和听感体验,再现Beyond这场经典之作,火山引擎从画质和音质两个方面进行了修复。

火山引擎多媒体实验室介绍,早期软硬件设备落后,导致影片在制作、压缩、传输等过程中存在画面模糊、纹理丢失和噪声瑕疵等问题。提升画质的同时恢复尽可能多的细节,优化色彩并保留复古感,以及调节不同大小、姿态人像的修复效果,是本次修复的难点。

“我们的目标是从画面整体清晰度、人像五官复原度、色彩亮度、流畅度、美观度等方面对画质进行提升。”画质上,本次修复通过清晰度增强和瑕疵修复、分区域色彩亮度增强等算法,处理早期软硬件设备落后导致的问题。视频分辨率从不足540p提升到接近4K水平,帧率从25fps提升到60fps。

通过人像增强算法修复,黄家驹面部的眼线、毛孔等细节清晰可见

此外,火山引擎多媒体实验室还自研自适应人像增强算法,针对人脸压缩损伤、模糊、低分辨率等问题,进行修复增强。该技术基于深度学习,在消除人脸整体的模糊和压缩损伤的同时,进一步对人脸关键的五官进行细节重建。修复后,人物面部的胡须、毛孔清晰可见,给观众带来更佳视觉感受。

在音质修复方面,火山引擎音频技术团队通过音频降噪、音频超分和响度算法,消除噪声提升音质,解决响度、噪声干扰、带宽不足等问题。

与传统降噪方案不同,本次降噪算法针对音乐场景和人声场景,实现了兼容AI降噪算法,在保留音乐和人声的前提下,抑制周围噪声。音频超分算法则对演唱会中的人声部分进行频带拓展,丰富高频信息,使人声更加清晰。从频谱图中可以看到,通过超分模块的处理,原始音频的高频部分得到了拓展和增强。

通过音频超分算法的处理,原始音频大于12kHz的高频信息得到了一定程度的补全修复

由于演唱会的拾音情况不同,导致演唱会唱歌的声音有时候相对乐器声和环境音过小,火山引擎音频技术团队利用响度算法首先单独提取唱歌的部分,然后调整唱歌部分的响度,最后再混合,使得整体的人声更加舒适。

据了解,演唱会的这些修复能力均已通过火山引擎智能处理、音频技术产品对外提供服务。另外,火山引擎还对外开放了画质全链路端到端解决方案,覆盖上传、转码、传输、消费等环节,实现视频内容在画质、码率、体验等方面的全方位优化。

数字化技术正成为驱动文化传承的力量。相关报道显示,2021年10月,西瓜视频及火山引擎推出“经典视频4K修复计划”,通过技术手段,已累计修复完成71部经典动画片,修复后的内容可在西瓜视频、鲜时光TV免费观看。

火山引擎相关负责人介绍,未来还会利用更多先进技术修复经典影像,让经典焕发新生。



责任编辑:黄显东
相关推荐

2009-05-06 08:57:40

微软Windows 7操作系统

2016-07-07 10:33:53

思科DNA视频

2020-09-01 10:54:14

电信市场瓶颈电信业务

2014-12-08 14:51:46

ThinkPad

2016-11-10 13:15:43

百度

2023-08-16 18:19:34

火山引擎抖音4K修复

2018-01-03 18:41:49

图片直播谱时

2009-05-05 15:46:59

卡巴斯基鸟巢成龙

2012-07-06 13:29:50

北京移动

2021-08-04 16:48:16

数字化

2013-07-15 16:43:53

百度云百度云Push云推送

2013-01-24 13:22:58

用友UAP云平台

2017-11-18 21:31:40

谷歌机器人数据分析

2023-09-07 11:48:36

腾讯混元大模型

2023-09-15 14:39:09

点赞
收藏

51CTO技术栈公众号