Google开源自家神经网络编码器,吊打Opus

新闻
Google 近日发布了一个端到端的神经音频编解码器 —— SoundStream。

[[418658]]

Google 近日发布了一个端到端的神经音频编解码器 —— SoundStream。最重要的是,Google 表示这是世界上第一个由神经网络驱动并支持语音、音乐和环境声音等不同声音类型的音频编解码器,可以在智能手机的处理器上实时处理上述各种音频。

[[418659]]

音频编解码器是压缩音频文件的基本工具,以使其体积更小,并在传输过程中尽可能节省时间。因此,音频编解码器对于流媒体、在线语音和视频通话这类有音频传输需求的服务而言至关重要。

虽然音频编解码器能够压缩音频体积,加速音频传输过程,但压缩后的音频也会损失音频质量和细节,产生可以让用户察觉到的差异。而这就是 SoundStream 能够弥补的地方。

今年 2 月的时候,Google 发布了一个用于低比特率语音的神经音频编解码器 Lyra,并在今年 4 月正式开源。SoundStream 是 Lyra 的一个扩展版本。SoundStream 不仅集成了 Lyra 在低比特率「语音」方面的能力,还具有对更多声音类型的编码支持,包括清晰的语音、嘈杂的语音、带有回声的语音、音乐和环境声音等。

SoundStream 是围绕一个由编码器、解码器和量化器组成的神经网络系统而建立的。编码器将音频转换为编码信号,之后使用量化器进行压缩,并使用解码器转换回音频。因此,在经过训练神经网络模型后,编码器和解码器可以在不同的客户端工作,有助于在各种环境下以不损失质量的前提传输音频。

Google 已经在网站上发布了不同音频压缩样本与原始音频样本的对比。通过对比测试,经过 SoundStream 处理过的 3 kbps 的音频要优于 Opus 音频编解码器处理过的 12 kbps 音频,效果与 ECS 编解码器处理过的 9 kbps 十分接近。

目前 Google 自己的在线会议平台 Google Meet 和视频平台 YouTube 仍在使用 Opus 音频编解码器。随着 SoundStream 技术的不断进步,可能很快就能看到 Google 将在自己的服务中使用自己的技术。

Google 表示,SoundStream 是将机器学习技术应用在音频编解码器中重要的一步,比目前最先进的编解码器 Opus 和 EVS 效果更好。SoundStream 将被整合进 Lyra,并随着 Lyra 下一版本的发布一同推出。开发人员可以利用现有的 Lyra API 和工具,来提供更好的音质。

 

责任编辑:张燕妮 来源: OSC开源社区
相关推荐

2020-07-24 11:17:51

开源技术 趋势

2017-11-10 12:45:16

TensorFlowPython神经网络

2021-03-22 10:52:13

人工智能深度学习自编码器

2021-11-02 20:44:47

数字化

2021-03-29 11:37:50

人工智能深度学习

2021-01-14 12:16:50

开源技术 软件

2021-08-18 10:41:24

GoogleSoundStream神经网络

2012-04-01 16:40:45

编码器

2012-04-10 16:55:22

PowerSmart编码器

2023-04-25 21:36:07

火山引擎

2019-12-20 09:15:48

神经网络数据图形

2018-07-03 16:10:04

神经网络生物神经网络人工神经网络

2009-08-29 11:03:10

2011-09-30 15:45:39

PowerSmart编山东省齐鲁频道

2010-03-01 14:08:53

WCF编码器

2023-03-03 15:40:43

抖音视频编码器

2018-01-24 11:44:12

脸书FacebookAR技术

2016-03-30 10:29:25

神经网络处理器神经网络DianNaoYu
点赞
收藏

51CTO技术栈公众号