Google 推出神经网络编解码器 SoundStream,将整合进开源项目 Lyra

人工智能 深度学习
Google 近日发布了一个端到端的神经音频编解码器 —— SoundStream。最重要的是,Google 表示这是世界上第一个由神经网络驱动并支持语音、音乐和环境声音等不同声音类型的音频编解码器,可以在智能手机的处理器上实时处理上述各种音频。

Google 近日发布了一个端到端的神经音频编解码器 —— SoundStream。最重要的是,Google 表示这是世界上第一个由神经网络驱动并支持语音、音乐和环境声音等不同声音类型的音频编解码器,可以在智能手机的处理器上实时处理上述各种音频。

[[418223]]

音频编解码器是压缩音频文件的基本工具,以使其体积更小,并在传输过程中尽可能节省时间。因此,音频编解码器对于流媒体、在线语音和视频通话这类有音频传输需求的服务而言至关重要。

虽然音频编解码器能够压缩音频体积,加速音频传输过程,但压缩后的音频也会损失音频质量和细节,产生可以让用户察觉到的差异。而这就是 SoundStream 能够弥补的地方。

今年 2 月的时候,Google 发布了一个用于低比特率语音的神经音频编解码器 Lyra,并在今年 4 月正式开源。SoundStream 是 Lyra 的一个扩展版本。SoundStream 不仅集成了 Lyra 在低比特率「语音」方面的能力,还具有对更多声音类型的编码支持,包括清晰的语音、嘈杂的语音、带有回声的语音、音乐和环境声音等。

SoundStream 是围绕一个由编码器、解码器和量化器组成的神经网络系统而建立的。编码器将音频转换为编码信号,之后使用量化器进行压缩,并使用解码器转换回音频。因此,在经过训练神经网络模型后,编码器和解码器可以在不同的客户端工作,有助于在各种环境下以不损失质量的前提传输音频。

Google 已经在网站上发布了不同音频压缩样本与原始音频样本的对比。通过对比测试,经过 SoundStream 处理过的 3 kbps 的音频要优于 Opus 音频编解码器处理过的 12 kbps 音频,效果与 ECS 编解码器处理过的 9 kbps 十分接近。

目前 Google 自己的在线会议平台 Google Meet 和视频平台 YouTube 仍在使用 Opus 音频编解码器。随着 SoundStream 技术的不断进步,可能很快就能看到 Google 将在自己的服务中使用自己的技术。

Google 表示,SoundStream 是将机器学习技术应用在音频编解码器中重要的一步,比目前最先进的编解码器 Opus 和 EVS 效果更好。SoundStream 将被整合进 Lyra,并随着 Lyra 下一版本的发布一同推出。开发人员可以利用现有的 Lyra API 和工具,来提供更好的音质。

本文转自OSCHINA

本文标题:Google 推出神经网络编解码器 SoundStream,将整合进开源项目 Lyra

本文地址:https://www.oschina.net/news/155954/google-soundstream-neural-audio-codec

责任编辑:未丽燕 来源: 开源中国
相关推荐

2021-04-07 13:52:57

GoogleLyra编译器

2021-08-20 13:12:18

Google 开源技术

2021-08-03 08:38:21

Netty解码器使用

2021-04-12 13:36:59

开源技术 工具

2023-06-20 08:34:33

SVT-AV1开源

2022-02-15 21:42:23

嵌入式系统音频编解码器开发

2022-10-10 10:38:22

FedoraopenSUSE视频编解码

2021-07-13 09:27:20

AI 解码视频

2021-12-25 16:20:38

微软WindowsWindows 10

2020-02-19 19:15:27

UbuntuLinux媒体编解码器

2023-07-05 11:16:59

2021-08-11 10:03:07

iOS 14.8苹果iOS 15

2021-10-08 09:38:57

NettyChannelHand架构

2023-07-26 16:31:09

Windows 10Windows 11微软

2009-07-06 16:19:00

HTML 5Ogg

2021-10-08 10:50:33

AI 编码器人工智能

2021-04-22 11:21:03

Windows 10Windows微软

2017-09-08 16:41:43

微软

2024-02-28 08:22:07

2020-12-15 14:41:23

编解码器阿里视频
点赞
收藏

51CTO技术栈公众号