Facebook开源VoiceLoop,根据开放场景语音文字合成新语音

新闻 开发
Facebook 研究员近日开源了他们在今年七月发表的一篇论文(Voice Synthesis for in-the-Wild Speakers via a Phonological Loop)中的语音合成方法。

Facebook 研究员近日开源了他们在今年七月发表的一篇论文(Voice Synthesis for in-the-Wild Speakers via a Phonological Loop)中的语音合成方法。

Facebook 开源 VoiceLoop,根据开放场景语音文字合成新语音

在论文中,他们提出了一种新的文字转语音的神经网络方法,可以将从开放场景下采样到的声音中提取的文字转化为语音。不同于其他的文字转语音系统,这种方法能够处理从公开演讲中提取出来的非约束性的样本,而且网络架构比现存的解决同样问题的架构要简单。它基于新的移位缓冲内存储器区(shifting buffer working memory),这个缓冲区也可以用于评估注意力,计算输出音频,以及自身的更新。

Facebook 开源 VoiceLoop,根据开放场景语音文字合成新语音

通过使用与上下文无关( context-free)的查找表对输入语句进行编码,该表的每个条目包含一个字符或音素。同样,能通过一个短向量来表示说话者,这个短向量也适用于新说话者。而且在生成音频之前,优先准备好缓冲区可以使生成的语音具有可变性。

上图为实验样例中生成的注意力图,X 轴是输出时间(声学样本),Y 轴是输入(文本/音素)。

代码地址:https://github.com/facebookresearch/loop

论文地址:https://arxiv.org/abs/1707.06588

责任编辑:张燕妮 来源: 博客园
相关推荐

2014-12-08 09:40:38

ACAT语音系统

2020-09-03 11:22:35

音频腾讯云AI

2019-06-24 09:30:00

开源技术 趋势

2016-02-17 10:39:18

语音识别语音合成语音交互

2009-08-21 15:28:23

C#英文

2019-12-13 09:48:48

开源技术 软件

2023-12-23 23:08:21

语音数据

2022-10-19 12:47:05

深度学习语音合成

2022-12-05 07:17:14

人工智能语音合成

2016-09-29 17:56:51

腾讯云微信智能语音

2019-04-19 13:37:01

FacebookAI语音助手人工智能

2023-07-27 16:51:05

微软语音模型人工智能

2022-07-20 09:38:31

Python语音合成代码

2018-12-27 10:52:10

Facebook 开发开源

2020-12-23 15:22:29

开发工具代码

2022-09-15 09:59:55

火山语音语音建模

2014-02-26 09:44:59

Facebook开源工具Fbthrift

2012-09-13 11:15:57

IBMdw
点赞
收藏

51CTO技术栈公众号