五秒内克隆你的声音,并生成任何内容,这个开源工具细思极恐

开发 前端
语音克隆最大的创新之一是减少创建语音所需的原始数据量。过去,该系统需要数十甚至数百小时的音频。但是,今天猿妹要和大家分享的这个工具5秒钟就可以克隆成功,这个工具名叫——MockingBird。

大家应该都知道声音克隆技术,通俗的来说就是借助深度学习算法,可以完全模拟某个人的声音,而且由机器合成的语音连情绪都能够完美表达出来,基本可以以假乱真,只要不见面,你根本就察觉不出来向你发出声音的知识一个机器。

[[420637]]

语音克隆最大的创新之一是减少创建语音所需的原始数据量。过去,该系统需要数十甚至数百小时的音频。但是,今天猿妹要和大家分享的这个工具5秒钟就可以克隆成功,这个工具名叫——MockingBird。

MockingBird已经登上Github热榜,收获3.5K的Star,累计分支 303(Github地址:https://github.com/babysor/MockingBird)

MockingBird具有如下特性:

  • 支持普通话并使用多种中文数据集进行测试
  • 适用于 pytorch,已在 1.9.0 版本(最新于 2021 年 8 月)中测试,GPU Tesla T4 和 GTX 2060
  • 支持 Windows + Linux
  • 仅使用新训练的合成器(synthesizer)就有良好效果,复用预训练的编码器/声码器

MockingBird如何使用

MockingBird的安装要求如下:

  • 首先,MockingBird需要Python 3.7 或更高版本
  • 安装 PyTorch
  • 安装 ffmpeg。
  • 运行pip install -r requirements.txt 来安装剩余的必要包。
  • 安装 webrtcvad 用 pip install webrtcvad-wheels。

接着,你需要使用数据集训练合成器:

  • 下载 数据集并解压:确保您可以访问 train 文件夹中的所有音频文件(如.wav)
  • 使用音频和梅尔频谱图进行预处理:python synthesizer_preprocess_audio.py 可以传入参数 --dataset {dataset} 支持 adatatang_200zh, magicdata, aishell3
  • 预处理嵌入:python synthesizer_preprocess_embeds.py /SV2TTS/synthesizer
  • 训练合成器:python synthesizer_train.py mandarin /SV2TTS/synthesizer

当你在训练文件夹 synthesizer/saved_models/ 中看到注意线显示和损失满足您的需要时,请转到下一步。

[[420638]]

 

使用预先训练好的合成器,如果没有设备或者不想慢慢调试,可以使用网友贡献的模型。

训练声码器

  • 预处理数据: python vocoder_preprocess.py
  • 训练声码器: python vocoder_train.py mandarin

启动工具箱

然后你可以尝试使用工具箱:python demo_toolbox.py -d<datasets_root>

 

责任编辑:未丽燕 来源: 开源前线
相关推荐

2019-12-27 08:33:45

Java工具IDE

2017-09-13 13:54:09

2019-08-28 13:44:51

人工智能AI机器人

2023-01-11 12:51:04

微软音频

2018-08-23 15:47:43

个人信息安全

2022-08-21 10:32:38

python

2022-08-11 10:25:01

U盘Python代码

2022-10-08 11:18:08

光攻击Zoom

2018-12-05 12:59:28

比特币区块链BTC

2015-10-28 16:32:52

人工智能谷歌搜索算法

2023-03-24 12:10:47

面部识别算法

2015-08-14 13:37:46

DEFCON磁盘安全

2021-10-08 15:21:52

AI 数据人工智能

2019-03-04 08:11:53

AIDeepFakes深度学习

2021-02-23 15:36:32

人工智能机器人工具

2021-02-25 11:03:46

人工智能

2022-10-11 16:57:29

开源工具开源

2022-07-27 14:01:57

AI机器人

2018-01-26 10:10:45

Linux服务器性能

2018-08-28 07:08:29

点赞
收藏

51CTO技术栈公众号