再胜OpenAI!谷歌发布20亿参数通用模型,100多种语言自动识别翻译

人工智能 新闻
近日,谷歌正式发布了支持100多个语种的20亿参数通用语音模型——USM,正式对标OpenAI的开源Whisper。

上周,OpenAI发布的ChatGPT API和Whisper API,刚刚引动了一场开发者的狂欢。

3月6日,谷歌就推出了一款对标的模型——USM。不仅可以支持100多种语言,而且参数量也达到了20个亿。

当然了,模型依然没有对外开放,「这很谷歌」!

简单来说,USM模型在涵盖1200万小时语音、280亿个句子和300种不同语言的无标注数据集中进行了预训练,并在较小的标注训练集中进行了微调。

谷歌的研究人员表示,虽然用于微调的标注训练集仅有Whisper的1/7,但USM却有着与其相当甚至更好的性能,并且还能够有效地适应新的语言和数据。

图片

论文地址:https://arxiv.org/abs/2303.01037

结果显示,USM不仅在多语种自动语音识别和语音-文本翻译任务评测中实现了SOTA,而且还可以实际用在YouTube的字幕生成上。

目前,支持自动检测和翻译的语种包括,主流的英语、汉语,以及阿萨姆语这类的小语种。

最重要的是,还能用于谷歌在去年IO大会展示的未来AR眼镜的实时翻译。

图片

Jeff Dean亲自官宣:让AI支持1000种语言

当微软和谷歌就谁家拥有更好的AI聊天机器人争论不休时,要知道,大型语言模型的用途可不仅于此。

去年11月,谷歌最先宣布了新项目「开发一种支持全球1000种最常用语言的人工智能语言模型」。

同年,Meta也发布了一个名为「No Language Left Behind」模型,并称可以翻译200多种语言,旨在打造「通用翻译器」。

而最新模型的发布,谷歌将其描述为通向目标的「关键一步」。

在打造语言模型上,可谓群雄逐鹿。

据传言,谷歌计划在今年的年度 I/O 大会上展示20多款由人工智能驱动的产品。

当前,自动语音识别面临许多挑战:

  • 传统的监督学习方法缺乏可扩展性

在传统的方法中,音频数据需要费时又费钱的手动标记,或者从有预先存在的转录的来源中收集,而对于缺乏广泛代表性的语言来说,这很难找到。

  • 扩大语言覆盖面和质量的同时,模型必须以高效的计算方式进行改进

这就要求算法能够使用来自不同来源的大量数据,在不需要完全重新训练的情况下实现模型的更新,并且能够推广到新的语言和使用案例。

微调自监督学习

据论文介绍,USM的训练采用了三种数据库:未配对的音频数据集、未配对的文本数据集、配对的ASR语料库。

  • 未配对的音频数据集

包括YT-NTL-U(超1200万小时YouTube无标签音频数据)和Pub-U(超429,000小时的51种语言的演讲内容)

  • 未配对的文本数据集

Web-NTL(超1140种不同语言的280亿个句子)

  • 配对的ASR语料库

YT-SUP +和 Pub-S语料库(超10,000小时的音频内容和匹配文本)

图片

USM使用标准的编码器-解码器结构,其中解码器可以是CTC、RNN-T或LAS。

对于编码器,USM使用了Conformor,或卷积增强Transformer。

训练过程共分为三个阶段。

在初始阶段,使用BEST-RQ(基于BERT的随机投影量化器的语音预训练)进行无监督的预训练。目标是为了优化RQ。

在下一阶段,进一步训练语音表征学习模型。

使用MOST(多目标监督预训练)来整合来自其他文本数据的信息。

该模型引入了一个额外的编码器模块,以文本作为输入,并引入了额外的层来组合语音编码器和文本编码器的输出,并在未标记的语音、标记的语音和文本数据上联合训练模型。

最后一步便是,对ASR(自动语音识别)和AST(自动语音翻译)任务进行微调,经过预训练的USM模型只需少量监督数据就可以取得很好的性能。

图片

USM整体训练流程

USM的性能如何,谷歌对其在YouTube字幕、下游ASR任务的推广、以及自动语音翻译上进行了测试。

YouTube多语言字幕上的表现

受监督的YouTube数据包括73种语言,每种语言的数据时长平均不到3000个小时。尽管监督数据有限,但模型在73种语言中实现了平均不到30%的单词错误率(WER),这比美国内部最先进的模型相比还要低。

此外,谷歌与超40万小时标注数据训练出的Whisper模型 (big-v2) 进行了比较。

在Whisper能解码的18种语言中,其解码错误率低于40%,而USM平均错误率仅为32.7%。

图片

对下游ASR任务的推广

在公开的数据集上,与Whisper相比,USM在CORAAL(非裔美国人的方言英语)、SpeechStew(英文-美国)和FLEURS(102种语言)上显示出更低的WER,不论是否有域内训练数据。

两种模型在FLEURS上的差异尤为明显。

图片

在AST任务上的表现

在CoVoST数据集上对USM进行微调。

将数据集中的语言按资源可用性分为高、中、低三类,在每一类上计算BLEU分数(越高越好),USM在每一类中的表现的优于Whisper。

研究发现,BEST-RQ预训练是将语音表征学习扩展到大数据集的一种有效方法。

当与MOST中的文本注入相结合时,它提高了下游语音任务的质量,在FLEURS和CoVoST 2基准上实现了最好的性能。

通过训练轻量级剩余适配器模块,MOST表示能够快速适应新的域。而这些剩余适配器模块只增加2%的参数。

图片

谷歌称,目前,USM支持100多种语言,到未来将扩展到1000多种语言。有了这项技术,或许对于每个人来讲走到世界各地稳妥了。

甚至,未来实时翻译谷歌AR眼镜产品将会吸引众多粉丝。

不过,现在这项技术的应用还是有很长的一段路要走。

毕竟在面向世界的IO大会演讲中,谷歌还把阿拉伯文写反了,引来众多网友围观。

图片

责任编辑:张燕妮 来源: 新智元
相关推荐

2023-05-25 16:24:13

2011-03-07 09:45:51

FileZilla

2019-10-12 13:36:43

机器学习人工智能计算机

2022-05-26 15:00:36

翻译模型谷歌

2022-08-18 15:13:37

模型参数

2009-07-31 16:24:55

ibmdwEclipse

2023-03-09 06:31:14

视觉语言模型人工智能

2011-06-01 13:49:00

Android 内存

2023-05-10 15:08:26

OpenAI语言模型人工智能

2020-04-07 00:26:32

AI语言无监督

2023-10-28 09:59:30

2023-05-17 10:05:56

2017-04-06 15:00:38

编程语言

2022-11-01 13:52:44

AI数学

2023-05-12 12:43:49

开源人工智能

2020-10-28 10:38:08

谷歌模型机器翻译

2023-04-07 09:28:31

模型训练

2021-12-10 15:46:18

谷歌模型人工智能

2020-03-16 14:01:05

语言Java开发

2021-12-26 07:43:50

aDLLDLL漏洞
点赞
收藏

51CTO技术栈公众号