LLaMA-Omni:专为与大型语言模型(LLMs)进行低延迟、高质量的语音交互而设计 原创 精华
大型语言模型(LLMs)如GPT-4等,已经在多个领域展示了其强大的能力,能够通过对话帮助人们完成各种任务。然而,这些模型在需要语音输入或输出的场景中仍面临显著的限制。尽管最近的技术进展,如GPT-4o,提升了语音交互的响应速度,但依然存在延迟和质量方面的挑战。如何实现低延迟且高质量的语音交互,成为开源社区亟待解决的问题。
01、概述
为了实现与LLMs的语音交互,研究者们尝试了多种方法,每种方法都有其局限性。最常见的做法是将自动语音识别(ASR)和文本到语音(TTS)模型串联使用,但这种方法由于逐步处理转录文本、生成文本响应和语音响应,往往导致较高的延迟。为了改进这一点,一些研究提出了多模态语音-语言模型,尝试将语音离散化为标记,并扩展LLM词汇表以支持语音输入和输出。虽然理论上这些模型能够实现低延迟的语音到语音生成,但实际上仍需生成中间文本以保持高质量,从而牺牲了一部分响应速度。
此外,还有尝试通过在语义或声学标记上训练语言模型,或将语音编码器添加到LLMs中,以提高语音理解能力。然而,这些方法通常需要大量的数据和计算资源,或者只专注于语音理解,而忽视了生成能力。
02、LLaMA-Omni的突破性创新
为了突破这些限制,中国科学院大学的研究团队推出了一种名为LLaMA-Omni的全新模型架构。LLaMA-Omni的设计目标是实现与LLMs的低延迟和高质量的语音交互。其创新之处在于集成了语音编码器、语音适配器、LLM和流式语音解码器,能够实现无缝的语音到语音通信。具体来说,该模型通过直接处理语音输入绕过了中间文本转录的步骤,显著减少了响应延迟。
LLaMA-Omni的架构主要包括四个部分:语音编码器、语音适配器、LLM和语音解码器。语音编码器基于Whisper-large-v3,从用户的语音输入中提取有意义的表示。接着,这些表示经过语音适配器处理,通过下采样和两层感知器映射到LLM的嵌入空间。LLM则基于Llama-3.1-8B-Instruct直接从语音指令生成文本响应。而语音解码器,一个非自回归流式Transformer,利用连接时序分类(CTC)预测与语音响应相对应的离散单元,实现了文本和语音的同步生成。
03、LLaMA-Omni的训练与评估
LLaMA-Omni采用了两阶段的训练策略。第一阶段关注从语音指令生成文本响应,第二阶段则专注于生成语音响应。在推理过程中,LLaMA-Omni能够同时生成文本和语音响应,语音解码器在LLM生成文本的同时实时转换为语音波形。这种方法实现了极低延迟的语音交互,使得用户在文本完全生成之前即可听到响应。
为了支持LLaMA-Omni的开发和评估,研究人员创建了InstructS2S-200K数据集。该数据集包含200,000个语音指令、文本响应和语音响应的三元组。构建过程包括使用Llama-3-70B-Instruct重写文本指令以适应语音,生成适合语音的简洁响应,并使用CosyVoice-300M-SFT和VITS进行语音合成。该数据集结合了Alpaca的50,000条条目和UltraChat的150,000条条目,涵盖了广泛的主题,为LLaMA-Omni在语音交互任务上的训练提供了坚实基础。
04、未来展望
LLaMA-Omni在InstructS2S-Eval基准测试中的表现优于之前的模型,特别是在语音到文本和语音到语音指令的内容和风格一致性上。模型在语音质量和响应延迟之间提供了良好的权衡,延迟低至226毫秒。与其他模型相比,LLaMA-Omni的文本和语音同时生成能力显著提高了解码速度。案例研究显示,LLaMA-Omni能够提供更简洁、更详细且更有帮助的响应,特别适合语音交互场景。
总之,LLaMA-Omni作为一种创新的AI模型架构,不仅在低延迟和高质量的语音交互方面实现了突破,还通过创建专门的数据集和优化训练过程,推动了基于LLMs的语音交互技术的发展。其卓越的性能和高效的训练过程,为未来的语音交互模型的快速开发奠定了基础。
参考:
本文转载自公众号Halo咯咯 作者:基咯咯
原文链接:https://mp.weixin.qq.com/s/LLMNcrcjsJ47MwsaKeXDLA