Spirit LM – Meta推出多模态语言模型，无缝集成语音和文本-爱论文

Spirit LM是什么

Spirit LM是由Meta AI团队推出的一种多模态语言模型，能无缝地混合文本和语音数据。Spirit LM基于一个预训练的文本语言模型，用持续在文本和语音单元上的训练扩展到语音模态。模型有两个版本：基础版（BASE）和表达版（EXPRESSIVE）。基础版用语音语义单元，除表达版除语义单元外，还用音高和风格单元模拟语音的表达性。Spirit LM在训练时将语音和文本序列连接为单一的标记集，基于词级交错方法。能生成具有文本模型语义能力的文本，和生成具有语音模型表达能力的语音，Spirit LM能在少量样本的情况下跨模态学习新任务，如自动语音识别（ASR）、文本到语音（TTS）和语音分类。

Spirit LM的主要功能

跨模态语言生成：Spirit LM能生成文本和语音，实现无缝切换。语义和表达能力：结合文本模型的语义能力和语音模型的表达能力。少量样本学习：基于少量样本快速学习新任务，如ASR、TTS和语音分类。情感保持：表达版（EXPRESSIVE）能理解和生成具有特定情感的语音和文本。多模态理解：理解和生成跨模态内容，例如将文本转换为语音或反之。

Spirit LM的技术原理

预训练和扩展：基于预训练的文本语言模型，用持续在文本和语音单元上的训练来展模型的语音处理能力。交错训练：用词级交错方法，将语音和文本序列连接为单一的标记集进行训练，实现语音和文本之间的对齐。双模态标记：基础版（BASE）：用语音语义单元（如HuBERT标记）。表达版（EXPRESSIVE）：除语义单元外，结合音高（F0）和风格单元捕捉语音的表达性。编码和解码：编码器：将语音转换为标记，用HuBERT等模型进行语音编码。解码器：将标记还原为原始模态（文本或语音）。数据集和训练：用大规模的文本数据集和语音数据集。基于对齐的语音+文本数据集进行交错训练。

Spirit LM的项目地址

项目官网：speechbot.github.io/spiritlmGitHub仓库：https://github.com/facebookresearch/spiritlmarXiv技术论文：https://arxiv.org/pdf/2402.05755

Spirit LM的应用场景

语音助手：集成到智能设备中，提供语音交互功能，如回答问题、设置提醒和控制智能家居设备。自动语音识别（ASR）：将语音转换为文本，用在语音转写、会议记录和语音命令系统。文本到语音（TTS）：将文本信息转换为语音输出，用在有声读物、新闻播报和导航系统。情感分析：分析语音或文本中的情感倾向，用在客户服务、市场研究和社交媒体监控。语音翻译：实现语音输入的实时翻译，帮助跨语言沟通，适于国际会议和旅游场景。