Ultravox – 端到端多模态大模型，直接理解文本和人类语音-爱论文

Ultravox是什么

Ultravox是新型的多模态大型语言模型（LLM），能直接理解文本和人类语音，无需依赖单独的自动语音识别（ASR）阶段。基于多模态投影器技术将音频数据转换为高维空间表示，与LLM直接耦合，显著减少处理延迟，提高响应速度。Ultravox在Llama 3、Mistral和Gemma等模型上训练，具备快速处理音频输入的能力，Ultravox 0.4版本首次令牌生成时间约为150毫秒，每秒处理约60个令牌。未来计划，Ultravox能直接生成语音流，进一步增强与人类的自然交流。

Ultravox的主要功能

实时语音理解：Ultravox能直接处理语音，转换为模型可理解的嵌入，实现与 AI 的实时对话。多模态交互：支持语音和文本的整合，提供更自然的交流体验。低成本部署：提供相对低成本的实时对话服务。自定义和扩展性：基于开放的模型架构，用户根据需求进行模型的定制和扩展。高维空间转换：基于多模态投影器，将音频直接转换为LLM使用的高维空间表示，提高语音理解的效率和准确性。支持新语言和领域知识：用户用自己的音频数据进行训练，添加新的语言或领域知识，增强模型的多语言和领域适应性。

Ultravox的技术原理

多模态大型语言模型（LLM）：构建在大型语言模型的基础上，处理和理解自然语言文本。多模态投影器：多模态投影器能够将音频数据转换为LLM可以理解的高维空间表示。无需单独的ASR阶段：直接消费音频嵌入，实现更自然、更流畅的对话。实时处理能力： Ultravox的设计具有非常短的时间到第一令牌（TTFT）和高tokens处理速率。直接语音到文本转换： Ultravox接收音频输入、输出流式文本。