VideoChat – 开源的实时数字人对话系统，首包延迟低至3秒-爱论文

VideoChat是什么

VideoChat是开源的实时数字人对话系统，支持语音输入和实时对话功能。用户自定义数字人的形象和音色，无需训练即可进行音色克隆，首包延迟可低至3秒，适用于直播、新闻播报和聊天助手等多种实时语音交互场景。系统支持支持GLM-4-Voice，提供ASR-LLM-TTS-THG和MLLM-THG两种生成方式。VideoChat用Gradio框架构建交互式应用，支持流式视频输出，方便快速部署和构建。

VideoChat的主要功能

实时语音交互：支持用户用语音与数字人进行实时对话。形象和音色自定义：用户根据需要选择或设计数字人的外观和声音，实现个性化交互。语音输入和文本输出：将用户的语音输入转换为文本，再基于大语言模型生成回复文本。唇形同步：数字人在说话时，嘴唇动作与发出的声音同步，提高真实感。流式视频输出：基于Gradio框架，支持流式视频输出，让交互更加流畅。

VideoChat的技术原理

语音识别（ASR）：用FunASR等工具将用户的语音输入转换为文本。大语言模型（LLM）：基于通义千问等模型根据输入文本生成相应的回复文本。文本转语音（TTS）：基于GPT-SoVITS等工具将文本回复转换为语音。说话人生成（THG）：用MuseTalk等方案根据语音生成唇形同步的数字人视频。流式输出并行流水线：基于并行处理技术，边推理边播放，提高响应速度。Gradio框架：用Gradio 5实现流式视频输出，方便部署和构建交互式应用。

VideoChat的项目地址

GitHub仓库：https://github.com/Henry-23/VideoChat在线体验Demo：https://www.modelscope.cn/studios/AI-ModelScope/video_chat

VideoChat的应用场景

客户服务：作为虚拟客服，提供24*7的咨询服务，解答用户问题，减少企业人力成本。在线教育：作为虚拟教师，提供语言学习、课程讲解等服务，增加学习的互动性和趣味性。新闻播报：用在新闻行业，用数字人的形式播报新闻，提高新闻播报的效率和吸引力。直播行业：作为虚拟主播，进行产品介绍、直播带货等，增加直播的互动性和观众的观看体验。娱乐互动：在游戏、虚拟演唱会等娱乐领域，提供更加丰富的互动体验。