FireRedASR – 小红书开源的自动语音识别模型

FireRedASR是什么

FireRedASR 是小红书开源的工业级自动语音识别（ASR）模型家族，支持普通话、中文方言和英语，在普通话 ASR 基准测试中达到了新的最佳水平（SOTA），在歌词识别方面表现出色。 模型家族包含两个主要版本：

FireRedASR-LLM：采用 Encoder-Adapter-LLM 框架，基于大型语言模型（LLM）的能力，实现 SOTA 性能，支持无缝端到端语音交互。在普通话基准测试中平均字符错误率（CER）为 3.05%，相比之前的 SOTA 模型（3.33%）降低了 8.4%。

FireRedASR-AED：采用基于注意力的编码器-解码器（AED）架构，平衡高性能和计算效率，可作为基于 LLM 的语音模型中的有效语音表示模块。在普通话基准测试中平均 CER 为 3.18%，优于拥有超过 12B 参数的 Seed-ASR。

FireRedASR的主要功能

高精度语音识别：FireRedASR 包含两个版本，FireRedASR-LLM 和 FireRedASR-AED。其中，FireRedASR-LLM 采用 Encoder-Adapter-LLM 框架，专注于极致的语音识别精度。高效推理：FireRedASR-AED 基于经典的 Attention-based Encoder-Decoder 架构，参数量为 1.1B，平衡了高准确率与推理效率。多场景适配：FireRedASR 在多种日常场景下表现出色，包括短视频、直播、语音输入和智能助手等。与业内领先的 ASR 服务提供商和 Paraformer-Large 相比，FireRedASR-LLM 的 CER 相对降低 23.7%~40.0%。歌词识别能力：在歌词识别场景中，FireRedASR-LLM 的 CER 实现了 50.2%～66.7% 的相对降低，展现了极强的适配能力。多语言支持：FireRedASR 支持普通话，在中文方言和英语语音识别方面表现出色，进一步拓宽了其应用范围。开源与社区支持：FireRedASR 的模型和推理代码均已开源，推动语音识别技术的社区驱动改进和学术研究。

FireRedASR的技术原理

FireRedASR-LLM：FireRedASR-LLM 采用 Encoder-Adapter-LLM 框架，结合了大型语言模型（LLM）的能力，实现极致的语音识别精度。包含三个核心组件：Conformer 基础编码器：负责提取语音特征，生成连续的语音表示。轻量级适配器：将编码器的输出转换为与 LLM 语义空间匹配的表示。预训练文本 LLM：基于 Qwen2-7B-Instruct 初始化，用于生成最终的文本输出。训练策略：在训练过程中，编码器和适配器是可训练的， LLM 的大部分参数保持固定，仅通过 Low-Rank Adaptation（LoRA）进行微调。确保编码器和适配器能有效地将语音特征映射到 LLM 的语义空间，同时保留 LLM 的预训练能力。输入与推理：在推理时，输入包括提示（prompt）和语音，LLM 执行 next-token-prediction，生成识别文本。FireRedASR-AED：FireRedASR-AED 基于经典的注意力机制编码器-解码器（AED）架构，平衡高性能和计算效率。由以下部分组成：Conformer 编码器：基于 Conformer 模型处理语音特征，能同时捕捉局部和全局依赖关系。Transformer 解码器：采用 Transformer 架构进行序列转换，包含多头自注意力模块和前馈模块。输入特征：输入特征为 80 维的 log Mel 滤波器组，经过全局均值和方差归一化处理。训练数据：训练数据包含约 7 万小时的高质量普通话音频数据，以及约 1.1 万小时的英语音频数据。

FireRedASR的项目地址

Github仓库：https://github.com/FireRedTeam/FireRedASRHuggingFace模型库：https://huggingface.co/FireRedTeam/FireRedASR-AED-LarXiv技术论文：https://arxiv.org/pdf/2501.14350

FireRedASR的应用场景

智能语音助手：FireRedASR 可以用于开发智能语音助手，如智能家居控制、智能客服等。高精度的语音识别能力能准确理解用户的语音指令，提供流畅的交互体验。视频和直播：在短视频和直播领域，FireRedASR 能实时生成字幕，帮助观众更好地理解内容。歌词识别：FireRedASR 在歌词识别场景中表现尤为突出，能广泛应用于音乐平台和卡拉OK等场景。语音输入：FireRedASR 可以用于语音输入场景，如语音打字、语音笔记等。高效的推理能力和高精度的识别效果能显著提升用户的输入效率。