WeNet:面向生产的流和非流端到端语音识别工具包
原文链接:WeNet: Production Oriented Streaming and Non-streaming End-to-End Speech Recognition Toolkit
1.摘要
- WeNet: 一个开源的语音识别工具包,旨在通过新的双通道方法 U2 统一流式和非流式端到端(E2E)语音识别。
- 动机: 缩小E2E语音识别模型的研究与部署之间的差距。
- 架构: 基于Transformer或Conformer编码器的混合连接时序分类(CTC)和注意力模型。
- 关键特性: 动态chunk-based attention策略,实现流式和非流式统一。
2.WeNet的主要特性
- 生产优先设计: 易于在实际场景中部署。
- 统一解决方案: 在一个模型中集成流式和非流式语音识别,减少开发和部署工作量。
- 可移植运行时: 支持多种平台,包括服务器(x86)和嵌入式(ARM Android)。
- 轻量化: 不依赖于Kaldi,完全使用PyTorch生态系统。
3.模型架构
U2框架
统一的双通道联合CTC/AED模型。
Shared Encoder: 多层Transformer或Conformer层,负责提取输入语音的特征。
CTC Decoder: 将编码器输出转换为CTC激活的线性层。
Attention Decoder: 多个Transformer解码器层。
Training: 结合CTC和AED损失。
Decoding Modes:
- Attention
- CTC Greedy Search
- CTC Prefix Beam Search
- Attention Rescoring
Training
联合训练:同时优化CTC和AED(Attention Encoder-Decoder)损失函数。损失函数如下:
L = λ L C T C + ( 1 − λ ) L A E D L=λL_{CTC}+(1−λ)L_{AED} L=λLCTC+(1−λ)LAED
其中, λ λ λ是一个权重因子,用于平衡CTC损失和AED损失。
动态chunk训练:在训练过程中,输入语音被分割成多个chunk。每个chunk独立处理,并通过调整chunk大小来模拟不同的实时性要求。
分布式训练:使用PyTorch的DistributedDataParallel进行多GPU训练,以加速训练过程和处理大规模数据。
Decoding
在解码阶段,U2模型采用了多种解码策略来提高识别精度和效率,主要包括CTC贪婪搜索、CTC前缀束搜索、Attention解码器以及Attention重评分。
- Attention:在AED(Attention Encoder-Decoder)模型中,采用标准的自回归波束搜索方法进行解码。能够捕捉长距离依赖和上下文信息,适合高精度的离线语音识别任务。
- CTC Greedy Search(CTC贪婪搜索):在模型的CTC(Connectionist Temporal Classification)部分,采用CTC贪婪搜索方法进行解码。直接选择每个时间步长上CTC输出中概率最高的标签。简单快速,计算复杂度低。精度较低,因为忽略了长距离依赖和上下文信息。
- CTC Prefix Beam Search(CTC前缀束搜索):在模型的CTC部分,应用CTC前缀波束搜索算法,生成n-best候选序列。相比贪婪搜索提高了精度,能够捕捉更多潜在的候选序列。计算复杂度较高,解码速度较慢。
- Attention Rescoring(Attention重评分):结合CTC前缀束搜索和Attention解码器。首先在模型的CTC部分应用CTC前缀波束搜索,生成n-best候选序列,然后在AED解码器中对这些候选序列进行重评分。兼顾了CTC的快速解码能力和Attention的高精度,通过重评分进一步提高了识别精度。整体计算复杂度较高,但相比单纯的Attention解码器有所优化。
4.系统设计
- Data Preparation: 使用Torchaudio进行实时特征提取。
- Training:
- 实时特征提取。
- 联合CTC/AED训练。
- 使用PyTorch的DistributedDataParallel进行分布式训练。
- Decoding: 提供Python工具进行验证和调试。
- Export: 使用TorchScript导出模型,直接部署在LibTorch上。
- Runtime: 支持x86和Android平台,提供C++ API库和演示。
5.实验
数据集: AISHELL-1,包含150小时的普通话语音语料。特征提取采用80维的FBANK特征,并且加上3维的音高特征(基频(F0)、音高概率和音高标准差),总共83维。
Unified model evaluation:
- Non-Streaming Model (M1): 完全注意力模型。
- Unified Model (M2): 动态chunk策略,评估了不同chunk大小。
- Decoding Modes: Attention Rescoring表现最佳,具有最低的延迟。
Runtime Benchmark
实验平台
- 云端服务器 (x86平台): 使用4核Intel Xeon E5-2620 v4 @ 2.10GHz CPU,16GB内存。由于云服务需要并行处理,每个语音片段仅使用一个线程来避免性能下降。
- 移动设备 (ARM Android平台): 使用4核Qualcomm Snapdragon 865 CPU,8GB内存。每个语音片段也仅使用一个线程。
量化 (Quantization)
量化对比了量化前后CER (Character Error Rate) 的变化。结果表明,无论是否进行量化,CER几乎没有变化。下表展示了AISHELL-1测试集上的量化前后CER对比:
实时因子 (RTF)
RTF (Real-Time Factor) 表示的是处理音频所需的时间和音频时长的比值。实验表明,随着chunk大小减小,RTF增大。同时,量化可在设备端带来约两倍的速度提升,并在服务器端带来轻微的改进。
延迟 (Latency)
延迟基准测试使用WebSocket服务器/客户端模拟真实流式应用,只在服务器x86平台上进行。评估了以下三种延迟:
- 模型延迟 (L1): 由模型结构引入的等待时间。对于基于chunk的解码,平均等待时间理论上为chunk的一半。总模型延迟计算公式为(chunk/2 * 4 + 6) * 10(ms),其中4是子采样率,6是编码器中前两个CNN层引入的lookahead,10是帧移。
- 重评分延迟 (L2): 第二遍注意力重评分的时间成本。
- 最终延迟 (L3): 用户感知的延迟,即用户停止说话到获得识别结果的时间差。当ASR服务器接收到语音结束信号时,首先转发剩余语音进行CTC搜索,然后进行第二遍注意力重评分,因此重评分成本是最终延迟的一部分。
结果显示,不同chunk大小的重评分成本几乎相同,因为重评分计算与chunk大小无关。此外,最终延迟主要由重评分成本主导,这意味着可以通过减少重评分成本来进一步降低最终延迟。最终延迟随着chunk大小从4到8再到16略有增加。
15,000-hour Task
使用了一个来自不同领域的15,000小时的普通话数据集,以展示模型在工业级数据集上的能力。
模型架构:
- 共享编码器:使用了Conformer(Wenet)。Conformer在transformer的基础上增加了卷积模块,可以捕捉局部和全局上下文信息,从而在不同的ASR任务中获得更好的效果。特别地,因果卷积用于Conformer的chunk训练,并且在80维的FBANK特征上增加了额外的3维音高特征。
- 编码器结构:主结构与之前实验保持一致,只是将transformer层更换为12层Conformer层,每层具有4个多头注意力头。每层Conformer使用384维的注意力维度和2048维的前馈维度。
- 其他技术:使用了累积梯度以稳定训练,每4步更新一次参数。最终模型通过平均训练过程中评估集上损失较低的前10个最佳模型来获得。
训练了一个全上下文的Conformer CTC模型和一个使用动态chunk训练的U2模型。三个测试集包括AISHELL-1、电视领域和对话领域。U2模型在注意力重评分数解码模式下工作,而Conformer模型在注意力解码模式下工作。
结果表明,U2模型在整体上与Conformer基线模型取得了相当的效果,甚至在使用全注意力进行推理时在AISHELL-1测试集上表现更好。chunk大小为16时,CER(字符错误率)并没有明显变差。
对AISHELL-1任务表现更好的原因进行了分析。由于AISHELL-1中的平均话语时长比其他两个测试集要长,因此需要更强的全局信息建模能力。U2模型可以使用注意力解码器来重评分CTC假设,这使得其更适合AISHELL-1任务。
知识细化
动态分块训练 (Dynamic Chunk Training)
论文链接:Unified Streaming and Non-streaming Two-pass End-to-end Model for Speech Recognition (arxiv.org)
论文提出了一种动态分块训练技术,用于统一流式和非流式模型,并实现延迟控制。U2模型在Shared Encoder是流式时才能实现流式功能。标准Transformer编码器层使用全自注意力机制(full self-attention),如下图(a)所示,每个时间t的输入依赖于整个输入。如下图(b)所示,最简单的流式处理方法是让时间t的输入只看到自身和之前的输入,即左注意力(left attention),但这种方法相比全上下文模型有很大的性能下降。另一种常见技术是限制时间t的输入只看到有限的右上下文t+1, t+2, …, t+W(W是每层编码器的右上下文),整个上下文通过所有编码器层累积。
文中采用了一种分块注意力机制(chunk attention),如图2©所示,将输入按固定块大小C分成多个块,每个块的输入[t+1, t+2, …, t+C],每个块依赖于自身和之前所有的块。编码器的整体延迟取决于块大小,易于控制和实现。可以使用固定块大小训练模型,称为静态分块训练(static chunk training),并用相同的块进行解码。
文中进一步提出了动态分块训练(dynamic chunk training)。训练时对不同批次使用不同的动态块大小,动态块大小范围为从1到最大语句长度的均匀分布,即注意力从左上下文注意力到全上下文注意力变化,模型在不同块大小下捕捉不同的信息,学习如何在提供不同有限右上下文时做出准确预测。将块大小从1到25称为流式块(streaming chunk),最大语句长度的块为非流式块(none streaming chunk)。
如公式2所示,每批次训练过程中x从0到1.0采样, l m a x l_{max} lmax为当前批次的最大语句长度,U为均匀分布。块大小分布改变,一半是全块用于非流式,另一半从1到25用于流式。实验结果表明,这种方法简单而有效,动态块大小训练的模型性能与静态分块训练相当。除了批次级别的方法,还尝试了epoch级别的方法——前半部分epoch使用全块,后半部分epoch使用流式块或交替使用。这些策略没有成功。