论文地址：https://arxiv.org/abs/2407.09807

开源代码及模型：https://github.com/thu-spmi/CAT/blob/master/docs/cuside-array.md


摘  要

近年来，多通道端到端（ME2E）自动语音识别（ASR）系统逐渐兴起[1]。传统的单通道端到端ASR虽然研究广泛，但多通道端到端ASR的流式处理仍处于探索阶段。论文[2]提出了一种性能优异的单通道流式语音识别新方法—CUSIDE（Chunking, Simulating Future Context and Decoding）。本文[3]提出CUSIDE-Array方法，将CUSIDE[2]方法（Chunking, Simulating Future Context and Decoding）集成到ME2E ASR系统中，实现了前端和后端的流式处理，总延迟仅为402毫秒。


背  景

语音识别技术使计算机能够识别和理解人类语音。多通道自动语音识别系统使用多个麦克风，可以显著提高语音识别的准确性和鲁棒性，特别是在嘈杂环境中。传统的多通道语音识别方法中，将用于处理多通道信号的波束形成前端和用于语音识别的ASR后端分别进行优化，而多通道端到端（ME2E）ASR系统则将两者联合优化，通过最终的ASR损失来优化整个系统。


图1 传统的多通道语音识别方法


图2 多通道端到端语音识别方法


CUSIDE-Array方法

CUSIDE-Array方法将CUSIDE方法集成到ME2E ASR系统的基于掩码的神经波束形成器中。该方法以chunk方式实现流式语音处理并模拟未来上下文，在保持系统速度的同时提高了识别准确性。系统如下图所示，整个系统的的总延迟为402ms，这使得其适合应用于实时场景。


图3 CUSIDE-Array方法架构


  • 上下文感知块：将输入的音频分割为400毫秒的chunks，每个chunk拼接前后帧的上下文信息，以增强识别精度。
  • 基于掩码的神经波束形成：前端使用基于掩码的MVDR神经波束形成器，从多通道输入中增强语音信号，减少噪声，聚焦主要语音信号。
  • 未来上下文模拟：神经网络模拟语音信号的未来帧，减少实际等待未来帧的时间，从而降低延迟。


现实评估：ID & OOD

最近的研究指出了ID(In-Distribution、分布内，或又可称为域内、In-Domain)和OOD(Out-of-Distribution、分布外，或又可称域外、Out-of-Domain)测试之间的差距，并强调了进行现实评估（Realistic Evaluations）的重要性。
ID测试是在与训练数据分布相似的数据上进行的，而OOD测试是在与训练数据分布不同的数据上进行的，以评估系统在真实世界不同条件下的表现。如下表1所示。
在AISHELL-4、Alimeeting等实际场景下收集的数据集上的实验结果表明，CUSIDE-Array方法在ID和OOD测试中均取得了优异的流式识别结果。现实评估结果表明了CUSIDE-Array在通过后端预训练和ME2E微调提高OOD泛化能力方面的优势。


表1  ID与OOD流式与非流式结果（括号中）。ID结果带有下划线。E2E-FT是指前端和后端的联合微调，使用ID数据（即AISHELL-4）和模拟数据行微调。


总  结

CUSIDE-Array方法展示了在流式ME2E ASR中的显著优势，不仅在ID测试中表现优异，更在各种OOD测试中展现了卓越的鲁棒性。未来，我们还将进一步探索CUSIDE-Array基础上集成流式去混响和多声源分离等相关技术。

CUSIDE-Array方法更多介绍，请见原文[3]。我们期待与您共同探讨和推进这一创新技术在语音识别领域的应用。


参考文献：

[1] Keyu An, Ji Xiao, Zhijian Ou. “Exploiting Single-Channel Speech for Multi-Channel End-to-End Speech Recognition: A Comparative Study,” ISCSLP, 2022.

[2] K. An, H. Zheng, Z. Ou, H. Xiang, K. Ding, and G. Wan. “CUSIDE: Chunking, Simulating Future Context and Decoding for Streaming ASR,” INTERSPEECH, 2022.

[3] X. Kong, T. Ning, H. Huang, and Z. Ou. “A Streaming Multi-Channel End-to-End Speech Recognition System with Realistic Evaluations,” arXiv:2407.09807.