Jointly optimal dereverberation and beamforming
Paderborn University（帕德博恩大学）；NTT Communication Science Laboratories, NTT Corporation（NTT公司通信科学实验室）
我们以前提出了一个最佳的（在最大似然意义上）卷积波束形成器，可以同时进行去噪和去混响，并显示了其优越性的广泛使用的级联的WPE去混响滤波器和传统的MPDR波束形成器。然而，尚未充分研究卷积波束形成器中的哪些组件产生这种优势。为此，本文提出了一种新的卷积波束形成器的推导，使我们能够将其分解为WPE去混响滤波器和一种特殊类型的（非卷积）波束形成器，称为wMPDR波束形成器，而不会损失最优性。通过实验，我们证明了卷积波束形成器的优越性实际上来自于它的wMPDR部分。
2019-10-30 cs.CL cs.SD eess.AS
Integrating Plug-and-Play Data Priors with Weighted Prediction Error for Speech Dereverberation
Northwestern Polytechnical University（西北工业大学）
本文提出在加权预测误差去混响框架中引入即插即用去噪正则化策略，利用数据驱动的语音先验提升复杂噪声环境下的去混响性能与鲁棒性。
2023-12-05 cs.SD eess.AS
A unified convolutional beamformer for simultaneous denoising and dereverberation
NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社NTT通信科学实验室）
本文提出了一种方法来估计卷积波束形成器，可以执行去噪和去混响同时在一个最佳的方式。基于加权预测误差（WPE）方法的去混响的应用，然后基于最小方差无失真响应（MVDR）波束形成器的去噪，传统上被认为是有前途的方法，然而，不能保证这种方法的最优性。为了实现去噪和去混响的最佳集成，我们提出了一种方法，该方法将WPE去混响方法和MVDR波束形成器的变体，即最小功率无失真响应（MPDR）波束形成器，合并为单个卷积波束形成器，并基于单个统一的优化标准对其进行优化。所提出的波束形成器被称为加权功率最小化无失真响应（WPD）波束形成器。实验结果表明，该方法在客观语音增强指标和自动语音识别（ASR）性能两方面都有显著提高。
2019-05-05 cs.SD eess.AS
DESNet: A Multi-channel Network for Simultaneous Speech Dereverberation, Enhancement and Separation
Northwestern Polytechnical University（西北工业大学）；Microsoft（微软）
在本文中，我们提出了一个多通道网络的同时语音去混响，增强和分离（DESNet）。为了实现梯度传播和联合优化，我们采用了多通道特征的注意力选择机制，该机制最初是在端到端解混、固定波束成形和提取（E2 E-UFE）结构中提出的。此外，新的深度复杂卷积递归网络（DCCRN）被用作语音解混的结构和基于神经网络的加权预测误差（WPE）的语音去混响预先级联。为了进一步提高网络的性能，我们还引入了分阶段的信噪比策略和交响损失的训练。实验结果表明，在非去混响情况下，DESNet的语音增强和分离性能优于DCCRN和大多数最先进的结构，而在去混响情况下，DESNet也优于级联的WPE-DCCRN网络。
2020-11-14 cs.SD eess.AS
Low algorithmic delay implementation of convolutional beamformer for online joint source separation and dereverberation
针对在线盲音频源分离与去混响的延迟问题，本文将WPE模块集成到NST-IVA中，在保持低算法延迟的同时显著提升分离性能。
2024-06-14 eess.AS
Non causal deep learning based dereverberation
University of Chile（智利大学）；Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们展示了非因果上下文在基于深度学习的自动语音识别（ASR）系统中减轻混响影响的有效性。首先，使用非因果FIR滤波器的非因果上下文的值通过比较先前与未来信息的贡献来示出。其次，训练基于MLP和LSTM的去混响网络，以确认在用干净语音训练的ASR系统中使用时因果和非因果上下文的影响。与REVERB挑战中的干净训练实验中流行的加权预测误差（WPE）方法相比，基于非因果深度学习的去混响提供了45%的字错误率（WER）相对降低。最后，提出了一种扩展的多条件训练过程，结合混响和去混响信号的组合的基础上的半增强测试发声生成，以减少任何文物或失真，可能会引入的非因果去混响方法。与使用最新REVERB挑战配方（不含和含WPE）获得的基线系统相比，两种方法的组合提供的WER平均相对降低分别为10.9%和6.0%。
2020-09-06 cs.SD eess.AS
Reference Microphone Selection for the Weighted Prediction Error Algorithm using the Normalized L-p Norm
KU Leuven（荷语鲁汶大学）
本文提出基于归一化L-p范数的参考麦克风选择方法，以提升加权预测误差算法在空间分布麦克风中的去回声性能。
2024-11-05 eess.AS
Spatial Processing Front-End For Distant ASR Exploiting Self-Attention Channel Combinator
Nuance Communications Inc.（Nuance通信公司）；Nuance Communications GmbH（Nuance通信有限责任公司）；Imperial College London（帝国理工学院）
我们提出了一种新的多通道前端的基础上，信道缩短与加权预测误差（WPE）的方法，其次是一个固定的MVDR波束形成器结合使用最近提出的自关注为基础的信道组合（SACC）计划，为解决遥远的ASR问题。我们表明，所提出的系统用作基于ContextNet的端到端（E2E）ASR系统的一部分，优于领先的ASR系统，如多通道LibriSpeech回放数据集上的相对WER降低21.6%所示。我们还展示了如何去混响波束成形之前是有益的，并比较WPE方法与修改后的神经通道缩短方法。对信号C50的非侵入式估计的分析证实，8通道WPE方法提供了信号的显著去混响（13.6dB改进）。我们还展示了SACC系统的权重如何允许提取准确的空间信息，这可以有利于其他语音处理应用程序，如日记。
2022-03-25 cs.AI eess.AS
Run-Time Adaptation of Neural Beamforming for Robust Speech Dereverberation and Denoising
Graduate School of Informatics, Kyoto University（京都大学情报学研究科）；Center for Advanced Intelligence Project (AIP), RIKEN（理化学研究所先进智能项目中心）；National Institute of Advanced Industrial Science and Technology (AIST)（日本国立先进工业科学技术研究院）；LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎综合理工学院巴黎电信学院LTCI（注：LTCI为实验室名称，按要求提取到机构级别即巴黎电信学院及巴黎综合理工学院））；Graduate School of Engineering, Kyoto University（京都大学工学研究科）
针对失配条件下神经波束成形语音增强性能下降的问题，提出基于DNN估计的WPD波束成形以整合去混响去噪能力并支持运行时自适应，在多种声学条件下验证了其效果。
2024-10-30 cs.AI cs.LG cs.SD
Single-channel Speech Dereverberation via Generative Adversarial Training
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出了一种基于卷积、双向长短期记忆和深度前馈神经网络（CBLDNN）的单通道语音去混响系统（DeReGAT）。为了获得更好的语音质量，而不是仅仅最小化均方误差（MSE），GAT被用来使去混响语音与干净样本不可区分。此外，我们的系统可以处理大范围的混响，并能很好地适应不同的环境。实验结果表明，该模型优于加权预测误差（WPE）和基于深度神经网络的系统。此外，DeReGAT扩展到一个在线语音去混响的情况下，报告与离线的情况下相当的性能。
2018-06-25 cs.CL cs.SD eess.AS
End-to-End Far-Field Speech Recognition with Unified Dereverberation and Beamforming
Shanghai Jiao Tong University（上海交通大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
尽管端到端方法在多通道语音识别中得到了成功的应用，但当语音被混响破坏时，识别性能仍然会严重下降。在本文中，我们将去混响模块集成到端到端的多通道语音识别系统中，并探讨了两种不同的前端架构。首先，多源掩模为基础的加权预测误差（WPE）模块被纳入前端去混响。其次，提出了另一种新的前端架构，它扩展了加权功率最小化无失真响应（WPD）卷积波束形成器，以执行同时分离和去混响。我们推导出一个新的配方从原来的WPD，它可以处理多源输入，并取代特征值分解与矩阵求逆运算，使反向传播算法更稳定。以上两种架构都是以完全端到端的方式进行优化的，只使用了语音识别标准。在空间化wsj 1 - 2 mix语料库和REVERB上的实验表明，该模型在混响场景下的性能优于传统方法。
2020-10-27 cs.SD eess.AS
Translate Reverberated Speech to Anechoic Ones: Speech Dereverberation with BERT
University of Maryland, College Park（马里兰大学帕克分校）
单通道语音去混响被认为是在这项工作中。受Transformers双向编码器表示（BERT）模型在自然语言处理（NLP）领域的成功启发，研究了它作为骨干序列模型对混响语音信号增强的适用性。我们提出了一个基本的BERT模型的变化：一个前序列网络，它提取本地的频谱时间信息和/或提供顺序信息，在骨干序列模型。此外，我们使用预训练的神经声码器进行隐式相位重建。为了评估我们的方法，我们使用了第三次CHiME挑战的数据，并将我们的结果与其他方法进行了比较。实验表明，该方法优于传统的方法WPE，并达到与最先进的BLSTM序列模型的性能相当。
2020-07-16 cs.CL cs.LG cs.SD
Joint Dereverberation and Separation with Iterative Source Steering
LINE Corporation（LINE公司）
提出了一种新的联合去混响和盲源分离（DR-BSS）算法。我们的工作建立在IRLMA-T框架上，该框架应用了一个统一的滤波器，结合了去混响和分离。这种框架的一个缺点是，它需要几个矩阵求逆，操作本身就很昂贵，并具有潜在的稳定性问题。我们利用最近推出的迭代源转向（ISS）更新，提出两个算法缓解这个问题。虽然第一种算法是从第一性原理出发，但它是加权预测误差（WPE）去混响和基于ISS的盲源分离的自然结合，交替应用。在这种情况下，我们设法减少矩阵求逆的次数，每次迭代和源只有一次。第二种算法更新ILRMA-T矩阵只使用顺序ISS更新，根本不需要矩阵求逆。它的实现是简单的和内存效率。数值实验表明，这两种方法实现了相同的最终性能ILRMA-T在几个相关的客观指标。在两个源的重要情况下，所需的迭代次数也相似。
2021-05-31 cs.SD eess.AS eess.SP
Scene-Agnostic Multi-Microphone Speech Dereverberation
Bar-Ilan University（巴伊兰大学）；NVIDIA Research（英伟达研究院）
神经网络（NN）已被广泛应用于语音处理任务，特别是那些采用麦克风阵列。然而，大多数现有的NN架构只能处理固定和位置特定的麦克风阵列。在本文中，我们提出了一个神经网络架构，可以应付麦克风阵列的数量和位置的麦克风是未知的，并证明其适用性的语音去混响任务。为此，我们的方法利用集结构数据深度学习的最新进展来设计一种增强混响对数谱的架构。我们使用模拟混响数据集的噪声和无噪声版本来测试所提出的架构。我们对噪声数据的实验表明，所提出的场景无关设置优于强大的场景感知框架，有时甚至使用更少的麦克风。对于无噪声数据集，我们表明，在大多数情况下，我们的方法优于位置感知网络以及最先进的加权线性预测误差（WPE）算法。
2021-06-10 cs.LG cs.SD eess.AS
Simultaneous Denoising and Dereverberation Using Deep Embedding Features
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
单耳语音去混响是一个非常具有挑战性的任务，因为没有空间线索可以使用。当加性噪声存在时，这个任务变得更具挑战性。本文提出了一种基于深度聚类（DC）的联合训练方法，用于同时使用深度嵌入特征进行语音去噪和去混响。DC是一种最先进的语音分离方法，包括嵌入学习和K-means聚类。对于我们提出的方法，它包括两个阶段：去噪和去混响。在去噪阶段，利用DC网络来提取无噪声的深度嵌入特征。这些嵌入特征从消声语音和残余混响信号中生成。它们可以表示所需信号的推断的频谱掩蔽模式，这是有区别的特征。在去混响阶段，而不是使用无监督的K-means聚类算法，另一个监督的神经网络被用来估计从这些深嵌入特征的消声语音。最后，采用联合训练方法对去噪和去混响阶段进行优化。实验结果表明，该方法优于WPE和BLSTM基线，特别是在低信噪比条件下。
2020-04-06 cs.LG cs.SD eess.AS
Microphone Subset Selection for the Weighted Prediction Error Algorithm using a Group Sparsity Penalty
University of Oldenburg（奥尔登堡大学）；KU Leuven（荷语鲁汶大学）；Fraunhofer IDMT（弗劳恩霍夫工业声学研究所）
本文提出使用分组稀疏惩罚改进加权预测误差算法，通过选择麦克风子集实现高效的去回声性能。
2024-01-16 eess.AS
Audio-visual multi-channel speech separation, dereverberation and recognition
Tencent AI Lab（腾讯人工智能实验室）
尽管自动语音识别（ASR）技术发展迅速，但到目前为止，以来自重叠扬声器、背景噪声和房间混响的干扰为特征的鸡尾酒会语音的准确识别仍然是一项极具挑战性的任务。受视觉模态对声学信号破坏的不变性的激励，已经开发了视听语音增强技术，尽管主要针对重叠的语音分离和识别任务。本文提出了一种视听多通道语音分离、去混响和识别的方法，该方法的特点是在系统的所有三个阶段都充分结合了视觉信息。额外的视觉模态的优势，仅使用音频证明了两个神经去混响方法的基础上DNN-WPE和频谱映射。分离和去混响模型之间的学习成本函数失配以及它们与后端识别系统的集成使用MSE和LF-MMI标准的微调来最小化。在LRS 2数据集上进行的实验表明，所提出的视听多通道语音分离、去混响和识别系统的性能优于不含去混响模块的基线视听多通道语音分离和识别系统，其统计显著的字出错率（WER）绝对降低了2.06%（相对降低了8.77%）。
2022-04-08 cs.CV cs.MM cs.SD
Audio-visual End-to-end Multi-channel Speech Separation, Dereverberation and Recognition
Chinese University of Hong Kong（香港中文大学）
本文提出将视觉信息全面融入多通道语音分离、去混响和识别各组件，并通过端到端联合微调最小化前端增强与后端ASR的误差不匹配，在LRS2数据集上显著降低词错误率。
2023-07-06 cs.AI cs.SD eess.AS
Leveraging Low-Distortion Target Estimates for Improved Speech Enhancement
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；Carnegie Mellon University（卡内基梅隆大学）
多麦克风语音分离的一种有前途的方法涉及两个深度神经网络（DNN），其中来自第一个DNN的预测目标语音用于计算时不变最小方差无失真响应（MVDR）波束成形的信号统计，然后MVDR结果用作第二个DNN的额外特征以预测目标语音。以往的研究表明，MVDR结果可以为第二个DNN提供补充信息，以更好地预测目标语音。然而，在固定几何阵列上，两个DNN都可以将例如多通道混合的实部和虚部（RI）分量作为特征来利用空间和频谱信息进行增强。考虑到DNN和波束形成器使用相同的输入，并且DNN执行非线性滤波并且可能使得MVDR的线性滤波不必要，没有清楚地解释为什么线性MVDR结果可以是互补的以及为什么仍然需要它。类似地，在单声道情况下，可以用单声道加权预测误差（WPE）滤波器来代替MVDR波束形成器。虽然线性WPE滤波器和DNN使用相同的混合RI分量作为输入，但发现WPE结果显著改善了第二DNN。这项研究提供了一个新的解释，从这种算法的低失真性质的角度来看，并发现他们可以不断提高相位估计。有了这样的理解，我们研究了几种低失真的目标估计算法，包括几个波束形成器，WPE，前向卷积预测，以及它们的组合，并使用它们的结果作为额外的功能，训练第二个网络，以实现更好的增强。单麦克风和多麦克风语音去混响和增强任务的评估结果表明，所提出的方法的有效性，所提出的观点的有效性。
2021-10-01 cs.SD eess.AS
NTT speaker diarization system for CHiME-7: multi-domain, multi-microphone End-to-end and vector clustering diarization
NTT Corporation（日本电报电话公司）
本文提出一种面向CHiME-7的多域多麦克风说话人分离系统，结合WPE去混响、逐通道EEND-VC、DOVER-LAP整合及基于伪标签的自监督自适应，在开发集和评估集上分别相对基线提升65%和62%，获得第三名。
2023-09-22 cs.SD eess.AS
End-to-End Multi-speaker Speech Recognition with Transformer
Johns Hopkins University（约翰斯·霍普金斯大学）；Shanghai Jiao Tong University（上海交通大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
最近，基于全递归神经网络（RNN）的端到端模型已被证明是有效的多说话人语音识别在单通道和多通道的情况下。在这项工作中，我们探讨了使用Transformer模型，这些任务的重点是两个方面。首先，我们将语音识别模型中基于RNN的编码器-解码器替换为Transformer架构。其次，为了在多通道情况下在神经波束形成器的掩蔽网络中使用Transformer，我们将自注意分量修改为仅限于一段而不是整个序列，以减少计算。除了模型架构的改进，我们还结合了外部去混响预处理，加权预测误差（WPE），使我们的模型能够处理混响信号。在空间化wsj 1 - 2 mix语料库上的实验表明，在单通道和多通道任务中，基于transformer的模型分别实现了40.9%和25.6%的相对WER降低，分别下降到12.1%和6.4%;而在混响情况下，我们的方法实现了41.5%和13.8%的相对WER降低，分别为16.5%和15.2%。
2020-02-13 cs.CL cs.SD eess.AS
Direction-Aware Adaptive Online Neural Speech Enhancement with an Augmented Reality Headset in Real Noisy Conversational Environments
Center for Advanced Intelligence Project (AIP), RIKEN（理化学研究所先进智能项目中心）；Graduate School of Informatics, Kyoto University（京都大学信息学研究科）；National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所）；LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院信息处理与通信实验室）
本文描述了用于增强现实（AR）耳机的在线语音增强的实际响应和性能感知开发，该增强现实（AR）耳机帮助用户理解在真实嘈杂的回声环境中进行的对话（例如，鸡尾酒会）。可以使用称为快速多通道非负矩阵分解（FastMNMF）的最先进的盲源分离方法，由于其无监督性质，该方法在各种环境中工作良好。然而，其沉重的计算成本，阻止其应用到实时处理。相比之下，使用深度神经网络（DNN）来估计语音和噪声的空间信息的监督波束成形方法很容易适应实时处理，但在失配条件下会遭受严重的性能下降。鉴于这种互补的特点，我们提出了一种双进程鲁棒在线语音增强方法的基础上基于DNN的波束形成与FastMNMF指导的适应。FastMNMF（后端）以小批量方式执行，并且噪声和增强的语音对与原始并行训练数据一起使用，用于以计算允许的间隔用反向传播更新方向感知DNN（前端）。该方法与称为加权预测误差（WPE）的盲去混响方法一起使用，用于以流式方式转录说话者的有噪混响语音，该语音可以从视频中检测到或者通过用户的手势或眼睛注视来选择，并且利用AR技术在空间上示出转录。我们的实验表明，单词错误率提高了10个点以上的运行时适应使用只有12分钟的观察。
2022-07-15 cs.LG cs.SD eess.AS
