Exploring the Best Loss Function for DNN-Based Low-latency Speech Enhancement with Temporal Convolutional Networks
Carnegie Mellon University（卡内基梅隆大学）；Sony Corporation（索尼公司）；Sony Europe B.V.（索尼欧洲有限公司）
近年来，深度神经网络（DNN）已成功用于语音增强，基于DNN的语音增强正成为一个有吸引力的研究领域。虽然基于短时傅里叶变换（STFT）的时频掩蔽在过去几年中已经广泛用于基于DNN的语音增强，但是也已经提出了诸如时域音频分离网络（TasNet）的时域方法。最合适的方法取决于数据集的规模和任务的类型。在本文中，我们探讨了最佳的语音增强算法在两个不同的数据集。我们提出了一个基于STFT的方法和损失函数，使用问题不可知的语音编码器（PASE）功能，以提高主观质量的较小的数据集。我们提出的方法在Voice Bank + DEMAND数据集上是有效的，并且与其他最先进的方法相比毫不逊色。我们还实现了一个低延迟版本的TasNet，我们将其提交给了DNS Challenge，并通过开源将其公开。我们的模型在DNS Challenge数据集上实现了出色的性能。
2020-08-20 cs.SD eess.AS
A two-step approach for speech enhancement in low-SNR scenarios using cyclostationary beamforming and DNNs
本文提出一种结合循环平稳预处理与轻量级DNN的两步语音增强方法，有效提升低信噪比下的语音质量。
2026-02-13 cs.SD eess.AS
Deep Learning-Based Joint Control of Acoustic Echo Cancellation, Beamforming and Postfiltering
Friedrich-Alexander-University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
我们介绍了一种新的方法，用于控制免提语音通信设备，其中包括基于模型的声学回声消除器（AEC），最小方差无失真响应（MVDR）波束形成器（BF）和频谱后置滤波器（PF）的功能。在AEC去除早期回波分量的同时，MVDR BF和PF抑制残余回波和背景噪声。作为关键创新，我们建议使用单个深度神经网络（DNN）来联合控制各种算法组件的自适应。这允许在存在高电平干扰双端通话的情况下快速收敛和高稳态性能。使用时域语音提取损失函数的DNN的端到端训练避免了单独控制策略的设计。
2022-08-10 cs.SD eess.AS
Explainable DNN-based Beamformer with Postfilter
本文提出ExNet-BF+PF方法，结合U-Net与波束形成器结构，采用两阶段处理流程并引入注意力机制提升语音增强效果，同时通过空间分析增强网络可解释性，实验证明其易训练且无需说话者活动先验知识即可获优。
2024-11-16 eess.AS
Block-Online Multi-Channel Speech Enhancement Using DNN-Supported Relative Transfer Function Estimates
Faculty of Mechatronics, Informatics, and Interdisciplinary Studies, Technical University of Liberec（机械电子与交叉学科学院，利贝雷茨技术大学）
本文提出了一种基于DNN的块在线多通道语音增强方法，通过估计相对传输函数来实现波束成形，并在动态环境中处理短语音，提升了语音增强的鲁棒性。
2019-12-11 cs.SD cs.SY eess.AS
Sparse Array Capon Beamformer Design Availing Deep Learning
本文考虑了稀疏阵列设计接收波束形成实现最大信号干扰噪声比（MaxSINR）。我们开发了一种基于监督神经网络的设计方法，其中使用高效的稀疏波束形成器频谱分析（SBSA）方法生成类标签。SBSA使用未知窄带干扰环境的显式信息来训练网络，并且具有与使用枚举的训练接近的性能，即，穷举搜索，这在计算上对于大阵列是禁止的。所采用的DNN有效地近似从输入接收数据空间相关性到稀疏配置的输出的未知映射，具有有效的干扰抑制能力。该问题被提出为多标签分类问题，其中实现MaxSINR的所选天线位置由DNN的输出层指示。除了评估DNN在分类精度方面的性能外，我们还评估了分类稀疏阵列减轻干扰和最大化信号功率的能力方面的性能。结果表明，即使在分类错误的情况下，其中至少一个传感器位置不匹配的最佳位置，DNN有效地学习次优稀疏配置，具有理想的SINR特性。这表明DNN能够学习所提出的优化算法，从而为高效的实时实现铺平道路。
2021-08-20 eess.AS eess.IV eess.SP
Speaker Selective Beamformer with Keyword Mask Estimation
Yahoo Japan Corporation（雅虎日本公司）
研究背景语音中目标说话人的自动语音识别问题。我们方法的新颖之处在于，我们专注于唤醒关键字，该关键字通常用于激活智能扬声器等ASR系统。该方法首先利用基于DNN的掩码估计器将混合信号分离为目标说话人发出的关键字信号和剩余的背景语音。然后，分离的信号用于计算波束形成滤波器，以增强来自目标说话人的后续话语。实验结果表明，训练后的基于DNN的掩模可以选择性地从混合信号中分离出关键词和背景语音。日本ASR实验也验证了所提出的方法的有效性，我们证实，字符错误率显着改善所提出的方法的模拟和真实记录的测试集。
2018-11-07 cs.LG cs.SD eess.AS
Exploring Deep Hybrid Tensor-to-Vector Network Architectures for Regression Based Speech Enhancement
Georgia Institute of Technology（佐治亚理工学院）；University of Enna（恩纳大学）；Tencent Corporation（腾讯公司）
本文研究了不同的权衡模型参数的数量和增强的语音质量之间采用几个深度张量到矢量回归模型的语音增强。我们发现，一个混合架构，即CNN-TT，是能够保持一个良好的质量性能与减少模型参数的大小。CNN-TT由底部的几个卷积层组成，用于特征提取以提高语音质量，顶部的张量训练（TT）输出层用于减少模型参数。我们首先推导出一个新的上界的卷积神经网络（CNN）的基于向量到向量回归模型的泛化能力。然后，我们在爱丁堡噪声语音语料库上提供实验证据，证明在单通道语音增强中，CNN以较小的模型大小增量为代价优于DNN。此外，CNN-TT仅利用了CNN模型参数的32%，略优于CNN。此外，如果将CNN-TT参数的数目增加到CNN模型大小的44%，则可以进一步提高性能。最后，我们的多通道语音增强的模拟噪声WSJ 0语料库上的实验表明，我们提出的混合CNN-TT架构取得了更好的效果比DNN和CNN模型在更好的增强语音质量和更小的参数大小。
2020-08-03 cs.CL cs.LG cs.NE
Unsupervised Speech Enhancement Based on Multichannel NMF-Informed Beamforming for Noise-Robust Automatic Speech Recognition
Kyoto University（京都大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文介绍了多通道语音增强，以提高自动语音识别（ASR）在嘈杂的环境。最近，最小方差无失真响应（MVDR）波束形成得到了广泛的应用，因为它工作良好，如果语音的导向矢量和噪声的空间协方差矩阵（SCM）是给定的。为了估计这样的空间信息，传统的研究采用监督方法，该方法通过训练深度神经网络（DNN）将每个时频（TF）仓分类为噪声或语音。然而，在未知噪声环境中，ASR的性能下降。为了解决这个问题，我们采取了一种无监督的方法，通过使用多通道非负矩阵分解（MNMF）将每个TF bin分解为语音和噪声的总和。这使我们能够准确地估计SCM的语音和噪声，而不是从观察到的嘈杂的混合物，但从分离的语音和噪声成分。在本文中，我们提出了在线MVDR波束形成有效地初始化和增量更新的参数MNMF。另一个主要贡献是全面研究由各种类型的空间滤波器获得的ASR的性能，即，MVDR波束形成器的时不变和变化版本以及秩1和满秩多通道维纳滤波器的时不变和变化版本，与MNMF组合。实验结果表明，在与训练数据不匹配的未知环境中，该方法的性能优于基于DNN的波束形成方法。
2019-03-31 cs.LG cs.SD eess.AS
Is the Ideal Ratio Mask Really the Best? -- Exploring the Best Extraction Performance and Optimal Mask of Mask-based Beamformers
Tokyo Institute of Technology（东京工业大学）；Honda Research Institute Japan Co., Ltd.（本田日本研究院有限公司）
本文通过CHiME-3实验系统比较四种基于掩模的波束形成器，发现它们可达到相同的峰值提取性能，但最优掩模因方法而异且不同于理想比值掩模，从而修正了传统设计假设。
2023-09-21 cs.SD eess.AS eess.SP
Deep Beamforming for Speech Enhancement and Speaker Localization with an Array Response-Aware Loss Function
提出基于CRN和ARROW损失函数的深度波束成形器，联合实现语音增强与说话人定位，性能优于基线方法。
2023-10-22 eess.AS
Linearly Constrained Deep Beamformer for Multi-Speaker Scenarios
Faculty of Engineering, Bar-Ilan University（巴伊兰大学工程学院）
本文提出了一种深度束成形框架，用于在多说话人环境中增强目标说话人。通过一种受增广拉格朗日框架启发的自适应多项损失，深度神经网络直接从噪声多通道输入中训练以估计波束成形权重，同时满足线性空间约束。该模型还受到目标相对传输函数和估计的干扰子空间的引导，能够将波束指向目标说话人并抑制干扰源，从而在整体增强性能上优于传统LCMV波束成形器。此外，与LCMV波束成形器相比，该模型产生的旁瓣更可控且背景噪声抑制更有效。
2026-08-21 eess.AS
Exploring Gaussian mixture model framework for speaker adaptation of deep neural network acoustic models
University of Avignon（阿维尼翁大学）；STC-innovations Ltd（STC创新有限公司）
在本文中，我们研究了用于深度神经网络（DNN）声学模型自适应的GMM衍生（GMMD）特征。在GMMD特征上训练的DNN的适应是通过用于GMMD特征提取的辅助GMM模型的最大后验（MAP）适应来完成的。我们探讨融合的适应GMMD功能与传统的功能，如瓶颈和MFCC功能，在两个不同的神经网络架构：DNN和时间延迟神经网络（TDNN）。我们分析和比较不同类型的自适应技术，如i-向量和特征空间自适应技术的基础上最大似然线性回归（fMLLR）与建议的适应方法，并探讨其互补性，使用各种类型的融合，如特征级，后验级，格级和其他，以发现最佳的组合方式。在TED-LIUM语料库上的实验结果表明，所提出的自适应技术可以有效地集成到不同级别的DNN和TDNN设置中，并在识别性能方面提供额外的增益：相对于基于最大似然线性回归（fMLLR）说话者自适应DNN基线的强特征空间自适应技术，相对字错误率降低（WERR）高达6%，与在传统特征上训练的说话人独立（SI）DNN基线模型相比，相对WERR高达18%。对于TDNN模型，与SI基线相比，所提出的方法实现了高达26%的相对WERR，并且与通过使用i向量调整的模型相比，该方法实现了13%的相对WERR。从不同的角度对适应的GMMD特征进行分析，证明了它们在不同层次上的有效性。
2020-03-15 cs.CL cs.SD eess.AS
Exploring Finetuned Audio-LLM on Heart Murmur Features
Columbia University（哥伦比亚大学）
本研究微调音频大语言模型Qwen2-Audio于心音数据集，分类11种杂音特征，在8项上超越现有方法，并成功识别长尾特征，展现其辅助心脏病诊断的潜力。
2025-01-23 cs.AI cs.SD eess.AS
