DNN-Based Speech Presence Probability Estimation for Multi-Frame Single-Microphone Speech Enhancement
University of Oldenburg（奥尔登堡大学）
用于单麦克风语音增强的多帧方法，多帧最小功率无失真响应（MFMPDR）滤波器能够利用相邻时间帧上的语音相关性。与诸如维纳增益的单帧方法相比，已经示出，多帧方法实现了几乎没有任何语音失真的实质性噪声降低，只要相关矩阵的准确估计，特别是语音帧间相关（IFC）向量是可用的。IFC向量的典型估计过程需要估计每个时频（TF）仓中的语音存在概率（SPP）。在本文中，我们建议使用双向长短期记忆深度神经网络（DNN）来估计每个TF bin的SPP。为了实现鲁棒性能，DNN针对各种噪声类型和大信噪比范围进行训练。实验结果表明，MFMPDR与建议的数据驱动的SPP估计相结合，产生了一个国家的最先进的基于模型的SPP估计相比，提高了语音质量。此外，它被证实，利用帧间相关性的MFMPDR是有益的相比，维纳增益，特别是在不利的情况下。
2022-11-14 cs.SD eess.AS
An objective evaluation of Hearing Aids and DNN-based speech enhancement in complex acoustic scenes
Universitat Pompeu Fabra（庞培法布拉大学）；Eurecat, Centre Tecnològic de Catalunya（加泰罗尼亚技术中心Eurecat）；Microson, Amplifon Group（Amplifon集团Microson公司）
该研究对比高端商用助听器与DNN语音增强算法在复杂声学场景的性能，通过合成双耳数据集训练DNN模型、搭建Ambisonics测试环境实验，证明DNN增强在噪声抑制与可懂度指标上更优。
2023-07-24 cs.SD eess.AS
Leveraging Low-Distortion Target Estimates for Improved Speech Enhancement
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；Carnegie Mellon University（卡内基梅隆大学）
多麦克风语音分离的一种有前途的方法涉及两个深度神经网络（DNN），其中来自第一个DNN的预测目标语音用于计算时不变最小方差无失真响应（MVDR）波束成形的信号统计，然后MVDR结果用作第二个DNN的额外特征以预测目标语音。以往的研究表明，MVDR结果可以为第二个DNN提供补充信息，以更好地预测目标语音。然而，在固定几何阵列上，两个DNN都可以将例如多通道混合的实部和虚部（RI）分量作为特征来利用空间和频谱信息进行增强。考虑到DNN和波束形成器使用相同的输入，并且DNN执行非线性滤波并且可能使得MVDR的线性滤波不必要，没有清楚地解释为什么线性MVDR结果可以是互补的以及为什么仍然需要它。类似地，在单声道情况下，可以用单声道加权预测误差（WPE）滤波器来代替MVDR波束形成器。虽然线性WPE滤波器和DNN使用相同的混合RI分量作为输入，但发现WPE结果显著改善了第二DNN。这项研究提供了一个新的解释，从这种算法的低失真性质的角度来看，并发现他们可以不断提高相位估计。有了这样的理解，我们研究了几种低失真的目标估计算法，包括几个波束形成器，WPE，前向卷积预测，以及它们的组合，并使用它们的结果作为额外的功能，训练第二个网络，以实现更好的增强。单麦克风和多麦克风语音去混响和增强任务的评估结果表明，所提出的方法的有效性，所提出的观点的有效性。
2021-10-01 cs.SD eess.AS
DNN-Free Low-Latency Adaptive Speech Enhancement Based on Frame-Online Beamforming Powered by Block-Online FastMNMF
RIKEN（理化学研究所）；Kyoto University（京都大学）；Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院）；National Institute of Advanced Industrial Science and Technology (AIST)（国立先进工业科学技术研究所（AIST））
本文描述了一种实用的双处理语音增强系统，该系统采用环境敏感的帧在线波束形成（前端），并帮助无环境的块在线源分离（后端）。为了使用最小方差无失真响应（MVDR）波束成形，可以训练深度神经网络（DNN），该深度神经网络估计用于计算源（语音和噪声）的协方差矩阵的时频掩模。提出了一种基于反向传播的DNN运行时自适应算法，用于处理训练-测试条件不匹配的情况。相反，人们可以尝试用称为快速多通道非负矩阵分解（FastMNMF）的最先进的盲源分离方法来直接估计源协方差矩阵。然而，在实践中，DNN和FastMNMF都不能以帧在线方式更新，这是由于其计算昂贵的迭代性质。我们的无DNN系统利用块在线FastMNMF给出的最新源频谱图的后验来推导当前源协方差矩阵，用于帧在线波束形成。评估表明，我们的帧在线系统可以快速响应由干扰扬声器移动引起的场景变化，并且在字错误率方面优于现有的基于DNN的波束成形的块在线系统5.0个点。
2022-07-22 cs.SD eess.AS
Using Monte Carlo dropout for non-stationary noise reduction from speech
Indian Institute of Science（印度科学学院）
在这项工作中，我们建议使用dropout作为贝叶斯估计器，以提高用于语音增强的深度神经网络（DNN）的可推广性。通过使用蒙特卡罗（MC）丢弃，我们表明DNN在不可见噪声和SNR条件下具有更好的增强效果。DNN在SNR为0，5和10 dB的Factory 2，M109，Babble，Leopard和Volvo噪声中进行语音训练。语音样本来自TIMIT数据库，噪声来自NOISEX-92。在另一个实验中，我们训练五个DNN模型，分别对Factory 2，M109，Babble，Leopard和Volvo噪声，在0，5和10 dB SNR下的语音进行破坏。模型精度（使用MC dropout估计）用作平方误差的代理，以根据DNN模型在每帧测试数据上的性能动态选择最佳DNN模型。我们提出了一个算法，在模型精度上设置一个阈值，在基于分类器的模型选择方案和基于模型精度的选择方案之间进行切换。测试是在被看不见的噪声White、Pink和Factory 1以及所有五种可见噪声破坏的语音上进行的。
2018-08-28 cs.SD eess.AS
Multilingual Approach to Joint Speech and Accent Recognition with DNN-HMM Framework
Xinjiang University（新疆大学）；Nanyang Technological University（南洋理工大学）
人类可以识别语音，同时也可以识别语音的特殊口音。然而，目前最先进的ASR系统很少能做到这一点。在本文中，我们提出了一种多语言的方法来识别英语语音，以及相关的口音，说话人传达使用DNN-HMM框架。具体来说，我们假设不同的英语口音是不同的语言。然后，我们将它们合并在一起并训练多语言ASR系统。在解码过程中，我们进行了两个实验。一种是基于单语语音识别的解码方法，在音素级嵌入口音信息，实现基于单词的口音识别;另一种是基于多语言语音识别的解码方法，实现基于近似发音的口音识别。对一个8口音英语语音识别的实验结果表明，这两种方法都可以产生接近于传统的ASR系统，完全忽略口音，以及所需的AR准确性。此外，我们对所提出的方法进行了广泛的分析，如迁移学习无域数据开发，跨口音识别混淆，以及重音词的特点。
2021-05-08 cs.SD eess.AS
An improved DNN-based spectral feature mapping that removes noise and reverberation for robust automatic speech recognition
Universidad de Chile（智利大学）；Universidad de la Frontera（拉弗龙特拉大学）；Carnegie Mellon University（卡内基梅隆大学）
混响和加性噪声对自动语音识别系统的性能有不利影响。在本文中，我们探讨了基于DNN的频谱特征映射的能力，以消除混响和加性噪声的影响。使用CHiME-2数据库的实验表明，与基线系统相比，该DNN在SNR等于-6 dB，-3 dB，0 dB和3 dB时可以实现WER平均降低4.5%，并且在SNR大于6 dB和9 dB时仅降低0.8%。这些结果表明，该DNN在去除加性噪声方面比混响更有效。为了提高DNN的性能，我们将其与加权预测误差（WPE）方法相结合，该方法显示出互补的行为。虽然与基线相比，这种组合使WER降低了约11%，但观察到的改善不如单独使用WPE获得的改善那么大。然而，对DNN训练过程进行了修改，与基线系统相比，WER平均降低了18.3%。此外，与单独的WPE相比，改进的DNN结合WPE实现了7.9%的WER降低。
2018-04-03 cs.SD eess.AS
Exploiting Hidden Representations from a DNN-based Speech Recogniser for Speech Intelligibility Prediction in Hearing-impaired Listeners
University of Sheffield（谢菲尔德大学）
准确客观的语音可懂度预测算法对于诸如助听器的语音增强的许多应用是非常感兴趣的。大多数算法测量干净参考信号和退化信号的声学特征之间的信噪比或相关性。然而，这些手工挑选的声学特征通常与识别没有明确的相关性。同时，基于深度神经网络（DNN）的自动语音识别器（ASR）在某些语音识别任务中接近人类的表现。这项工作利用基于DNN的ASR的隐藏表示作为听力受损听众的语音可懂度预测的特征。基于助听器可懂度数据库的实验结果表明，该方法比目前广泛使用的基于短时客观可懂度（STOI）的双耳测量方法具有更好的预测效果。
2022-07-06 cs.SD eess.AS q-bio.QM
A two-step approach for speech enhancement in low-SNR scenarios using cyclostationary beamforming and DNNs
本文提出一种结合循环平稳预处理与轻量级DNN的两步语音增强方法，有效提升低信噪比下的语音质量。
2026-02-13 cs.SD eess.AS
Mixed Precision DNN Qunatization for Overlapped Speech Separation and Recognition
Tencent AI lab（腾讯AI实验室）
重叠语音的识别一直是一个极具挑战性的任务。多通道语音分离系统在实际应用中变得越来越复杂和昂贵。为此，低比特神经网络量化提供了一个强大的解决方案，以显着减少其模型的大小。然而，目前的量化方法是基于统一的精度，并没有考虑到不同的模型组件的量化误差的变化的性能灵敏度。本文提出了一种新的混合精度DNN量化方法，通过将局部可变位宽应用于基于TF掩蔽的多通道语音分离系统的各个TCN分量。使用三种技术自动学习最佳局部精度设置。前两种方法利用基于均方误差（MSE）损失函数曲率或在全精度和量化分离模型之间测量的KL发散的量化灵敏度度量。第三种方法是基于混合精度神经结构搜索。LRS 3-TED语料库模拟重叠语音数据上进行的实验表明，所提出的混合精度量化技术始终优于可比位宽的均匀精度基线语音分离系统的SI-SNR和PESQ分数，以及字出错率（WER）减少高达2.88%的绝对（8%相对）。
2021-11-29 cs.SD eess.AS
A scalable noisy speech dataset and online subjective test framework
Microsoft Corp.（微软公司）
背景噪声是互联网协议语音（VoIP）和公共交换电话网（PSTN）呼叫中质量损害的主要来源。最近的工作显示了深度学习对噪声抑制的功效，但与其他领域（例如，ImageNet）和相关的评估更加集中。为了更好地促进语音增强中的深度学习研究，我们提出了一个带噪语音数据集（MS-SNSD），该数据集可以根据扬声器的数量、噪声类型和所需的语音噪声比（SNR）水平扩展到任意大小。我们表明，增加数据集的大小增加了噪声抑制性能的预期。此外，我们提供了一个开源的评估方法，使用众包对结果进行主观评估，并使用参考算法对结果进行标准化。为了证明数据集和评估框架，我们将其应用于几个噪声抑制器，并将主观平均意见得分（MOS）与客观质量指标（如SNR，PESQ，POLQA和VISQOL）进行比较，并说明为什么仍然需要MOS。我们的主观MOS评估是我们所知道的第一次对语音增强算法进行大规模评估。
2019-09-17 cs.LG cs.SD eess.AS
Concatenated Identical DNN (CI-DNN) to Reduce Noise-Type Dependence in DNN-Based Speech Enhancement
使用深度学习方法估计用于语音增强的时频域掩模最近已成为热门的研究领域。在本文中，我们提出了一个基于掩码的语音增强框架，通过使用级联相同的深度神经网络（CI-DNN）。其思想是在多个输入和输出信噪比（SNR）条件下训练单个DNN，使用相对于输入提供适度SNR增益的目标，从而实现语音分量质量和噪声抑制之间的平衡。我们将这个DNN连接几次，而不进行任何重新训练，以提供足够的噪声衰减。仿真结果表明，我们提出的CI-DNN优于使用经典谱加权规则w.r.t.总语音质量和语音清晰度。此外，与相同大小的噪声目标单DNN方法相比，我们的方法显示出类似甚至更好的性能，但可训练参数要少得多。与传统的干净目标单DNN方法的比较表明，我们提出的CI-DNN是更好的语音分量质量和更好的残留噪声分量质量。最重要的是，如果与其他经过测试的深度学习方法相比，我们的新CI-DNN最好地概括了一种看不见的噪声类型。
2018-10-26 eess.AS
Towards Low-distortion Multi-channel Speech Enhancement: The ESPNet-SE Submission to The L3DAS22 Challenge
Carnegie Mellon University（卡内基梅隆大学）；Meta AI；Shanghai Jiao Tong University（上海交通大学）；Academia Sinica（中央研究院）
本文介绍了我们提交的L3 DAS 22挑战任务1，其中包括语音增强与三维高保真度立体声麦克风。我们方法的核心将深度神经网络（DNN）驱动的复杂光谱映射与线性波束形成器（如多帧多通道维纳滤波器）相结合。我们提出的系统有两个DNN和一个线性波束形成器。两个DNN都经过训练，使用波形和幅度频谱损失的组合来执行复杂的频谱映射。来自第一DNN的估计信号用于驱动线性波束形成器，并且波束形成结果与该增强信号一起用作第二DNN的额外输入，第二DNN细化估计。然后，根据这个新的估计信号，迭代地运行线性波束形成器和第二DNN。所提出的方法在挑战中排名第一，在评价集上实现了0.984的排名指标，而挑战基线为0.833。
2022-02-24 cs.SD eess.AS
Coded Speech Quality Measurement by a Non-Intrusive PESQ-DNN
Technische Universität Braunschweig（布伦瑞克工业大学）；GN Hearing（GN听力公司）
本文提出非侵入式PESQ-DNN模型，无需参考信号即可预测宽带编码语音的PESQ分数，在无帧丢失及有帧丢失条件下均优于QualityNet、WaweNet和DNSMOS等现有方法。
2023-04-18 cs.SD eess.AS
Multichannel Loss Function for Supervised Speech Source Separation by Mask-based Beamforming
LINE Corporation（LINE公司）
在本文中，我们提出了两种基于掩模的波束形成方法，使用由多通道损失函数训练的深度神经网络（DNN）。使用由DNN估计的时频（TF）掩模的波束成形技术已经应用于TF掩模用于估计空间协方差矩阵的许多应用。为了训练用于基于掩码的波束成形的DNN，已经采用了为单声道语音增强/分离设计的损失函数。虽然这样的训练标准是简单的，但它并不直接对应于基于掩模的波束成形的性能。为了克服这个问题，我们使用多通道损失函数评估估计的空间协方差矩阵的基础上，多通道板仓斋藤分歧。由多通道损失函数训练的DNN可以被应用于构造多个波束形成器。实验结果证实了它们的有效性和鲁棒性麦克风配置。
2019-07-11 cs.SD eess.AS
On the Importance of Neural Wiener Filter for Resource Efficient Multichannel Speech Enhancement
Indiana University Bloomington（印第安纳大学伯明顿分校）；Reality Labs Research, Meta（Meta现实实验室研究部）
本文提出一种时域多通道语音增强框架，通过两个紧凑DNN围绕神经维纳滤波器进行联合训练，以更少参数和更低计算量实现低延迟高性能语音增强。
2024-01-15 cs.SD eess.AS
Monaural Speech Enhancement using Deep Neural Networks by Maximizing a Short-Time Objective Intelligibility Measure
Aalborg University（奥尔堡大学）
在本文中，我们提出了一种基于深度神经网络（DNN）的语音增强（SE）系统，该系统旨在最大限度地提高短时客观可懂度（STOI）测量的近似值。我们形式化了一个近似的STOI成本函数，并推导出DNN训练所需梯度的解析表达式，并表明这些梯度在与基于梯度的优化技术一起使用时具有理想的特性。我们通过模拟实验表明，所提出的SE系统实现了很大的改善，估计语音清晰度，匹配和不匹配的自然噪声类型，在多个信号噪声比进行测试时。此外，我们表明，SE系统，当训练使用近似STOI成本函数执行与系统训练的均方误差成本应用于短时间的时间包络。最后，我们表明，所提出的SE系统在估计的语音清晰度方面与传统的基于DNN的短时谱幅度（STSA）SE系统表现相当。这些结果很重要，因为它们表明传统的基于DNN的STSA SE系统在估计的语音清晰度方面可能是最佳的。
2018-02-02 cs.SD eess.AS
LSTM based AE-DNN constraint for better late reverb suppression in multi-channel LP formulation
Indian Institute of Science（印度科学学院）
利用短时傅里叶变换（STFT）域多通道线性预测（MCLP）技术预测混响后期分量是增强混响语音的有效手段。传统上，语音功率谱密度（PSD）加权预测误差（WPE）最小化方法被用来估计预测滤波器。该方法对期望信号PSD的估计是敏感的。在本文中，我们提出了一种基于深度神经网络（DNN）的期望信号PSD的非线性估计。使用在干净语音STFT系数上训练的自动编码器作为期望信号先验。我们探索了基于（i）全连接（FC）前馈和（ii）循环长短期记忆（LSTM）层的两种不同架构。使用真实房间脉冲响应的实验表明，基于LSTM-DNN的PSD估计比传统方法更好地抑制后期混响。
2018-12-04 cs.SD eess.AS
Analysis of DNN Speech Signal Enhancement for Robust Speaker Recognition
Brno University of Technology（布尔诺理工大学）
在这项工作中，我们提出了一个基于DNN的自动编码器的分析语音增强，去混响和去噪。目标应用是一个鲁棒的说话人确认（SV）系统。我们通过仔细设计数据增强过程来开始我们的方法，以覆盖广泛的声学条件，并为SV系统的各个组件获得丰富的训练数据。我们增加了几个著名的数据库中使用的SV与人工噪声和混响的数据，我们用它们来训练去噪自动编码器（映射噪声和混响的语音到其干净的版本），以及一个x矢量提取器，这是目前被认为是最先进的SV。之后，我们使用自动编码器作为文本无关SV系统的预处理步骤。我们比较了自动编码器增强，多条件PLDA训练及其同时使用所取得的结果。我们对NIST SRE 2010、2016、PRISM和重传数据的各种条件进行了详细分析。我们的结论是，所提出的预处理可以显着提高i向量和x向量基线，这种技术可以用来建立一个强大的SV系统，为各种目标域。
2018-11-19 cs.SD eess.AS
Distributed Microphone Speech Enhancement based on Deep Learning
Yuan Ze University（元智大学）；National Chi Nan University（国立暨南国际大学）
语音相关应用在复杂噪声环境中的性能较差。因此，本研究主要通过引入基于应用于分布式麦克风架构的深度神经网络（DNN）的语音增强（SE）系统来解决这个问题，然后研究三种不同的DNN模型结构的有效性。第一个系统为每个麦克风构建DNN模型，以增强记录的嘈杂语音信号，第二个系统将所有嘈杂的记录组合成一个大的特征结构，然后通过DNN模型进行增强。对于第三种系统，首先使用通道相关的DNN来增强相应的噪声输入，并且将所有通道增强的输出馈送到DNN融合模型中以构建几乎干净的信号。所有三个DNN SE系统都在扩散噪声场环境中的语音信号的声学频域中操作。在台湾普通话噪声听力测试（TMHINT）数据库上进行了评估实验，结果表明，所有三个基于DNN的SE系统都提供了具有改善的语音质量和可懂度的原始噪声污染信号，而第三个系统提供了最高的信噪比（SNR）改善和最佳的语音可懂度。
2020-05-24 cs.LG cs.SD eess.AS
Unsupervised Training for Deep Speech Source Separation with Kullback-Leibler Divergence Based Probabilistic Loss Function
LINE Corporation（LINE公司）
在本文中，我们提出了一种使用深度神经网络（DNN）的多通道语音源分离，该网络在没有干净信号的情况下进行训练。作为一个干净的信号的替代方案，所提出的方法采用一个无监督的语音源分离与统计模型的估计语音信号。作为麦克风输入信号的统计模型，我们采用时变空间协方差矩阵（SCM）模型，其中包括混响和背景噪声的子模型，以实现对混响和背景噪声的鲁棒性。DNN推断构造时变SCM所需的中间变量。语音源分离是以概率的方式进行的，以避免过拟合分离误差。由于存在多个中间变量，因此评估单个中间变量的损失函数不适用。相反，所提出的方法采用损失函数直接基于Kullback-Leibler散度（KLD）评估输出概率信号。损失函数的梯度可以通过所有中间变量反向传播到DNN中。混响条件下的实验结果表明，该方法可以有效地训练DNN，即使当训练话语的数量很小时，即，一千
2019-11-11 cs.SD eess.AS
On the Relationship Between Short-Time Objective Intelligibility and Short-Time Spectral-Amplitude Mean-Square Error for Speech Enhancement
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
大多数基于深度神经网络（DNN）的语音增强算法依赖于短时谱幅度（STSA）的均方误差（MSE）准则，其与人类感知（例如语音可懂度）没有明显的联系。另一方面，短时客观可懂度（STOI）是一种流行的最先进的语音可懂度估计器，它依赖于语音时间包络的线性相关。这就提出了一个问题，与基于STSA-MSE标准的算法相比，基于包络线性相关（ELC）的DNN训练标准是否可以提高基于DNN的语音增强算法的语音可懂度性能。在本文中，我们推导出，在一定的一般条件下，STSA-MSE和ELC准则实际上是等价的，我们提供的经验数据来支持我们的理论结果。此外，我们的实验结果表明，标准的STSA最小MSE估计是接近最佳的，如果目标是提高嘈杂的语音的方式，这是最佳的相对于STOI语音清晰度估计。
2018-12-04 cs.SD eess.AS
Speaker verification-derived loss and data augmentation for DNN-based multispeaker speech synthesis
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）；Babeș-Bolyai University of Cluj-Napoca（克卢日-纳波卡巴比什-波雅依大学）
构建基于多说话人神经网络的文本到语音合成系统通常依赖于来自每个说话人的大量高质量录音的可用性，并将训练过程调节在说话人的身份或其学习表示上。然而，当来自每个说话人的数据很少或说话人的数量有限时，多说话者TTS可能难以训练，并且将导致较差的说话者相似性和自然度。为了解决这个问题，我们探索了两个方向：通过附加额外的损失项，迫使网络学习更好的说话人身份表示;以及使用波形操作方法来增强与每个说话人有关的输入数据。我们表明，这两种方法都是有效的客观和主观的措施进行评估时。额外的损失项有助于说话人相似性，而数据增强提高了多说话人TTS系统的可懂度。
2021-06-03 cs.SD eess.AS
Noisy-target Training: A Training Strategy for DNN-based Speech Enhancement without Clean Speech
基于深度神经网络（DNN）的语音增强通常需要干净的语音信号作为训练目标。然而，收集干净的信号是非常昂贵的，因为它们必须在演播室中记录。这个要求目前将用于语音增强的训练数据量限制到小于不需要干净信号的语音识别的训练数据量的1/1000。增加训练数据量对于提高性能是重要的，因此应该放宽对干净信号的要求。在本文中，我们提出了一种不需要干净信号的训练策略。所提出的方法只利用噪声信号进行训练，这使得我们能够使用各种语音信号在野外。我们的实验结果表明，该方法可以实现类似于使用干净信号训练的DNN的性能。
2021-05-10 eess.AS
Refining DNN-based Mask Estimation using CGMM-based EM Algorithm for Multi-channel Noise Reduction
AGH University of Science and Technology（AGH科技大学）
本文提出一种基于迭代CGMM算法和最优空间滤波的多通道细化方法，用于改善单通道DNN估计的时频掩码，并在DCUnet、DCCRN和FullSubNet上验证了其在AUC和PESQ指标上的一致提升。
2023-09-18 cs.SD eess.AS
Deep neural network techniques for monaural speech enhancement: state of the art analysis
University of Cambridge（剑桥大学）
本文综述了深度神经网络在单声道语音增强中的主流技术，涵盖特征提取、全局与局部特征建模、监督与无监督训练及预训练模型应用，旨在总结该领域的主要趋势。
2023-06-20 cs.LG cs.SD eess.AS
Prodorshok I: A Bengali Isolated Speech Dataset for Voice-Based Assistive Technologies - A comparative analysis of the effects of data augmentation on HMM-GMM and DNN classifiers
BRAC University（孟加拉国布拉克大学）
Prodorshok I是一个孟加拉语孤立词数据集，旨在帮助创建基于辅助技术的独立于说话者的语音命令驱动的自动语音识别（ASR），以帮助改善人机交互（HCI）。本文介绍了使用Prodorshok I中的单词子集进行客观分析的结果，以评估其在利用具有高斯发射和深度神经网络（DNN）的隐马尔可夫模型（HMM）的ASR系统中的可靠性。结果表明，简单的数据增强，涉及一个小的音高变化，可以令人惊讶的有形改善语音识别的准确性水平。
2017-12-10 cs.HC cs.SD eess.AS
Predicting EEG Responses to Attended Speech via Deep Neural Networks for Speech
Eriksholm Research Centre（埃里克肖尔姆研究中心）；Linköping University（林雪平大学）；University of Stuttgart（斯图加特大学）；Technical University of Denmark（丹麦技术大学）；Oticon A/S（奥迪康公司）
在多说话者环境中关注感兴趣的语音流可能是一项具有挑战性的任务，特别是对于有听力障碍的听众。研究表明，用脑电图（EEG）评估的神经反应受到听者听觉注意的调制，揭示了对被关注语音的选择性神经跟踪（NT）。NT方法主要依赖于手工设计的声学和语言语音特征来预测神经反应。直到最近，没有特定语言信息的深度神经网络（DNN）模型才被用于提取NT的语音特征，这表明分层DNN层中的语音特征可以预测整个听觉通路的神经反应。在这项研究中，我们进一步研究了类似的DNN模型对语音的适用性，以预测EEG中观察到的竞争语音的神经反应。我们使用64通道采集系统记录了17名听力正常的听众的EEG数据，这些听众被指示参加两个竞争性谈话者之一。我们的数据显示，DNN提取的语音特征比手工设计的声学特征更能预测EEG反应。此外，对分层DNN层的分析表明，早期的层产生了最高的预测。此外，我们发现使用DNN提取的语音特征比使用手工设计的声学特征在听觉注意力分类准确性上有显着提高。这些发现为开发新的NT措施以评估和进一步推进听力技术开辟了新的途径。
2023-02-27 cs.HC cs.SD eess.AS
Contaminated speech training methods for robust DNN-HMM distant speech recognition
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
尽管在过去几年中取得了显著的进步，但最先进的语音识别技术仅在近距离通话条件下提供令人满意的性能。另一方面，在恶劣的声学条件下的远距离语音识别的鲁棒性仍然是未来人机交互应用的关键问题。为此，在语音增强、声学场景分析以及声学建模方面的若干进展最近有助于提高该领域的最新技术水平。获得鲁棒声学建模的最有效方法之一是基于使用污染语音，这被证明有助于减少训练和测试条件之间的声学失配。在本文中，我们在现代DNN-HMM系统的背景下修改了这种经典方法，并提出了三种方法，即非对称上下文窗口，基于近距离对话的监督和基于近距离对话的预训练。使用真实和模拟数据获得的实验结果显示，使用这三种方法具有显着的优势，与基线系统相比，总体上降低了15%的错误率。使用小尺寸的高质量训练集和大尺寸的高质量训练集也证实了相同的性能趋势。
2017-10-10 cs.CL cs.SD eess.AS
Feasibility of Time-Domain DNN-Based Speech Enhancement on Embedded FPGA for Hearing Aids
Radboud University, Donders Institute for Brain, Cognition, and Behaviour, The Netherlands（拉德堡德大学，脑认知行为研究所，荷兰）；Mortimer B. Zuckerman Mind, Brain, Behavior Institute, Columbia University, USA（莫蒂默·B·齐克曼心智、大脑与行为研究所，哥伦比亚大学，美国）
本文在AMD-Xilinx Kria KV260上部署轻量级SuDoRM-RF++模型，通过FP32和16位定点精度评估语音分离和降噪，发现数据移动是主要瓶颈，定点降噪加速器达到9.7ms首样本延迟，满足10ms临床阈值。
2026-07-20 cs.AR cs.SD eess.AS
Rethinking complex-valued deep neural networks for monaural speech enhancement
Meta
尽管针对采用复值深度神经网络（DNN）做出了多种努力，但对于单声道语音增强，复值DNN通常是否比实值DNN更有效仍然是一个悬而未决的问题。这项工作致力于通过系统地检查复值DNN与实值DNN的对比来进行关键评估。具体来说，我们研究了复值DNN原子单元，包括线性层、卷积层、长短期记忆（LSTM）和门控线性单元。通过比较最近开发的门控卷积递归网络（GCRN）中基本构建块的复值和实值版本，我们展示了基本块的不同机制如何影响性能。我们还发现，使用复值操作阻碍了模型容量时，模型的大小是小的。此外，我们还研究了两种最近的复值DNN，即深度复卷积递归网络（DCCRN）和深度复U网（DCUNET）。评估结果表明，这两个DNN产生相同的性能，他们的实值同行，但需要更多的计算。基于这些全面的比较，我们得出结论，复值DNN不提供性能增益超过其实值对应的单声道语音增强，因此是不太可取的，由于其较高的计算成本。
2023-01-11 cs.LG cs.SD eess.AS
A Novel Binaural Cue Preservation Loss for DNN-Based Binaural Speech Enhancement
WSA
针对基于DNN的双耳语音增强易失真左右信号关系的问题，提出两种新型双耳线索保留损失函数，实验证明其在保持降噪性能的同时减少了掩蔽失真，第二种联合损失在ILD保留上更优。
2026-08-18 cs.SD eess.AS
Spoofing-Robust Speaker Verification Using Parallel Embedding Fusion: BTU Speech Group's Approach for ASVspoof5 Challenge
BTU Speech Group（BTU语音组）
BTU语音组针对ASVspoof5挑战赛提出基于并行嵌入融合的抗欺骗说话人验证系统，通过并行双DNN处理多模型融合的嵌入与分数，结合a-DCF和BCE损失优化，性能优于传统单DNN方法，提升了系统抗欺骗的鲁棒性与安全性。
2024-08-28 cs.SD eess.AS
Task splitting for DNN-based acoustic echo and noise removal
Microsoft Corporation（微软公司）
神经网络已经为单任务语音增强带来了巨大的性能增益，例如噪声抑制和声学回声消除（AEC）。在这项工作中，我们评估它是否是更有用的使用一个单一的联合或单独的模块来解决这些问题。我们描述了不同的可能实现，并深入了解其性能和效率。我们表明，使用一个单独的回声消除模块和一个模块的噪声和残留回声去除结果在更少的近端语音失真和更好的性能在相同的复杂度在双通话。
2022-07-13 cs.SD eess.AS
Phase reconstruction from amplitude spectrograms based on von-Mises-distribution deep neural network
The University of Tokyo（东京大学）；National Institute of Technology, Kagawa College（香川高等专门学校）
本文提出了一种基于深度神经网络（DNN）的幅度谱图相位重建方法。在音频信号和语音处理中，经常使用幅度谱图进行处理，基于Griffin-Lim方法从幅度谱图重构出相应的相位谱图。然而，Griffin-Lim方法在合成语音中导致不自然的伪影。为了解决这个问题，我们引入冯米塞斯分布DNN相位重建。DNN是具有冯米塞斯分布的生成模型，其可以对诸如相位的周期性变量的分布进行建模，并且DNN的模型参数基于最大似然准则来估计。此外，我们提出了DNN训练的群延迟损失，使预测的群延迟接近自然群延迟。实验结果表明：1）训练后的DNN可以比相位本身更准确地预测群延迟，2）我们的相位重建方法比传统的Griffin-Lim方法获得更好的语音质量。
2018-07-10 cs.SD eess.AS
On the Role of Spatial, Spectral, and Temporal Processing for DNN-based Non-linear Multi-channel Speech Enhancement
与将线性空间滤波器与独立的时间谱后滤波器相结合的传统方法相比，使用深度神经网络（DNN）直接学习滤波器以进行多通道语音增强可能具有两个关键优势：1）非线性空间滤波允许克服源自线性处理模型的潜在限制，以及2）空间和节奏的联合处理。光谱信息允许利用不同信息源之间的相互依赖性。最近已经提出了各种基于DNN的非线性滤波器，据报道，这些滤波器具有良好的增强性能。然而，很少有人知道的内部机制，把网络架构设计成一个游戏的机会。因此，在本文中，我们进行了实验，以更好地理解基于DNN的非线性滤波器对空间、光谱和时间信息的内部处理。一方面，我们在困难的语音提取场景中的实验证实了非线性空间滤波的重要性，其性能优于Oracle线性空间滤波器0.24 POLQA得分。另一方面，我们证明了联合处理的结果在一个大的性能差距0.4 POLQA得分网络架构之间利用光谱与时间信息，除了空间信息。
2022-06-22 cs.LG cs.SD eess.AS
Real-time speech enhancement using equilibriated RNN
Waseda University（早稻田大学）；NTT Media Intelligence Laboratories（NTT媒体智能实验室）
我们提出了一种使用因果深度神经网络（DNN）进行实时应用的语音增强方法。DNN被广泛用于估计增强语音信号的时频T-F掩模。一种流行的DNN结构是递归神经网络（RNN），因为它能够有效地对语音等时间序列数据进行建模。特别是，长短期记忆（LSTM）通常用于缓解梯度消失/爆炸问题，这使得RNN的训练变得困难。然而，LSTM的参数数量增加了作为减轻训练难度的代价，这需要更多的计算资源。对于实时语音增强，优选使用较小的网络而不损失性能。本文提出用平衡递归神经网络（ERNN）在不增加参数的情况下避免梯度消失/爆炸问题。拟议的结构是因果关系，它只需要过去的信息，以便实时应用。与单向和双向LSTM网络相比，该方法以更少的参数实现了类似的性能。
2020-02-14 cs.SD eess.AS
Model architectures to extrapolate emotional expressions in DNN-based text-to-speech
本文提出了有助于在基于深度神经网络（DNN）的文本转语音（TTS）中外推情感表达的架构。在本研究中，“外推情感表达”的含义是借用他人的情感表达，不需要收集目标说话人的情感言语。虽然DNN具有构建具有情感表达的基于DNN的TTS的潜力，并且一些基于DNN的TTS系统在表达人类语音的多样性方面表现出令人满意的性能，但是收集目标说话人发出的情感语音是必要的和麻烦的。为了解决这个问题，我们提出的架构，分别训练的扬声器功能和情感功能，并合成语音与扬声器和情感的任何组合质量。这些结构包括并行模型（PM）、串行模型（SM）、辅助输入模型（AIM）和混合模型（PM&AIM和SM&AIM）。这些模型通过少数说话人发出的情感语音和许多说话人发出的中性语音进行训练。客观评价表明，在开放情绪测试中的表现提供的信息不足。他们与封闭情绪测试中的人进行了比较，但每个人都有自己表达情绪的方式。然而，主观评价结果表明，所提出的模型可以在一定程度上传达情感信息。值得注意的是，PM可以以> 60%的比率正确地传达悲伤和快乐的情绪。
2021-02-20 eess.AS
Convolutive Prediction for Monaural Speech Dereverberation and Noisy-Reverberant Speaker Separation
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
语音去混响的一种有前途的方法是基于监督学习，其中训练深度神经网络（DNN）以从有噪声混响的语音预测直达声。这种数据驱动的方法基于利用干净语音模式的先验知识，并且很少明确地利用混响中的线性滤波器结构，即，该混响由房间脉冲响应（RIR）和干源信号之间的线性卷积产生。在这项工作中，我们建议在基于深度学习的单声道语音去混响框架内利用这种线性滤波器结构。关键思想是首先使用DNN估计目标扬声器的直接路径信号，然后识别作为估计的直接路径信号的衰减和延迟副本的信号，因为这些信号可以可靠地被认为是混响。它们可以直接删除以进行去混响，也可以用作另一个DNN的额外功能以执行更好的去混响。为了识别副本，我们通过有效地解决时频域中每个频率的线性回归问题来估计底层滤波器（或RIR）。然后，我们修改所提出的算法，在混响和噪声混响条件下的扬声器分离。国家的最先进的语音去混响和扬声器分离的结果上获得的REVERB，SMS-WSJ，和WHAMR！数据集。
2021-11-10 cs.SD eess.AS
Masking Kernel for Learning Energy-Efficient Representations for Speaker Recognition and Mobile Health
Worcester Polytechnic Institute（伍斯特理工学院）
针对智能手机语音采集与 DNN 推理的能耗问题，提出在训练中结合梯度下降、掩码函数和低通滤波器的掩码核，以优化语音长度与采样率，实现 57% 节能并保持检测性能。
2023-08-15 cs.SD eess.AS
Convolutional Recurrent Neural Network Based Progressive Learning for Monaural Speech Enhancement
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Research Institute of Highway Ministry of Transport（交通运输部公路科学研究院）
最近，渐进式学习已经显示出其在与基于深度神经网络（DNN）和长短期记忆（LSTM）的单声道语音增强算法相结合时改善语音质量和语音可懂度的能力，特别是在低信噪比（SNR）条件下。然而，由于大量的参数和高计算复杂性，很难在当前资源有限的微控制器中实现，因此，对于实际应用而言，显著减少参数的数量和计算负荷是必要的。为此，我们提出了一种新的渐进式学习框架与因果卷积递归神经网络称为PL-CRNN，它利用了卷积神经网络和递归神经网络，大大减少了参数的数量，同时提高语音质量和语音清晰度。大量的实验验证了所提出的PL-CRNN模型的有效性，并表明它产生了一致的性能优于PL-DNN和PL-LSTM算法，并且在客观测量方面，它也得到了接近甚至优于CRNN的结果。与PL-DNN，PL-LSTM和CRNN相比，所提出的PL-CRNN算法可以分别减少高达93%，97%和92%的参数数量。
2020-01-11 cs.SD eess.AS
Exploiting Low-Rank Tensor-Train Deep Neural Networks Based on Riemannian Gradient Descent With Illustrations of Speech Processing
Georgia Institute of Technology（佐治亚理工学院）；IBM Research（IBM研究院）；Universidad San Pablo-CEU, CEU Universities（CEU大学圣巴勃罗校区）
本文的工作重点是通过考虑模型复杂度和实际性能之间的权衡来设计低复杂度的混合张量网络。首先，我们利用低阶张量训练深度神经网络（TT-DNN）来构建端到端的深度学习流水线，即LR-TT-DNN。其次，将LR-TT-DNN与卷积神经网络（CNN）相结合，建立了一个混合模型，表示为CNN+（LR-TT-DNN），以提高性能。我们利用黎曼梯度下降来确定与小TT秩相关联的TT-DNN，而不是随机地为TT-DNN分配大TT秩。此外，CNN+（LR-TT-DNN）由底部的用于特征提取的卷积层和顶部的几个TT层组成，以解决回归和分类问题。我们分别评估了LR-TT-DNN和CNN+（LR-TT-DNN）模型对语音增强和口述命令识别任务的影响。我们的经验证据表明，具有较少模型参数的LR-TT-DNN和CNN+（LR-TT-DNN）模型可以优于TT-DNN和CNN+（TT-DNN）模型。
2022-03-11 cs.AI cs.LG cs.SD
Revisiting joint decoding based multi-talker speech recognition with DNN acoustic model
Brno University of Technology（布尔诺理工大学）；NTT Corporation（日本电信电话株式会社）
在典型的多说话者语音识别系统中，基于神经网络的声学模型预测每个说话者的senone状态后验。这些稍后由单独应用于每个说话者特定输出流的单说话者解码器使用。在这项工作中，我们认为，这样的计划是次优的，并提出了一个原则性的解决方案，解码所有扬声器联合。我们修改声学模型来预测所有扬声器的联合状态后验，使网络能够表达语音信号的部分扬声器的属性的不确定性。我们采用了一个联合解码器，可以利用这种不确定性与更高层次的语言信息。为此，我们重温解码算法中使用的阶乘生成模型在早期的多说话者语音识别系统。与这些早期的工作相比，我们用DNN代替了GMM声学模型，DNN提供了更大的建模能力并简化了部分推理。我们展示了联合解码的优势，在混合TIDIGITS数据集上的概念验证实验。
2022-04-15 cs.LG cs.SD eess.AS
HASA-net: A non-intrusive hearing-aid speech assessment network
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；Nagoya University（名古屋大学）；Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
不需要一个干净的参考，非侵入性的语音评估方法已经引起了极大的关注，客观的评价。最近，深度神经网络（DNN）模型已被应用于构建非侵入式语音评估方法，并被证实具有良好的性能。然而，大多数基于DNN的方法都是为听力正常的听众设计的，而没有考虑听力损失因素。在这项研究中，我们提出了一个基于DNN的助听器语音评估网络（HASA-Net），由双向长短期记忆（BLSTM）模型形成，根据输入语音信号和指定的听力损失模式同时预测语音质量和可懂度分数。据我们所知，HASA-Net是第一个利用统一的基于DNN的非侵入式助听器模型进行质量和清晰度评估的工作。实验结果表明，预测的语音质量和清晰度分数的HASA-Net是高度相关的两个著名的侵入式助听器的评估指标，助听器语音质量指数（HASQI）和助听器语音感知指数（HASPI），分别。
2021-11-10 cs.AI cs.SD eess.AS
Convolutive Prediction for Reverberant Speech Separation
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
我们调查的有效性卷积预测，一种新的制定线性预测语音去混响，在混响条件下的扬声器分离。其关键思想是首先使用深度神经网络（DNN）来估计每个扬声器的直接路径信号，然后识别估计的直接路径信号的延迟和衰减副本。这样的副本可能是由于混响，并且可以直接移除以进行去混响，或者用作另一个DNN的额外特征以执行更好的去混响和分离。为了识别这样的副本，我们解决了一个线性回归问题，有效地在时间-频率（T-F）域中的频率，以估计潜在的房间脉冲响应（RIR）。在多通道扩展中，我们对卷积预测的输出执行最小方差无失真响应（MVDR）波束成形。波束成形和去混响结果用作第二DNN的额外特征，以执行更好的分离和去混响。国家的最先进的结果上获得的SMS-WSJ语料库。
2021-08-16 cs.SD eess.AS
DNN-based Speaker Embedding Using Subjective Inter-speaker Similarity for Multi-speaker Modeling in Speech Synthesis
The University of Tokyo（东京大学）
本文提出了一种基于深度神经网络（DNN）的主观说话人间相似性的说话人嵌入新算法。尽管诸如$d$向量的常规的基于DNN的说话者嵌入可以应用于语音合成中的多说话者建模，但是它与主观说话者间相似性不相关，并且对于其语音话语不包括在训练数据中的开放式说话者来说不一定是适当的说话者表示。我们使用通过大规模主观评分获得的说话人间相似性矩阵，提出了两种基于DNN的说话人嵌入模型的训练算法。一种是基于相似向量嵌入，训练模型预测相似矩阵的向量作为说话人表示。另一种是基于相似矩阵嵌入，训练模型使相似矩阵与$d$ -向量的Gram矩阵之间的Frobenius范数平方最小，即，从$d$向量导出的说话者间相似性。我们众包了153名日本女性说话人的说话人间相似性得分，实验结果表明，我们的算法学习的说话人嵌入与主观相似性高度相关。我们还将所提出的说话人嵌入应用于基于DNN的语音合成中的多说话人建模，并揭示了所提出的相似性向量嵌入提高了开放式说话人的合成语音质量，其语音话语在训练过程中是不可见的。
2019-07-19 cs.LG cs.SD eess.AS
A Two-Stage Deep Representation Learning-Based Speech Enhancement Method Using Variational Autoencoder and Adversarial Training
Aalborg University（奥尔堡大学）；Capturi A/S（Capturi公司）
针对基于DNN的语音增强中表示学习不足及后验估计不准的问题，提出β-VAE解耦与对抗训练结合的两阶段方法，提升STOI、PESQ和SI-SDR并优于现有竞争算法。
2023-09-27 cs.SD eess.AS
Consistency-aware multi-channel speech enhancement using deep neural networks
LINE Corporation（LINE公司）
本文提出了一种基于深度神经网络（DNN）的多通道语音增强系统，其中DNN被训练以最大化增强的时域信号的质量。基于DNN的多通道语音增强通常在时频（T-F）域中进行，因为空间滤波可以在T-F域中有效地实现。在这种情况下，在估计的T-F掩模或频谱图上计算普通目标函数。然而，估计的频谱图往往是不一致的，并且当频谱图被转换回时域时，其幅度和相位可能会改变。也就是说，目标函数没有适当地评估增强的时域信号。为了解决这个问题，我们建议使用一个目标函数定义的重建时域信号。具体地说，语音增强是在T-F域中通过多通道维纳滤波进行的，并且其结果被转换回时域。我们提出了两个目标函数计算的重建信号，其中第一个是定义在时域中，另一个是定义在T-F域。我们的实验表明，该系统的有效性相比，T-F掩蔽和基于掩模的波束形成。
2020-02-14 cs.SD eess.AS
Harmonicity Plays a Critical Role in DNN Based Versus in Biologically-Inspired Monaural Speech Segregation Systems
Institute for Systems Research, University of Maryland（系统研究所以及马里兰大学）；Google Inc（谷歌公司）
深度学习的最新进展导致了语音分离模型的大幅改进。尽管他们的成功和日益增长的适用性，很少有人努力分析这些网络学习执行隔离的基本原则。在这里，我们分析了调和性在两个最先进的基于深度神经网络（DNN）的模型- Conv-TasNet和DPT-Net上的作用。我们评估他们的表现与自然语音的混合物与轻微操纵不和谐的语音，谐波是轻微的频率抖动。我们发现，如果一个源甚至稍微谐波抖动，例如，一个不可察觉的3%谐波抖动使Conv-TasNet的性能从15.4 dB降低到0.70 dB。在不和谐语音上训练模型并不能弥补这种敏感性，反而会导致自然语音混合的性能更差，这使得不和谐性成为DNN模型中一个强大的对抗因素。此外，额外的分析表明，DNN算法明显偏离生物启发的算法，主要依赖于时间线索，而不是谐波分离语音。
2022-03-08 cs.AI cs.LG cs.SD
Cascaded Cross-Module Residual Learning towards Lightweight End-to-End Speech Coding
Indiana University（印第安纳大学）；Electronics and Telecommunications Research Institute（电子与电信研究院）
语音编解码器学习语音信号的紧凑表示以促进数据传输。许多最近的基于深度神经网络（DNN）的端到端语音编解码器以模型复杂度为代价实现了低比特率和高感知质量。我们提出了一个跨模块的残差学习（CMRL）管道作为一个模块的载体，每个模块从它的前一个模块重建残差。CMRL与其他基于DNN的语音编解码器的不同之处在于，它不是在单个大型神经网络中建模语音压缩问题，而是在两阶段训练方案中优化一系列不太复杂的模块。所提出的方法显示出比AMR-WB和具有类似网络架构的最先进的基于DNN的语音编解码器更好的客观性能。作为端到端模型，它将原始PCM信号作为输入，但也与线性预测编码（LPC）兼容，在高比特率下表现出比AMR-WB和OPUS更好的主观质量。仅使用90万个可训练参数即可实现增益，这是一种比文献中其他基于DNN的编解码器复杂得多的架构。
2019-09-13 cs.LG cs.SD eess.AS
DDD: A Perceptually Superior Low-Response-Time DNN-based Declipper
Seoul National University（首尔大学）
本文提出DDD，一种具备实时能力的低响应时间语音去削波深度神经网络，通过对抗学习提升感知质量，在主观质量上大幅优于基线，响应速度比最先进DNN方法快六倍。
2024-01-08 cs.SD eess.AS eess.SP
Stable Training of DNN for Speech Enhancement based on Perceptually-Motivated Black-Box Cost Function
National Institute of Technology, Tokuyama College（国立技术院德山高专）；NTT Media Intelligence Laboratories（NTT媒体智能实验室）；Waseda University（早稻田大学）
提高增强信号的主观音质是语音增强的重要任务之一。为了评估主观质量，已经提出了与感知激励的客观声音质量评估（OSQA）相关的几种方法，诸如PESQ（语音质量的感知评估）。然而，在大多数情况下，不允许直接使用这些测量来训练深度神经网络（DNN），因为流行的OSQA对于DNN参数是不可微的。因此，先前的研究提出了通过辅助DNN来近似OSQA的得分，以便其梯度可以用于训练主DNN。这种方法的一个问题是由分数的近似误差引起的训练不稳定。为了克服这个问题，我们建议使用从强化学习中借用的稳定技术。以提高PESQ得分为例进行的实验表明，所提出的方法（i）可以稳定地训练DNN以提高PESQ，（ii）在公共数据集上实现了最先进的PESQ得分，（iii）比基于主观评价的传统方法产生了更好的声音质量。
2020-02-14 cs.LG cs.SD eess.AS
How to Leverage DNN-based speech enhancement for multi-channel speaker verification?
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria-Loria（法国国家信息与自动化研究所-洛林计算机科学及其应用实验室）；Avignon Université（阿维尼翁大学）
由于环境噪声和室内混响的影响，说话人确认（SV）在远场情况下的性能不能令人满意。这项工作提出了一个基准的多通道语音增强远场说话人确认。一种是基于深度神经网络的方法，另一种是深度神经网络和信号处理相结合的方法。我们将DNN架构与信号处理技术相结合，以进行各种实验。我们的方法相比，现有的国家的最先进的方法。我们研究的重要性，注册的预处理，这在很大程度上被忽视了在以前的研究。实验评估表明，预处理可以提高SV性能，只要注册文件类似于测试数据的处理，测试和注册发生在相似的SNR范围内。在VOiCES数据集的生成和所有噪声条件上获得了相当大的改善。
2022-10-17 cs.HC cs.SD eess.AS
On the use of DNN Autoencoder for Robust Speaker Recognition
Brno University of Technology（布尔诺理工大学）；IT4I Center of Excellence（IT4I卓越中心）
在本文中，我们分析了用于语音增强、去混响和去噪的基于DNN的自动编码器。目标应用是一个鲁棒的说话人识别系统。我们首先使用人工噪声和混响数据来增强Fisher数据库，然后训练自动编码器将噪声和混响语音映射到其干净版本。我们使用自动编码器作为一个国家的最先进的文本无关的说话人识别系统的预处理步骤。我们比较了纯自动编码器增强，多条件PLDA训练及其同时使用所取得的结果。我们提出了一个详细的分析与各种条件下的NIST SRE 2010，PRISM和人为损坏的NIST SRE 2010电话条件。我们的结论是，建议的预处理显着优于基线，这种技术可以用来建立一个强大的说话人识别系统的混响和噪声数据。
2018-11-07 cs.SD eess.AS
