Convolutive Prediction for Monaural Speech Dereverberation and Noisy-Reverberant Speaker Separation
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
语音去混响的一种有前途的方法是基于监督学习，其中训练深度神经网络（DNN）以从有噪声混响的语音预测直达声。这种数据驱动的方法基于利用干净语音模式的先验知识，并且很少明确地利用混响中的线性滤波器结构，即，该混响由房间脉冲响应（RIR）和干源信号之间的线性卷积产生。在这项工作中，我们建议在基于深度学习的单声道语音去混响框架内利用这种线性滤波器结构。关键思想是首先使用DNN估计目标扬声器的直接路径信号，然后识别作为估计的直接路径信号的衰减和延迟副本的信号，因为这些信号可以可靠地被认为是混响。它们可以直接删除以进行去混响，也可以用作另一个DNN的额外功能以执行更好的去混响。为了识别副本，我们通过有效地解决时频域中每个频率的线性回归问题来估计底层滤波器（或RIR）。然后，我们修改所提出的算法，在混响和噪声混响条件下的扬声器分离。国家的最先进的语音去混响和扬声器分离的结果上获得的REVERB，SMS-WSJ，和WHAMR！数据集。
2021-11-10 cs.SD eess.AS
Unsupervised Training for Deep Speech Source Separation with Kullback-Leibler Divergence Based Probabilistic Loss Function
LINE Corporation（LINE公司）
在本文中，我们提出了一种使用深度神经网络（DNN）的多通道语音源分离，该网络在没有干净信号的情况下进行训练。作为一个干净的信号的替代方案，所提出的方法采用一个无监督的语音源分离与统计模型的估计语音信号。作为麦克风输入信号的统计模型，我们采用时变空间协方差矩阵（SCM）模型，其中包括混响和背景噪声的子模型，以实现对混响和背景噪声的鲁棒性。DNN推断构造时变SCM所需的中间变量。语音源分离是以概率的方式进行的，以避免过拟合分离误差。由于存在多个中间变量，因此评估单个中间变量的损失函数不适用。相反，所提出的方法采用损失函数直接基于Kullback-Leibler散度（KLD）评估输出概率信号。损失函数的梯度可以通过所有中间变量反向传播到DNN中。混响条件下的实验结果表明，该方法可以有效地训练DNN，即使当训练话语的数量很小时，即，一千
2019-11-11 cs.SD eess.AS
Exploring the robustness of features and enhancement on speech recognition systems in highly-reverberant real environments
Universidad de Chile（智利大学）；Universidad Austral de Chile（智利南方大学）；University of Edinburgh（爱丁堡大学）；Carnegie Mellon University（卡内基梅隆大学）
本文使用HRRE数据库评估了基于DNN-HMM的语音识别系统在高混响真实环境中的鲁棒性。讨论和评估了局部归一化滤波器组（LNFB）和Mel滤波器组（MelFB）特征与非负矩阵分解（NMF）、缓变分量抑制和下降沿（SSF）以及加权预测误差（WPE）增强方法相结合的性能。考虑了两种训练条件：干净和混响（混响）。在混响训练中，使用WPE和LNFB提供的WER分别比SSF和NMF平均低3%和20%。WPE和MelFB提供的WER分别比SSF和NMF平均低11%和24%。使用干净的训练，这代表了测试和训练条件之间的显著不匹配，LNFB功能明显优于MelFB功能。结果表明，不同类型的训练，参数化和增强技术可能会更好地工作的扬声器麦克风距离和混响时间的特定组合。这表明，用不同的增强和参数化方法训练的系统之间可能存在一定程度的互补性。
2018-03-23 cs.SD eess.AS
The DIRHA-English corpus and related tasks for distant-speech recognition in domestic environments
Fondazione Bruno Kessler (FBK)（布鲁诺·凯斯勒基金会）
本文介绍了在欧共体DIRHA项目下最近实现的DIRHA-ENGLISH多麦克风语料库的内容和可能的用途。参考场景是配备有分布在空间中的大量麦克风和麦克风阵列的家庭环境。语料库由真实和模拟材料组成，包括12名美国和12名英国英语母语者。每个演讲者都说出了不同的语音丰富的句子，报纸文章，对话，关键词和命令。从这些材料中，生成了一组1分钟的序列，其中还包括典型的家庭背景噪声以及房间间/室内混响效果。得到了测试集和Dev集，为多麦克风语音处理和远距离语音识别的研究提供了宝贵的资料。已经开发了各种任务和相应的Kaldi配方。该论文报告了使用不同技术获得的第一组基线结果，包括深度神经网络（DNN），与国际水平的最新技术保持一致。
2017-10-06 cs.CL cs.SD eess.AS
LSTM based AE-DNN constraint for better late reverb suppression in multi-channel LP formulation
Indian Institute of Science（印度科学学院）
利用短时傅里叶变换（STFT）域多通道线性预测（MCLP）技术预测混响后期分量是增强混响语音的有效手段。传统上，语音功率谱密度（PSD）加权预测误差（WPE）最小化方法被用来估计预测滤波器。该方法对期望信号PSD的估计是敏感的。在本文中，我们提出了一种基于深度神经网络（DNN）的期望信号PSD的非线性估计。使用在干净语音STFT系数上训练的自动编码器作为期望信号先验。我们探索了基于（i）全连接（FC）前馈和（ii）循环长短期记忆（LSTM）层的两种不同架构。使用真实房间脉冲响应的实验表明，基于LSTM-DNN的PSD估计比传统方法更好地抑制后期混响。
2018-12-04 cs.SD eess.AS
Investigating Generative Adversarial Networks based Speech Dereverberation for Robust Speech Recognition
Northwestern Polytechnical University（西北工业大学）；Xiaomi（小米）
我们研究了生成对抗网络（GANs）在语音去混响中的使用，以实现鲁棒的语音识别。最近已经研究了GANs用于语音增强以去除加性噪声，但是仍然缺乏研究它们在语音去混响中的能力的工作，并且使用GANs的优点还没有完全建立。在本文中，我们对ASR中基于GAN的去混响前端的使用进行了深入的研究。首先，我们研究了不同去混响网络（GAN中的生成器）的有效性，并发现LSTM在我们的数据集中与前馈DNN和CNN相比有显著的改进。其次，在深层LSTM中进一步添加剩余连接也可以提高性能。最后，我们发现，对于GAN的成功，重要的是在训练期间使用相同的小批量数据更新生成器和训练器。此外，使用混响声谱图作为一个条件，在以前的研究中建议，可能会降低性能。总之，当在强多条件训练声学模型上进行测试时，与基线DNN去混响网络相比，我们基于GAN的去混响前端实现了14%-19%的相对CER减少。
2018-10-25 cs.CL cs.SD eess.AS
A Simultaneous Denoising and Dereverberation Framework with Target Decoupling
Key Laboratory of Noise and Vibration Research, Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所噪声与振动重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Communication University of China（中国传媒大学）
背景噪声和室内混响是影响语音主观质量的两个主要因素。在本文中，我们提出了一个集成的框架，以解决在复杂的场景环境下同时去噪和去混响。采用链式优化策略，设计了四个子阶段。在前两个阶段中，我们解耦了多任务学习w.r.t.将复杂频谱分解为幅度和相位，并且仅在幅度域中实现噪声和混响去除。基于上述估计的先验，我们在第三阶段进一步抛光频谱，其中幅度和相位信息都通过残差学习显式修复。由于数据失配和DNN的非线性效应，DNN处理后的频谱中往往存在残余噪声。为了解决这个问题，我们采用了一个轻量级的算法作为后处理模块，捕获和抑制非活动区域的残留噪声。在Interspeech 2021深度噪声抑制（DNS）挑战赛中，我们提交的系统在ITU-T P.835框架的平均意见得分（MOS）方面排名第一
2021-06-24 cs.SD eess.AS
Neural Forward Filtering for Speaker-Image Separation
针对混响条件下单声道多说话人-图像分离，提出CxNet双DNN系统，通过神经前向滤波显式建模线性滤波器，利用物理约束提升混响语音估计性能，在SMS-WSJ数据集上验证了有效性。
2025-10-07 eess.AS
Learning Audio-Visual Dereverberation
UT Austin（德克萨斯大学奥斯汀分校）；FAIR, Meta AI（Meta人工智能基础人工智能研究院）
混响不仅降低了语音的质量，而且严重影响了自动语音识别的准确性。先前的工作尝试仅基于音频模态来去除混响。我们的想法是学习从视听观察中消除语音的回响。人类说话者周围的视觉环境揭示了关于房间几何形状，材料和扬声器位置的重要线索，所有这些都会影响精确的混响效果。我们介绍了视觉信息的音频去混响（VIDA），这是一种端到端的方法，可以根据观察到的单声道声音和视觉场景来学习消除混响。为了支持这一新任务，我们开发了一个大规模的数据集SoundSpaces-Speech，该数据集在提供各种室内声学效果的真实家庭3D扫描中使用逼真的语音声学渲染。演示我们的方法在模拟和真实图像的语音增强，语音识别，和说话人辨识，我们表明它达到了最先进的性能，并大大提高了纯音频的方法。
2023-03-13 cs.CV cs.LG cs.SD
Preserving the beamforming effect for spatial cue-based pseudo-binaural dereverberation of a single source
University of Engineering and Technology Peshawar（白沙瓦工程技术大学）；Qatar University（卡塔尔大学）
混响是不可避免的封闭，导致降低清晰度听力受损和非母语的听众，甚至为正常的听力听众在嘈杂的环境。它还降低了机器监听应用程序的性能。在本文中，我们提出了一种新的方法的双耳去混响的一个单一的语音源，利用直接路径信号和混响的双耳线索的差异。两个波束形成器，间隔在一个耳间的距离，用于提取混响语音的混响。由这些混响生成的耳间线索和由直接路径信号生成的耳间线索充当两类数据集，用于训练U-Net（深度卷积神经网络）。在其训练之后，波束形成器被移除，并且当系统暴露于混响语音信号的耳间频谱图时，训练的U-Net连同最大似然估计（MLE）算法一起用于区分直接路径线索与混响线索。该模型在倒谱距离（CEP）、频率加权分段信噪比（FWSEGSNR）和信号与混响调制能量比（SRMR）方面比经典的信号处理去混响模型加权预测误差分别提高了1.4个点、8 dB和0.6 dB。它比基于深度学习的去混响模型获得了更好的性能，在CEP中获得了1.3个点的改进，具有可比的FWSEGSNR，使用的训练数据集几乎比该模型所需的数据集小8倍。所提出的模型还保持其性能下相对类似的看不见的声学条件下，并在其训练位置附近的位置。
2022-08-10 cs.SD eess.AS
How to Leverage DNN-based speech enhancement for multi-channel speaker verification?
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria-Loria（法国国家信息与自动化研究所-洛林计算机科学及其应用实验室）；Avignon Université（阿维尼翁大学）
由于环境噪声和室内混响的影响，说话人确认（SV）在远场情况下的性能不能令人满意。这项工作提出了一个基准的多通道语音增强远场说话人确认。一种是基于深度神经网络的方法，另一种是深度神经网络和信号处理相结合的方法。我们将DNN架构与信号处理技术相结合，以进行各种实验。我们的方法相比，现有的国家的最先进的方法。我们研究的重要性，注册的预处理，这在很大程度上被忽视了在以前的研究。实验评估表明，预处理可以提高SV性能，只要注册文件类似于测试数据的处理，测试和注册发生在相似的SNR范围内。在VOiCES数据集的生成和所有噪声条件上获得了相当大的改善。
2022-10-17 cs.HC cs.SD eess.AS
Convolutive Prediction for Reverberant Speech Separation
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
我们调查的有效性卷积预测，一种新的制定线性预测语音去混响，在混响条件下的扬声器分离。其关键思想是首先使用深度神经网络（DNN）来估计每个扬声器的直接路径信号，然后识别估计的直接路径信号的延迟和衰减副本。这样的副本可能是由于混响，并且可以直接移除以进行去混响，或者用作另一个DNN的额外特征以执行更好的去混响和分离。为了识别这样的副本，我们解决了一个线性回归问题，有效地在时间-频率（T-F）域中的频率，以估计潜在的房间脉冲响应（RIR）。在多通道扩展中，我们对卷积预测的输出执行最小方差无失真响应（MVDR）波束成形。波束成形和去混响结果用作第二DNN的额外特征，以执行更好的分离和去混响。国家的最先进的结果上获得的SMS-WSJ语料库。
2021-08-16 cs.SD eess.AS
Dual-label Deep LSTM Dereverberation For Speaker Verification
Binghamton University（宾汉姆顿大学）；Sony Interactive Entertainment Inc（索尼互动娱乐公司）
在本文中，我们提出了一种用于说话人验证的混响消除方法，利用双标签深度神经网络（DNN）。该网络执行混响和干净语音的频谱特征之间的特征映射。训练长短期记忆递归神经网络（LSTM）以将损坏的Mel滤波器组（MFB）特征映射到两组标签：i）干净的MFB特征，以及ii）干净语音的估计音高轨迹或快速傅里叶变换（FFT）谱图。混响消除的性能进行了评估的等错误率（EER）的扬声器确认实验。
2018-09-08 cs.LG cs.SD eess.AS
Towards Real-Time Single-Channel Speech Separation in Noisy and Reverberant Environments
McGill University（麦吉尔大学）；CIRMMT（跨学科音乐媒体与技术中心）；Microsoft Research（微软研究院）
本文提出一种低复杂度、资源高效的因果DNN级联架构，依次完成噪声抑制、分离和去混响，实现嘈杂混响环境下两个及以上说话人的实时单通道语音分离，性能可与大型离线模型SepFormer相媲美。
2023-04-17 cs.SD eess.AS
Robust coherence-based spectral enhancement for speech recognition in adverse real-world environments
Friedrich-Alexander University of Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）；Amazon Development Center（亚马逊研发中心）
在恶劣的现实环境中的语音识别受到混响和非平稳背景噪声的严重影响。在多麦克风场景中减少这种不期望的信号分量的公知策略是麦克风信号的空间滤波。在这篇文章中，我们证明了一个额外的基于相干性的后置滤波器，它被应用于波束形成器输出信号，以消除后者的扩散干扰分量，是进一步提高现代深度学习语音识别系统识别准确性的有效手段。为此，最近更新的第三CHiME语音分离和识别挑战（CHiME-3）基线语音识别系统扩展的相干性为基础的后置滤波器和后置滤波器的影响字出错率的CHiME-3提供的嘈杂的环境进行了调查。为了确定依赖于时间和频率的后置滤波器增益，我们使用了一个依赖于到达方向（DOA）和DOA独立的相干扩散功率比的估计作为短期信噪比的近似。我们的实验表明，将基于相干性的后滤波到CHiME-3基线语音识别系统中，导致作为CHiME-3的一部分提供的噪声和混响环境的单词出错率分数的显着降低。
2017-08-07 cs.SD
Light Gated Recurrent Units for Speech Recognition
直接受益于深度学习最新进展的一个领域是自动语音识别（ASR）。然而，尽管过去几十年取得了巨大成就，但自然和强大的人机语音交互似乎仍然遥不可及，特别是在以显著噪声和混响为特征的具有挑战性的环境中。为了提高鲁棒性，现代语音识别器通常采用基于递归神经网络（RNN）的声学模型，这些模型自然能够利用大时间上下文和长期语音调制。因此，继续研究适当的技术来提高RNN在处理语音信号中的有效性是非常有意义的。在本文中，我们修改了最流行的RNN模型之一，即门控递归单元（GRU），并提出了一种简化的架构，该架构对ASR非常有效。这项工作的贡献是双重的：首先，我们分析了复位门所扮演的角色，显示出一个显着的冗余与更新门发生。因此，我们建议从GRU设计中删除前者，从而实现更高效和紧凑的单门模型。其次，我们建议用ReLU激活来取代双曲正切。这种变化与批量归一化很好地结合在一起，可以帮助模型学习长期依赖关系，而不会出现数值问题。结果表明，所提出的称为Light GRU（Li-GRU）的架构不仅比标准GRU减少了30%以上的每历元训练时间，而且在不同的任务、输入特征、噪声条件以及不同的ASR范例（从标准DNN-HMM语音识别器到端到端CTC模型）之间，都能持续提高识别准确性。
2018-03-26 cs.NE cs.SD eess.AS
Recycling an anechoic pre-trained speech separation deep neural network for binaural dereverberation of a single source
University of Engineering and Technology, Peshawar（白沙瓦工程技术大学）；Qatar University（卡塔尔大学）；MCS, NUST（巴基斯坦国立科技大学军事学院）
混响导致正常和听力受损的听众的可懂度降低。本文提出了一种新的心理声学方法去混响的单一的语音源，回收一个预先训练的双耳消声语音分离神经网络。由于训练深度神经网络（DNN）是一个漫长且计算昂贵的过程，因此使用预训练的分离网络进行去混响的优点是网络不需要重新训练，从而节省了时间和计算资源。混响源的耳间线索被给予这个预先训练的神经网络，以区分直接路径信号和混响语音。实验结果表明，信号可懂度平均提高了1.3%，SRMR平均提高了0.83dB（信号与混响能量比）和语音质量感知评估（PESQ）中的0.16分，超过其他最先进的信号处理去混响算法，并且在可懂度上为14%，在质量上为0.35分，超过具有谱减法的正交匹配追踪（OSS），基于机器学习的去混响算法。
2022-08-09 cs.SD eess.AS
USDnet: Unsupervised Speech Dereverberation via Neural Forward Filtering
针对单说话人多麦克风混响场景，提出无监督语音去混响网络USDnet，利用多麦克风信号作为约束，结合神经前向滤波正则化网络输出，实现单源混响语音的无监督去混响。
2024-08-13 eess.AS eess.SP
Impairments are Clustered in Latents of Deep Neural Network-based Speech Quality Models
本文实验发现基于DNN的语音质量评估模型的潜在表示中损伤是聚类的，使用kNN分类器能实现良好损伤分类，并提出DNSMOS+模型验证SQA改进可提升分类效果。
2025-04-30 eess.AS
Multi-task single channel speech enhancement using speech presence probability as a secondary task training target
为了应对单通道声学场景中的混响和噪声，典型的基于监督的深度神经网络（DNN）的技术学习从混响和噪声输入特征到用户定义的目标的映射。通常使用的目标是期望的信号幅度、时间-频率掩模（例如维纳增益）或干扰功率谱密度和可用于计算时间-频率掩模的信号干扰比。在本文中，我们建议将多任务学习纳入这种基于DNN的增强技术中，通过使用语音存在概率（SPP）估计作为辅助主要任务中的目标估计的次要任务。多任务学习的优点在于在两个任务之间共享领域特定的信息（即，目标和SPP估计）和学习更通用和鲁棒的表示。为了同时学习这两个任务，我们建议使用自适应加权方法的损失来自任务的同方差的不确定性。仿真结果表明，训练成直接估计维纳增益的单任务DNN的去混响和降噪性能高于训练成估计期望信号幅度、干扰功率谱密度或信号干扰比的单任务DNN的性能。将所提出的多任务学习方案用于联合估计维纳增益和SPP进一步增加了去混响和降噪。
2021-06-02 eess.AS
Deep Learning-Based Joint Control of Acoustic Echo Cancellation, Beamforming and Postfiltering
Friedrich-Alexander-University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
我们介绍了一种新的方法，用于控制免提语音通信设备，其中包括基于模型的声学回声消除器（AEC），最小方差无失真响应（MVDR）波束形成器（BF）和频谱后置滤波器（PF）的功能。在AEC去除早期回波分量的同时，MVDR BF和PF抑制残余回波和背景噪声。作为关键创新，我们建议使用单个深度神经网络（DNN）来联合控制各种算法组件的自适应。这允许在存在高电平干扰双端通话的情况下快速收敛和高稳态性能。使用时域语音提取损失函数的DNN的端到端训练避免了单独控制策略的设计。
2022-08-10 cs.SD eess.AS
Robust Binaural Localization of a Target Sound Source by Combining Spectral Source Models and Deep Neural Networks
University of Sheffield（谢菲尔德大学）；University of Malaga（马拉加大学）
尽管有明确的证据表明自上而下（例如，注意力）在生物空间听觉中的影响，相对较少的机器听觉系统在声音定位中利用自顶向下的基于模型的知识。本文通过提出一种新的双耳声音定位框架来解决这个问题，该框架结合了关于声源频谱特性的基于模型的信息和深度神经网络（DNN）。首先在训练阶段期间使用从声音信号分离地提取的频谱特征来估计目标源模型和背景源模型。当背景源的身份不可用时，可以使用通用背景模型。在测试过程中，源模型被联合使用来解释混合观测，并通过选择性地加权基于DNN的定位系统输出的源方位后验来改善定位过程。为了解决训练和测试之间可能的不匹配，在测试期间进一步采用模型自适应过程，其以迭代方式直接从噪声观测中调整背景模型参数。因此，拟议的系统结合了基于模型和数据驱动的信息流在一个单一的计算框架。评估任务涉及在存在干扰源和室内混响的情况下定位目标语音源。我们的实验表明，通过利用基于模型的信息，以这种方式，声音定位性能可以大大提高各种噪声和混响条件下。
2019-04-05 cs.SD eess.AS
X-DC: Explainable Deep Clustering based on Learnable Spectrogram Templates
深度神经网络（DNN）在各种语音处理任务中取得了显著的预测性能。特别地，已经表明，单声道语音分离任务可以用称为深度聚类（DC）的基于DNN的方法成功解决，该方法使用DNN来描述将连续向量分配给每个时频（TF）bin的过程，并测量每对TF bin由同一说话者主导的可能性。在DC中，DNN经过训练，使得由同一说话者主导的TF仓的嵌入向量被迫彼此接近。关于DC的一个问题是DNN描述的嵌入过程具有黑箱结构，通常很难解释。由于不可解释的黑盒结构的潜在弱点是，它缺乏解决训练和测试条件之间不匹配的灵活性（例如，由混响引起的）。为了克服这一限制，在本文中，我们提出了可解释深度聚类（X-DC）的概念，其网络架构可以解释为将可学习的谱图模板拟合到输入谱图然后进行维纳滤波的过程。在训练期间，谱图模板的元素及其激活被约束为非负的，这促进了它们的值的稀疏性，从而提高了可解释性。该框架的主要优点是，由于其物理上可解释的结构，它自然允许我们将模型自适应机制纳入网络。我们的实验表明，所提出的X-DC使我们能够可视化和理解的线索模型，以确定嵌入向量，同时实现语音分离性能相媲美的原始DC模型。
2021-04-19 eess.AS stat.ML
VoiceFixer: Toward General Speech Restoration with Neural Vocoder
Speech, Audio and Music Intelligence (SAMI), ByteDance（字节跳动语音、音频和音乐智能（SAMI）部门）
语音恢复的目的是消除语音信号中的失真。现有的方法主要集中在单任务语音恢复（SSR），如语音去噪或语音declipping。然而，SSR系统只专注于一个任务，并没有解决一般的语音恢复问题。此外，以前的SSR系统在一些语音恢复任务（如语音超分辨率）中表现出有限的性能。为了克服这些限制，我们提出了一个通用的语音恢复（GSR）的任务，试图同时消除多个失真。此外，我们提出了VoiceFixer，一个生成框架来解决GSR任务。VoiceFixer由分析阶段和合成阶段组成，以模仿人类听觉系统的语音分析和理解。我们采用一个ResUNet模型的分析阶段和神经声码器模型的合成阶段。我们评估VoiceFixer与加性噪声，室内混响，低分辨率和削波失真。我们的基线GSR模型实现了0.499高的平均意见得分（MOS）比语音增强SSR模型。VoiceFixer在MOS得分上进一步超过GSR基线模型0.256。此外，我们观察到，VoiceFixer可以很好地推广到严重退化的真实语音记录，这表明它在恢复旧电影和历史演讲方面的潜力。源代码可在https://github.com/haoheliu/voicefixer_main上获得。
2021-10-05 cs.SD eess.AS
VINP: Variational Bayesian Inference with Neural Speech Prior for Joint ASR-Effective Speech Dereverberation and Blind RIR Identification
Zhejiang University（浙江大学）；Westlake University（西湖大学）；School of Engineering（工程学院）；Westlake Institute for Advanced Study（西湖研究学院）
提出VINP框架，将神经语音先验融入变分贝叶斯推断，联合实现语音去混响与盲RIR识别，在MOS、WER及RT60估计上达到SOTA性能。
2025-09-09 cs.AI cs.LG eess.AS
TF-GridNet: Integrating Full- and Sub-Band Modeling for Speech Separation
Carnegie Mellon University（卡内基梅隆大学）；Università Politecnica delle Marche（马尔凯理工大学）；Hyundai Motor Group（现代汽车集团）；dot Inc.（42dot公司）
本文提出 TF-GridNet，通过在时频域集成全频带与子频带建模并执行复频谱映射进行语音分离，在多项单/多通道分离、去混响与增强任务中达到当前最优性能。
2023-08-04 cs.SD eess.AS
Predicting score distribution to improve non-intrusive speech quality estimation
Microsoft Research（微软研究院）
深度噪声抑制器（DNS）已经成为从语音中去除背景噪声、混响和失真的有吸引力的解决方案，并且广泛用于电话/语音应用中。它们偶尔也容易引入伪像并降低语音的感知质量。主观听力测试使用多个人类法官来得出平均意见得分（MOS），这是衡量这些模型性能的一种流行方法。基于深度神经网络的非侵入式MOS估计模型最近已成为这些测试的流行的成本效益替代方案。这些模型仅使用MOS标签进行训练，通常会丢弃意见分数的次要统计数据。在本文中，我们研究了几种方法来整合的意见分数（如方差，直方图信息）的分布，以提高MOS估计性能。我们的模型在419 K去噪样本的语料库上进行了训练，使用了320种不同的DNS模型和模型变体，并在DNSMOS的18 K测试样本上进行了评估。我们表明，一个单一的任务MOS估计管道非常小的修改，这些免费提供的标签可以提供高达0.016 RMSE和1%的SRCC的改善。
2022-04-13 cs.SD eess.AS
Run-Time Adaptation of Neural Beamforming for Robust Speech Dereverberation and Denoising
Graduate School of Informatics, Kyoto University（京都大学情报学研究科）；Center for Advanced Intelligence Project (AIP), RIKEN（理化学研究所先进智能项目中心）；National Institute of Advanced Industrial Science and Technology (AIST)（日本国立先进工业科学技术研究院）；LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎综合理工学院巴黎电信学院LTCI（注：LTCI为实验室名称，按要求提取到机构级别即巴黎电信学院及巴黎综合理工学院））；Graduate School of Engineering, Kyoto University（京都大学工学研究科）
针对失配条件下神经波束成形语音增强性能下降的问题，提出基于DNN估计的WPD波束成形以整合去混响去噪能力并支持运行时自适应，在多种声学条件下验证了其效果。
2024-10-30 cs.AI cs.LG cs.SD
Audio-visual multi-channel speech separation, dereverberation and recognition
Tencent AI Lab（腾讯人工智能实验室）
尽管自动语音识别（ASR）技术发展迅速，但到目前为止，以来自重叠扬声器、背景噪声和房间混响的干扰为特征的鸡尾酒会语音的准确识别仍然是一项极具挑战性的任务。受视觉模态对声学信号破坏的不变性的激励，已经开发了视听语音增强技术，尽管主要针对重叠的语音分离和识别任务。本文提出了一种视听多通道语音分离、去混响和识别的方法，该方法的特点是在系统的所有三个阶段都充分结合了视觉信息。额外的视觉模态的优势，仅使用音频证明了两个神经去混响方法的基础上DNN-WPE和频谱映射。分离和去混响模型之间的学习成本函数失配以及它们与后端识别系统的集成使用MSE和LF-MMI标准的微调来最小化。在LRS 2数据集上进行的实验表明，所提出的视听多通道语音分离、去混响和识别系统的性能优于不含去混响模块的基线视听多通道语音分离和识别系统，其统计显著的字出错率（WER）绝对降低了2.06%（相对降低了8.77%）。
2022-04-08 cs.CV cs.MM cs.SD
Visual-Informed Speech Enhancement Using Attention-Based Beamforming
National Tsing Hua University（国立清华大学）；Academia Sinica（中央研究院）
本文提出一种结合视觉信息和注意力机制的神经束形成网络，用于提升语音增强在低信噪比和复杂环境下的性能。
2026-03-05 cs.AI eess.AS
Audio-visual End-to-end Multi-channel Speech Separation, Dereverberation and Recognition
Chinese University of Hong Kong（香港中文大学）
本文提出将视觉信息全面融入多通道语音分离、去混响和识别各组件，并通过端到端联合微调最小化前端增强与后端ASR的误差不匹配，在LRS2数据集上显著降低词错误率。
2023-07-06 cs.AI cs.SD eess.AS
