Rethinking Batch Composition: Promoting Feature Diversity for Speech Enhancement
Idiap Research Institute（伊迪亚普研究所）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文针对语音增强训练中随机小批量数据特征多样性不足的问题，提出特征分层小批量采样策略，在多语言及含病理语音的数据集上提升了增强性能，且无需修改模型或训练目标。
2026-10-16 eess.AS
Influence of Clean Speech Characteristics on Speech Enhancement Performance
本文系统研究干净语音的内在声学特性对语音增强性能的影响，发现共振峰幅度可稳定预测增强增益，并揭示说话人内部声学变异性对性能的重要性，为数据集、评估协议和模型设计提供新依据。
2025-09-23 eess.AS
Noisy-target Training: A Training Strategy for DNN-based Speech Enhancement without Clean Speech
基于深度神经网络（DNN）的语音增强通常需要干净的语音信号作为训练目标。然而，收集干净的信号是非常昂贵的，因为它们必须在演播室中记录。这个要求目前将用于语音增强的训练数据量限制到小于不需要干净信号的语音识别的训练数据量的1/1000。增加训练数据量对于提高性能是重要的，因此应该放宽对干净信号的要求。在本文中，我们提出了一种不需要干净信号的训练策略。所提出的方法只利用噪声信号进行训练，这使得我们能够使用各种语音信号在野外。我们的实验结果表明，该方法可以实现类似于使用干净信号训练的DNN的性能。
2021-05-10 eess.AS
A Perceptually-Motivated Approach for Low-Complexity, Real-Time Enhancement of Fullband Speech
在过去的几年里，基于深度学习的语音增强方法已经大大超越了基于谱减法和谱估计的传统方法。这些新技术中的许多直接在短时傅里叶变换（STFT）域中操作，导致高计算复杂度。在这项工作中，我们提出了PercepNet，一种有效的方法，依赖于人类的感知语音的频谱包络和语音的周期性。我们展示了高品质，实时增强的全频带（48 kHz）的语音与不到5%的CPU核心。
2020-08-27 eess.AS
An Exploration of Length Generalization in Transformer-Based Speech Enhancement
针对 Transformer 语音增强难以利用长语音训练的问题，本文系统比较四类位置嵌入，证明相对位置嵌入更能实现由短到长的长度泛化。
2024-06-17 eess.AS
Multi-channel end-to-end neural network for speech enhancement, source localization, and voice activity detection
语音增强和声源定位技术是近几十年来的研究热点，在实际应用中具有广泛的应用前景。最近，深度复杂卷积循环网络（DCCRN）为单通道系统带来了令人印象深刻的增强性能。在这项研究中，神经波束形成器组成的波束形成器和一种新的多通道DCCRN提出了语音增强和源定位。由多通道DCCRN估计的复值滤波器作为波束形成器的权重。此外，一个单阶段的学习为基础的过程是用于语音增强和源定位。建议的网络组成的多通道DCCRN和辅助网络模型的声场，同时最小化无失真的响应损失函数。仿真结果表明，该神经波束形成器能有效地增强语音信号，且语音质量保持良好。所提出的神经波束形成器还提供源定位和语音活动检测（VAD）功能。
2022-06-20 eess.AS
Test-Time Adaptation for Speech Enhancement via Domain Invariant Embedding Transformation
Institute of Signal Processing；System Theory University of Stuttgart
LaDen通过域不变嵌入变换实现语音增强的测试时适应，利用预训练表示进行潜在去噪，生成伪标签以提升模型在不同声学环境下的性能。
2025-09-04 eess.AS
Mask-Based Speech Enhancement for Spatial Audio: A Comparison of Ambisonics, Beamforming, and Microphone Channels
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
本研究系统比较了掩码语音增强在麦克风、波束成形和Ambisonics三种空间音频表示中的性能，发现波束成形域增强效果最佳，而Ambisonics域更利于保留空间属性。
2026-09-17 eess.AS
Masks Fusion with Multi-Target Learning For Speech Enhancement
最近，基于深度神经网络（DNN）的时频（T-F）掩模估计对于语音增强显示出显著的有效性。通常，首先基于DNN估计单个T-F掩码，然后用于掩蔽有噪语音的频谱图以抑制噪声。提出了一种多模板融合的语音增强方法。它同时估计两个互补的掩码，例如，理想比率掩模（IRI）和目标二进制掩模（TBM），然后将它们融合以获得用于语音增强细化掩模。新方法的优点是双重的。首先，同时估计多个互补掩模带来了多目标学习所赋予的益处。其次，多模板融合可以利用多个模板之间的互补性来提高语音增强的性能。实验结果表明，与传统的基于掩蔽的方法相比，该方法能显著提高PESQ，降低后端的识别错误率。代码可在https://github.com/lc-zhou/mask-fusion上获得。
2021-09-28 eess.AS
Progressive Speech Enhancement with Residual Connections
本文研究了基于深度神经网络的语音增强。所提出的架构逐渐遵循信号的转换，在增强过程中通过可视化探头在每个网络块。除了这个过程，增强性能的目视检查和回归成本方面的评估。该渐进式方案基于残差网络。在这个过程中，我们研究了一个具有恒定数量通道的剩余连接，包括块之间的内部状态，并添加渐进式监督。通过对网络增强过程的解释所提供的见解，我们设计了一种改进的架构来增强。遵循这种策略，我们能够获得超越最先进水平的语音增强结果，在去混响和频谱失真量之间实现有利的权衡。
2019-04-09 eess.AS
Too Good to Be True: A Study on Modern Automatic Speech Recognition for the Evaluation of Speech Enhancement
University of Hamburg（汉堡大学）
本文研究现代ASR模型与人类语音增强识别的关联，发现大规模噪声训练和嵌入语言模型的ASR模型更符合人类WER，但其噪声鲁棒性和上下文使用对声学评估不具信息性。
2026-05-12 eess.AS
Multi-channel target speech extraction with channel decorrelation and target speaker adaptation
端到端的单通道目标语音提取方法受到了广泛的关注。然而，对于端到端的多通道目标语音提取的研究还比较有限。在这项工作中，我们提出了两种方法，利用多通道的空间信息来提取目标语音。第一种是在并行编码器架构中使用目标语音自适应层。第二个是设计一个通道去相关机制来提取通道间的差分信息，以增强多通道编码器表示。我们将所提出的方法与两个强大的最先进的基线进行比较。在多通道混响WSJ 0 2-mix数据集上的实验结果表明，我们提出的方法在SDR和SiSDR中分别实现了高达11.2%和11.5%的相对改进，这是我们所知的最好的报告结果。
2020-10-22 eess.AS
SE Territory: Monaural Speech Enhancement Meets the Fixed Virtual Perceptual Space Mapping
针对单通道语音缺乏空间线索的问题，本文提出 SE-TerrNet，通过两阶段多任务学习将单通道语音映射到固定虚拟双耳空间并融合注意力特征，显著提升语音质量与可懂度。
2024-03-04 eess.AS
MeanSE: Efficient Generative Speech Enhancement with Mean Flows
MeanSE利用均值流建模平均速度场，实现单次函数评估的高质量生成式语音增强，显著优于流匹配基线并具备极佳域外泛化能力。
2025-09-25 eess.AS
ARiSE: Auto-Regressive Multi-Channel Speech Enhancement
本文提出ARiSE自回归多通道语音增强算法，利用先前帧估计的目标语音作为额外输入特征改进DNN逐帧在线增强，并设计并行训练机制加速训练，在含噪混响条件下验证了其有效性。
2025-06-06 eess.AS
Tdcgan: Temporal Dilated Convolutional Generative Adversarial Network for End-to-end Speech Enhancement
为了进一步解决传统语音增强系统中由于忽略相位信息而导致的性能下降问题，提出了一种基于时域扩张卷积生成对抗网络（TDCGAN）的端到端语音增强结构。本文首次在GAN结构中引入了具有深度可分离卷积的时间扩张卷积网络，从而在不增加参数数量的情况下大大增加了感受野。我们还首次探讨了信噪比惩罚项作为生成器损失函数的正则化对提高增强语音信噪比的影响。实验结果表明，我们提出的方法优于最先进的端到端基于GAN的语音增强。此外，与以前的基于GAN的方法相比，所提出的TDCGAN可以大大减少参数的数量。正如预期的那样，工作还表明，信噪比惩罚项作为正则化是更有效的提高语音增强的信噪比比$L1$。
2020-09-30 eess.AS
Schrödinger Bridge for Generative Speech Enhancement
本文提出一种基于Schrödinger桥的生成式语音增强模型，通过数据到数据过程和辅助时域损失恢复纯净语音，在去噪与去混响任务中优于扩散模型并降低计算成本。
2024-07-22 eess.AS
Plugin Speech Enhancement: A Universal Speech Enhancement Framework Inspired by Dynamic Neural Network
China Mobile Research Institute（中国移动研究院）
本文提出插件式语音增强框架Plugin-SE，通过权重预测方法从下游训练信息中学习任务关系，并结合门控模块构建动态神经网络，以解决通用语音增强中下游模块特征感知不足的问题，实验证明其在多种下游任务上优于或媲美现有联合训练方法。
2024-02-20 cs.SD eess.AS
Incorporating Real-world Noisy Speech in Neural-network-based Speech Enhancement Systems
Carnegie Mellon University（卡内基梅隆大学）；Facebook Reality Labs Research（脸书现实实验室研究）
受监督的语音增强依赖于在训练期间退化的语音信号及其干净的参考信号的并行数据库。此设置禁止使用可能更好地代表使用此类系统的场景的真实世界降级语音数据。在本文中，我们探讨的方法，使监督语音增强系统训练真实世界的退化语音数据。具体来说，我们提出了一个半监督的语音增强方法，我们首先训练一个修改后的矢量量化变分自编码器，解决了源分离任务。然后，我们使用这个训练的自动编码器，进一步训练一个增强网络，使用现实世界的嘈杂的语音数据，通过计算一个基于三元组的无监督损失函数。实验表明，将真实世界的数据在训练语音增强系统的有前途的结果。
2021-09-21 cs.SD eess.AS
Time-Domain Speech Enhancement for Robust Automatic Speech Recognition
The Ohio State University（俄亥俄州立大学）
本文提出基于ARN时间域增强模型，将语音增强与仅在干净语音上训练的声学模型解耦，在CHiME-2上实现6.28%词错误率，相对提升19.3%。
2023-06-21 cs.SD eess.AS
A two-step backward compatible fullband speech enhancement system
Kuaishou Technology（快手科技）
基于深度学习的语音增强方法已经超越了传统方法。虽然这些新的方法中有许多是在宽带（16 kHz）的采样率，一个新的全带（48 kHz）的语音增强系统，本文提出。与现有的利用感知激励特征来使用单个网络结构训练全带语音增强的全带系统相比，所提出的系统是两步系统，其确保良好的全带语音增强质量，同时向后兼容于现有的宽带系统。
2022-01-28 cs.SD eess.AS
Phoneme-based Distribution Regularization for Speech Enhancement
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
现有的语音增强方法主要是在信号级或时频域将语音与噪声分离。他们很少注意损坏信号的语义信息。在本文中，我们的目标是弥合这一差距，提取音素身份，以帮助语音增强。具体来说，我们提出了一个基于音素的分布正则化（PbDr）的语音增强，它将逐帧音素信息纳入语音增强网络的条件方式。由于不同的音素往往会导致不同的频率特征分布，我们建议学习一个参数对，即规模和偏见，通过音素分类向量调制的语音增强网络。调制参数对不仅包括帧方面的条件，而且还包括频率方面的条件，其有效地将特征映射到音素相关分布。通过这种方式，我们明确规范的语音增强功能的识别向量。在公开数据集上的实验表明，该PbDr模块不仅可以提高语音增强的感知质量，而且可以提高ASR系统对增强后语音的识别准确率。该PbDr模块也可以容易地结合到其他语音增强网络中。
2021-04-08 cs.SD eess.AS
Unsupervised Speech Enhancement with speech recognition embedding and disentanglement losses
The Graduate Center, CUNY（纽约市立大学研究生中心）；Microsoft Research（微软研究院）
语音增强最近通过各种深度学习方法取得了巨大成功。然而，大多数传统的语音增强系统是用监督方法训练的，这带来了两个重大挑战。首先，用于语音增强系统的大多数训练数据集是合成的。当混合干净的语音和嘈杂的语料库来创建合成数据集时，在嘈杂的语音或音频的合成和真实世界的记录之间发生域不匹配。其次，在提高语音增强性能和降低语音识别（ASR）性能之间存在权衡。因此，我们提出了一个无监督的损失函数来解决这两个问题。我们的函数是通过扩展MixIT损失函数与语音识别嵌入和解纠缠损失来开发的。我们的研究结果表明，该函数有效地提高了语音增强的性能相比，在嘈杂的VoxCeleb数据集上的监督方式训练的基线。虽然完全无监督训练无法超过相应的基线，但通过联合超级和无监督训练，系统能够实现与最佳监督基线相似的语音质量和更好的ASR性能。
2022-02-19 cs.SD eess.AS
Teaching Speech Enhancement Models to Sing: Domain Adaptation from Speech Enhancement to Singing Voice Separation
针对歌声分离训练数据有限问题，将其作为从语音增强到歌声分离的域适应，研究全量微调和LoRA参数高效微调策略，实验表明两种策略均有效提升歌声分离性能，LoRA微调还能保留语音增强能力，证明适配预训练模型是数据稀缺时训练歌声分离模型的有效策略。
2026-07-14 cs.SD eess.AS
On Single-Channel Speech Enhancement and On Non-Linear Modulation-Domain Kalman Filtering
Imperial College London（帝国理工学院）
这份报告的重点是算法，执行单通道语音增强。本文作者在[1]、[2]、[3]、[4]和[5]中使用调制域卡尔曼滤波算法进行语音增强，即噪声抑制和去混响。调制域卡尔曼滤波可以应用于噪声和后期混响抑制，并且在[2]、[1]、[3]和[4]中，设计、实现和测试了执行调制域卡尔曼滤波的各种基于模型的语音增强算法。[2]中的基于模型的增强算法估计并跟踪语音相位。[5]中的基于短时傅里叶变换的增强算法使用[6]中提出的活动语音电平估计器。本报告介绍了不同的算法如何执行语音增强和算法在本报告中讨论的是针对研究人员感兴趣的单声道语音增强。算法由不同的处理块和技术组成[7];理解系统设计期间所做的实现选择很重要，因为这可以提供有助于开发新算法的见解。索引术语-语音增强，去混响，去噪，卡尔曼滤波器，最小均方误差估计。
2018-10-31 cs.SD eess.AS
Dual Application of Speech Enhancement for Automatic Speech Recognition
Facebook（脸书）
在这项工作中，我们利用语音增强来改善基于递归神经网络换能器（RNN-T）的ASR系统。我们采用了一个密集的卷积递归网络（DCRN）复杂的频谱映射为基础的语音增强，并发现它有助于ASR在两个方面：一个数据增强技术，和预处理前端。在使用它的ASR数据增强，我们利用KL分歧的一致性损失之间的原始和增强的话语的ASR输出计算。在使用语音增强作为一个有效的ASR前端，我们提出了一个三步训练计划的基础上模型预训练和特征选择。我们评估了我们提出的技术在一个具有挑战性的社交媒体英语视频数据集，并实现了11.2%的平均相对改善与语音增强为基础的数据增强，8.3%与增强为基础的预处理，和13.4%时，结合两者。
2020-11-07 cs.SD eess.AS
Objective and Subjective Evaluation of Diffusion-Based Speech Enhancement for Dysarthric Speech
Delft University of Technology（代尔夫特理工大学）；Erasmus Medical Centre (EMC)（埃因霍温医学院）；Indian Inst. of Information Technology Allahabad（阿利哈巴德信息科技学院）；Dept. of Plastic and Reconstructive Surgery（整形外科与重建外科系）；Dept. of Electronics and Communication（电子与通信系）
针对构音障碍语音对ASR系统的挑战，本研究探索扩散模型在构音障碍语音增强中的应用，通过评估两种扩散算法和一种信号处理算法对语料库可懂度、质量及ASR性能的影响，验证其提升识别性能的潜力。
2025-08-25 cs.SD eess.AS
A Perceptual Weighting Filter Loss for DNN Training in Speech Enhancement
使用深度神经网络（DNN）的单通道语音增强已显示出有前途的性能，因此正在深入研究。在本文中，在用于语音增强的DNN训练期间，我们不是将均方误差（MSE）应用为损失函数，而是设计了由加权滤波器激励的感知加权滤波器损失，因为其用于合成分析语音编码，例如，码激励线性预测（CELP）实验结果表明，所提出的简单的损失函数提高了语音增强性能相比，参考DNN与MSE损失的感知质量和噪声衰减。所提出的损失函数可以有利地应用于现有的基于DNN的语音增强系统，而无需修改用于语音增强的DNN拓扑。提出的方法的源代码是可用的。
2019-08-18 cs.SD eess.AS
Joint Noise Reduction and Listening Enhancement for Full-End Speech Enhancement
National Institute of Informatics（国立情报学研究所）；The Graduate University for Advanced Studies (SOKENDAI)（综合研究大学院大学（SOKENDAI））
语音增强（SE）方法主要集中于从噪声输入中恢复干净的语音。然而，在现实世界的语音通信中，噪声往往不仅存在于说话者，而且存在于听者环境中。虽然SE方法可以抑制扬声器语音中包含的噪声，但它们不能处理实际存在于收听者侧的噪声。为了解决这种复杂但常见的情况，我们研究了一种基于深度学习的联合框架，该框架将降噪（NR）与听力增强（LE）集成在一起，其中NR模块首先抑制噪声，然后LE模块修改去噪语音，即，NR模块的输出，以进一步提高语音清晰度。因此，增强的语音可以更少噪声并且对于收听者来说更容易理解。实验结果表明，我们提出的方法取得了可喜的成果，显着优于不相交处理方法在各种语音评价指标。
2022-03-22 cs.SD eess.AS
NeuralEcho: A Self-Attentive Recurrent Neural Network For Unified Acoustic Echo Suppression And Speech Enhancement
Tencent AI Lab（腾讯人工智能实验室）
声学回声消除在全双工语音通信中起着重要的作用，同时也是在扬声器重放的情况下进行识别的前端语音增强。在本文中，我们提出了一个全深度学习框架，隐式估计回声/噪声和目标语音的二阶统计量，并通过基于注意力的递归神经网络联合解决回声和噪声抑制问题。该模型在客观语音质量指标、语音识别精度和模型复杂度方面优于最先进的联合回声消除和语音增强方法F-T-LSTM。我们表明，该模型可以与说话人嵌入更好的目标语音增强，并进一步开发一个分支的自动增益控制（AGC）的任务，形成一个一体化的前端语音增强系统。
2022-05-20 cs.SD eess.AS
Exploring Machine Speech Chain for Domain Adaptation and Few-Shot Speaker Adaptation
Southern University of Science and Technology（南方科技大学）；Microsoft China（微软中国）
机器语音链将端到端（E2 E）自动语音识别（ASR）和文本到语音（TTS）集成到一个循环中进行联合训练，已被证明可以有效地利用大量未配对数据进行数据增强。在本文中，我们探索语音链中的TTS->ASR管道，对神经TTS和E2 E ASR模型进行领域自适应，仅使用来自目标域的文本数据。我们进行了实验，通过适应从有声读物域（LibriSpeech）到呈现域（TED-LIUM），有一个相对的词出错率（WER）减少10%的E2 E ASR模型上的TED-LIUM测试集，和一个相对的WER减少51.5%的神经TTS生成的合成语音在呈现域。此外，我们通过以无监督的方式使用目标说话者的一些话语，对E2 E ASR应用Few-Shot说话者自适应，从而获得额外的收益。
2021-04-08 cs.CL cs.SD eess.AS
Speech enhancement with weakly labelled data from AudioSet
ByteDance（字节跳动）
语音增强是提高退化语音信号的可懂度和感知质量的任务。最近，基于神经网络的方法已经被应用于语音增强。然而，许多基于神经网络的方法需要噪声和干净的语音对用于训练。我们提出了一个语音增强框架，可以用大规模弱标记的AudioSet数据集进行训练。弱标记数据仅包含音频片段的音频标记，而不包含语音的起始或偏移时间。我们首先应用预训练的音频神经网络（PANNs）来检测音频片段中包含语音或声音事件的锚片段。然后，我们随机混合两个检测到的锚段包含语音和声音事件作为一个混合物，并建立一个条件声源分离网络使用PANN预测语音增强的软条件。在推理中，我们输入一个带噪的语音信号，其中“Speech”的独热编码作为训练系统的条件，以预测增强的语音。我们的系统在VoiceBank-DEMAND数据集上实现了2.28的PESQ和8.75 dB的SSNR，分别优于之前的2.16和7.73 dB的SEGAN系统。
2021-02-19 cs.SD eess.AS
Linear networks based speaker adaptation for speech synthesis
Alibaba Inc.（阿里巴巴公司）
说话人自适应方法的目标是在有限的资源下为目标说话人生成质量较好的合成语音。近年来，随着基于深度神经网络的统计参数语音合成（SPSS）方法在SPSS TTS后端建模中占据主导地位，基于SPSS框架的神经网络下的说话人自适应也成为一项重要任务。在本文中，线性网络（LN）被插入到多个神经网络层和微调与输出层的最佳扬声器自适应性能。当自适应数据非常小时，采用低秩加对角（LRPD）分解LN，使适应语音更稳定。说话人自适应实验在一定的自适应话语数范围内进行。此外，还研究了从1）女性到女性，2）男性到女性和3）女性到男性的说话人顺应。客观测量和主观测试表明，LN与LRPD分解表现最稳定时，适应数据是非常有限的，我们最好的说话人自适应（SA）模型只有200个自适应话语达到相当的质量与说话人相关（SD）模型训练1000话语，在自然度和目标说话人的相似性。
2018-03-05 cs.SD eess.AS
Impulsive Noise Detection for Intelligibility and Quality Improvement of Speech Enhancement Methods Applied in Time-Domain
Military Institute of Engineering（军事工程学院）
本文介绍了一种新的基于希尔伯特-黄变换域的语音增强方法，以消除脉冲噪声对语音质量的影响。噪声分量的估计和选择是基于分解模式的冲动指数。针对五种不同脉冲指数和非平稳程度的噪声，在不同信噪比下进行了语音增强实验。采用三种语音增强算法作为基线，从时域和谱域两个方面进行了评价分析。所提出的解决方案实现了最好的结果，在客观的质量措施和类似的语音清晰度率的竞争力的方法。
2019-10-07 cs.SD eess.AS
Adaptation Algorithms for Neural Network-Based Speech Recognition: An Overview
University of Edinburgh（爱丁堡大学）；JPMorgan Chase（摩根大通）；Microsoft Corporation（微软公司）；University of New South Wales（新南威尔士大学）；Apple（苹果公司）
我们提出了一个结构化的基于神经网络的语音识别的自适应算法的概述，考虑混合隐马尔可夫模型/神经网络系统和端到端的神经网络系统，重点是说话人自适应，域自适应，和口音自适应。概述的特点自适应算法的基础上嵌入，模型参数自适应，或数据增强。我们提出了一个荟萃分析的性能语音识别自适应算法，根据文献中报道的相对错误率降低。
2021-02-28 cs.CL cs.SD eess.AS
The Potential of Neural Speech Synthesis-based Data Augmentation for Personalized Speech Enhancement
Indiana University, Luddy School of Informatics, Computing, and Engineering（印第安纳大学卢迪信息、计算与工程学院）
随着深度学习的进步，语音增强系统受益于大型神经网络架构，并实现了最先进的质量。然而，说话人不可知的方法并不总是可取的，无论是在质量和它们的复杂性，当它们被用于资源受限的环境。一种有前途的方法是个性化语音增强（PSE），这是一个更小，更容易的语音增强问题的小模型来解决，因为它专注于一个特定的测试时的用户。为了实现个性化的目标，同时处理典型的个人数据的缺乏，我们调查的数据增强的神经语音合成（NSS）的基础上的效果。在所提出的方法中，我们表明NSS系统的合成数据的质量很重要，如果它们足够好，则可以使用增强的数据集来改进优于说话者不可知基线的PSE系统。所提出的PSE系统表现出显着的复杂性降低，同时保持增强质量。
2022-11-14 cs.SD eess.AS
Adaptation of Whisper models to child speech recognition
School of Electrical and Electronics Engineering, University of Galway（戈尔韦大学电气与电子工程学院）；University Politehnica of Bucharest（布加勒斯特理工大学）
本研究探索将Whisper模型适配儿童语音识别，通过微调提升性能，并与wav2vec2对比，发现微调有效且wav2vec2更优。
2023-07-24 cs.AI eess.AS
Multimodal speech synthesis architecture for unsupervised speaker adaptation
National Institute of Informatics（国立信息学研究所）；Unversity of Edinburgh（爱丁堡大学）
本文提出了一种新的多说话人神经网络语音合成系统的说话人自适应结构，在该结构中，一个看不见的说话人的声音可以建立在一个相对少量的语音数据，而无需transmitting。这有时被称为“无监督的说话者自适应”。更具体地说，当执行无监督说话者自适应时，我们将这些层连接到音频输入，而当从文本合成语音时，我们将它们连接到文本输入。本文还提出了两个新的训练方案的新架构。这些训练方案并不局限于语音合成，还提出了其它应用。实验结果表明，该模型不仅可以适应看不见的扬声器使用未转录的语音，但它也提高了多扬声器建模和扬声器自适应使用转录的音频文件的性能。
2018-08-20 cs.CL cs.SD eess.AS
Student-Teacher Learning for BLSTM Mask-based Speech Enhancement
Johns Hopkins University（约翰斯·霍普金斯大学）
基于双向长短期记忆（BLSTM）神经网络的谱掩模估计已广泛应用于各种语音增强应用中，并在基于掩模波束形成器的多通道语音增强技术中取得了巨大的成功。然而，当这些掩模用于单通道语音增强时，它们严重地使语音信号失真并且使它们不适合于语音识别。本文提出了一种单通道语音增强的师生学习模式。来自多通道增强的波束成形信号作为教师网络的输入被给出以获得软掩模。将软掩模目标的附加交叉熵损失项与原始损失相结合，使得具有单通道输入的学生网络被训练以模仿通过波束成形用多通道输入获得的软掩模。CHiME-4挑战单通道跟踪数据的实验显示ASR性能的改善。
2018-03-27 cs.SD eess.AS
Using Speech Foundational Models in Loss Functions for Hearing Aid Speech Enhancement
The University of Sheffield（谢菲尔德大学）；WS Audiology（西万拓听力技术公司）；Toshiba（东芝）
本文提出在助听器语音增强的损失函数中利用自监督语音表示距离，以提升可懂度，实验显示相比SNR损失，HASPI、STOI、PESQ和SI-SNR均提高，且仅训练时需大模型推理。
2024-07-18 cs.SD eess.AS
Phonetic Feedback for Speech Enhancement With and Without Parallel Speech Data
The Ohio State University（俄亥俄州立大学）
虽然深度学习系统在语音增强研究中取得了显著进展，但这些系统尚未充分利用深度学习系统的潜力来提供高级反馈。特别是，语音反馈是罕见的语音增强的研究，即使它包括有价值的自上而下的信息。我们使用模仿损失的技术来提供语音反馈到现成的增强系统，并在CHiME-4数据上找到客观可懂度分数的增益。该技术采用在干净语音上训练的冻结声学模型来向增强模型提供有价值的反馈，即使在没有并行语音数据可用的情况下。我们的工作是第一个显示可理解性改善的神经增强系统没有并行语音数据，我们表明语音反馈可以提高一个国家的最先进的神经增强系统训练的并行语音数据。
2020-03-03 cs.CL cs.SD eess.AS
Exploring WavLM on Speech Enhancement
Institute for Information & communications Technology Promotion（信息与通信技术振兴院）；Microsoft Research Asia（微软亚洲研究院）
近年来，对用于端到端语音编码的自监督学习方法的兴趣激增，因为它们取得了巨大的成功。特别是，WavLM在各种语音处理任务上表现出了最先进的性能。为了更好地了解自我监督学习模型用于语音增强的功效，在这项工作中，我们设计并进行了一系列实验，结合WavLM和两个高质量的语音增强系统的三个资源条件。此外，我们提出了一个基于回归的WavLM训练目标和噪声混合数据配置，以进一步提高下游增强性能。DNS挑战数据集和仿真数据集上的实验表明，WavLM有利于语音增强任务的语音质量和语音识别精度，特别是对于低微调资源。对于高微调资源条件，仅字错误率得到实质性改善。
2022-11-18 cs.SD eess.AS
Hallucination in Perceptual Metric-Driven Speech Enhancement Networks
University of Sheffield（谢菲尔德大学）；TOSHIBA Cambridge Research Laboratory（东芝剑桥研究实验室）
本文识别了感知度量驱动的语音增强网络中的幻觉问题，即增强系统通过欺骗语音质量预测器来引入幻觉，并旨在揭示这一潜在缺陷。
2024-05-24 cs.SD eess.AS
On-the-fly Routing for Zero-shot MoE Speaker Adaptation of Speech Foundation Models for Dysarthric Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Chinese Academy of Sciences（中国科学院）；China National Research Council Canada（中国国家研究委员会加拿大）；Institute of Software（软件研究所）
本文提出一种基于MoE的零样本说话人自适应框架，通过即时预测路由参数动态组合适配器专家，在UASpeech语料库上实现构音障碍语音识别的实时处理与显著WER降低。
2025-05-28 cs.SD eess.AS
Residual Adapters for Parameter-Efficient ASR Adaptation to Atypical and Accented Speech
Google（谷歌）
自动语音识别（ASR）系统通常被优化以最好地为具有规范语音模式的说话者工作。不幸的是，这些系统在测试非典型语音和重口音语音时表现不佳。以前已经表明，通过模型微调的个性化大大提高了性能。然而，为每个扬声器维护如此大的模型是昂贵的并且难以扩展。我们表明，通过所谓的残差适配器向编码器层添加相对少量的额外参数，与模型微调相比，我们可以实现类似的自适应增益，同时只更新一小部分（小于0.5%）模型参数。我们证明了这两个语音适应任务（非典型和重音语音）和两个国家的最先进的ASR架构。
2021-09-14 cs.CL cs.SD eess.AS
Dual-Stage Low-Complexity Reconfigurable Speech Enhancement
Facebook Reality Labs（Facebook现实实验室）
本文提出了一种双级、低复杂度、可重构的语音增强方法。在输入数据和音频内容的驱动下，所提出的两阶段语音增强方法分别在第一阶段和第二阶段执行粗处理和细处理。在本文中，我们证明了所提出的语音增强解决方案显着提高了3倍电信语音质量评估（3QUEST）的语音平均意见分数（SMOS）和噪声MOS（NMOS）的近场和远场应用的指标。此外，所提出的语音增强方法大大提高了信噪比（SNR）和主观听觉体验。相比之下，传统的语音增强方法虽然增加了NMOS和SNR，但降低了SMOS。此外，所提出的语音增强方案可以很容易地应用于语音通信和会议系统以及语音触发应用的捕获路径和语音渲染路径中。
2021-05-17 cs.SD eess.AS eess.SP
Unsupervised Domain Adaptation in Speech Recognition using Phonetic Features
IIT Madras（印度理工学院马德拉斯分校）
自动语音识别是模式识别中的一个难题，因为语音输入中存在多种可变性来源，例如通道变化，输入可能是干净的或有噪声的，说话者可能具有不同的口音和性别变化等。因此，域自适应在语音识别中很重要，其中我们训练特定源域的模型，并在不同的目标域上对其进行测试。在本文中，我们提出了一种技术来执行无监督的基于性别的领域适应语音识别使用语音特征。在TIMIT数据集上进行了实验，使用该方法可以大大降低音素错误率。
2021-08-04 cs.LG cs.SD eess.AS
Incorporating Ultrasound Tongue Images for Audio-Visual Speech Enhancement through Knowledge Distillation
National Engineering Research Center of Speech and Language Information Processing, University of Science and Technology of China（中国科学技术大学国家语言语音信息处理工程研究中心）
本文提出在训练阶段利用知识蒸馏，将预训练的音频-唇部-舌部语音增强教师模型的知识传递给音频-唇部学生模型，从而在推理时无需超声舌像即可提升语音增强的质量与可懂度。
2023-11-20 cs.SD eess.AS
CycleGAN with Dual Adversarial Loss for Bone-Conducted Speech Enhancement
Key Laboratory of Intelligent Computing and Signal Processing of Ministry of Education, Anhui University（安徽大学智能计算与信号处理教育部重点实验室）
骨导语音与气导语音相比，具有屏蔽背景噪声的独特优势。增强骨导语音有助于提高其质量和可懂度。本文提出了一种新的具有双重对抗损失的CycleGAN（CycleGAN-DAL）用于骨导语音增强。该方法同时使用对抗性损失和循环一致性损失来学习前向和循环映射，其中对抗性损失被替换为分类对抗性损失和缺陷对抗性损失以巩固前向映射。与传统的基线方法相比，它可以学习骨导语音和目标语音之间的特征映射，而无需额外的空气传导语音辅助。此外，所提出的方法还避免了通常发生在传统的统计模型的过光滑问题。实验结果表明，该方法优于基线方法，如CycleGAN，GMM和BLSTM。关键词：骨导语音增强，双对抗损失，并行CycleGAN，高频语音重建
2021-11-02 cs.SD eess.AS
The CHiME-7 UDASE task: Unsupervised domain adaptation for conversational speech enhancement
Google（谷歌）
本文介绍了第7届CHiME挑战赛的UDASE任务，旨在利用CHiME-5数据集的真实含噪录音对语音增强模型进行无监督领域自适应，以去除加性背景噪声并估计纯净混响语音。
2023-10-02 cs.SD eess.AS
Analysis of Noisy-target Training for DNN-based speech enhancement
Nagoya University（名古屋大学）
基于深度神经网络（DNN）的语音增强通常使用干净的语音作为训练目标。然而，很难收集大量干净的语音，因为录音成本很高。换句话说，当前语音增强的性能受到训练数据量的限制。为了放宽该限制，已经提出了利用噪声语音作为训练目标的噪声目标训练（NyTT）。虽然实验表明，NyTT可以训练DNN而无需干净的语音，但尚未进行详细的分析，并且其行为尚未得到很好的理解。在本文中，我们进行各种分析，以加深我们对NyTT的理解。此外，基于NyTT的属性，我们提出了一种改进的方法，该方法与使用干净语音的方法相当。此外，我们表明，我们可以提高性能，通过使用大量的噪声语音与干净的语音。
2022-11-02 cs.SD eess.AS
An Iterative Graph Spectral Subtraction Method for Speech Enhancement
本文研究了图信号处理（GSP）理论在语音增强中的应用。我们首先提出一组移位算子来构造图形语音信号，然后在图形傅立叶域中分析它们的频谱。利用图语音和图噪声信号的频谱差异，进一步提出了图谱减法（GSS）方法来抑制含噪语音中的噪声干扰。在此基础上，提出了迭代图谱减法（IGSS）方法，进一步提高了语音增强的性能。实验结果表明，所提出的算子适用于图形语音信号，在信噪比（SNR）和平均感知语音质量（PESQ）方面优于传统的基本谱减法（BSS）和迭代基本谱减法（IBSS）。
2020-06-15 eess.AS eess.SP
VSEGAN: Visual Speech Enhancement Generative Adversarial Network
vivo AI Lab（vivo人工智能实验室）；Trinity College Dublin（都柏林大学三一学院）
语音增强是提高噪声环境下语音质量的一项重要任务。由于语音的视觉方面基本上不受声学环境的影响，因此几种现有技术的方法已经引入了用于语音增强的视觉信息。本文提出了一种新的框架，涉及语音增强的视觉信息，通过结合生成对抗网络（GAN）。具体地说，提出的视觉语音增强GAN由两个以对抗方式训练的网络组成：i）一个采用多层特征融合卷积网络增强输入含噪语音的生成器，ii）一个采用最小化纯净语音信号和增强语音信号分布之间差异的改进器。实验结果表明，该模型的性能优于几个国家的最先进的
2022-04-20 cs.SD eess.AS eess.IV
Closing the Gap Between Time-Domain Multi-Channel Speech Enhancement on Real and Simulation Conditions
Shanghai Jiao Tong University（上海交通大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Carnegie Mellon University（卡内基梅隆大学）
基于深度学习的时域模型，例如Conv-TasNet，在单通道和多通道语音增强方面都显示出巨大的潜力。然而，时域语音增强模型的实验大多是在模拟环境下进行的，其良好的性能能否推广到实际应用中还没有得到很好的研究。在本文中，我们的目的是提供一个有见地的调查应用多通道Conv-TasNet为基础的语音增强的模拟和真实数据。我们的初步实验表明，在ASR性能方面，两种条件之间存在很大的性能差距。有几种方法被用来缩小这一差距，包括将多通道Conv-TasNet集成到具有各种策略的波束形成模型中，以及语音增强和语音识别模型的联合训练。在CHiME-4语料库上的实验表明，本文提出的方法在保持前端强大的语音增强能力的同时，可以大大降低仿真数据与真实数据之间的语音识别性能差异。
2021-10-27 cs.SD eess.AS
