Target Speaker Extraction through Comparing Noisy Positive and Negative Audio Enrollments
Department of Computer Science, University of Oxford（计算机科学系，牛津大学）
本文提出通过比较噪声正样本与负样本音频提取目标说话人，提升单声道语音提取性能。
2025-12-05 cs.AI cs.SD eess.AS
Sparsely Overlapped Speech Training in the Time Domain: Joint Learning of Target Speech Separation and Personal VAD Benefits
AI Lab, Lenovo Research（联想研究院人工智能实验室）
目标语音分离是根据所提供的附加说话人身份信息从语音混合物中滤除特定说话人的语音的过程。最近的工作已经取得了相当大的改进，直接在时域中处理信号。它们中的大多数采用完全重叠的语音混合进行训练。然而，由于大多数现实生活中的对话是随机发生的，并且重叠很少，因此我们认为使用不同重叠率的数据进行训练是有益的。要做到这一点，一个不可避免的问题是，普遍使用的SI-SNR损失没有定义的沉默源。本文提出了加权SI-SNR损失，以及目标语音分离和个人VAD的联合学习。加权SI-SNR损失施加与目标说话者的持续时间成比例的权重因子，并且当目标说话者不存在时返回零。同时，个人VAD生成掩码并将非目标语音设置为静音。实验表明，我们提出的方法优于基线的SDR完全重叠的语音，以及由4.17 dB和0.9 dB的稀疏重叠的语音的清洁和嘈杂的条件下，1.73 dB。此外，在性能略有下降的情况下，我们的模型可以减少推理的时间开销。
2021-09-27 cs.CL cs.SD eess.AS
The ByteDance Speaker Diarization System for the VoxCeleb Speaker Recognition Challenge 2021
ByteDance（字节跳动）
本文描述了用于VoxCeleb Speaker Recognition Challenge 2021（VoxSRC-21）第四轨的字节跳动扬声器日志化系统。VoxSRC-21提供VoxConverse的开发集和测试集用于验证，并提供独立的测试集用于评估。我们首先收集所有音频的持续时间和信噪比（SNR），发现VoxConverse的测试集和VoxSRC-21的测试集的分布更加接近。我们的系统包括语音主动检测（VAD），说话人嵌入提取，谱聚类，然后是一个基于凝聚层次聚类（AHC）和重叠语音检测和处理的重新聚类步骤。最后，我们使用DOVER-Lap集成具有不同时间尺度的系统。我们的最佳系统在评估集上达到了5.15%的日志出错率，在挑战的日志跟踪中排名第二。
2021-09-05 cs.SD eess.AS
A Study of Acoustic Features in Arabic Speaker Identification under Noisy Environmental Conditions
USTHB（阿尔及尔科技大学）
语音识别领域的主要部分之一是选择声学特征，这些特征必须对语音信号的变化、失配条件和噪声环境具有鲁棒性。因此，已经开发了不同的语音特征提取技术。在本文中，我们研究了几个前端技术在阿拉伯语说话人识别的鲁棒性。我们评估了五个不同的功能，在不同的信号噪声比（SNR）的串音，工厂和地铁条件。实验结果表明，两种听觉特征，即伽玛频率倒谱系数（GFCC）和功率归一化倒谱系数（PNCC），与它们的组合不同，其性能明显优于传统的说话人特征，即梅尔频率倒谱系数（MFCC）。
2021-10-23 cs.SD eess.AS
Learning to fool the speaker recognition
Institute of Computer Technology, Chinese Academic of Sciences（中国科学院计算技术研究所）；Peking University（北京大学）；University of Chinese Academic of Sciences（中国科学院大学）
由于指纹/人脸/说话人识别系统的广泛部署，攻击基于深度学习的生物特征系统引起了越来越多的关注。以往的研究主要是针对基于视觉的系统，如指纹、人脸识别等进行攻击。而对说话人识别的攻击虽然在日常生活中得到了广泛的应用，但至今还没有研究。在本文中，我们试图欺骗最先进的说话人识别模型，并提出了\textit{speaker recognition attacker}，一个轻量级的模型，欺骗深层说话人识别模型，通过添加不可察觉的扰动到原始语音波形。我们发现说话人识别系统也容易受到攻击，并且我们在非目标攻击上取得了很高的成功率。此外，我们还提出了一种有效的方法来优化说话人识别攻击，以获得攻击成功率和感知质量之间的权衡。在TIMIT数据集上的实验表明，我们可以达到一个平均信噪比为$57.2\text{dB}$和PESQ 4.2的$99.2\%$的句子错误率，速度比实时快。
2020-04-07 cs.CR cs.SD eess.AS
Robust Speaker Recognition Using Speech Enhancement And Attention Model
University of Sheffield（谢菲尔德大学）
本文提出了一种将语音增强和说话人处理相结合的说话人识别系统结构。它的目的是提高说话人识别性能时，语音信号被噪声污染。这两个模块不是单独处理语音增强和说话人识别，而是通过使用深度神经网络的联合优化集成到一个框架中。此外，为了提高对噪声的鲁棒性，采用多级注意力机制来突出从时域和频域的上下文信息中学习到的说话人相关特征。为了评估所提出的方法的说话人辨识和验证性能，我们测试它的数据集VoxCeleb1，最常用的基准数据集之一。此外，我们所提出的方法的鲁棒性也测试VoxCeleb1数据时，被破坏的三种类型的干扰，一般的噪声，音乐，和串音，在不同的信噪比（SNR）水平。所得到的结果表明，在我们的实验中，使用语音增强和多阶段注意力模型的方法优于两个强基线，在大多数声学条件下不使用它们。
2020-05-22 cs.CL cs.LG cs.SD
Adversarial Speaker Verification
Microsoft Corporation（微软公司）
使用深度网络来提取用于说话人识别的嵌入已被成功证明。然而，由于训练、注册和测试条件之间的不匹配，这样的嵌入容易受到性能下降的影响。在这项工作中，我们提出了一个对抗性说话人验证（ASV）计划，通过对抗性多任务训练来学习条件不变的深度嵌入。在ASV中，说话人分类网络和条件识别网络被联合优化，以最小化说话人分类损失，同时最小-最大化条件损失。条件网络的目标标签可以是分类的（环境类型）和连续的（SNR值）。我们进一步提出了多因子ASV，同时抑制构成条件变异性的多个因素。在Microsoft Cortana文本相关说话人验证任务上进行评估，ASV在已知和未知条件下的相等出错率（EER）分别实现了8.8%和14.5%的相对改善。
2019-04-29 cs.CL cs.LG cs.SD
Noise-Conditioned Mixture-of-Experts Framework for Robust Speaker Verification
College of Electronic Science and Technology, National University of Defense Technology（电子科学与技术学院，国防科技大学）
本文提出了一种噪声条件下的专家混合框架，通过噪声感知的专家路由机制和课程学习策略，提升语音验证在噪声环境下的鲁棒性和泛化能力。
2026-03-10 cs.MM cs.SD eess.AS
Speech Separation based on Contrastive Learning and Deep Modularization
University of Cambridge（剑桥大学）
针对监督语音分离存在的排列问题、说话人数量不匹配及依赖标注数据的问题，提出基于对比学习和深度模块化的无监督方法，在WSJ0-2mix、WSJ0-3mix上取得优异性能且说话人增多时性能下降不明显。
2024-10-09 cs.CL cs.SD eess.AS
Feature Enhancement with Deep Feature Losses for Speaker Verification
L’École de Technologie Supérieure（高等技术学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
说话人确认仍然面临着推广到新的不利环境的挑战。我们利用基于深度学习的语音增强的最新进展，提出了一种基于特征域监督去噪的解决方案。我们建议使用深度特征丢失，它在预训练的辅助说话人嵌入网络的隐藏激活空间中优化增强网络。我们的模拟和真实数据的实验验证的方法。使用不同SNR水平下的各种噪声类型创建模拟测试设置。为了对真实数据进行评估，我们选择了BabyTrain语料库，该语料库由非受控环境中的儿童录音组成。我们观察到一致的增益，在每一个条件下的最先进的增强因子化TDNN x向量系统。在BabyTrain语料库上，我们观察到minDCF和EER的相对增益分别为10.38%和12.40%。
2020-02-14 cs.SD eess.AS
Sum-Product Networks for Robust Automatic Speaker Identification
Griffith University（格里菲斯大学）
我们引入和积网络（SPN）的强大的语音处理，通过一个简单的强大的自动说话人识别（ASI）的任务。SPN是能够回答多个概率查询的深度概率图模型。我们表明，SPN能够保持强大的边缘概率密度函数（PDF）的频谱特征，可靠地代表语音。虽然目前的SPN工具包和学习算法还处于起步阶段，我们的目标是表明，SPN有潜力成为一个有用的工具，强大的语音处理在未来。SPN扬声器模型在这里评估现实世界的非平稳和有色噪声源在多个信噪比（SNR）水平。在ASI准确性方面，我们发现SPN说话人模型比两个最近的基于卷积神经网络（CNN）的ASI系统更鲁棒。此外，SPN扬声器模型比基于CNN的扬声器模型包含的参数少得多。结果表明，SPN说话人模型可以是一个强大的，参数有效的替代ASI。此外，这项工作表明，SPN在相关的任务，如强大的自动语音识别（ASR）和自动说话人验证（ASV）的潜力。可用性：SPN ASI系统可在https://github.com/anicolson/SPN-ASI上获得。
2020-08-13 cs.SD eess.AS
Noise Invariant Frame Selection: A Simple Method to Address the Background Noise Problem for Text-independent Speaker Verification
University of Nottingham（诺丁汉大学）；Temple University（天普大学）；Imperial College London（伦敦帝国理工学院）；Augsburg University（奥格斯堡大学）；Shenzhen University（深圳大学）
在实际应用中，说话人相关系统的性能通常会严重下降，这主要是由于背景噪声的存在。为了提高这种系统在未知噪声环境中的鲁棒性，本文提出了一种简单的预处理方法，称为噪声不变帧选择（NIFS）。该算法根据噪声约束条件，从语音中选择噪声不变性帧来表征说话人。在TIMIT数据库上进行的实验表明，在不同信噪比的未知噪声环境中，NIFS能显著提高矢量量化（VQ）、高斯混合模型-通用背景模型（GMM-UBM）和基于i矢量的说话人确认系统的性能。同时，当我们改变约束条件（超参数）或特征时，所提出的基于NIFS的说话人确认系统达到相似的性能，这表明它是鲁棒的，易于重现。由于NIFS是作为一个通用算法设计的，它可以进一步应用到其他类似的任务。
2018-05-03 cs.CV cs.SD eess.AS
Improving Noise Robustness In Speaker Identification Using A Two-Stage Attention Model
University of Sheffield（谢菲尔德大学）
虽然深度神经网络的使用显著提高了说话人识别性能，但在声学环境较差的情况下分离说话人仍然具有挑战性。为了提高说话人识别系统在噪声环境下的鲁棒性，提出了一种新的两阶段注意机制，该机制可用于时延神经网络（TDNN）和卷积神经网络（CNN）等现有结构中。已知噪声经常在时域和频域中掩盖重要信息。所提出的机制允许模型集中于信号的可靠时间/频率分量。使用Voxceleb 1数据集对所提出的方法进行评估，该数据集旨在评估现实世界中的说话人识别。此外，在不同的信噪比（SNR）的三种类型的噪声被添加到这项工作。将所提出的机制与三个强基线进行比较：X向量，Attentive X-vector和Resnet-34。识别和验证任务的结果表明，两阶段的注意力机制一贯改善后，这些所有的噪音条件。
2020-05-15 cs.AI cs.CL cs.SD
Deep Ad-hoc Beamforming Based on Speaker Extraction for Target-Dependent Speech Separation
Northwestern Polytechnical University（西北工业大学）
近年来，基于深度学习的自组织麦克风阵列的研究备受关注，特别是在语音增强和分离方面。由于ad-hoc麦克风阵列可能覆盖如此大的区域，以至于多个说话人可能相距很远并且独立地说话，所以目标相关语音分离（其目的是从混合语音中提取目标说话人）对于在ad-hoc阵列中提取和跟踪特定说话人是重要的。然而，这种技术尚未被探索。本文提出了一种基于说话人提取的深度自组织波束形成方法，这是我们所知的第一个基于自组织麦克风阵列和深度学习的目标相关语音分离的工作。该算法包含三个组件。首先，提出了一种基于说话人提取的有监督信道选择框架，该框架利用目标语音的话语级信噪比作为信道选择的依据。其次，我们将所选择的通道应用于基于深度学习的MVDR算法，其中，将单通道说话人提取算法应用于每个所选择的通道，以估计目标语音的掩码。我们在WSJ 0-adhoc语料库上进行了广泛的实验。通过仿真和实测数据处理验证了所提方法的有效性。
2020-12-01 cs.CL cs.SD eess.AS
The Microsoft System for VoxCeleb Speaker Recognition Challenge 2022
Microsoft（微软）
在这份报告中，我们描述了我们提交的系统的VoxCeleb扬声器识别挑战赛2022（VoxSRC-22）的轨道2。我们融合了各种性能良好的模型，从监督模型到自监督学习（SSL）预训练模型。使用VoxCeleb-2 dev数据训练的监督模型由ECAPA-TDNN和Res2Net组成。SSL预训练模型wav2vec和wavLM使用高达百万小时的大规模未标记语音数据进行训练。这些模型与ECAPA-TDNN级联，并以监督的方式进一步微调以提取说话人表示。所有13个模型都应用了分数归一化和校准，然后融合到提交的系统中。我们还探讨了音频质量的措施，在校准阶段，如持续时间，信噪比，T60，MOS。在VoxSRC-22评估集上，提交的最佳系统的minDCF为0.073，EER为1.436%。
2022-09-22 cs.SD
Speaker Recognition -- Wavelet Packet Based Multiresolution Feature Extraction Approach
本文提出一种基于小波包的多分辨率特征提取方法，结合MFCC和WPT，用于提升文本无关说话人识别与验证的性能。
2025-12-23 cs.SD
Joint Separation and Denoising of Noisy Multi-talker Speech using Recurrent Neural Networks and Permutation Invariant Training
Aalborg University（奥尔堡大学）；Tencent AI Lab（腾讯人工智能实验室）
在本文中，我们提出使用话语级排列不变训练（uPIT）的说话人无关的多说话人语音分离和去噪，同时。具体而言，我们使用uPIT训练深度双向长短期记忆（LSTM）循环神经网络（RNN），用于在多种噪声条件下（包括合成和真实噪声信号）进行单通道说话者独立的多说话者语音分离。我们专注于我们的实验依赖于各种类型的先验知识，例如在噪声类型和同时发言者的数量的模型的泛化能力和噪声鲁棒性。我们表明，在噪声环境中使用uPIT训练的深度双向LSTM RNN可以提高信号失真比（SDR）以及扩展的短时客观可懂度（ESTOI）测量，对于各种噪声类型和信噪比（SNR），在说话人独立的多说话人语音分离和去噪任务中。具体来说，我们首先表明，当使用已知的噪声类型进行评估时，LSTM RNN可以实现较大的SDR和ESTOI改进，并且单个模型能够处理多种噪声类型，性能仅略有下降。此外，我们证明了单个LSTM RNN可以处理两个扬声器和三个扬声器的噪声混合，而无需关于扬声器确切数量的先验知识。最后，我们证明了使用uPIT训练的LSTM RNN可以很好地推广到训练过程中看不到的噪声类型。
2017-08-31 cs.SD eess.AS
Cross-Talk Reduction
Southern University of Science and Technology（南方科技大学）；Meta Reality Labs Research（Meta现实实验室）；Carnegie Mellon University（卡内基梅隆大学）
当远场多讲话者混合被记录时，每个讲话者可以佩戴近距离讲话麦克风，以便可以同时记录近距离讲话混合。虽然每个近距离说话混合具有佩戴者的高信噪比（SNR），但是其具有非常有限的应用范围，因为其还包含其他说话者的显著串扰语音并且不够干净。在这种情况下，我们提出了一种新的任务称为串扰减少（CTR），旨在减少串扰语音，和一种新的解决方案命名为CTRnet，它是基于无监督或弱监督神经语音分离。在无监督的CTRnet中，近距离说话和远场混合物被堆叠作为DNN的输入，以估计每个说话者的近距离说话语音。它以无监督的、有区别的方式进行训练，使得每个扬声器的DNN估计可以被线性过滤，以消除在其他麦克风处捕获的扬声器的串扰语音。在弱监督的CTRnet中，我们假设在训练过程中每个说话者的活动时间戳的可用性，并利用它们来改进无监督的CTRnet的训练。在一个模拟的两个扬声器CTR任务和一个真实记录的会话语音分离和识别任务的评估结果表明CTRnet的有效性和潜力。
2024-05-30 cs.SD eess.AS eess.SP
Tune-In: Training Under Negative Environments with Interference for Attention Networks Simulating Cocktail Party Effect
Tencent AI Lab（腾讯人工智能实验室）
我们研究了鸡尾酒会问题，并提出了一种新的注意力网络称为调谐，缩写为负干扰环境下的训练。它首先学习两个独立的空间的基础上共享的特征空间的说话人知识和语音刺激，其中一个新的块结构被设计为所有空间的构建块，然后合作解决不同的任务。在这两个空间之间，信息通过一种新颖的交叉和双重注意机制相互投射，模仿人类鸡尾酒会效应的自下而上和自上而下的过程。事实证明，通过我们的自我监督训练，在严重干扰的条件下，可以学习到基本上有区别的和可推广的说话人表示。实验结果验证了这一看似矛盾的现象。学习的说话人嵌入具有优越的鉴别能力比标准的说话人验证方法，同时，Tune-In实现显着更好的语音分离性能方面的SI-SNRi和SDRi一致的所有测试模式，特别是在较低的内存和计算消耗，比最先进的基准系统。
2021-03-02 cs.AI cs.LG cs.SD
Lightweight Dual-channel Target Speaker Separation for Mobile Voice Communication
Duke Kunshan University（昆山杜克大学）；Xiaomi（小米）
目前，在移动设备上部署目标说话人分离（TSS）模型的需求非常强烈，但模型大小和计算复杂性有限。为了更好地进行移动语音通信的TSS，我们首先基于一个特定的场景LibriPhone制作了一个双通道数据集。具体来说，为了更好地模拟真实情况，LibriPhone不是从单通道数据集进行模拟，而是通过两个专业的人造头同时重放LibriSpeech中的成对话语，并通过手机的两个内置麦克风进行记录。然后，我们提出了一个轻量级的时频域分离模型，LSTM-Former，它是基于LSTM框架的源噪声比（SI-SNR）损失。对于Libri-Phone上的实验，我们通过Libri-Phone的随机单通道来探索双通道LSTMFormer模型和单通道版本。实验结果表明，双通道LSTM-Former的性能优于单通道LSTMFormer，相对提高了25%。该工作为移动设备上的TSS任务提供了一种可行的解决方案，在实际应用场景中回放和记录多个数据源，获取双通道真实数据，可以辅助轻量级模型实现更高的性能。
2021-06-05 cs.SD eess.AS
Training Dynamics-Aware Multi-Factor Curriculum Learning for Target Speaker Extraction
National Institute of Informatics, Tokyo, Japan（日本信息研究院）；Sokendai, Kanagawa, Japan（神田（神奈川，日本））；Division of Natural and Applied Sciences, Duke Kunshan University, Kunshan, China（杜克昆山大学自然科学与应用科学系）
本文提出一种多因素课程学习策略和可视化框架TSE-Datamap，通过分析训练动态优化目标说话人提取的课程设计，提升多说话人场景下的提取性能。
2026-03-05 cs.SD
Multi-accent Speech Separation with One Shot Learning
National Taiwan University（国立台湾大学）
语音分离是近年来语音处理领域研究的热点问题。然而，还没有太多的工作研究多口音语音分离的情况。未知说话人的新口音和噪声引起的域失配问题，不能很容易地解决传统的联合训练方法。因此，我们应用MAML和FOMAML来解决这个问题，并在几乎所有看不见的口音上获得了比联合训练更高的平均Si-SNRi值。这证明了这两种方法确实有能力生成经过良好训练的参数，以适应新说话人和口音的语音混合。此外，我们发现，FOMAML获得类似的性能相比，MAML，同时节省了大量的时间。
2021-08-05 cs.SD eess.AS
Noise-Aware Speech Separation with Contrastive Learning
Peking University（北京大学）；Nanyang Technological University（南洋理工大学）；Georgia Institute of Technology（佐治亚理工学院）
提出噪声感知语音分离方法NASS，通过将背景噪声作为额外输出并引入块级对比学习抑制噪声信息，在WHAM!和LibriMix数据集上比DPRNN和Sepformer提升1至2dB SI-SNRi或SDRi，且参数增加不到0.1M。
2024-01-08 cs.SD eess.AS
MeMo: Attentional Momentum for Real-Time Audio-Visual Target Speaker Extraction Under Impaired Visual Conditions
Department of Electrical and Electronic Engineering, Faculty of Engineering, The Hong Kong Polytechnic University（电子工程系，工程学院，香港理工大学）；Department of Systems Engineering and Engineering Management, The Chinese University of Hong Kong（系统工程与工程管理系，香港中文大学）；School of Artificial Intelligence (SAI), The Chinese University of Hong Kong, Shenzhen（人工智能学院（SAI），香港中文大学深圳校区）；School of Intelligence Science and Technology, Nanjing University（智能科学与技术学院，南京大学）；Tongyi Lab, Alibaba Group, Singapore（通义实验室，阿里巴巴集团，新加坡）
提出MeMo框架，通过两个自适应记忆库存储注意力信息，在视觉线索缺失时维持注意力动量，实现实时目标说话人提取，SI-SNR提升至少2dB。
2026-08-25 cs.MM cs.SD
Unifying Speech Enhancement and Separation with Gradient Modulation for End-to-End Noise-Robust Speech Separation
Nanyang Technological University（南洋理工大学）；Hunan University（湖南大学）
近年来，基于神经网络的单声道语音分离研究取得了令人瞩目的成功，这得益于长序列建模能力的提高。然而，当置于现实的噪声条件下时，它们会显着降低，因为背景噪声可能被误认为是说话人的语音，从而干扰分离的源。为了缓解这个问题，我们提出了一种新的网络，统一语音增强和分离与梯度调制，以提高噪声鲁棒性。具体来说，我们首先建立一个统一的网络，结合语音增强（SE）和分离模块，多任务学习优化，其中SE是监督并行清洁混合，以减少下游语音分离的噪声。此外，为了避免抑制有效的说话人信息时，降低噪声，我们提出了一种梯度调制（GM）策略，以协调SE和SS任务从优化的角度。实验结果表明，我们的方法在大规模Libri 2 Mix和Libri 3 Mix噪声数据集上达到了最先进的水平，SI-SNRi结果分别为16.0 dB和15.8 dB。我们的代码可以在GitHub上找到。
2023-02-22 cs.LG cs.SD eess.AS
STCTS: Generative Semantic Compression for Ultra-Low Bitrate Speech via Explicit Text-Prosody-Timbre Decomposition
Fudan University（复旦大学）；Tsinghua University（清华大学）
STCTS通过显式分解语音为语言内容、语调和音色，实现80bps下的高质量超低比特率语音压缩，兼顾效率与质量。
2025-12-03 cs.MM cs.SD
LocSelect: Target Speaker Localization with an Auditory Selective Hearing Mechanism
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出一种基于听觉选择性机制的目标说话人定位算法LocSelect，通过生成说话人依赖的频谱图掩码消除干扰并利用LSTM提取目标位置，在低信噪比下显著提升了定位精度。
2023-10-17 cs.AI cs.SD eess.AS
VM-ARRAYDPS: Virtual Microphone Augmented Diffusion Posterior Sampling for Unsupervised Blind Speech Separation
Southern University of Science and Technology（南方科技大学）
针对麦克风数量限制ArrayDPS性能的问题，提出VM-ArrayDPS，通过添加高信噪比虚拟麦克风提供额外多通道一致性约束，显著提升2/3说话人盲语音分离性能。
2026-10-08 cs.LG cs.MM cs.SD
LA-VocE: Low-SNR Audio-visual Speech Enhancement using Neural Vocoders
Imperial College London（帝国理工学院）；Meta Reality Labs Research（Meta现实实验室）；Meta
视听语音增强的目的是从噪声环境中提取干净的语音，不仅利用音频本身，而且还利用目标说话人的嘴唇运动。这种方法已被证明是产生改进的音频语音增强，特别是对于干扰语音的去除。尽管最近在语音合成方面取得了进展，但大多数视听方法继续使用频谱映射/掩蔽来再现干净的音频，通常导致视觉骨干被添加到现有的语音增强架构中。在这项工作中，我们提出了LA-VocE，一种新的两阶段方法，通过基于变换器的架构从嘈杂的视听语音中预测梅尔频谱图，然后使用神经声码器（HiFi-GAN）将其转换为波形音频。我们对数千名说话者和11种以上不同的语言进行了训练和评估，并研究了我们的模型适应不同水平背景噪声和语音干扰的能力。我们的实验表明，LA-VocE优于现有的方法，根据多个指标，特别是在非常嘈杂的情况下。
2023-03-13 cs.CV cs.LG cs.SD
Ranking the Impact of Contextual Specialization in Neural Speech Enhancement
该研究探究不同规模神经语音增强系统的上下文专业化效果，发现面向说话人身份的专业化增益最高，小尺寸专用模型性能可媲美大10倍的通用模型，适用于资源受限场景。
2026-07-07 cs.SD eess.AS
Speak Like a Professional: Increasing Speech Intelligibility by Mimicking Professional Announcer Voice with Voice Conversion
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）；Waseda University（早稻田大学）
在大多数实际应用中，广播系统必须在噪声环境中传递语音信息，而在这种环境中，背景噪声是无法消除的。本地噪声降低了语音的可懂度，增加了收听者的收听努力，从而影响了广播系统的有效性。有报道指出，在嘈杂的环境中，专业播音员的声音比非专业播音员的声音更清晰和全面。这一发现表明，语音清晰度可能与专业播音员的说话风格有关，可以通过语音转换方法进行调整。基于这一思想，本文提出了一种在噪声环境下对非专业人员语音进行语音转换的方法来增强语音的可懂度。我们发现专业播音员和非专业播音员在说话人嵌入平面上被分成不同的簇。这意味着语音可懂度可以作为说话人个性的独立特征来控制。为了检验转换语音在噪声环境中的优势，我们在不同信噪比水平下使用粉红噪声掩蔽的测试词进行实验。客观和主观评价结果证实，在低信噪比条件下，转换语音的语音可懂度高于原始语音。
2022-06-27 cs.SD eess.AS
VoiceLens: Controllable Speaker Generation and Editing with Flow
Bytedance（字节跳动）；Advanced Computing East China Sub-Center（华东先进计算分中心）
本文提出基于 flow 的半监督 VoiceLens，通过将说话人嵌入解耦为独立属性与残差信息，实现多条件新声音生成、已知声音属性编辑及带噪语音降噪。
2023-09-25 cs.SD eess.AS
When Fine-Tuning Fails and when it Generalises: Role of Data Diversity and Mixed Training in LLM-based TTS
Sprinklr AI
本文研究了LoRA微调在语音克隆任务中的有效性，发现其在语音质量和信噪比提升方面优于基模型，尤其在数据多样性支持下表现更佳。
2026-03-11 cs.AI cs.ET cs.SD
RTF-steered binaural MVDR beamforming incorporating multiple external microphones
University of Oldenburg（奥尔登堡大学）
双耳最小方差无失真响应（BMVDR）波束形成器是一种众所周知的降噪算法，可以使用所需语音源的相对传递函数（RTF）向量来控制。利用与头戴式麦克风空间分离的外部麦克风的可用性，最近已经提出了一种有效的方法来估计扩散噪声场中的RTF向量。当多个外部麦克风可用时，可以通过针对每个外部麦克风使用该方法来获得不同的RTF向量估计。在本文中，我们提出了几个程序来结合这些RTF矢量估计，无论是通过选择对应于最高输入SNR的估计，通过平均的估计或通过结合的估计，以最大限度地提高输出SNR的BMVDR波束形成器。在混响环境中的移动扬声器和扩散噪声的实验结果表明，输出SNR最大化组合产生最大的双耳SNR改善，也优于最先进的协方差白化方法。
2019-08-13 cs.SD eess.AS
Quantized Approximate Signal Processing (QASP): Towards Homomorphic Encryption for audio
Tu Duyen Nguyen；Adrien Lesage；Clotilde Cantini；Rachid Riad
本文提出 QASP 安全流水线，结合 FHE、量化神经网络与近似 STFT，实现音频时频表示、描述符及 CNN 分类的加密计算，并在 VocalSet 和 OxVoc 上验证其隐私性与性能。
2025-05-15 cs.CR cs.SD eess.AS
Streaming Noise Context Aware Enhancement For Automatic Speech Recognition in Multi-Talker Environments
Amazon（亚马逊）；Google（谷歌）
智能扬声器最具挑战性的场景之一是多说话者，当来自所需说话者的目标语音与来自一个或多个说话者的干扰语音混合时。智能助理需要确定识别哪些语音，忽略哪些语音，并且需要以流媒体，低延迟的方式进行。本文提出了两种针对这种情况的多麦克风语音增强算法。针对设备上的用例，我们假设算法可以访问热词之前的信号，这被称为噪声上下文。首先是上下文感知波束形成器，它使用噪声上下文和检测到的热词来确定如何瞄准所需的扬声器。第二种是称为Speech Cleaner的自适应噪声消除算法，该算法使用噪声上下文来训练滤波器。结果表明，这两种算法是互补的信号噪声比的条件下，他们工作得很好。我们还提出了一种算法来选择使用哪一个估计的SNR的基础上。当使用3个麦克风通道时，最终系统在-12dB和12 dB处分别实现了55%和43%的相对字错误率降低。
2022-05-17 cs.SD eess.AS
A Comparative Evaluation of Deep Learning Models for Speech Enhancement in Real-World Noisy Environments
ECE, Clarkson University（电气与计算机工程系，克劳斯顿大学）
本研究比较了三种深度学习模型在真实世界嘈杂环境中的语音增强性能，发现CMGAN在感知质量上表现最佳，U-Net在噪声抑制方面表现突出，Wave-U-Net则在平衡各项指标上表现优异。
2026-01-21 cs.LG cs.SD eess.AS
Cleanformer: A multichannel array configuration-invariant neural enhancement frontend for ASR in smart speakers
Google LLC（谷歌有限责任公司）
本研究提出适配不同麦克风阵列、无需重训的流式多通道ASR神经增强前端Cleanformer，基于conformer架构与自注意力生成时频掩码，在-6dB信噪比下相对WER降低约80%，性能优于理想导向波束形成方法。
2023-05-03 cs.SD eess.AS
Spoofing Detection Goes Noisy: An Analysis of Synthetic Speech Detection in the Presence of Additive Noise
University of Eastern Finland（东芬兰大学）；Bursa Technical University（布尔萨技术大学）
自动说话人验证（ASV）技术最近正在为最终用户应用程序找到方法，以安全访问个人数据，智能服务或物理设施。与其他生物识别技术类似，说话人验证容易受到欺骗攻击，攻击者通过模仿，重放，文本到语音（TTS）或语音转换（VC）技术伪装成特定的目标说话人，以获得对系统的非法访问。我们专注于TTS和VC，它们代表了最灵活的高端欺骗攻击。大多数关于合成或转换语音检测的先前研究使用高质量的干净录音报告他们的发现。同时，欺骗检测器在存在加性噪声的情况下的性能，实际ASV实现中的重要考虑因素，在很大程度上仍然未知。为此，我们分析了最先进的合成语音检测器在加性噪声下的适用性，特别关注前端特征。我们的比较包括八个声学特征集，五个相关的频谱幅度和三个频谱相位信息。我们对ASVSpoof 2015语料库的广泛实验揭示了几个重要的发现。首先，所有对策即使在相对高的信噪比（SNR）下也失效，并且不能推广到噪声条件。其次，语音增强没有帮助。第三，GMM后端通常优于更复杂的i-vector后端。第四，就所比较的特征而言，Mel频率倒谱系数（MFCC）和子带谱质心幅度系数（SCMCs）的平均性能最好，尽管优胜者方法取决于SNR和噪声类型。最后，两个分数融合策略的研究表明，结合不同的特征为基础的系统，提高了识别精度的已知和未知的攻击在干净和嘈杂的条件。
2016-09-14 cs.SD
A Data-Driven Investigation of Noise-Adaptive Utterance Generation with Linguistic Modification
Saarland University（萨尔大学）
在嘈杂的环境中，人类很难理解语音。口语对话系统可以通过修改语音合成（例如，模仿伦巴第语）或通过优化语言生成。我们在这里专注于第二种类型的方法，通过这种方法，在特定的嘈杂环境中更容易理解的单词实现了预期的信息。通过进行语音感知实验，我们创建了一个数据集的900个释义在嘈杂的噪音，认为母语为英语的听力正常。我们发现，仔细选择的释义可以提高33%的SNR-5 dB的可懂度。我们的数据分析表明，释义之间的可懂度差异主要是由噪声鲁棒的声学线索。此外，我们提出了一个可懂度感知的释义排序模型，它优于基线模型，在SNR-5 dB的相对改善31.37%。
2022-10-19 cs.CL cs.SD eess.AS
Unsupervised Low Latency Speech Enhancement with RT-GCC-NMF
University of Sherbrooke（舍布鲁克大学）；Graz University of Technology（格拉茨工业大学）
在本文中，我们提出了RT-GCC-NMF：一个实时（RT），双通道盲语音增强算法，结合了非负矩阵分解（NMF）的字典学习算法与广义互相关（GCC）的空间定位方法。使用预先学习的通用NMF字典，RT-GCC-NMF以逐帧的方式通过基于其估计的到达时间延迟（TDOA）将各个字典原子与目标语音或背景干扰相关联来操作。我们评估RT-GCC-NMF对来自信号分离和评估活动（SiSEC）的语音和真实世界噪声的双通道混合物。我们证明了这种方法可以从很少的训练数据中推广到新的扬声器，声学环境和录音设置，并且在音频源分离（PEASS）分数的整体感知评估方法方面优于SiSEC挑战中的所有算法，并且与理想的二进制掩码基线相比。在很宽的输入信噪比范围内，我们表明，这种方法同时提高了PEASS和信噪比（SNR）为基础的盲源分离（BSS）评价客观质量指标，以及短期客观可懂度（STOI）和扩展的STOI（ESTOI）客观语音可懂度指标。NMF激活系数空间中的灵活的软掩蔽函数提供了对干扰抑制和目标扬声器保真度之间的权衡的实时控制。最后，我们使用非对称短时傅里叶变换（STFT）将RT-GCC-NMF的固有算法延迟从64 ms减少到2 ms，而不会损失性能。我们证明，在目前的硬件平台上，助听器的可容忍范围内的延迟是可能的。
2019-04-05 cs.SD eess.AS
WhisperVC-AV: Audio-Visual Content Restoration for Noise-Robust Whisper-to-Normal Voice Conversion
Duke Kunshan University（昆山杜克大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Wuhan University（武汉大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对噪声下耳语转正常语音内容线索丢失问题，提出WhisperVC-AV，通过融合时间声学与唇部特征恢复内容，在多个ASR系统及噪声条件下显著降低CER，并保持说话人相似性。
2026-09-29 cs.SD eess.AS
DAIEN-TTS: Disentangled Audio Infilling for Environment-Aware Text-to-Speech Synthesis
National Engineering Research Center of Speech and Language Information Processing（语音与语言信息处理国家工程研究中心）
DAIEN-TTS通过解耦音频填充技术实现环境感知的文本到语音合成，支持独立控制语音音色和环境背景，提升合成语音的自然度和环境保真度。
2026-01-19 cs.SD eess.AS
rVAD: An Unsupervised Segment-Based Robust Voice Activity Detection Method
Aalborg University（奥尔堡大学）；Massachusetts Institute of Technology（麻省理工学院）；VIT-AP University（VIT-AP大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出了一种无监督的基于段的鲁棒语音活动检测（rVAD）方法。该方法包括两个通道的去噪，然后是语音活动检测（VAD）阶段。在第一遍中，通过使用后验信噪比（SNR）加权能量差来检测语音信号中的高能量段，并且如果在段内没有检测到音调，则该段被认为是高能量噪声段并且被设置为零。在第二遍中，语音信号通过语音增强方法去噪，为此探索了几种方法。接下来，具有音高的相邻帧被分组在一起以形成音高段，并且基于语音统计，音高段从两端进一步扩展，以便包括有声和无声声音以及可能的非语音部分。最后，将后验SNR加权能量差应用于去噪后的语音信号的扩展基音段以检测语音活动。我们使用两个数据库，RATS和Aurora-2，其中包含各种各样的噪声条件下，所提出的方法的VAD性能进行评估。在RedDots 2016挑战数据库及其噪声破坏版本上，进一步评估了rVAD方法的说话人验证性能。实验结果表明，rVAD是优于现有的方法。此外，我们提出了一个修改后的版本的rVAD计算密集的音高提取取代计算高效的频谱平坦度计算。修改后的版本显著降低了计算复杂性，但代价是VAD性能稍差，这在处理大量数据和在低资源设备上运行时是一个优势。rVAD的源代码是公开的。
2022-01-11 cs.CL cs.LG cs.SD
Improving Audio Anomalies Recognition Using Temporal Convolutional Attention Network
University of Sheffield（谢菲尔德大学）
语音记录中的异常音频通常是由说话者语音失真、外部噪声甚至电干扰引起的。这些障碍在某些领域已经成为一个严重的问题，例如高质量的音乐混合和语音处理。在本文中，一种新的方法，使用时间卷积注意力网络（TCAN），提出了解决这个问题。时间常规网络（TCN）的使用可以使用时间卷积滤波器的层次结构来捕获长范围模式。为了增强在不同声学条件下处理音频异常的能力，TCN中使用了注意机制，其中在每个时间卷积层之后添加了自注意块。该方法的目的是突出目标的相关特征，减少无关信息的干扰。为了评估所提出的模型的性能，从TIMIT数据集收集音频记录，然后通过添加五种不同类型的音频失真来改变：高斯噪声，幅度漂移，随机丢失，时间分辨率降低和时间扭曲。失真在不同信噪比（SNR）（5dB、10dB、15dB、20dB、25dB、30dB）下混合。实验结果表明，使用所提出的模型可以产生更好的分类性能比一些强基线方法，如LSTM和TCN的模型，约3 $\sim$ 10\%的相对改善。
2021-02-09 cs.SD eess.AS
Can we steal your vocal identity from the Internet?: Initial investigation of cloning Obama's voice using GAN, WaveNet and low-quality found data
National Institute of Informatics（国立信息学研究所）；University of Edinburgh（爱丁堡大学）；University of Eastern Finland（东芬兰大学）
由于欺骗数据库的可用性不断增加，以及使用这些数据库的快速发展，用于检测语音欺骗攻击的系统变得越来越强大，ASVspoof2015数据库的错误率接近于零。然而，ASVspoof2015数据库中没有考虑的语音合成和语音转换范例正在出现。这样的例子包括直接波形建模和生成对抗网络。我们还需要研究仅使用低质量发现数据训练欺骗系统的可行性。为此，我们开发了一个基于生成对抗网络的语音增强系统，该系统可以提高公开来源中语音数据的质量。使用增强的数据，我们训练了最先进的文本到语音和语音转换模型，并在感知语音质量和说话人相似性方面对其进行了评估。结果表明，增强模型显着提高了SNR的低质量退化的数据中发现的公开来源，他们显着提高了源语音的感知清洁度，而不会显着降低语音的自然度。然而，当用低质量的发现数据生成语音时，结果也显示出局限性。
2018-03-02 cs.CL cs.SD eess.AS
Assessing the Generalization Gap of Learning-Based Speech Enhancement Systems in Noisy and Reverberant Environments
本研究提出一种基于测试条件参考模型的泛化评估框架，定义泛化差距指标以分离任务难度与数据新异性影响，评估发现语音不匹配对模型性能影响最大，新模型在不匹配条件下性能可能不及FFNN。
2023-11-08 cs.LG cs.SD eess.AS
Semi-Supervised Sound Source Localization Based on Manifold Regularization
Bar-Ilan University（巴伊兰大学）；The Technion-Israel Institute of Technology（以色列理工学院）
传统的扬声器定位算法仅基于接收到的麦克风信号，通常对不利条件敏感，例如：高混响或低信噪比（SNR）。在一些场景中，例如在会议室或汽车中，可以假设源位置被限制在预定义区域，并且环境的声学参数近似固定。这样的场景引起来自感兴趣区域的声学样本具有不同几何结构的假设。在本文中，我们证明了高维声学样本确实位于一个低维流形上，并可以嵌入到一个低维空间。基于这一结果，我们提出了一种半监督源定位算法，该算法恢复了声学样本与其相应位置之间的逆映射。我们的想法是使用基于流形正则化的优化框架，其中涉及相对于流形的可能的解决方案的平滑约束。所提出的算法，称为流形正则化定位（MRL），实现自适应的方式。初始化仅用几个标记的样本与它们各自的源位置连接来进行，然后随着接收到新的未标记的样本（具有未知源位置），系统逐渐适应。实验结果表明，优越的定位性能相比，最近提出的算法的基础上的流形学习方法和广义互相关（GCC）算法作为基线。
2015-08-13 cs.SD
A Unified Denoising and Adaptation Framework for Self-Supervised Bengali Dialectal ASR
Daffodil International University（达福迪尔国际大学）
针对孟加拉语ASR受方言多样性与环境噪声制约的问题，提出基于WavLM的统一去噪自适应框架，通过多阶段微调与数据增强提升噪声鲁棒性，在多方言多噪声基准上超越wav2vec 2.0、Whisper等基线，达新SOTA并为同类低资源语言提供方案参考。
2025-08-31 cs.SD eess.AS
