Whispered-to-voiced Alaryngeal Speech Conversion with Generative Adversarial Networks
1 Universitat Polit\`ecnica de Catalunya, Barcelona, Spain 2 Telef\'onica Research, Barcelona, Spain 3 Universidad de M\'alaga, M\'alaga, Spain
大多数用于失音症患者的声音恢复方法要么产生低声讲话，要么产生单调讲话。除了可理解性之外，这种类型的语音由于缺乏音高（耳语语音）或人工生成音高（单调语音）而缺乏表现力和自然性。用于恢复韵律信息的现有技术通常将参数化语音信号的声码器与预测韵律信息的机器学习技术组合。相反，本文描述了一种端到端的神经方法，用于从低声的喉音语音中估计全浊音语音波形。通过调整我们以前的工作在语音增强与生成对抗网络，我们开发了一个说话人相关的模型来执行耳语到有声语音转换。初步的定性结果表明，在重新生成有声语音的有效性，与现实的音高轮廓的创建。
2018-11-05 cs.LG cs.SD eess.AS
Characterizing the adversarial vulnerability of speech self-supervised learning
Centre for Perceptual and Interactive Intelligence（感知与交互智能中心）；The Chinese University of Hong Kong（香港中文大学）
一个名为Speech processing Universal Permeable Benchmark（SUPERB）的排行榜，其目的是以最小的架构修改和少量的数据来对跨各种下游语音任务的共享自监督学习（SSL）语音模型的性能进行基准测试，推动了语音表示学习的研究。SUPERB演示了语音SSL上游模型通过最小的调整提高了各种下游任务的性能。随着自监督学习的上游模型和下游任务的研究受到越来越多的关注，表征这种模型的对抗鲁棒性具有重要意义。在本文中，我们第一次尝试研究这种模式下的攻击脆弱性的零知识的对手和有限知识的对手。实验结果表明，SUPERB提出的攻击范式对有限知识攻击者具有严重的脆弱性，零知识攻击者产生的攻击具有可转移性。XAB测试验证了精心制作的对抗攻击的不可感知性。
2022-03-29 cs.LG cs.SD eess.AS
Towards Robust Speech-to-Text Adversarial Attack
本文介绍了一种新的对抗算法，用于攻击最先进的语音到文本系统，即DeepSpeech，Kaldi和Lingvo。我们的方法是基于开发一个扩展的传统的失真条件的对抗性优化配方使用Cramèr积分概率度量。最小化这个度量，它测量原始样本和对抗样本分布之间的差异，有助于制作非常接近合法语音记录子空间的信号。这有助于产生针对空中回放的更鲁棒的对抗信号，而不采用对变换操作的昂贵期望或静态房间脉冲响应模拟。我们的方法优于其他有针对性的和非有针对性的算法在字出错率和匹配级别的准确性与竞争力的性能上制作的对抗信号的质量。与其他七种强大的白盒和黑盒对抗攻击相比，我们提出的方法对多个连续的空中回放具有更强的弹性，证实了其在嘈杂环境中的更高鲁棒性。
2021-03-15 cs.LG cs.SD eess.AS
RSD-GAN: Regularized Sobolev Defense GAN Against Speech-to-Text Adversarial Attacks
Fédération des Caisses Desjardins du Québec（魁北克德雅尔丹储蓄信贷联盟）
本文介绍了一种新的基于合成的防御算法，用于对抗各种对抗攻击，这些攻击是为了挑战尖端的语音到文本转录系统的性能而开发的。我们的算法实现了一个基于Sobolev的GAN，并提出了一种新的正则化器，用于有效地控制整个生成模型的功能，特别是在训练过程中的神经网络。我们在受害者DeepSpeech、Kaldi和Lingvo语音转录系统上进行了大量实验，取得的结果证实了我们的防御方法在针对性和非针对性对抗攻击方面的卓越性能。
2022-09-24 cs.LG cs.SD eess.AS
Comparative Study on Noise-Augmented Training and its Effect on Adversarial Robustness in ASR Systems
Technical University Munich（慕尼黑技术大学）；Faculty of Computer Science, Ruhr University Bochum（博德姆鲁尔大学计算机科学系）
本文比较了四种ASR架构在三种数据增强条件下的对抗鲁棒性，发现噪声增强训练在提升含噪语音性能的同时，也能增强模型对白盒和黑盒对抗攻击的鲁棒性。
2025-11-07 cs.LG cs.SD eess.AS
A Comparative Study on End-to-end Speech to Text Translation
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
深度学习的最新进展表明，端到端语音到文本翻译模型是指导语音翻译领域的一种有前途的方法。在这项工作中，我们提供了一个不同的端到端架构的概述，以及使用一个辅助连接主义的时间分类（CTC）损失更好的收敛。我们还研究了预训练变体，例如使用预训练模型初始化模型的不同组件，以及它们对最终性能的影响，这使得BLEU和TER分别提高了4%和5%。我们的实验是在270小时的IWTED-talks En->De和100小时的LibriSpeech Audiobooks En-> Fr上进行的。我们还展示了在这两项任务上比当前端到端的最先进系统的改进。
2019-11-20 cs.CL cs.LG eess.AS
Long-Context Modeling Networks for Monaural Speech Enhancement: A Comparative Study
本文在统一框架下比较Transformer、Conformer、Mamba和xLSTM在单声道语音增强中的表现，发现xLSTM与Mamba性能更优，Mamba效率最高，xLSTM速度最慢。
2025-07-06 eess.AS
Comparative Study of Speech Analysis Methods to Predict Parkinson's Disease
Carnegie Mellon University Africa（卡内基梅隆大学非洲分校）；Carnegie Mellon University（卡内基梅隆大学）；INSOFE（国际工程与科学教育研究所）
帕金森氏病（PD）的早期症状之一是语言障碍。语言障碍可以用来在这种疾病恶化之前发现它。这项工作分析了语音特征和机器学习方法来预测PD。声学特征，如闪烁和抖动变量，梅尔频率倒谱系数（MFCC）从语音信号中提取。在这项工作中，我们使用两个数据集：MDVR-KCL和意大利帕金森氏语音和语音数据库。为了分离PD和非PD语音信号，实现了七种分类模型：K-最近邻，决策树，支持向量机，朴素贝叶斯，逻辑回归，梯度提升，随机森林。每个模型使用三个特征集：（a）仅声学特征，（b）所有声学特征和MFCC，（c）从声学特征和MFCC中选择的特征子集。使用所有的声学特征和MFCC，与SVM一起产生了最高的性能，准确率为98%，F1分数为99%。当与现有技术相比时，这显示出更好的性能。我们的代码和相关文档可在公共域存储库中获得。
2021-11-15 cs.LG eess.AS q-bio.QM
Towards Generalized Speech Enhancement with Generative Adversarial Networks
Amazon Research（亚马逊研究院）
语音增强的任务通常包括去除加性噪声或混响，这些噪声或混响部分掩盖了口语，影响了它们的可懂度。然而，很少有人注意到其他的，也许更积极的信号失真，如削波，块消除，或频带去除。这种失真不仅对可懂度，而且对自然度甚至说话人身份都有很大的影响，并且需要仔细的信号重建。在这项工作中，我们充分考虑了这种广义的语音增强任务，并表明它可以用时域生成对抗网络（GAN）来解决。特别是，我们扩展了以前的基于GAN的语音增强系统，以处理四种类型的侵略性失真的混合物。首先，我们提出了一个对抗性的声学回归损失，促进了更丰富的特征提取的边缘。其次，我们还使用了两步对抗训练计划，作为热身和微调序列。客观和主观评价表明，这两个增加带来了改进的语音重建，更好地匹配原始扬声器的身份和自然。
2019-04-06 cs.LG cs.SD eess.AS
Time-domain Speech Enhancement with Generative Adversarial Learning
Harbin Engineering University（哈尔滨工程大学）；ByteDance（字节跳动）；University of Surrey（萨里大学）
语音增强的目的是从含噪语音中获得高清晰度和高质量的语音信号。最近的工作已经证明了时域深度学习方法（如Conv-TasNet）的出色性能。然而，这些方法可以退化的任意尺度的波形引起的尺度不变的信噪比（SI-SNR）的损失。本文提出了一种新的时域语音增强生成对抗网络（TSE GAN）框架，它是生成对抗网络（GAN）在时域上的扩展，具有度量评估功能，以减轻缩放问题，并提供模型训练稳定性，从而实现性能改进。此外，本文还提出了一种基于目标函数映射的度量GAN性能理论分析方法，并解释了其优于Wasserstein GAN的原因。实验结果表明了该方法的有效性，说明了度量GAN的优越性.
2021-09-19 cs.LG cs.SD eess.AS
CycleGAN with Dual Adversarial Loss for Bone-Conducted Speech Enhancement
Key Laboratory of Intelligent Computing and Signal Processing of Ministry of Education, Anhui University（安徽大学智能计算与信号处理教育部重点实验室）
骨导语音与气导语音相比，具有屏蔽背景噪声的独特优势。增强骨导语音有助于提高其质量和可懂度。本文提出了一种新的具有双重对抗损失的CycleGAN（CycleGAN-DAL）用于骨导语音增强。该方法同时使用对抗性损失和循环一致性损失来学习前向和循环映射，其中对抗性损失被替换为分类对抗性损失和缺陷对抗性损失以巩固前向映射。与传统的基线方法相比，它可以学习骨导语音和目标语音之间的特征映射，而无需额外的空气传导语音辅助。此外，所提出的方法还避免了通常发生在传统的统计模型的过光滑问题。实验结果表明，该方法优于基线方法，如CycleGAN，GMM和BLSTM。关键词：骨导语音增强，双对抗损失，并行CycleGAN，高频语音重建
2021-11-02 cs.SD eess.AS
Adversarial Attacks and Robust Defenses in Speaker Embedding based Zero-Shot Text-to-Speech System
针对基于说话人嵌入的零样本 TTS 易受音频对抗扰动攻击的问题，本文比较对抗训练与基于扩散概率模型的对抗净化，证明二者可显著降低攻击影响并提升系统安全性。
2025-10-05 eess.AS
HiFi-GAN: High-Fidelity Denoising and Dereverberation Based on Speech Deep Features in Adversarial Networks
Princeton University（普林斯顿大学）；Adobe Research（奥多比研究院）
真实世界的音频记录通常会受到噪声、混响和均衡失真等因素的影响。本文介绍了HiFi-GAN，这是一种深度学习方法，可以将录制的语音转换为声音，就像在录音室录制的一样。我们使用端到端前馈WaveNet架构，在时域和时频域中使用多尺度对抗鉴别器进行训练。它依赖于鉴别器的深度特征匹配损失来提高增强语音的感知质量。所提出的模型推广以及新的扬声器，新的语音内容，和新的环境。在客观和主观实验中，它显着优于最先进的基线方法。
2020-09-21 cs.LG cs.SD eess.AS
Investigation of Densely Connected Convolutional Networks with Domain Adversarial Learning for Noise Robust Speech Recognition
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
我们研究了密集连接的卷积网络（DenseNets）及其扩展与域对抗训练的噪声鲁棒性语音识别。DenseNets是非常深入，紧凑的卷积神经网络，它在计算机视觉的最新成果上表现出令人难以置信的改进。我们的实验结果表明，DenseNets比其他基于神经网络的模型（如深度前馈神经网络和卷积神经网络）对噪声更具鲁棒性。此外，域对抗学习可以进一步提高DenseNets对已知和未知噪声条件的鲁棒性。
2021-12-19 cs.CL cs.LG eess.AS
Adversarial Feature Learning and Unsupervised Clustering based Speech Synthesis for Found Data with Acoustic and Textual Noise
Northwestern Polytechnical University（西北工业大学）；Bytedance AI Lab（字节跳动人工智能实验室）
基于注意力的序列到序列（seq2seq）语音合成已经取得了非凡的性能。但是，一个工作室质量的语料库与手工转录是必要的训练这样的seq2seq系统。在本文中，我们提出了一种方法来建立高质量和稳定的seq2seq为基础的语音合成系统使用具有挑战性的发现数据，其中训练语音包含噪声干扰（声学噪声）和文本是不完善的语音识别成绩单（文本噪声）。为了处理文本端的噪声，我们提出了一种基于VQVAE的探试法，用直接从语音中学习到的语音信息来补偿错误的语言特征。对于语音侧噪声，我们提出通过对抗训练和数据增强在自回归解码器中学习与噪声无关的特征，这不需要额外的语音增强模型。实验结果表明，该方法在处理文本和语音噪声方面是有效的。超越了基于最先进的语音增强模型的去噪方法，我们的系统建立在嘈杂的发现数据可以合成干净和高质量的语音与MOS接近的系统建立在干净的对应。
2020-04-28 cs.LG cs.SD eess.AS
Unpaired Speech Enhancement by Acoustic and Adversarial Supervision for Speech Recognition
KAIST（韩国科学技术院）；Mokwon University（木原大学）；KAIST Institute for Artificial Intelligence（韩国科学技术院人工智能研究所）
许多语音增强方法试图学习噪声和干净语音之间的关系，使用声学室模拟器获得。我们指出了几个局限性的增强方法依赖于干净的语音目标，这项工作的目标是提出一种替代学习算法，称为声学和对抗监督（AAS）。AAS使得增强的输出既最大化了预训练的声学模型上的转录的可能性，又具有干净语音的一般特征，这提高了对看不见的噪声语音的泛化。我们采用连接主义的时间分类和不成对的条件边界平衡生成对抗网络作为AAS的损失函数。AAS在两个数据集上进行了测试，包括加性噪声没有混响和混响，Librispeech + DEMAND和CHiME-4。通过可视化不同损失组合的增强语音，我们展示了每个监督的作用。AAS实现了较低的字出错率比其他国家的最先进的方法使用干净的语音目标在两个数据集。
2018-11-06 cs.CL cs.LG cs.SD
Adversarial Example Detection by Classification for Deep Speech Recognition
Aalborg University（奥尔堡大学）；Xi’an Jiaotong University（西安交通大学）
机器学习系统容易受到对抗攻击的攻击，并且很可能在这些攻击下产生不正确的输出。针对攻击者对受害者学习算法的访问级别，存在白盒攻击和黑盒攻击。为了保护学习系统免受这些攻击，语音领域的现有方法集中在修改输入信号和测试语音识别器的行为上。然而，我们将防御制定为分类问题，并提出了一种系统生成对抗性示例数据集的策略：一个用于白盒攻击，一个用于黑盒攻击，包含对抗性和正常示例。白盒攻击是基于Mozilla Common Voice数据库的百度DeepSpeech上的基于梯度的方法，而黑盒攻击是基于Google Speech Command数据集的基于深度模型的关键字定位系统上的无梯度方法。生成的数据集被用来训练一个建议的卷积神经网络（CNN），连同倒谱特征，以检测敌对的例子。实验结果表明，在单条件和多条件训练环境下，该算法能够准确区分已知攻击的对抗性样本和正常样本，而对于未知攻击，该算法的性能显著下降。对抗性数据集和源代码是公开的。
2019-10-22 cs.LG eess.AS stat.ML
Enhancing the Intelligibility of Cleft Lip and Palate Speech using Cycle-consistent Adversarial Networks
唇腭裂是一种先天性的颅面畸形，可导致多种语言障碍。由于结构和功能畸形，受影响的受试者的语音清晰度显著降低，限制了语音控制设备的可访问性和可用性。为了解决这个问题，需要提高CLP语音清晰度。此外，它在语言治疗期间也很有用。在这项研究中，周期一致的对抗网络（CycleGAN）方法被用来提高CLP语音可懂度。该模型是在本地卡纳达语儿童的语音数据上训练的。所提出的方法的有效性也衡量使用自动语音识别性能。此外，进行主观评价，并且这些结果也证实了增强语音中的可懂度相对于原始语音的改善。
2021-01-30 eess.AS
MetricGAN: Generative Adversarial Networks based Black-box Metric Scores Optimization for Speech Enhancement
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
条件生成对抗网络（GAN）中的对抗性损失并不被设计为直接优化目标任务的评估度量，因此可能并不总是引导GAN中的生成器生成具有改进的度量分数的数据。为了克服这个问题，我们提出了一种新的MetricGAN方法，旨在优化生成器的一个或多个评估指标。此外，基于MetricGAN，生成数据的度量分数也可以由用户任意指定。我们在语音增强任务上测试了所提出的MetricGAN，这特别适合于验证所提出的方法，因为存在测量语音信号的不同方面的多个度量。此外，这些指标通常是复杂的，并且不能通过Lp或传统的对抗性损失来完全优化。
2019-05-13 cs.LG cs.SD eess.AS
Are Modern Speech Enhancement Systems Vulnerable to Adversarial Attacks?
Signal Processing (SP), University of Hamburg, Germany（汉堡大学信号处理系，德国）；CISPA Helmholtz Center for Information Security, Germany（德国海德堡信息安全研究中心）
研究揭示现代语音增强系统存在对抗攻击漏洞，展示对抗噪声可改变语义，同时指出扩散模型具有固有鲁棒性。
2026-01-30 cs.LG cs.SD eess.AS
Towards objective and interpretable speech disorder assessment: a comparative analysis of CNN and transformer-based models
Avignon University（阿维尼翁大学）；Aix-Marseille Univ（艾克斯-马赛大学）；Toulouse University（图卢兹大学）；Toulouse Hospital（图卢兹医院）
针对头颈癌患者病理性言语评估的主观性问题，提出基于自监督 Wav2Vec2 的音素分类模型，并通过多语料库实验证明其优于 CNN 基线且与感知评估相关，为可解释的临床言语分析提供支持。
2024-06-07 cs.LG cs.SD eess.AS
Synthetic Data Generation Techniques for Developing AI-based Speech Assessments for Parkinson's Disease (A Comparative Study)
针对帕金森病AI语音评估训练数据不足的问题，本文比较基于深度学习的合成语音数据生成技术，以提升核心机器学习分类器的准确率。
2023-12-04 cs.AI cs.LG cs.SD
Statistical Parametric Speech Synthesis Incorporating Generative Adversarial Networks
The University of Tokyo（东京大学）
提出了一种结合生成对抗网络（GANs）的统计参数语音合成方法。虽然强大的深度神经网络（DNN）技术可以应用于人工合成语音波形，但是与自然语音相比，合成语音质量较低。导致质量下降的问题之一是在生成的语音参数中经常观察到的过平滑效应。本文介绍的GAN由两个神经网络组成：一个用于区分自然样本和生成样本的鉴别器和一个用于欺骗鉴别器的生成器。在所提出的框架中，结合了GANs，训练语音识别器以区分自然和生成的语音参数，而训练声学模型以最小化传统的最小生成损失和用于欺骗语音识别器的对抗性损失的加权和。由于GANs的目标是最小化发散（即，该方法利用自然语音参数与生成语音参数之间的差异（即语音参数的分布差异），有效地消除了过平滑对生成语音参数的影响。我们评估了文本到语音和语音转换的有效性，发现所提出的方法可以产生更自然的频谱参数和$F_0$比传统的最小生成误差训练算法，无论其超参数设置。此外，我们研究了各种GANs的发散的影响，发现最小化地球移动器距离的Wasserstein GAN在提高合成语音质量方面效果最好。
2017-09-23 cs.LG cs.SD eess.AS
On the Use of Audio Fingerprinting Features for Speech Enhancement with Generative Adversarial Network
McGill University（麦吉尔大学）；Concordia University（康考迪亚大学）
语音增强中基于学习的方法的出现已经恢复了对鲁棒且可靠的训练特征的需要，所述训练特征能够在保留语音信号的重要信息的同时对语音信号进行压缩表示。时间-频率域特征，例如短期傅里叶变换（STFT）和梅尔频率倒谱系数（MFCC），在许多方法中是优选的。虽然MFCC提供了紧凑的表示，但它们忽略了每个梅尔尺度子带中的能量的动态和分布。在这项工作中，语音增强系统的生成对抗网络（GAN）的基础上实现和测试的音频指纹（AFP）的功能从MFCC和归一化频谱子带质心（NSSC）的组合。NSSC捕获语音共振峰的位置，并以关键的方式补充MFCC。在不同说话人和噪声类型的实验中，基于GAN的语音增强与所提出的AFP特征组合实现了最佳的客观性能，同时减少了内存需求和训练时间。
2020-07-27 cs.LG cs.SD eess.AS
Multi-Task Adversarial Training Algorithm for Multi-Speaker Neural Text-to-Speech
The University of Tokyo（东京大学）
提出了一种新的基于多任务对抗训练的多说话人神经文语转换（TTS）模型的训练算法。传统的基于生成对抗网络（GAN）的训练算法通过减少自然语音和合成语音之间的统计差异来显著提高合成语音的质量。然而，该算法不能保证训练的TTS模型在合成未被包括在训练数据中的不可见说话者的语音时的泛化性能。我们的算法交替训练两个深度神经网络：多任务训练和多说话者神经TTS模型（即，GANs的生成器）。训练语音识别器不仅区分自然语音和合成语音，而且验证输入语音的说话者是存在还是不存在（即，通过内插所见说话者的嵌入向量而新生成）。同时，生成器被训练为最小化语音重建损失和对抗损失的加权和，以欺骗目标说话人，即使目标说话人看不见，也能实现高质量的多说话人TTS。实验结果表明，该算法比传统的GANSpeech算法更好地提高了合成语音的质量。
2022-09-26 cs.AI cs.LG cs.SD
Isolated and Ensemble Audio Preprocessing Methods for Detecting Adversarial Examples against Automatic Speech Recognition
University of Chicago（芝加哥大学）；University of Florida（佛罗里达大学）
对抗攻击是一种利用过程，其中对自然输入进行微小的改变，导致输入被神经模型错误分类。在语音识别领域，这已经成为一个越来越重要的问题。虽然对抗攻击最初是在计算机视觉中引入的，但它们已经渗透到语音识别领域。2017年，基因攻击被证明对语音命令模型非常有效。有限词汇语音分类器，如语音命令模型，用于各种应用程序，特别是电话;因此，这种攻击产生的对抗性示例构成了重大的安全威胁。本文探讨了各种方法来检测这些敌对的例子与音频预处理的组合。一种结合了压缩、语音编码、过滤和音频平移的特定组合防御被证明对语音命令模型的攻击非常有效，检测音频对抗性示例的准确率为93.5%，召回率为91.2%。
2018-09-11 cs.CL cs.CR cs.LG
Analysis by Adversarial Synthesis -- A Novel Approach for Speech Vocoding
Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
经典的参数语音编码技术为语音信号提供了紧凑的表示。这提供了非常低的传输速率，但是具有降低的重构信号的感知质量。最近，诸如WaveNet和SampleRNN的自回归深度生成模型已经被用作语音声码器，以在不增加编码速率的情况下按比例增加重构信号的感知质量。然而，这种模型由于其逐样本建模方法而遭受非常缓慢的信号生成机制。在这项工作中，我们介绍了一种新的方法，神经语音声码生成对抗网络（GANs）的基础上。使用条件GANs作为深度生成模型，从声门激励的非常压缩的表示生成假语音信号。然后，使用原始语音信号的LPC参数对该伪语音进行细化，以获得自然的重构。基于这种方法的重建语音波形表现出更高的感知质量比经典的声码器对应物根据主观和客观评价分数为30名男性和女性发言人的数据集。此外，与自回归生成模型相比，使用GANs能够一次性生成信号。这使得GANs有希望探索实现高质量的神经声码器。
2019-07-01 cs.LG cs.SD eess.AS
Characterizing Speech Adversarial Examples Using Self-Attention U-Net Enhancement
Georgia Institute of Technology（佐治亚理工学院）；IBM Research（IBM研究院）
最近的研究强调了对抗性示例是对基于深度神经网络（DNN）的语音识别系统的普遍威胁。在这项工作中，我们提出了一个基于U-Net的注意力模型，U-Net $_{At}$，以增强对抗性语音信号。具体来说，我们通过可解释的语音识别指标来评估模型性能，并通过增强的对抗训练来讨论模型性能。我们的实验表明，在对抗性语音示例的语音增强任务中，我们提出的U-Net $_{At}$将语音质量感知评价（PESQ）从1.13提高到2.78，语音传输指数（STI）从0.65提高到0.75，短期客观可懂度（STOI）从0.83提高到0.96。我们进行实验的自动语音识别（ASR）的任务与敌对的音频攻击。我们发现（i）注意力网络学习的时间特征能够增强基于DNN的ASR模型的鲁棒性;（ii）基于DNN的ASR模型的泛化能力可以通过应用对抗性训练和添加性对抗性数据增强来增强。单词错误率（WER）的ASR度量显示，在基于梯度的扰动下，$\%$的绝对值下降了2.22 $\%$，在进化优化的扰动下，$\%$的绝对值下降了2.03 $\%$，这表明我们的对抗训练增强模型可以进一步确保弹性ASR系统。
2022-01-01 cs.CL cs.CR cs.LG
Exploring Speech Enhancement with Generative Adversarial Networks for Robust Speech Recognition
UC San Diego（加州大学圣地亚哥分校）；Google（谷歌）
我们研究了生成对抗网络（GANs）用于语音增强的有效性，在提高自动语音识别（ASR）系统的噪声鲁棒性的背景下。先前的工作表明，GANs可以有效地抑制原始波形语音信号中的加性噪声，提高感知质量指标;然而，这种技术在ASR的背景下并不合理。在这项工作中，我们进行了详细的研究，以衡量GANs在增强受加性和混响噪声污染的语音的有效性。受图像处理最新进展的启发，我们提出在log-Mel滤波器组谱而不是波形上操作GANs，这需要更少的计算，并且对混响噪声更具鲁棒性。虽然GAN增强提高了干净训练的ASR系统对噪声语音的性能，但它达不到传统多风格训练（MTR）所实现的性能。通过将GAN增强功能附加到噪声输入和再训练，我们实现了相对于MTR系统7%的WER改善。
2018-10-31 cs.LG cs.NE cs.SD
Generative Adversarial Networks for Unpaired Voice Transformation on Impaired Speech
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）
本文主要研究如何利用语音转换（VC）来提高切除部分发音器官的手术患者的语音清晰度。由于数据采集的困难，VC中没有并行数据是非常可取的。虽然已经开发了用于非并行VC的技术，例如CycleGAN，但它们通常专注于转换说话者身份，并直接将一个说话者的语音转换为另一个说话者的语音，因此不解决这里的任务。在本文中，我们提出了一种新的方法，非并行VC。该方法将受损语音转换为正常语音，同时保留语言内容和说话人特征。据我们所知，这是第一个应用于受损语音的端到端基于GAN的无监督VC模型。实验结果表明，该方法优于CycleGAN。
2019-08-22 cs.LG cs.SD eess.AS
Training Augmentation with Adversarial Examples for Robust Speech Recognition
Northwestern Polytechnical University（西北工业大学）；Mobvoi AI Lab（出门问问人工智能实验室）；University of Washington（华盛顿大学）
本文探讨了在训练语音识别系统中使用对抗性示例来提高深度神经网络声学模型的鲁棒性。在训练过程中，使用快速梯度符号法生成对抗性样本，对原始训练数据进行扩充。与传统的基于数据变换的数据增强方法不同，该方法基于当前声学模型参数动态生成样本。我们在Aurora-4和CHiME-4单通道任务的实验中评估了对抗性数据增强的影响，显示出对噪声和通道变化的鲁棒性。当将对抗性示例与教师/学生训练相结合时，获得了进一步的改进，导致Aurora-4上的相对单词出错率降低了23%。
2018-06-17 cs.CL cs.LG eess.AS
A comparative analysis between Conformer-Transducer, Whisper, and wav2vec2 for improving the child speech recognition
University of Galway（戈尔韦大学）；C3 Imaging Research Center（C3成像研究中心）
针对儿童语音识别难度高的问题，对比分析Conformer-transducer、wav2vec2和Whisper三种模型在儿童语音上的适配效果，发现wav2vec2的性能提升最稳定。
2023-11-07 cs.AI cs.CL cs.SD
Universal Adversarial Perturbations for Speech Recognition Systems
UC San Diego（加州大学圣地亚哥分校）
在这项工作中，我们证明了普遍存在的对抗性音频扰动，导致错误的转录音频信号的自动语音识别（ASR）系统。我们提出了一种算法，找到一个单一的准不可感知的扰动，当添加到任何任意的语音信号，将最有可能欺骗受害者语音识别模型。我们的实验通过为最先进的ASR系统- Mozilla DeepSpeech制作音频不可知的通用扰动来展示我们所提出的技术的应用。此外，我们还通过对基于WaveNet的ASR系统进行可转移性测试，证明了这种扰动在训练过程中不可用的模型中具有很大的普遍性。
2019-08-15 cs.LG cs.SD eess.AS
Accent Conversion in Text-To-Speech Using Multi-Level VAE and Adversarial Training
Singapore University of Technology and Design（新加坡科技设计大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出一种结合多级变分自编码器与对抗训练的TTS模型，用于实现带口音语音合成与转换，实验表明其口音转换能力优于基线。
2024-09-29 cs.LG cs.SD eess.AS
WaveCycleGAN: Synthetic-to-natural speech waveform conversion using cycle-consistent adversarial networks
NTT Communication Science Laboratories, NTT Corporation（NTT公司NTT通信科学实验室）
我们提出了一种基于学习的滤波器，它允许我们直接将合成语音波形修改为自然语音波形。使用诸如统计参数语音合成和语音转换的声码器框架的语音处理系统特别对于有限数量的数据是方便的，因为可以在紧凑的空间上表示和处理可解释的声学特征，诸如基频（F0）和梅尔倒谱。然而，导致生成的语音的质量劣化的公知问题是消除生成/转换的声学特征的一些详细结构的过平滑效应。为了解决这个问题，我们提出了一种合成到自然语音波形转换技术，该技术使用周期一致的对抗网络，并且在对抗学习中不需要对语音波形进行任何明确的假设。与目前的技术相比，由于我们的修改是在波形水平上进行的，我们预计，所提出的方法也将使它有可能产生“声码器少”发声语音，即使输入语音合成使用声码器框架。实验结果表明，我们提出的方法可以1）减轻过度平滑的声学特征，尽管直接修改的方法用于波形和2）大大提高所生成的语音的自然度。
2018-09-28 cs.LG cs.SD eess.AS
AeGAN: Time-Frequency Speech Denoising via Generative Adversarial Networks
University of Stuttgart（斯图加特大学）
自动语音识别（ASR）系统在诸如语音到文本处理和语言翻译的常见任务中是至关重要的。这就需要一个能够在现实拥挤环境中运行的ASR系统。因此，语音增强是ASR系统和诸如助听器、智能电话和电话会议系统的其他应用中的有价值的构建块。在本文中，生成对抗网络（GAN）为基础的框架进行了研究的语音增强的任务，更具体地说，语音去噪的音轨。基于CasNet生成器的新架构和额外的基于特征的损失被合并以获得逼真的去噪语音。最后，所提出的框架被证明优于其他学习和传统的基于模型的语音增强方法。
2020-06-06 cs.LG cs.NE cs.SD
GANSpeech: Adversarial Training for High-Fidelity Multi-Speaker Speech Synthesis
NCSOFT（NCSoft公司）
神经多说话人文本到语音（TTS）模型的最新进展使得能够用单个模型生成相当好的语音质量，并且使得能够用有限的训练数据合成说话人的语音。用多说话人模型对目标说话人数据进行微调可以获得更好的质量，但是与真实语音样本相比仍然存在差距，并且模型依赖于说话人。在这项工作中，我们提出了GANSpeech，这是一个高保真的多扬声器TTS模型，采用对抗训练方法的非自回归多扬声器TTS模型。此外，我们提出了简单但有效的自动缩放方法，用于对抗训练中的特征匹配损失。在主观听力测试中，GANSpeech的表现明显优于基线多扬声器FastSpeech和FastSpeech2模型，并且表现出比扬声器特定微调FastSpeech2更好的MOS分数。
2021-06-29 cs.CL cs.LG cs.SD
A Comparative Study of Self-supervised Speech Representation Based Voice Conversion
Graduate School of Informatics, Nagoya University（名古屋大学信息学研究生院）；National Taiwan University（国立台湾大学）；Nagoya University（名古屋大学）
我们提出了一个大规模的比较研究的自我监督语音表示（S3 R）为基础的语音转换（VC）。在语音合成VC的背景下，S3 R是有吸引力的，因为它们有可能取代昂贵的监督表示，如语音后验图（PPG），这是通常采用的国家的最先进的VC系统。使用我们之前开发的开源VC软件S3 PRL-VC，我们使用语音转换挑战2020（VCC 2020）数据集，在三种VC设置下提供了一系列深入的客观和主观分析：内/跨语言任何对一（A2 O）和任何对任何（A2 A）VC。我们研究了基于S3 R的VC的各个方面，包括模型类型，多语言和监督。我们还研究了使用k-means聚类的后离散化过程的效果，并展示了它在A2 A设置中的改进。最后，通过与现有VC系统的比较，展示了基于S3 R的VC系统的竞争力，并指出了可能的改进方向。
2022-07-10 cs.LG cs.SD eess.AS
Leveraging Domain Features for Detecting Adversarial Attacks Against Deep Speech Recognition in Noise
Aalborg University（奥尔堡大学）
近年来，基于深度模型的自动语音识别（ASR）取得了重大进展，导致其在现实世界中的广泛部署。同时，针对深度ASR系统的对抗性攻击非常成功。已经提出了各种方法来保护ASR系统免受这些攻击。然而，现有的基于分类的方法专注于深度学习模型的设计，而缺乏对领域特定特征的探索。这项工作利用基于滤波器组的特征来更好地捕获攻击的特征，以改进检测。此外，本文分析了分别使用语音和非语音部分检测对抗性攻击的潜力。最后，考虑到ASR系统可能部署的不利环境，我们研究了各种类型的声学噪声和信噪比的影响。大量的实验表明，逆滤波器组的功能通常在清洁和噪声环境中表现得更好，检测是有效的，无论是使用语音或非语音部分，和声学噪声可以大大降低检测性能。
2022-11-03 cs.CR cs.LG cs.SD
Mitigating Closed-model Adversarial Examples with Bayesian Neural Modeling for Enhanced End-to-End Speech Recognition
Amazon Alexa AI（亚马逊Alexa人工智能部门）
在这项工作中，我们的目标是提高系统的鲁棒性的端到端的自动语音识别（ASR）对不利的噪声语音的例子。我们专注于严格和经验的“封闭模型对抗鲁棒性”设置（例如，设备上或云应用）。对抗性噪声仅由闭模型优化（例如，进化和零阶估计），而不直接访问目标ASR模型的梯度信息。我们提出了一种先进的贝叶斯神经网络（BNN）为基础的对抗检测器，它可以模拟潜在的分布对自适应对抗扰动与分歧的测量。我们进一步模拟了RNN Transducer，Conformer和基于wav 2 vec-2.0的ASR系统的部署场景。利用所提出的基于BNN的检测系统，与当前针对对抗性语音示例的模型增强方法相比，我们将LibriSpeech数据集的检测率提高了+2.77%至+5.42%（相对+3.03%至+6.26%），并将单词错误率降低了5.02%至7.47%。
2022-02-17 cs.AI cs.LG cs.NE
Adversarial Attacks on Speech Recognition Systems for Mission-Critical Applications: A Survey
Deakin University（迪肯大学）
机器关键型应用程序是一个系统，它对特定和敏感的操作（如搜索和恢复，救援，军事和应急管理行动）的成功至关重要。机器学习、自然语言处理、话音识别和语音处理技术的最新进展自然允许开发和部署基于语音的会话接口以与各种机器关键应用交互。虽然这些对话界面允许用户发出语音命令来执行战略和关键活动，但它们对对抗攻击的鲁棒性仍然不确定和不清楚。事实上，对抗性人工智能（AI）是指一组试图用欺骗性数据欺骗机器学习模型的技术，是AI和机器学习研究界日益增长的威胁，特别是对于机器关键型应用程序。对抗攻击最常见的原因是在机器学习模型中造成故障。对抗攻击可能需要将不准确或伪造的样本作为模型的训练数据，或者引入恶意设计的数据来欺骗已经训练好的模型。在专注于机器关键型应用的语音识别的同时，在本文中，我们首先回顾了现有的语音识别技术，然后，我们调查了对抗攻击和防御这些系统的有效性，然后概述了研究挑战，防御建议和未来的工作。本文旨在为研究人员和从业人员提供参考，以帮助他们了解所面临的挑战，定位自己，并最终帮助他们改善现有的语音识别模型的关键任务的应用程序。关键词：关键任务应用，对抗性人工智能，语音识别系统。
2022-02-22 cs.CR cs.LG cs.SD
Reducing over-smoothness in speech synthesis using Generative Adversarial Networks
Novosibirsk State University（新西伯利亚国立大学）
语音合成在许多实际应用中有着广泛的应用。近年来，语音合成技术发展迅速。然而，合成语音不自然的原因之一是它经常具有过度平滑。为了提高合成语音的自然度，首先提取语音的mel-声谱图并将其转换为真实图像，然后将过平滑的mel-声谱图图像作为输入，使用图像到图像翻译生成对抗网络（GANs）框架生成更真实的mel-声谱图。实验结果表明，该方法大大降低了合成语音的过平滑度，使合成语音的梅尔谱图更接近真实语音。
2018-12-17 cs.SD eess.AS
VSEGAN: Visual Speech Enhancement Generative Adversarial Network
vivo AI Lab（vivo人工智能实验室）；Trinity College Dublin（都柏林大学三一学院）
语音增强是提高噪声环境下语音质量的一项重要任务。由于语音的视觉方面基本上不受声学环境的影响，因此几种现有技术的方法已经引入了用于语音增强的视觉信息。本文提出了一种新的框架，涉及语音增强的视觉信息，通过结合生成对抗网络（GAN）。具体地说，提出的视觉语音增强GAN由两个以对抗方式训练的网络组成：i）一个采用多层特征融合卷积网络增强输入含噪语音的生成器，ii）一个采用最小化纯净语音信号和增强语音信号分布之间差异的改进器。实验结果表明，该模型的性能优于几个国家的最先进的
2022-04-20 cs.SD eess.AS eess.IV
A Comparative Study of Pre-trained Speech and Audio Embeddings for Speech Emotion Recognition
IIIT Delhi（德里英迪拉·甘地信息技术学院）；University of Tartu（塔尔图大学）
本文比较八种语音与音频预训练模型在四个SER数据集上的嵌入表现，发现说话人识别模型嵌入配合XGBoost、Random Forest或FCN效果最佳。
2023-04-22 cs.AI cs.LG eess.AS
Transferability of Adversarial Attacks on Synthetic Speech Detection
Ningbo University（宁波大学）
合成语音检测是音频安全领域的重要研究课题之一。同时，深度神经网络容易受到对抗攻击的攻击。因此，我们建立了一个全面的基准来评估合成语音检测任务上的对抗攻击的可转移性。具体而言，我们试图研究：1）不同功能之间的对抗攻击的可转移性。2)不同特征提取超参数对对抗攻击可转移性的影响。3)裁剪或自填充操作对对抗攻击可转移性的影响。通过这些分析，我们总结了合成语音检测器的弱点和对抗攻击的可转移性行为，为未来的研究提供了见解。更多细节可以在https://gitee.com/djc_QRICK/Attack-Transferability-On-Synthetic-Detection上找到。
2022-05-16 cs.CR cs.SD eess.AS
How Attention Shapes Emotion: A Comparative Study of Attention Mechanisms for Speech Emotion Recognition
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
本文比较了语音情绪识别中不同注意力机制的性能，发现标准自注意力虽表现最佳，但高效变体能显著提升可扩展性，减少计算和内存开销。
2026-03-16 eess.AS
A comparative study between linear and nonlinear speech prediction
Escola Universitària Politècnica de Mataró（马塔罗理工大学学院）
本文的重点是非线性预测编码，它包括对语音样本的预测的基础上的非线性组合的前一个样本。众所周知，在声门脉冲的产生中，波动方程不线性地表现[2]，[10]，并且我们通过基于参数神经网络模型的语音的非线性预测来对这些效应进行建模。这项工作集中在神经网络权重的量化和压缩增益。
2022-03-31 cs.SD eess.AS
Imperceptible, Robust, and Targeted Adversarial Examples for Automatic Speech Recognition
University of California, San Diego（加州大学圣地亚哥分校）；Google Brain（谷歌大脑）
对抗性示例是由对手设计的机器学习模型的输入，以导致不正确的输出。到目前为止，对抗性例子在图像领域得到了最广泛的研究。在这个领域，对抗性的例子可以通过对图像进行不可感知的修改来构建，从而导致错误分类，并且在物理世界中是实用的。相比之下，当前应用于语音识别系统的有针对性的对抗性示例都没有这些特性：人类可以很容易地识别对抗性扰动，并且它们在空中播放时无效。本文在这两个方面都取得了进展。首先，我们通过利用听觉掩蔽的心理声学原理开发了有效的不可感知的音频对抗示例（通过人类研究进行了验证），同时在任意整句目标上保持100%的目标成功率。接下来，我们通过构建即使在应用逼真的模拟环境失真后仍然有效的扰动，在物理世界的空中音频对抗示例方面取得了进展。
2019-06-07 cs.LG cs.SD eess.AS
HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis
Kakao Enterprise（Kakao企业（Kakao Enterprise））
最近几项关于语音合成的工作采用了生成对抗网络（GANs）来产生原始波形。虽然这些方法提高了采样效率和内存使用率，但它们的样本质量尚未达到自回归和基于流的生成模型。在这项工作中，我们提出了HiFi-GAN，它实现了高效和高保真的语音合成。由于语音音频由具有不同周期的正弦信号组成，我们证明了对音频的周期性模式进行建模对于提高样本质量至关重要。单个说话者数据集的主观人类评价（平均意见得分，MOS）表明，我们提出的方法与人类质量相似，同时在单个V100 GPU上生成22.05 kHz高保真音频的速度比实时快167.9倍。我们进一步展示了HiFi-GAN对看不见的说话者的梅尔频谱图反转和端到端语音合成的通用性。最后，HiFi-GAN的小尺寸版本生成的样本比CPU上的实时速度快13.4倍，质量与自回归对应物相当。
2020-10-23 cs.LG cs.SD eess.AS
Adversarial speech for voice privacy protection from Personalized Speech generation
University of Science and Technology of China (USTC)（中国科学技术大学）；The Hong Kong Polytechnic University（香港理工大学）
本文提出基于I-FGSM对抗攻击的说话人保护方法，通过最小扰动语音使YourTTS无法生成目标说话人声音，实验验证了其有效性。
2024-01-22 cs.SD eess.AS
Adversarial Speaker-Consistency Learning Using Untranscribed Speech Data for Zero-Shot Multi-Speaker Text-to-Speech
Seoul National University（首尔大学）
最近提出的几种文本转语音（TTS）模型能够在单说话人和多说话人的TTS场景中生成具有人类水平质量的语音样本。然而，将新说话者的语音与单个参考音频合成，通常称为zero-shot多说话者文本转语音（ZSM-TTS），仍然是一项非常具有挑战性的任务。ZSM-TTS的主要挑战是新说话人语音生成时的说话人域偏移问题。为了缓解这个问题，我们提出了对抗性说话者一致性学习（ASCL）。所提出的方法首先在每次训练迭代中使用外部未转录数据集生成查询说话者的附加语音。然后，该模型通过采用对抗学习方案来学习一致地生成同一说话人的语音样本作为相应的说话人嵌入向量。实验结果表明，该方法是有效的相比基线的质量和说话人相似度在ZSM-TTS。
2022-11-22 cs.SD eess.AS
Adjust-free adversarial example generation in speech recognition using evolutionary multi-objective optimization under black-box condition
Kagoshima University（鹿儿岛大学）
针对自动语音识别系统，本文提出一种黑盒对抗攻击方法，利用进化多目标优化生成对时间滞后鲁棒、无需调整播放时机的对抗样本。
2020-12-22 cs.CL cs.SD eess.AS
Best of Both Worlds: Robust Accented Speech Recognition with Adversarial Transfer Learning
训练用于自动语音识别（ASR）的深度神经网络需要大量转录的语音。这成为训练用于口音语音的鲁棒模型的瓶颈，口音语音通常包含发音和其他语义的高度可变性，因为获得大量带注释的口音数据既繁琐又昂贵。通常情况下，我们只能获得大量来自不同口音的未注释语音。在这项工作中，我们利用这些未注释的数据为仅在一个口音上训练的ASR模型提供语义正则化，以提高其对多个口音的性能。我们提出了口音预训练（Acc-PT），这是一种结合了迁移学习和对抗训练的半监督训练策略。我们的方法将最先进的ASR模型的性能在多个口音的基线上平均提高了33%，仅对来自一个标准口音的注释样本进行训练，并且仅对来自目标口音的105分钟未注释语音进行训练。
2021-03-10 eess.AS
Language and Noise Transfer in Speech Enhancement Generative Adversarial Network
Chungnam National University（忠南大学）
语音增强深度学习系统通常需要大量的训练数据才能在广泛的条件或实际应用中运行。这使得这些系统对新的低资源环境的适应性成为一个重要的课题。在这项工作中，我们提出了适应语音增强生成对抗网络的结果，通过微调生成器与少量的数据。我们调查的最低要求，以获得一个稳定的行为在两个非常不同的语言：加泰罗尼亚语和韩语的几个客观指标。我们还研究了测试性能的变化，看不见的噪音作为一个功能的不同类型的噪音可用于培训。结果表明，用10分钟的数据调整预训练的英语模型已经达到了与多两个数量级的数据相当的性能。它们还证明了测试性能相对于训练噪声类型的数量的相对稳定性。
2017-12-18 cs.LG cs.SD eess.AS
