MIR-GAN: Refining Frame-Level Modality-Invariant Representations with Adversarial Network for Audio-Visual Speech Recognition
Nanyang Technological University（南洋理工大学）；University of Aberdeen（阿伯丁大学）
本文提出MIR-GAN对抗网络，通过细化帧级模态不变表示来弥合音视频语音识别中模态分布差距，在LRS3和LRS2基准上超越现有最优方法。
2023-06-18 cs.CV cs.MM cs.SD
Massively Multilingual Adversarial Speech Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）
我们报告了在多达100种语言上训练的多语言端到端语音识别模型的适应性。我们的研究结果揭示了目标语言和预训练语言之间的语音，音韵，语言家族，地理位置和正字法维度的相似性的相对重要性。在这种情况下，实验证明了两个额外的预训练目标的有效性，鼓励语言独立的编码器表示：一个上下文无关的音素目标配对的语言对抗分类目标。
2019-04-03 cs.CL cs.LG
Robust Speech Recognition Using Generative Adversarial Networks
Baidu Research（百度研究院）
本文描述了一个通用的，可扩展的，端到端的框架，使用生成对抗网络（GAN）的目标，使强大的语音识别。使用所提出的方法训练的编码器通过学习将嘈杂音频映射到与干净音频相同的嵌入空间来享受改进的不变性。与以前的方法不同，新框架不依赖于信号处理中经常需要的领域专业知识或简化假设，而是以数据驱动的方式直接鼓励鲁棒性。我们表明，新方法提高了香草序列到序列模型的模拟远场语音识别，而无需专门的前端或预处理。
2017-11-05 cs.CL cs.LG
Evaluating Text Classification Robustness to Part-of-Speech Adversarial Examples
为提升文本对抗样本质量，本文探究不同词性对文本分类器的影响，发现CNN算法在评论数据集上对特定词性词元存在明显偏差，暴露了其语言处理的关键漏洞。
2024-08-15 cs.CL cs.LG
Unpaired Speech Enhancement by Acoustic and Adversarial Supervision for Speech Recognition
KAIST（韩国科学技术院）；Mokwon University（木原大学）；KAIST Institute for Artificial Intelligence（韩国科学技术院人工智能研究所）
许多语音增强方法试图学习噪声和干净语音之间的关系，使用声学室模拟器获得。我们指出了几个局限性的增强方法依赖于干净的语音目标，这项工作的目标是提出一种替代学习算法，称为声学和对抗监督（AAS）。AAS使得增强的输出既最大化了预训练的声学模型上的转录的可能性，又具有干净语音的一般特征，这提高了对看不见的噪声语音的泛化。我们采用连接主义的时间分类和不成对的条件边界平衡生成对抗网络作为AAS的损失函数。AAS在两个数据集上进行了测试，包括加性噪声没有混响和混响，Librispeech + DEMAND和CHiME-4。通过可视化不同损失组合的增强语音，我们展示了每个监督的作用。AAS实现了较低的字出错率比其他国家的最先进的方法使用干净的语音目标在两个数据集。
2018-11-06 cs.CL cs.LG cs.SD
Adversarial Privacy Protection on Speech Enhancement
College of Information Science and Engineering, Ningbo University（宁波大学信息科学与工程学院）
语音很容易在不知不觉中泄露，比如在不同的情况下被手机录下来。语音中的隐私内容可能通过语音增强技术被恶意提取。语音增强技术随着深度神经网络（DNN）的发展而迅速发展，但对抗性示例可能会导致DNN失败。在这项工作中，我们提出了一个对抗性的方法来降低语音增强系统。实验结果表明，生成的对抗性样例可以擦除原样例中的大部分内容信息，或者通过语音增强用目标语音内容替换。增强后的原始样本与增强后的对抗样本识别结果之间的单词出错率（WER）可达89.0%。增强对抗样本与目标样本的目标攻击WER较低，为33.75%。对抗扰动可以使原始示例的变化率超过1.4430。这项工作可以防止语音的恶意提取。
2022-06-16 cs.CR cs.LG cs.SD
Isolated and Ensemble Audio Preprocessing Methods for Detecting Adversarial Examples against Automatic Speech Recognition
University of Chicago（芝加哥大学）；University of Florida（佛罗里达大学）
对抗攻击是一种利用过程，其中对自然输入进行微小的改变，导致输入被神经模型错误分类。在语音识别领域，这已经成为一个越来越重要的问题。虽然对抗攻击最初是在计算机视觉中引入的，但它们已经渗透到语音识别领域。2017年，基因攻击被证明对语音命令模型非常有效。有限词汇语音分类器，如语音命令模型，用于各种应用程序，特别是电话;因此，这种攻击产生的对抗性示例构成了重大的安全威胁。本文探讨了各种方法来检测这些敌对的例子与音频预处理的组合。一种结合了压缩、语音编码、过滤和音频平移的特定组合防御被证明对语音命令模型的攻击非常有效，检测音频对抗性示例的准确率为93.5%，召回率为91.2%。
2018-09-11 cs.CL cs.CR cs.LG
Investigation of Densely Connected Convolutional Networks with Domain Adversarial Learning for Noise Robust Speech Recognition
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
我们研究了密集连接的卷积网络（DenseNets）及其扩展与域对抗训练的噪声鲁棒性语音识别。DenseNets是非常深入，紧凑的卷积神经网络，它在计算机视觉的最新成果上表现出令人难以置信的改进。我们的实验结果表明，DenseNets比其他基于神经网络的模型（如深度前馈神经网络和卷积神经网络）对噪声更具鲁棒性。此外，域对抗学习可以进一步提高DenseNets对已知和未知噪声条件的鲁棒性。
2021-12-19 cs.CL cs.LG eess.AS
Characterizing Speech Adversarial Examples Using Self-Attention U-Net Enhancement
Georgia Institute of Technology（佐治亚理工学院）；IBM Research（IBM研究院）
最近的研究强调了对抗性示例是对基于深度神经网络（DNN）的语音识别系统的普遍威胁。在这项工作中，我们提出了一个基于U-Net的注意力模型，U-Net $_{At}$，以增强对抗性语音信号。具体来说，我们通过可解释的语音识别指标来评估模型性能，并通过增强的对抗训练来讨论模型性能。我们的实验表明，在对抗性语音示例的语音增强任务中，我们提出的U-Net $_{At}$将语音质量感知评价（PESQ）从1.13提高到2.78，语音传输指数（STI）从0.65提高到0.75，短期客观可懂度（STOI）从0.83提高到0.96。我们进行实验的自动语音识别（ASR）的任务与敌对的音频攻击。我们发现（i）注意力网络学习的时间特征能够增强基于DNN的ASR模型的鲁棒性;（ii）基于DNN的ASR模型的泛化能力可以通过应用对抗性训练和添加性对抗性数据增强来增强。单词错误率（WER）的ASR度量显示，在基于梯度的扰动下，$\%$的绝对值下降了2.22 $\%$，在进化优化的扰动下，$\%$的绝对值下降了2.03 $\%$，这表明我们的对抗训练增强模型可以进一步确保弹性ASR系统。
2022-01-01 cs.CL cs.CR cs.LG
Training Augmentation with Adversarial Examples for Robust Speech Recognition
Northwestern Polytechnical University（西北工业大学）；Mobvoi AI Lab（出门问问人工智能实验室）；University of Washington（华盛顿大学）
本文探讨了在训练语音识别系统中使用对抗性示例来提高深度神经网络声学模型的鲁棒性。在训练过程中，使用快速梯度符号法生成对抗性样本，对原始训练数据进行扩充。与传统的基于数据变换的数据增强方法不同，该方法基于当前声学模型参数动态生成样本。我们在Aurora-4和CHiME-4单通道任务的实验中评估了对抗性数据增强的影响，显示出对噪声和通道变化的鲁棒性。当将对抗性示例与教师/学生训练相结合时，获得了进一步的改进，导致Aurora-4上的相对单词出错率降低了23%。
2018-06-17 cs.CL cs.LG eess.AS
GANSpeech: Adversarial Training for High-Fidelity Multi-Speaker Speech Synthesis
NCSOFT（NCSoft公司）
神经多说话人文本到语音（TTS）模型的最新进展使得能够用单个模型生成相当好的语音质量，并且使得能够用有限的训练数据合成说话人的语音。用多说话人模型对目标说话人数据进行微调可以获得更好的质量，但是与真实语音样本相比仍然存在差距，并且模型依赖于说话人。在这项工作中，我们提出了GANSpeech，这是一个高保真的多扬声器TTS模型，采用对抗训练方法的非自回归多扬声器TTS模型。此外，我们提出了简单但有效的自动缩放方法，用于对抗训练中的特征匹配损失。在主观听力测试中，GANSpeech的表现明显优于基线多扬声器FastSpeech和FastSpeech2模型，并且表现出比扬声器特定微调FastSpeech2更好的MOS分数。
2021-06-29 cs.CL cs.LG cs.SD
Adversarially learning disentangled speech representations for robust multi-factor voice conversion
Huya Inc.（虎牙公司）
将语音分解为分离的语音表示是实现语音转换（VC）中高度可控的风格转换的关键。传统的语音表示学习方法只将语音分解为说话人和内容，缺乏对其他韵律相关因素的控制。现有的语音表征学习方法主要采用随机重排序和ad-hoc瓶颈层大小调整等解纠缠算法，但难以保证鲁棒的语音表征解纠缠。为了提高VC中高度可控的风格迁移对多个因素的鲁棒性，我们提出了一个基于对抗学习的分离式语音表示学习框架。四个语音表示特征的内容，音色，节奏和音高提取，并进一步解开对抗掩码和预测（MAP）网络启发BERT。对抗性网络通过随机掩蔽和预测其中一个表示来最小化语音表示之间的相关性。实验结果表明，该框架显著提高了VC对多种因素的鲁棒性，语音质量MOS从2.79提高到3.30，MCD从3.89降低到3.58.
2021-08-20 cs.LG cs.SD eess.AS
Generative Adversarial Training for Text-to-Speech Synthesis Based on Raw Phonetic Input and Explicit Prosody Modelling
Adobe Systems（奥多比系统公司）
本文提出一个基于生成对抗训练的端到端语音合成系统，通过显式韵律建模和离散风格令牌，实现高表现力角色声音匹配。
2023-10-14 cs.LG
On the robustness of non-intrusive speech quality model by adversarial examples
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
最近已经表明，基于深度学习的模型在语音质量预测上是有效的，并且可以在各种方面优于传统的度量。虽然网络模型有可能成为复杂人类听觉感知的替代品，但它们可能包含预测的不稳定性。这项工作表明，深度语音质量预测器可能容易受到对抗性扰动的影响，其中与语音输入相比，预测可能会因小至$-30$ dB的不明显扰动而急剧变化。除了暴露深度语音质量预测因子的脆弱性外，我们还进一步探索和确认对抗训练对于增强模型鲁棒性的可行性。
2022-11-11 cs.LG cs.SD eess.AS
Robust Federated Learning Against Adversarial Attacks for Speech Emotion Recognition
Imperial College London（伦敦帝国理工学院）；Leibniz University Hannover（汉诺威莱布尼茨大学）；L3S Research Center（L3S研究中心）；University of Augsburg（奥格斯堡大学）
由于机器学习和语音处理的发展，语音情感识别成为近年来的研究热点。然而，在语音情感识别的物联网应用中，语音数据在服务器上上传和处理时无法得到保护。此外，深度神经网络已被证明易受人类无法区分的对抗性扰动的影响。由扰动产生的对抗攻击可能导致深度神经网络错误地预测情绪状态。我们提出了一种新的联邦对抗学习框架，用于保护数据和深度神经网络。拟议的框架包括：i）用于数据隐私的联邦学习，以及ii）用于模型鲁棒性的训练阶段的对抗训练和测试阶段的随机化。实验结果表明，该框架能够有效地保护语音数据的局部安全，提高模型对一系列对抗攻击的鲁棒性。
2022-03-09 cs.LG cs.SD eess.AS
Audio Adversarial Examples: Targeted Attacks on Speech-to-Text
University of California, Berkeley（加利福尼亚大学伯克利分校）
我们构建有针对性的音频对抗自动语音识别的例子。给定任何音频波形，我们可以生成另一个相似度超过99.9%的波形，但可以转录为我们选择的任何短语（每秒识别多达50个字符的音频）。我们将基于白盒迭代优化的攻击应用于Mozilla的端到端DeepSpeech实现，并显示它具有100%的成功率。这种攻击的可行性为对抗性实例的研究开辟了一个新的领域。
2018-03-30 cs.AI cs.CR cs.LG
Domain Adversarial Neural Networks for Dysarthric Speech Recognition
Imperial College London（帝国理工学院）；University of Southampton（南安普顿大学）
语音识别系统在过去的几年中已经有了显著的改进，然而，对于口音或受损语音的情况，它们的性能显著下降。这项工作探讨域对抗神经网络（DANN）的说话人无关的语音识别的UAS数据集的构音障碍的语音。使用端到端CNN将原始音频作为输入来执行对10个口语数字的分类任务。将结果与说话者自适应（SA）模型以及说话者相关（SD）和多任务学习模型（MTL）进行比较。实验结果表明，DANN的绝对识别率为74.91%，比基线识别率提高了12.18%。此外，DANN模型实现了与SA模型77.65%的识别率相当的结果。我们还观察到，当标记的构音障碍的语音数据是可用的DANN和MTL执行类似，但当它们不是DANN执行优于MTL。
2020-10-07 cs.CL cs.LG cs.SD
Whispered-to-voiced Alaryngeal Speech Conversion with Generative Adversarial Networks
1 Universitat Polit\`ecnica de Catalunya, Barcelona, Spain 2 Telef\'onica Research, Barcelona, Spain 3 Universidad de M\'alaga, M\'alaga, Spain
大多数用于失音症患者的声音恢复方法要么产生低声讲话，要么产生单调讲话。除了可理解性之外，这种类型的语音由于缺乏音高（耳语语音）或人工生成音高（单调语音）而缺乏表现力和自然性。用于恢复韵律信息的现有技术通常将参数化语音信号的声码器与预测韵律信息的机器学习技术组合。相反，本文描述了一种端到端的神经方法，用于从低声的喉音语音中估计全浊音语音波形。通过调整我们以前的工作在语音增强与生成对抗网络，我们开发了一个说话人相关的模型来执行耳语到有声语音转换。初步的定性结果表明，在重新生成有声语音的有效性，与现实的音高轮廓的创建。
2018-11-05 cs.LG cs.SD eess.AS
Adversarial Machine Learning And Speech Emotion Recognition: Utilizing Generative Adversarial Networks For Robustness
Information Technology University (ITU)-Punjab（旁遮普信息技术大学）；University of Southern Queensland（南昆士兰大学）
深度学习无疑为最先进的语音情感识别（SER）系统的性能提供了巨大的改进。然而，最近对对抗性示例的研究对SER系统的鲁棒性提出了巨大的挑战，因为它们只依赖于小而不可感知的扰动，因此显示了深度神经网络对对抗性示例的敏感性。在这项研究中，我们评估了如何对抗的例子可以用来攻击SER系统，并提出了第一个黑盒对抗攻击SER系统。我们还探索了潜在的防御措施，包括对抗训练和生成对抗网络（GAN），以增强鲁棒性。实验评估表明，有效利用对抗性示例的各个有趣方面有助于实现SER系统的鲁棒性，为研究人员在这一领域进一步创新提供了机会。
2018-12-30 cs.CR cs.LG eess.SP
Mel Frequency Spectral Domain Defenses against Adversarial Attacks on Speech Recognition Systems
USC Ming Hsieh Department of Electrical and Computer Engineering（南加州大学明谢电子与计算机工程系）
最近的各种工作已经研究了深度神经网络对对抗性攻击的防御，特别是在图像处理领域。诸如自动语音识别（ASR）等语音处理应用越来越依赖于深度学习模型，因此也容易受到对抗性攻击。然而，许多针对ASR探索的防御只是适应图像域防御，这可能无法提供最佳的鲁棒性。本文探讨了使用梅尔频谱域的语音特定的防御，并介绍了一种新的防御方法称为梅尔域噪声淹没（MDNF）。MDNF在重新合成音频信号之前将加性噪声应用于语音话语的梅尔频谱图。我们测试了对强白盒对抗攻击（如投影梯度下降（PGD）和Carlini-Wagner（CW）攻击）的防御，并在强威胁模型中显示出比随机平滑基线更好的鲁棒性。
2022-03-29 cs.LG eess.AS
Noise Flooding for Detecting Audio Adversarial Examples Against Automatic Speech Recognition
The College University of Chicago（芝加哥大学学院）；University of Colorado Colorado Springs（科罗拉多斯普林斯分校科罗拉多大学）
神经模型在各种任务中得到广泛使用，并已成为许多工业系统的关键组成部分。尽管它们有效且广受欢迎，但它们并非没有可利用的缺陷。最初应用于计算机视觉系统，对抗性示例的生成是对图像进行看似不可感知的扰动的过程，目的是诱导基于深度学习的分类器对图像进行错误分类。由于语音处理的最新趋势，这已经成为语音识别模型中的一个值得注意的问题。在2017年底，一种攻击被证明对语音命令分类模型非常有效。词汇量有限的语音分类器，如语音命令模型，在各种应用程序中使用得非常频繁，特别是在电话环境中管理自动话务员。因此，这种攻击产生的对抗性例子可能会产生现实世界的后果。虽然以前在防御这些对抗性示例方面的工作已经研究了使用音频预处理来减少或扭曲对抗性噪声，但这项工作探索了用随机噪声淹没音频信号的特定频带以检测对抗性示例的想法。这种不需要重新训练或修改模型的泛洪技术受到计算机视觉工作的启发，并建立在语音分类器对自然噪声相对鲁棒的想法之上。一种结合了5个不同频带的组合防御方法，用于用噪声淹没信号，其性能优于音频空间中其他现有的防御方法，检测对抗性示例的准确率为91.8%，召回率为93.5%。
2018-12-25 cs.CL cs.CR cs.LG
Characterizing the adversarial vulnerability of speech self-supervised learning
Centre for Perceptual and Interactive Intelligence（感知与交互智能中心）；The Chinese University of Hong Kong（香港中文大学）
一个名为Speech processing Universal Permeable Benchmark（SUPERB）的排行榜，其目的是以最小的架构修改和少量的数据来对跨各种下游语音任务的共享自监督学习（SSL）语音模型的性能进行基准测试，推动了语音表示学习的研究。SUPERB演示了语音SSL上游模型通过最小的调整提高了各种下游任务的性能。随着自监督学习的上游模型和下游任务的研究受到越来越多的关注，表征这种模型的对抗鲁棒性具有重要意义。在本文中，我们第一次尝试研究这种模式下的攻击脆弱性的零知识的对手和有限知识的对手。实验结果表明，SUPERB提出的攻击范式对有限知识攻击者具有严重的脆弱性，零知识攻击者产生的攻击具有可转移性。XAB测试验证了精心制作的对抗攻击的不可感知性。
2022-03-29 cs.LG cs.SD eess.AS
Towards Robust Speech-to-Text Adversarial Attack
本文介绍了一种新的对抗算法，用于攻击最先进的语音到文本系统，即DeepSpeech，Kaldi和Lingvo。我们的方法是基于开发一个扩展的传统的失真条件的对抗性优化配方使用Cramèr积分概率度量。最小化这个度量，它测量原始样本和对抗样本分布之间的差异，有助于制作非常接近合法语音记录子空间的信号。这有助于产生针对空中回放的更鲁棒的对抗信号，而不采用对变换操作的昂贵期望或静态房间脉冲响应模拟。我们的方法优于其他有针对性的和非有针对性的算法在字出错率和匹配级别的准确性与竞争力的性能上制作的对抗信号的质量。与其他七种强大的白盒和黑盒对抗攻击相比，我们提出的方法对多个连续的空中回放具有更强的弹性，证实了其在嘈杂环境中的更高鲁棒性。
2021-03-15 cs.LG cs.SD eess.AS
RSD-GAN: Regularized Sobolev Defense GAN Against Speech-to-Text Adversarial Attacks
Fédération des Caisses Desjardins du Québec（魁北克德雅尔丹储蓄信贷联盟）
本文介绍了一种新的基于合成的防御算法，用于对抗各种对抗攻击，这些攻击是为了挑战尖端的语音到文本转录系统的性能而开发的。我们的算法实现了一个基于Sobolev的GAN，并提出了一种新的正则化器，用于有效地控制整个生成模型的功能，特别是在训练过程中的神经网络。我们在受害者DeepSpeech、Kaldi和Lingvo语音转录系统上进行了大量实验，取得的结果证实了我们的防御方法在针对性和非针对性对抗攻击方面的卓越性能。
2022-09-24 cs.LG cs.SD eess.AS
StyleTTS 2: Towards Human-Level Text-to-Speech through Style Diffusion and Adversarial Training with Large Speech Language Models
Columbia University（哥伦比亚大学）
提出StyleTTS 2模型，通过风格扩散和结合大型语音语言模型的对抗训练，首次在单/多说话人数据集上实现人类水平的文本转语音合成。
2023-11-20 cs.AI cs.CL cs.LG
AeGAN: Time-Frequency Speech Denoising via Generative Adversarial Networks
University of Stuttgart（斯图加特大学）
自动语音识别（ASR）系统在诸如语音到文本处理和语言翻译的常见任务中是至关重要的。这就需要一个能够在现实拥挤环境中运行的ASR系统。因此，语音增强是ASR系统和诸如助听器、智能电话和电话会议系统的其他应用中的有价值的构建块。在本文中，生成对抗网络（GAN）为基础的框架进行了研究的语音增强的任务，更具体地说，语音去噪的音轨。基于CasNet生成器的新架构和额外的基于特征的损失被合并以获得逼真的去噪语音。最后，所提出的框架被证明优于其他学习和传统的基于模型的语音增强方法。
2020-06-06 cs.LG cs.NE cs.SD
Mitigating Closed-model Adversarial Examples with Bayesian Neural Modeling for Enhanced End-to-End Speech Recognition
Amazon Alexa AI（亚马逊Alexa人工智能部门）
在这项工作中，我们的目标是提高系统的鲁棒性的端到端的自动语音识别（ASR）对不利的噪声语音的例子。我们专注于严格和经验的“封闭模型对抗鲁棒性”设置（例如，设备上或云应用）。对抗性噪声仅由闭模型优化（例如，进化和零阶估计），而不直接访问目标ASR模型的梯度信息。我们提出了一种先进的贝叶斯神经网络（BNN）为基础的对抗检测器，它可以模拟潜在的分布对自适应对抗扰动与分歧的测量。我们进一步模拟了RNN Transducer，Conformer和基于wav 2 vec-2.0的ASR系统的部署场景。利用所提出的基于BNN的检测系统，与当前针对对抗性语音示例的模型增强方法相比，我们将LibriSpeech数据集的检测率提高了+2.77%至+5.42%（相对+3.03%至+6.26%），并将单词错误率降低了5.02%至7.47%。
2022-02-17 cs.AI cs.LG cs.NE
Multi-Task Adversarial Training Algorithm for Multi-Speaker Neural Text-to-Speech
The University of Tokyo（东京大学）
提出了一种新的基于多任务对抗训练的多说话人神经文语转换（TTS）模型的训练算法。传统的基于生成对抗网络（GAN）的训练算法通过减少自然语音和合成语音之间的统计差异来显著提高合成语音的质量。然而，该算法不能保证训练的TTS模型在合成未被包括在训练数据中的不可见说话者的语音时的泛化性能。我们的算法交替训练两个深度神经网络：多任务训练和多说话者神经TTS模型（即，GANs的生成器）。训练语音识别器不仅区分自然语音和合成语音，而且验证输入语音的说话者是存在还是不存在（即，通过内插所见说话者的嵌入向量而新生成）。同时，生成器被训练为最小化语音重建损失和对抗损失的加权和，以欺骗目标说话人，即使目标说话人看不见，也能实现高质量的多说话人TTS。实验结果表明，该算法比传统的GANSpeech算法更好地提高了合成语音的质量。
2022-09-26 cs.AI cs.LG cs.SD
Towards Generalized Speech Enhancement with Generative Adversarial Networks
Amazon Research（亚马逊研究院）
语音增强的任务通常包括去除加性噪声或混响，这些噪声或混响部分掩盖了口语，影响了它们的可懂度。然而，很少有人注意到其他的，也许更积极的信号失真，如削波，块消除，或频带去除。这种失真不仅对可懂度，而且对自然度甚至说话人身份都有很大的影响，并且需要仔细的信号重建。在这项工作中，我们充分考虑了这种广义的语音增强任务，并表明它可以用时域生成对抗网络（GAN）来解决。特别是，我们扩展了以前的基于GAN的语音增强系统，以处理四种类型的侵略性失真的混合物。首先，我们提出了一个对抗性的声学回归损失，促进了更丰富的特征提取的边缘。其次，我们还使用了两步对抗训练计划，作为热身和微调序列。客观和主观评价表明，这两个增加带来了改进的语音重建，更好地匹配原始扬声器的身份和自然。
2019-04-06 cs.LG cs.SD eess.AS
Time-domain Speech Enhancement with Generative Adversarial Learning
Harbin Engineering University（哈尔滨工程大学）；ByteDance（字节跳动）；University of Surrey（萨里大学）
语音增强的目的是从含噪语音中获得高清晰度和高质量的语音信号。最近的工作已经证明了时域深度学习方法（如Conv-TasNet）的出色性能。然而，这些方法可以退化的任意尺度的波形引起的尺度不变的信噪比（SI-SNR）的损失。本文提出了一种新的时域语音增强生成对抗网络（TSE GAN）框架，它是生成对抗网络（GAN）在时域上的扩展，具有度量评估功能，以减轻缩放问题，并提供模型训练稳定性，从而实现性能改进。此外，本文还提出了一种基于目标函数映射的度量GAN性能理论分析方法，并解释了其优于Wasserstein GAN的原因。实验结果表明了该方法的有效性，说明了度量GAN的优越性.
2021-09-19 cs.LG cs.SD eess.AS
Watch What You Pretrain For: Targeted, Transferable Adversarial Examples on Self-Supervised Speech Recognition models
Carnegie Mellon University（卡内基梅隆大学）；University of Florida（佛罗里达大学）
有针对性的对抗攻击产生的音频样本可以迫使自动语音识别（ASR）系统输出攻击者选择的文本。为了在真实世界的黑盒设置中利用ASR模型，对手可以利用可转移性属性，即为代理ASR生成的对抗样本也可以欺骗不同的远程ASR。然而，最近的工作表明，对大型ASR模型的可移植性是非常困难的。在这项工作中，我们表明，现代ASR架构，特别是那些基于自监督学习，实际上是脆弱的可转移性。我们通过评估最先进的自监督ASR模型，如Wav2Vec2，HuBERT，Data2Vec和WavLM，成功地证明了这一现象。我们表明，低水平的加性噪声达到30 dB的信噪比，我们可以实现高达80%的准确度的目标转移。接下来，我们1）使用消融研究来表明，自监督学习是这种现象的主要原因，2）我们为这种现象提供了一个解释。通过这一点，我们表明，现代ASR架构是唯一容易受到对抗性的安全威胁。
2022-09-29 cs.CL cs.CR cs.LG
Comparative Study between Adversarial Networks and Classical Techniques for Speech Enhancement
Universidade Federal do ABC（ABC联邦大学）
语音增强是许多应用的关键任务。其中探索最多的技术是Wiener滤波器和LogMMSE，但探索适合此任务的深度学习的方法，如SEGAN，已经提出了相关的结果。这项研究比较了上述技术在85种噪声条件下的质量，可懂度和失真的性能;并得出结论，经典技术在大多数情况下继续表现出优越的结果，但在严重的噪声情况下，SEGAN表现更好，方差更低。
2019-10-21 cs.LG eess.AS
Exploring Speech Enhancement with Generative Adversarial Networks for Robust Speech Recognition
UC San Diego（加州大学圣地亚哥分校）；Google（谷歌）
我们研究了生成对抗网络（GANs）用于语音增强的有效性，在提高自动语音识别（ASR）系统的噪声鲁棒性的背景下。先前的工作表明，GANs可以有效地抑制原始波形语音信号中的加性噪声，提高感知质量指标;然而，这种技术在ASR的背景下并不合理。在这项工作中，我们进行了详细的研究，以衡量GANs在增强受加性和混响噪声污染的语音的有效性。受图像处理最新进展的启发，我们提出在log-Mel滤波器组谱而不是波形上操作GANs，这需要更少的计算，并且对混响噪声更具鲁棒性。虽然GAN增强提高了干净训练的ASR系统对噪声语音的性能，但它达不到传统多风格训练（MTR）所实现的性能。通过将GAN增强功能附加到噪声输入和再训练，我们实现了相对于MTR系统7%的WER改善。
2018-10-31 cs.LG cs.NE cs.SD
Hear No Evil: Towards Adversarial Robustness of Automatic Speech Recognition via Multi-Task Learning
Georgia Institute of Technology, USA（佐治亚理工学院，美国）
随着自动语音识别（ASR）系统现在被广泛部署在野外，对抗性攻击的威胁日益增加，对使用此类系统的安全性和可靠性提出了严重的问题。另一方面，多任务学习（MTL）在计算机视觉领域的训练模型中表现出了成功，可以抵抗对抗性攻击。在这项工作中，我们研究了执行这种多任务学习对语音域中ASR模型的对抗鲁棒性的影响。我们通过结合语义多样的任务（如口音分类和ASR）进行广泛的MTL实验，并评估各种对抗性设置。我们彻底的分析表明，执行MTL与语义不同的任务一致，使对抗性攻击更难成功。我们还详细讨论了严重的陷阱和相关的补救措施，有显着影响MTL模型的鲁棒性。我们提出的MTL方法显示出相当大的绝对改善，在对抗性有针对性的WER范围从17.25至59.90相比，单任务学习基线（注意力解码器和CTC分别）。我们的研究是第一个深入的研究，揭示了ASR多任务学习的对抗鲁棒性增益。
2022-04-05 cs.LG eess.AS
HiFi-GAN: High-Fidelity Denoising and Dereverberation Based on Speech Deep Features in Adversarial Networks
Princeton University（普林斯顿大学）；Adobe Research（奥多比研究院）
真实世界的音频记录通常会受到噪声、混响和均衡失真等因素的影响。本文介绍了HiFi-GAN，这是一种深度学习方法，可以将录制的语音转换为声音，就像在录音室录制的一样。我们使用端到端前馈WaveNet架构，在时域和时频域中使用多尺度对抗鉴别器进行训练。它依赖于鉴别器的深度特征匹配损失来提高增强语音的感知质量。所提出的模型推广以及新的扬声器，新的语音内容，和新的环境。在客观和主观实验中，它显着优于最先进的基线方法。
2020-09-21 cs.LG cs.SD eess.AS
Universal Adversarial Perturbations for Speech Recognition Systems
UC San Diego（加州大学圣地亚哥分校）
在这项工作中，我们证明了普遍存在的对抗性音频扰动，导致错误的转录音频信号的自动语音识别（ASR）系统。我们提出了一种算法，找到一个单一的准不可感知的扰动，当添加到任何任意的语音信号，将最有可能欺骗受害者语音识别模型。我们的实验通过为最先进的ASR系统- Mozilla DeepSpeech制作音频不可知的通用扰动来展示我们所提出的技术的应用。此外，我们还通过对基于WaveNet的ASR系统进行可转移性测试，证明了这种扰动在训练过程中不可用的模型中具有很大的普遍性。
2019-08-15 cs.LG cs.SD eess.AS
Adversarial Feature Learning and Unsupervised Clustering based Speech Synthesis for Found Data with Acoustic and Textual Noise
Northwestern Polytechnical University（西北工业大学）；Bytedance AI Lab（字节跳动人工智能实验室）
基于注意力的序列到序列（seq2seq）语音合成已经取得了非凡的性能。但是，一个工作室质量的语料库与手工转录是必要的训练这样的seq2seq系统。在本文中，我们提出了一种方法来建立高质量和稳定的seq2seq为基础的语音合成系统使用具有挑战性的发现数据，其中训练语音包含噪声干扰（声学噪声）和文本是不完善的语音识别成绩单（文本噪声）。为了处理文本端的噪声，我们提出了一种基于VQVAE的探试法，用直接从语音中学习到的语音信息来补偿错误的语言特征。对于语音侧噪声，我们提出通过对抗训练和数据增强在自回归解码器中学习与噪声无关的特征，这不需要额外的语音增强模型。实验结果表明，该方法在处理文本和语音噪声方面是有效的。超越了基于最先进的语音增强模型的去噪方法，我们的系统建立在嘈杂的发现数据可以合成干净和高质量的语音与MOS接近的系统建立在干净的对应。
2020-04-28 cs.LG cs.SD eess.AS
Adversarial Example Detection by Classification for Deep Speech Recognition
Aalborg University（奥尔堡大学）；Xi’an Jiaotong University（西安交通大学）
机器学习系统容易受到对抗攻击的攻击，并且很可能在这些攻击下产生不正确的输出。针对攻击者对受害者学习算法的访问级别，存在白盒攻击和黑盒攻击。为了保护学习系统免受这些攻击，语音领域的现有方法集中在修改输入信号和测试语音识别器的行为上。然而，我们将防御制定为分类问题，并提出了一种系统生成对抗性示例数据集的策略：一个用于白盒攻击，一个用于黑盒攻击，包含对抗性和正常示例。白盒攻击是基于Mozilla Common Voice数据库的百度DeepSpeech上的基于梯度的方法，而黑盒攻击是基于Google Speech Command数据集的基于深度模型的关键字定位系统上的无梯度方法。生成的数据集被用来训练一个建议的卷积神经网络（CNN），连同倒谱特征，以检测敌对的例子。实验结果表明，在单条件和多条件训练环境下，该算法能够准确区分已知攻击的对抗性样本和正常样本，而对于未知攻击，该算法的性能显著下降。对抗性数据集和源代码是公开的。
2019-10-22 cs.LG eess.AS stat.ML
WaveCycleGAN: Synthetic-to-natural speech waveform conversion using cycle-consistent adversarial networks
NTT Communication Science Laboratories, NTT Corporation（NTT公司NTT通信科学实验室）
我们提出了一种基于学习的滤波器，它允许我们直接将合成语音波形修改为自然语音波形。使用诸如统计参数语音合成和语音转换的声码器框架的语音处理系统特别对于有限数量的数据是方便的，因为可以在紧凑的空间上表示和处理可解释的声学特征，诸如基频（F0）和梅尔倒谱。然而，导致生成的语音的质量劣化的公知问题是消除生成/转换的声学特征的一些详细结构的过平滑效应。为了解决这个问题，我们提出了一种合成到自然语音波形转换技术，该技术使用周期一致的对抗网络，并且在对抗学习中不需要对语音波形进行任何明确的假设。与目前的技术相比，由于我们的修改是在波形水平上进行的，我们预计，所提出的方法也将使它有可能产生“声码器少”发声语音，即使输入语音合成使用声码器框架。实验结果表明，我们提出的方法可以1）减轻过度平滑的声学特征，尽管直接修改的方法用于波形和2）大大提高所生成的语音的自然度。
2018-09-28 cs.LG cs.SD eess.AS
Leveraging Domain Features for Detecting Adversarial Attacks Against Deep Speech Recognition in Noise
Aalborg University（奥尔堡大学）
近年来，基于深度模型的自动语音识别（ASR）取得了重大进展，导致其在现实世界中的广泛部署。同时，针对深度ASR系统的对抗性攻击非常成功。已经提出了各种方法来保护ASR系统免受这些攻击。然而，现有的基于分类的方法专注于深度学习模型的设计，而缺乏对领域特定特征的探索。这项工作利用基于滤波器组的特征来更好地捕获攻击的特征，以改进检测。此外，本文分析了分别使用语音和非语音部分检测对抗性攻击的潜力。最后，考虑到ASR系统可能部署的不利环境，我们研究了各种类型的声学噪声和信噪比的影响。大量的实验表明，逆滤波器组的功能通常在清洁和噪声环境中表现得更好，检测是有效的，无论是使用语音或非语音部分，和声学噪声可以大大降低检测性能。
2022-11-03 cs.CR cs.LG cs.SD
MetricGAN: Generative Adversarial Networks based Black-box Metric Scores Optimization for Speech Enhancement
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
条件生成对抗网络（GAN）中的对抗性损失并不被设计为直接优化目标任务的评估度量，因此可能并不总是引导GAN中的生成器生成具有改进的度量分数的数据。为了克服这个问题，我们提出了一种新的MetricGAN方法，旨在优化生成器的一个或多个评估指标。此外，基于MetricGAN，生成数据的度量分数也可以由用户任意指定。我们在语音增强任务上测试了所提出的MetricGAN，这特别适合于验证所提出的方法，因为存在测量语音信号的不同方面的多个度量。此外，这些指标通常是复杂的，并且不能通过Lp或传统的对抗性损失来完全优化。
2019-05-13 cs.LG cs.SD eess.AS
Are Modern Speech Enhancement Systems Vulnerable to Adversarial Attacks?
Signal Processing (SP), University of Hamburg, Germany（汉堡大学信号处理系，德国）；CISPA Helmholtz Center for Information Security, Germany（德国海德堡信息安全研究中心）
研究揭示现代语音增强系统存在对抗攻击漏洞，展示对抗噪声可改变语义，同时指出扩散模型具有固有鲁棒性。
2026-01-30 cs.LG cs.SD eess.AS
Transferable Positive/Negative Speech Emotion Recognition via Class-wise Adversarial Domain Adaptation
The University of Manchester（曼彻斯特大学）
语音情感识别在构建更智能、更人性化的智能体方面发挥着重要作用。由于语音情感数据采集的困难性，一种越来越流行的解决方案是利用相关且丰富的源语料库来帮助处理目标语料库。然而，语料库之间的域转移提出了一个严峻的挑战，使域转移适应难以发挥作用，即使是对积极/消极情绪的识别。在这项工作中，我们提出了类明智的对抗性领域自适应，以解决这一挑战，减少不同语料库之间的所有类的转变。在著名的EMODB和Aibo语料库上的实验表明，即使只提供非常有限数量的目标标记示例，我们的方法也是有效的。
2019-02-14 cs.LG stat.ML
Adversarial Attacks on Speech Recognition Systems for Mission-Critical Applications: A Survey
Deakin University（迪肯大学）
机器关键型应用程序是一个系统，它对特定和敏感的操作（如搜索和恢复，救援，军事和应急管理行动）的成功至关重要。机器学习、自然语言处理、话音识别和语音处理技术的最新进展自然允许开发和部署基于语音的会话接口以与各种机器关键应用交互。虽然这些对话界面允许用户发出语音命令来执行战略和关键活动，但它们对对抗攻击的鲁棒性仍然不确定和不清楚。事实上，对抗性人工智能（AI）是指一组试图用欺骗性数据欺骗机器学习模型的技术，是AI和机器学习研究界日益增长的威胁，特别是对于机器关键型应用程序。对抗攻击最常见的原因是在机器学习模型中造成故障。对抗攻击可能需要将不准确或伪造的样本作为模型的训练数据，或者引入恶意设计的数据来欺骗已经训练好的模型。在专注于机器关键型应用的语音识别的同时，在本文中，我们首先回顾了现有的语音识别技术，然后，我们调查了对抗攻击和防御这些系统的有效性，然后概述了研究挑战，防御建议和未来的工作。本文旨在为研究人员和从业人员提供参考，以帮助他们了解所面临的挑战，定位自己，并最终帮助他们改善现有的语音识别模型的关键任务的应用程序。关键词：关键任务应用，对抗性人工智能，语音识别系统。
2022-02-22 cs.CR cs.LG cs.SD
Crafting Adversarial Examples For Speech Paralinguistics Applications
University of Notre Dame（圣母大学）
计算语言学分析越来越多地用于广泛的网络应用，包括安全敏感的应用，如说话人验证，欺骗性语音检测和医疗诊断。虽然最先进的机器学习技术，如深度神经网络，可以提供强大而准确的语音分析，但它们容易受到对抗攻击的影响。在这项工作中，我们提出了一个端到端的方案，通过直接扰动音频记录的原始波形而不是特定的声学特征来生成用于计算语言学应用的对抗性示例。我们的实验表明，所提出的对抗性扰动可能会导致最先进的深度神经网络的性能显著下降，而对音频质量的影响微乎其微。
2019-01-11 cs.CR cs.LG cs.SD
Learning Representations of Emotional Speech with Deep Convolutional Generative Adversarial Networks
Harvey Mudd College（哈维穆德学院）；University of Southern California（南加州大学）；Institute for Creative Technologies（创意技术研究所）
对于机器学习算法来说，自动评估人类语音中的情感效价历来是一项艰巨的任务。说话者的声音中指示积极或消极情绪状态的微妙变化通常被与情绪强度或情绪激活有关的声音特征“掩盖”。在这项工作中，我们探索了一个表示学习的方法，自动推导出的情感语音的歧视性表示。特别是，我们研究了两种机器学习策略来提高分类器性能：（1）使用深度卷积生成对抗网络（DCGAN）利用未标记数据，以及（2）多任务学习。在我们广泛的实验中，我们利用多任务注释的情感语料库以及大型未标记的会议语料库（约100小时）。我们的独立于说话人的分类实验表明，特别是在我们的调查中使用未标记的数据提高了分类器的性能，两种完全监督的基线方法都大大优于。我们改进了情绪效价的分类，在离散的5点量表上为43.88%，在3点量表上为49.80%，这与最先进的表现具有竞争力。
2017-04-22 cs.CL cs.LG stat.ML
Generative adversarial network-based glottal waveform model for statistical parametric speech synthesis
Aalto University（阿尔托大学）
最近的研究表明，使用声门声码可以提高文本到语音合成的质量。这是指声码器，参数化语音分为两个部分，声门兴奋和声道，发生在人类的语音生产设备。当前的声门声码器通过使用深度神经网络（DNN）来生成声门激励波形。然而，目前声门激励模型的基于平方误差的训练仅限于生成条件平均波形，其未能捕获波形的随机变化。因此，作为后处理添加了整形噪声。在这项研究中，我们提出了一种新的方法来预测声门波形的生成对抗网络（GANs）。GANs是生成模型，旨在将数据分布嵌入潜在空间中，通过随机采样潜在分布来生成与原始实例非常相似的新实例。由GANs产生的声门脉冲显示出类似于自然声门脉冲的随机分量。在我们的实验中，我们比较了使用DNN和GANs产生的声门波形生成的合成语音。结果表明，新提出的GANs实现了与广泛使用的DNN相当的合成质量，而不使用加性噪声分量。
2019-03-14 cs.CL cs.LG cs.SD
Imperceptible, Robust, and Targeted Adversarial Examples for Automatic Speech Recognition
University of California, San Diego（加州大学圣地亚哥分校）；Google Brain（谷歌大脑）
对抗性示例是由对手设计的机器学习模型的输入，以导致不正确的输出。到目前为止，对抗性例子在图像领域得到了最广泛的研究。在这个领域，对抗性的例子可以通过对图像进行不可感知的修改来构建，从而导致错误分类，并且在物理世界中是实用的。相比之下，当前应用于语音识别系统的有针对性的对抗性示例都没有这些特性：人类可以很容易地识别对抗性扰动，并且它们在空中播放时无效。本文在这两个方面都取得了进展。首先，我们通过利用听觉掩蔽的心理声学原理开发了有效的不可感知的音频对抗示例（通过人类研究进行了验证），同时在任意整句目标上保持100%的目标成功率。接下来，我们通过构建即使在应用逼真的模拟环境失真后仍然有效的扰动，在物理世界的空中音频对抗示例方面取得了进展。
2019-06-07 cs.LG cs.SD eess.AS
Statistical Parametric Speech Synthesis Incorporating Generative Adversarial Networks
The University of Tokyo（东京大学）
提出了一种结合生成对抗网络（GANs）的统计参数语音合成方法。虽然强大的深度神经网络（DNN）技术可以应用于人工合成语音波形，但是与自然语音相比，合成语音质量较低。导致质量下降的问题之一是在生成的语音参数中经常观察到的过平滑效应。本文介绍的GAN由两个神经网络组成：一个用于区分自然样本和生成样本的鉴别器和一个用于欺骗鉴别器的生成器。在所提出的框架中，结合了GANs，训练语音识别器以区分自然和生成的语音参数，而训练声学模型以最小化传统的最小生成损失和用于欺骗语音识别器的对抗性损失的加权和。由于GANs的目标是最小化发散（即，该方法利用自然语音参数与生成语音参数之间的差异（即语音参数的分布差异），有效地消除了过平滑对生成语音参数的影响。我们评估了文本到语音和语音转换的有效性，发现所提出的方法可以产生更自然的频谱参数和$F_0$比传统的最小生成误差训练算法，无论其超参数设置。此外，我们研究了各种GANs的发散的影响，发现最小化地球移动器距离的Wasserstein GAN在提高合成语音质量方面效果最好。
2017-09-23 cs.LG cs.SD eess.AS
Breaking Adversarial Transferability in Fine-Tuned Speech Recognition
Idiap Research Institute（Idiap研究所）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Sharif University of Technology（谢里夫理工大学）；University of Isfahan（伊斯法罕大学）
针对微调ASR模型易受对抗迁移攻击的问题，提出TransferBreaker统一微调框架，通过基础对抗微调、潜在雅可比正则化和混合梯度对抗微调抑制迁移，在三种语言和四个大模型上将对抗WER从92.6降至27.8。
2026-10-08 cs.LG
To Reverse the Gradient or Not: An Empirical Comparison of Adversarial and Multi-task Learning in Speech Recognition
Facebook AI Research（脸书人工智能研究院）
转录的数据集通常包含数据中每个实例的说话者身份。我们研究了两种在训练过程中整合这些信息的方法：多任务学习和对抗学习。在多任务学习中，目标是说话人预测;如果语音识别和说话人识别这两个任务共享一组共同的底层特征，我们预计这种联合训练会提高性能。相反，对抗学习是一种学习对说话者不变的表示的方法。然后，我们期望更好的性能，如果这个学习的不变性有助于推广到新的扬声器。虽然这两种方法在语音识别的上下文中看起来很自然，但它们是不兼容的，因为它们对应于反向传播到模型的相反梯度。为了更好地了解这些方法在出错率方面的效果，我们在受控环境中比较了这两种策略。此外，我们探索使用额外的未转录的数据在半监督，对抗学习的方式，以提高出错率。我们的研究结果表明，在大数据集上训练的深度模型已经在没有任何辅助损失的情况下开发了对说话者的不变表示。当考虑对抗学习和多任务学习时，对声学模型的影响似乎很小。然而，以半监督方式训练的模型可以提高错误率。
2019-02-14 cs.CL cs.LG cs.SD
On the Use of Audio Fingerprinting Features for Speech Enhancement with Generative Adversarial Network
McGill University（麦吉尔大学）；Concordia University（康考迪亚大学）
语音增强中基于学习的方法的出现已经恢复了对鲁棒且可靠的训练特征的需要，所述训练特征能够在保留语音信号的重要信息的同时对语音信号进行压缩表示。时间-频率域特征，例如短期傅里叶变换（STFT）和梅尔频率倒谱系数（MFCC），在许多方法中是优选的。虽然MFCC提供了紧凑的表示，但它们忽略了每个梅尔尺度子带中的能量的动态和分布。在这项工作中，语音增强系统的生成对抗网络（GAN）的基础上实现和测试的音频指纹（AFP）的功能从MFCC和归一化频谱子带质心（NSSC）的组合。NSSC捕获语音共振峰的位置，并以关键的方式补充MFCC。在不同说话人和噪声类型的实验中，基于GAN的语音增强与所提出的AFP特征组合实现了最佳的客观性能，同时减少了内存需求和训练时间。
2020-07-27 cs.LG cs.SD eess.AS
Analysis by Adversarial Synthesis -- A Novel Approach for Speech Vocoding
Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
经典的参数语音编码技术为语音信号提供了紧凑的表示。这提供了非常低的传输速率，但是具有降低的重构信号的感知质量。最近，诸如WaveNet和SampleRNN的自回归深度生成模型已经被用作语音声码器，以在不增加编码速率的情况下按比例增加重构信号的感知质量。然而，这种模型由于其逐样本建模方法而遭受非常缓慢的信号生成机制。在这项工作中，我们介绍了一种新的方法，神经语音声码生成对抗网络（GANs）的基础上。使用条件GANs作为深度生成模型，从声门激励的非常压缩的表示生成假语音信号。然后，使用原始语音信号的LPC参数对该伪语音进行细化，以获得自然的重构。基于这种方法的重建语音波形表现出更高的感知质量比经典的声码器对应物根据主观和客观评价分数为30名男性和女性发言人的数据集。此外，与自回归生成模型相比，使用GANs能够一次性生成信号。这使得GANs有希望探索实现高质量的神经声码器。
2019-07-01 cs.LG cs.SD eess.AS
Temporarily-Aware Context Modelling using Generative Adversarial Networks for Speech Activity Detection
Queensland University of Technology（昆士兰科技大学）；SRI International（SRI国际研究所）
本文提出了一种新的语音活动检测（SAD）框架。受语音处理领域多任务学习方法最近取得的成功的启发，我们提出了一种新的SAD联合学习框架。我们利用生成对抗网络来自动学习损失函数，以联合预测逐帧语音/非语音分类以及下一个音频片段。为了利用输入信号中的时间关系，我们提出了一个时间序列，其目的是确保预测信号在时间上是一致的。我们在多个公共基准上评估了所提出的框架，包括NIST OpenSAT' 17，AMI会议和HAVIC，在这些基准上，我们展示了其优于最先进SAD方法的能力。此外，我们的跨数据库的评估表明，所提出的方法在不同的语言，口音和声学环境的鲁棒性。
2020-04-02 cs.LG cs.SD eess.AS
