SpliceOut: A Simple and Efficient Audio Augmentation Method
Indian Institute of Technology Bombay（印度孟买理工学院）；Verisk Analytics（威睿凯分析公司）
时间掩蔽已经成为语音和音频任务的事实上的增强技术，包括自动语音识别（ASR）和音频分类，最显著的是作为SpecAugment的一部分。在这项工作中，我们提出了SpliceOut，一个简单的修改时间掩蔽，使其计算更有效。SpliceOut在各种语音和音频任务上的表现都超过（有时甚至超过）SpecAugment，包括使用不同数量的训练数据针对七种不同语言的ASR，以及语音翻译，声音和音乐分类，从而将自己确立为广泛适用的音频增强方法。当与其他增强技术结合使用时，SpliceOut还提供了额外的增益。除了全监督设置，我们还证明了SpliceOut可以补充无监督表示学习与半监督和自监督设置中的性能增益。
2021-10-13 cs.AI cs.LG cs.SD
Aalto's End-to-End DNN systems for the INTERSPEECH 2020 Computational Paralinguistics Challenge
Aalto University（阿尔托大学）
端到端神经网络模型（E2E）在不同的INTERSPEECH ComparE任务上表现出显著的性能优势。以前的工作要么应用E2E模型的单个实例的任务或相同的E2E架构的不同任务。然而，应用单个模型是不稳定的，或者使用相同的体系结构，而没有充分利用特定于任务的信息。在ComparE 2020任务中，我们研究了应用E2E模型的集合来实现强大的性能，并为每个任务开发特定于任务的修改。ComparE 2020引入了三个子挑战：呼吸子挑战，用于预测患者在说话时佩戴的呼吸带的输出;老年子挑战，用于估计老年说话者的唤醒和效价水平;以及面罩子挑战，用于分类说话者是否佩戴面罩。在这些任务中的每一个上，集成都优于单个E2E模型。在呼吸子挑战中，我们研究了多损失策略对任务绩效的影响。在老年子挑战中，预测效价和唤醒水平促使我们研究多任务训练并实施数据采样策略来处理类不平衡。在掩模子挑战中，使用没有功能工程的E2E系统与功能工程基线相比具有竞争力，并且在与功能工程基线相结合时提供了大量收益。
2020-08-06 cs.LG cs.SD eess.AS
Remote Monitoring of Patient Respiration with Mask Attachment -- A Pragmatic Solution for Medical Facilities
远程监测传染病患者的生命体征可以最大限度地降低病毒传播给医疗保健专业人员的风险。有证据表明，戴口罩可以降低病毒传播的风险，现在已成为医疗机构的标准。我们建议在口罩上附加一个声学传感装置，以帮助医疗机构远程监测患者的呼吸。对16名健康参与者进行了改良面罩的可用性和功能性研究，这些参与者在整个数据收集过程中被蒙上眼睛。大约一半的参与者注意到了改良后的口罩和未改良的口罩之间的差异，但他们也报告说，使用改良后的口罩没有任何不适。对参与者的呼吸频率进行了一分钟的评估，发现呼吸频率的平均误差为每分钟2.0 +/- 1.3次呼吸。由于所有参与者都是健康的，通过泡沫人体模型播放176次喘息和176次正常呼吸来评估喘息检测算法。录音在三个不同的时间播放，以考虑不同的环境噪音。喘息检测算法的总体准确率为91.9%。目前的研究结果支持并建议在医疗机构中使用面罩附件。
2021-12-15 eess.AS eess.SP
CAU_KU team's submission to ADD 2022 Challenge task 1: Low-quality fake audio detection through frequency feature masking
Chung-Ang University（中央大学）；Korea University（高丽大学）
本技术报告介绍了忠安大学和高丽大学（CAU_KU）团队参与音频深度合成检测（ADD）2022挑战赛的模型，第1轨道：低质量虚假音频检测。对于音轨1，我们提出了一种频率特征掩蔽（FFM）增强技术来处理低质量的音频环境。可以应用基于频谱图的模型的检测百分比。我们在五个基于频谱图的深度神经网络架构上应用了FFM和混合增强，这些架构在使用梅尔频谱图和恒定Q变换（CQT）特征的欺骗检测中表现良好。我们最好的提交达到了23.8%的EER排名第三的轨道1。
2022-02-09 cs.SD eess.AS
PM-MMUT: Boosted Phone-Mask Data Augmentation using Multi-Modeling Unit Training for Phonetic-Reduction-Robust E2E Speech Recognition
Xinjiang University（新疆大学）；Tencent Minority-Mandarin Translation（腾讯民族语言-普通话翻译团队）；Xinjiang Key Laboratory of Multi-lingual Information Technology（新疆多语种信息技术重点实验室）
在自动语音识别（ASR）中，辅音和元音的减少会导致识别性能下降。我们最近提出的基于掩蔽的学习策略，电话掩蔽训练（PMT），阐明了这种现象在维吾尔语ASR中的影响。虽然PMT取得了显着的改进，仍然存在进一步的增益空间，由于PMT的掩蔽单元（音素）和建模单元（词片）之间的粒度不匹配。为了提高PMT的性能，我们提出了多建模单元训练（MMUT）架构融合PMT（PM-MMUT）。MMUT框架的思想是将编码器分成两部分，包括声学特征序列到音素级表示（AF-to-PLR）和音素级表示到词段级表示（PLR-to-WPLR）。它允许AF-到-PLR通过基于中间音素的CTC损失来优化，以学习PMT带来的丰富的音素级上下文信息。在维吾尔语语音识别系统上的实验结果表明，该方法的识别性能明显优于纯PMT。我们还使用ESPnet 1在960小时的Libripeech基准上进行了实验，与最新的官方ESPnet 1预训练模型相比，在没有LM融合的情况下，所有测试集的相对WER降低了约10%。
2022-07-03 cs.CL cs.SD eess.AS
FilterAugment: An Acoustic Environmental Data Augmentation Method
声学环境通过与声波传播的物理相互作用来影响要识别的声音的声学特性。因此，训练用于音频和语音任务的声学模型需要在各种声学环境上进行正则化，以便在现实生活应用中实现鲁棒性能。我们提出了FilterAugment，一种数据增强方法，用于在各种声学环境中对声学模型进行正则化。FilterAugment通过在频段上应用不同的权重来模拟声学滤波器，从而使模型能够从更宽的频率区域提取相关信息。它是频率掩蔽的改进版本，其掩蔽随机频段上的信息。FilterAugment将声音事件检测（SED）模型的性能提高了6.50%，而频率掩蔽在复调声音检测分数（PSDS）方面仅提高了2.13%。当应用于与文本无关的说话人确认模型时，该方法的等误率（EER）为1.22%，优于使用频率掩蔽的模型，EER为1.26%。FilterAugment原型应用于我们参与DCASE 2021挑战任务4，并在获得第三名方面发挥了重要作用。
2022-02-07 eess.AS
Unmasking Deepfakes: Leveraging Augmentations and Features Variability for Deepfake Speech Detection
Ben Gurion University（本古里安大学）；University of Haifa（海法大学）
针对深度伪造语音检测难题，本文提出融合双阶段掩码、压缩感知增强策略的混合训练框架，在多个ASVspoof系列基准上取得当前最优检测性能。
2025-11-13 cs.SD eess.AS
Towards Automatic Data Augmentation for Disordered Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
针对障碍语音识别数据稀缺的问题，提出基于强化学习的自动数据增强方法，用RNN策略控制器自动学习SpecAugment的掩码参数，在UASpeech语料上取得优于或媲美手工策略的效果。
2023-12-14 cs.SD eess.AS
Improving Whispered Speech Recognition Performance using Pseudo-whispered based Data Augmentation
Delft University of Technology（代尔夫特理工大学）
针对耳语语音训练数据稀缺导致ASR性能低的问题，提出基于信号处理的伪耳语数据增强方法，使端到端ASR词错误率相对降低18.2%，并发现声门信息缺失是主要影响因素。
2023-11-09 cs.SD eess.AS
Supervised and Self-supervised Pretraining Based COVID-19 Detection Using Acoustic Breathing/Cough/Speech Signals
University of Science and Technology of China (USTC)（中国科学技术大学）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）
在这项工作中，我们提出了一种基于双向长短期记忆（BiLSTM）网络的COVID-19检测方法，该方法使用呼吸/语音/咳嗽信号。通过使用声学信号分别对网络进行训练，我们可以为三个任务建立单独的模型，将其参数平均以获得平均模型，然后将其用作每个任务的BiLSTM模型训练的初始化。这种初始化方法可以显着提高三个任务的性能，超过了官方的基线结果。此外，我们还使用了一个公共的预训练模型wav2vec2.0，并使用官方的DiCOVA数据集对其进行预训练。该wav2vec2.0模型用于提取声音的高级特征作为模型输入，以取代传统的梅尔频率倒谱系数（MFCC）特征。实验结果表明，使用高层次的功能与MFCC功能可以提高性能。为了进一步提高性能，我们还部署了一些预处理技术，如无声段删除，幅度归一化和时频掩模。在DiCOVA数据集上对所提出的检测模型进行了评估，结果表明，我们的方法在融合轨迹的盲测试中实现了88.44%的曲线下面积（AUC）得分。
2022-01-22 cs.SD eess.AS
SpecAugment: A Simple Data Augmentation Method for Automatic Speech Recognition
我们提出SpecAugment，一个简单的数据增强方法的语音识别。SpecAugment直接应用于神经网络的特征输入（即，滤波器组系数）。增强策略包括扭曲的功能，掩蔽块的频率通道，和掩蔽块的时间步长。我们将SpecAugment应用于Listen，Attend和Spell网络，用于端到端的语音识别任务。我们在LibriSpeech 960 h和Swichboard 300 h任务上实现了最先进的性能，超过了之前的所有工作。在LibriSpeech上，在不使用语言模型的情况下，我们在其他测试中实现了6.8%的WER，在与语言模型浅融合的情况下实现了5.8%的WER。这与先前的7.5% WER的最先进的混杂系统相比。对于Switchboard，在不使用语言模型的情况下，我们在Hub 5 '00测试集的Switchboard/CallHome部分上实现了7.2%/14.6%，在浅融合的情况下实现了6.8%/14.1%，与之前最先进的混杂系统相比，WER为8.3%/17.3%。
2019-12-03 cs.CL cs.LG cs.SD
PhasePerturbation: Speech Data Augmentation via Phase Perturbation for Automatic Speech Recognition
Massey University（梅西大学）；Dalian Maritime University（大连海事大学）；Shandong University（山东大学）
针对现有语音数据增强多基于波形或幅度谱的问题，提出动态作用于相位谱的PhasePerturbation方法，结合三种相位操作增强数据多样性，有效降低ASR词错误率，可与现有幅度谱增强方法互补提升性能。
2023-12-13 cs.AI cs.SD eess.AS
CochCeps-Augment: A Novel Self-Supervised Contrastive Learning Using Cochlear Cepstrum-based Masking for Speech Emotion Recognition
Khalifa University of Science and Technology（哈利法克斯科技大学）
本文提出CochCeps-Augment，一种基于仿生耳蜗倒谱图（CCGRAM）的掩码增强任务，通过SimCLR生成对比视图进行自监督对比学习，在K-EmoCon数据集上验证了其在语音情感识别中的噪声鲁棒性和有效性。
2024-02-10 cs.LG cs.SD eess.AS
Two-Stage Augmentation and Adaptive CTC Fusion for Improved Robustness of Multi-Stream End-to-End ASR
The Johns Hopkins University（约翰斯·霍普金斯大学）
自动语音识别（ASR）系统的性能下降时，通常观察到的测试声学条件是不同于训练。因此，必须使ASR系统对各种环境失真（例如背景噪声和混响）具有鲁棒性。在多流范例中，提高鲁棒性考虑到处理各种看不见的单流条件和流间动态。以前，在多流端到端ASR中提出了一种实用的两阶段训练策略，其中第2阶段使用来自第1阶段通用特征提取器（UFE）的特征来制定多流模型。在本文中，作为扩展，我们介绍了一个两阶段的增强计划，重点是不匹配的情况下：第一阶段增强旨在解决单流输入品种与数据增强技术;第二阶段的时间掩蔽适用于时间掩模的UFE功能随机选择的流，以模拟不同的流组合。在推理过程中，我们还提出了自适应的连接主义时间分类（CTC）融合的帮助下，分层注意力机制。实验已经进行了两个数据集，DIRHA和AMI，作为一个多流的情况下。与以前的训练策略相比，有很大的改进，在几个看不见的流组合的相对字出错率减少29.7-59.3%。
2021-02-05 cs.CL cs.SD eess.AS
Unsupervised Pre-training of Bidirectional Speech Encoders via Masked Reconstruction
Amazon Alexa（亚马逊Alexa）
我们提出了一种通过掩蔽重建损失来预训练语音表示的方法。我们的预训练编码器网络是双向的，因此可以直接用于典型的双向语音识别模型。然后，可以在较少量的监督数据上对预训练的网络进行微调，以用于语音识别。在LibriSpeech和华尔街日报语料库上的实验显示了良好的效果。我们发现，导致语音识别改进的主要因素是：掩蔽段的足够的宽度在时间和频率，预训练的大量未标记的数据比标记的数据，和域自适应时，未标记的和标记的数据来自不同的领域。来自预训练的增益是监督数据增强的增益的相加。
2020-05-05 cs.SD eess.AS
SpeechBlender: Speech Augmentation Framework for Mispronunciation Data Generation
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；KTH Royal Institute of Technology（KTH皇家理工学院）
针对 L2 发音错误标注数据不足，本文提出 SpeechBlender 细粒度语音增强流水线，通过掩码与线性插值生成训练样本，并在多个基准上提升检测性能。
2023-07-12 cs.CL cs.SD eess.AS
Applying Speech Tempo-Derived Features, BoAW and Fisher Vectors to Detect Elderly Emotion and Speech in Surgical Masks
MTA-SZTE Research Group on Artificial Intelligence（MTA-SZTE人工智能研究组）；University of Szeged（塞格德大学）
2020年INTERSPEECH计算副语言学挑战赛（ComparE）由三个子挑战组成，其中的任务是识别老年人说话者的唤醒水平和效价，确定实际说话者是否戴着外科口罩，以及估计说话者的实际呼吸。在我们对挑战的贡献中，我们专注于老年人情绪和面具子挑战。除了利用标准或接近标准的功能，如ComparE泛函，Bag-of-Audio-Words和Fisher向量，我们利用情绪与语速（即语速）。为了利用这一点，我们使用ASR系统执行语音级识别，并从输出中提取特征，如发音节奏，语音节奏和测量停顿量的各种属性。我们还假设戴着外科口罩会让说话者感到不安，导致语速变慢和更多犹豫;因此，我们也在口罩子挑战中尝试了相同的功能。虽然这一理论并没有被面具子挑战的实验结果所证明，但在老年人情绪子挑战中，我们在开发集和交叉验证中都获得了这种特征类型的显著改善的唤醒和效价值。
2020-08-07 cs.CL cs.SD eess.AS
Beyond Words: Towards Effective Modeling of Non-Verbal Vocalizations in ASR
Meta
针对ASR系统忽略非语言发声的问题，提出三种数据驱动策略（两阶段课程学习、跨类别迁移、语音转换增强），利用发声间共享声学结构提升稀有类别识别。
2026-10-08 eess.AS
