Complex Frequency Domain Linear Prediction: A Tool to Compute Modulation Spectrum of Speech
Johns Hopkins University（约翰斯·霍普金斯大学）
传统的频域线性预测（FDLP）技术对具有不同近似度的语音的平方希尔伯特包络进行建模，其可以以所需的帧速率被采样并用作自动语音识别（ASR）的特征。虽然以前的传统FDLP模型的复倒谱已被用作紧凑的逐帧语音功能，它缺乏希尔伯特包络的上下文中的可解释性。在本文中，我们提出了一种修改的传统FDLP模型，允许容易解释的复杂的倒谱作为时间调制的语音信号的功率的全极点模型近似。此外，我们的“复杂”FDLP产生显着的速度相比，传统的FDLP相同程度的近似。
2022-03-31 cs.SD eess.AS eess.SP
Unsupervised Domain Adaptation for Speech Recognition via Uncertainty Driven Self-Training
MERL（三菱电机研究实验室）
当训练数据域和测试数据域不匹配时，自动语音识别（ASR）系统的性能通常会显著下降。在本文中，我们表明，自训练（ST）结合基于不确定性的伪标签过滤方法可以有效地用于领域自适应。我们提出了DUST，这是一种基于辍学的不确定性驱动的自我训练技术，它使用针对不同辍学设置获得的ASR系统的多个预测之间的一致性来测量模型对其预测的不确定性。DUST从训练中排除了具有高不确定性的伪标记数据，这导致与没有滤波的ST相比大大改善了ASR结果，并且由于减少了训练数据集而加快了训练时间。领域自适应实验使用WSJ作为源域和TED-LIUM 3以及EQUCHBOARD作为目标域表明，高达80%的地面实况数据训练的系统的性能可以恢复。
2021-02-16 cs.CL cs.LG cs.SD
Dropout Regularization for Self-Supervised Learning of Transformer Encoder Speech Representation
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
预测改变的声学帧是语音表示的自监督学习的一种有效方法。然而，防止预训练模型过度拟合是一个挑战。本文提出在Transformer编码器的预训练中引入两种dropout正则化方法：（1）注意力dropout，（2）层dropout。这两种dropout方法都鼓励模型利用全局语音信息，避免在重构掩蔽帧时只复制局部频谱特征。我们在音素分类和说话人识别任务上评估了所提出的方法。实验结果表明，我们的dropout方法取得了有竞争力的结果，并提高了下游任务的分类精度。
2021-07-09 cs.SD eess.AS
Detecting Audio Attacks on ASR Systems with Dropout Uncertainty
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近开发了各种对抗性音频攻击来欺骗自动语音识别（ASR）系统。我们在这里提出了一个防御这种攻击的基础上引入的不确定性神经网络中的辍学。我们表明，我们的防御能够检测到通过最先进的端到端ASR系统上的优化扰动和频率掩蔽创建的攻击。此外，可以使防御对不受噪声降低影响的攻击是鲁棒的。我们在Mozilla的CommonVoice数据集，UrbanSound数据集和LibriSpeech数据集的摘录上测试了我们的防御，表明它在广泛的场景中实现了高检测精度。
2020-09-15 cs.CR cs.LG cs.SD
Population Based Training for Data Augmentation and Regularization in Speech Recognition
Facebook AI Research（脸书人工智能研究院）
在优化过程中改变数据增强策略和正则化，与使用固定值相比，可以提高性能。我们表明，基于人口的训练是一个有用的工具，不断搜索这些超参数，在一个固定的预算。这大大简化了寻找这种最佳时间表的实验负担和计算成本。我们在语音识别中进行了实验，通过这种方式优化SpecAugment，以及dropout。与在训练过程中不改变这些超参数的基线相比，它具有8%的相对WER改善。在LibriSpeech的其他测试中，我们获得了5.18%的词出错率。
2020-10-08 cs.CL cs.SD eess.AS
DNN Based Speech Enhancement for Unseen Noises Using Monte Carlo Dropout
Indian Institute of Science（印度科学学院）
在这项工作中，我们提出使用辍学作为贝叶斯估计器，以提高深度神经网络（DNN）的泛化能力，用于语音增强。通过使用蒙特卡罗（MC）丢弃，我们表明DNN在不可见噪声和SNR条件下具有更好的增强效果。DNN在SNR为0，5和10 dB的Factory 2，M109，Babble，Leopard和Volvo噪声中进行语音训练，并在白色，粉红色和factory 1噪声中进行语音测试。语音样本来自TIMIT数据库，噪声来自NOISEX-92。在另一个实验中，我们训练五个DNN模型，分别对Factory 2，M109，Babble，Leopard和Volvo噪声，在0，5和10 dB SNR下的语音进行破坏。模型精度（使用MC dropout估计）用作平方误差的代理，以根据DNN模型在每帧测试数据上的性能动态选择最佳DNN模型。
2018-06-01 cs.SD eess.AS
Improved Frequency Modulation Features for Multichannel Distant Speech Recognition
National Technical University of Athens（雅典国立技术大学）
调频特征捕捉语音共振峰的精细结构，是对传统的基于能量的倒谱特征的有益补充。改进主要表现在GMM-HMM系统中，用于小词汇量和大词汇量任务。然而，它们在DNN-HMM系统和远程语音识别（DSR）任务中的应用有限。在这里，我们详细阐述了他们的集成在国家的最先进的前端计划，包括后处理的MFCC导致判别和扬声器适应功能的大的时间背景。我们探索1）多麦克风设置的多通道解调方案，2）更丰富的频率调制描述符，以及3）通过分层深度网络进行特征变换和组合。我们目前的结果串联和混合识别GMM和DNN声学模型，分别。改进的调制功能有效地结合MFCC产生适度的和一致的改善，在多通道远距离语音识别任务的混响和嘈杂的环境中，识别率是远离人类的表现。
2018-11-23 cs.HC cs.SD
Using Monte Carlo dropout for non-stationary noise reduction from speech
Indian Institute of Science（印度科学学院）
在这项工作中，我们建议使用dropout作为贝叶斯估计器，以提高用于语音增强的深度神经网络（DNN）的可推广性。通过使用蒙特卡罗（MC）丢弃，我们表明DNN在不可见噪声和SNR条件下具有更好的增强效果。DNN在SNR为0，5和10 dB的Factory 2，M109，Babble，Leopard和Volvo噪声中进行语音训练。语音样本来自TIMIT数据库，噪声来自NOISEX-92。在另一个实验中，我们训练五个DNN模型，分别对Factory 2，M109，Babble，Leopard和Volvo噪声，在0，5和10 dB SNR下的语音进行破坏。模型精度（使用MC dropout估计）用作平方误差的代理，以根据DNN模型在每帧测试数据上的性能动态选择最佳DNN模型。我们提出了一个算法，在模型精度上设置一个阈值，在基于分类器的模型选择方案和基于模型精度的选择方案之间进行切换。测试是在被看不见的噪声White、Pink和Factory 1以及所有五种可见噪声破坏的语音上进行的。
2018-08-28 cs.SD eess.AS
A Conformer Based Acoustic Model for Robust Automatic Speech Recognition
The Ohio State University（俄亥俄州立大学）
本研究提出一种基于一致性的声学模型来解决鲁棒的自动语音识别（ASR）。该模型建立在宽残差双向长短期记忆网络（WRBN）的基础上，具有逐段丢弃和迭代说话人自适应功能，但采用了Conformer编码器代替递归网络。Conformer编码器使用卷积增强的注意力机制进行声学建模。该系统的CHiME-4语料库的单耳ASR任务进行评估。结合发音规范化和说话人自适应，我们的模型实现了$6.25\%$的词出错率，它比WRBN的$8.4\%$相对。此外，所提出的基于一致性的模型是$18.3\%$更小的模型大小和减少总的训练时间由$79.6\%$。
2022-10-20 cs.AI cs.CL cs.SD
LipDiffuser: Lip-to-Speech Generation with Conditional Diffusion Models
Signal Processing, University of Hamburg, Germany（信号处理，汉堡大学，德国）
LipDiffuser提出基于条件扩散模型的唇语到语音生成方法，利用MP-ADM架构和MP-FiLM视觉特征，在LRS3上优于现有基线，提升语音质量和说话人相似度。
2025-10-24 cs.SD eess.AS
Accented Speech Recognition Inspired by Human Perception
New York University（纽约大学）
虽然在过去几年中自动语音识别性能已经有所改进，但机器在带口音语音上的性能仍然明显低于人类。此外，对口音语音最显著的改进主要是通过数百甚至数千小时的数据来解决问题。人类通常需要更少的数据来适应新的口音。本文探讨了受人类感知启发的方法，以评估口音语音识别的可能性能改进，特别关注识别与训练数据相比具有新口音的语音。我们的实验是在研究社区可用的小型可访问数据集上运行的。我们探索了四种方法：预先暴露于多个口音、基于字素和音素的发音、dropout（以改进对新口音的泛化）以及识别神经网络中可以具体地与口音建模相关联的层。我们的研究结果表明，基于人类感知的方法是有前途的，在减少WER和理解如何在神经网络中为新的口音语音建模。
2021-04-09 cs.CL cs.LG cs.SD
Thaka at KSAA-2026 Task 2: Regularized Fine-Tuning for Arabic Speech Diacritization
Thaka
针对低资源阿拉伯语音节符号化任务，通过正则化微调CATT-Whisper多模态模型，结合R-Drop一致性正则化、Optuna优化超参数和Focal Loss，在KSAA-2026共享任务中取得第一名。
2026-05-25 cs.CL cs.SD eess.AS
Radically Old Way of Computing Spectra: Applications in End-to-End ASR
Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了一种使用频域线性预测（FDLP）来计算频谱图的技术，该技术使用全极点模型来拟合不同频率子带中语音的平方希尔伯特包络。一个完整的语音话语的频谱图是通过连续的全极点模型响应的叠加计算的。1.5秒的长上下文窗口使我们能够捕获频谱图中语音的低频时间调制。对于端到端的自动语音识别任务，FDLP频谱图与用于干净读取语音训练和测试数据的标准mel频谱图特征表现相当。对于具有训练测试域失配或混响的更真实的语音数据，FDLP谱图分别显示出相对于mel谱图的25%和22%的相对WER改进。
2021-04-02 cs.SD eess.AS
u-HuBERT: Unified Mixed-Modal Speech Pretraining And Zero-Shot Transfer to Unlabeled Modality
Meta AI
虽然视听语音模型与纯音频模型相比可以产生更好的性能和鲁棒性，但它们的开发和采用受到缺乏标记和未标记视听数据以及每个模态部署一个模型的成本的阻碍。在本文中，我们提出了u-HuBERT，这是一个自监督的预训练框架，可以利用多模态和单峰语音，并具有统一的掩蔽聚类预测目标。通过在预训练期间利用模态丢弃，我们证明了单个微调模型可以实现与最先进的模态特定模型相当或更好的性能。此外，我们的模型微调音频可以很好地执行视听和视觉语音输入，实现zero-shot模态泛化多个语音处理任务。特别是，我们的单一模型产生1.2%/1.4%/27.2%的语音识别字出错率的LRS 3与视听/音频/视觉输入。代码和型号可在https://github.com/facebookresearch/av_hubert上获得
2022-11-28 cs.AI cs.CL cs.CV
Learnable Front Ends Based on Temporal Modulation for Music Tagging
Queen Mary University of London（伦敦玛丽女王大学）；Carnegie Mellon University（卡内基梅隆大学）
虽然端到端系统在包括自动音乐标记的听觉信号处理中变得流行，但是使用原始音频作为输入的模型需要大量的数据和计算资源，而不需要领域知识。受时间调制被认为是听觉感知的重要组成部分这一事实的启发，我们引入了时间调制神经网络（TMNN），它将Mel类数据驱动的前端和时间调制滤波器与简单的ResNet后端相结合。该结构包括一组时间调制滤波器，以捕获所有频率信道中的长期模式。实验结果表明，所提出的前端超过国家的最先进的（SOTA）的方法在MagnaTagATune数据集上的自动音乐标记，他们也有助于语音命令的关键字定位。此外，每个标签的模型性能表明，具有复杂节奏和情绪标签的流派或乐器标签可以特别地通过时间调制来改进。
2022-11-28 cs.SD eess.AS
Small energy masking for improved neural network training for end-to-end speech recognition
Samsung Research（三星研究院）
在本文中，我们提出了一个小能量屏蔽（SEM）算法，它屏蔽输入值低于一定的阈值。更具体地，如果时频仓中的滤波器组能量小于某个能量阈值，则该时频仓被掩蔽。采用均匀分布来随机地生成该能量阈值与以分贝为单位的每个发声的峰值滤波器组能量的比率。未掩蔽的特征元素被缩放，使得特征值的总和通过该掩蔽过程保持相同。这个非常简单的算法显示出相对于基线端到端语音识别系统，标准LibriSpeech测试-干净和测试-其他集的字错误率（WER）分别提高了11.2%和13.5%。此外，与输入丢弃算法相比，SEM算法在相同的LibriSpeech测试干净集和测试其他集上显示出相对7.7%和11.6%的改进。通过使用Transformer LM的改进的浅融合技术，我们在LibriSpeech测试-干净集上获得了2.62%的WER，在LibriSpeech测试-其他集上获得了7.87%的WER。
2020-02-15 cs.LG cs.SD eess.AS
Robust Raw Waveform Speech Recognition Using Relevance Weighted Representations
Indian Institute of Science（印度科学研究所）
在噪声和信道失真的情况下的语音识别通常是具有挑战性的，因为当前的声学建模方案不适应于在存在噪声的情况下信号分布的变化。在这项工作中，我们开发了一种新的声学建模框架噪声鲁棒语音识别的基础上相关加权机制。使用子网络方法执行特征选择来实现相关性加权。在对原始语音信号进行操作的卷积网络模型的第一层的输出上应用相关子网络，而在第二卷积层输出上应用第二相关子网络。第一层的相关性权重对应于声学滤波器组选择，而第二层中的相关性权重执行调制滤波器选择。该模型被训练用于对有噪声和混响语音的语音识别任务。在多个数据集（Aurora-4、CHiME-3、VOiCES）上的语音识别实验表明，在神经网络架构中结合相关性加权显著改善了语音识别单词错误率（相对于基线系统平均相对改善10%）。
2020-10-29 cs.SD eess.AS
Magic dust for cross-lingual adaptation of monolingual wav2vec-2.0
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Le Mans University（勒芒大学）
我们提出了一种简单有效的跨语言迁移学习方法，以适应单语wav 2 vec-2.0模型的自动语音识别（ASR）在资源稀缺的语言。我们表明，单语wav 2 vec-2.0是一个很好的Few-Shot ASR学习者在几种语言。我们通过使用目标语言中中等大小的未标记语音数据集，通过几次迭代的辍学不确定性驱动的自训练（DUST）进一步提高其性能。这项工作的一个关键发现是，适应单语wav 2 vec-2.0实现了类似的性能的顶线多语言XLSR模型，这是在53种语言上训练，在目标语言ASR任务。
2021-10-07 cs.CL cs.SD eess.AS
mWhisper-Flamingo for Multilingual Audio-Visual Noise-Robust Speech Recognition
MIT（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工-IBM沃森人工智能实验室）；University of Tuebingen（图宾根大学）
本文提出mWhisper-Flamingo，通过融合预训练音频模型Whisper和视频模型AV-HuBERT，并引入解码器模态丢弃机制，在9种语言的MuAViC数据集上实现了多语言抗噪音视频语音识别的最先进性能。
2025-05-07 cs.CV cs.SD eess.AS
On Robustness to Missing Video for Audiovisual Speech Recognition
Google LLC（谷歌有限责任公司）
针对视听语音识别中视频缺失导致性能下降且鲁棒性评估缺乏共识的问题，提出可精确验证的鲁棒性评估框架，经系统实证验证，基于级联的架构无关方案可稳定实现视频缺失鲁棒性。
2023-12-19 cs.CV cs.LG cs.SD
Robust and Complex Approach of Pathological Speech Signal Analysis
Brno University of Technology（布尔诺理工大学）；Masaryk University（马萨里克大学）；Universidad Politecnica de Madrid（马德里理工大学）；St. Anne’s University Hospital（圣安妮大学医院）；Central European Institute of Technology（中欧理工学院）
本文提出了一种研究的方法，在国家的最先进的领域的病理语音信号分析，特别侧重于参数化技术。它提供了92个语音特征的描述，其中一些特征已经在该科学领域中广泛使用，而另一些特征尚未尝试（它们来自语音信号处理的不同领域，如语音识别或编码）。作为一个原创性的贡献，这项工作介绍了36个全新的病理语音调制谱，下丘系数，倒双谱，样本和近似熵和经验模式分解的基础上的措施。这些功能的意义进行了测试3（英语，西班牙语和捷克语）病理语音数据库的分类准确性，灵敏度和特异性。
2022-03-17 cs.SD eess.AS
Multilingual Training and Cross-lingual Adaptation on CTC-based Acoustic Model
Idiap Research Institute（伊迪亚普研究所）
用于自动语音识别（ASR）的多语言模型是有吸引力的，因为它们已被证明受益于更多的训练数据，并且更好地适应资源不足的语言。然而，从单语上下文相关的模型初始化导致爆炸的上下文相关的状态。连接主义时间分类（CTC）是一个潜在的解决方案，因为它与单音素标签表现良好。我们调查多语言CTC的背景下，适应和正规化技术，已被证明是有益的，在更传统的背景下。多语言模型被训练为使用CTC损失函数对基于通用国际音标（IPA）的音素集进行建模。学习隐藏单元贡献（LHUC）进行语言自适应训练。此外，跨语言适应过程中的辍学也进行了研究和测试，以减轻过拟合问题。实验结果表明，LHUC可以提高基于音素的通用CTC系统的性能，并且在跨语言适应过程中可以扩展到新的音素。更新所有参数显示在有限数据上的一致改善。在自适应过程中应用dropout可以进一步改进系统，并在有限的数据上实现与深度神经网络/隐马尔可夫模型（DNN/HMM）系统竞争的性能。
2018-01-23 cs.SD eess.AS
Interpretable Representation Learning for Speech and Audio Signals Based on Relevance Weighting
Indian Institute of Science（印度科学学院）
从原始数据中学习可解释的表示对语音等时间序列数据提出了重大挑战。在这项工作中，我们提出了一个相关的加权方案，允许在模型本身的前向传播的语音表示的解释。相关性加权是使用子网络方法来实现的，该方法执行特征选择任务。应用于对原始语音信号进行操作的卷积神经网络模型的第一层的输出上的相关子网络充当具有相关性加权的声学滤波器组（FB）层。在第二卷积层上应用的类似相关性子网络执行具有相关性加权的调制滤波器组学习。由相关子网络、卷积层和前馈层组成的全声学模型针对Aurora-4、CHiME-3和VOiCES数据集中的噪声和混响语音的语音识别任务进行训练。所提出的表示学习框架也适用于UrbanSound 8 K数据集中的声音分类任务。通过模型学习的相关性权重的详细分析表明，相关性权重捕获关于底层语音/音频内容的信息。此外，语音识别和声音分类实验表明，在神经网络结构中的相关加权的结合显着提高了性能。
2020-10-29 cs.SD eess.AS
FiLM-Based Speaker Conditioning of a SpeechLLM for Pathological Speech Recognition
Telefónica Innovación DigitalSpain（西班牙电信创新数字研究院）；Universidad Autónoma de MadridSpain（马德里自治大学）；Brno University of TechnologyCzech Republic（捷克布拉格技术大学）
本研究提出通过特征线性调制（FiLM）将x-vector说话人信息注入冻结的ASR编码器各Transformer层，实现对病理语音的说话人自适应，在不修改基础模型权重的情况下提升识别性能，并保持对非条件化语音的问答能力。
2026-06-04 cs.CL cs.SD eess.AS
SRMR variants for improved blind room acoustics characterization
INRS-EMT, University of Quebec（魁北克大学INRS-EMT）
混响，特别是在大房间中，严重降低了语音识别性能和语音清晰度。由于房间特性的直接测量通常是不可能的，因此混响相关度量（诸如混响时间（RT）和直接混响能量比（DRR））的盲估计对于在封闭环境中操作的语音识别和增强算法来说可以是有价值的信息。这项工作的目的是评估性能的五个变种的盲RT和DRR估计的基础上的混响语音的调制谱表示与单通道和多通道语音数据。这些模型都是基于所谓的语音混响调制能量比（SRMR）的变体。我们表明，这些措施优于国家的最先进的基线的基础上最大似然估计的声音衰减率的均方根误差（RMSE），以及皮尔逊相关。与基线相比，最好的建议措施，称为NSRMR_k，在RMSE方面实现了23%的相对改善，并允许RT预测的相对相关性改善范围从13%到47%。
2015-10-15 cs.SD
Filterbank Learning for Noise-Robust Small-Footprint Keyword Spotting
Aalborg University（奥尔堡大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Oticon A/S（奥迪康公司）
在关键字定位（KWS）的上下文中，用可学习的特征替换手工制作的语音特征并没有产生优越的KWS性能。在这项研究中，我们证明了滤波器组学习优于手工制作的语音功能KWS时，滤波器组通道的数量严重减少。减少通道数量可能会导致KWS性能下降，但也会大幅降低能耗，这对于在低资源设备上部署常见的始终在线KWS至关重要。在Google Speech Commands Dataset的噪声版本上的实验结果表明，滤波器组学习适应噪声特性，对噪声具有更高的鲁棒性，特别是在集成dropout时。因此，从通常使用的40通道log-Mel特征切换到8通道学习特征导致仅3.5%的相对KWS准确度损失，同时实现6.3倍的能耗降低。
2023-02-23 cs.HC cs.LG cs.SD
Detecting Adversarial Examples for Speech Recognition via Uncertainty Quantification
Ruhr University Bochum（波鸿鲁尔大学）
机器学习系统，特别是自动语音识别（ASR）系统容易受到对抗性攻击，其中攻击者恶意地改变输入。在ASR系统的情况下，最有趣的情况是有针对性的攻击，其中攻击者的目的是迫使系统识别任意音频样本中的给定目标传输。越来越多的复杂的，准不可察觉的攻击提出了对策的问题。在本文中，我们专注于混合ASR系统，并比较了四种声学模型在攻击下指示不确定性的能力：前馈神经网络和三个专门为不确定性量化设计的神经网络，即贝叶斯神经网络，蒙特卡洛辍学和深度合奏。我们采用声学模型的不确定性度量来构建一个简单的一类分类模型，用于评估输入是良性的还是敌对的。基于这种方法，我们能够检测到接收算子曲线得分超过0.99的对抗性示例。用于不确定性量化的神经网络同时减少了对攻击的脆弱性，这反映在与标准混合ASR系统相比恶意目标文本的识别准确性较低。
2020-08-02 cs.CR cs.LG cs.SD
Improving Label Assignments Learning by Dynamic Sample Dropout Combined with Layer-wise Optimization in Speech Separation
Rutgers University（罗格斯大学）；Amazon（亚马逊）
针对语音分离中PIT存在的标签分配频繁切换和层解耦问题，提出动态样本丢弃（DSD）与逐层优化（LO）相结合的训练策略，有效提升了模型性能且无需额外训练成本。
2023-11-20 cs.LG cs.SD eess.AS
AmbiDrop: Array-Agnostic Speech Enhancement Using Ambisonics Encoding and Dropout-Based Learning
School of Electrical and Computer Engineering, Ben Gurion University of the Negev（内盖夫本-古里安大学电气与计算机工程学院）
提出AmbiDrop框架，通过全息声信号匹配将任意阵列编码到球谐域，结合通道丢弃训练，实现无需多几何阵列数据的阵列无关语音增强，在未见阵列上显著提升SI-SDR、PESQ和STOI。
2026-07-02 eess.AS
Prediction of speech intelligibility with DNN-based performance measures
Carl von Ossietzky Universität Oldenburg（卡尔·冯·奥西茨基奥尔登堡大学）
本文提出了一种基于自动语音识别（ASR）的语音可懂度模型，该模型结合了来自深度神经网络（DNN）的音素概率和从这些概率估计单词出错率的性能度量。该模型在测试过程中不需要干净的语音参考，也不需要单词标签，因为ASR解码步骤被省略，该步骤在给定音素后验概率的情况下找到最可能的单词序列。该模型通过从8个正常听力的听众的预测和观察到的语音接收阈值之间的均方根误差进行评估。识别任务包括从德国矩阵句子测试中识别噪声单词。语音材料与八个噪声掩蔽物混合，覆盖不同的调制类型，从语音形状的静态噪声到单个说话者掩蔽物。的预测性能进行比较，五个已建立的模型和一个ASR模型，使用单词标签。测试了功能和网络的两种组合。两者都包括在特征级（幅度调制滤波器组和前馈网络）或由架构（梅尔频谱图和时间延迟深度神经网络，TDNN）捕获的时间信息。TDNN模型与DNN相当，同时将参数数量减少了37倍;这种优化允许在专用助听器硬件上并行流，因为可以在每帧的10 ms内计算前向传递。该模型的性能几乎与基于标签的模型一样好，并且比基线模型产生更准确的预测。
2022-03-17 cs.AI cs.CL cs.LG
A CTC Triggered Siamese Network with Spatial-Temporal Dropout for Speech Recognition
Siamese网络在无监督视觉表征学习中表现出了有效的结果。这些模型旨在通过最大化它们的相似性来学习一个输入的两个增强的不变表示。本文提出了一种有效的Siamese网络来提高端到端自动语音识别（ASR）的鲁棒性。我们引入时空dropout来支持Siamese-ASR框架的更剧烈的扰动。此外，我们还放松了相似性正则化，以最大限度地提高关联时间分类（CTC）尖峰出现的帧上的分布的相似性，而不是在所有的帧上。在AISHELL-1和Librispeech两个基准测试上，该架构的效率分别降低了7.13%和6.59%。分析表明，我们提出的方法带来了更好的均匀性的训练模型，并扩大了CTC尖峰明显。
2022-06-22 eess.AS
Towards the Transferable Audio Adversarial Attack via Ensemble Methods
Shandong University（山东大学）；Quancheng Laboratory（泉城实验室）
本文研究语音识别中对抗样本的可迁移性，提出随机梯度集成和动态梯度加权集成方法，实验证明其生成的对抗样本可有效攻击黑盒API。
2023-04-18 cs.CR cs.LG cs.SD
Time-Frequency Localization Using Deep Convolutional Maxout Neural Network in Persian Speech Recognition
Faculty of Biomedical Engineering, Amirkabir University of Technology (Tehran Polytechnic)（阿米尔卡比尔理工大学（德黑兰理工大学）生物医学工程学院）
在本文中，提出了一种基于CNN的结构的时频局部化的信息波斯语语音识别。研究表明，哺乳动物初级听觉皮层和中脑的某些神经元感受野的谱时可塑性使得定位设备能够提高识别性能。在过去的几年里，人们已经做了很多工作来定位ASR系统中的时频信息，使用诸如HNN，TDNN，CNN和LSTM-RNN等方法的空间或时间不变性。然而，这些模型中的大多数具有大的参数体积，并且对训练具有挑战性。为此，我们提出了一种称为时频卷积Maxout神经网络（TFCMNN）的结构，其中并行的时域和频域1D-CMNN同时独立地应用于频谱图，然后将它们的输出连接起来，并联合应用于一个完全连接的Maxout网络进行分类。为了提高这种结构的性能，我们使用了新开发的方法和模型，如Dropout，maxout和权重归一化。在FARSDAT数据集上设计并实施了两组实验，以评估该模型与传统1D-CMNN模型相比的性能。根据实验结果，TFCMNN模型的平均识别分数比传统的1D-CMNN模型的平均值高约1.6%。此外，TFCMNN模型的平均训练时间比传统模型的平均训练时间低约17小时。因此，如在其他来源中所证明的，ASR系统中的时频定位提高了系统精度并加快了训练过程。
2022-08-31 cs.AI cs.SD eess.AS
Modality Dropout for Improved Performance-driven Talking Faces
Apple（苹果公司）
我们描述了我们的新的深度学习方法，使用声学和视觉信息来驱动动画面部。具体地，使用视听信息来生成语音相关的面部运动，并且仅使用视觉信息来生成非语音面部运动。为了确保我们的模型在训练期间利用这两种模式，生成了包含仅音频，仅视频和视听输入特征的批次。丢弃模态的概率允许控制模型在训练期间利用音频和视觉信息的程度。我们的训练模型在资源有限的硬件上实时运行（例如\智能电话），它是用户不可知的，并且它不依赖于语音的潜在的易于出错的转录。我们使用主观测试来证明：1）视听驱动的动画相对于等效的仅视频方法的改进，以及2）引入模态丢弃后语音相关面部运动的动画的改进。在引入dropout之前，51%的测试序列中观众更喜欢视听驱动的动画，而视频驱动的只有18%。引入dropout后，观众对视听驱动动画的偏好增加到74%，但对纯视频的偏好下降到8%。
2020-05-27 cs.LG cs.SD eess.AS
A Comprehensive Study of Deep Bidirectional LSTM RNNs for Acoustic Modeling in Speech Recognition
RWTH Aachen University（亚琛工业大学）
我们对基于深度双向长短期记忆（LSTM）递归神经网络（RNN）的自动语音识别（ASR）声学模型进行了全面研究。我们研究的效果的大小和深度和训练模型多达8层。我们研究了训练方面，并研究了优化方法的不同变体，如dropout，截断反向传播，不同的正则化技术，如dropout和$L_2$正则化，以及不同的梯度裁剪变体。实验分析的主要部分是在Quaero语料库上进行的。还在Switchboard语料库上进行了额外的实验。与Quaero任务上的最佳前馈神经网络（FFNN）基线相比，我们最好的LSTM模型在单词出错率方面有超过14%的相对改善。在这项任务中，我们使用8层双向LSTM获得了最佳结果，并且我们证明了具有逐层构造的预训练方案有助于深度LSTM。最后，我们比较了许多实验的训练计算时间与识别性能的关系。所有实验都是使用RETURNN（RWTH通用递归神经网络的可扩展训练框架）和RASR（RWTH ASR工具包）完成的。
2017-03-29 cs.CL cs.LG cs.NE
Global SNR Estimation of Speech Signals using Entropy and Uncertainty Estimates from Dropout Networks
Samsung R&D Institute India, Bangalore（三星印度班加罗尔研发中心）
本文提出了两种新的方法来估计语音信号的全局信噪比。在这两种方法中，语音识别系统中使用的深度神经网络-隐马尔可夫模型（DNN-HMM）声学模型被用于SNR估计的附加任务。在第一种方法中，计算DNN-HMM输出的熵。最近关于baidu深度学习的研究表明，使用dropout训练的DNN-HMM可以通过将其近似为深度高斯过程来估计模型的不确定性。在第二种方法中，这种近似用于获得模型不确定性估计。噪声特定的回归用于从熵和模型不确定性预测SNR。DNN-HMM在GRID语料库上进行训练，并在来自DEMAND噪声数据库的不同噪声配置文件上进行测试，SNR水平范围为-10 dB至30 dB。
2018-04-12 cs.AI eess.AS eess.SP
Realization and design of a pilot assist decision-making system based on speech recognition
National University of Defense Technology（国防科技大学）
提出了一种基于语音识别的飞行员辅助决策系统。该系统基于半实物仿真飞行器仿真平台，以SPCE 061A微控制器为核心处理器，具有较高的可靠性和性价比。将线性预测倒谱编码（LPCC）和动态时间规整（DTW）技术应用于孤立词语音识别中，以获得更小的计算量和更好的实时性。此外，我们还采用了PWM（脉冲宽度调制）调节技术，通过语音有效地调节各个操纵面，从而辅助驾驶员做出决策。经过反复试验，证明我们有令人满意的语音识别准确率和控制效果。更重要的是，本文为智能人机交互和语音识别在航空控制领域的应用提供了一种创新的思路。该系统也很容易推广和应用。
2014-06-11 cs.HC cs.SD
On Single-Channel Speech Enhancement and On Non-Linear Modulation-Domain Kalman Filtering
Imperial College London（帝国理工学院）
这份报告的重点是算法，执行单通道语音增强。本文作者在[1]、[2]、[3]、[4]和[5]中使用调制域卡尔曼滤波算法进行语音增强，即噪声抑制和去混响。调制域卡尔曼滤波可以应用于噪声和后期混响抑制，并且在[2]、[1]、[3]和[4]中，设计、实现和测试了执行调制域卡尔曼滤波的各种基于模型的语音增强算法。[2]中的基于模型的增强算法估计并跟踪语音相位。[5]中的基于短时傅里叶变换的增强算法使用[6]中提出的活动语音电平估计器。本报告介绍了不同的算法如何执行语音增强和算法在本报告中讨论的是针对研究人员感兴趣的单声道语音增强。算法由不同的处理块和技术组成[7];理解系统设计期间所做的实现选择很重要，因为这可以提供有助于开发新算法的见解。索引术语-语音增强，去混响，去噪，卡尔曼滤波器，最小均方误差估计。
2018-10-31 cs.SD eess.AS
A Study of Dropout-Induced Modality Bias on Robustness to Missing Video Frames for Audio-Visual Speech Recognition
University of Science and Technology of China（中国科学技术大学）；Georgia Institute of Technology（佐治亚理工学院）
该研究针对音视频语音识别中dropout提升缺失帧鲁棒性却降低完整数据性能的问题，从模态偏差角度揭示原因，提出MBH假说与MDA-KD框架，结合适配器应对模态完全缺失，经MISP数据集验证有效。
2024-03-07 cs.CV cs.LG cs.MM
Whisper-Aware LLM: Self-Supervised Uncertainty Learning for Robust Whispered Speech Recognition
Qwen Business Unit of Alibaba（阿里巴巴通义千问业务部）
本文提出Whisper-Aware LLM框架，通过自监督学习量化声学信号缺陷并结合置信融合解码机制，在AISHELL6-Whisper数据集上将耳语语音识别的CER相对降低17%，幻觉率降至4.5%，达到最优性能。
2026-08-12 cs.AI cs.SD
Modulation-Domain Kalman Filtering for Monaural Blind Speech Denoising and Dereverberation
Imperial College London（帝国理工学院）
本文提出了一种基于调制域卡尔曼滤波的单声道语音增强算法，对语音和混响的时频对数幅度谱进行盲跟踪。我们提出了一种自适应算法，执行盲联合去噪和去混响，同时考虑帧间语音动态，通过估计的后验分布的语音对数幅度谱给定的对数幅度谱的嘈杂的混响语音。卡尔曼滤波器更新步骤对语音、噪声和混响对数谱之间的非线性关系进行建模。卡尔曼滤波算法使用考虑混响时间、$T_{60}$和直达混响能量比（DRR）的混响参数的信号模型，并且还估计和跟踪每个频率仓中的$T_{60}$和DRR，以便改进语音对数幅度谱的估计。卡尔曼滤波算法进行了测试和图形描绘的估计混响功能随时间的推移进行检查。所提出的算法进行评估的语音质量，语音清晰度和混响性能的混响参数和信噪比的范围内，在不同的噪声类型，也比较竞争的去噪和去混响技术。对含噪混响语音的实验结果表明了该增强算法的有效性。
2018-07-26 cs.SD eess.AS
VaSAB: The variable size adaptive information bottleneck for disentanglement on speech and singing voice
IRCAM（声学与音乐研究与协调研究所）；CNRS（法国国家科学研究中心）
针对语音转换中信息瓶颈自编码器瓶颈尺寸固定、需在解耦效果与合成质量间权衡的问题，提出基于dropout的可变尺寸自适应信息瓶颈VaSAB，可按上下文调整瓶颈，提升语音与歌声的F0解耦效果及合成质量，还构建了通用语音模型。
2023-10-05 cs.SD eess.AS
Modulation spectral features for speech emotion recognition using deep neural networks
Indian Institute of Technology（印度理工学院）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
研究了基于恒Q变换的调制谱特征（CQT-MSF）在语音情感识别中的应用。人类对声音的感知和分析包括两个重要的认知部分：早期听觉分析和基于皮层的处理。早期的听觉分析考虑基于频谱图的表示，而基于皮层的分析包括从频谱图中提取时间调制。这种频谱图的时间调制表示称为调制谱特征（MSF）。由于恒定Q变换（CQT）在语音的情感显著低频区域提供了更高的分辨率，我们发现基于CQT的谱图，连同其时间调制，提供了一个表示丰富的情感特定的信息。我们认为，CQT-MSF与2维卷积网络一起使用时，可以提供一个时移不变和变形不敏感的表示SER。我们的研究结果表明，CQT-MSF优于标准的梅尔尺度为基础的频谱图和调制功能的两个流行的SER数据库，柏林ECORDB和RAVDESS。我们还表明，我们提出的功能优于移位和变形不变的散射变换系数，因此，显示联合手工制作和自学的特征提取，而不是依赖于完整的手工制作的功能的重要性。最后，我们进行梯度CAM分析，直观地检查恒定Q调制功能的贡献超过SER。
2023-01-14 cs.SD eess.AS
Neural Architecture Search for Speech Emotion Recognition
CUHK Stanley Ho Big Data Decision Analytics Research Centre（香港中文大学何鸿燊大数据决策分析研究中心）；Centre for Perceptual and Interactive Intelligence（感知与交互智能研究中心）
深度神经网络为语音情感识别（SER）带来了重大进步。然而，SER中的体系结构设计主要基于专家知识和经验（试错）评估，这是耗时和资源密集型的。在本文中，我们建议应用神经架构搜索（NAS）技术来自动配置SER模型。为了加快候选架构的优化，我们提出了一个统一的路径丢弃策略，鼓励所有候选架构操作，以平等地优化。在IEMOCAP上对两种不同神经网络结构的实验结果表明，NAS在保持模型参数大小不变的情况下，可以提高SER性能（54.89%~ 56.28%）.所提出的辍学策略也显示出优于以前的方法。
2022-03-31 cs.CL cs.LG cs.SD
A Modulation-Domain Loss for Neural-Network-based Real-time Speech Enhancement
我们描述了基于深度学习的语音增强系统的调制域损失函数。可学习的频谱时间感受野（STRFs）进行了调整，以优化扬声器识别任务。然后，学习的STRF用于计算调制域中的加权均方误差（MSE），用于训练语音增强系统。实验表明，将调制域MSE添加到频谱-时间域中的MSE实质上改善了实时语音增强系统的语音质量和可懂度的客观预测，而不会在推理期间引起额外的计算。
2021-02-15 eess.AS
Speech Enhancement Based on Reducing the Detail Portion of Speech Spectrograms in Modulation Domain via Discrete Wavelet Transform
National Chi Nan University（暨南国际大学）；Academia Sinica（中央研究院）
提出了一种基于离散小波变换的语音增强方法。该方法减少了语音信号谱图中的快速时变分量，即小波细节分量，突出了语音的主导分量，提高了语音质量。这种新方法的一个特点是，它是完全无监督的，不需要任何先验信息的干净的语音和噪声在处理的话语。本文提出的基于小波变换的SE方法与各种缩放因子的细节部分进行了评估与Aurora-2数据库的一个子集，和PESQ度量是用来表示处理后的语音信号的质量。初步结果表明，处理后的语音信号显示出更高的PESQ分数相比，原来的同行。此外，我们表明，这种方法仍然可以通过完全丢弃细节部分（将相应的缩放因子设置为零）来增强信号，从而揭示了可以对频谱图进行下采样，从而在不降低质量的情况下进行压缩。此外，我们将这种新的方法与传统的语音增强算法，包括谱减法，维纳滤波，频谱MMSE估计，并表明，所得的集成行为优于各自的组件方法。结果表明，该方法对提高语音质量是十分有效的，并且与其他的SE方法相比具有很好的互补性。
2018-11-08 cs.SD eess.AS
Unifying Speech Enhancement and Separation with Gradient Modulation for End-to-End Noise-Robust Speech Separation
Nanyang Technological University（南洋理工大学）；Hunan University（湖南大学）
近年来，基于神经网络的单声道语音分离研究取得了令人瞩目的成功，这得益于长序列建模能力的提高。然而，当置于现实的噪声条件下时，它们会显着降低，因为背景噪声可能被误认为是说话人的语音，从而干扰分离的源。为了缓解这个问题，我们提出了一种新的网络，统一语音增强和分离与梯度调制，以提高噪声鲁棒性。具体来说，我们首先建立一个统一的网络，结合语音增强（SE）和分离模块，多任务学习优化，其中SE是监督并行清洁混合，以减少下游语音分离的噪声。此外，为了避免抑制有效的说话人信息时，降低噪声，我们提出了一种梯度调制（GM）策略，以协调SE和SS任务从优化的角度。实验结果表明，我们的方法在大规模Libri 2 Mix和Libri 3 Mix噪声数据集上达到了最先进的水平，SI-SNRi结果分别为16.0 dB和15.8 dB。我们的代码可以在GitHub上找到。
2023-02-22 cs.LG cs.SD eess.AS
Acoustic correlates of the syllabic rhythm of speech: Modulation spectrum or local features of the temporal envelope
College of Biomedical Engineering and Instrument Science, Zhejiang University（浙江大学生物医学工程与仪器科学学院）
本研究通过分析大型语音语料库，发现语音包络的局部特征（而非调制谱）与音节起始更可靠相关，且音节起始时间可解释包络约24%的方差，支持θ振荡在音节提取中的作用。
2023-01-14 cs.SD eess.AS q-bio.NC
Robust MelGAN: A robust universal neural vocoder for high-fidelity TTS
Northwestern Polytechnical University（西北工业大学）；Mashang Consumer Finance Co., Ltd.（马上消费金融股份有限公司）
在目前的两阶段神经文本到语音（TTS）的范例，它是理想的，有一个通用的神经声码器，一旦训练，这是强大的不完美的梅尔频谱预测从声学模型。为此，我们提出了鲁棒MelGAN声码器，解决了原来的多频带MelGAN的金属声问题，并增加其泛化能力。具体来说，我们引入了一个细粒度的网络丢弃策略的生成器。通过一个专门设计的过平滑处理器，将语音信号的周期性和非周期性成分分离，只对周期性成分进行网络丢弃，消除了金属音，保持了良好的说话人相似性。为了进一步提高泛化能力，我们引入了几种数据增强方法来增强伪数据，包括谐波偏移、谐波噪声和相位噪声。实验表明，鲁棒MelGAN可以作为一个通用的声码器，显着提高语音合成系统的声音质量建立在各种类型的数据。
2022-11-02 cs.SD eess.AS
Spectrotemporal Modulation: Efficient and Interpretable Feature Representation for Classifying Speech, Music, and Environmental Sounds
New York University（纽约大学）；Queen Mary University of London（伦敦大学女王学院）；Max Planck Society（马克斯·普朗克协会）
本文提出基于频谱时间调制（STM）特征的无预训练音频分类方法，在语音、音乐和环境声音上达到与预训练音频DNN相当的性能，证明STM高效且可解释，并为听觉科学、脑机接口和认知计算开辟新方向。
2025-05-29 cs.LG cs.SD eess.AS
Fusion of Modulation Spectrogram and SSL with Multi-head Attention for Fake Speech Detection
针对伪造语音检测系统域泛化能力差的问题，提出融合自监督学习（SSL）语音嵌入与调制谱（MS）特征的新表示，结合AASIST后端网络，在单语及多语数据集上实现性能提升，增强域泛化能力。
2025-08-26 eess.AS
MatchboxNet: 1D Time-Channel Separable Convolutional Neural Network Architecture for Speech Commands Recognition
我们提出了一个MatchboxNet -一个用于语音命令识别的端到端神经网络。MatchboxNet是一个深度残差网络，由1D时间通道可分离卷积、批量归一化、ReLU和dropout层组成。MatchboxNet在Google Speech Commands数据集上达到了最先进的准确性，同时参数比类似模型少得多。MatchboxNet的小尺寸使其成为计算资源有限的设备的有吸引力的候选者。该模型具有高度可扩展性，因此可以通过适度的额外内存和计算来提高模型精度。最后，我们展示了使用辅助噪声数据集的密集数据增强如何在存在背景噪声的情况下提高鲁棒性。
2020-04-21 eess.AS
Blind Estimation of Room Acoustic Parameters and Speech Transmission Index using MTF-based CNNs
Japan Advanced Institute of Science and Technology（日本先进科学技术学院）；National Science and Technology Development Agency（国家科技发展局）；Sirindhorn International Institute of Technology, Thammasat University（泰国法政大学诗琳通国际理工学院）
提出了一种基于调制传递函数和Schroeder模型的七倍频程混响时间盲估计方法。因此，可以估计语音传输指数和五个房间声学参数。
2021-03-14 cs.SD eess.AS
FocalCodec: Low-Bitrate Speech Coding via Focal Modulation Networks
Concordia University（康科德大学）；Mila-Quebec AI Institute（魁北克AI研究院）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；Université Laval（拉瓦尔大学）
本文提出FocalCodec，一种基于焦点调制的低比特率语音编解码器，利用单一二进制码本在0.16-0.65 kbps下压缩语音，兼顾语义与声学信息，性能优于现有方法，并支持多语言及噪声环境。
2025-10-24 cs.AI cs.LG cs.SD
