Investigating the Sensitivity of Automatic Speech Recognition Systems to Phonetic Variation in L2 Englishes
School of Computer Science（计算机科学学院）；ADAPT SFI Research Centre（ADAPT SFI研究中心）；University College Dublin（都柏林大学学院）
本研究通过探测ASR系统，分析其对第二语言英语中罕见语音变异的处理，发现音素级误识别导致高词错误率，并建议通过补充训练数据增强系统鲁棒性。
2023-05-12 cs.CL cs.SD eess.AS
Frequency Domain Multi-channel Acoustic Modeling for Distant Speech Recognition
Amazon Inc.（亚马逊公司）
传统的远场自动语音识别（ASR）系统通常采用麦克风阵列技术来进行语音增强，以便提高对噪声或混响的鲁棒性。然而，这样的语音增强技术并不总是产生ASR准确度的改进，因为用于语音增强的优化标准并不直接与ASR目标相关。在这项工作中，我们开发了新的声学建模技术，可以直接基于ASR标准从多通道（MC）输入中优化空间滤波和长短期记忆（LSTM）层。与传统的方法相比，我们将阵列处理知识的声学模型。此外，我们初始化网络的波束形成器的系数。我们通过ASR实验研究这种MC神经网络对真实世界远场数据的影响，其中用户在不受控制的声学环境中与ASR系统进行交互。我们表明，我们的MC声学模型可以减少字错误率（WER）的~ 16.5%相比，一个单通道ASR系统与传统的对数梅尔滤波器组能量（LFBE）功能平均。我们的研究结果还表明，与使用七个麦克风的传统波束形成相比，我们的网络在双通道输入上具有空间滤波层，实现了约9.5%的相对WER降低。
2019-04-28 cs.SD eess.AS
The RWTH ASR System for TED-LIUM Release 2: Improving Hybrid HMM with SpecAugment
Swiss AI Lab, IDSIA（瑞士人工智能实验室（IDSIA））；USI（瑞士意大利语区大学）；SUPSI（瑞士意大利语区应用科学大学）
我们提出了一个完整的训练管道，以建立一个国家的最先进的混合HMM为基础的ASR系统的第二次发布的TED-LIUM语料库。使用SpecAugment的数据增强成功地应用于使用i-vectors的最佳SAT模型之上，以提高性能。通过研究不同掩蔽的效果，我们在不增加模型大小和训练时间的情况下，实现了SpecAugment对混合HMM模型的改进。随后的sMBR训练被应用于微调最终的声学模型，LSTM和Transformer语言模型都被训练和评估。我们最好的系统在测试集上实现了5.6%的WER，相对于以前的最先进的系统高出27%。
2020-04-02 cs.SD eess.AS
Right Label Context in End-to-End Training of Time-Synchronous ASR Models
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek公司）
针对时间同步 ASR 中右标签上下文导致的梯度归一化问题，提出含辅助左右标签上下文的全求和因子化损失，并证明其在低资源场景及纯全求和混合 HMM 构建中的有效性。
2025-01-09 cs.SD eess.AS
Benchmarking LF-MMI, CTC and RNN-T Criteria for Streaming ASR
Facebook AI（Facebook人工智能）
在这项工作中，为了测量延迟控制的流式自动语音识别（ASR）应用的准确性和效率，我们对三个流行的训练标准进行了全面的评估：LF-MMI，CTC和RNN-T。在使用3 K-14 K小时的训练数据转录7种语言的社交媒体视频时，我们使用相同的数据集和编码器模型架构对每个标准进行了大规模的受控实验。我们发现RNN-T在ASR准确性方面具有一致的优势，而CTC模型在推理效率方面表现出色。此外，我们有选择地研究了不同训练标准的各种建模策略，包括建模单元，编码器架构，预训练等。鉴于这种大规模的真实世界流媒体ASR应用，据我们所知，我们提出了这三个广泛使用的训练标准的第一个全面的基准测试。
2020-11-09 cs.SD eess.AS
A Persian ASR-based SER: Modification of Sharif Emotional Speech Database and Investigation of Persian Text Corpora
语音情感识别（SER）是人类理解环境和如何与他人交互的基本感知方法之一，因此，近年来，人们一直试图将情感识别能力添加到人机通信系统中。由于SER过程依赖于标记数据，数据库是必不可少的。不完整，低质量或有缺陷的数据可能会导致不准确的预测。在本文中，我们固定谢里夫情感语音数据库（ShEMO），作为一个波斯语数据库，通过使用自动语音识别（ASR）系统和调查的效果，波斯语语言模型获得可访问的波斯语文本语料库。我们还介绍了一个基于波斯语/波斯语ASR的SER系统，该系统使用ASR输出的语言特征和基于深度学习的模型。
2022-11-18 cs.AI cs.SD eess.AS
Minimum Bayes Risk Training for End-to-End Speaker-Attributed ASR
Microsoft Corp.（微软公司）
最近，针对单声道重叠语音，提出了一种端到端的说话人属性自动语音识别（E2 E SA-ASR）模型，作为说话人计数、语音识别和说话人识别的联合模型。在以前的研究中，模型参数的训练基于说话人属性最大互信息（SA-MMI）标准，与多说话人转录和说话人识别的联合后验概率最大化的训练数据。尽管SA-MMI训练对于由各种数量的说话者组成的重叠语音显示出有希望的结果，但训练标准并不直接与最终的评估度量相关联，即，说话者归因的单词错误率（SA-WER）。在本文中，我们提出了一种说话人属性最小贝叶斯风险（SA-MBR）训练方法，其中参数被训练为直接最小化训练数据上的预期SA-WER。使用LibriSpeech语料库的实验表明，与SA-MMI训练的模型相比，所提出的SA-MBR训练使SA-WER相对降低了9.0%。
2020-11-03 cs.CL cs.SD eess.AS
Investigating the Effects of Word Substitution Errors on Sentence Embeddings
Arizona State University（亚利桑那州立大学）
在几个自然语言处理（NLP）任务中，关键的初始步骤涉及将文本短语嵌入到保留语义含义的实数向量中。为此，最近提出了几种方法，在语义相似性任务上取得了令人印象深刻的结果。然而，所有这些方法都假设在生成嵌入时可以获得完美的转录本。虽然这对于分析书面文本是一个合理的假设，但它限制了对转录文本的分析。在本文中，我们调查的影响，如来自自动语音识别错误（ASR）的单词替换错误，对几个国家的最先进的句子嵌入方法。要做到这一点，我们提出了一个新的模拟器，允许实验者诱导ASR合理的词替换错误在语料库中所需的字出错率。我们使用这个模拟器来评估几个句子嵌入方法的鲁棒性。我们的研究结果表明，预训练的神经句子编码器对ASR错误具有鲁棒性，并且在引入错误后在文本相似性任务中表现良好。同时，词向量的未加权平均值表现良好，完美的transmittance，但其性能迅速下降的文本相似性任务的文本与词替换错误。
2019-04-24 cs.CL cs.SD eess.AS
Crossmodal ASR Error Correction with Discrete Speech Units
University of Edinburgh（爱丁堡大学）
针对低资源跨域场景下ASR转录错误问题，提出结合离散语音单元增强词嵌入的跨模态AEC方法，验证了其在不同规模数据上的有效性与下游适用性。
2024-09-13 cs.CL cs.SD eess.AS
Streaming Transformer ASR with Blockwise Synchronous Beam Search
Sony Corporation（索尼公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
在端到端（E2 E）自动语音识别（ASR）系统中，Transformer自注意网络作为递归神经网络的替代已经显示出有前途的性能。然而，Transformer有一个缺点，即需要整个输入序列来计算自我注意力和源-目标注意力。本文提出了一种基于编码器分块处理的分块同步波束搜索算法来实现流媒体E2 E Transformer ASR。在波束搜索中，使用块边界检测技术同步对齐编码特征块，其中基于序列结束和假设中的重复标记来评估每个预测假设的可靠性得分。HKUST和AISHELL-1普通话，LibriSpeech英语和CSJ日本的任务的评估表明，建议的流Transformer算法优于传统的在线方法，包括单调块注意（MoChA），特别是当使用知识蒸馏技术。一项消融研究表明，我们的流方法有助于减少响应时间，重复标准在某些任务中有显着贡献。我们的流ASR模型在所有考虑的任务中实现了与批处理模型和其他基于流的Transformer方法相当或更高的性能。
2020-11-18 cs.SD eess.AS
Improving RNN Transducer Based ASR with Auxiliary Tasks
Facebook AI（Facebook人工智能）
与传统的混合语音识别器相比，具有单个神经网络的端到端自动语音识别（ASR）模型最近已经展示了最先进的结果。具体而言，循环神经网络传感器（RNN-T）在各种基准测试中表现出具有竞争力的ASR性能。在这项工作中，我们研究了RNN-T通过执行辅助任务来实现更好的ASR准确性的方法。我们建议（i）使用与主要RNN-T ASR任务相同的辅助任务，以及（ii）像传统的混合建模一样执行上下文相关的字形状态预测。在转录具有不同训练数据大小的社交媒体视频时，我们首先评估三种语言的流式ASR性能：罗马尼亚语，土耳其语和德语。我们发现，这两种方法提供了一致的改进。接下来，我们观察到两个辅助任务在学习RNN-T标准的深度Transformer编码器方面都表现出了有效性，从而与之前的顶级模型相比，在LibriSpeech测试-干净/其他上实现了具有竞争力的结果- 2.0%/4.2% WER。
2020-11-09 cs.CL cs.SD eess.AS
Acoustics-guided evaluation (AGE): a new measure for estimating performance of speech enhancement algorithms for robust ASR
University of Science and Technology of China（中国科学技术大学）；Georgia Institute of Technology（佐治亚理工学院）
鲁棒自动语音识别（ASR）的一个挑战性问题是如何在不计算误词率（WER）的情况下衡量语音增强算法（SEA）的优劣，因为人工翻译、语言建模和解码过程的成本很高。传统的评价语音质量和可懂度的指标如PESQ和STOI与WER的相关性较低。在这项研究中，提出了一种新的声学引导评估（AGE）措施估计性能的稳健ASR的SEAs。AGE由三个连续的步骤组成，即通过特征提取的低级别表示，通过声学模型（AM）的非线性映射的高级别表示，以及干净语音和退化语音的表示之间的最终AGE计算。具体地说，状态后验概率从神经网络的AM采用的高级表示和交叉熵准则用于计算AGE。实验表明，AGE可以产生一致的最高相关性与WER，并给出最准确的估计ASR性能相比，PESQ，STOI，声学置信度测量熵。潜在地，AGE可以用于指导基于深度学习的SEA的参数优化，以进一步提高识别性能。
2018-11-28 cs.SD eess.AS
Using Synthetic Audio to Improve The Recognition of Out-Of-Vocabulary Words in End-To-End ASR Systems
Amazon Alexa（亚马逊Alexa）
今天，许多最先进的自动语音识别（ASR）系统应用全神经模型，该模型将音频映射到沿着一个全局优化标准以完全数据驱动的方式端到端训练的单词序列。这些模型允许对训练材料中表示的域和词进行高精度ASR，但难以识别在训练期间很少或根本没有表示的词，即趋势词和新命名实体。在本文中，我们使用文本到语音（TTS）引擎提供合成音频的词汇表（OOV）的话。我们的目标是通过使用额外的音频文本对来提高循环神经网络转换器（RNN-T）对OOV单词的识别准确率，同时保持对非OOV单词的性能。探索了不同的正则化技术，并通过在编码器上应用弹性权重合并（EWC）对原始训练数据和额外的合成数据进行RNN-T微调来实现最佳性能。这产生了57%的相对字错误率（WER）的话语包含OOV字没有任何退化的整个测试集减少。
2021-02-10 cs.SD eess.AS
Enhancing Lyrics Transcription on Music Mixtures with Consistency Loss
Queen Mary University of London（伦敦大学女王学院）
本文针对ASR基础模型在音乐混合音频中歌词转写性能下降的问题，提出利用一致性损失对齐人声与混合音频编码器表示，并结合LoRA微调，在不依赖歌声分离的情况下实现稳定提升。
2025-06-03 cs.SD eess.AS
Speech Diarization and ASR with GMM
BMS College of Engineering（BMS工程学院）
本文研究语音分离与自动语音识别，提出利用高斯混合模型表示语音片段并基于簇间距离阈值进行分离，同时通过同步算法分析语音信号以降低词错误率。
2023-07-11 cs.LG cs.SD eess.AS
Domain Robust Feature Extraction for Rapid Low Resource ASR Development
Carnegie Mellon University（卡内基梅隆大学）
为低资源语言开发实用的语音识别器是具有挑战性的，这不仅是因为语言的（潜在未知的）属性，而且还因为测试数据可能与可用的训练数据不来自相同的域。在本文中，我们专注于后一个挑战，即域不匹配，使用基于序列的标准训练的系统。我们证明了使用预先训练的英语识别器的有效性，这是强大的不匹配的条件下，作为一个域规范化的特征提取器在低资源的语言。在我们的示例中，我们使用土耳其语会话语音和广播新闻数据。这使得能够快速开发新语言的语音识别器，可以很容易地适应任何领域。在不同的跨领域的情况下进行测试，我们实现了约25%的音素出错率的相对改善，与改善约50%的某些领域。
2018-09-30 cs.CL cs.SD eess.AS
Investigating the role of L1 in automatic pronunciation evaluation of L2 speech
Arizona State University（亚利桑那州立大学）
语音自动评测在语音训练和第二语言教学中起着重要的作用。该领域大量利用来自自动语音识别（ASR）的概念来量化非母语语音的发音与母语发音的接近程度。然而，众所周知，口音的形成与目标语言（L2）和说话者的第一语言（L1）的发音模式都有关。在本文中，我们建议使用两个母语声学模型，一个在L2语音上训练，另一个在L1语音上训练。我们开发了两套测量，可以从两个声学模型中提取口音的讲话。一个新的话语级特征提取方案是用来将这些测量值转换成一个固定的维度向量，这是用来作为一个统计模型的输入，以预测一个扬声器的重音。在由来自4个不同L1背景的扬声器组成的数据集上，我们表明，与仅使用L2声学模型的系统相比，所提出的系统与人类评估者的相关性得到了改善。
2018-07-04 cs.SD eess.AS
AGADIR: Towards Array-Geometry Agnostic Directional Speech Recognition
Meta
针对智能眼镜多通道 ASR 中麦克风阵列几何变化的问题，提出在多种相似几何结构上训练以实现几何无关泛化，并采用非线性约束最小方差准则改进波束形成，已见几何识别率相对提升 15%–28%。
2024-01-18 cs.SD eess.AS
Training Large ASR Encoders with Differential Privacy
Google（谷歌公司）
本文首次将差分隐私应用于ASR的自监督学习，研究BEST-RQ预训练方法的DP噪声容忍度，并提出基于梯度的层冻结剪枝变体，显著改善了隐私-效用-计算权衡。
2024-09-21 cs.CR cs.LG cs.SD
Investigating Self-supervised Pretraining Frameworks for Pathological Speech Recognition
Nagoya University（名古屋大学）
我们研究了用于自动语音识别（ASR）的病理语音数据集上的自监督预训练框架的性能。现代端到端模型需要数千小时的数据才能很好地进行训练，但只有少量的病理语音数据集是公开的。解决这个问题的一个行之有效的方法是首先在大量健康语音数据集上对模型进行预训练，然后在病理语音数据集上对其进行微调。一种新的预训练框架称为自监督学习（SSL），它只使用语音数据训练网络，在训练数据要求方面提供了更大的灵活性，并允许在预训练中使用更多的语音数据。我们研究SSL框架，如wav2vec 2.0和WavLM模型使用不同的设置，并比较它们的性能与不同的监督预训练设置，使用两种类型的病理语音，即日语electrolaryngeal和英语dysarthric。我们的研究结果表明，虽然SSL已显示出成功的最低限度的资源健康的语音，我们没有发现这是病态的语音的情况。最好的监督设置优于最好的SSL设置的13.9%的字符出错率在喉电语音和16.8%的字出错率在构音障碍的语音。
2022-06-29 cs.SD eess.AS
Listen, Attend, Spell and Adapt: Speaker Adapted Sequence-to-Sequence ASR
Nuance Communications, Inc.（Nuance通信公司）
基于序列到序列（seq 2seq）的ASR系统已经显示出最先进的性能，同时在简单性方面具有明显的优势。然而，比较主要是在与说话者无关（SI）的ASR系统上进行的，尽管说话者自适应的常规系统在实践中通常用于提高对说话者和环境变化的鲁棒性。在本文中，我们将说话人自适应应用到seq 2seq模型中，目标是匹配传统ASR自适应的性能。具体来说，我们调查Kullback-Leibler分歧（KLD）以及线性隐藏网络（LHN）为seq 2seq ASR的适应，每个扬声器使用不同量（最多20小时）的适应数据。我们的SI模型在大量听写数据上进行训练，并获得了最先进的结果。我们通过seq 2seq模型的KLD适应获得了25%的相对字错误率（WER）改善，而传统系统中的声学模型适应获得了18.7%的增益。我们还表明，seq 2seq模型的WER随着适应数据量的增加而呈对数线性下降。最后，我们分析了基于最小WER准则的自适应，并将语言模型（LM）与说话人自适应seq 2seq模型进行分数融合，从而进一步提高了seq 2seq系统的性能。
2019-07-08 cs.CL cs.LG cs.SD
Integrating Lattice-Free MMI into End-to-End Speech Recognition
Peking University（北京大学）；Tencent AI Lab（腾讯人工智能实验室）
在自动语音识别（ASR）研究中，判别准则在DNN-HMM系统中取得了优异的性能。鉴于这一成功，采用判别标准有望提高端到端（E2 E）ASR系统的性能。有了这个动机，以前的作品已经引入了最小贝叶斯风险（MBR，判别标准之一）到E2 E ASR系统。然而，基于MBR的方法的有效性和效率受到损害：MBR准则仅用于系统训练，这造成了训练和解码之间的不匹配;基于MBR的方法中的动态解码过程导致需要预先训练的模型和缓慢的训练速度。为此，在这项工作中，提出了新的算法集成到E2 E ASR系统中的另一个广泛使用的判别准则，无格最大互信息（LF-MMI），不仅在训练阶段，而且在解码过程中。所提出的LF-MMI训练和解码方法在两个广泛使用的E2 E框架上显示了其有效性：基于注意力的编码器-解码器（AED）和神经传感器（NT）。与基于MBR的方法相比，所提出的LF-MMI方法：保持了训练和解码之间的一致性;避免了动态解码过程;从随机初始化的模型进行训练，具有优越的训练效率。实验表明，LF-MMI方法的性能优于MBR方法，并且在30小时到14.3k小时的各种框架和数据集上始终导致统计上显着的性能改进。所提出的方法在Aishell-1（CER 4.10%）和Aishell-2（CER 5.02%）数据集上实现了最先进的（SOTA）结果。代码被释放。
2022-08-23 cs.CL cs.SD eess.AS
Noise Robust Speech Recognition Using Multi-Channel Based Channel Selection And ChannelWeighting
Nagaoka University of Technology（长冈技术科学大学）；Nanyang Technological University（南洋理工大学）
本文研究了噪声环境下用于鲁棒自动语音识别（ASR）的几种麦克风通道选择和加权方法。对于信道选择，我们分别研究了基于最大似然（ML）准则和最小自编码器重构准则的两种方法。对于通道加权，我们产生增强的对数梅尔滤波器组系数作为所有通道的系数的加权和。信道权值的估计采用带约束的最大似然准则。我们在CHiME-3噪声ASR任务上评估了所提出的方法。实验表明，信道加权由于其更高的灵活性，显著优于信道选择。此外，在不同通道具有不同目标信号增益的真实测试数据上，通道加权方法的性能与MVDR波束成形相同或更好，尽管通道加权没有利用通常用于波束成形的相位延迟信息。
2016-04-12 cs.MM cs.SD
Multiresolution and Multimodal Speech Recognition with Transformers
Amazon Lab126（亚马逊Lab126）
本文提出了一种基于transformer结构的视听自动语音识别系统。我们特别关注的场景上下文提供的视觉信息，地面的ASR。我们提取表示音频功能的编码器层的Transformer和融合视频功能，使用一个额外的跨模态多头注意层。此外，我们将多任务训练标准的多分辨率ASR，我们训练的模型，以产生字符和子字级transmittance。How2数据集上的实验结果表明，多分辨率训练可以将收敛速度提高约50%，并将字错误率（WER）性能相对于子字预测模型提高18%。此外，结合视觉信息提高了性能，相对于仅音频模型的相对增益高达3.76%。我们的研究结果与最先进的Listen，Attend和Spell架构相当。
2020-04-29 cs.CV cs.LG cs.SD
Scaling Conversational Hungarian ASR: The BEA-Dialogue+ Corpus
Department of Telecommunications and Artificial Intelligence（电信与人工智能系）；Budapest University of Technology and Economics（布达佩斯技术与经济大学）；Speechtex Ltd.（Speechtex公司）；ELTE Research Centre for Linguistics（ELTE语言学研究中心）
针对匈牙利语对话语音识别训练数据不足的问题，本文通过放宽分割标准扩展BEA-Dialogue语料库至200小时，并评估基于Whisper和FastConformer的模型，证明基于序列化输出训练的微调能持续改善识别性能。
2026-05-29 cs.AI cs.CL cs.SD
Investigating Generative Adversarial Networks based Speech Dereverberation for Robust Speech Recognition
Northwestern Polytechnical University（西北工业大学）；Xiaomi（小米）
我们研究了生成对抗网络（GANs）在语音去混响中的使用，以实现鲁棒的语音识别。最近已经研究了GANs用于语音增强以去除加性噪声，但是仍然缺乏研究它们在语音去混响中的能力的工作，并且使用GANs的优点还没有完全建立。在本文中，我们对ASR中基于GAN的去混响前端的使用进行了深入的研究。首先，我们研究了不同去混响网络（GAN中的生成器）的有效性，并发现LSTM在我们的数据集中与前馈DNN和CNN相比有显著的改进。其次，在深层LSTM中进一步添加剩余连接也可以提高性能。最后，我们发现，对于GAN的成功，重要的是在训练期间使用相同的小批量数据更新生成器和训练器。此外，使用混响声谱图作为一个条件，在以前的研究中建议，可能会降低性能。总之，当在强多条件训练声学模型上进行测试时，与基线DNN去混响网络相比，我们基于GAN的去混响前端实现了14%-19%的相对CER减少。
2018-10-25 cs.CL cs.SD eess.AS
A Simplified Fully Quantized Transformer for End-to-end Speech Recognition
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
虽然近年来在端到端自动语音识别（ASR）性能方面已经取得了显著的改进，但是这种改进是通过使用非常大的神经网络来获得的，不适合在边缘设备上嵌入式使用。话虽如此，在本文中，我们致力于简化和压缩基于Transformer的编码器-解码器架构，以实现端到端ASR任务。我们经验性地引入了一个更紧凑的语音变压器，通过研究丢弃特定模块对模型性能的影响。此外，我们评估了降低网络权重和激活的数值精度，同时保持全精度模型的性能。我们的实验表明，我们可以减少全精度模型的参数数量，然后通过完全量化到8位定点精度来进一步压缩模型4x。
2020-03-24 cs.CL cs.SD eess.AS
Are Soft Prompts Good Zero-shot Learners for Speech Recognition?
Alibaba Group（阿里巴巴集团）；Alibaba-NTU Singapore Joint Research Institute（阿里巴巴-新加坡南洋理工大学联合研究院）；Nanyang Technological University（南洋理工大学）
本文探究软提示在语音识别中的零样本学习能力，揭示其内容细化与噪声增强作用，并提出噪声提示修改方法以提升对分布外噪声的适应性。
2023-09-18 cs.SD eess.AS
An Effective End-to-End Modeling Approach for Mispronunciation Detection
National Taiwan Normal University（国立台湾师范大学）
最近，端到端（E2 E）自动语音识别（ASR）系统因其与传统混合DNN-HMM ASR系统相比取得的巨大成功和统一的建模范式而引起了极大的关注。尽管E2 E建模框架在ASR上被广泛采用，但仍然缺乏研究用于计算机辅助发音学习（CAPT）的E2 E框架的工作，特别是用于错误发音检测（MD）。作为回应，我们首先提出了一种新的使用混合CTCAttention方法的MD任务，利用CTC和基于注意力的模型的优势，同时绕过需要电话级强制对齐。其次，我们执行输入增强与文本提示信息，使所得到的E2 E模型更适合MD任务。另一方面，我们采用了两种MD决策方法，以便更好地配合建议的框架：1）决策的基础上的识别置信度或2）简单地基于语音识别的结果。一系列的Mandarin MD实验表明，我们的方法不仅简化了现有的混合DNN-HMM系统的处理流水线，但也带来了系统的和实质性的性能改善。此外，文本提示的输入增强似乎对基于E2 E的MD方法有很好的前景。
2020-05-18 cs.CL cs.SD eess.AS
aaeCAPTCHA: The Design and Implementation of Audio Adversarial CAPTCHA
University of Louisiana at Lafayette（路易斯安那大学拉斐特分校）
CAPTCHA旨在防止恶意机器人程序滥用网站。大多数在线服务提供商为视障用户部署音频CAPTCHA作为文本和图像CAPTCHA的替代方案。然而，先前调查音频CAPTCHA安全性的研究发现，它们非常容易受到使用自动语音识别（ASR）系统的自动攻击。为了提高音频验证码对自动滥用的鲁棒性，本文提出了一个音频对抗性验证码系统（aaeCAPTCHA）的设计与实现。aaeCAPTCHA系统利用音频对抗示例作为CAPTCHA，以防止ASR系统自动解决它们。此外，我们针对五个最先进的基于DNN的ASR系统和三个商业语音转文本（STT）服务对我们的新音频CAPTCHA设计进行了严格的安全评估。我们的实验评估表明，aaeCAPTCHA对这些语音识别技术是高度安全的，即使攻击者完全了解当前对音频对抗性示例的攻击。我们还对aaeCAPTCHA方案的概念验证实现进行了可用性评估。我们的研究结果表明，它实现了较高的鲁棒性在一个温和的可用性成本相比，正常的音频CAPTCHA。最后，我们的广泛分析强调，aaeCAPTCHA可以显着提高传统音频CAPTCHA系统的安全性和鲁棒性，同时保持类似的可用性。
2022-03-05 cs.CR cs.SD eess.AS
Bypass Temporal Classification: Weakly Supervised Automatic Speech Recognition with Imperfect Transcripts
Johns Hopkins University（约翰斯·霍普金斯大学）；NVIDIA（英伟达）；Xiaomi Corp.（小米公司）
针对人工标注语音语料中转写错误损害 ASR 性能的问题，本文提出扩展 CTC 的 BTC 准则，通过 WFST 组合增强训练图以显式建模转写不确定性，从而提升弱监督 ASR 的鲁棒性与准确率。
2023-06-01 cs.CL cs.LG cs.SD
Spectral feature mapping with mimic loss for robust speech recognition
The Ohio State University（俄亥俄州立大学）
对于语音增强任务，局部学习目标与有助于语音识别的语音结构无关。我们建议添加一个全局标准，以确保去噪语音对ASR等下游任务有用。我们首先训练干净的语音谱分类器预测senone标签。然后，频谱分类器加入我们的语音增强器作为一个嘈杂的语音识别器。该模型被教导在干净的语音上单独模仿频谱分类器的输出。该\textit{mimic loss}与传统的局部准则相结合，训练语音增强器产生去噪语音。将去噪后的语音馈送到CHiME-2语料库的现成Kaldi训练配方中显示了WER的显着改进。
2018-03-26 cs.CL cs.SD eess.AS
Invariant Representations for Noisy Speech Recognition
MILA（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；IBM Watson（IBM沃森）；CIFAR（加拿大高等研究院）
现代自动语音识别（ASR）系统需要在由环境、说话人、信道和记录条件引起的声学变化下具有鲁棒性。确保这种对可变性的鲁棒性在现代基于神经网络的ASR系统中是一个挑战，特别是当在训练期间没有看到所有类型的可变性时。我们试图通过鼓励神经网络声学模型学习不变特征表示来解决这个问题。我们使用最近的图像生成研究的想法，使用生成对抗网络和领域自适应的想法，扩展了基于梯度的对抗训练。Ganin等人最近的工作提出了通过使用来自主目标分类网络的中间表示来使用对抗训练用于图像领域自适应，以通过单独的神经网络来劣化领域分类器性能。我们的工作重点是研究神经架构，产生的表示不变的噪声条件下的ASR。我们评估建议的架构上的极光-4任务，噪声鲁棒ASR的一个流行的基准。我们表明，我们的方法比标准的多条件训练更好地推广，特别是当训练过程中只看到少数噪声类别时。
2016-11-27 cs.CL cs.CV cs.LG
FlowW2N: Whispered-to-Normal Speech Conversion via Flow-Matching
Samsung Electronics, Mobile eXperience Business（三星电子移动体验业务）
FlowW2N通过条件流匹配方法，在无需真实配对数据的情况下实现whisper到normal语音转换，显著提升可懂度并减少词错误率。
2026-10-02 cs.SD eess.AS
Multi-task Learning with Cross Attention for Keyword Spotting
Apple（苹果公司）；The University of Hong Kong（香港大学）
关键词定位（KWS）是语音应用中的一项重要技术，它使用户能够通过说出关键词短语来激活设备。虽然音素分类器可以用于KWS，利用大量的转录数据用于自动语音识别（ASR），但是在训练标准（音素识别）和目标任务（KWS）之间存在不匹配。最近，多任务学习已被应用于KWS，以利用ASR和KWS训练数据。在该方法中，声学模型的输出被分成用于两个任务的两个分支，一个用于用ASR数据训练的音素转录，一个用于用KWS数据训练的关键字分类。在本文中，我们介绍了一个交叉注意解码器的多任务学习框架。与具有输出层的简单分裂的常规多任务学习方法不同，交叉注意解码器通过在编码器输出和可训练查询序列之间执行交叉注意来总结来自语音编码器的信息，以预测KWS任务的置信度分数。KWS任务的实验结果表明，该方法实现了12%的相对减少的错误拒绝率相比，传统的多任务学习与分裂分支和双向长短队记忆解码器。
2021-09-22 cs.CL cs.LG cs.SD
Reducing Exposure Bias in Training Recurrent Neural Network Transducers
IBM Research AI（IBM研究院人工智能）；IBM T. J. Watson Research Center（IBM T. J. Watson研究中心）
当使用典型的最大似然准则训练循环神经网络传感器（RNTs）时，预测网络仅在地面真实标签序列上训练。这会导致推断过程中的不匹配，称为暴露偏差，此时模型必须处理包含错误的标签序列。在本文中，我们研究的方法，以减少暴露偏见的训练，以提高泛化的RNNT模型的自动语音识别（ASR）。一个标签保持输入扰动的预测网络。使用SwitchOut和基于附加令牌语言模型的预定采样来扰动输入令牌序列。在300小时Switchboard数据集上进行的实验证明了它们的有效性。通过减少暴露偏差，我们表明我们可以进一步提高高性能RNNT ASR模型的准确性，并在300小时Switchboard数据集上获得最先进的结果。
2021-08-24 cs.AI cs.CL cs.SD
HuBERT-EE: Early Exiting HuBERT for Efficient Speech Recognition
Chung-Ang University（中央大学）；Seoul National University（首尔大学）
针对自监督语音识别模型推理计算成本高的问题，提出带中间早退分支的HuBERT-EE方案，通过动态停止推理提升效率，在LibriSpeech上实现了性能与延迟的平衡。
2024-06-19 cs.CL cs.SD eess.AS
Investigation of Practical Aspects of Single Channel Speech Separation for ASR
Microsoft Corporation（微软公司）；Harbin Institute of Technology（哈尔滨工业大学）
语音分离由于其处理重叠语音的能力以及其与诸如自动语音识别（ASR）的下游任务相结合的灵活性而被成功地用作会话转录系统的前端处理模块。然而，语音分离模型经常引入目标语音失真，导致次优的字错误率（WER）。在本文中，我们描述了我们的努力，以提高单通道语音分离系统的性能。具体来说，我们调查了一个两阶段的训练计划，首先适用于预训练的特征级优化标准，其次是一个面向ASR的优化标准，使用端到端（E2E）语音识别模型。同时，为了保持模型的轻量级，我们引入了一种改进的师生学习技术来压缩模型。通过结合这些方法，与LibriCSS数据集上先前的最先进结果相比，我们使用小于10M参数的模型分别实现了2.70%和0.77%的绝对平均WER改进，用于话语评估和连续评估
2021-07-05 cs.SD eess.AS
Quantization of Acoustic Model Parameters in Automatic Speech Recognition Framework
Idiap Research Institute（伊迪亚普研究所）
最先进的混合自动语音识别（ASR）系统利用基于深度神经网络（DNN）的声学模型（AM），所述声学模型（AM）利用无格最大互信息（LF-MMI）准则和n-gram语言模型进行训练。AM通常具有数百万个参数，并且需要显著的参数减少以在嵌入式设备上操作。本文研究了参数量化对整体词识别性能的影响。提出了以下方法：（i）在Kaldi框架中使用传统的因子化TDNN（TDNN-F）架构训练AM，（ii）使用C++包装器将Kaldi中构建的TDNN AM加载到PyTorch工具包中进行训练后量化，（iii）在PyTorch中为Kaldi TDNN模型进行量化感知训练，（iv）在Kaldi中进行量化感知训练。在标准Librispeech设置上获得的结果提供了一个有趣的识别精度w.r.t.应用量化方案。
2020-11-20 cs.SD eess.AS
Streaming Keyword Spotting Boosted by Cross-layer Discrimination Consistency
MoE Key Lab of Artificial Intelligence, AI Institute, X-LANCE Lab, Shanghai Jiao Tong University（上海交通大学人工智能研究院、教育部人工智能重点实验室）；AISpeech Ltd（思必驰科技有限公司）；National University of Singapore（新加坡国立大学）
本文提出一种由跨层判别一致性（CDC）增强的流式解码算法，用于CTC-based KWS，通过跨层信息区分正负样本，在Hey Snips数据集上显著提升了召回率并降低了漏报和误报率。
2024-12-24 cs.SD eess.AS
Investigating the Invertibility of Multimodal Latent Spaces: Limitations of Optimization-Based Methods
该研究针对任务特定AI模型多模态潜在空间的逆映射能力展开探索，提出基于优化的双向逆推框架，验证了多模态潜在空间因前向任务优化而缺乏鲁棒可解释逆映射结构的假设，指出需研发语义更丰富的可逆多模态潜在空间。
2025-07-30 cs.AI cs.CV cs.LG
Self-critical Sequence Training for Automatic Speech Recognition
Nanyang Technological University（南洋理工大学）
自动语音识别（ASR）任务在序列到序列模型（Sequence-to-Sequence model）的基础上取得了显著的成功，但其训练和测试之间存在两个主要的不匹配，这可能导致性能下降：1）通常使用的交叉熵准则旨在最大化训练数据的对数似然，而性能是通过词出错率（WER）而不是对数似然来评估的; 2）教师强迫方法导致在训练过程中依赖于地面实况，这意味着模型在测试之前从未暴露于自己的预测。在本文中，我们提出了一种优化方法，称为自临界序列训练（SCST），使训练过程更接近测试阶段。作为一种基于强化学习（RL）的方法，SCST利用定制的奖励函数来关联训练标准和WER。此外，它消除了对教师强迫的依赖，并协调了模型的推理过程。我们在干净和有噪声的语音数据集上进行了实验，结果表明，所提出的SCST分别实现了8.7%和7.8%的WER相对于基线的改善。
2022-04-13 cs.CL cs.SD eess.AS
Token-Weighted RNN-T for Learning from Flawed Data
Meta AI
提出词元加权RNN-T准则，通过降低错误词元权重减轻训练数据转录错误影响，在半监督伪标签场景相对提升达38%，并恢复64%-99%的准确性损失。
2024-06-26 cs.CL cs.LG cs.SD
The THUEE System Description for the IARPA OpenASR21 Challenge
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）
本文介绍THUEE团队参加OpenASR21挑战赛的语音识别系统，分别针对两类训练条件搭建对应系统，验证了前端特征提取器对wav2vec2.0适配ASR架构的重要作用，取得了优异结果。
2022-06-29 cs.CL cs.SD eess.AS
Align With Purpose: Optimize Desired Properties in CTC Models with a General Plug-and-Play Framework
Orcam
针对CTC准则仅二元区分对齐、无法捕捉关键属性的问题，提出即插即用框架Align With Purpose，通过补充损失项按期望属性优化对齐，在ASR任务的延迟和WER优化上均取得显著效果，且易扩展。
2024-03-07 cs.CL cs.LG cs.SD
End-to-End Waveform Utterance Enhancement for Direct Evaluation Metrics Optimization by Fully Convolutional Neural Networks
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
语音增强模型用于将含噪语音映射为干净语音。在训练阶段，通常采用目标函数来优化模型参数。然而，在大多数研究中，模型优化标准和增强语音的评价标准之间存在不一致。例如，在测量语音可懂度时，大多数评估度量是基于短时客观可懂度（STOI）测量，而在优化模型时广泛使用估计语音和干净语音之间的基于帧的最小均方误差（MMSE）。由于不一致性，无法保证训练的模型可以在应用程序中提供最佳性能。在这项研究中，我们提出了一个端到端的基于话语的语音增强框架，使用全卷积神经网络（FCN），以减少模型优化和评估标准之间的差距。由于基于话语的优化，当基于感知的目标函数用于直接优化时，可以考虑长语音段的时间相关信息，或者甚至在整个话语级。作为一个例子，我们实现了建议的FCN增强框架，以优化的STOI措施。实验结果表明，由于训练目标与评价目标的一致性，测试语音的STOI优于传统MMSE优化语音。此外，通过将STOI集成在模型优化中，与MMSE准则生成的语音相比，人类主体和自动语音识别（ASR）系统对增强语音的可懂度也得到了显著改善。
2018-03-15 cs.LG cs.SD stat.ML
Listening and Seeing Again: Generative Error Correction for Audio-Visual Speech Recognition
Inner Mongolia University（内蒙古大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）
本文提出 AVGER，通过多模态同步编码器和跨模态提示让 LLM 再读音视信号并纠正 AVSR 的 N-Best 假设，辅以多层级一致性约束，在 LRS3 上将 WER 较主流系统降低 24%。
2025-01-03 cs.AI cs.MM cs.SD
PCOV-KWS: Multi-task Learning for Personalized Customizable Open Vocabulary Keyword Spotting
Zhejiang University（浙江大学）
本文提出PCOV-KWS框架，通过轻量网络同时实现关键词检测和说话人验证，采用非softmax损失和多任务损失加权策略，提升个性化关键词检测性能，减少参数和计算资源消耗。
2026-03-05 cs.AI cs.CL cs.SD
Single-Channel Multi-talker Speech Recognition with Permutation Invariant Training
Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯人工智能实验室）
虽然自动语音识别（ASR）取得了很大的进展，但在识别多说话人混合语音时，性能仍有很大的下降。在本文中，我们提出并评估了几种架构来解决这个问题的假设下，只有一个通道的混合信号是可用的。我们的技术通过引入具有最小均方误差（MSE）标准的前端特征分离模块和具有最小交叉熵（CE）标准的后端识别模块来扩展排列不变训练（PIT）。更具体地说，在训练过程中，我们为每个可能的话语级输出目标分配计算整个话语的平均MSE或CE，选择具有最小MSE或CE的一个，并为该分配进行优化。该策略优雅地解决了在基于深度学习的多说话者混合语音分离和识别系统中观察到的标签排列问题。建议的架构进行评估和比较人工混合AMI数据集与两个和三个说话者混合语音。实验结果表明，我们提出的架构可以削减45.0%和25.0%的字出错率（WER）相对于国家的最先进的单说话者语音识别系统在所有发言者时，他们的能量是可比的，两个和三个说话者的混合语音，分别。据我们所知，这是第一个工作的多说话人混合语音识别具有挑战性的非特定人自发大词汇量连续语音任务。
2017-07-19 cs.CL cs.LG cs.SD
Multi-resolution location-based training for multi-channel continuous speech separation
Department of Computer Science and Engineering, The Ohio State University, USA（美国俄亥俄州立大学计算机科学与工程系）；Center for Cognitive and Brain Sciences, The Ohio State University, USA（美国俄亥俄州立大学认知与脑科学中心）
当多说话人语音重叠时，自动语音识别（ASR）系统的性能会严重下降。在会议环境中，通常执行语音分离以提高ASR系统的鲁棒性。最近，基于位置的训练（LBT）被提出作为一种新的训练标准，用于多通道说话人无关的说话人分离。假设固定的阵列几何形状，LBT在完全重叠的话语和匹配的混响条件下优于广泛使用的置换不变训练。本文将LBT扩展到会话多声道说话人分离。我们引入多分辨率LBT来估计从低到高的时间和频率分辨率的复杂频谱图。使用多分辨率LBT，卷积核是基于物理空间中的扬声器位置一致地分配的。评估结果表明，多分辨率LBT在记录的LibriCSS语料库上始终优于其他竞争方法。
2023-01-16 cs.SD eess.AS
