An Analysis of Speech Enhancement and Recognition Losses in Limited Resources Multi-talker Single Channel Audio-Visual ASR
Istituto Italiano di Tecnologia（意大利技术研究院）；University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）；University of Padova（帕多瓦大学）
在本文中，我们分析了如何视听语音增强可以帮助执行的ASR任务在鸡尾酒会的情况下。因此，我们考虑了两个简单的端到端基于LSTM的模型，分别执行单通道视听语音增强和电话识别。然后，我们研究了这两个模型是如何相互作用的，以及如何对它们进行训练共同影响最终的结果。我们分析了不同的训练策略，揭示了一些有趣和意想不到的行为。实验表明，在ASR任务的优化过程中，该模型的语音增强能力显着下降，反之亦然。然而，这两个任务的联合优化显示了显着下降的电话错误率（PER）相比，视听基线模型训练只执行电话识别。我们通过使用两个有限大小的数据集分析了所提出的模型的行为，特别是我们使用了混合语音版本的GRID和TCD-TIMIT。
2019-11-27 cs.CL cs.SD eess.AS
ASR Error Detection via Audio-Transcript entailment
Abridge AI Inc.（Abridge人工智能公司）
尽管最新的自动语音识别（ASR）系统的性能有所改进，但转录错误仍然是不可避免的。当用于帮助临床文档时，这些错误可能会对医疗保健等关键领域产生相当大的影响。因此，检测ASR错误是防止错误进一步传播到下游应用程序的关键第一步。为此，我们提出了一种新的端到端的ASR错误检测方法，使用音频转录蕴涵。据我们所知，我们是第一个将这个问题框架为音频片段及其相应的转录片段之间的端到端蕴涵任务的人。我们的直觉是，当没有识别错误时，音频和文字记录之间应该存在双向蕴涵，反之亦然。该模型利用声学编码器和语言编码器分别对语音和成绩单进行建模。两种模态的编码表示被融合以预测蕴涵。由于在我们的实验中使用了医患对话，因此特别强调了医学术语。我们提出的模型实现了26.2%的所有转录错误和23%的医疗错误的分类出错率（CER），分别导致12%和15.4%的强基线改善。
2022-07-22 cs.CL cs.SD eess.AS
End-to-End Multi-Person Audio/Visual Automatic Speech Recognition
Google Inc.（谷歌公司）
传统上，视听自动语音识别一直是在假设视觉信号上的说话人脸是与音频匹配的人脸的情况下进行研究的。然而，在更现实的设置中，当多个面部潜在地在屏幕上时，需要决定将哪个面部馈送到A/V ASR系统。目前的工作将A/V ASR的最新进展更进一步，并考虑多人同时在屏幕上的场景（多人A/V ASR）。我们提出了一个完全可区分的A/V ASR模型，该模型能够处理视频中的多个人脸轨迹。而不是依赖于两个单独的模型的扬声器面部选择和视听ASR在一个单一的面部轨道，我们引入了一个注意层的ASR编码器，能够软选择适当的面部视频轨道。在超过30 k小时的YouTube视频上训练的A/V系统上进行的实验表明，与说话面部的Oracle选择相比，所提出的方法可以自动选择适当的面部轨迹，并且具有较小的WER降级，同时仍然显示出采用视觉信号而不是单独使用音频的好处。
2022-05-11 cs.CV cs.LG cs.SD
Audio-visual fine-tuning of audio-only ASR models
Google（谷歌）
本研究提出用纯音频自监督学习加视听微调的方法，替代复杂的视听自监督学习，在LRS3-TED基准上性能接近最优且预训练快12-30倍，还可将纯音频ASR模型转为视听模型并达最优水平。
2023-12-14 cs.AI cs.SD eess.AS
Targeted Adversarial Examples for Black Box Audio Systems
UC Berkeley（加州大学伯克利分校）
深度递归网络在音频转录中的应用已经在自动语音识别（ASR）系统中取得了令人印象深刻的进展。许多人已经证明，小的对抗性扰动可以欺骗深度神经网络，使其以高置信度错误地预测特定目标。目前关于愚弄ASR系统的工作主要集中在白盒攻击上，其中模型架构和参数是已知的。在本文中，我们采用了一个黑箱的方法来对抗生成，结合遗传算法和梯度估计的方法来解决这个问题。我们在3000代后实现了89.25%的目标攻击相似性，同时保持了94.6%的音频文件相似性。
2019-08-20 cs.CR cs.LG cs.SD
Dynamic Acoustic Unit Augmentation With BPE-Dropout for Low-Resource End-to-End Speech Recognition
ITMO University（圣光机大学）；STC-innovations Ltd（STC创新有限公司）
随着语音助理的快速发展，使服务器预期的自动语音识别（ASR）解决方案适应直接设备已变得至关重要。研究人员和行业更喜欢将端到端ASR系统用于设备上的语音识别任务。这是因为与混杂系统相比，端到端系统可以在保持更高质量的同时节省资源。然而，构建端到端模型需要大量的语音数据。与语音助理相关的另一个具有挑战性的任务是个性化，这主要在于处理词汇表外（OOV）单词。在这项工作中，我们考虑建立一个有效的端到端的ASR系统，在低资源设置具有高OOV率，体现在巴贝尔土耳其语和巴贝尔格鲁吉亚任务。为了解决上述问题，我们提出了一种基于BPE-dropout技术的动态声学单元增强方法。它对话语进行非确定性的标记化，以扩展标记的上下文并将其分布规则化，以便模型识别未见过的单词。它还减少了对最佳子词词汇量搜索的需求。该技术提供了一个稳定的改善定期和个性化（OOV导向）语音识别任务（至少6%的相对WER和25%的相对F分数），在没有额外的计算成本。由于使用BPE-dropout，我们的单语土耳其语Conformer建立了具有竞争力的结果，具有22.2%的字符错误率（CER）和38.9%的单词错误率（WER），接近最好的多语言系统。
2021-03-12 cs.CL cs.LG cs.SD
Audio Adversarial Examples for Robust Hybrid CTC/Attention Speech Recognition
Technical University of Munich（慕尼黑工业大学）
自动语音识别（ASR）的最新进展展示了端到端系统如何能够实现最先进的性能。有一种趋势是更深入的神经网络，但是这些ASR模型也更复杂，更容易受到精心设计的噪声数据的影响。这些音频对抗示例（AAE）之前在使用连接主义时间分类（CTC）以及基于注意力的编码器-解码器架构的ASR系统上进行了演示。根据混合CTC/注意力ASR系统的思想，本文提出了生成AAE的算法，将这两种方法结合到一个联合CTC-注意力梯度方法中。使用混合CTC/注意力端到端ASR模型对两个参考句子进行评估作为案例研究，以及TEDSTV 2语音识别任务。然后，我们展示了该算法在对抗训练中的应用，以获得更强大的ASR模型。
2020-07-21 cs.SD eess.AS
Attack-Dependent Robustness of Neural Audio Codecs for Adversarial ASR
Signal Analysis and Interpretation Laboratory, University of Southern California, USA（南加州大学信号分析与解释实验室）
本文研究了神经音频编解码器中容量与鲁棒性之间的权衡，发现中间深度量化能平衡对抗扰动与语音内容质量，从而最小化转录错误。
2026-09-24 cs.SD eess.AS
The Audio Auditor: User-Level Membership Inference in Internet of Things Voice Services
Swinburne University of Technology（斯威本科技大学）；The University of Adelaide（阿德莱德大学）；Deakin University（迪肯大学）；The University of New South Wales（新南威尔士大学）；CSIRO-Data61（澳大利亚联邦科学与工业研究组织数据61所）；Macquarie University（麦考瑞大学）；James Cook University（詹姆斯库克大学）
随着深度学习技术的快速发展，在各种物联网（IoT）设备上实现的语音服务的普及度不断增加。在本文中，我们研究用户级的成员资格推断的问题空间的语音服务，通过设计一个音频审计员，以验证是否有一个特定的用户不情愿地贡献音频用于训练的自动语音识别（ASR）模型下严格的黑盒访问。通过输入音频数据的用户表示及其相应的翻译文本，我们经过培训的审核员在用户级审核中是有效的。我们还观察到，无论ASR模型架构如何，在特定数据上训练的审计师都可以很好地泛化。我们在两个最先进的管道上，即混合ASR系统和端到端ASR系统上，使用LSTM，RNN和GRU算法训练的ASR模型上验证审核员。最后，我们在iPhone Siri上对我们的审计器进行了真实世界的测试，总体准确率超过80%。我们希望本文中开发的方法和发现可以告知隐私倡导者彻底改革物联网隐私。
2021-06-26 cs.CR cs.SD eess.AS
Using Synthetic Audio to Improve The Recognition of Out-Of-Vocabulary Words in End-To-End ASR Systems
Amazon Alexa（亚马逊Alexa）
今天，许多最先进的自动语音识别（ASR）系统应用全神经模型，该模型将音频映射到沿着一个全局优化标准以完全数据驱动的方式端到端训练的单词序列。这些模型允许对训练材料中表示的域和词进行高精度ASR，但难以识别在训练期间很少或根本没有表示的词，即趋势词和新命名实体。在本文中，我们使用文本到语音（TTS）引擎提供合成音频的词汇表（OOV）的话。我们的目标是通过使用额外的音频文本对来提高循环神经网络转换器（RNN-T）对OOV单词的识别准确率，同时保持对非OOV单词的性能。探索了不同的正则化技术，并通过在编码器上应用弹性权重合并（EWC）对原始训练数据和额外的合成数据进行RNN-T微调来实现最佳性能。这产生了57%的相对字错误率（WER）的话语包含OOV字没有任何退化的整个测试集减少。
2021-02-10 cs.SD eess.AS
Snow Mountain: Dataset of Audio Recordings of The Bible in Low Resource Languages
BridgeConn（BridgeConn公司）
针对低资源语言ASR模型不足的问题，作者发布了北印度语言圣经音频数据集Snow Mountain，并训练两个ASR模型作为未来研究的基线。
2023-05-23 cs.LG cs.SD eess.AS
Beyond $L_p$ clipping: Equalization-based Psychoacoustic Attacks against ASRs
University of Florida（佛罗里达大学）
自动语音识别（ASR）系统将语音转换为文本，可分为两大类：传统和完全端到端。这两种类型都被证明容易受到对抗性音频示例的影响，这些音频示例听起来对人耳是良性的，但会迫使ASR产生恶意的传输。在这些攻击中，只有“心理声学”攻击可以创建具有相对难以察觉的扰动的示例，因为它们利用了人类听觉系统的知识。不幸的是，现有的心理声学攻击只能应用于传统模型，而对于更新的、完全端到端的ASR来说已经过时了。在本文中，我们提出了一种基于均衡的心理声学攻击，可以利用传统的和完全端到端的ASR。我们成功地证明了我们对现实世界的ASR的攻击，包括DeepSpeech和Wav2Letter。此外，我们采用用户研究来验证我们的方法产生低的听觉失真。具体来说，100名参与者中有80人投票赞成我们所有的攻击音频样本，因为它们比现有的最先进的攻击噪音更小。通过这一点，我们证明了这两种类型的现有ASR管道可以利用最小的退化来攻击音频质量。
2021-10-25 cs.CR cs.SD eess.AS
When Audio Separation Hurts Zero-Shot ASR: Evaluating SAM-Audio with Whisper on Bengali and English Speech
Department of Computer Science and Engineering, University of Rajshahi（计算机科学与工程系，拉贾沙希大学）；Anan National College of Technology（安安国立技术学院）
研究发现，SAM-Audio预处理虽提升信号质量，但导致零样本ASR识别性能下降，揭示了机器识别与人类感知的不匹配问题。
2026-07-16 cs.AI cs.LG cs.SD
ASR Bundestag: A Large-Scale political debate dataset in German
University of Applied Sciences Hof（霍夫应用科学大学）
我们介绍了ASR Bundestag，这是一个用于德语自动语音识别的数据集，包括610小时的用于监督训练的对齐音频-转录对以及1，038小时的用于自监督学习的未标记音频片段，这些音频片段基于原始音频数据和德国议会全体会议和委员会会议的转录。此外，我们还讨论了用于自动创建语音数据集的方法，并基于对预训练的最新模型的评估和微调来评估所产生的数据集的质量。我们公开数据集，包括所有子集。
2023-02-12 cs.AI cs.CL cs.LG
Whispering Under the Eaves: Protecting User Privacy Against Commercial and LLM-powered Automatic Speech Recognition Systems
Beijing University of Posts and Telecommunications（北京邮电大学）；National University of Singapore（新加坡国立大学）
针对实时语音通信中的隐私泄露问题，提出AudioShield框架，通过潜在空间可迁移通用对抗扰动（LS-TUAP）和目标特征自适应技术，在保护语音免受多类ASR系统窃听的同时显著提升了音频质量与实时性。
2025-04-01 cs.CR cs.LG cs.SD
AVATAR: Unconstrained Audiovisual Speech Recognition
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
视听自动语音识别（AV-ASR）是ASR的扩展，其结合了视觉线索，通常来自说话者的嘴的运动。与单纯关注嘴唇运动的作品不同，我们研究了整个视觉框架（视觉动作，物体，背景等）的贡献。这对于不受约束的视频特别有用，其中扬声器不一定可见。为了解决这个问题，我们提出了一种新的序列到序列的视听ASR Transformer（AVATAR），它是从频谱图和全帧RGB进行端到端训练的。为了防止音频流主导训练，我们提出了不同的词掩蔽策略，从而鼓励我们的模型关注视觉流。我们展示了视觉模态对How2 AV-ASR基准测试的贡献，特别是在存在模拟噪声的情况下，并表明我们的模型在很大程度上优于所有其他先前的工作。最后，我们还为AV-ASR创建了一个名为VisSpeech的新的真实世界测试平台，它展示了视觉模态在具有挑战性的音频条件下的贡献。
2022-06-15 cs.CV cs.MM cs.SD
AVFormer: Injecting Vision into Frozen Speech Models for Zero-Shot AV-ASR
Google Research（谷歌研究院）
视听自动语音识别（AV-ASR）旨在通过结合视觉信息来提高语音识别系统的鲁棒性。然而，从头开始训练完全监督的多模态模型来完成这项任务，受到了对大型标记视听数据集（在每个下游感兴趣的领域）的需求的限制。我们提出了AVFormer，一个简单的方法，用于增强音频模型与视觉信息，在同一时间执行轻量级的领域自适应。我们通过（i）使用轻量级可训练适配器将视觉嵌入注入到冻结的ASR模型中来做到这一点。我们表明，这些可以在少量的弱标记视频数据上进行训练，只需最少的额外训练时间和参数。(ii)我们还在训练过程中引入了一个简单的课程计划，我们表明这对于使模型能够有效地联合处理音频和视觉信息至关重要;最后（iii）我们表明我们的模型在三个不同的AV-ASR基准测试（How2，VisSpeech和Ego 4D）上实现了最先进的zero-shot结果，同时还在传统的纯音频语音识别基准测试（LibriSpeech）上保持了良好的性能。定性结果表明，我们的模型有效地利用视觉信息的鲁棒语音识别。
2023-03-29 cs.CV cs.SD eess.AS
Universal Adversarial Perturbations for Speech Recognition Systems
UC San Diego（加州大学圣地亚哥分校）
在这项工作中，我们证明了普遍存在的对抗性音频扰动，导致错误的转录音频信号的自动语音识别（ASR）系统。我们提出了一种算法，找到一个单一的准不可感知的扰动，当添加到任何任意的语音信号，将最有可能欺骗受害者语音识别模型。我们的实验通过为最先进的ASR系统- Mozilla DeepSpeech制作音频不可知的通用扰动来展示我们所提出的技术的应用。此外，我们还通过对基于WaveNet的ASR系统进行可转移性测试，证明了这种扰动在训练过程中不可用的模型中具有很大的普遍性。
2019-08-15 cs.LG cs.SD eess.AS
Weakly Supervised Construction of ASR Systems with Massive Video Data
Alibaba Group（阿里巴巴集团）
从头开始构建自动语音识别（ASR）系统是一项非常具有挑战性的工作，这主要是由于使用转录本注释大量音频数据的过程既耗时又经济。虽然已经提出了几种无监督的预训练模型，但如果更多的标记，直接应用这些模型仍然可能是次优的，可以在没有大成本的情况下获得训练数据。在本文中，我们提出了一个弱监督的框架，用于构建具有大量视频数据的ASR系统。由于视频通常包含与字幕对齐的人类语音音频，我们认为视频是一个重要的知识源，并提出了一种有效的方法来提取高质量的音频与视频中的文字对齐基于光学字符识别（OCR）。在弱监督预训练之后，可以对底层ASR模型进行微调，以适应任何特定领域的目标训练数据集。大量的实验表明，我们的框架可以很容易地产生国家的最先进的结果对六个公共数据集的普通话语音识别。
2020-09-19 cs.CL cs.LG cs.SD
Adversarial Audio: A New Information Hiding Method and Backdoor for DNN-based Speech Recognition Models
Hunan University（湖南大学）
音频是人们日常生活中的重要媒介，隐藏信息可以嵌入到音频中进行隐蔽通信。目前的音频信息隐藏技术可以大致分为基于时域的技术和基于变换域的技术。基于时域的隐藏技术具有较大的隐藏容量，但不可感知性较低。基于变换域的技术具有较好的不可感知性，但隐藏容量较差。本文提出了一种新的音频信息隐藏技术，该技术具有高隐藏容量和良好的不可感知性。提出的音频信息隐藏方法以原始音频信号为输入，通过训练我们的私人自动语音识别（ASR）模型，得到嵌入隐藏信息的音频信号（称为隐写音频）。在不知道私有模型的内部参数和结构的情况下，私有模型可以提取隐藏信息，而公共模型不能提取隐藏信息。我们使用其他四个ASR模型来提取隐藏音频的隐藏信息，以评估私有模型的安全性。实验结果表明，该音频信息隐藏技术具有48 cps的隐藏容量，同时具有良好的不可感知性和较高的安全性。此外，我们提出的对抗性音频可用于激活基于DNN的ASR模型的内在后门，这给智能扬声器带来了严重威胁。
2019-04-08 cs.CR cs.SD eess.AS
Decoupling recognition and transcription in Mandarin ASR
Baidu Research USA（百度美国研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
最近关于自动语音识别（ASR）的许多文献都采用端到端的方法。不像英语的书写系统与声音密切相关，汉字（汉字）代表的是意义，而不是声音。我们建议将音频->汉字分解为两个子任务：（1）音频->拼音和（2）拼音->汉字，其中拼音是标准汉语的音标系统。以这种方式分解音频->汉字任务在Aishell-1语料库上实现了3.9%的CER（字符出错率），这是迄今为止在该数据集上报告的最好结果。
2021-08-02 cs.CL cs.SD eess.AS
Investigation of Whisper ASR Hallucinations Induced by Non-Speech Audio
AGH University of Krakow（克拉科夫AGH科技大学）；Institute of Electronics（电子研究所）
本文研究 Whisper ASR 被非语音音频诱发的幻觉，构建幻觉袋（BoH）并通过转写文本后处理降低 WER、防范异常输出。
2025-01-20 cs.AI cs.SD eess.AS
aaeCAPTCHA: The Design and Implementation of Audio Adversarial CAPTCHA
University of Louisiana at Lafayette（路易斯安那大学拉斐特分校）
CAPTCHA旨在防止恶意机器人程序滥用网站。大多数在线服务提供商为视障用户部署音频CAPTCHA作为文本和图像CAPTCHA的替代方案。然而，先前调查音频CAPTCHA安全性的研究发现，它们非常容易受到使用自动语音识别（ASR）系统的自动攻击。为了提高音频验证码对自动滥用的鲁棒性，本文提出了一个音频对抗性验证码系统（aaeCAPTCHA）的设计与实现。aaeCAPTCHA系统利用音频对抗示例作为CAPTCHA，以防止ASR系统自动解决它们。此外，我们针对五个最先进的基于DNN的ASR系统和三个商业语音转文本（STT）服务对我们的新音频CAPTCHA设计进行了严格的安全评估。我们的实验评估表明，aaeCAPTCHA对这些语音识别技术是高度安全的，即使攻击者完全了解当前对音频对抗性示例的攻击。我们还对aaeCAPTCHA方案的概念验证实现进行了可用性评估。我们的研究结果表明，它实现了较高的鲁棒性在一个温和的可用性成本相比，正常的音频CAPTCHA。最后，我们的广泛分析强调，aaeCAPTCHA可以显着提高传统音频CAPTCHA系统的安全性和鲁棒性，同时保持类似的可用性。
2022-03-05 cs.CR cs.SD eess.AS
Compensating Removed Frequency Components: Thwarting Voice Spectrum Reduction Attacks
George Mason University（乔治梅森大学）；Tsinghua University（清华大学）
针对新型语音频谱缩减攻击，本文提出ACE声学补偿系统，利用频率分量依赖关系恢复被删分量并模拟空口扰动，最高可减少87.9%的ASR推理错误。
2023-08-18 cs.CR cs.SD eess.AS
Explore the Reinforcement Learning for the LLM based ASR and TTS system
Speech Team, Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团）
本文提出一个面向音频大语言模型的轻量级强化学习框架，在ASR中探索GRPO奖励函数与数据构建，在TTS中结合GRPO与DiffRO，证明有限数据和步数下RL仍能显著提升ASR与TTS性能。
2025-09-23 cs.AI cs.SD eess.AS
Catch Me If You Can: Blackbox Adversarial Attacks on Automatic Speech Recognition using Frequency Masking
University of Edinburgh（爱丁堡大学）
自动语音识别（ASR）模型是普遍的，特别是在用于家用电器的语音导航和话音控制的应用中。ASR的计算核心是深度神经网络（DNN），已被证明易受对抗性扰动的影响;很容易被攻击者滥用以生成恶意输出。为了帮助测试ASRS的安全性和鲁棒性，我们提出了生成黑盒（与DNN无关）的技术，这些技术可以跨ASR进行无针对性的对抗攻击。这与专注于白盒目标攻击的现有工作形成对比，这些攻击耗时且缺乏可移植性。我们的技术生成对抗攻击，通过使用心理声学模型操纵音频信号，保持音频扰动低于人类感知的阈值，没有人类可听的差异。我们使用三种流行的ASR和两个输入音频数据集，使用的指标-字出错率（WER）的输出转录，原始音频的相似性，攻击成功率不同的ASR和检测分数的防御系统，我们的技术评估的可移植性和有效性。我们发现我们的对抗攻击可以跨ASR进行移植，不容易被最先进的防御系统检测到，并且在输出传输上有显著差异，同时听起来与原始音频相似。
2022-04-12 cs.CL cs.SD cs.SE
Towards the Universal Defense for Query-Based Audio Adversarial Attacks
Shandong University（山东大学）；Quancheng Laboratory（泉城实验室）
针对基于查询的音频对抗攻击，本文利用连续相似查询特征提出基于音频指纹和记忆机制的过程级防御，可在四类攻击上以逾90%准确率识别攻击意图，并抵御两种自适应攻击。
2023-04-20 cs.CR cs.SD eess.AS
Leveraging Acoustic Contextual Representation by Audio-textual Cross-modal Learning for Conversational ASR
Northwestern Polytechnical University（西北工业大学）；Tencent（腾讯）
利用上下文信息是提高会话式自动语音识别（ASR）性能的直观想法。以往的著作通常采用历史话语的公认假设作为前语境，由于历史认知错误的不可避免，这可能会使当前公认的假设产生偏差。为了避免这个问题，我们提出了一个音频文本跨模态表示提取器，直接从前面的语音学习上下文表示。具体来说，它由两个模态相关编码器和一个跨模态编码器组成，前者从语音和相应的文本中提取高级潜在特征，后者旨在学习语音和文本之间的相关性。我们随机屏蔽一些输入令牌和每个模态的输入序列。然后在交叉模态编码器上执行具有模态级CTC损失的令牌缺失或模态缺失预测。因此，该模型不仅捕获特定模态中的双向上下文依赖性，而且捕获不同模态之间的关系。然后，在会话式ASR系统的训练期间，提取器将被冻结以提取先前语音的文本表示，而这样的表示被用作通过注意机制馈送到ASR解码器的上下文。在几个普通话会话语料库上验证了该方法的有效性，并在MagicData数据集上实现了高达16%的字符错误率（CER）降低。
2022-07-03 cs.CL cs.SD eess.AS
Revealing the Role of Audio Channels in ASR Performance Degradation
Dept. Computer Science and Information Engineering, National Taiwan Normal University, Taiwan（计算机科学与信息工程系，台湾国立台湾师范大学）；Dept. Computer Science and Information Engineering, National Tsing Hua University, Taiwan（计算机科学与信息工程系，台湾国立清华大学）；Institute of Computer Science, Academia Sinica, Taiwan（学术院计算机科学研究所，台湾）；United Link Co., Ltd., Taiwan（联合链接公司，台湾）
本文提出一种特征归一化技术，通过将 ASR 内部表示与干净参考通道对齐，缓解录音通道变化导致的性能退化，并在未见通道和语言上显著提升 ASR 性能。
2025-08-22 cs.AI cs.CL cs.SD
Audio-to-Intent Using Acoustic-Textual Subword Representations from End-to-End ASR
Apple（苹果公司）
准确预测用户与设备上（例如，电话上）的语音助理（VA）交互的意图对于实现与VA的自然的、有吸引力的和以隐私为中心的交互至关重要。为此，我们提出了一种新的方法来预测用户的意图（用户说话的设备或不）直接从声学和文本信息编码的子字令牌，这是通过一个端到端的ASR模型。与音素和/或完整词的建模相比，直接对子词标记建模具有至少两个优点：（i）与音素级表示相比，它提供了唯一的词汇表表示，其中每个标记具有语义意义，（ii）每个子词标记具有可重用的“子”词声学模式（其可用于构造多个完整单词），从而导致比完整单词大大减少的词汇空间。为了学习音频到意图分类的子词表示，我们提取：（i）来自E2 E-ASR模型的声学信息，该模型为子词令牌提供帧级CTC后验概率，以及（ii）来自预先训练的连续词袋模型的文本信息，该模型捕获子词令牌的语义含义。我们的方法的关键是，它结合了声学子词级后验与文本信息的位置编码的概念，以同时考虑多个ASR假设的方式。我们表明，我们的方法为音频到意图的分类提供了更强大和更丰富的表示，并且具有高度的准确性，能够以99%的真阳性率正确地减轻93.3%的非预期用户音频调用智能助手。
2022-10-21 cs.CL cs.HC cs.SD
Knowledge Transfer for Efficient On-device False Trigger Mitigation
Apple（苹果公司）
在本文中，我们解决的任务，确定是否一个给定的话语是针对一个语音智能助理设备或不。无定向话语被称为“错误触发”，并且错误触发缓解（FTM）对于设计以隐私为中心的非侵入式智能助理至关重要。可以通过对其运行自动语音识别（ASR）并通过分析ASR转录本来确定用户意图来识别话语的指向性。但是在错误触发的情况下，使用ASR本身转录音频是非常不期望的。为了缓解这个问题，我们提出了一种基于LSTM的FTM架构，它直接从声学特征确定用户意图，而无需从音频显式生成ASR成绩单。所提出的模型占用空间小，可以在计算资源有限的设备上运行。在训练过程中，使用知识转移方法优化模型参数，其中更准确的自注意图神经网络模型作为教师。考虑到整个音频片段，我们的方法以99%的真阳性率（TPR）减轻了87%的错误触发，并且在流式音频场景中，系统在拒绝它之前只监听1.69s的错误触发音频，同时实现相同的TPR。
2020-10-20 cs.LG cs.SD eess.AS
Boosting ASR Robustness via Test-Time Reinforcement Learning with Audio-Text Semantic Rewards
通过引入音频-文本语义奖励的测试时强化学习方法，提升ASR系统在嘈杂环境和多样口音下的鲁棒性与准确性。
2026-03-05 cs.AI cs.LG cs.SD
STAM-ASR: Speaker-Temporal Anchoring with Memory for Multi-Speaker ASR
Qatar Computing Research Institute (QCRI)（卡塔尔计算研究所）
STAM-ASR通过说话人-时间锚定与记忆机制，在不依赖外部日志和语音分离的情况下扩展预训练AudioLLM，实现多说话人ASR，并在多个基准上验证了其有效性。
2026-09-25 cs.SD
Unsupervised Domain Adaptation for Speech Recognition via Uncertainty Driven Self-Training
MERL（三菱电机研究实验室）
当训练数据域和测试数据域不匹配时，自动语音识别（ASR）系统的性能通常会显著下降。在本文中，我们表明，自训练（ST）结合基于不确定性的伪标签过滤方法可以有效地用于领域自适应。我们提出了DUST，这是一种基于辍学的不确定性驱动的自我训练技术，它使用针对不同辍学设置获得的ASR系统的多个预测之间的一致性来测量模型对其预测的不确定性。DUST从训练中排除了具有高不确定性的伪标记数据，这导致与没有滤波的ST相比大大改善了ASR结果，并且由于减少了训练数据集而加快了训练时间。领域自适应实验使用WSJ作为源域和TED-LIUM 3以及EQUCHBOARD作为目标域表明，高达80%的地面实况数据训练的系统的性能可以恢复。
2021-02-16 cs.CL cs.LG cs.SD
Refining Pseudo-Audio Prompts with Speech-Text Alignment for Text-Only Domain Adaptation in LLM-Based ASR
Kyoto University, Japan（京都大学，日本）；LY Corporation, Japan（LY公司，日本）
本文提出通过语音-文本对齐细化伪音频提示的方法，以提升基于LLM的ASR在纯文本领域适应中的性能，实验表明该方法在整体错误率和词汇覆盖率上优于现有方法。
2026-06-26 cs.SD
Listen, Look and Deliberate: Visual context-aware speech recognition using pre-trained text-video representations
Microsoft（微软）
在这项研究中，我们试图解决的问题，利用视觉信号，以提高自动语音识别（ASR），也被称为视觉上下文感知ASR（VC-ASR）。我们探索新的VC-ASR方法，以利用由自监督预训练的文本视频嵌入模型提取的视频和文本表示。首先，我们提出了一个多流注意力架构，以利用来自音频和视频模态的信号。这种架构由两种模态的单独编码器和一个单独的解码器组成。我们表明，这种架构是优于融合方式在信号水平。此外，我们还探讨利用视觉信息的第二次通过模型，这也被称为“审议模型”。审议模型接受音频表示和文本假设的第一次通过ASR，并将它们与视觉流相结合，以提高视觉上下文感知识别。所提出的审议方案可以在任何经过良好训练的ASR之上工作，并且还使我们能够利用预先训练的文本模型来将假设与视觉特征结合起来。我们在HOW2数据集上的实验表明，多流和审议架构在VC-ASR任务中非常有效。我们评估两种情况下提出的模型;干净的音频流和失真的音频，我们掩盖了一些特定的话在音频。审议模型优于多流模型，并实现了6%和8.7%的相对WER改善的清洁和掩蔽的数据，分别相比，一个只有音频的模型。该模型也提高了59%的相对回收的掩蔽词。
2020-11-08 cs.SD eess.AS eess.IV
Characterizing Audio Adversarial Examples Using Temporal Dependency
Shanghai Jiao Tong University（上海交通大学）；University of Illinois at Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）；UC, Berkeley（加州大学伯克利分校）
最近的研究强调对抗性示例是对不同神经网络模型和许多下游应用的普遍威胁。尽管如此，由于独特的数据属性激发了独特而强大的学习原则，本文旨在探索它们在减轻对抗性输入方面的潜力。特别是，我们的研究结果揭示了使用音频数据中的时间依赖性来获得对抗性示例的区分能力的重要性。在自动语音识别（ASR）任务和最近的三种音频对抗攻击上进行测试，我们发现（i）从图像对抗防御开发的输入变换提供了有限的鲁棒性改进，并且对高级攻击很微妙;（ii）可以利用时间依赖性来获得对音频对抗示例的区分能力，并且抵抗我们实验中考虑的自适应攻击。我们的研究结果不仅显示了提高ASR系统鲁棒性的有希望的方法，而且还提供了利用特定领域数据属性来减轻对抗性示例的负面影响的新见解。
2019-06-05 cs.AI cs.CR cs.LG
OCR-Enhanced Multimodal ASR Can Read While Listening
Department of Electrical Engineering, Tsinghua University, Beijing, China（电子工程系，清华大学，北京，中国）
Donut-Whisper通过结合双编码器和交叉注意力模块，利用视觉信息提升中英文语音识别性能，实现显著的WER和CER降低。
2026-01-26 cs.CL cs.SD eess.AS
Audio-Conditioned Diffusion LLMs for ASR and Deliberation Processing
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）；University of Cambridge（剑桥大学）
本文提出基于扩散的LLaDA模型用于ASR，通过改进解码策略降低WER，展示其在语音识别中的有效性。
2026-02-27 cs.AI cs.SD eess.AS
ADAGIO: Interactive Experimentation with Adversarial Attack and Defense for Audio
Georgia Institute of Technology（佐治亚理工学院）；Intel Corporation（英特尔公司）
对抗机器学习研究最近已经证明了通过向音频样本引入声学上不可感知的扰动来混淆自动语音识别（ASR）模型的可行性。为了帮助研究人员和从业人员更好地了解此类攻击的影响，并为他们提供工具，帮助他们更轻松地评估和为其模型制作强大的防御，我们介绍了ADAGIO，这是第一个旨在实时的ASR模型上的对抗攻击和防御的交互式实验工具，包括视觉和听觉。ADAGIO采用AMR和MP3音频压缩技术作为防御手段，用户可以交互式地将其应用于受攻击的音频样本。我们表明，这些技术，这是基于心理声学原理，有效地消除有针对性的攻击，攻击成功率从92.5%降低到0%。我们将演示ADAGIO，并邀请观众在Mozilla Common Voice数据集上试用。
2018-05-30 cs.CR cs.LG cs.SD
TransAudio: Towards the Transferable Adversarial Audio Attack via Learning Contextualized Perturbations
Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）
在针对自动语音识别（ASR）系统的基于传输的攻击中，攻击无法访问目标模型的结构和参数。现有的攻击方法主要是在具有受限语音命令的语音助理场景中进行研究，从而禁止其适用于更一般的ASR相关应用。为了应对这一挑战，我们提出了一种新的上下文攻击删除，插入和替换对抗行为，即TransAudio，它实现了任意字级攻击的基础上提出的两阶段框架。为了增强攻击的可移植性，我们进一步引入了一种音频分数匹配优化策略来规范训练过程，从而减轻对抗性示例对代理模型的过度拟合。大量的实验和分析证明了TransAudio对开源ASR模型和商业API的有效性。
2023-03-28 cs.SD eess.AS
Best of Both Worlds: Multi-task Audio-Visual Automatic Speech Recognition and Active Speaker Detection
Google（谷歌）
在嘈杂的条件下，自动语音识别（ASR）可以大大受益于来自说话者面部视频的视觉信号的添加。然而，当多个候选说话者可见时，这传统上需要解决单独的问题，即主动说话者检测（ASD），其需要在每个时刻选择哪个可见面部对应于音频。最近的工作表明，我们可以同时解决这两个问题，通过采用一个注意力机制的竞争视频轨道的发言人的脸，在牺牲一些准确性的代价，积极的发言人检测。这项工作通过提出一个可以与多任务损失联合训练的单一模型来缩小主动说话人检测准确性的差距。通过在训练过程中结合这两项任务，我们将ASD分类准确率降低了约25%，同时与专门针对ASR训练的多人基线相比，提高了ASR性能。
2022-05-10 cs.CV cs.LG cs.SD
Boosting the Transferability of Audio Adversarial Examples with Acoustic Representation Optimization
National Engineering Research Center of Disaster Backup and Recovery（国家防灾备份与恢复工程研究中心）；School of Cyberspace Security, Beijing University of Posts and Telecommunications（北京邮电大学网络空间安全学院）
提出声学表示优化技术，通过对齐低层声学特征提升音频对抗样本跨模型可迁移性，且不损害音频质量，可即插即用。实验验证了其有效性。
2025-03-25 cs.CR cs.LG cs.SD
Auto-AVSR: Audio-Visual Speech Recognition with Automatic Labels
Meta
本文提出Auto-AVSR，利用预训练ASR模型自动转录未标注数据集扩充训练集，在LRS2和LRS3上取得AV-ASR新SOTA，WER达0.9%。
2023-06-28 cs.CV cs.SD eess.AS
Tiny-Align: Bridging Automatic Speech Recognition and Large Language Model on the Edge
Villanova University（维拉诺瓦大学）；University of Notre Dame（诺特尔大学）；University at Buffalo–SUNY（布法罗大学–SUNY）
本文提出资源高效的跨模态对齐框架 Tiny-Align，在边缘设备上桥接 ASR 与 LLM 处理个性化音频输入，实现50倍训练加速且对齐质量提升50%以上。
2025-07-11 cs.AI cs.SD eess.AS
When De-noising Hurts: A Systematic Study of Speech Enhancement Effects on Modern Medical ASR Systems
EkaCare (Orbi Health Private Limited)（EkaCare（Orbi Health Private Limited））
本研究发现语音增强预处理会降低现代医疗ASR系统性能，建议避免使用噪声减少技术以提高转录准确性。
2025-12-19 cs.AI cs.LG cs.SD
Joint Speech Recognition and Audio Captioning
Carnegie Mellon University（卡内基梅隆大学）；Sony Group Corporation（索尼集团公司）
在室内和室外环境中记录的语音样本通常被次级音频源污染。大多数端到端单声道语音识别系统或者使用语音增强来去除这些背景声音，或者训练噪声鲁棒模型。为了更好的模型可解释性和整体的理解，我们的目标是把不断增长的自动音频字幕（AAC）和深入研究的自动语音识别（ASR）领域。AAC的目标是生成音频样本中内容的自然语言描述。我们提出了几种方法的ASR和AAC任务的端到端的联合建模，并展示了它们的优势，传统的方法，这些任务独立建模。在评估我们提出的方法的一个主要障碍是缺乏标记的音频数据集与语音transmittance和音频字幕。因此，我们还通过将干净的语音华尔街日报语料库与从AudioCaps数据集中选择的多个级别的背景噪声混合来创建多任务数据集。我们还进行了广泛的实验评估，并显示我们提出的方法相比，现有的国家的最先进的ASR和AAC方法的改进。
2022-02-03 cs.CL cs.SD eess.AS
823-OLT @ BUET DL Sprint 4.0: Context-Aware Windowing for ASR and Fine-Tuned Speaker Diarization in Bengali Long Form Audio
Department of Computer Science and Engineering（计算机科学与工程系）；Chittagong University of Engineering and Technology（查塔格工程与技术大学）
本研究提出基于上下文的窗口化技术，用于改进印地语长音频的自动语音识别与说话人识别，通过结合语音分离和细调模型提升转录效率与说话人识别准确性。
2026-02-24 cs.SD
FANS: Fusing ASR and NLU for on-device SLU
Amazon（亚马逊）；Alexa Machine Learning（Alexa机器学习）
口语语言理解（SLU）系统将语音输入命令翻译成语义，该语义被编码为意图以及成对的槽标签和值。大多数当前的SLU系统部署了两个神经模型的级联，其中第一个将输入音频映射到转录本（ASR），第二个从转录本（NLU）预测意图和槽。在本文中，我们介绍了FANS，这是一种新的端到端SLU模型，它将ASR音频编码器融合到多任务NLU解码器中，直接从给定的输入音频中推断意图，插槽标签和插槽值，从而避免了转录的需要。FANS由一个共享的音频编码器和三个解码器组成，其中两个是seq-to-seq解码器，它们并行地并以自回归方式预测非空时隙标签和时隙值。FANS神经编码器和解码器架构非常灵活，允许我们利用LSTM、自我注意和参与者的不同组合。我们的实验表明，与最先进的端到端SLU模型相比，FANS在内部SLU数据集上测试时，ICER和IRER误差分别相对减少了30%和7%，在公共SLU数据集上测试时，绝对减少了0.86%和2%。
2021-10-31 cs.CL cs.SD eess.AS
VIBEVOICE-ASR Technical Report
该报告介绍了一种基于VibeVoice的通用语音理解框架，解决长音频中上下文碎片化和多说话人复杂性问题，支持单次处理60分钟音频，整合语音识别、说话人识别和时间戳生成，支持50种语言及代码切换。
2026-03-14 cs.AI cs.SD eess.AS
Joint Masked CPC and CTC Training for ASR
Facebook AI Research（脸书人工智能研究院）
自监督学习（SSL）在学习对自动语音识别（ASR）有用的音频表示方面已经显示出前景。但是，像wav 2 vec ~2.0这样的SSL模型需要两个阶段的管道。在本文中，我们展示了一个可以利用未标记和标记数据的ASR模型的单阶段训练。在训练过程中，我们交替地最小化两个损失：无监督的掩蔽对比预测编码（CPC）损失和有监督的音频到文本对齐损失连接主义时间分类（CTC）。我们表明，这种联合训练方法使用无监督数据直接优化了下游ASR任务的性能，同时在Librispeech 100小时数据集上实现了与wav 2 vec ~2.0相似的单词出错率。最后，我们假设解决对比任务是对监督CTC损失的正则化。
2021-02-13 cs.CL cs.LG cs.SD
Multiresolution and Multimodal Speech Recognition with Transformers
Amazon Lab126（亚马逊Lab126）
本文提出了一种基于transformer结构的视听自动语音识别系统。我们特别关注的场景上下文提供的视觉信息，地面的ASR。我们提取表示音频功能的编码器层的Transformer和融合视频功能，使用一个额外的跨模态多头注意层。此外，我们将多任务训练标准的多分辨率ASR，我们训练的模型，以产生字符和子字级transmittance。How2数据集上的实验结果表明，多分辨率训练可以将收敛速度提高约50%，并将字错误率（WER）性能相对于子字预测模型提高18%。此外，结合视觉信息提高了性能，相对于仅音频模型的相对增益高达3.76%。我们的研究结果与最先进的Listen，Attend和Spell架构相当。
2020-04-29 cs.CV cs.LG cs.SD
MSR-86K: An Evolving, Multilingual Corpus with 86,300 Hours of Transcribed Audio for Speech Recognition Research
Meituan（美团）
本文提出MSR-86K，一个基于YouTube公开视频构建的15种语言、86,300小时转录音频的多语言语料库，并展示了利用其训练出与Whisper竞争的多语言ASR模型的方法。
2024-06-26 cs.CL cs.SD eess.AS
SpliceOut: A Simple and Efficient Audio Augmentation Method
Indian Institute of Technology Bombay（印度孟买理工学院）；Verisk Analytics（威睿凯分析公司）
时间掩蔽已经成为语音和音频任务的事实上的增强技术，包括自动语音识别（ASR）和音频分类，最显著的是作为SpecAugment的一部分。在这项工作中，我们提出了SpliceOut，一个简单的修改时间掩蔽，使其计算更有效。SpliceOut在各种语音和音频任务上的表现都超过（有时甚至超过）SpecAugment，包括使用不同数量的训练数据针对七种不同语言的ASR，以及语音翻译，声音和音乐分类，从而将自己确立为广泛适用的音频增强方法。当与其他增强技术结合使用时，SpliceOut还提供了额外的增益。除了全监督设置，我们还证明了SpliceOut可以补充无监督表示学习与半监督和自监督设置中的性能增益。
2021-10-13 cs.AI cs.LG cs.SD
