GhostWord: A Fine-Grained Backdoor Attack on Automatic Speech Recognition
École polytechnique fédérale de Lausanne（洛桑联邦理工学院）；Sharif University of Technology（谢里夫理工大学）；Isfahan University（伊斯法罕大学）
该研究提出词级时间定位的ASR后门GhostWord，在多数据集和多模型上实现89.3%平均攻击成功率，可跨语言迁移，且揭示后门抑制会导致干净样本性能下降的鲁棒性-准确率权衡。
2026-09-07 cs.SD eess.AS
Imperceptible Rhythm Backdoor Attacks: Exploring Rhythm Transformation for Embedding Undetectable Vulnerabilities on Speech Recognition
Xiangtan University（湘潭大学）；Peking University（北京大学）
本文提出随机频谱图节奏变换（RSRT）后门攻击方法，通过拉伸或压缩梅尔频谱图节奏成分生成隐蔽投毒语音，在保持音色和内容不变的同时，以低投毒率实现高攻击成功率。
2024-10-18 cs.AI cs.SD eess.AS
Hidden in Plain Sound: Environmental Backdoor Poisoning Attacks on Whisper, and Mitigations
Örebro University（厄勒布鲁大学）
本文提出针对Whisper语音识别模型的环境后门投毒攻击，将环境触发音映射至不同目标短语，并探索使用Silero VAD作为防御机制以过滤恶意触发。
2024-09-19 cs.CR cs.SD eess.AS
The VOiCES from a Distance Challenge 2019 Evaluation Plan
SRI International（斯坦福国际研究院）；In-Q-Tel Laboratories（因-Q-泰尔实验室）
“VOiCES from a Distance Challenge 2019”旨在促进说话人识别和自动语音识别（ASR）领域的研究，特别关注噪声条件下的单通道远场/远场音频。这一挑战的主要目标是：（i）在说话人识别和自动语音识别（ASR）领域中对最先进的技术进行基准测试，（ii）支持在说话人识别和ASR中的新思想和技术的开发，（iii）支持进入远场/远场语音处理领域的新研究小组，以及（iv）提供新的，公开可用的数据集，展示现实的距离特征的社区。
2019-02-27 cs.SD eess.AS
Loudspeaker Beamforming to Enhance Speech Recognition Performance of Voice Driven Applications
Multimedia Computing Group, EEMCS, Delft University of Technology（多媒体计算组、电子与信息科学系、代尔夫特理工大学）
针对扬声器噪声干扰语音驱动应用识别的问题，提出基于听觉感知失真约束的扬声器波束成形算法，可在设备周围形成低声能区，实验验证其能提升各场景下的语音识别性能，且可通过牺牲听众端音频质量进一步降低设备周边声能。
2025-01-14 cs.SD eess.AS
Generating gender-ambiguous voices for privacy-preserving speech recognition
Queen Mary University of London（伦敦玛丽女王大学）
我们的声音编码了一种独特的可识别模式，可用于推断个人在使用语音识别服务时可能不希望透露的私人属性，如性别或身份。为了防止属性推断攻击以及语音识别任务，我们提出了一个生成对抗网络GenGAN，它可以合成隐藏说话者性别或身份的声音。拟议中的网络包括一个具有U-Net架构的生成器，该架构可以学习欺骗网络。我们的发电机只对性别信息的条件，并使用信号失真和隐私保护之间的对抗性损失。我们表明，GenGAN提高了隐私和效用之间的权衡相比，隐私保护的表示学习方法，考虑性别信息作为一个敏感的属性，以保护。
2022-07-03 cs.LG cs.SD eess.AS
What shall we do with an hour of data? Speech recognition for the un- and under-served languages of Common Voice
Indiana University（印第安纳大学）
这份技术报告描述了为期三周的冲刺的方法和结果，为Common Voice项目的31种服务不足的语言制作可部署的语音识别模型。我们概述了预处理步骤，超参数选择，以及官方测试集的准确性。除此之外，我们还评估了多个任务的模型：封闭词汇语音识别，预转录，强制对齐和关键词定位。下面的实验使用Coqui STT，这是一个用于训练和部署神经语音到文本模型的工具包。
2021-05-10 cs.CL cs.LG cs.SD
VoiceFilter-Lite: Streaming Targeted Voice Separation for On-Device Speech Recognition
Google LLC（谷歌有限责任公司）
我们介绍VoiceFilter-Lite，一个单通道源分离模型，在设备上运行，只保留来自目标用户的语音信号，作为流语音识别系统的一部分。交付这样一个模型提出了许多挑战：当输入信号由重叠语音组成时，它应该提高性能，并且在所有其他声学条件下不得损害语音识别性能。此外，该模型必须小巧，快速，并以流式方式执行推理，以便对CPU，内存，电池和延迟的影响最小。我们提出了新的技术，以满足这些多方面的要求，包括使用一个新的非对称损失，并采用自适应运行时抑制强度。我们还表明，这样的模型可以量化为8位整数模型，并在实时运行。
2020-09-09 cs.LG cs.SD eess.AS
Some voices are too common: Building fair speech recognition systems using the Common Voice dataset
Laboratoire Informatique d’Avignon（阿维尼翁计算机实验室）；Thales SIX（泰雷兹SIX）
本文基于法语 Common Voice 数据集评估 wav2vec 2.0 对不同人口群体的偏见，并通过固定规模训练集微调揭示说话人多样性的重要性及数据集缺陷。
2023-06-01 cs.CL cs.LG cs.SD
CommanderSong: A Systematic Approach for Practical Adversarial Voice Recognition
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Florida Institute of Technology（佛罗里达理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Boston University（波士顿大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）
ASR（自动语音识别）系统的流行，如Google Voice，Cortana，带来了安全问题，最近的攻击就证明了这一点。然而，这种威胁的影响不太清楚，因为它们要么不太隐蔽（产生类似噪音的语音命令），要么需要攻击设备的物理存在（使用超声波）。在本文中，我们证明，不仅是更实际和隐蔽的攻击可行，但他们甚至可以自动构建。具体来说，我们发现语音命令可以被悄悄地嵌入到歌曲中，当播放时，可以通过ASR有效地控制目标系统而不被注意到。为此，我们开发了新的技术来解决一个关键的技术挑战：将命令集成到一首歌曲中，在存在背景噪音的情况下，ASR可以通过空气有效识别，同时不会被人类听众检测到。我们的研究表明，这可以在现实世界的ASR应用程序中自动完成。我们还证明了这样的指挥官歌曲可以通过互联网传播（例如，YouTube）和广播，可能影响数百万ASR用户。我们进一步提出了一种新的缓解技术，控制这种威胁。
2018-07-02 cs.CR cs.LG cs.SD
Improving Voice Separation by Incorporating End-to-end Speech Recognition
Sony Corporation（索尼公司）；University of Tsukuba（筑波大学）；Indian Institute of Technology Bombay（印度理工学院孟买分校）；Indian Institute of Science（印度科学学院）；Sony India Software Centre（索尼印度软件中心）
尽管最近在语音分离方法方面取得了进展，但在现实场景中仍然存在许多挑战，例如嘈杂的录音和可用数据的限制。在这项工作中，我们建议明确纳入语音和语言的性质，采取迁移学习的方法，使用端到端的自动语音识别（E2EASR）系统。语音分离的条件是从E2EASR中提取的深层特征，以覆盖语音方面的长期依赖性。在AVSpeech数据集上进行的语音分离和增强实验结果表明，该方法的信失真比优于基线模型，甚至优于利用嘴唇运动视觉信息的视听模型。
2020-05-04 cs.LG cs.SD eess.AS
Convolutional Speech Recognition with Pitch and Voice Quality Features
Universitat Pompeu Fabra（庞培法布拉大学）；Universitat de Barcelona（巴塞罗那大学）
在这项工作中，添加音高和语音质量特征，如抖动和闪烁的最先进的CNN模型的自动语音识别的影响进行了研究。音高特征以前曾被用于改进传统的HMM和DNN基线，而抖动和闪烁参数已被证明对说话人或情感识别等任务有用。据我们所知，这是第一个将这种音高和语音质量特征与现代卷积架构相结合的工作，对于公开的西班牙语普通语音和LibriSpeech 100h数据集，相对WER点分别提高了7%和3%。特别地，我们的工作将这些特征与梅尔频谱系数（MFSC）相结合，以训练具有门控线性单元（Conv GLU）的卷积架构。这种模型已经显示出产生小的单词错误率，同时非常适合在线流识别用例的并行处理。我们已经在Facebook的wav2letter语音识别框架中添加了音高和语音质量功能，我们向社区提供了这样的代码和配方，以进行进一步的实验。此外，据我们所知，我们的西班牙语通用语音食谱是wav2letter的第一个公共西班牙语食谱。
2020-11-10 cs.AI cs.LG cs.SD
Bengali Common Voice Speech Dataset for Automatic Speech Recognition
Michigan State University（密歇根州立大学）；RPI（伦斯勒理工学院）；Vanderbilt University（范德堡大学）；Rice University（莱斯大学）
孟加拉语是世界上使用最多的语言之一，全球有超过3亿人使用。尽管孟加拉语语音识别系统很受欢迎，但由于缺乏多样化的开源数据集，对孟加拉语语音识别系统开发的研究受到了阻碍。作为前进的方向，我们已经众包了孟加拉语通用语音语音数据集，这是一个高级自动语音识别语料库。该数据集在Mozilla Common Voice平台上收集，是正在进行的活动的一部分，该活动在两个月内收集了超过400小时的数据，并且正在迅速增长。我们的分析表明，与现有最大的开源孟加拉语语音数据集OpenSLR孟加拉语ASR数据集相比，该数据集具有更多的扬声器，音素和环境多样性。我们提出了从数据集中获得的见解，并讨论了需要在未来版本中解决的关键语言挑战。此外，我们报告了一些自动语音识别（ASR）算法的当前性能，并为未来的研究设定了基准。
2022-06-29 cs.CL cs.SD eess.AS
End-to-End Integration of Speech Emotion Recognition with Voice Activity Detection using Self-Supervised Learning Features
Research & Development Group, Hitachi, Ltd.（日立公司研发集团）
本文提出一种基于自监督学习特征的端到端方法，将语音活动检测与语音情感识别联合训练，在IEMOCAP数据集上提升了情感识别性能，并分析了VAD输出和SSL编码器各层权重。
2024-10-17 cs.SD eess.AS
Automatic Grammar Augmentation for Robust Voice Command Recognition
Qualcomm Research（高通研究院）；University of California San Diego（加州大学圣地亚哥分校）
本文提出了一种新的自动语法增强流水线，为具有小足迹声学模型（AM）的系统提供了语音命令识别准确性的显着提高。这种改进是通过使用替代语法表达式来增强用户定义的语音命令集（也称为语法集）来实现的。对于一个给定的语法集，一组潜在的语法表达（候选集）的扩增构造从AM特定的统计发音字典，捕捉一致的模式和错误的解码AM引起的发音，音高，节奏，口音，歧义拼写和噪声条件的变化。使用这个候选集，贪婪的优化和交叉熵方法（CEM）为基础的算法被认为是利用命令特定的数据集搜索增强的语法集，提高识别精度。我们的实验表明，所提出的管道以及本文考虑的算法显着降低了误检测和误分类率，而不增加误报率。实验也证明了CEM方法优于贪婪算法的一致性能。
2018-11-14 cs.CL cs.SD eess.AS
Voice Quality and Pitch Features in Transformer-Based Speech Recognition
Universitat Pompeu Fabra（庞培法布拉大学）；Universitat de Barcelona（巴塞罗那大学）
抖动和闪烁测量已被证明是语音质量和韵律信息的载体，其增强了诸如说话人识别、日记或自动语音识别（ASR）的任务的性能。然而，这样的特征很少被用于基于神经的ASR的上下文中，其中频谱特征通常占上风。在这项工作中，我们研究的影响，将语音质量和音高功能完全和单独的基于变压器的ASR模型，与直觉的注意力机制可能会利用潜在的韵律特征。为此，我们提出了分离的卷积前端的韵律和频谱特征，表明这种架构的选择产生更好的结果比简单的级联这样的音高和语音质量功能梅尔频谱图滤波器组。此外，我们发现平均字的出错率相对减少高达5.6%的LibriSpeech基准。这些发现激发了进一步研究韵律知识的应用，以增加基于transformer的ASR的鲁棒性。
2021-12-21 cs.CL cs.LG cs.SD
VADOI:Voice-Activity-Detection Overlapping Inference For End-to-end Long-form Speech Recognition
University of California Los Angeles（加州大学洛杉矶分校）；Amazon Alexa（亚马逊 Alexa）
虽然端到端模型在自动语音识别任务上取得了巨大的成功，但当目标句子是长格式时，性能会严重下降。先前提出的方法，（部分）重叠推理被证明是有效的长形式解码。对于这两种方法，字错误率（WER）单调下降时，重叠百分比减少。在不考虑计算成本的情况下，推理过程中50%重叠的设置可以获得最佳性能。然而，较低的重叠百分比具有推理速度快的优点。在本文中，我们首先进行全面的实验比较重叠推理和部分重叠推理与各种配置。然后，我们提出了语音活动检测重叠推理，以提供WER和计算成本之间的权衡。实验结果表明，与性能最好的重叠推理算法相比，该方法在Librispeech和Microsoft Speech Language Translation长格式语料库上的计算成本相对降低了20%，同时保持了WER性能。我们还提出了软匹配，以弥补类似的词不对齐的问题。
2022-02-22 cs.SD eess.AS
Disappeared Command: Spoofing Attack On Automatic Speech Recognition Systems with Sound Masking
Tencent（腾讯）
深度学习技术的发展极大地促进了自动语音识别（ASR）技术的性能提升，在许多任务中已经展现出与人类听觉相当的能力。语音接口正变得越来越广泛地用作许多应用程序和智能设备的输入。然而，已有研究表明，DNN很容易受到轻微干扰的干扰而做出错误识别，这对于语音控制的智能语音应用来说是极其危险的。
2022-06-08 cs.AI cs.SD eess.AS
Attention based end to end Speech Recognition for Voice Search in Hindi and English
Flipkart（福利特）
我们在这里描述我们在Flipkart电子商务平台上的语音搜索功能背景下使用自动语音识别（ASR）的工作。从Listen-Attend-Spell（LAS）的深度学习架构开始，我们建立并扩展了模型设计和注意力机制，以纳入创新方法，包括多目标训练，多遍训练以及使用语言模型和基于音素的损失的外部重新评分。我们报告了15.7%的相对WER改善顶部的国家的最先进的LAS模型使用这些修改。总体而言，我们报告了36.9%的电话CTC系统的改善。该文件还提供了一个不同的组件，可以在LAS为基础的系统进行调整的概述。
2021-11-15 cs.IR cs.LG cs.SD
Mondegreen: A Post-Processing Solution to Speech Recognition Error Correction for Voice Search Queries
Google Research（谷歌研究院）
随着越来越多的在线搜索查询来自语音，自动语音识别成为提供相关搜索结果的关键组件。自动语音识别（ASR）引入的错误导致返回给用户的搜索结果不相关，从而引起用户不满。在本文中，我们介绍了一种方法，Mondegreen，在文本空间中纠正语音查询，而不依赖于音频信号，由于系统限制或隐私或带宽（例如，一些ASR系统在设备上运行）的考虑，这可能并不总是可用。我们专注于语音查询转录通过几个专有的商业ASR系统。这些查询来自用户进行互联网或在线服务搜索查询。我们首先提出了一个分析，显示如何不同的语言分布来自用户的语音查询是从传统的文本语料库用于训练现成的ASR系统。然后，我们证明，Mondegreen可以实现显着的改善，通过纠正用户的语音查询，在谷歌最大的搜索系统之一，增加用户交互。最后，我们认为Mondegreen是对现有高度优化的生产ASR系统的补充，这些系统可能不会经常重新训练，因此由于词汇漂移而落后。
2021-05-20 cs.CL cs.LG cs.SD
VOTE400(Voide Of The Elderly 400 Hours): A Speech Dataset to Study Voice Interface for Elderly-Care
Electronics and Telecommunications Research Institute（电子与电信研究所）；MINDs Lab Inc.（MINDs实验室公司）
本文介绍了一个大规模的韩国语音数据集，称为VOTE400，可用于分析和识别的老年人的声音。该数据集包括约300小时的连续对话语音和100小时的朗读语音，均由65岁或以上的老年人记录。初步实验表明，用VOTE 400训练的语音识别系统在老年人声音的语音识别方面优于传统系统。这项工作是由ETRI和MINDS Lab Inc.领导的多组织努力。以提高老年护理机器人的语音识别性能。
2021-01-20 cs.CL cs.SD eess.AS
Personal VAD 2.0: Optimizing Personal Voice Activity Detection for On-Device Speech Recognition
Google LLC（谷歌有限责任公司）
设备上语音识别（ASR）的个性化近年来出现了爆炸性增长，这主要是由于移动设备和智能家居扬声器上的个人助理功能越来越受欢迎。在这项工作中，我们提出了个人VAD 2.0，个性化的语音活动检测器，检测目标扬声器的语音活动，作为流媒体设备上的ASR系统的一部分。尽管之前的概念验证研究已经验证了Personal VAD的有效性，但在将此模型用于生产之前，仍有几个关键挑战需要解决：首先，在注册和无注册场景中，质量必须令人满意;其次，它应该以流媒体方式运行;最后，模型大小应该足够小，以适应有限的延迟和CPU/内存预算。为了满足多方面的需求，我们提出了一系列新颖的设计：1）先进的扬声器嵌入调制方法; 2）一种新的训练范式，以推广到无注册条件; 3）针对延迟和资源限制的架构和运行时优化。在一个真实的语音识别系统上进行的大量实验证明了我们所提出的方法的最先进的性能。
2022-06-25 cs.LG cs.SD eess.AS
Fake the Real: Backdoor Attack on Deep Speech Classification via Voice Conversion
Ningbo University（宁波大学）；Zhejiang Key Laboratory of Mobile Network Application Technology（浙江省移动网络应用技术重点实验室）；Ningbo City College of Vocational Technology（宁波城市职业技术学院）
针对深度语音分类的后门安全问题，本文提出利用预训练语音转换模型生成样本特定且无可听噪声的触发器，并在两项任务上验证攻击有效性及抗微调能力。
2023-06-28 cs.CR cs.LG cs.SD
End-to-End Automatic Speech Recognition Integrated With CTC-Based Voice Activity Detection
Nagoya University（名古屋大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文将语音活动检测（VAD）功能与端到端自动语音识别集成到一个在线语音界面，并转录很长的音频记录。我们专注于连接主义时间分类（CTC）及其扩展的CTC/注意架构。与基于注意力的架构相反，输入同步标签预测可以基于具有CTC（预）softmax输出的贪婪搜索来执行。该预测包括连续的长空白标签，可以将其视为非语音区域。我们使用的标签作为一个线索，检测语音段与简单的阈值。阈值与非语音区域的长度直接相关，这比传统的VAD超参数更直观，更容易控制。未分割数据的实验结果表明，该方法优于基线方法使用传统的基于能量和神经网络的VAD方法，并实现了RTF小于0.2。所提出的方法是公开可用的。
2020-02-14 cs.CL cs.SD eess.AS
Iteratively Improving Speech Recognition and Voice Conversion
Sony Research India（索尼印度研究院）；Sony Group Corporation（索尼集团公司）
针对低数据资源下ASR模型训练困难的问题，提出一种迭代改进ASR与VC模型的框架，通过相互利用对方进行数据增强和微调，在英语歌唱和印地语语音低资源设置下优于基线模型。
2023-05-24 cs.AI cs.SD eess.AS
Hear "No Evil", See "Kenansville": Efficient and Transferable Black-Box Attacks on Speech Recognition and Voice Identification Systems
University of Florida（佛罗里达大学）
自动语音识别和语音识别系统正在广泛的应用中部署，从向缺乏传统接口的设备提供控制机制到会话的自动转录和用户的认证。这些应用程序中的许多都有重要的安全和隐私考虑。我们开发的攻击可以在最先进的系统中强制错误翻译和错误识别，对人类理解的影响最小。现代系统的处理流水线由信号预处理和特征提取步骤组成，其输出被馈送到机器学习模型。之前的工作主要集中在模型上，使用白盒知识来定制特定于模型的攻击。我们专注于模型之前的管道阶段，这些阶段（与模型不同）在系统之间非常相似。因此，我们的攻击是黑盒和可转移的，并且可以通过仅修改几帧音频来实现高达100%的错误转录和错误识别率。我们通过Amazon Mechanical Turk进行了一项研究，证明人类对常规音频和扰动音频的感知在统计上没有显著差异。我们的研究结果表明，模型可以学习人类受试者通常无法感知的语音方面，但这对模型的准确性至关重要。我们还发现，某些英语音素（特别是元音）更容易受到我们的攻击。我们表明，攻击是有效的，当安装在蜂窝网络中，信号受到由于转码，抖动和数据包丢失的退化。
2019-10-11 cs.CR cs.LG cs.SD
Towards Energy-Efficient and Low-Latency Voice-Controlled Smart Homes: A Proposal for Offline Speech Recognition and IoT Integration
School of Computer Science, Faculty of Engineering, The University of Sydney（计算机科学学院，工程学院，悉尼大学）；Management Information Systems Department, College of Business Administration, Prince Sattam bin Abdulaziz University（管理信息系统系，商学院，普林斯萨塔姆·本·阿卜杜勒阿齐兹大学）；Higher Colleges of Technology, United Arab Emirates (UAE)（阿拉伯联合酋长国（UAE）高等教育学院）；Department of Information Technology, Sydney International School of Technology and Commerce（信息技术系，悉尼国际技术与商业学院）
针对现有云端语音识别智能家居存在的能耗高、延迟大、有单点故障风险等问题，提出集成离线KWS到家电、搭建去中心化本地IoT网络的方案，实现无需互联网的低延迟语音控制，提升系统鲁棒性、可扩展性与能源可持续性。
2025-06-11 cs.CY cs.SD eess.AS
Attention-Based End-to-End Speech Recognition on Voice Search
Northwestern Polytechnical University（西北工业大学）；Xiaomi Inc.（小米公司）
最近，人们对端到端语音识别越来越感兴趣，端到端语音识别直接将语音转录为文本，而无需任何预定义的对齐。在本文中，我们探讨了使用基于注意的编码器-解码器模型的汉语语音识别的语音搜索任务。由于汉语的正字法、大词汇量和注意力模型的条件依赖性，以往的研究表明，将基于注意力的编码-解码器应用于汉语语音识别是相当困难的。在本文中，我们使用字符嵌入来处理大词汇量。有几个技巧用于有效的模型训练，包括L2正则化，高斯权重噪声和跳帧。我们比较了两种注意力机制，并在注意力模型中使用注意力平滑来覆盖长上下文。总的来说，这些技巧使我们最终在MiTV语音搜索数据集上实现了3.58%的字符出错率（CER）和7.43%的句子出错率（SER）。结合三元组语言模型，CER和SER分别达到2.81%和5.77%。
2018-02-13 cs.CL cs.SD
Towards Inclusive ASR: Investigating Voice Conversion for Dysarthric Speech Recognition in Low-Resource Languages
Carnegie Mellon University（卡内基梅隆大学）；FAU Erlangen-Nürnberg（弗赖堡大学埃尔兰根-纽伦堡分校）；Universidad de Antioquia（安东尼奥基亚大学）；TU Delft（代尔夫特理工大学）；Fortemedia（福特媒体）
针对低资源语言构音障碍语音识别数据稀缺问题，本文微调语音转换模型生成构音障碍样语音，增强多语言ASR，在三种语言上显著优于传统方法。
2025-09-25 cs.CL cs.SD eess.AS
Feasibility of Using Automatic Speech Recognition with Voices of Deaf and Hard-of-Hearing Individuals
Rochester Institute of Technology（罗切斯特理工学院）
许多个人设备已经从视觉控制界面过渡到语音控制界面，以降低设备成本和交互摩擦。语音控制界面的能力不断提高，加速了这种转变，例如，亚马逊Echo或苹果Siri其后果是，失聪或听力困难（DHH）的人可能无法使用这些语音控制设备。我们发现，聋人语音有一个高的出错率相比，听力语音，在商业语音控制接口。聋人的语言有大约78%的词出错率（WER）相比，听力语言18%的WER。我们的研究结果表明，目前的语音控制接口是不可用的聋人和重听人。因此，寻求其他方法让聋人向计算机传递自然命令可能是明智的。
2019-09-03 cs.HC cs.SD eess.AS
Moonshine: Speech Recognition for Live Transcription and Voice Commands
Useful Sensors（实用传感器公司）
本文提出 Moonshine 语音识别模型系列，采用编码器-解码器 Transformer 和 RoPE，并通过无零填充训练提升推理效率，在保持词错误率不变的情况下将 10 秒语音转录计算量降低 5 倍，适用于实时和资源受限场景。
2024-10-22 cs.CL cs.LG cs.SD
StarGAN-VC+ASR: StarGAN-based Non-Parallel Voice Conversion Regularized by Automatic Speech Recognition
College of Information Science and Engineering, Ritsumeikan University, Japan（日本立命馆大学信息理工学部）；NTT Communication Science Laboratories, NTT Corporation, Japan（日本NTT公司NTT通信科学实验室）
保留输入语音的语言内容是语音转换（VC）过程中必不可少的。基于星形生成对抗网络的VC方法（StarGAN-VC）是最近开发的允许非并行多对多VC的方法。虽然这种方法是强大的，它可能无法保持输入语音的语言内容时，可用的训练样本的数量是非常小的。为了克服这个问题，我们提出使用自动语音识别来辅助模型训练，以改进StarGAN-VC，特别是在低资源场景中。实验结果表明，使用我们提出的方法，StarGAN-VC可以保留更多的语言信息比香草StarGAN-VC。
2021-08-10 cs.AI cs.SD
Emotionless: Privacy-Preserving Speech Analysis for Voice Assistants
Imperial College London（帝国理工学院）
语音交互在许多流行的物联网系统中提供了更人性化的体验。基于云的语音分析服务使用语音识别技术从语音输入中提取有用的信息。语音信号是一种丰富的资源，它揭示了说话者的几种可能状态，例如情绪状态，信心和压力水平，身体状况，年龄，性别和个人特质。服务提供商可以建立一个非常准确的用户的人口统计类别，个人喜好，并可能危及隐私。为了解决这个问题，提出了用户和云服务之间的隐私保护中间层来净化语音输入。它旨在保持实用性，同时保护用户隐私。它通过收集实时的语音数据并分析信号来实现这一点，以确保在与服务提供商共享此数据之前的隐私保护。准确地说，敏感的表示是通过使用转换函数从原始信号中提取，然后通过语音转换技术将其包装。基于情感识别的实验评估表明，该方法的有效性，敏感的情绪状态的扬声器的识别减少了约96%。
2019-08-09 cs.CR cs.LG cs.SD
Analysis and Tuning of a Voice Assistant System for Dysfluent Speech
Apple（苹果公司）
语音发音的不流畅和变化会严重降低语音识别性能，并且对于许多患有中度至重度语音障碍的个体，语音操作系统不起作用。当前的语音识别系统主要用来自流利说话者的数据来训练，因此不能很好地推广到具有不流利的语音，诸如声音或单词重复、声音重复或可听块。这项工作的重点是定量分析的消费者语音识别系统的个人谁口吃和生产导向的方法，以提高性能的共同语音助理任务（即，“天气怎么样？").在基线时，该系统引入了大量的插入和替换错误，导致预期语音单词错误率（isWER）对于具有流畅性障碍的个体而言更差（绝对）13.64%。我们表明，通过简单地调整现有的混合语音识别系统中的解码参数，可以提高24%（相对）的个人流畅性障碍的isWER。相对于默认设置，调整这些参数可以使18名研究参与者在所有口吃严重程度上的域识别提高3.6%，意图识别提高1.7%。
2021-06-18 cs.AI cs.CL cs.CV
The History of Speech Recognition to the Year 2030
从2010年到2020年的十年间，自动语音识别取得了显著的进步。许多人现在每天都在使用语音识别，例如执行语音搜索查询，发送短信，以及与亚马逊Alexa和苹果Siri等语音助手进行交互。在2010年之前，大多数人很少使用语音识别。在过去的十年里，语音识别发生了巨大的变化，我们对未来的十年有何期待？我试图预测到2030年语音识别的研究和应用状况。虽然一般语音识别准确性的变化不会像前十年那样引人注目，但我认为我们面前的语音技术将迎来一个令人兴奋的十年。
2021-07-30 cs.CL cs.SD eess.AS
Prodorshok I: A Bengali Isolated Speech Dataset for Voice-Based Assistive Technologies - A comparative analysis of the effects of data augmentation on HMM-GMM and DNN classifiers
BRAC University（孟加拉国布拉克大学）
Prodorshok I是一个孟加拉语孤立词数据集，旨在帮助创建基于辅助技术的独立于说话者的语音命令驱动的自动语音识别（ASR），以帮助改善人机交互（HCI）。本文介绍了使用Prodorshok I中的单词子集进行客观分析的结果，以评估其在利用具有高斯发射和深度神经网络（DNN）的隐马尔可夫模型（HMM）的ASR系统中的可靠性。结果表明，简单的数据增强，涉及一个小的音高变化，可以令人惊讶的有形改善语音识别的准确性水平。
2017-12-10 cs.HC cs.SD eess.AS
Speaker Identification using Speech Recognition
Bahria University（巴赫里亚大学）
随着电话交谈、视频会议和语音信息的增加，全球音频数据日益增加。本研究提供了一种机制，用于确定一个扬声器在音频文件中，基于人类语音的生物特征，如音高，幅度，频率等，我们提出了一个无监督学习模型，该模型可以学习语音表示有限的数据集。Librispeech数据集被用于这项研究，我们能够达到1.8的单词出错率。
2022-05-29 cs.LG cs.SD eess.AS
Voice of India: A Large-Scale Benchmark for Real-World Speech Recognition in India
Indian Institute of Technology, Madras, India（印度理工学院，马德拉斯分校）；Josh Talks, India（Josh Talks）
针对现有Indic ASR基准的局限性，提出基于非脚本电话对话的封闭源基准Voice of India，覆盖15种主要印度语言和139个区域集群，包含306230条语音（536小时），并分析地理、音频质量、语速、性别和设备类型等因素对ASR性能的影响。
2026-07-07 cs.CL cs.SD eess.AS
Exploring Architectures, Data and Units For Streaming End-to-End Speech Recognition with RNN-Transducer
Google Inc.（谷歌公司）
我们研究训练端到端的语音识别模型与循环神经网络传感器（RNN-T）：一个流，全神经，序列到序列的架构，共同学习声学和语言模型组件从转录的声学数据。我们探讨了各种模型架构，并演示了如果有额外的文本或发音数据，如何进一步改进模型。该模型包括一个“编码器”，这是从一个连接的时间分类为基础的（CTC）的声学模型初始化，和一个“解码器”，这是部分初始化的循环神经网络语言模型训练的文本数据。整个神经网络使用RNN-T损失进行训练，并直接将识别的转录作为字素序列输出，从而执行端到端的语音识别。我们发现，性能可以进一步提高，通过使用子词单元（“词片”），捕捉更长的上下文，并显着减少替换错误。最好的RNN-T系统是一个十二层LSTM编码器，带有一个两层LSTM解码器，以30，000个单词作为输出目标，在语音搜索和语音听写任务中实现了8.5\%的单词出错率和5.2\%的单词错误率，与语音搜索和语音听写任务中8.3\%的最先进基线相当。
2018-01-02 cs.CL cs.SD eess.AS
Real-Time Neural Voice Camouflage
Columbia University（哥伦比亚大学）
自动语音识别系统为应用创造了令人兴奋的可能性，然而它们也为系统窃听提供了机会。我们提出了一种方法来伪装一个人的声音在空中从这些系统，而不干扰房间里的人之间的对话。标准的对抗攻击在实时的【形】流情况下是无效的，因为信号的特征在攻击执行时已经改变。我们引入了预测攻击，它通过预测未来最有效的攻击来实现实时的【形】性能。在实时的【形】约束下，我们的方法对已建立的语音识别系统DeepSpeech的干扰比通过单词出错率测量的基线多3.9倍，通过字符出错率测量的基线多6.6倍。我们还证明了我们的方法是实际有效的，在现实环境中的物理距离。
2022-02-16 cs.LG cs.SD eess.AS
Voice Memory for Agentic Speech Recognition
NVIDIA（英伟达）
该研究提出仅推理方案Voice Memory，通过听者-思考者架构克制过度校正，在10个HyPoradise域上将加权词错误率降至7.52%，可跨校正器迁移且不增加推理参数。
2026-07-30 cs.AI cs.CL cs.SD
Speech-Hands: A Self-Reflection Voice Agentic Approach to Speech Recognition and Audio Reasoning with Omni Perception
NVIDIA；Kyoto University（京都大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出Speech-Hands框架，通过自我反思决策机制解决语音识别和外部声音理解任务中的信任问题，提升了模型在多任务音频推理中的准确性和鲁棒性。
2026-05-18 cs.AI cs.CL cs.MA
Mitigating Backdoor Triggered and Targeted Data Poisoning Attacks in Voice Authentication Systems
本文提出统一防御框架，结合频率聚焦检测机制与卷积神经网络，同时缓解语音认证中的后门触发和定向数据投毒攻击，将攻击成功率降至5%-15%，召回率达95%。
2025-05-06 cs.CR
Enrollment-stage Backdoor Attacks on Speaker Recognition Systems via Adversarial Ultrasound
Zhejiang University（浙江大学）
提出Tuner攻击，通过不可听且无需同步的对抗性超声波在注册阶段植入后门，并在两个数据集、七个SRS模型及七种防御下验证其黑盒绕过能力。
2023-12-11 cs.CR cs.SD eess.AS
Backdoor Attacks on Speech Emotion Recognition via TTS-Generated Poisoning
首次系统研究基于投毒的后门攻击对语音情感识别的影响，利用TTS生成音频嵌入隐蔽低能量声学触发器，实现高成功率攻击并揭示自监督表示的脆弱性。
2026-09-03 cs.AI cs.CR cs.SD
Resurrecting Trust in Facial Recognition: Mitigating Backdoor Attacks in Face Recognition to Prevent Potential Privacy Breaches
CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61）；Cyber Security Cooperative Research Centre（网络安全合作研究中心）
诸如面部图像的生物特征数据通常与敏感信息（例如，医疗、财务、个人政府记录）相关联。因此，存储此类信息的系统中的数据泄露可能会产生破坏性后果。深度学习被广泛用于人脸识别（FR）;然而，这种模型容易受到恶意方执行的后门攻击的攻击。后门攻击导致模型在识别期间将特定类错误分类为目标类。此漏洞允许攻击者访问受生物特征验证措施保护的高度敏感数据，或允许恶意方伪装成具有更高系统权限的个人。这些违规行为构成了严重的隐私威胁。先前的方法将噪声添加机制集成到人脸识别模型中以缓解此问题并提高分类对后门攻击的鲁棒性。然而，这会严重影响模型的准确性。我们提出了一种新的和可推广的方法（名为BA-BAM：生物特征认证-后门攻击缓解），旨在通过迁移学习和选择性图像扰动来防止对人脸认证深度学习模型的后门攻击。实验结果表明，BA-BAM具有很强的鲁棒性，最大准确率下降了2.4%，而攻击成功率最大降低了20%。与现有方法的比较表明，BA-BAM提供了一个更实用的后门缓解方法的人脸识别。
2022-02-18 cs.CR cs.CV cs.LG
Breaking Speaker Recognition with PaddingBack
Ningbo University（宁波大学）
针对现有语音后门攻击易被人耳察觉的问题，提出基于常用语音填充操作的不可感知后门攻击PaddingBack，可在不影响良性准确率的前提下实现高攻击成功率，且具备抗防御性与隐蔽性。
2024-03-11 cs.CR cs.SD eess.AS
Look, Listen, and Attack: Backdoor Attacks Against Video Action Recognition
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Saudi Data and Artificial Intelligence Authority (SDAIA)（沙特数据与人工智能管理局）
深度神经网络（DNN）容易受到一类称为“后门攻击“的攻击，这种攻击在后门触发器和攻击者有兴趣利用的目标标签之间创建关联。后门DNN在干净的测试图像上表现良好，但在存在后门触发器的情况下，持续预测攻击者定义的任何样本标签。尽管后门攻击在图像域中已经被广泛研究，但是在视频域中探索这样的攻击的工作很少，并且他们倾向于得出图像后门攻击在视频域中不太有效的结论。在这项工作中，我们重新审视了传统的后门威胁模型，并将其他与视频相关的方面纳入该模型。我们发现，有毒标签图像后门攻击可以扩展时间在两种方式，静态和动态，导致在视频域中的高效攻击。此外，我们还探索了自然视频后门，以突出此漏洞在视频领域的严重性。而且，我们第一次研究了针对视频动作识别模型的多模态（视听）后门攻击，在那里我们证明了攻击单一模态足以实现高攻击成功率。
2023-01-19 cs.CR cs.CV cs.LG
SoK: On the Survivability of Backdoor Attacks on Unconstrained Face Recognition Systems
Thales Cyber \& Digital, Inria/Université de Rennes La Ciotat \& Rennes, France；Inria/CNRS/IRISA/Université de Rennes Rennes, France
本研究首次系统分析了后门攻击对完整人脸识别系统的影响，揭示攻击者仅需一个被后门攻击的模型即可破坏整个系统，并提出了应对措施。
2026-01-20 cs.AI cs.CR cs.CV
An anomaly detection approach for backdoored neural networks: face recognition as a case study
Idiap Research Institute（伊迪亚普研究所）；École Polytéchnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL））
后门攻击允许攻击者嵌入危害任何算法的正确行为的功能，无论是否是机器学习。这种隐藏的功能可以保持不活动，以正常使用算法，直到被攻击者激活。考虑到后门攻击的隐蔽性，如果这些网络被部署用于边界或访问控制等关键应用，这些后门的后果可能是灾难性的。在本文中，我们提出了一种新的后门网络检测方法的异常检测的原则的基础上，涉及到访问的清洁部分的训练数据和训练后的网络。在考虑各种触发器、位置和身份对时，我们强调了它的潜力，而不需要对后门的性质及其设置做出任何假设。我们在一个新的后门网络数据集上测试了我们的方法，并以完美的分数报告了可检测性结果。
2022-08-22 cs.CR cs.CV cs.LG
Sample-Independent Federated Learning Backdoor Attack in Speaker Recognition
本文提出 GhostB，一种不修改样本、不依赖 dropout 的说话人识别联邦学习后门攻击方法，利用特定神经元值作为触发器，在多个数据集上实现 100% 激活成功率，并分析了神经元分散程度和深度对攻击效果的影响。
2025-01-21 cs.CR
Light Can Hack Your Face! Black-box Backdoor Attack on Face Recognition Systems
Nanyang Technological University（南洋理工大学）；City University of Hong Kong（香港城市大学）
深度神经网络（DNN）在许多计算机视觉应用中取得了巨大成功。然而，它们也容易受到后门攻击的影响。当进行后门攻击时，大多数现有方法假设目标DNN始终可用，并且攻击者始终可以将特定模式注入到训练数据中以进一步微调DNN模型。然而，在实践中，这种攻击可能是不可行的，因为DNN模型是加密的并且仅可用于安全飞地。在本文中，我们提出了一种新的黑盒后门攻击技术的人脸识别系统，它可以进行没有知识的目标DNN模型。具体而言，我们提出了一种后门攻击与一种新的颜色条纹图案触发，它可以通过调制LED在一个专门的波形产生。我们还使用了一种进化计算策略来优化后门攻击的波形。我们的后门攻击可以在非常温和的条件下进行：1）对手不能以不自然的方式操纵输入（例如，注入对抗性噪声）; 2）对手不能访问训练数据库; 3）对手不知道训练模型以及受害方使用的训练集。我们表明，后门触发器可以是相当有效的，其中攻击成功率可以高达$88\%$基于我们的模拟研究和高达$40\%$基于我们的物理域的研究，通过考虑任务的人脸识别和验证的基础上最多三次尝试在认证过程中。最后，我们评估了几个国家的最先进的潜在防御后门攻击，并发现我们的攻击仍然可以有效。我们强调，我们的研究揭示了一种新的物理后门攻击，这需要注意的安全问题，现有的人脸识别/验证技术。
2020-09-15 cs.AI cs.CR cs.CV
Temporal-Distributed Backdoor Attack Against Video Based Action Recognition
The Pennsylvania State University（宾夕法尼亚州立大学）
针对视频动作识别后门研究不足且图像式逐帧触发易被检测的问题，提出在变换域注入时间分布、不可察觉触发器的攻击方法，并在 UCF101、HMDB51 和 GSL 上验证其规避现有防御的有效性。
2023-12-09 cs.AI cs.CR cs.CV
BackdoorMBTI: A Backdoor Learning Multimodal Benchmark Tool Kit for Backdoor Defense Evaluation
Shanghai Jiao Tong University（上海交通大学）；University of Macau（澳门大学）
针对多模态后门防御缺乏统一基准的问题，提出首个多模态后门学习工具包BackdoorMBTI，基于11个数据集和3种模态提供系统化流程，支持数据投毒、后门训练及防御评估，加速多模态后门安全研究。
2025-03-06 cs.AI cs.CR
