On Prosody Modeling for ASR+TTS based Voice Conversion
Nagoya University(名古屋大学);Carnegie Mellon University(卡内基梅隆大学)
在语音转换(VC)中,在最新的语音转换挑战(VCC)2020中显示出有希望的结果的方法是首先使用自动语音识别(ASR)模型将源语音转录为底层语言内容;然后将其用作文本到语音(TTS)系统的输入以生成转换后的语音。这种被称为ASR+TTS的模式忽略了韵律的建模,而韵律在语音自然度和转换相似度方面起着重要作用。虽然有些研究者考虑从源语音中转移韵律线索,但在训练和转换过程中会出现说话人不匹配的情况。为了解决这个问题,在这项工作中,我们提出了直接预测韵律的语言表示在一个目标说话人依赖的方式,被称为目标文本预测(TTP)。我们在VCC 2020基准上评估了这两种方法,并考虑了不同的语言表示。结果表明,TTP的有效性,在客观和主观评价。
2021-07-20 cs.CL cs.SD eess.AS
The Sequence-to-Sequence Baseline for the Voice Conversion Challenge 2020: Cascading ASR and TTS
Nagoya University(名古屋大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文介绍了2020年语音转换挑战赛(VCC)的序列到序列(seq2seq)基线系统。我们考虑了一种简单的语音转换(VC)方法,即首先使用自动语音识别(ASR)模型对输入语音进行转录,然后使用转录器使用文本到语音(TTS)模型生成目标的语音。我们利用ESPnet(一个开源的端到端语音处理工具包)和社区提供的许多配置良好的预训练模型,在序列到序列(seq2seq)框架下重新审视这种方法。官方评估结果表明,我们的系统在参与系统中的转换相似性,展示了seq2seq模型转换说话人身份的能力。该实现在https://github.com/espnet/espnet/tree/master/egs/vcc20上开源。
2020-10-06 cs.CL cs.SD eess.AS
Building Accurate Low Latency ASR for Streaming Voice Search
Flipkart(Flipkart(弗利普卡特))
本文针对大规模 Hinglish 流式语音搜索,通过改进 LSTM 训练并联合 CTC 实现 ASR 与语音结束检测,在 Flipkart 数据上将词错误率降至 3.69%–4.78%,搜索延迟降低约 46.64%。
2023-05-29 cs.CL cs.LG cs.SD
Mind the Accent Gap: British Accent Robustness in Speech-Driven Financial Voice Assistants
NatWest(国民西敏寺银行)
针对语音金融助手中英国地区口音识别鲁棒性不足的问题,本文提出首个内部基准CavaBench,评估ASR-LLM流水线,发现WER强预测工具调用准确性但不足以反映任务性能,为设计包容可靠的金融语音助手提供指导。
2026-10-06 cs.AI cs.CL cs.SD
Simultaneous Speech-to-Speech Translation System with Neural Incremental ASR, MT, and TTS
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
本文介绍了一个新开发的,同时神经语音到语音翻译系统及其评价。该系统由三个全增量神经处理模块组成,分别用于自动语音识别(ASR)、机器翻译(MT)和文本到语音合成(TTS)。我们研究了其在系统的耳语音跨度和说话延迟以及模块级性能的整体延迟。
2020-11-11 cs.CL
Disentangleing Content and Fine-grained Prosody Information via Hybrid ASR Bottleneck Features for Voice Conversion
Huya Inc.(虎牙公司)
通过引入自动语音识别(ASR)模型提取的瓶颈特征(BNF),非并行数据语音转换(VC)近年来取得了相当大的突破。然而,BNF的选择对VC结果有显著影响。例如,当从用交叉熵损失(CE-BNF)训练的ASR中提取BNF并馈送到神经网络中以训练VC系统时,转换语音的音色相似性显著降低。如果从使用连接主义时间分类损失(CTC-BNF)训练的ASR中提取BNF,则转换的语音的自然度可能降低。这种现象是由BNF所包含的信息的差异造成的。本文提出了一种基于CTC-BNF和CE-BNF的混合瓶颈特征互补的任意对一VC方法。采用梯度反转层和实例归一化技术分别从CE-BNF和CTC-BNF中提取韵律信息和内容信息。采用自回归解码器和Hifi-GAN声码器产生高质量的波形。实验结果表明,该方法在相似度、自然度、质量等方面均优于基线方法,并揭示了CE-BNF和CTC-BNF所含信息的差异及其对转换后语音的影响。
2022-03-24 cs.CL cs.SD eess.AS
Bangla-Wave: Improving Bangla Automatic Speech Recognition Utilizing N-gram Language Models
North South University(北南大学);Apurba Technologies(阿普尔巴技术公司)
虽然全世界有超过3亿人说孟加拉语,但由于孟加拉语是一种低资源语言,因此在改善孟加拉语语音到文本转录方面的工作很少。然而,随着孟加拉语通用语音9.0语音数据集的引入,自动语音识别(ASR)模型现在可以得到显着改进。孟加拉语共同之声拥有399小时的语音记录,是世界上最大和最多样化的孟加拉语开源语音语料库。在本文中,我们通过在普通语音数据集上微调预训练的wav 2 vec 2模型,超越了SOTA预训练的孟加拉语ASR模型。我们还演示了如何通过添加一个n-gram语言模型作为后处理器来显着提高ASR模型的性能。最后,我们做了一些实验和超参数调整,以产生一个强大的孟加拉ASR模型,比现有的ASR模型。
2022-09-13 cs.AI cs.CL eess.AS
Voice Quality and Pitch Features in Transformer-Based Speech Recognition
Universitat Pompeu Fabra(庞培法布拉大学);Universitat de Barcelona(巴塞罗那大学)
抖动和闪烁测量已被证明是语音质量和韵律信息的载体,其增强了诸如说话人识别、日记或自动语音识别(ASR)的任务的性能。然而,这样的特征很少被用于基于神经的ASR的上下文中,其中频谱特征通常占上风。在这项工作中,我们研究的影响,将语音质量和音高功能完全和单独的基于变压器的ASR模型,与直觉的注意力机制可能会利用潜在的韵律特征。为此,我们提出了分离的卷积前端的韵律和频谱特征,表明这种架构的选择产生更好的结果比简单的级联这样的音高和语音质量功能梅尔频谱图滤波器组。此外,我们发现平均字的出错率相对减少高达5.6%的LibriSpeech基准。这些发现激发了进一步研究韵律知识的应用,以增加基于transformer的ASR的鲁棒性。
2021-12-21 cs.CL cs.LG cs.SD
Mondegreen: A Post-Processing Solution to Speech Recognition Error Correction for Voice Search Queries
Google Research(谷歌研究院)
随着越来越多的在线搜索查询来自语音,自动语音识别成为提供相关搜索结果的关键组件。自动语音识别(ASR)引入的错误导致返回给用户的搜索结果不相关,从而引起用户不满。在本文中,我们介绍了一种方法,Mondegreen,在文本空间中纠正语音查询,而不依赖于音频信号,由于系统限制或隐私或带宽(例如,一些ASR系统在设备上运行)的考虑,这可能并不总是可用。我们专注于语音查询转录通过几个专有的商业ASR系统。这些查询来自用户进行互联网或在线服务搜索查询。我们首先提出了一个分析,显示如何不同的语言分布来自用户的语音查询是从传统的文本语料库用于训练现成的ASR系统。然后,我们证明,Mondegreen可以实现显着的改善,通过纠正用户的语音查询,在谷歌最大的搜索系统之一,增加用户交互。最后,我们认为Mondegreen是对现有高度优化的生产ASR系统的补充,这些系统可能不会经常重新训练,因此由于词汇漂移而落后。
2021-05-20 cs.CL cs.LG cs.SD
When Robots Mishear Us: Mapping the Safety Risks of Voice-Controlled Embodied AI
该研究探讨ASR错误对语音控制具身AI安全性的影响,发现其会导致有害指令被执行,部分错误会削弱模型弃权行为,自动修正并非总能降低风险,揭示了ASR错误带来的显著安全风险。
2026-08-31 cs.AI cs.CL cs.RO
AfriSpeech-MultiBench: A Verticalized Multidomain Multicountry Benchmark Suite for African Accented English ASR
Intron Health(Intron健康)
针对现有语音模型评估未覆盖非洲语言多样性的缺口,提出首个多领域多国非洲口音英语ASR基准AfriSpeech-MultiBench,通过多类系统测试揭示性能差异,支撑适配非洲场景的包容性语音技术选型。
2025-11-18 cs.CL
Phonetically-Augmented Discriminative Rescoring for Voice Search Error Correction
AppleUSA(苹果公司);MetaUSA(Meta公司)
针对语音搜索中冷门电影名称识别不佳的问题,提出结合语音候选生成与判别式重打分的纠错系统,在热门电影标题基准上相对降低词错误率4.4%至7.6%。
2025-06-06 cs.AI cs.CL cs.IR
Benchmarking Multilingual Speech Models on Pashto: Zero-Shot ASR, Script Failure, and Cross-Domain Evaluation
Independent Researcher(独立研究员)
本文首次在公开普什图语数据上评估多模型,探讨零样本ASR、脚本失败和跨领域评估,发现零样本ASR的WER差异显著,脚本失败问题难以通过WER检测,跨领域评估显示模型性能下降,且普什图语独特音素导致误差集中。
2026-04-06 cs.CL
Voice Conversion Can Improve ASR in Very Low-Resource Settings
Stellenbosch University(斯泰伦博斯大学)
语音转换(VC)可以用来提高语音识别系统在低资源的语言,通过使用它来增加有限的训练数据。然而,由于实际问题,例如计算速度和转换时的限制,VC尚未广泛用于此目的。此外,目前还不清楚在一种资源丰富的语言上训练的VC模型是否可以应用于另一种资源较少的语言的语音,以实现数据增强的目的。在这项工作中,我们评估VC系统是否可以跨语言使用,以提高低资源语音识别。我们结合了几种最新的技术,设计和训练一个实用的VC系统在英语中,然后使用这个系统来增加数据的训练语音识别模型在几个低资源的语言。当使用一个合理的VC增强数据量,语音识别性能提高在所有四个低资源的语言考虑。我们还表明,基于VC的增强优于SpecAugment(一种广泛使用的信号处理增强方法)在低资源的语言考虑。
2022-06-21 cs.CL cs.SD eess.AS
ASR-GLUE: A New Multi-task Benchmark for ASR-Robust Natural Language Understanding
Tsinghua University(清华大学);Tencent AI Lab(腾讯人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
近年来,随着对语音接口应用的需求不断增长,基于语音的系统中的语言理解引起了人们的广泛关注。然而,自然语言理解(NLU)系统对自动语音识别(ASR)引入的错误的鲁棒性未得到充分研究。为了促进ASR鲁棒的通用语言理解的研究,本文提出了ASR-GLUE基准,这是一个新的6种不同的NLU任务的集合,用于评估模型在3种不同背景噪声和6种具有不同语音特征的说话人的ASR错误下的性能。基于所提出的基准,我们系统地研究了噪声强度,错误类型和扬声器变量方面的ASR错误对NLU任务的影响。我们进一步提出了两种方法,基于校正的方法和基于数据增强的方法来提高NLU系统的鲁棒性。大量的实验结果和分析表明,所提出的方法在一定程度上是有效的,但与人类的表现仍有很大差距,这表明ASR错误下的自然语言理解仍具有很大的挑战性,需要进一步研究。
2022-03-16 cs.CL cs.SD eess.AS
Evaluation of Automated Speech Recognition Systems for Conversational Speech: A Linguistic Perspective
自动语音识别(ASR)作为语音用户界面和对话代理(例如Alexa、Google Home等语音助理)满足更多非正式和自由形式的输入数据,获得知名度。会话语音是语音识别中最困难的和与环境相关的一类数据。本文从语言学的角度,以法语为例,对法语同音异义词的消歧进行了研究。我们的贡献旨在提供更多的洞察人类语音转录准确性的条件下,重现那些国家的最先进的ASR系统,虽然在一个非常集中的情况。我们调查了一个案例研究,涉及最常见的错误,在法语的自动转录。
2022-12-05 cs.CL
An Exhaustive Evaluation of TTS- and VC-based Data Augmentation for ASR
本文系统评估了基于流的TTS/VC数据增强对ASR的影响,发现音高和说话人增强无效,而联合增强其他属性可使Conformer-Transducer的WER在Common Voice上相对降低11%、在LibriSpeech上最多降低35%。
2025-03-11 cs.CL eess.AS
Incorporating VAD into ASR System by Multi-task Learning
Megatronix(Beijing) Technology Co., Ltd.(兆芯(北京)科技有限公司)
在端到端自动语音识别(E2 E-ASR)系统的实际应用中,通常需要一个语音活动检测(VAD)系统来提高系统的性能,并通过丢弃音频中的非语音部分来降低计算开销。通常,ASR和VAD系统彼此独立地训练和使用。在本文中,我们提出了一种新的多任务学习(MTL)框架,将VAD到ASR系统。该系统在训练阶段学习ASR和VAD。在VAD的帮助下,ASR性能得到改善,因为其连接主义时间分类(CTC)损失函数可以利用VAD对齐信息。在推理阶段,该系统以较低的计算成本去除非语音部分,并具有较高的鲁棒性识别语音部分。实验结果表明,通过利用VAD信息,该方法优于基线ASR系统在英语和汉语数据集上的分割语音数据。在未分段的语音数据上,我们发现该系统的性能优于构建额外的基于GMM或基于DNN的语音活动检测器的ASR系统。
2022-09-30 cs.CL cs.SD eess.AS
Unsupervised End-to-End Learning of Discrete Linguistic Units for Voice Conversion
National Taiwan University(台湾大学)
我们提出了一个无监督的端到端的训练方案,我们发现离散的子字单元从语音,而不使用任何标签。离散子字单元在ASR-TTS自动编码器重构设置下学习,其中ASR编码器被训练以发现给定各种说话者的一组公共语言单元,并且TTS解码器被训练以将所发现的单元投射回指定语音。我们提出了一种离散编码方法,多标签二进制矢量(MBV),使ASR-TTS自动编码器可区分。我们发现,所提出的编码方法提供了自动提取的语音内容从扬声器的风格,并足以涵盖完整的语言内容在一个给定的语言。因此,TTS解码器可以合成与ASR编码器输入内容相同但具有不同说话人特征的语音,从而实现语音转换(VC)。我们使用对抗训练进一步提高VC的质量,其中我们训练一个TTS修补程序,以增强TTS解码器的输出。客观和主观评价表明,该方法提供了强大的VC结果,因为它消除了说话人身份,同时保留语音内容。在ZeroSpeech 2019挑战赛中,我们在低比特率方面取得了出色的表现。
2019-06-20 cs.CL cs.LG cs.SD
MAC: A unified framework boosting low resource automatic speech recognition
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
我们提出了一个统一的框架,低资源自动语音识别任务命名为Meta音频级联(MAC)。它易于实施,可以在资源极其有限的环境中进行。在数学上,我们给出了一个清晰的描述MAC框架的角度来看,baker-sampling。在这个框架中,我们利用一个新的拼接合成文本到语音系统,以提高低资源ASR任务。通过拼接合成的文语转换系统,可以整合语言发音规则,调整文语转换过程。此外,我们提出了一个广义的Meta音频集的概念,以满足不同的语言和不同的场景使用系统时的建模需求。大量的实验已经证明了MAC在低资源ASR任务上的巨大有效性。对于CTC贪婪搜索、CTC前缀、注意力和注意力重评分解码模式,MAC方法在粤语ASR任务、台语ASR任务和日语ASR任务中均能使CER降低15%以上。此外,在ASR任务中,MAC在粤语的常见语音数据集上击败了wav 2 vec 2(微调),并在台语和日语的常见语音数据集上获得了真正有竞争力的结果。其中,值得一提的是,我们在普通语音粤语ASR任务上实现了\textbf{10.9\%}的字符出错率(CER),带来了\textbf{30\%}相对wav 2 vec 2的改善(微调)。
2023-02-15 cs.CL cs.SD eess.AS
Speech To Semantics: Improve ASR and NLU Jointly via All-Neural Interfaces
Amazon Alexa(亚马逊Alexa)
我们考虑的问题,口语语言理解(SLU)提取自然语言的意图和相关的插槽参数或命名实体的语音,主要是针对语音助理。这样的系统包括自动语音识别(ASR)以及自然语言理解(NLU)。端到端联合SLU模型可以根据所需的规范构建,从而有机会部署在硬件受限的场景中,例如使语音助理能够以隐私保护的方式离线工作的设备,同时还可以降低服务器成本。我们首先提出了直接从语音中提取话语意图而无需中间文本输出的模型。然后,我们提出了一个组合模型,它使用Listen Attend Spell ASR系统生成成绩单,然后使用神经NLU模型提取解释。最后,我们将这些方法与联合训练的端到端联合SLU模型进行了对比,该模型由ASR和NLU子系统组成,这些子系统通过基于神经网络的接口而不是文本连接,该接口可以生成成绩单以及NLU解释。我们表明,联合训练的模型显示了对结合NLU语义信息的ASR的改进,并且通过将其暴露于隐藏层中编码的ASR混淆来改进NLU。
2020-08-14 cs.CL eess.AS
Decolonizing Linguistic Policies in Automated Speech Recognition: A Framework for Cross-Culturally Competent Speech AI
DePaul University(德保罗大学);York University(约克大学)
本文针对ASR及相关语音界面的殖民语言等级问题,提出含“三种危害”分类法、七层情境模型的框架,以受影响社区为协同者构建文化胜任的ASR参与式方案。
2026-08-07 cs.CL cs.CY cs.HC
Model-Agnostic and Language-Agnostic Voice Pipeline Improvement for the Agriculture Domain
Digital Green(数字绿色组织)
提出一种模型无关且语言无关的模块化语音管道,通过门控音频增强、说话人分离与选择、领域感知校正及质量门控,在不微调ASR模型的情况下,将农业语音转录的WER相对降低16-23%(云模型)和5%(设备端模型),多说话人场景降幅更大。
2026-09-18 cs.AI cs.CL cs.SD
Voice Privacy with Smart Digital Assistants in Educational Settings
Merlyn Mind, Inc.(Merlyn Mind 公司)
语音助理设备的出现带来了令人愉快的用户体验,不仅在智能家居方面,而且在从教室到个性化学习/辅导的各种教育环境中。然而,使用语音作为交互方式也可能导致暴露用户的身份,并阻碍语音界面的更广泛采用;这在有儿童存在且需要保护其语音隐私的环境中尤其重要。为此,国家的最先进的技术在文献中提出的基础上,我们设计和评估一个实用和有效的框架,语音隐私的来源。该方法结合了说话人识别(SID)和语音转换方法,以在记录语音的设备上随机伪装用户的身份,同时确保用户的转换后的话语仍然可以被自动语音识别(ASR)解决方案成功地转录。我们评估的ASR性能的转换,在字的错误率,并显示这个框架的承诺,在保留输入语音的内容。
2021-03-24 cs.CL cs.CR cs.SD
Voice of India: A Large-Scale Benchmark for Real-World Speech Recognition in India
Indian Institute of Technology, Madras, India(印度理工学院,马德拉斯分校);Josh Talks, India(Josh Talks)
针对现有Indic ASR基准的局限性,提出基于非脚本电话对话的封闭源基准Voice of India,覆盖15种主要印度语言和139个区域集群,包含306230条语音(536小时),并分析地理、音频质量、语速、性别和设备类型等因素对ASR性能的影响。
2026-07-07 cs.CL cs.SD eess.AS
Causal Structure Discovery for Error Diagnostics of Children's ASR
University of Eastern Finland(东芬兰大学);TCG CREST;School of Computing(计算学院);Institute for Advancing Intelligence(先进智能研究所)
本文引入因果结构发现与量化方法,揭示生理、认知及外在因素对儿童ASR错误的相互依赖影响,并验证了该发现在Whisper和Wav2Vec2.0等不同系统间的泛化性。
2025-05-31 cs.CL cs.SD eess.AS
Enhancing ASR for Stuttered Speech with Limited Data Using Detect and Pass
Amazon Alexa(亚马逊Alexa)
据估计,全世界约有7000万人受到称为口吃的言语障碍的影响。随着自动语音识别(ASR)的最新进展,语音助理在我们的日常生活中越来越有用。教育、零售、电信和医疗保健领域的许多技术现在都可以通过语音进行操作。不幸的是,口吃者(PWS)无法获得这些好处。我们提出了一种简单但有效的方法,称为“检测和传递”,使现代ASR系统访问口吃的人在有限的数据设置。该算法使用一个上下文感知分类器训练的有限数量的数据,检测声学帧,包含口吃。为了提高对口吃语音的鲁棒性,这些额外的信息被传递到ASR模型以在推理期间使用。我们的实验表明,在字错误率(WER)在各种国家的最先进的ASR系统的12.18%至71.24%的减少。在改变用于确定低帧速率(LFR)声学特征的每个堆叠帧的口吃的相关后验概率的阈值后,我们能够确定在不同ASR系统中将WER降低23.93%至71.67%的最佳设置。
2022-02-08 cs.CL cs.LG cs.SD
SCRIBE: Diagnostic Evaluation and Rich Transcription Models for Indic ASR
Adalat AI, India(印度Adalat人工智能公司)
SCRIBE通过沙地容忍对齐和领域词汇注入,提供词错误率的分类分解,解决了传统词错误率在处理聚合语言时的不足,同时释放了用于印地语、马拉雅尔语和卡纳达语的丰富转录模型。
2026-06-29 cs.AI cs.CL
Pretraining Techniques for Sequence-to-Sequence Voice Conversion
Nagoya University(名古屋大学);Human Dataware Lab. Co. Ltd.(人类数据软件实验室有限公司);NTT Communication Science Laboratories, Nippon Telegraph and Telephone Corporation(日本电信电话株式会社NTT通信科学实验室)
序列到序列(seq2seq)语音转换(VC)模型由于其转换韵律的能力而具有吸引力。尽管如此,如果没有足够的数据,seq2seq VC模型可能会在转换后的语音中遇到不稳定的训练和发音错误的问题,因此远不实用。为了解决这些缺点,我们建议从其他语音处理任务中转移知识,其中大规模语料库很容易获得,通常是文本到语音(TTS)和自动语音识别(ASR)。我们认为,VC模型初始化与这种预训练的ASR或TTS模型参数可以产生有效的隐藏表示高保真,高度可理解的转换语音。我们将这些技术应用于基于递归神经网络(RNN)和基于Transformer的模型,并通过系统的实验,我们证明了预训练方案的有效性和基于Transformer的模型在可理解性,自然性和相似性方面优于基于RNN的模型。
2020-08-07 cs.CL cs.SD eess.AS
Record Deduplication for Entity Distribution Modeling in ASR Transcripts
Alexa AI, Amazon.com Inc(亚马逊公司Alexa AI)
针对语音助手实体集更新及ASR识别错误导致实体分布难获取的问题,提出用记录去重技术从ASR输出建模真实实体分布,可检索95%错识实体,搭配上下文偏置能降低5%相对词错误率。
2023-06-09 cs.CL
Improving Speaker Assignment in Speaker-Attributed ASR for Real Meeting Applications
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Vivoka(维沃卡公司)
本文针对真实会议场景,提出结合VAD、说话人分离和SA-ASR的优化流程,通过VAD片段微调及改进说话人嵌入提取,显著降低说话人错误率。
2024-09-05 cs.CL
Bengali Common Voice Speech Dataset for Automatic Speech Recognition
Michigan State University(密歇根州立大学);RPI(伦斯勒理工学院);Vanderbilt University(范德堡大学);Rice University(莱斯大学)
孟加拉语是世界上使用最多的语言之一,全球有超过3亿人使用。尽管孟加拉语语音识别系统很受欢迎,但由于缺乏多样化的开源数据集,对孟加拉语语音识别系统开发的研究受到了阻碍。作为前进的方向,我们已经众包了孟加拉语通用语音语音数据集,这是一个高级自动语音识别语料库。该数据集在Mozilla Common Voice平台上收集,是正在进行的活动的一部分,该活动在两个月内收集了超过400小时的数据,并且正在迅速增长。我们的分析表明,与现有最大的开源孟加拉语语音数据集OpenSLR孟加拉语ASR数据集相比,该数据集具有更多的扬声器,音素和环境多样性。我们提出了从数据集中获得的见解,并讨论了需要在未来版本中解决的关键语言挑战。此外,我们报告了一些自动语音识别(ASR)算法的当前性能,并为未来的研究设定了基准。
2022-06-29 cs.CL cs.SD eess.AS
Catch Me If You Can: Blackbox Adversarial Attacks on Automatic Speech Recognition using Frequency Masking
University of Edinburgh(爱丁堡大学)
自动语音识别(ASR)模型是普遍的,特别是在用于家用电器的语音导航和话音控制的应用中。ASR的计算核心是深度神经网络(DNN),已被证明易受对抗性扰动的影响;很容易被攻击者滥用以生成恶意输出。为了帮助测试ASRS的安全性和鲁棒性,我们提出了生成黑盒(与DNN无关)的技术,这些技术可以跨ASR进行无针对性的对抗攻击。这与专注于白盒目标攻击的现有工作形成对比,这些攻击耗时且缺乏可移植性。我们的技术生成对抗攻击,通过使用心理声学模型操纵音频信号,保持音频扰动低于人类感知的阈值,没有人类可听的差异。我们使用三种流行的ASR和两个输入音频数据集,使用的指标-字出错率(WER)的输出转录,原始音频的相似性,攻击成功率不同的ASR和检测分数的防御系统,我们的技术评估的可移植性和有效性。我们发现我们的对抗攻击可以跨ASR进行移植,不容易被最先进的防御系统检测到,并且在输出传输上有显著差异,同时听起来与原始音频相似。
2022-04-12 cs.CL cs.SD cs.SE
Voice-Light: A Full-Duplex Cascaded Voice Agent with Causal Turn-Taking and Speculative Generation
Voice-Light提出级联全双工语音智能体,结合因果轮换与投机式生成,实现低延迟交互,并通过混合控制器在真实场景中平衡误切断与轮次召回率。
2026-09-21 cs.CL cs.SD eess.AS
End-to-End Spoken Language Understanding: Performance analyses of a voice command task in a low resource setting
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院)
口语语言理解是大多数人机交互系统的核心任务。随着灵巧家庭、智能手机和智能音箱的出现,SLU已经成为行业的关键技术。在经典的SLU方法中,自动语音识别(ASR)模块将语音信号转录成文本表示,自然语言理解(NLU)模块从该文本表示提取语义信息。最近,基于深度神经网络的端到端SLU(E2E SLU)获得了发展势头,因为它受益于ASR和NLU部分的联合优化,从而限制了流水线架构的错误影响的级联。然而,很少有人知道E2E模型预测概念和意图从语音输入的实际语言属性。在本文中,我们提出了一项研究,确定E2E模型执行SLU任务所使用的信号特征和其他语言属性。这项研究是在一个灵巧家庭的应用领域进行的,它必须处理非英语(这里是法语)的语音命令。结果表明,良好的E2E SLU性能并不总是需要完美的ASR能力。此外,结果表明,优越的能力,E2E模型在处理背景噪声和句法变化相比,管道模型。最后,更细粒度的分析表明,E2E模型使用输入信号的音高信息来识别语音命令概念。本文概述的结果和方法提供了一个跳板E2E模型在语音处理的进一步分析。
2022-07-17 cs.CL cs.SD eess.AS
CoSE-E: A Benchmark for Code-switched Speech Evaluation in Enterprise Settings
ServiceNow AI Research(ServiceNow AI研究院);Qualcomm Technologies, Inc.(高通技术公司)
本文提出CoSE-E基准,用于企业场景下语码转换语音识别评估,涵盖多维度框架、5种语言对的系统评测及错误诊断分析,以支持多语言语音代理部署。
2026-09-29 cs.CL cs.LG cs.SD
Mega-ASR: Towards In-the-wild^2 Speech Recognition via Scaling up Real-world Acoustic Simulation
NTU(国立新加坡大学);NUS(新加坡国立大学);Shanghai AI Lab(上海人工智能实验室)
本文提出Mega-ASR,一种统一的野外语音识别框架,结合可扩展的复合数据构建与渐进的声学到语义优化,通过在7种经典声学现象和54种物理上合理的复合场景上训练,显著提升了在恶劣环境下的语音识别性能。
2026-05-19 cs.AI cs.CL cs.MM
Automatic Speech Recognition of Non-Native Child Speech for Language Learning Applications
Radboud University Nijmegen(拉德堡德大学奈梅亨分校);NovoLearning
本研究评估了Wav2Vec2.0和Whisper AI两种ASR系统在母语与非母语荷兰语儿童语音上的表现,发现预训练transformer模型能有效识别并提取音素发音质量的详细反馈,支持儿童外语学习。
2023-06-29 cs.CL cs.SD eess.AS
High-precision Voice Search Query Correction via Retrievable Speech-text Embedings
Google(谷歌)
针对ASR假设文本与音频不匹配导致检索精确度低的问题,提出直接使用多模态语音-文本嵌入网络生成音频嵌入查询纠正数据库并评分候选,使相关话语词错率相对降低6%且不影响整体。
2024-01-08 cs.CL cs.SD eess.AS
Advancing Hearing Assessment: An ASR-Based Frequency-Specific Speech Test for Diagnosing Presbycusis
Institute of Sound and Vibration Research, University of Southampton(声学与振动研究所,南安普顿大学)
本文提出一种基于ASR的特定频率语音测试,通过模拟中度倾斜型听力损失的声学退化并分析音素混淆模式,为诊断老年性耳聋提供客观、精细的评估方法。
2025-05-28 cs.CL cs.SD eess.AS
Convoifilter: A case study of doing cocktail party speech recognition
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学)
该研究提出结合 ConVoiFilter 单通道语音增强与 ASR 的端到端鸡尾酒会语音识别模型,并通过联合微调将 WER 从 80% 降至 14.5%。
2024-04-07 cs.CL cs.SD eess.AS
CommonAccent: Exploring Large Acoustic Pretrained Models for Accent Classification Based on Common Voice
Idiap Research Institute(Idiap研究所);Ecole Polytechnique Federale de Lausanne(洛桑联邦理工学院);Texas A&M University(得克萨斯农工大学);Vilnius Gediminas Technical University(维尔纽斯盖迪米纳斯技术大学);Université Laval(拉瓦尔大学);Concordia University(康考迪亚大学);Mila-Québec AI Institute(米拉-魁北克人工智能研究所)
本文基于 Common Voice 数据集,利用 ECAPA-TDNN 和 Wav2Vec 2.0/XLSR 架构构建多语言口音分类方法,在英语口音分类上达到 95% 准确率的新最优结果,并开源了 SpeechBrain 配方。
2023-05-29 cs.AI cs.CL cs.LG
Contextual Semi-Supervised Learning: An Approach To Leverage Air-Surveillance and Untranscribed ATC Data in ASR Systems
Idiap Research Institute(伊迪亚普研究所);Ecole Polytechnique Federale de Lausanne (EPFL)(洛桑联邦理工学院);Brno University of Technology(布尔诺理工大学);ReplayWell(ReplayWell公司)
空中交通管理,特别是空中交通管制(ATC)主要依赖于空中交通管制员(ATCos)和飞行员之间的语音通信。在大多数情况下,这些语音通信遵循可以在自动语音识别(ASR)技术中利用的定义良好的语法。用于称呼飞机的呼号是所有ATCo-飞行员通信的重要组成部分。我们提出了一个两步的方法,在半监督训练过程中添加上下文知识,以降低ASR系统在识别包含呼号的话语部分时的出错率。最初,我们表示在WFST的上下文知识(即空中监视数据)的ATCo飞行员通信。然后,在半监督学习(SSL)期间,通过第二遍解码(即,格重新评分)添加上下文知识。结果表明,“看不见的域”(例如,来自机场的数据不存在于监督训练数据)进一步协助上下文SSL相比,独立的SSL。对于这项任务,我们引入呼号字出错率(CA-WER)作为评估指标,它只评估语音呼号在话语中的ASR性能。我们获得了32.1%的CA-WER相对改善应用SSL与额外的17.5%的CA-WER改善通过添加上下文知识在SSL期间从LiveATC收集的具有挑战性的基于ATC的测试集。
2021-08-27 cs.CL cs.CV cs.LG
Reverb: Open-Source ASR and Diarization from Rev
Rev(雷夫(Rev))
Rev开源了核心语音识别与说话人分离模型,提供生产流水线和研究模型,其语音识别模型在长语音识别领域优于现有开源模型。
2025-02-24 cs.CL cs.SD eess.AS
CORAA: a large corpus of spontaneous and prepared speech manually validated for speech recognition in Brazilian Portuguese
Federal University of Technology – Paraná(巴拉那联邦理工大学);Federal University of Goias(戈亚斯联邦大学)
自动语音识别(ASR)是一项复杂而具有挑战性的任务。近年来,这一领域取得了重大进展。具体而言,就巴西葡萄牙语(BP)而言,直至二零二零年下半年,约有376小时公众可用于ASR任务。随着2021年初新数据集的发布,这一数字增加到574小时。然而,现有的资源是由音频组成的,只包含阅读和准备的演讲。缺乏包括自发语音的数据集,这在不同的ASR应用中是必不可少的。CORAA(Corpus of Annotated Audios)v1。290.77小时,BP中ASR的公开可用数据集,包含验证对(音频转录)。CORAA还包含欧洲葡萄牙语音频(4.69小时)。我们还提出了一个基于Wav 2 Vec 2.0 XLSR-53的公共ASR模型,并在CORAA上进行了微调。我们的模型在CORAA测试集和普通语音测试集上的单词出错率分别为24.18%和20.08%。当测量字符出错率时,我们得到CORAA和普通语音分别为11.02%和6.34%。CORAA语料库的组装,以改善在BP的ASR模型与现象,从自发的讲话,并激励年轻的研究人员开始他们的研究对葡萄牙语的ASR。所有语料库都可以在CC BY-NC-ND 4.0许可证下在https://github.com/nilc-nlp/CORAA上公开获得。
2021-11-18 cs.CL cs.SD eess.AS
UML: A Universal Monolingual Output Layer for Multilingual ASR
Google(谷歌)
词段模型(WPM)是最先进的端到端自动语音识别(ASR)系统中常用的子词单元。对于多语言ASR,由于不同语言的书面脚本存在差异,多语言WPM带来了输出层过大和扩展到更多语言的挑战。在这项工作中,我们提出了一个通用的单语输出层(UML)来解决这些问题。UML将每个输出节点与多个WPM重新关联,而不是一个输出节点只用于一个WPM,每个WPM用于一种语言,并导致跨语言共享的更小的单语输出层。因此,UML能够根据输入语音的语言切换每个输出节点的解释。11种语言的语音搜索任务的实验结果表明,使用UML的高质量和高效率的多语言流ASR的可行性。
2023-02-22 cs.CL cs.SD eess.AS
Building Robust Spoken Language Understanding by Cross Attention between Phoneme Sequence and ASR Hypothesis
JD AI(京东人工智能);Hunan University(湖南大学);University of Cambridge(剑桥大学)
构建对自动语音识别(ASR)错误鲁棒的口语语言理解(SLU)是各种启用语音的虚拟助理的基本问题。考虑到大多数ASR错误是由发音相似的表达之间的语音混淆引起的,直观地,利用语音的音素序列可以补充ASR假设,并增强SLU的鲁棒性。提出了一种新的带交叉注意的SLU模型(CASLU).交叉注意块的设计是为了捕捉音素和词嵌入之间的细粒度的相互作用,以使联合表示捕捉输入的语音和语义特征的同时,克服在下游的自然语言理解(NLU)任务的ASR错误。在三个数据集上进行了大量的实验,显示了我们的方法的有效性和竞争力。此外,我们还验证了CASLU的通用性,并证明了它与其他鲁棒SLU技术相结合时的互补性。
2022-03-22 cs.CL cs.SD eess.AS
VAD-free Streaming Hybrid CTC/Attention ASR for Unsegmented Recording
Graduate School of Informatics, Kyoto University, Kyoto, Japan(京都大学信息学研究科)
在这项工作中,我们提出了新的解码算法,使流自动语音识别(ASR)的未分割的长形式的录音没有语音活动检测(VAD),基于单调块注意(MoChA)与辅助连接时间分类(CTC)的目标。我们提出了一种块同步波束搜索解码,以利用高效的批量输出同步和低延迟输入同步搜索。我们还提出了一个无VAD的推理算法,利用CTC概率来确定一个合适的时间来重置模型状态,以解决长格式数据的脆弱性。实验结果表明,块同步解码达到相当的精度标签同步之一。此外,无VAD推理可以鲁棒地识别长格式语音长达几个小时。
2021-07-15 cs.CL cs.SD eess.AS
BlasBench: An Open Benchmark for Irish Speech Recognition
Independent Researcher(独立研究者)
本文提出BlasBench,一个针对爱尔兰语的开放评估工具,提供爱尔兰语-aware的标准化、可重复评分和预测,通过在Common Voice和FLEURS数据集上评估12种系统,揭示了多语言模型在不同数据集上的表现差异。
2026-04-16 cs.CL cs.SD
Some voices are too common: Building fair speech recognition systems using the Common Voice dataset
Laboratoire Informatique d’Avignon(阿维尼翁计算机实验室);Thales SIX(泰雷兹SIX)
本文基于法语 Common Voice 数据集评估 wav2vec 2.0 对不同人口群体的偏见,并通过固定规模训练集微调揭示说话人多样性的重要性及数据集缺陷。
2023-06-01 cs.CL cs.LG cs.SD
Diagnostic-Driven Layer-Wise Compensation for Post-Training Quantization of Encoder-Decoder ASR Models
McGill University(麦吉尔大学);University of Manitoba(曼尼托巴大学);Mila - Quebec AI Institute(魁北克AI研究院)
本文提出FADE框架,通过结合内在脆弱性评分和校准可靠性评分,为编码器-解码器ASR模型的各层分配适应性补偿系数,以平衡局部量化保真度与跨层误差校正,从而提升在3-4位精度下的词错误率性能。
2026-08-11 cs.CL cs.SD eess.AS
Multi-Task Learning for End-to-End ASR Word and Utterance Confidence with Deletion Prediction
Google(谷歌)
置信度分数对于自动语音识别(ASR)系统的下游应用是非常有用的。最近的工作提出了使用神经网络来学习端到端ASR的单词或话语置信度得分。在这些研究中,单词置信度本身并不对删除进行建模,并且话语置信度并没有利用单词级训练信号。本文提出了联合学习单词置信度,单词删除和话语置信度。实证结果表明,具有所有三个目标的多任务学习提高了置信度指标(NCE,AUC,RMSE),而不需要增加置信度估计模块的模型大小。使用话语级置信度进行重新评分还可以将Google语音搜索和长尾地图数据集上的单词错误率相对降低3-5%,而无需专门的神经重新评分器。
2021-04-26 cs.CL cs.LG cs.SD
Towards High-fidelity Singing Voice Conversion with Acoustic Reference and Contrastive Predictive Coding
Soochow University(苏州大学);ByteDance AI Lab(字节跳动人工智能实验室)
近年来,基于语音后验图(PPG)的方法在非并行歌唱声音转换系统中已经相当流行。然而,由于PPG中声学信息的缺乏,转换后的歌声的风格和自然度仍然有限。为了解决这些问题,在本文中,我们利用一个声学参考编码器隐式模型歌唱特征。我们使用不同的辅助特征,包括mel声谱图、HuBERT和预训练的自动语音识别(ASR)模型的中间隐藏特征(PPG-Mid)作为参考编码器的输入进行实验,最终发现HuBERT特征是最佳选择。此外,我们使用对比预测编码(CPC)模块,通过预测潜在空间中的未来观测值来进一步平滑语音。实验表明,与基线模型相比,该模型能显著提高转换后歌声的自然度和与目标歌手的相似度。此外,我们提出的模型也可以使说话人与语音数据唱歌。
2021-10-10 cs.CL cs.SD eess.AS
Transformer-based Model for ASR N-Best Rescoring and Rewriting
Apple(苹果公司)
本文提出一种基于Transformer的模型,通过并行利用N-best假设的完整上下文同时进行重打分和重写,并设计新的判别式序列训练目标,在ASR系统上平均实现8.6%的相对词错误率降低。
2024-06-12 cs.CL cs.LG cs.SD