Speech Recognition with Augmented Synthesized Speech
Google（谷歌公司）
最近Tacotron语音合成结构及其变体在产生自然发声的多说话者合成语音方面的成功已经提高了替代用于训练语音识别器的昂贵的、手动转录的、特定领域的人类语音的令人兴奋的可能性。多说话者语音合成架构可以学习从输入声学表示导出的韵律、说话者和风格变化的潜在嵌入空间，从而允许对合成语音的操纵。在本文中，我们评估的可行性，提高语音识别性能使用语音合成使用两个语料库从不同的领域。我们探索算法，以提供必要的声学和词汇的多样性需要强大的语音识别。最后，我们证明了这种方法的可行性，作为一个数据增强策略域转移。我们发现，语音识别性能的改善是可以实现的，通过增加合成材料的训练数据。然而，在人类语音训练的识别器与合成语音训练的识别器之间的性能仍然存在很大的差距。
2019-09-25 cs.CL cs.SD eess.AS
Multilingual Bottleneck Features for Improving ASR Performance of Code-Switched Speech in Under-Resourced Languages
Stellenbosch University（斯泰伦博斯大学）
在这项工作中，我们探讨的好处，使用多语言瓶颈功能（MBNF）在声学建模的自动语音识别的代码切换（CS）语音在非洲语言。在为这种资源严重不足的语音类型开发语音识别系统时，感兴趣语言的注释语料库的不可用性一直是主要挑战。因此，值得研究的潜力，使用语音语料库可用于其他资源更好的语言，以提高语音识别性能。为了实现这一目标，我们训练的mBNF提取器使用九个南部班图语言的一部分，免费提供的多语言NCHLT语料库。我们将这些mBNF附加到现有的MFCC、音高特征和i向量上，以训练声学模型，用于目标代码切换语言的自动语音识别（ASR）。我们的研究结果表明，包含的mBNF功能导致明显的性能改善基线训练没有mBNF代码切换英语-isiZulu，英语-isiXhosa，英语-Sesperium和英语-Setperium语音。
2020-10-31 cs.CL cs.LG cs.SD
A baseline model for computationally inexpensive speech recognition for Kazakh using the Coqui STT framework
Taruen
移动设备正在改变人们与计算机交互的方式，应用程序的语音接口变得越来越重要。最近公布的自动语音识别系统非常准确，但通常需要强大的机器（专用图形处理单元）进行推理，这使得它们在商品设备上运行不切实际，特别是在流模式下。对Kazakh ASR基线模型的准确性印象深刻，但对该模型的推理时间不满意（Khassanov等人，2021）在不使用GPU时，我们训练了一个新的基线声学模型（与上述论文相同的数据集）和三个语言模型，用于Coqui STT框架。结果看起来很有希望，但需要进一步的训练和参数扫描，或者限制ASR系统必须支持的词汇，以达到生产级的准确性。
2021-11-28 cs.CL cs.LG cs.SD
Noise-robust Speech Recognition with 10 Minutes Unparalleled In-domain Data
Nanyang Technological University（南洋理工大学）；Air Traffic Management Research Institute（空中交通管理研究院）
抗噪语音识别系统需要大量的训练数据，包括带噪语音数据和相应的文本，以在各种实际环境中获得最佳性能。然而，如此大量的域内数据在现实世界中并不总是可用的。在本文中，我们提出了一个生成对抗网络来从干净的频谱（Simu-GAN）中模拟噪声频谱，其中只需要10分钟的无与伦比的域内噪声语音数据作为标签。此外，我们也提出了一个双路径语音识别系统，以提高系统在噪声条件下的鲁棒性。实验结果表明，所提出的语音识别系统实现了7.3%的绝对改善与模拟噪声数据的Simu-GAN在最佳基线方面的字出错率（WER）。
2022-03-29 cs.CL cs.SD eess.AS
Supervised Attention in Sequence-to-Sequence Models for Speech Recognition
Centre for Speech Technology Research, School of Informatics, University of Edinburgh（爱丁堡大学信息学院 speech 技术研究中心）
序列到序列模型中的注意机制是为了模拟语音识别中声学特征和输出标记之间的对齐。然而，由端到端训练的模型产生的注意力权重并不总是与实际对齐很好地对应，并且一些研究进一步认为注意力权重甚至可能与帧的相关性属性不对应。无论如何，注意力权重和对齐之间的视觉相似性在训练期间被广泛用作模型质量的指标。在本文中，我们将注意力权重和对齐之间的对应关系视为一个学习问题，通过施加监督注意力损失。实验已经显示出显着的改进性能，这表明在训练期间很好地学习比对关键地决定了序列到序列模型的性能。
2022-04-25 cs.CL cs.LG cs.SD
Boosting keyword spotting through on-device learnable user speech characteristics
Integrated Systems Laboratory (IIS), ETH Zurich（苏黎世联邦理工学院集成系统实验室）；Zurich Research Center, Huawei Technologies（华为技术有限公司苏黎世研究中心）；DEI, University of Bologna（博洛尼亚大学电子、计算机与工程系）
针对TinyML场景下关键词识别适配未见用户难、端侧学习资源不足的问题，提出含预训练骨干与用户感知嵌入的轻量端侧学习架构，可低成本适配用户语音，显著降低错误率，适配少样本场景且满足微控制器资源约束。
2024-03-12 cs.LG cs.SD eess.AS
Robust Speech Recognition Using Generative Adversarial Networks
Baidu Research（百度研究院）
本文描述了一个通用的，可扩展的，端到端的框架，使用生成对抗网络（GAN）的目标，使强大的语音识别。使用所提出的方法训练的编码器通过学习将嘈杂音频映射到与干净音频相同的嵌入空间来享受改进的不变性。与以前的方法不同，新框架不依赖于信号处理中经常需要的领域专业知识或简化假设，而是以数据驱动的方式直接鼓励鲁棒性。我们表明，新方法提高了香草序列到序列模型的模拟远场语音识别，而无需专门的前端或预处理。
2017-11-05 cs.CL cs.LG
Revisiting End-to-End Speech-to-Text Translation From Scratch
University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
端到端（E2 E）语音到文本翻译（ST）通常依赖于通过语音识别或文本翻译任务使用源转录来预训练其编码器和/或解码器，没有这些任务，翻译性能会大幅下降。然而，成绩单并不总是可用的，以及如何显着这样的预训练是E2 E ST很少在文献中研究。在本文中，我们重新审视这个问题，并探讨在何种程度上的语音翻译对单独训练的E2 E ST的质量可以提高。我们重新审视了之前被证明对ST有益的几种技术，并提供了一组最佳实践，使基于Transformer的E2 E ST系统偏向于从头开始训练。此外，我们提出了参数化的距离惩罚，以促进局部性的语音自注意模型的建模。在涵盖23种语言的四个基准上，我们的实验表明，在不使用任何成绩单或预训练的情况下，所提出的系统达到甚至超过了以前采用预训练的研究，尽管在（极）低资源环境中仍然存在差距。最后，我们讨论了神经声学特征建模，其中神经模型被设计为直接从原始语音信号中提取声学特征，其目标是简化归纳偏差并在描述语音时增加模型的自由度。我们第一次证明了它的可行性，并在ST任务上显示出令人鼓舞的结果。
2022-06-09 cs.CL cs.LG cs.SD
Speech-language Pre-training for End-to-end Spoken Language Understanding
Microsoft（微软）
端到端（E2 E）口语语言理解（SLU）可以直接从语音信号中推断语义，而无需将自动语音识别器（ASR）与自然语言理解（NLU）模块级联。然而，成对的话语记录和对应的语义可能并不总是可用的或不足以在真实的生产环境中训练E2 E SLU模型。在本文中，我们提出将优化的E2 E ASR编码器（语音）和预训练的语言模型编码器（语言）统一到Transformer解码器中。通过使用条件掩蔽语言模型（MLM）目标，统一的语音-语言预训练模型（SLP）在来自目标域的有限标记数据上不断增强，并且因此可以有效地生成用于推理中的给定输入语音的意图、槽类型和槽值的序列。在两个公开语料库上的实验结果表明，该方法在E2 E SLU上的性能优于传统的级联方法。它还优于目前最先进的E2 E SLU方法，配对数据少得多。
2021-02-11 cs.CL cs.SD eess.AS
Automatic Speech Recognition with Very Large Conversational Finnish and Estonian Vocabularies
Aalto University（阿尔托大学）
如今，大词汇量语音识别中的语言模型的词汇量通常是几十万个单词。虽然这在某些应用程序中已经足够了，但词汇表外的单词仍然限制了其他应用程序的可用性。在黏着语中，除了复合词和词形变化之外，用于会话的词汇应该包括数百万个单词形式，以覆盖由于口语发音而引起的拼写变化。例如，当识别罕见的专有名称很重要时，也需要非常大的词汇表。
2017-09-29 cs.CL cs.SD
An Empirical Study of Speech Language Models for Prompt-Conditioned Speech Synthesis
Carnegie Mellon University（卡内基梅隆大学）；Meta AI；The Chinese University of Hong Kong（香港中文大学）
本研究实证分析了自回归与非自回归语音语言模型在提示条件语音合成中的表现，发现异质非平稳提示会损害音频质量，且说话者风格受内容影响，语义单元携带声学信息可能泄露。
2024-03-19 cs.CL cs.SD eess.AS
Towards Better Meta-Initialization with Task Augmentation for Kindergarten-aged Speech Recognition
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
儿童的自动语音识别（ASR）一直是困难的，部分原因是数据稀缺的问题，特别是对于10岁的孩子。当数据稀缺时，模型可能会过拟合训练数据，因此良好的训练起点至关重要。最近，元学习被提出来学习不同语言的ASR任务的模型初始化（MI）。当模型适应于看不见的语言时，这种方法会带来良好的性能。然而，MI容易受到训练任务的过度拟合（学习者过度拟合）。也不知道MI是否推广到其他低资源任务。在本文中，我们验证了MI在儿童ASR中的有效性，并试图缓解学习者过度拟合的问题。为了实现模型不可知的元学习（MAML），我们把每个年龄段的儿童的语音作为一个不同的任务。在学习者过拟合方面，我们提出了一种任务级增强方法，通过使用频率弯曲技术模拟新的年龄。详细的实验表明，任务增强对每个年龄段的10岁以上的言语的影响。其结果是，我们的方法实现了相对字错误率（WER）的51%的改善基线系统没有增强或初始化。
2022-02-24 cs.CL cs.LG cs.SD
Rnn-transducer with language bias for end-to-end Mandarin-English code-switching speech recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
近年来，语言身份信息已被用来提高端到端的代码切换（CS）语音识别的性能。然而，以前的工作使用一个额外的语言识别（LID）模型作为辅助模块，这导致系统复杂。在这项工作中，我们提出了一个改进的递归神经网络转换器（RNN-T）模型与语言偏见，以减轻这个问题。我们使用语言身份来偏置模型来预测CS点。这促进了模型直接从转录中学习语言身份信息，并且不需要额外的LID模型。我们评估的方法上的一个普通话-英语CS语料库SEAME。与我们的RNN-T基线相比，所提出的方法在两个测试集上分别可以实现16.2%和12.9%的相对误差减少。
2020-02-19 cs.CL cs.LG cs.SD
MLNET: An Adaptive Multiple Receptive-field Attention Neural Network for Voice Activity Detection
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
语音活动检测（VAD）区分语音和非语音，其性能对于基于语音的服务至关重要。最近，基于深度神经网络（DNN）的VAD已经实现了比传统信号处理方法更好的性能。现有的基于DNN的语音检测模型通常采用手工创建固定窗口的方法来利用上下文语音信息来提高语音检测的性能。然而，固定的上下文语音信息窗口不能处理各种不可预测的噪声环境，突出关键的语音信息VAD任务。为了解决这一问题，本文提出了一种自适应多感受野注意神经网络（MLNET）来完成VAD任务。MLNET利用多分支提取多个上下文语音信息，并研究了有效的注意力块来加权上下文的最关键部分以进行最终分类。在真实场景中的实验表明，所提出的基于MLNET的模型优于其他基线。
2020-08-13 cs.LG cs.SD eess.AS
Transcription-Free Fine-Tuning of Speech Separation Models for Noisy and Reverberant Multi-Speaker Automatic Speech Recognition
Solventum（索尔文腾公司）；Toshiba Cambridge Research Laboratory（东芝剑桥研究实验室）
针对真实重叠语音缺少参考转录的问题，提出仅用音频、以预训练ASR编码器嵌入差异为损失并结合GPIT的无转录联合微调方法，显著降低WER并提升STOI。
2024-06-13 cs.LG cs.SD eess.AS
Improving noise robustness of automatic speech recognition via parallel data and teacher-student learning
Brno University of Technology（布尔诺理工大学）；Amazon.com, Inc.（亚马逊公司）
对于现实世界的语音识别应用，噪声鲁棒性仍然是一个挑战。在这项工作中，我们采用了教师-学生（T/S）学习技术，使用一个平行的清洁和噪声语料库，以提高自动语音识别（ASR）的性能在多媒体噪声。最重要的是，我们应用了一种logits选择方法，该方法只保留k个最高值，以防止教师错误地强调知识，并减少传输数据所需的带宽。我们结合了多达8000小时的未转录数据进行训练，并在序列训练模型上展示了我们的结果，除了交叉熵训练的模型。最好的序列训练的学生模型产生相对字错误率（WER）减少约10.1%，28.7%和19.6%，分别对我们的清洁，模拟噪声和真实的测试集相比，序列训练的教师。
2019-03-15 cs.CL cs.LG cs.SD
Streaming Speech-to-Confusion Network Speech Recognition
Amazon Alexa（亚马逊Alexa）
针对交互式ASR低延迟限制解码搜索空间的问题，提出可输出混淆网络的低延迟流式ASR架构，其1-best结果与RNN-T相当，二次重打分可在LibriSpeech上降10-20%词错率，远场任务表现更优。
2023-06-02 cs.CL eess.AS
Streaming Decoder-Only Automatic Speech Recognition with Discrete Speech Units: A Pilot Study
Northwestern Polytechnical University（西北工业大学）；Du Xiaoman Financial（度小满金融）
本文提出一种基于离散语音单元和专用边界token的流式仅解码器ASR模型，通过因果注意力掩码、右块注意力及数据增强，在AISHELL数据集上取得与非流式方法相当的性能。
2024-06-27 cs.SD eess.AS
End-to-end Speech-to-Punctuated-Text Recognition
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）；RevComm, Inc.（RevComm公司）
传统的自动语音识别系统不产生对语音识别结果的可读性很重要的标点符号。它们也需要用于后续的自然语言处理任务，如机器翻译。在标点符号预测模型方面已经有很多工作，这些模型将标点符号插入到语音识别结果中作为后处理。然而，这些研究并没有利用声学信息的标点符号的预测，并直接受到语音识别错误。在这项研究中，我们提出了一个端到端的模型，以语音作为输入和输出标点文本。该模型有望在使用声学信息的同时对语音识别错误鲁棒地预测标点符号。我们还建议将一个辅助损失训练模型使用的输出的中间层和不加标点的文本。通过实验，我们比较了所提出的模型的级联系统的性能。该模型在不牺牲语音识别错误率的前提下，实现了比级联系统更高的标点预测精度。实验还表明，使用中间输出对不加标点的文本进行多任务学习是有效的。此外，所提出的模型只有约1/7的参数相比，级联系统。
2022-07-07 cs.CL cs.SD eess.AS
Towards End-to-End Code-Switching Speech Recognition
AI Labs, Didi Chuxing（滴滴出行人工智能实验室）
近年来，语码转换语音识别引起了人们越来越多的关注，但对专家语言学知识的需求一直是一个大问题。端到端自动语音识别（ASR）通过直接从声学输入预测字素或字符，大大简化了ASR系统的构建。与此同时，它也不需要专家的语言知识，这使得它成为一个有吸引力的选择码转换自动语音识别。本文提出了一个基于CTC-Attention混合模型的端到端中英文语码转换（CS）语音识别系统，并研究了混合CTC-Attention模型、不同建模单元、语言识别的加入以及不同解码策略对语码转换ASR任务的影响。在SEAME语料库上，我们的系统实现了34.24%的混合出错率（MER）。
2018-11-01 cs.CL eess.AS
Exploring RNN-Transducer for Chinese Speech Recognition
Northwestern Polytechnical University（西北工业大学）；Tiangong Institute for Intelligent Computing, Tsinghua University（清华大学天工智能计算研究院）；Sogou Inc.（搜狗公司）
端到端的方法最近由于显著简化了自动语音识别（ASR）系统的构造而引起了很多关注。RNN传感器（RNN-T）是一种流行的端到端方法。以往的研究表明，RNN-T是很难训练和一个非常复杂的训练过程，需要一个合理的性能。在本文中，我们探索RNN-T的中文大词汇量连续语音识别（LVCSR）的任务，旨在简化训练过程，同时保持性能。首先，提出了一种新的学习率衰减策略，以加快模型的收敛速度。其次，我们发现在网络开始时添加卷积层并使用有序数据可以丢弃编码器的预训练过程，而不会损失性能。此外，我们还设计了实验，在GPU内存使用率、训练周期和模型性能之间寻找平衡。最后，我们实现了16.9%的字符出错率（CER）在我们的测试集上，这是2%的绝对改善，从一个强大的BLSTM CE系统与语言模型在相同的文本语料库上训练。
2019-04-23 cs.CL cs.LG cs.SD
Arabic Language Learning Assisted by Computer, based on Automatic Speech Recognition
Higher School of Science and Technology of Tunis（突尼斯高等科学技术学院）
这项工作包括创建一个系统的计算机辅助语言学习（CALL）的基础上，自动语音识别（ASR）的阿拉伯语使用的工具CMU Sphinx 3 [1]，基于HMM的方法。为了这项工作，我们已经构建了一个语料库的六个小时的语音录音与数量的九个扬声器。我们在对噪声的鲁棒性中找到了选择HMM方法的理由[2]。由于我们的语料库只有九位讲者，所以成绩令人鼓舞，但这也是其他改善工作的理由。
2012-05-15 cs.CL
Linguistic-Enhanced Transformer with CTC Embedding for Speech Recognition
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
最近出现的联合CTC-注意力模型在自动语音识别（ASR）中显示了显著的改进。这种改进很大程度上在于解码器对语言信息的建模。与声学编码器联合优化的解码器在训练期间以自回归方式从地面实况序列呈现语言模型。然而，解码器的训练语料仅限于语音翻译，这远远少于训练可接受的语言模型所需的语料。这导致解码器的鲁棒性差。为了缓解这个问题，我们提出了语言增强的Transformer，它在训练过程中将细化的CTC信息引入到解码器中，从而使解码器具有更强的鲁棒性。我们在AISHELL-1语音库上的实验表明，字符出错率（CER）相对降低了7%。我们还发现，在联合CTC-Attention ASR模型中，解码器对语言信息比声学信息更敏感。
2022-10-25 cs.CL cs.SD eess.AS
ATCSpeech: a multilingual pilot-controller speech corpus from real Air Traffic Control environment
National Key Laboratory of Air Traffic Control Automation System Technology, Sichuan University（四川大学）；Southwest Air Traffic Management Bureau, Civil Aviation Administration of China (CAAC)（中国民用航空局西南空中交通管理局）；Wisesoft Co., Ltd.（四川川大智胜软件股份有限公司）
自动语音识别（ASR）技术在近几年得到了迅速的发展，促进了它在其他领域的应用。语音语料库一直是语音识别研究的重要基础，尤其是对于垂直行业，如空中交通管制（ATC）。有一些语音语料库用于公共或付费的常见应用。然而，对于ATC来说，由于安全问题，很难从真实系统中收集原始语音。更重要的是，对于像ASR这样的监督学习任务，注释转录是一项更加繁重的工作，这极大地限制了ASR的应用前景。本文建立并发布了一个真实ATC系统的多语种语音语料库（ATC Speech），包括带口音的汉语和英语，以鼓励ATC领域的非商业性ASR研究。从语料量、说话人性别和角色、语音质量和其他属性等方面对语料库进行了详细介绍。此外，我们的基准ASR模型的性能也报告。我们的语音数据库的社区版可以在特殊的对比下应用和使用。据我们所知，这是第一个工作，旨在建立一个真正的和多语种的ASR语料库的空中交通相关的研究。
2019-11-26 cs.CL cs.SD eess.AS
Controlling Whisper: Universal Acoustic Adversarial Attacks to Control Speech Foundation Models
University of Cambridge（剑桥大学）
本文提出一种通用声学对抗攻击方法，通过在输入语音前添加简短的对抗性声学片段，无需访问模型提示即可覆盖 ASR 基础模型的设置，成功控制 Whisper 模型将语音转录强制转变为语音翻译，揭示了多任务语音基础模型的新型安全风险。
2024-10-11 cs.CL cs.SD eess.AS
On the Difficulty of Segmenting Words with Attention
The University of Edinburgh（爱丁堡大学）
分词，即在语音中找到词边界的问题，是一系列任务的兴趣所在。以前的论文已经提出，对于在语音翻译或语音识别等任务上训练的序列到序列模型，可以使用注意力来定位和分割单词。然而，我们发现，即使在单语数据，这种方法是脆弱的。在我们使用不同输入类型、数据大小和分割算法的实验中，只有经过训练的模型才能成功完成任务。训练模型来预测来自电话或语音的单词（即，相反的方向需要推广到新的数据），产生更差的结果，这表明基于注意力的分割仅在有限的场景中有用。
2021-09-21 cs.CL cs.SD eess.AS
Knowledge Transfer from Large-scale Pretrained Language Models to End-to-end Speech Recognizers
Google（谷歌）
端到端语音识别是用于实现紧凑的自动语音识别（ASR）系统的有前途的技术，因为它可以将声学和语言模型统一到单个神经网络中。然而，作为缺点，端到端语音识别器的训练总是需要转录的话语。由于端到端模型也被认为是严重的数据饥饿，这个约束是至关重要的，特别是因为获得转录的话语是昂贵的，可能是不切实际的或不可能的。本文提出了一种方法来缓解这个问题，从语言模型神经网络，可以预先训练的纯文本数据的知识转移。具体而言，本文试图转移语义知识中获得的嵌入向量的大规模语言模型。由于嵌入向量可以被假设为语言信息的隐式表示，例如词性，意图等，因此这些也被期望成为ASR解码器的有用建模线索。本文通过修改训练损失函数以包含嵌入预测项，扩展了两种类型的ASR解码器，即基于注意力的解码器和神经传感器。事实证明，所提出的系统可以有效降低出错率，而不会在解码阶段产生额外的计算成本。
2022-02-16 cs.CL cs.SD eess.AS
VoiceChat-TTS: A Low-Latency Continuous Speech Synthesis Model for Interactive Agents
NVIDIA Corporation（英伟达公司）
针对现有语音模型延迟高、无法处理用户插话的问题，提出VoiceChat-TTS模型，由LLM文本令牌流驱动，支持语句中途中断且不重置KV缓存，在保证高语音质量的同时实现低延迟连续语音合成。
2026-08-17 cs.CL eess.AS
Fundamental Frequency Feature Normalization and Data Augmentation for Child Speech Recognition
University of California, Los Angeles（加州大学洛杉矶分校）
由于适合年龄的教育技术的重要性，需要用于幼儿的自动语音识别（ASR）系统。由于缺乏公开的幼儿语音数据，特征提取策略，如特征归一化和数据增强，必须考虑成功训练儿童ASR系统。本研究提出了一种新的技术，儿童ASR使用的特征归一化和数据增强方法的基础上共振峰和基频之间的关系（$f_o$）。$f_o$特征归一化和数据增强技术都被实现为Mel域中的频移。这些技术在儿童阅读语音ASR任务上进行评估。儿童ASR系统是通过调整基于成人语音训练的BLSTM声学模型来训练的。使用$f_o$规范化和数据增强的结果在一个相对的词错误率（WER）改善19.3%的基线时，测试的OGI儿童的语音语料库，和由此产生的儿童ASR系统实现了最好的WER目前在此语料库上报告。
2021-02-18 cs.SD eess.AS
Does Financial Speech Need Continual Learning Regularization? A Study of EWC and mini-KFAC on Earnings Call ASR
Columbia University（哥伦比亚大学）；Recognition Technologies, Inc.（识别技术有限公司）
该研究针对财报电话会议ASR场景，发现任务互补性使持续学习正则化适得其反，需正则化时mini-KFAC EWC比对角EWC性能更优。
2026-10-12 cs.CL cs.LG eess.AS
An Investigation Into On-device Personalization of End-to-end Automatic Speech Recognition Models
Google（谷歌）
用来自许多用户的数据训练的说话者无关语音识别系统通常对说话者可变性是鲁棒的，并且对于大量说话者工作良好。然而，这些系统并不总是很好地推广具有非常不同的语音特征的用户。这个问题可以通过构建针对每个特定用户的个性化系统来解决。在本文中，我们研究了在移动设备上安全地训练个性化端到端语音识别模型的想法，这样用户数据和模型就不会离开设备，也不会存储在服务器上。我们通过模拟设备上的数据消耗来研究移动训练环境如何影响性能。我们使用从言语障碍用户收集的数据进行个性化实验。我们的研究结果表明，个性化实现了63.7%的相对字错误率降低时，在服务器环境和58.1%，在移动环境中训练。迁移到设备上的个性化导致性能下降18.7%，以换取更好的可扩展性和数据隐私。为了在设备上训练模型，我们将梯度计算分为两部分，并以增加42%的训练时间为代价，实现了45%的内存减少。
2019-09-14 cs.LG cs.SD eess.AS
Dissecting User-Perceived Latency of On-Device E2E Speech Recognition
Facebook AI
随着智能手机和智能扬声器等语音设备变得越来越普遍，人们对构建可直接在设备上运行的自动语音识别（ASR）系统的兴趣越来越大;端到端（E2 E）语音识别模型，如递归神经网络换能器及其变体，最近已成为该任务的主要候选者。除了准确和紧凑之外，这样的系统还需要以低用户感知延迟（UPL）解码语音，一旦说出就产生单词。这项工作研究了各种技术-模型架构，训练标准，解码超参数和端点参数-对UPL的影响。我们的分析表明，模型大小的度量（参数，输入块大小）或计算的度量（例如，FLOPS，RTF）反映了模型处理输入帧的能力，并不总是与观察到的UPL密切相关。因此，传统的算法延迟测量可能不足以准确地捕获在嵌入式设备上部署模型时观察到的延迟。相反，我们发现影响令牌发射延迟和端点行为的因素对UPL有更大的影响。我们实现了延迟和字出错率之间的最佳权衡时，执行ASR联合端点，同时利用最近提出的对齐正则化机制。
2021-08-11 cs.CL cs.SD eess.AS
WaBERT: A Low-resource End-to-end Model for Spoken Language Understanding and Speech-to-BERT Alignment
Institute of Artificial Intelligence Research, Qihoo of Beijing Science and Technology Co. Ltd.（北京奇虎科技有限公司人工智能研究院）
历史上，诸如自动语音识别（ASR）和说话人辨识之类的较低级别的任务是语音领域中的主要焦点。最近，人们对高级口语语言理解（SLU）任务的兴趣越来越大，比如情感分析（SA）。然而，提高SLU任务的性能仍然是一个巨大的挑战。基本上，SLU任务有两种主要方法：（1）两阶段方法，使用语音模型将语音转换为文本，然后使用语言模型获得下游任务的结果;（2）一阶段方法，仅微调预训练的语音模型以适应下游任务。第一种方法丢失了语调等情感线索，导致识别错误;第二种方法缺乏必要的语言知识。在本文中，我们提出了波BERT（WaBERT），一种新的端到端模型结合语音模型和语言模型SLU任务。WaBERT基于预训练的语音和语言模型，因此不需要从头开始训练。我们还在训练期间冻结了WaBERT的大多数参数。通过引入WaBERT，在短时间和低资源的训练过程中整合了音频特定信息和语言知识，以提高SLUE SA任务的开发数据集上的结果，召回分数提高了1.15%，F1分数提高了0.82%。此外，我们修改了串行连续整合激发（CIF）机制，以实现语音和文本模态之间的单调对齐。
2022-04-22 cs.CL cs.SD eess.AS
Incorporating VAD into ASR System by Multi-task Learning
Megatronix(Beijing) Technology Co., Ltd.（兆芯（北京）科技有限公司）
在端到端自动语音识别（E2 E-ASR）系统的实际应用中，通常需要一个语音活动检测（VAD）系统来提高系统的性能，并通过丢弃音频中的非语音部分来降低计算开销。通常，ASR和VAD系统彼此独立地训练和使用。在本文中，我们提出了一种新的多任务学习（MTL）框架，将VAD到ASR系统。该系统在训练阶段学习ASR和VAD。在VAD的帮助下，ASR性能得到改善，因为其连接主义时间分类（CTC）损失函数可以利用VAD对齐信息。在推理阶段，该系统以较低的计算成本去除非语音部分，并具有较高的鲁棒性识别语音部分。实验结果表明，通过利用VAD信息，该方法优于基线ASR系统在英语和汉语数据集上的分割语音数据。在未分段的语音数据上，我们发现该系统的性能优于构建额外的基于GMM或基于DNN的语音活动检测器的ASR系统。
2022-09-30 cs.CL cs.SD eess.AS
An ASR Guided Speech Intelligibility Measure for TTS Model Selection
Zapr Media Labs (Red Brick Lane Marketing Solutions Pvt. Ltd.)（Zapr媒体实验室（红砖巷营销解决方案私人有限公司））
神经文本到语音（TTS）的感知质量高度依赖于训练过程中模型的选择。使用训练目标度量（如最小均方误差）选择模型并不总是与人类感知相关。在本文中，我们提出了一个客观的度量的基础上的电话出错率（PER）选择TTS模型与最佳的语音可懂度。在TTS模型的输入文本与使用自动语音识别（ASR）模型从合成语音解码的文本之间计算PER，ASR模型在与TTS模型相同的数据上训练。与主观研究的帮助下，我们表明，选择的TTS模型与最小的PER验证分裂有显着更高的语音清晰度相比，最少的训练目标度量损失的模型。最后，使用建议的PER和主观评价，我们表明，最佳TTS模型的选择取决于体裁的目标领域的文本。我们所有的实验都在印地语数据集上进行。然而，所提出的模型选择方法是语言无关的。
2020-06-02 cs.SD eess.AS
SpeechDPR: End-to-End Spoken Passage Retrieval for Open-Domain Spoken Question Answering
National Taiwan University（台湾大学）；Massachusetts Institute of Technology（麻省理工学院）；Meta AI；Rembrand（伦勃朗）
本文提出首个面向开放域口语问答检索组件的端到端框架SpeechDPR，通过从无监督ASR和文本密集检索器的级联模型蒸馏知识学习句子级语义表示，无需人工转录数据，在ASR效果差时表现更鲁棒。
2024-08-24 cs.CL cs.IR cs.SD
Adapting End-to-End Speech Recognition for Readable Subtitles
Maastricht University（马斯特里赫特大学）
自动语音识别（ASR）系统主要根据转录准确性进行评估。然而，在某些用例中，例如字幕，逐字转录会降低输出可读性，因为屏幕大小和阅读时间有限。因此，这项工作的重点是ASR与输出压缩，一个任务具有挑战性的监督方法，由于缺乏训练数据。我们首先研究一个级联系统，其中一个无监督的压缩模型被用来后编辑的转录语音。然后，我们比较了几种方法的端到端的语音识别输出长度的限制。实验表明，由于有限的数据远远少于从头开始训练模型所需的数据，我们可以调整基于Transformer的ASR模型，以结合转录和压缩功能。此外，WER和ROUGE分数方面的最佳性能是通过明确建模端到端ASR系统内的长度约束来实现的。
2020-05-25 cs.CL
A review of on-device fully neural end-to-end automatic speech recognition algorithms
Samsung Electronics（三星电子）；Samsung Research（三星研究院）
在本文中，我们回顾了各种端到端的自动语音识别算法及其优化技术的设备上的应用。传统的语音识别系统包括大量的离散组件，例如声学模型、语言模型、发音模型、文本规范器、逆文本规范器、基于加权有限状态变换器（WFST）的解码器等。通常需要非常大的大语言模型（高达100 GB）。因此，相应的WFST大小变得巨大，这禁止了它们在设备上的实现。最近，已经提出了全神经网络端到端语音识别算法。示例包括基于连接时间分类（CTC）的语音识别系统、循环神经网络转换器（RNN-T）、基于注意力的编码器-解码器模型（AED）、单调组块注意力（MoChA）、基于转换器的语音识别系统等。与传统算法相比，这些完全基于神经网络的系统需要小得多的存储器占用。因此它们的设备上实现已经变得可行。在本文中，我们回顾这样的端到端的语音识别模型。我们广泛地讨论了它们的结构，性能和优势相比，传统的算法。
2021-08-27 cs.CL cs.LG
Unsupervised Active Learning: Optimizing Labeling Cost-Effectiveness for Automatic Speech Recognition
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
该研究结合自监督学习与主动学习，通过无监督提取不同粒度语音单元并采用对比数据选择框架，有效提升ASR的标注成本效益，实现同标注量下WER降超11%或同WER下标注成本减半。
2023-08-28 cs.SD eess.AS
The Role of Phonetic Units in Speech Emotion Recognition
Baidu Research（百度研究院）
我们提出了一种方法，通过情感相关的语音识别使用Wav2vec 2.0的情感识别。我们的方法取得了显着的改善，在IEMOCAP，一个基准的情绪数据集上的大多数以前报道的结果。采用不同类型的语音单元，并在数据集和语言内以及跨数据集和语言的情感识别的准确性和鲁棒性方面进行比较。音素，广泛的语音类和音节的模型都显着优于话语模型，表明语音单元是有帮助的，应该被纳入语音情感识别。最好的性能是使用广泛的语音类。需要进一步的研究，以调查的最佳设置的广泛的语音类的情感识别任务。最后，我们发现Wav2vec 2.0可以进行微调，以识别比音素更粗粒度或更大的语音单元，例如广泛的语音类别和音节。
2021-08-02 cs.CL
CLEAR: Online Speech Content Leakage Estimation through Cross-ASR Disagreement
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
CLEAR提出一种无参考的在线语音内容泄露估计方法，利用异构ASR系统的不一致性在运行时评估隐私保护效果，实现动态调整隐私强度并保留声学效用。
2026-09-28 cs.SD eess.AS
Late reverberation suppression using U-nets
Universidad de Chile（智利大学）
在现实世界的设置中，语音信号几乎总是受到由工作环境产生的混响的影响;这些被破坏的信号在执行之前需要被\emph{dereverberated}，例如，语音识别、语音到文本转换、压缩或一般音频增强。在本文中，我们提出了一种监督去混响技术，使用\emph{U-nets with skip connections}，这是完全卷积的编码器-解码器网络的层排列的形式的“U”和连接，“跳过”一些层。在此架构的基础上，我们通过后期混响抑制（LS）的镜头来解决语音去混响。通过对具有不同噪声水平和混响设置的合成和真实数据的实验，我们表明，与原始U-net方法相比，我们提出的称为“LS U-net”的方法提高了质量，可懂度和其他性能指标，并且与最先进的基于GAN的方法相当。
2021-10-05 cs.SD eess.AS
Automatic Text Pronunciation Correlation Generation and Application for Contextual Biasing
Institute of Acoustics, CAS（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出自动文本发音相关性（ATPC）方法，利用语音与文本标注对齐和语音嵌入距离比较，在无需人工发音词典的情况下提升端到端语音识别的上下文偏置性能。
2025-01-01 cs.CL eess.AS
Latent-Level Enhancement with Flow Matching for Robust Automatic Speech Recognition
School of Electronics, Hanyang University（电子学院，翰阳大学）
本文提出通过流匹配的潜在层面增强方法，用于提升噪声鲁棒性的自动语音识别性能。
2026-01-08 cs.SD eess.AS
Using Confidence Scores to Improve Eyes-free Detection of Speech Recognition Errors
Michigan Technological University（密歇根技术大学）
本研究通过根据语音识别置信度选择性放慢音频输出，显著提升了免视场景下用户检测识别错误的能力，并缩短了判断时间。
2025-06-20 cs.HC cs.SD eess.AS
Explainable Disentanglement on Discrete Speech Representations for Noise-Robust ASR
College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学）
本研究针对离散语音表示在噪声环境下性能不足的问题，提出在潜在空间解耦语音语义与噪声的方法，通过端到端模型分离干净语音令牌与可解释噪声残差，显著提升了噪声鲁棒ASR性能及模型泛化能力。
2025-10-29 cs.CL
Frequency Domain Multi-channel Acoustic Modeling for Distant Speech Recognition
Amazon Inc.（亚马逊公司）
传统的远场自动语音识别（ASR）系统通常采用麦克风阵列技术来进行语音增强，以便提高对噪声或混响的鲁棒性。然而，这样的语音增强技术并不总是产生ASR准确度的改进，因为用于语音增强的优化标准并不直接与ASR目标相关。在这项工作中，我们开发了新的声学建模技术，可以直接基于ASR标准从多通道（MC）输入中优化空间滤波和长短期记忆（LSTM）层。与传统的方法相比，我们将阵列处理知识的声学模型。此外，我们初始化网络的波束形成器的系数。我们通过ASR实验研究这种MC神经网络对真实世界远场数据的影响，其中用户在不受控制的声学环境中与ASR系统进行交互。我们表明，我们的MC声学模型可以减少字错误率（WER）的~ 16.5%相比，一个单通道ASR系统与传统的对数梅尔滤波器组能量（LFBE）功能平均。我们的研究结果还表明，与使用七个麦克风的传统波束形成相比，我们的网络在双通道输入上具有空间滤波层，实现了约9.5%的相对WER降低。
2019-04-28 cs.SD eess.AS
Residual Language Model for End-to-end Speech Recognition
Sony Group Corporation（索尼集团公司）；Carnegie Mellon University（卡内基梅隆大学）
端到端的自动语音识别尽管使用大量成对的音频-文本数据进行训练，但仍遭受对未知目标域语音的适应。最近的研究估计语言偏见的模型作为内部语言模型（LM）。为了有效地适应目标域，内部LM在推理期间从后验中减去，并与外部目标域LM融合。然而，这种融合使推断复杂化，并且内部LM的估计可能并不总是准确的。在本文中，我们提出了一个简单的外部LM融合方法的域自适应，它考虑了内部LM估计在其训练。我们直接模拟外部和内部LM的残差因子，即残差LM。为了稳定地训练剩余LM，我们提出平滑估计的内部LM，并结合交叉熵和均方误差损失对其进行优化，这考虑了目标域数据中内部LM的统计行为。我们通过实验证实，在大多数跨域和域内场景中，所提出的残差LM比内部LM估计执行得更好。
2022-06-15 cs.SD eess.AS
LatPhon: Lightweight Multilingual G2P for Romance Languages and English
Department of Electronic Systems Engineering（电子系统工程系）；Escola Politécnica, Universidade de São Paulo（圣保罗大学工学院）
本研究提出轻量级多语种G2P模型LatPhon，基于7.5M参数的Transformer在六种拉丁字母语言上联合训练，在ipa-dict语料库上PER达3.5%，性能接近单语言专用模型且内存占用仅30MB，可作为拉丁语言语音流水线的通用前端。
2025-09-03 cs.CL
NasoVoce: A Nose-Mounted Low-Audibility Speech Interface for Always-Available Speech Interaction
NasoVoce通过融合麦克风和振动传感器，实现低噪声环境下的可靠语音交互，提升AI语音对话的可用性和质量。
2026-03-11 cs.AI cs.HC cs.LG
Is Smaller Always Faster? Tradeoffs in Compressing Self-Supervised Speech Transformers
Graduate Institute of Communication Engineering, National Taiwan University, Taiwan（台湾国立台湾大学通信工程研究所）；University of California, Los Angeles, United States（美国加州大学洛杉矶分校）；University of Washington, United States（美国华盛顿大学）；University of Edinburgh, United Kingdom（英国爱丁堡大学）
本文研究了压缩自监督语音Transformer的权衡，评估了四种压缩方法并比较了几种最新技术，为实际部署提供指导。
2025-08-17 cs.CL cs.LG cs.SD
SECP: A Speech Enhancement-Based Curation Pipeline For Scalable Acquisition Of Clean Speech
Cisco Systems, Inc.（思科系统公司）
本文提出基于语音增强的策展流水线SECP，通过迭代获取和精炼干净语音，实验表明增强输出作为标签不会降低模型性能，且精炼数据在主观听感上优于原始数据。
2024-02-19 cs.IR cs.LG cs.SD
Sociocultural knowledge is needed for selection of shots in hate speech detection tasks
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出HATELEXICON仇恨言论词汇库，用于解释模型预测并辅助低资源环境下的少样本选择，实验证明基于该词汇库选择包含更多社会文化信息的样本能显著提升模型在MHC基准上的少样本性能。
2023-05-17 cs.AI cs.CL cs.LG
SpeechPrompt: An Exploration of Prompt Tuning on Generative Spoken Language Model for Speech Processing Tasks
Amazon Inc.（亚马逊公司）；Meta AI
从自监督学习（SSL）模型学习的语音表示可以有益于各种语音处理任务。然而，使用SSL表示通常需要微调预训练的模型或设计特定于任务的下游模型和损失函数，这会导致大量内存使用和人力劳动。最近，自然语言处理（NLP）中的提示已被发现是利用预训练语言模型（LM）的有效技术。具体来说，即时调优使用固定的预训练模型优化了有限数量的特定于任务的参数;因此，每个任务只需要存储一小部分参数。即时调优通过利用预训练的LM的预测能力来提高计算和内存效率。然而，这样一种范式在言语界却鲜有研究。本文报告了基于生成口语模型（GSLM）的语音处理任务的提示调谐范式的第一次探索。实验结果表明，即时调整技术在语音分类任务中取得了竞争力的性能与更少的可训练参数比微调专门的下游模型。我们进一步研究了具有挑战性的序列生成任务的技术。快速调谐也展示了它的潜力，同时本文也讨论了它的局限性和可能的研究方向。源代码可在https://github.com/ga642381/SpeechPrompt上获得。
2022-07-10 cs.CL cs.LG cs.SD
