End-to-End Neural Systems for Automatic Children Speech Recognition: An Empirical Study
University of Southern California（南加州大学）
包容性和可访问的语音识别技术的一个关键需求是确保其对儿童语音的鲁棒性能。值得注意的是，这包括快速发展的基于神经网络的端到端语音识别系统。与成人语音相比，儿童语音识别由于在声学和语言特征方面的更大的说话者内-间可变性而更具挑战性。此外，缺乏足够和适当的儿童语音资源增加了设计鲁棒的端到端神经架构的挑战。本研究通过对当代最先进的端到端语音识别系统的实证研究，对儿童自动语音识别进行了严格的评估。洞察方面的训练数据的要求，适应儿童数据，儿童年龄的影响，话语长度，不同的架构和损失函数的端到端系统和语言模型的作用上的语音识别性能。
2021-02-19 cs.SD eess.AS
Data Augmentation with Locally-time Reversed Speech for Automatic Speech Recognition
The Chinese University of Hong Kong（香港中文大学）
心理声学研究表明，局部时间反转（LTR）语音，即，在短段内时间反转的信号样本可以被人类收听者准确地识别。本研究解决了最先进的自动语音识别（ASR）系统对LTR语音的性能如何的问题。其基本目标是探索在端到端（E2 E）ASR模型的训练中部署LTR语音的可行性，作为提高识别性能的数据增强的尝试。本研究从实验开始，以了解LTR语音对通用ASR的影响。呈现并评估具有5 ms - 50 ms的反转段持续时间的LTR语音。对于使用LTR语音的ASR训练数据增强，通过将自然语音与LTR语音的不同分区组合来创建训练集。在不同语言和说话风格的语音语料库上的ASR结果证实了数据增强的有效性。研究发现，在15 ms - 30 ms的反向段长的LTR语音上的ASR比在其他段长的LTR语音上的ASR具有更低的错误率。使用这些LTR语音的数据增强实现了对ASR性能的满意和一致的改善。
2021-10-09 cs.SD eess.AS
The Airbus Air Traffic Control speech recognition 2018 challenge: towards ATC automatic transcription and call sign detection
Airbus（空中客车公司）
在本文中，我们描述了空客及其合作伙伴在2018年组织和运行的挑战赛的结果。该挑战包括两个应用于空中交通管制（ATC）英语语音的任务：1）自动语音到文本转录，2）呼号检测（CSD）。注册的参与者被提供了40小时的演讲以及手动翻译。22个团队提交了对5小时评估集的预测。ATC语音处理具有挑战性的原因有几个：高语音速率，口音差异很大的外国口音语音，嘈杂的通信信道。排名最好的团队获得了7.62%的单词出错率和82.41%的CSD F1分数。研究发现，转录飞行员的语音比转录管制员的语音要困难两倍。还讨论了解决ATC ASR的剩余问题。
2020-03-10 cs.SD eess.AS
AutoPrep: An Automatic Preprocessing Framework for In-the-Wild Speech Data
Tencent AI Lab（腾讯人工智能实验室）；Shenzhen Research Institute of Big data（深圳大数据研究院）
本文提出AutoPrep自动预处理框架，通过语音增强、切分、说话人聚类、目标语音提取、质量过滤和自动语音识别六个组件处理自然场景语音数据，实验表明其预处理数据质量接近开源TTS数据集，并支持TTS系统达到0.68的域内说话人相似度。
2023-09-25 cs.SD eess.AS
Streaming Decoder-Only Automatic Speech Recognition with Discrete Speech Units: A Pilot Study
Northwestern Polytechnical University（西北工业大学）；Du Xiaoman Financial（度小满金融）
本文提出一种基于离散语音单元和专用边界token的流式仅解码器ASR模型，通过因果注意力掩码、右块注意力及数据增强，在AISHELL数据集上取得与非流式方法相当的性能。
2024-06-27 cs.SD eess.AS
Scene-aware Far-field Automatic Speech Recognition
University of Maryland, College Park（马里兰大学帕克分校）
我们提出了一种新的方法来产生场景感知的训练数据的远场自动语音识别。我们使用基于深度学习的估计器来非侵入性地从语音样本中计算环境的子带混响时间。我们模型的混响时间的场景的声学特性，并表示它使用多元高斯分布。我们使用这个分布来选择声学脉冲响应从一个大的现实世界的数据集增强语音数据。在我们的场景感知数据上训练的语音识别系统在REVERB和AMI远场基准测试中的表现始终优于使用更多随机声脉冲响应训练的系统。在实践中，我们获得了2.64%的绝对改善字错误率相比，使用相同大小的训练数据均匀分布的混响时间。
2021-04-21 cs.SD eess.AS
Investigating the role of L1 in automatic pronunciation evaluation of L2 speech
Arizona State University（亚利桑那州立大学）
语音自动评测在语音训练和第二语言教学中起着重要的作用。该领域大量利用来自自动语音识别（ASR）的概念来量化非母语语音的发音与母语发音的接近程度。然而，众所周知，口音的形成与目标语言（L2）和说话者的第一语言（L1）的发音模式都有关。在本文中，我们建议使用两个母语声学模型，一个在L2语音上训练，另一个在L1语音上训练。我们开发了两套测量，可以从两个声学模型中提取口音的讲话。一个新的话语级特征提取方案是用来将这些测量值转换成一个固定的维度向量，这是用来作为一个统计模型的输入，以预测一个扬声器的重音。在由来自4个不同L1背景的扬声器组成的数据集上，我们表明，与仅使用L2声学模型的系统相比，所提出的系统与人类评估者的相关性得到了改善。
2018-07-04 cs.SD eess.AS
Auditory-Based Data Augmentation for End-to-End Automatic Speech Recognition
University of Sheffield（谢菲尔德大学）
端到端模型在自动语音识别方面取得了显著的进步。提高这些模型性能的一种常用方法是通过数据扩充来扩展数据空间。与此同时，人类听觉启发的前端也证明了自动语音识别器的改进。在这项工作中，一个经过验证的基于听觉的模型，它可以模拟各种听力能力，研究的目的是数据增强端到端的语音识别。通过将听觉模型引入到数据增强过程中，鼓励端到端系统忽略无法听到的信号的变化，从而专注于语音识别的鲁棒特征。听觉模型中的两种机制，频谱拖尾和响度招募，研究了LibriSpeech数据集与基于transformer的端到端模型。实验结果表明，本文提出的增强方法可以显著提高SpecAugment算法的性能。
2022-04-08 cs.SD eess.AS
Dual Application of Speech Enhancement for Automatic Speech Recognition
Facebook（脸书）
在这项工作中，我们利用语音增强来改善基于递归神经网络换能器（RNN-T）的ASR系统。我们采用了一个密集的卷积递归网络（DCRN）复杂的频谱映射为基础的语音增强，并发现它有助于ASR在两个方面：一个数据增强技术，和预处理前端。在使用它的ASR数据增强，我们利用KL分歧的一致性损失之间的原始和增强的话语的ASR输出计算。在使用语音增强作为一个有效的ASR前端，我们提出了一个三步训练计划的基础上模型预训练和特征选择。我们评估了我们提出的技术在一个具有挑战性的社交媒体英语视频数据集，并实现了11.2%的平均相对改善与语音增强为基础的数据增强，8.3%与增强为基础的预处理，和13.4%时，结合两者。
2020-11-07 cs.SD eess.AS
Fine-Tuning Automatic Speech Recognition for People with Parkinson's: An Effective Strategy for Enhancing Speech Technology Accessibility
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文针对帕金森病患者语音识别难题，提出在SAP数据集上微调ASR模型，并采用多任务学习联合估计损伤严重程度，使词错误率较LibriSpeech基线显著降低。
2024-09-29 cs.SD eess.AS
Zero Shot Text to Speech Augmentation for Automatic Speech Recognition on Low-Resource Accented Speech Corpora
Microsoft（微软公司）；Imperial College London（帝国理工学院）
针对低资源口音语音数据不足导致ASR性能下降的问题，提出零样本TTS增强口音语料的策略，可将词错误率最高降低14%，优于仅用真实口音数据训练的模型。
2024-09-17 cs.SD eess.AS
Speaker Reinforcement Using Target Source Extraction for Robust Automatic Speech Recognition
Toshiba Cambridge Research Laboratory（东芝剑桥研究实验室）
提高单通道自动语音识别（ASR）在噪声条件下的准确性是具有挑战性的。强大的语音增强前端是可用的，然而，它们通常需要重新训练ASR模型以应对处理伪影。在本文中，我们探讨了扬声器增强策略，提高识别性能，而无需重新训练的声学模型（AM）。这是通过将增强的信号与未处理的输入重新混合以减轻处理伪影来实现的。我们使用基于DNN说话人提取的语音去噪器来评估所提出的方法，该语音去噪器使用感知动机损失函数进行训练。结果表明，（没有AM再训练）我们的方法产生约23%和25%的相对精度增益相比，未经处理的单声道模拟和真实的CHiME-4评估集，分别，并优于一个国家的最先进的参考方法。
2022-05-09 cs.SD eess.AS
Intelligibility prediction with a pretrained noise-robust automatic speech recognition model
University of Sheffield（谢菲尔德大学）
本文基于预训练抗噪ASR模型提出侵入式和非侵入式两个语音可懂度预测系统，仅用模拟含噪语音预训练，在CPC2评测中展现了对未见场景的鲁棒预测性能。
2023-10-20 cs.SD eess.AS
Mask scalar prediction for improving robust automatic speech recognition
Google LLC（谷歌有限责任公司）
使用基于神经网络的声学前端来提高流式自动语音识别（ASR）系统的鲁棒性是具有挑战性的，因为前端处理在语音中引入的因果关系约束和所产生的失真。基于时频掩蔽的方法已被证明工作良好，但它们需要额外的超参数来缩放掩蔽以限制语音失真。这种掩码标量通常是手动调整和保守选择的。在这项工作中，我们提出了一种技术来预测掩码标量使用ASR为基础的损失在一个端到端的方式，在整体模型的大小和复杂性的增加最小。我们评估两个强大的ASR任务的方法：多通道增强语音和非语音噪声的存在下，和声学回声消除（AEC）。结果表明，所提出的算法一致地提高了字错误率（WER），而不需要在使用手动调整的超参数的强基线上进行任何额外的调整：在噪声条件下多通道增强高达16%，AEC高达7%。
2022-04-26 cs.SD eess.AS
Fast offline Transformer-based end-to-end automatic speech recognition for real-world applications
Electronics and Telecommunications Research Institute（电子通信研究院）
随着近年来技术的进步，自动语音识别（ASR）在实际应用中得到了广泛的应用。利用有限的资源将大量语音准确转换为文本的效率变得比以往任何时候都更加重要。本文提出了一种基于Transformer的端到端模型来快速识别大型语音库的方法。Transformers提高了许多领域的最先进性能。然而，它们不容易用于长序列。在本文中，提出并测试了各种技术，以加快现实世界的语音识别，包括解码通过多话语批量波束搜索，检测语音结束的基础上的连接主义时间分类（CTC），限制CTC前缀分数，和分裂成短段的长语音。实验进行了Librispeech英语和现实世界的韩国ASR任务，以验证所提出的方法。实验结果表明，该系统可以在3分钟内将8小时的会议发言转换为文本，字符错误率为10.73%，比传统系统低27.1%。
2021-09-11 cs.SD eess.AS
Sentiment-Aware Automatic Speech Recognition pre-training for enhanced Speech Emotion Recognition
Amazon（亚马逊公司）
提出了一种新的语音情感识别多任务预训练方法。我们在自动语音识别（ASR）和情感分类任务上同时预训练SER模型，以使声学ASR模型更具"情感意识“。我们使用在公开数据上训练的文本到情感模型来生成情感分类的目标。最后，我们对情感注释语音数据的声学ASR进行微调。我们在MSP播客数据集上评估了所提出的方法，在那里我们实现了最好的一致性相关系数（CCC）为0.41的效价预测。
2022-01-27 cs.CL cs.SD eess.AS
FASA: a Flexible and Automatic Speech Aligner for Extracting High-quality Aligned Children Speech Data
SUNY Buffalo（纽约州立大学布法罗分校）
针对儿童语音ASR缺乏高质量对齐数据的问题，提出灵活自动语音对齐工具FASA，从含噪数据中提取高质量对齐儿童语音，在CHILDES数据集上数据质量比人工标注提升13.6倍。
2024-06-25 cs.CL cs.SD eess.AS
Thank you for Attention: A survey on Attention-based Artificial Neural Networks for Automatic Speech Recognition
Federation University Australia（澳大利亚联邦大学）
在基于人工神经网络的序列到序列模型中，注意力是一种非常流行和有效的机制。在这篇调查论文中，提供了一个全面的审查不同的注意力模型用于开发自动语音识别系统。本文重点介绍了在基于递归神经网络和Transformer的架构中离线和流式语音识别的注意力模型的发展和演变。
2021-02-14 cs.CL cs.SD eess.AS
Bengali Common Voice Speech Dataset for Automatic Speech Recognition
Michigan State University（密歇根州立大学）；RPI（伦斯勒理工学院）；Vanderbilt University（范德堡大学）；Rice University（莱斯大学）
孟加拉语是世界上使用最多的语言之一，全球有超过3亿人使用。尽管孟加拉语语音识别系统很受欢迎，但由于缺乏多样化的开源数据集，对孟加拉语语音识别系统开发的研究受到了阻碍。作为前进的方向，我们已经众包了孟加拉语通用语音语音数据集，这是一个高级自动语音识别语料库。该数据集在Mozilla Common Voice平台上收集，是正在进行的活动的一部分，该活动在两个月内收集了超过400小时的数据，并且正在迅速增长。我们的分析表明，与现有最大的开源孟加拉语语音数据集OpenSLR孟加拉语ASR数据集相比，该数据集具有更多的扬声器，音素和环境多样性。我们提出了从数据集中获得的见解，并讨论了需要在未来版本中解决的关键语言挑战。此外，我们报告了一些自动语音识别（ASR）算法的当前性能，并为未来的研究设定了基准。
2022-06-29 cs.CL cs.SD eess.AS
Unsupervised Automatic Speech Recognition: A Review
UAE University（阿联酋大学）；National University of Science & Technology（国家科学技术大学）
自动语音识别（ASR）系统可以被训练以在给定大量手动转录的语音的情况下实现显著的性能，但是对于所有感兴趣的语言而言，获取大的标记数据集可能是困难的或昂贵的。在本文中，我们回顾了研究文献，以确定可能导致完全无监督ASR的模型和想法，包括语音信号的无监督分割，从语音段到文本的无监督映射，以及具有标称数量的标记示例的半监督模型。这项研究的目的是确定什么可以从语音数据单独学习的局限性，并了解语音识别的最低要求。识别这些限制将有助于优化低资源语言的ASR开发资源和工作。
2022-03-20 cs.CL cs.SD eess.AS
The Makerere Radio Speech Corpus: A Luganda Radio Corpus for Automatic Speech Recognition
Makerere University（马凯雷雷大学）；Ronin Institute（罗宁研究所）；Coqui
建立一个可用的无线电监测自动语音识别（ASR）系统是一项具有挑战性的任务，资源不足的语言，但这是至关重要的社会，无线电是主要媒体的公共沟通和讨论。联合国在乌干达的初步努力证明，了解被排除在社交媒体之外的农村人的看法对国家规划非常重要。然而，这些努力受到缺乏转录语音数据集的挑战。在本文中，Makerere人工智能研究实验室发布了155小时的卢甘达电台语音语料库。据我们所知，这是撒哈拉以南非洲第一个公开的无线电数据集。本文介绍了语音语料库的发展，并提出了基线Luganda ASR的性能结果使用Coqui STT工具包，一个开源的语音识别工具包。
2022-06-20 cs.CL cs.SD eess.AS
Feasibility of Using Automatic Speech Recognition with Voices of Deaf and Hard-of-Hearing Individuals
Rochester Institute of Technology（罗切斯特理工学院）
许多个人设备已经从视觉控制界面过渡到语音控制界面，以降低设备成本和交互摩擦。语音控制界面的能力不断提高，加速了这种转变，例如，亚马逊Echo或苹果Siri其后果是，失聪或听力困难（DHH）的人可能无法使用这些语音控制设备。我们发现，聋人语音有一个高的出错率相比，听力语音，在商业语音控制接口。聋人的语言有大约78%的词出错率（WER）相比，听力语言18%的WER。我们的研究结果表明，目前的语音控制接口是不可用的聋人和重听人。因此，寻求其他方法让聋人向计算机传递自然命令可能是明智的。
2019-09-03 cs.HC cs.SD eess.AS
BART based semantic correction for Mandarin automatic speech recognition system
Cloudwalk Technology（云从科技）
虽然自动语音识别（ASR）系统近年来取得了显著的进步，但是口语识别错误仍然存在，并且很容易被人类发现。各种语言建模技术已经开发出后识别任务，如语义校正。在本文中，我们提出了一种基于Transformer的语义校正方法与预训练的BART初始化，在10000小时的汉语语音数据集上的实验表明，字符出错率（CER）可以有效地减少21.7%，相对于我们的基线ASR系统。专家评估表明，我们的模型的实际改善超过CER表明。
2021-03-26 cs.CL cs.SD eess.AS
Exploiting Nontrivial Connectivity for Automatic Speech Recognition
Corti, Copenhagen, Denmark（Corti，丹麦哥本哈根）；Technical University of Denmark（丹麦技术大学）
非平凡连通性通过解决梯度消失的问题和提供更有效的参数重用方法，允许训练非常深的网络。在本文中，我们做了比较残差网络，密集连接网络和公路网络的图像分类任务。接下来，我们表明，这些方法可以很容易地部署到自动语音识别，并提供显着的改进现有的模型。
2017-11-28 cs.SD eess.AS stat.ML
Large Vocabulary Spontaneous Speech Recognition for Tigrigna
Adama Science and Technology University（阿达玛科技大学）；Addis Ababa University（亚的斯亚贝巴大学）
该论文旨在为提格里尼亚语开发说话人无关的自发语音识别系统，使用Sphinx工具构建声学模型，并用SRIM工具构建语言模型。
2023-10-15 cs.LG cs.SD eess.AS
Speech Recognition-based Feature Extraction for Enhanced Automatic Severity Classification in Dysarthric Speech
Sogang University（西江大学）
针对构音障碍严重程度评估中ML特征覆盖不足的问题，提出利用微调ASR转写提取词段边界及发音、韵律特征，将平衡准确率提升至83.72%。
2024-12-05 cs.AI cs.SD eess.AS
Disappeared Command: Spoofing Attack On Automatic Speech Recognition Systems with Sound Masking
Tencent（腾讯）
深度学习技术的发展极大地促进了自动语音识别（ASR）技术的性能提升，在许多任务中已经展现出与人类听觉相当的能力。语音接口正变得越来越广泛地用作许多应用程序和智能设备的输入。然而，已有研究表明，DNN很容易受到轻微干扰的干扰而做出错误识别，这对于语音控制的智能语音应用来说是极其危险的。
2022-06-08 cs.AI cs.SD eess.AS
Enhancing Indonesian Automatic Speech Recognition: Evaluating Multilingual Models with Diverse Speech Variabilities
Institut Teknologi Bandung（万隆理工学院）；University of Indonesia（印度尼西亚大学）；Japan Advanced Institute of Science and Technology（日本先进科学技术学院）；Nara Institute of Science and Technology（奈良科学技术大学）
本研究评估了MMS和Whisper等多语言模型在多样语音变异性下的印尼语ASR能力，发现微调的Whisper模型表现最佳，且说话风格变异性对模型性能影响最大。
2024-10-14 cs.CL cs.SD eess.AS
Pitch Accent Detection improves Pretrained Automatic Speech Recognition
IT University of Copenhagen（丹麦技术大学）；AppleDenmark（苹果丹麦）
本文提出联合ASR与音高重音检测模型，音高重音检测F1差距缩小41%，ASR在LibriSpeech上WER降低28.3%，凸显预训练模型保留韵律线索的重要性。
2025-08-06 cs.CL cs.SD eess.AS
Homophone-based Label Smoothing in End-to-End Automatic Speech Recognition
UBTECH Robotics Inc（优必选机器人公司）
提出了一种新的标签平滑方法，该方法利用人类语言水平上的先验知识--同音字，用于自动语音识别（ASR）。与前人相比，该方法以更复杂的方式利用了同音字的发音知识。联合学习声学模型和语言模型的端到端ASR模型以及对字符单元的建模是该方法的必要条件。在混合CTC序列到序列模型上的实验表明，该方法可以将字符错误率（CER）绝对降低0.4%。
2020-05-14 cs.CL cs.SD eess.AS
Robustness of end-to-end Automatic Speech Recognition Models -- A Case Study using Mozilla DeepSpeech
University of Duisburg-Essen（杜伊斯堡-埃森大学）
在评估自动语音识别模型的性能时，通常使用特定数据集内的单词出错率。在理解数据集时必须特别小心，以便报告真实的性能数字。我们认为，许多性能数据报告可能低估了预期的出错率。我们进行实验，控制选择偏差，性别以及重叠（训练和测试数据之间）的内容，声音和录音条件。我们发现，内容重叠的影响最大，但其他因素，如性别也发挥了作用。
2021-05-08 cs.CL cs.SD eess.AS
Anchoring Speech with Semantics: A Multimodal Adapter Mechanism for Automatic Speech Recognition in Low-Resource Languages
National Taiwan Normal University（台湾师范大学）；EZAI；Academia Sinica（中央研究院）
针对低资源语言ASR的监督证据不足问题，提出轻量级多模态适配器机制SAMA-ASR，结合语义与声学锚，在台湾闽南语和客家话数据集上优于多种基线，且紧凑ST模型可生成有效语义锚。
2026-09-01 cs.CL cs.SD eess.AS
Bringing NURC/SP to Digital Life: the Role of Open-source Automatic Speech Recognition Models
Federal University of Goiás（戈亚斯联邦大学）；São Paulo State University（圣保罗州立大学）；University of São Paulo（圣保罗大学）
1969年开始的巴西语文化中心项目研究巴西五个首都的文化语言城市规范，负责为每个首都编制一个大型语料库。数字化的CNAS/SP包括在圣保罗首都进行的334小时录音中的375项查询。虽然47项调查有录音记录，但录音记录之间没有一致性，328项调查没有录音记录。本文提出了一个评估和错误分析的三个自动语音识别模型与葡萄牙语的自发语音训练和一个模型与准备的语音训练。评估使我们能够选择最佳模型，使用WER和CER指标，在手动对齐的CNOC/SP样本中，自动转录284小时。
2022-10-14 cs.CL cs.SD eess.AS
Analysis of Deep Clustering as Preprocessing for Automatic Speech Recognition of Sparsely Overlapping Speech
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
当音频信号包含串扰时，自动语音识别（ASR）系统的性能显著下降。最近提出的解决多说话者ASR问题的方法之一是深度聚类（DPCL）方法。将DPCL与最先进的混合声学模型相结合，我们在常用的wsj 0 - 2 mix数据集上获得了16.5%的单词出错率（WER），这是迄今为止据我们所知的最佳性能。wsj 0 - 2 mix数据集包含模拟的串扰，其中多个说话者的语音几乎在整个话语中重叠。在更现实的ASR场景中，音频信号包含单说话者语音的显著部分，并且仅信号的一部分包含多个竞争说话者的语音。本文研究了在这种情况下，稀疏重叠的语音应用DPCL作为预处理方法的ASR的障碍。为此，我们提出了一种数据模拟方法，密切相关的wsj 0 - 2 mix数据集，生成稀疏重叠的语音数据集的任意重叠率。将DPCL应用于稀疏重叠语音的分析是完全重叠数据集（如wsj 0 - 2 mix）和更真实的ASR数据集（如CHiME-5或AMI）之间的重要中间步骤。
2019-09-25 cs.CL cs.SD eess.AS
Personalized Automatic Speech Recognition Trained on Small Disordered Speech Datasets
Google Research（谷歌研究院）
本研究探讨使用少量的每说话人适应数据的个性化自动语音识别（ASR）识别无序语音的性能。我们为195名具有不同类型和严重程度的语言障碍的个体训练了个性化模型，训练集的大小从<1分钟到18 - 20分钟的语音数据。选择词错误率（WER）阈值来确定不同应用场景下的成功百分比（个性化模型达到目标WER的百分比）。对于家庭自动化场景，79%的发言者在18 - 20分钟的演讲中达到了目标WER;但即使只有3 - 4分钟的演讲，63%的发言者也达到了目标WER。进一步的评估发现，在具有会话和域外，自发短语的测试集上也有类似的改善。我们的研究结果表明，只有几分钟的录音，语音障碍的人可以从个性化的ASR中受益。
2021-10-09 cs.CL cs.LG cs.SD
Improving Semi-supervised End-to-end Automatic Speech Recognition using CycleGAN and Inter-domain Losses
University of Stuttgart（斯图加特大学）
我们提出了一种新的方法，结合CycleGAN和域间损失的半监督端到端自动语音识别。域间丢失的目标是使用共享网络提取语音和文本输入的中间共享表示。CycleGAN使用循环一致性损失和身份映射损失来保留从一个域转换到另一个域后输入特征的相关特征。因此，这两种方法都适合于在不成对的语音-文本输入上训练端到端模型。在本文中，我们利用域间损失和CycleGAN的优势来实现未配对语音和文本输入的更好共享表示，从而改进语音到文本的映射。我们在WSJ eval 92和Voxforge（非英语）上的实验结果显示，字符出错率比基线降低了8~8.5%，在LibriSpeech test_clean上的结果也显示出明显的改善。
2022-10-20 cs.CL cs.SD eess.AS
Serialized Speech Information Guidance with Overlapped Encoding Separation for Multi-Speaker Automatic Speech Recognition
Kyoto University（京都大学）
针对多说话人ASR中SOT仅用注意力损失训练难的问题，提出EncSep和GEncSep方法，借助CTC与注意力混合损失分离重叠编码并引导解码注意力，在LibriMix上验证了性能提升。
2024-09-11 cs.AI cs.SD eess.AS
SMILE: Speech Meta In-Context Learning for Low-Resource Language Automatic Speech Recognition
Electrical Engineering Department National Taiwan University Taipei, Taiwan（电子工程系 国立台湾大学 台北 台湾）
针对低资源语言ASR数据不足、现有适配策略存在缺陷的问题，提出融合元学习与语音上下文学习的SMILE框架，通过高资源语言元训练实现低资源语言少样本泛化，在ML-SUPERB基准上性能优于基线。
2025-06-14 cs.CL cs.SD eess.AS
Benchmarking Evaluation Metrics for Code-Switching Automatic Speech Recognition
New York University Abu Dhabi（纽约大学阿布扎比分校）；University of Stuttgart（斯图加特大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Stanford University（斯坦福大学）；Qatar Computing Research Institute（卡塔尔计算研究所）；Microsoft Research India（微软印度研究院）
语码转换为多语种自动语音识别带来了许多挑战和机遇。在本文中，我们专注于鲁棒性和公平的评价指标的问题。为此，我们开发了一个参考基准数据集的代码切换语音识别假设与人类的判断。我们为自动假设的最小编辑定义了明确的指导方针。我们使用4路注释器间协议来验证指南。我们评估了大量的指标与人类判断的相关性。我们考虑的指标在表示（正字法，语音，语义），直接性（内在与外在），粒度（例如单词，字符）和相似性计算方法方面有所不同。与人类判断的最高相关性是使用音译，然后是文本规范化。我们发布了第一个语料库的人类接受的代码切换语音识别结果在方言阿拉伯语/英语对话语音。
2022-11-22 cs.CL cs.SD eess.AS
AS-70: A Mandarin stuttered speech dataset for automatic speech recognition and stuttering event detection
StammerTalk；AIShell Inc（AIShell公司）；AImpower；Nankai University（南开大学）；University of Science and Technology of China（中国科学技术大学）；Duke Kunshan University（昆山杜克大学）
本文构建首个公开且规模最大的普通话口吃语音数据集 AS-70，覆盖对话与命令朗读并提供逐字转写，通过基线实验和微调显著提升 Whisper、Hubert 等模型的口吃 ASR 与 SED 能力。
2024-06-11 cs.AI cs.SD eess.AS
Automatic Documentation of ICD Codes with Far-Field Speech Recognition
Stanford University（斯坦福大学）；Rush University Medical Center（拉什大学医学中心）
文件错误增加了医疗保健成本，并导致不必要的患者死亡。作为诊断和计费的标准语言，ICD代码是全球医疗文档的基础。尽管电子医疗记录的普及，医院仍然见证了高水平的ICD错误编码。在本文中，我们提出了自动文档ICD代码与远场语音识别。远场语音发生在麦克风位于距离源几米处时，这在灵巧家庭和安全系统中很常见。我们的方法结合了声学信号处理和递归神经网络识别和ICD代码的实时的。为了评估我们的模型，我们收集了ICD-10代码的远场语音数据集，发现我们的模型达到了87%的准确率，BLEU评分为85%。通过从无监督的医学语言模型中采样，我们的方法能够优于现有的方法。总的来说，这项工作显示了自动语音识别的潜力，以提供高效，准确和具有成本效益的医疗保健文件。
2018-11-27 cs.CL cs.SD eess.AS
HuBERT-VIC: Improving Noise-Robust Automatic Speech Recognition of Speech Foundation Model via Variance-Invariance-Covariance Regularization
School of Electrical Engineering（电气工程学院）
本文提出HuBERT-VIC，通过VICReg正则化调整含噪语音表示统计特性，提升语音基础模型抗噪鲁棒性，在LibriSpeech两个测试集上分别相对提升23.3%和13.2%。
2025-08-17 cs.AI cs.SD eess.AS
KT-Speech-Crawler: Automatic Dataset Construction for Speech Recognition from YouTube Videos
University of Hamburg（汉堡大学）
在本文中，我们描述了KT-语音爬虫：一种通过抓取YouTube视频来自动构建语音识别数据集的方法。我们概述了几个过滤和后处理步骤，提取可用于训练端到端神经语音识别系统的样本。在我们的实验中，我们证明了一个单核版本的爬虫程序可以在一天内获得大约150小时的转录语音，其中包含估计3.5%的单词错误率出错率。自动收集的样本包含在各种条件下记录的阅读和自发语音，包括背景噪音和音乐，远距离麦克风录音以及各种口音和混响。在对深度神经网络进行语音识别训练时，通过将200小时收集的样本整合到训练集中，我们观察到华尔街日报数据集上的单词出错率降低了约40%。演示（http：//emnlp-demo.lakomkin.me/）和爬虫代码（https：//github.com/EgorLakomkin/KTSpeechCrawler）是公开的。
2019-03-01 cs.CL cs.LG cs.SD
Dual-decoder Transformer for Joint Automatic Speech Recognition and Multilingual Speech Translation
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Facebook AI（Facebook人工智能研究院）
我们介绍了双解码器Transformer，一个新的模型架构，共同执行自动语音识别（ASR）和多语言语音翻译（ST）。我们的模型基于原始的Transformer架构（Vaswani等人，2017），但由两个解码器组成，每个解码器负责一个任务（ASR或ST）。我们的主要贡献在于这些解码器是如何相互作用的：一个解码器可以通过双重注意力机制来关注不同的信息源。我们提出了两个变种，这些架构对应于两个不同级别的解码器之间的依赖关系，称为并行和交叉双解码器Transformers，分别。在MuST-C数据集上进行的大量实验表明，我们的模型在多语言环境中的翻译性能优于先前报道的最高翻译性能，并且优于双语一对一的结果。此外，我们的并行模型表明没有权衡ASR和ST相比，香草多任务架构。我们的代码和预培训模型可在https://github.com/formiel/speech-translation上获得。
2020-11-02 cs.CL cs.SD eess.AS
MoLE : Mixture of Language Experts for Multi-Lingual Automatic Speech Recognition
NAVER Cloud（NAVER 云）
多语言语音识别的目标是区分不同语言的语言表达，同时集成声学处理。相比之下，当前的多语言语音识别研究遵循语言感知范式，主要针对提高识别性能而不是区分语言特征。在本文中，我们提出了一个多语言语音识别网络命名为混合的语音识别专家（MoLE），它在各种语言的语音识别。具体来说，MoLE从任意语言的输入语音中分析语言表达，使用轻量级语言标记器激活特定语言的专家。标记器不仅激活专家，而且还估计激活的可靠性。基于可靠性，激活的专家和语言不可知的专家聚集来表示语言条件的嵌入，用于高效的语音识别。我们提出的模型在5种语言的情况下进行评估，实验结果表明，我们的结构是有利的多语言识别，特别是在低资源语言的语音。
2023-02-27 cs.CL cs.SD eess.AS
Automatic Speech Recognition (ASR) for the Diagnosis of pronunciation of Speech Sound Disorders in Korean children
Korea University（高丽大学）；MediaZen；The Catholic University of Korea（韩国天主教大学）；Dankook University（檀国大学）
本研究微调wav2vec 2.0 XLS-R模型识别儿童实际发音，用于诊断韩语语音障碍，准确率约90%，可简化临床发音错误诊断流程。
2024-03-13 cs.CL cs.SD eess.AS
Aggression in Hindi and English Speech: Acoustic Correlates and Automatic Identification
Dr. Bhimrao Ambedkar University（宾希姆拉奥·安贝德卡尔博士大学）；Jawaharlal Nehru University（贾瓦哈拉尔·尼赫鲁大学）；Indian Institute of Technology（印度理工学院）；Tezpur University（特兹普尔大学）
在本论文中，我们将提出的结果，声学分析的政治话语在印地语和讨论一些常规的声学特征的侵略性讲话经常采用的印地语和英语的发言者。该研究基于10个多小时的政治话语语料库，包括新闻频道和政治演讲的辩论。利用这项研究，我们开发了两个自动分类系统，用于识别侵略英语和印地语语音，完全基于声学模型。使用50小时的注释语音训练的印地语分类器和使用40小时的注释语音训练的英语分类器分别达到了超过73%和66%的准确率。在本文中，我们讨论了这个带注释的数据集的发展，实验开发的分类器，并讨论了错误，它使。
2022-04-06 cs.CL cs.SD eess.AS
Automatic Speech Recognition Services: Deaf and Hard-of-Hearing Usability
Rochester Institute of Technology（罗切斯特理工学院）
如今，语音正在成为一种更加常见（即使不是标准）的技术接口。这从多年来技术变革的趋势中可以看出。语音越来越多地用于控制家庭，汽车，工作场所和公共空间内的程序，电器和个人设备，通过智能手机和家庭助理设备使用亚马逊的Alexa，谷歌的助手和苹果的Siri以及其他激增的技术。然而，大多数语音接口对于聋人和听力困难（DHH）的人来说是不可访问的。在本文中，目前的自动语音识别（ASR）与DHH说话人的声音的性能进行评估。多年来，在云计算和机器学习算法（采用自定义词汇模型）的帮助下，ASR已经有所改善，并且能够达到低至5-6%的单词出错率（WER）[1][2][3]。本文使用了自定义词汇表模型，并在使用DHH语音时评估了改进的意义。
2019-09-03 cs.HC cs.SD eess.AS
End-to-End Automatic Speech Recognition Integrated With CTC-Based Voice Activity Detection
Nagoya University（名古屋大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文将语音活动检测（VAD）功能与端到端自动语音识别集成到一个在线语音界面，并转录很长的音频记录。我们专注于连接主义时间分类（CTC）及其扩展的CTC/注意架构。与基于注意力的架构相反，输入同步标签预测可以基于具有CTC（预）softmax输出的贪婪搜索来执行。该预测包括连续的长空白标签，可以将其视为非语音区域。我们使用的标签作为一个线索，检测语音段与简单的阈值。阈值与非语音区域的长度直接相关，这比传统的VAD超参数更直观，更容易控制。未分割数据的实验结果表明，该方法优于基线方法使用传统的基于能量和神经网络的VAD方法，并实现了RTF小于0.2。所提出的方法是公开可用的。
2020-02-14 cs.CL cs.SD eess.AS
UNetGAN: A Robust Speech Enhancement Approach in Time Domain for Extremely Low Signal-to-noise Ratio Condition
Inner Mongolia Key Laboratory of Mongolian Information Processing Technology（内蒙古蒙古文信息处理技术重点实验室）
极低信噪比下的语音增强是一个非常具有挑战性的问题，在以前的工作中很少研究。针对这一问题，提出了一种基于U-Net和生成对抗学习的鲁棒语音增强方法（UNetGAN）。该方法由一个发电机网络和一个直接在时域工作的同步网络组成。该生成器网络采用类U-Net结构，并在其瓶颈处采用扩张卷积，在公共基准测试中，对低信噪比（-20dB）下的UNetGAN性能进行了评估。结果表明，它显着提高了语音质量，并大大优于代表性的深度学习模型，包括SEGAN，cGAN for SE，双向LSTM使用相位敏感谱近似代价函数（PSA-BLSTM）和Wave-U-Net关于短时客观可懂度（STOI）和语音质量的感知评估（PESQ）。
2020-10-29 cs.SD eess.AS eess.SP
Enhancing Automatic Speech Recognition Through Integrated Noise Detection Architecture
Independent Researcher（独立研究者）
通过集成噪声检测架构提升语音识别的准确性和噪声辨别能力
2025-12-02 cs.AI cs.LG cs.SD
On-Device Personalization of Automatic Speech Recognition Models for Disordered Speech
Google（谷歌）
虽然当前最先进的自动语音识别（ASR）系统在典型语音上实现了高准确度，但是它们在无序语音和其他非典型语音模式上遭受显著的性能降级。ASR模型的个性化（对该问题的常用解决方案）通常在基于服务器的训练环境中执行，从而引起关于数据隐私、延迟的模型更新时间以及用于在移动终端和服务器基础设施之间复制数据和模型的通信成本的问题。在本文中，我们提出了一种基于设备的ASR个性化的方法，具有非常少量的特定于说话者的数据。我们测试了我们的方法在一组不同的100位发言者与无序的讲话，并发现中位数相对字错误率提高了71%，只有50个短的话语，每个发言者。当在语音控制的家庭自动化平台上进行测试时，设备上的个性化模型显示出81%的任务成功率中位数，而未经调整的模型只有40%。
2021-06-18 cs.CL cs.LG cs.SD
Uformer: A Unet based dilated complex & real dual-path conformer network for simultaneous speech enhancement and dereverberation
Northwestern Polytechnical University（西北工业大学）；Sogou Inc.（搜狗公司）
复频谱和幅度被认为是语音增强和去混响的两个主要特征。传统的方法总是将这两个特征分开处理，忽略了它们之间的内在联系。本文提出了Uformer，一种基于Unet的复-实双径扩张保形网络，用于同时进行语音增强和混响消除。我们利用时间注意力（TA）和扩张卷积（DC）来利用局部和全局上下文信息和频率注意力（FA）来建模维度信息。这三个子模块组成的扩展复实双径一致器模块有效地提高了语音增强和去混响性能。此外，采用混合编码器和解码器，同时对复频谱和幅度进行建模，促进两个域之间的信息交互。编码器/解码器的注意力也被应用于增强编码器和解码器之间的交互。我们的实验结果优于所有的SOTA时间和复杂的域模型客观和主观。具体而言，Uformer在Interspeech 2021 DNS Challenge的盲测集上达到3.6032 DNSMOS，优于所有表现最好的模型。我们还进行了烧蚀实验，梳理除了所有提出的子模块是最重要的。
2022-05-05 cs.SD eess.AS
Unet-TTS: Improving Unseen Speaker and Style Transfer in One-shot Voice Cloning
CloudMinds Inc.（达闼科技）
单次语音克隆是指在文本到语音（TTS）系统中，只使用目标参考语音的一次录音，对合成语音中说话人的声音和说话风格进行转换。域外传输仍然是一个具有挑战性的任务，影响合成语音的准确性和相似性的一个重要方面是从有限的参考文献中提取的携带说话人或风格线索的条件表示。在本文中，我们提出了一种新的一次性语音克隆算法称为Unet-TTS，具有良好的泛化能力，不可见的扬声器和风格。该模型基于跳跃连接的U网结构，能够有效地从参考音频中发现说话人级和话语级的频谱特征细节，从而能够准确地推断出复杂的声学特征，并在合成语音中模仿说话风格。根据主观和客观的相似性评价，新模型优于说话人嵌入和无监督风格建模（GST）方法在一个看不见的情感语料库。
2022-02-24 cs.SD eess.AS
