KazakhTTS2: Extending the Open-Source Kazakh TTS Corpus With More Data, Speakers, and Topics
Institute of Smart Systems and Artificial Intelligence (ISSAI), Nazarbayev University（纳扎尔巴耶夫大学智能系统与人工智能研究所（ISSAI））
我们提出了我们以前发布的哈萨克文语音合成语料库（KazakhTTS）的扩展版本。在新的KazakhTTS2语料库中，总长度从93小时增加到271小时，发言者人数从2人增加到5人（3名女性和2名男性），在新来源的帮助下，包括一本书和维基百科文章，主题覆盖面多样化。该语料库是必要的，为哈萨克语，中亚的粘着语言从突厥语家庭，这提出了几个语言的挑战，建立高质量的TTS系统。我们描述了语料库的建设过程，并提供了TTS系统的训练和评估程序的细节。我们的实验结果表明，所构建的语料库是足够的，以建立强大的TTS模型，为现实世界的应用程序，与主观平均意见得分范围从3.6到4.2的所有五个扬声器。我们相信，我们的语料库将促进哈萨克语和其他突厥语的语音和语言研究，由于免费语言数据的有限性，这些语言被广泛认为是低资源。构建的语料库，代码和预训练模型在我们的GitHub存储库中公开提供。
2022-04-20 cs.CL cs.SD eess.AS
A Comparison of Online Automatic Speech Recognition Systems and the Nonverbal Responses to Unintelligible Speech
University of Sydney（悉尼大学）；University of California, Davis（加州大学戴维斯分校）；University of New South Wales（新南威尔士大学）；Imperial College London（帝国理工学院）
自动语音识别（ASR）系统近年来已经激增到诸如YouTube之类的免费平台现在提供语音识别服务的程度。鉴于ASR系统的广泛选择，我们通过比较两组手动转录和五组自动转录（Google Cloud，IBM Watson，Microsoft Azure，Trint和YouTube）的相对性能，为自动语音识别领域做出贡献，以帮助研究人员选择准确的转录服务。此外，我们确定了非语言行为与难以理解的语音，如高字出错率。我们表明，手动transmittance仍然优于目前的自动transmittance。在自动转录服务中，YouTube提供最准确的转录服务。对于非言语行为的参与，我们提供的证据表明，从听者微笑强度的变化是高（低）时，扬声器是清晰的（难以理解）。这些发现来自学生医生和模拟患者之间的视频会议互动;因此，我们对ASR文献和医疗保健沟通技能教学社区做出了贡献。
2019-04-29 cs.SD eess.AS
Unsupervised Uncertainty Measures of Automatic Speech Recognition for Non-intrusive Speech Intelligibility Prediction
University of Sheffield（谢菲尔德大学）
非侵入式可懂度预测对于其在难以获得干净参考信号的现实场景中的应用是重要的。许多非侵入式预测器的构建需要地面真实可理解性标签或用于监督学习的干净参考信号。在这项工作中，我们利用一个无监督的不确定性估计方法来预测语音清晰度，它不需要清晰度标签或参考信号来训练预测器。我们的实验表明，国家的最先进的端到端的自动语音识别（ASR）模型的不确定性是高度相关的语音清晰度。该方法在两个数据库上进行了评估，结果表明，ASR模型的无监督不确定性措施与听力结果的语音可懂度比广泛使用的侵入性方法的预测更相关。
2022-07-06 cs.SD eess.AS
Leveraging Self-Supervised Models for Automatic Whispered Speech Recognition
University of Zurich（苏黎世大学）；University of Isfahan（伊斯法罕大学）
针对耳语语音声学特性特殊、训练数据稀缺导致识别效果差的问题，提出用预训练WavLM模型结合多数据集微调的爱尔兰方言耳语语音识别方法，性能显著优于Whisper基线。
2024-11-03 cs.SD eess.AS
Time-Domain Speech Enhancement for Robust Automatic Speech Recognition
The Ohio State University（俄亥俄州立大学）
本文提出基于ARN时间域增强模型，将语音增强与仅在干净语音上训练的声学模型解耦，在CHiME-2上实现6.28%词错误率，相对提升19.3%。
2023-06-21 cs.SD eess.AS
End-to-End Neural Systems for Automatic Children Speech Recognition: An Empirical Study
University of Southern California（南加州大学）
包容性和可访问的语音识别技术的一个关键需求是确保其对儿童语音的鲁棒性能。值得注意的是，这包括快速发展的基于神经网络的端到端语音识别系统。与成人语音相比，儿童语音识别由于在声学和语言特征方面的更大的说话者内-间可变性而更具挑战性。此外，缺乏足够和适当的儿童语音资源增加了设计鲁棒的端到端神经架构的挑战。本研究通过对当代最先进的端到端语音识别系统的实证研究，对儿童自动语音识别进行了严格的评估。洞察方面的训练数据的要求，适应儿童数据，儿童年龄的影响，话语长度，不同的架构和损失函数的端到端系统和语言模型的作用上的语音识别性能。
2021-02-19 cs.SD eess.AS
Data Augmentation with Locally-time Reversed Speech for Automatic Speech Recognition
The Chinese University of Hong Kong（香港中文大学）
心理声学研究表明，局部时间反转（LTR）语音，即，在短段内时间反转的信号样本可以被人类收听者准确地识别。本研究解决了最先进的自动语音识别（ASR）系统对LTR语音的性能如何的问题。其基本目标是探索在端到端（E2 E）ASR模型的训练中部署LTR语音的可行性，作为提高识别性能的数据增强的尝试。本研究从实验开始，以了解LTR语音对通用ASR的影响。呈现并评估具有5 ms - 50 ms的反转段持续时间的LTR语音。对于使用LTR语音的ASR训练数据增强，通过将自然语音与LTR语音的不同分区组合来创建训练集。在不同语言和说话风格的语音语料库上的ASR结果证实了数据增强的有效性。研究发现，在15 ms - 30 ms的反向段长的LTR语音上的ASR比在其他段长的LTR语音上的ASR具有更低的错误率。使用这些LTR语音的数据增强实现了对ASR性能的满意和一致的改善。
2021-10-09 cs.SD eess.AS
The Airbus Air Traffic Control speech recognition 2018 challenge: towards ATC automatic transcription and call sign detection
Airbus（空中客车公司）
在本文中，我们描述了空客及其合作伙伴在2018年组织和运行的挑战赛的结果。该挑战包括两个应用于空中交通管制（ATC）英语语音的任务：1）自动语音到文本转录，2）呼号检测（CSD）。注册的参与者被提供了40小时的演讲以及手动翻译。22个团队提交了对5小时评估集的预测。ATC语音处理具有挑战性的原因有几个：高语音速率，口音差异很大的外国口音语音，嘈杂的通信信道。排名最好的团队获得了7.62%的单词出错率和82.41%的CSD F1分数。研究发现，转录飞行员的语音比转录管制员的语音要困难两倍。还讨论了解决ATC ASR的剩余问题。
2020-03-10 cs.SD eess.AS
AutoPrep: An Automatic Preprocessing Framework for In-the-Wild Speech Data
Tencent AI Lab（腾讯人工智能实验室）；Shenzhen Research Institute of Big data（深圳大数据研究院）
本文提出AutoPrep自动预处理框架，通过语音增强、切分、说话人聚类、目标语音提取、质量过滤和自动语音识别六个组件处理自然场景语音数据，实验表明其预处理数据质量接近开源TTS数据集，并支持TTS系统达到0.68的域内说话人相似度。
2023-09-25 cs.SD eess.AS
Streaming Decoder-Only Automatic Speech Recognition with Discrete Speech Units: A Pilot Study
Northwestern Polytechnical University（西北工业大学）；Du Xiaoman Financial（度小满金融）
本文提出一种基于离散语音单元和专用边界token的流式仅解码器ASR模型，通过因果注意力掩码、右块注意力及数据增强，在AISHELL数据集上取得与非流式方法相当的性能。
2024-06-27 cs.SD eess.AS
Scene-aware Far-field Automatic Speech Recognition
University of Maryland, College Park（马里兰大学帕克分校）
我们提出了一种新的方法来产生场景感知的训练数据的远场自动语音识别。我们使用基于深度学习的估计器来非侵入性地从语音样本中计算环境的子带混响时间。我们模型的混响时间的场景的声学特性，并表示它使用多元高斯分布。我们使用这个分布来选择声学脉冲响应从一个大的现实世界的数据集增强语音数据。在我们的场景感知数据上训练的语音识别系统在REVERB和AMI远场基准测试中的表现始终优于使用更多随机声脉冲响应训练的系统。在实践中，我们获得了2.64%的绝对改善字错误率相比，使用相同大小的训练数据均匀分布的混响时间。
2021-04-21 cs.SD eess.AS
Investigating the role of L1 in automatic pronunciation evaluation of L2 speech
Arizona State University（亚利桑那州立大学）
语音自动评测在语音训练和第二语言教学中起着重要的作用。该领域大量利用来自自动语音识别（ASR）的概念来量化非母语语音的发音与母语发音的接近程度。然而，众所周知，口音的形成与目标语言（L2）和说话者的第一语言（L1）的发音模式都有关。在本文中，我们建议使用两个母语声学模型，一个在L2语音上训练，另一个在L1语音上训练。我们开发了两套测量，可以从两个声学模型中提取口音的讲话。一个新的话语级特征提取方案是用来将这些测量值转换成一个固定的维度向量，这是用来作为一个统计模型的输入，以预测一个扬声器的重音。在由来自4个不同L1背景的扬声器组成的数据集上，我们表明，与仅使用L2声学模型的系统相比，所提出的系统与人类评估者的相关性得到了改善。
2018-07-04 cs.SD eess.AS
Auditory-Based Data Augmentation for End-to-End Automatic Speech Recognition
University of Sheffield（谢菲尔德大学）
端到端模型在自动语音识别方面取得了显著的进步。提高这些模型性能的一种常用方法是通过数据扩充来扩展数据空间。与此同时，人类听觉启发的前端也证明了自动语音识别器的改进。在这项工作中，一个经过验证的基于听觉的模型，它可以模拟各种听力能力，研究的目的是数据增强端到端的语音识别。通过将听觉模型引入到数据增强过程中，鼓励端到端系统忽略无法听到的信号的变化，从而专注于语音识别的鲁棒特征。听觉模型中的两种机制，频谱拖尾和响度招募，研究了LibriSpeech数据集与基于transformer的端到端模型。实验结果表明，本文提出的增强方法可以显著提高SpecAugment算法的性能。
2022-04-08 cs.SD eess.AS
Dual Application of Speech Enhancement for Automatic Speech Recognition
Facebook（脸书）
在这项工作中，我们利用语音增强来改善基于递归神经网络换能器（RNN-T）的ASR系统。我们采用了一个密集的卷积递归网络（DCRN）复杂的频谱映射为基础的语音增强，并发现它有助于ASR在两个方面：一个数据增强技术，和预处理前端。在使用它的ASR数据增强，我们利用KL分歧的一致性损失之间的原始和增强的话语的ASR输出计算。在使用语音增强作为一个有效的ASR前端，我们提出了一个三步训练计划的基础上模型预训练和特征选择。我们评估了我们提出的技术在一个具有挑战性的社交媒体英语视频数据集，并实现了11.2%的平均相对改善与语音增强为基础的数据增强，8.3%与增强为基础的预处理，和13.4%时，结合两者。
2020-11-07 cs.SD eess.AS
Fine-Tuning Automatic Speech Recognition for People with Parkinson's: An Effective Strategy for Enhancing Speech Technology Accessibility
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文针对帕金森病患者语音识别难题，提出在SAP数据集上微调ASR模型，并采用多任务学习联合估计损伤严重程度，使词错误率较LibriSpeech基线显著降低。
2024-09-29 cs.SD eess.AS
A Study of Multilingual End-to-End Speech Recognition for Kazakh, Russian, and English
Institute of Smart Systems and Artificial Intelligence (ISSAI), Nazarbayev University（纳扎尔巴耶夫大学智能系统与人工智能研究所（ISSAI））
我们研究训练一个单一的端到端（E2E）自动语音识别（ASR）模型，用于哈萨克斯坦使用的三种语言：哈萨克语，俄语和英语。我们首先描述了基于Transformer网络的多语言E2E ASR的开发，然后对上述语言进行了广泛的评估。我们还比较了两种变体的输出字素集建设：组合和独立。此外，我们评估的LMs和数据增强技术的多语言E2E ASR的识别性能的影响。此外，我们提出了几个数据集的训练和评估目的。实验结果表明，多语言模型实现了类似的性能与单语言基线具有相似的参数数量。我们最好的单语和多语言模型在组合测试集上的平均单词错误率分别为20.9%和20.5%。为了确保我们的实验和结果的可重复性，我们分享了我们的训练配方、数据集和预训练模型。
2021-08-03 cs.CL eess.AS
Zero Shot Text to Speech Augmentation for Automatic Speech Recognition on Low-Resource Accented Speech Corpora
Microsoft（微软公司）；Imperial College London（帝国理工学院）
针对低资源口音语音数据不足导致ASR性能下降的问题，提出零样本TTS增强口音语料的策略，可将词错误率最高降低14%，优于仅用真实口音数据训练的模型。
2024-09-17 cs.SD eess.AS
Speaker Reinforcement Using Target Source Extraction for Robust Automatic Speech Recognition
Toshiba Cambridge Research Laboratory（东芝剑桥研究实验室）
提高单通道自动语音识别（ASR）在噪声条件下的准确性是具有挑战性的。强大的语音增强前端是可用的，然而，它们通常需要重新训练ASR模型以应对处理伪影。在本文中，我们探讨了扬声器增强策略，提高识别性能，而无需重新训练的声学模型（AM）。这是通过将增强的信号与未处理的输入重新混合以减轻处理伪影来实现的。我们使用基于DNN说话人提取的语音去噪器来评估所提出的方法，该语音去噪器使用感知动机损失函数进行训练。结果表明，（没有AM再训练）我们的方法产生约23%和25%的相对精度增益相比，未经处理的单声道模拟和真实的CHiME-4评估集，分别，并优于一个国家的最先进的参考方法。
2022-05-09 cs.SD eess.AS
Intelligibility prediction with a pretrained noise-robust automatic speech recognition model
University of Sheffield（谢菲尔德大学）
本文基于预训练抗噪ASR模型提出侵入式和非侵入式两个语音可懂度预测系统，仅用模拟含噪语音预训练，在CPC2评测中展现了对未见场景的鲁棒预测性能。
2023-10-20 cs.SD eess.AS
Mask scalar prediction for improving robust automatic speech recognition
Google LLC（谷歌有限责任公司）
使用基于神经网络的声学前端来提高流式自动语音识别（ASR）系统的鲁棒性是具有挑战性的，因为前端处理在语音中引入的因果关系约束和所产生的失真。基于时频掩蔽的方法已被证明工作良好，但它们需要额外的超参数来缩放掩蔽以限制语音失真。这种掩码标量通常是手动调整和保守选择的。在这项工作中，我们提出了一种技术来预测掩码标量使用ASR为基础的损失在一个端到端的方式，在整体模型的大小和复杂性的增加最小。我们评估两个强大的ASR任务的方法：多通道增强语音和非语音噪声的存在下，和声学回声消除（AEC）。结果表明，所提出的算法一致地提高了字错误率（WER），而不需要在使用手动调整的超参数的强基线上进行任何额外的调整：在噪声条件下多通道增强高达16%，AEC高达7%。
2022-04-26 cs.SD eess.AS
Fast offline Transformer-based end-to-end automatic speech recognition for real-world applications
Electronics and Telecommunications Research Institute（电子通信研究院）
随着近年来技术的进步，自动语音识别（ASR）在实际应用中得到了广泛的应用。利用有限的资源将大量语音准确转换为文本的效率变得比以往任何时候都更加重要。本文提出了一种基于Transformer的端到端模型来快速识别大型语音库的方法。Transformers提高了许多领域的最先进性能。然而，它们不容易用于长序列。在本文中，提出并测试了各种技术，以加快现实世界的语音识别，包括解码通过多话语批量波束搜索，检测语音结束的基础上的连接主义时间分类（CTC），限制CTC前缀分数，和分裂成短段的长语音。实验进行了Librispeech英语和现实世界的韩国ASR任务，以验证所提出的方法。实验结果表明，该系统可以在3分钟内将8小时的会议发言转换为文本，字符错误率为10.73%，比传统系统低27.1%。
2021-09-11 cs.SD eess.AS
Whisper-AT: Noise-Robust Automatic Speech Recognizers are Also Strong General Audio Event Taggers
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本研究发现语音识别模型Whisper的音频表征与非语音声音高度相关，基于此冻结其主干并添加轻量标记头构建Whisper-AT，以极低额外成本实现单前向传播同时完成语音识别与通用音频事件标记。
2023-07-06 cs.SD eess.AS
Using Songs to Improve Kazakh Automatic Speech Recognition
Independent Researcher Astana, Kazakhstan
本研究通过利用歌曲数据提升哈萨克语自动语音识别性能，展示了歌曲-语音混合在低资源ASR中的有效应用。
2026-03-07 eess.AS
KazEmoTTS: A Dataset for Kazakh Emotional Text-to-Speech Synthesis
本文构建了包含54,760个音频-文本对、覆盖六种情感的哈萨克语情感TTS数据集KazEmoTTS，并训练TTS模型，通过客观与主观评估验证了合成语音质量。
2024-04-09 eess.AS
Sentiment-Aware Automatic Speech Recognition pre-training for enhanced Speech Emotion Recognition
Amazon（亚马逊公司）
提出了一种新的语音情感识别多任务预训练方法。我们在自动语音识别（ASR）和情感分类任务上同时预训练SER模型，以使声学ASR模型更具"情感意识“。我们使用在公开数据上训练的文本到情感模型来生成情感分类的目标。最后，我们对情感注释语音数据的声学ASR进行微调。我们在MSP播客数据集上评估了所提出的方法，在那里我们实现了最好的一致性相关系数（CCC）为0.41的效价预测。
2022-01-27 cs.CL cs.SD eess.AS
FASA: a Flexible and Automatic Speech Aligner for Extracting High-quality Aligned Children Speech Data
SUNY Buffalo（纽约州立大学布法罗分校）
针对儿童语音ASR缺乏高质量对齐数据的问题，提出灵活自动语音对齐工具FASA，从含噪数据中提取高质量对齐儿童语音，在CHILDES数据集上数据质量比人工标注提升13.6倍。
2024-06-25 cs.CL cs.SD eess.AS
Thank you for Attention: A survey on Attention-based Artificial Neural Networks for Automatic Speech Recognition
Federation University Australia（澳大利亚联邦大学）
在基于人工神经网络的序列到序列模型中，注意力是一种非常流行和有效的机制。在这篇调查论文中，提供了一个全面的审查不同的注意力模型用于开发自动语音识别系统。本文重点介绍了在基于递归神经网络和Transformer的架构中离线和流式语音识别的注意力模型的发展和演变。
2021-02-14 cs.CL cs.SD eess.AS
Bengali Common Voice Speech Dataset for Automatic Speech Recognition
Michigan State University（密歇根州立大学）；RPI（伦斯勒理工学院）；Vanderbilt University（范德堡大学）；Rice University（莱斯大学）
孟加拉语是世界上使用最多的语言之一，全球有超过3亿人使用。尽管孟加拉语语音识别系统很受欢迎，但由于缺乏多样化的开源数据集，对孟加拉语语音识别系统开发的研究受到了阻碍。作为前进的方向，我们已经众包了孟加拉语通用语音语音数据集，这是一个高级自动语音识别语料库。该数据集在Mozilla Common Voice平台上收集，是正在进行的活动的一部分，该活动在两个月内收集了超过400小时的数据，并且正在迅速增长。我们的分析表明，与现有最大的开源孟加拉语语音数据集OpenSLR孟加拉语ASR数据集相比，该数据集具有更多的扬声器，音素和环境多样性。我们提出了从数据集中获得的见解，并讨论了需要在未来版本中解决的关键语言挑战。此外，我们报告了一些自动语音识别（ASR）算法的当前性能，并为未来的研究设定了基准。
2022-06-29 cs.CL cs.SD eess.AS
Unsupervised Automatic Speech Recognition: A Review
UAE University（阿联酋大学）；National University of Science & Technology（国家科学技术大学）
自动语音识别（ASR）系统可以被训练以在给定大量手动转录的语音的情况下实现显著的性能，但是对于所有感兴趣的语言而言，获取大的标记数据集可能是困难的或昂贵的。在本文中，我们回顾了研究文献，以确定可能导致完全无监督ASR的模型和想法，包括语音信号的无监督分割，从语音段到文本的无监督映射，以及具有标称数量的标记示例的半监督模型。这项研究的目的是确定什么可以从语音数据单独学习的局限性，并了解语音识别的最低要求。识别这些限制将有助于优化低资源语言的ASR开发资源和工作。
2022-03-20 cs.CL cs.SD eess.AS
The Makerere Radio Speech Corpus: A Luganda Radio Corpus for Automatic Speech Recognition
Makerere University（马凯雷雷大学）；Ronin Institute（罗宁研究所）；Coqui
建立一个可用的无线电监测自动语音识别（ASR）系统是一项具有挑战性的任务，资源不足的语言，但这是至关重要的社会，无线电是主要媒体的公共沟通和讨论。联合国在乌干达的初步努力证明，了解被排除在社交媒体之外的农村人的看法对国家规划非常重要。然而，这些努力受到缺乏转录语音数据集的挑战。在本文中，Makerere人工智能研究实验室发布了155小时的卢甘达电台语音语料库。据我们所知，这是撒哈拉以南非洲第一个公开的无线电数据集。本文介绍了语音语料库的发展，并提出了基线Luganda ASR的性能结果使用Coqui STT工具包，一个开源的语音识别工具包。
2022-06-20 cs.CL cs.SD eess.AS
Feasibility of Using Automatic Speech Recognition with Voices of Deaf and Hard-of-Hearing Individuals
Rochester Institute of Technology（罗切斯特理工学院）
许多个人设备已经从视觉控制界面过渡到语音控制界面，以降低设备成本和交互摩擦。语音控制界面的能力不断提高，加速了这种转变，例如，亚马逊Echo或苹果Siri其后果是，失聪或听力困难（DHH）的人可能无法使用这些语音控制设备。我们发现，聋人语音有一个高的出错率相比，听力语音，在商业语音控制接口。聋人的语言有大约78%的词出错率（WER）相比，听力语言18%的WER。我们的研究结果表明，目前的语音控制接口是不可用的聋人和重听人。因此，寻求其他方法让聋人向计算机传递自然命令可能是明智的。
2019-09-03 cs.HC cs.SD eess.AS
BART based semantic correction for Mandarin automatic speech recognition system
Cloudwalk Technology（云从科技）
虽然自动语音识别（ASR）系统近年来取得了显著的进步，但是口语识别错误仍然存在，并且很容易被人类发现。各种语言建模技术已经开发出后识别任务，如语义校正。在本文中，我们提出了一种基于Transformer的语义校正方法与预训练的BART初始化，在10000小时的汉语语音数据集上的实验表明，字符出错率（CER）可以有效地减少21.7%，相对于我们的基线ASR系统。专家评估表明，我们的模型的实际改善超过CER表明。
2021-03-26 cs.CL cs.SD eess.AS
Exploiting Nontrivial Connectivity for Automatic Speech Recognition
Corti, Copenhagen, Denmark（Corti，丹麦哥本哈根）；Technical University of Denmark（丹麦技术大学）
非平凡连通性通过解决梯度消失的问题和提供更有效的参数重用方法，允许训练非常深的网络。在本文中，我们做了比较残差网络，密集连接网络和公路网络的图像分类任务。接下来，我们表明，这些方法可以很容易地部署到自动语音识别，并提供显着的改进现有的模型。
2017-11-28 cs.SD eess.AS stat.ML
Large Vocabulary Spontaneous Speech Recognition for Tigrigna
Adama Science and Technology University（阿达玛科技大学）；Addis Ababa University（亚的斯亚贝巴大学）
该论文旨在为提格里尼亚语开发说话人无关的自发语音识别系统，使用Sphinx工具构建声学模型，并用SRIM工具构建语言模型。
2023-10-15 cs.LG cs.SD eess.AS
Speech Recognition-based Feature Extraction for Enhanced Automatic Severity Classification in Dysarthric Speech
Sogang University（西江大学）
针对构音障碍严重程度评估中ML特征覆盖不足的问题，提出利用微调ASR转写提取词段边界及发音、韵律特征，将平衡准确率提升至83.72%。
2024-12-05 cs.AI cs.SD eess.AS
Disappeared Command: Spoofing Attack On Automatic Speech Recognition Systems with Sound Masking
Tencent（腾讯）
深度学习技术的发展极大地促进了自动语音识别（ASR）技术的性能提升，在许多任务中已经展现出与人类听觉相当的能力。语音接口正变得越来越广泛地用作许多应用程序和智能设备的输入。然而，已有研究表明，DNN很容易受到轻微干扰的干扰而做出错误识别，这对于语音控制的智能语音应用来说是极其危险的。
2022-06-08 cs.AI cs.SD eess.AS
Enhancing Indonesian Automatic Speech Recognition: Evaluating Multilingual Models with Diverse Speech Variabilities
Institut Teknologi Bandung（万隆理工学院）；University of Indonesia（印度尼西亚大学）；Japan Advanced Institute of Science and Technology（日本先进科学技术学院）；Nara Institute of Science and Technology（奈良科学技术大学）
本研究评估了MMS和Whisper等多语言模型在多样语音变异性下的印尼语ASR能力，发现微调的Whisper模型表现最佳，且说话风格变异性对模型性能影响最大。
2024-10-14 cs.CL cs.SD eess.AS
Pitch Accent Detection improves Pretrained Automatic Speech Recognition
IT University of Copenhagen（丹麦技术大学）；AppleDenmark（苹果丹麦）
本文提出联合ASR与音高重音检测模型，音高重音检测F1差距缩小41%，ASR在LibriSpeech上WER降低28.3%，凸显预训练模型保留韵律线索的重要性。
2025-08-06 cs.CL cs.SD eess.AS
Homophone-based Label Smoothing in End-to-End Automatic Speech Recognition
UBTECH Robotics Inc（优必选机器人公司）
提出了一种新的标签平滑方法，该方法利用人类语言水平上的先验知识--同音字，用于自动语音识别（ASR）。与前人相比，该方法以更复杂的方式利用了同音字的发音知识。联合学习声学模型和语言模型的端到端ASR模型以及对字符单元的建模是该方法的必要条件。在混合CTC序列到序列模型上的实验表明，该方法可以将字符错误率（CER）绝对降低0.4%。
2020-05-14 cs.CL cs.SD eess.AS
Robustness of end-to-end Automatic Speech Recognition Models -- A Case Study using Mozilla DeepSpeech
University of Duisburg-Essen（杜伊斯堡-埃森大学）
在评估自动语音识别模型的性能时，通常使用特定数据集内的单词出错率。在理解数据集时必须特别小心，以便报告真实的性能数字。我们认为，许多性能数据报告可能低估了预期的出错率。我们进行实验，控制选择偏差，性别以及重叠（训练和测试数据之间）的内容，声音和录音条件。我们发现，内容重叠的影响最大，但其他因素，如性别也发挥了作用。
2021-05-08 cs.CL cs.SD eess.AS
Anchoring Speech with Semantics: A Multimodal Adapter Mechanism for Automatic Speech Recognition in Low-Resource Languages
National Taiwan Normal University（台湾师范大学）；EZAI；Academia Sinica（中央研究院）
针对低资源语言ASR的监督证据不足问题，提出轻量级多模态适配器机制SAMA-ASR，结合语义与声学锚，在台湾闽南语和客家话数据集上优于多种基线，且紧凑ST模型可生成有效语义锚。
2026-09-01 cs.CL cs.SD eess.AS
Bringing NURC/SP to Digital Life: the Role of Open-source Automatic Speech Recognition Models
Federal University of Goiás（戈亚斯联邦大学）；São Paulo State University（圣保罗州立大学）；University of São Paulo（圣保罗大学）
1969年开始的巴西语文化中心项目研究巴西五个首都的文化语言城市规范，负责为每个首都编制一个大型语料库。数字化的CNAS/SP包括在圣保罗首都进行的334小时录音中的375项查询。虽然47项调查有录音记录，但录音记录之间没有一致性，328项调查没有录音记录。本文提出了一个评估和错误分析的三个自动语音识别模型与葡萄牙语的自发语音训练和一个模型与准备的语音训练。评估使我们能够选择最佳模型，使用WER和CER指标，在手动对齐的CNOC/SP样本中，自动转录284小时。
2022-10-14 cs.CL cs.SD eess.AS
Analysis of Deep Clustering as Preprocessing for Automatic Speech Recognition of Sparsely Overlapping Speech
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
当音频信号包含串扰时，自动语音识别（ASR）系统的性能显著下降。最近提出的解决多说话者ASR问题的方法之一是深度聚类（DPCL）方法。将DPCL与最先进的混合声学模型相结合，我们在常用的wsj 0 - 2 mix数据集上获得了16.5%的单词出错率（WER），这是迄今为止据我们所知的最佳性能。wsj 0 - 2 mix数据集包含模拟的串扰，其中多个说话者的语音几乎在整个话语中重叠。在更现实的ASR场景中，音频信号包含单说话者语音的显著部分，并且仅信号的一部分包含多个竞争说话者的语音。本文研究了在这种情况下，稀疏重叠的语音应用DPCL作为预处理方法的ASR的障碍。为此，我们提出了一种数据模拟方法，密切相关的wsj 0 - 2 mix数据集，生成稀疏重叠的语音数据集的任意重叠率。将DPCL应用于稀疏重叠语音的分析是完全重叠数据集（如wsj 0 - 2 mix）和更真实的ASR数据集（如CHiME-5或AMI）之间的重要中间步骤。
2019-09-25 cs.CL cs.SD eess.AS
Improving Semi-supervised End-to-end Automatic Speech Recognition using CycleGAN and Inter-domain Losses
University of Stuttgart（斯图加特大学）
我们提出了一种新的方法，结合CycleGAN和域间损失的半监督端到端自动语音识别。域间丢失的目标是使用共享网络提取语音和文本输入的中间共享表示。CycleGAN使用循环一致性损失和身份映射损失来保留从一个域转换到另一个域后输入特征的相关特征。因此，这两种方法都适合于在不成对的语音-文本输入上训练端到端模型。在本文中，我们利用域间损失和CycleGAN的优势来实现未配对语音和文本输入的更好共享表示，从而改进语音到文本的映射。我们在WSJ eval 92和Voxforge（非英语）上的实验结果显示，字符出错率比基线降低了8~8.5%，在LibriSpeech test_clean上的结果也显示出明显的改善。
2022-10-20 cs.CL cs.SD eess.AS
Serialized Speech Information Guidance with Overlapped Encoding Separation for Multi-Speaker Automatic Speech Recognition
Kyoto University（京都大学）
针对多说话人ASR中SOT仅用注意力损失训练难的问题，提出EncSep和GEncSep方法，借助CTC与注意力混合损失分离重叠编码并引导解码注意力，在LibriMix上验证了性能提升。
2024-09-11 cs.AI cs.SD eess.AS
SMILE: Speech Meta In-Context Learning for Low-Resource Language Automatic Speech Recognition
Electrical Engineering Department National Taiwan University Taipei, Taiwan（电子工程系 国立台湾大学 台北 台湾）
针对低资源语言ASR数据不足、现有适配策略存在缺陷的问题，提出融合元学习与语音上下文学习的SMILE框架，通过高资源语言元训练实现低资源语言少样本泛化，在ML-SUPERB基准上性能优于基线。
2025-06-14 cs.CL cs.SD eess.AS
Benchmarking Evaluation Metrics for Code-Switching Automatic Speech Recognition
New York University Abu Dhabi（纽约大学阿布扎比分校）；University of Stuttgart（斯图加特大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Stanford University（斯坦福大学）；Qatar Computing Research Institute（卡塔尔计算研究所）；Microsoft Research India（微软印度研究院）
语码转换为多语种自动语音识别带来了许多挑战和机遇。在本文中，我们专注于鲁棒性和公平的评价指标的问题。为此，我们开发了一个参考基准数据集的代码切换语音识别假设与人类的判断。我们为自动假设的最小编辑定义了明确的指导方针。我们使用4路注释器间协议来验证指南。我们评估了大量的指标与人类判断的相关性。我们考虑的指标在表示（正字法，语音，语义），直接性（内在与外在），粒度（例如单词，字符）和相似性计算方法方面有所不同。与人类判断的最高相关性是使用音译，然后是文本规范化。我们发布了第一个语料库的人类接受的代码切换语音识别结果在方言阿拉伯语/英语对话语音。
2022-11-22 cs.CL cs.SD eess.AS
AS-70: A Mandarin stuttered speech dataset for automatic speech recognition and stuttering event detection
StammerTalk；AIShell Inc（AIShell公司）；AImpower；Nankai University（南开大学）；University of Science and Technology of China（中国科学技术大学）；Duke Kunshan University（昆山杜克大学）
本文构建首个公开且规模最大的普通话口吃语音数据集 AS-70，覆盖对话与命令朗读并提供逐字转写，通过基线实验和微调显著提升 Whisper、Hubert 等模型的口吃 ASR 与 SED 能力。
2024-06-11 cs.AI cs.SD eess.AS
Automatic Documentation of ICD Codes with Far-Field Speech Recognition
Stanford University（斯坦福大学）；Rush University Medical Center（拉什大学医学中心）
文件错误增加了医疗保健成本，并导致不必要的患者死亡。作为诊断和计费的标准语言，ICD代码是全球医疗文档的基础。尽管电子医疗记录的普及，医院仍然见证了高水平的ICD错误编码。在本文中，我们提出了自动文档ICD代码与远场语音识别。远场语音发生在麦克风位于距离源几米处时，这在灵巧家庭和安全系统中很常见。我们的方法结合了声学信号处理和递归神经网络识别和ICD代码的实时的。为了评估我们的模型，我们收集了ICD-10代码的远场语音数据集，发现我们的模型达到了87%的准确率，BLEU评分为85%。通过从无监督的医学语言模型中采样，我们的方法能够优于现有的方法。总的来说，这项工作显示了自动语音识别的潜力，以提供高效，准确和具有成本效益的医疗保健文件。
2018-11-27 cs.CL cs.SD eess.AS
HuBERT-VIC: Improving Noise-Robust Automatic Speech Recognition of Speech Foundation Model via Variance-Invariance-Covariance Regularization
School of Electrical Engineering（电气工程学院）
本文提出HuBERT-VIC，通过VICReg正则化调整含噪语音表示统计特性，提升语音基础模型抗噪鲁棒性，在LibriSpeech两个测试集上分别相对提升23.3%和13.2%。
2025-08-17 cs.AI cs.SD eess.AS
Dual-decoder Transformer for Joint Automatic Speech Recognition and Multilingual Speech Translation
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Facebook AI（Facebook人工智能研究院）
我们介绍了双解码器Transformer，一个新的模型架构，共同执行自动语音识别（ASR）和多语言语音翻译（ST）。我们的模型基于原始的Transformer架构（Vaswani等人，2017），但由两个解码器组成，每个解码器负责一个任务（ASR或ST）。我们的主要贡献在于这些解码器是如何相互作用的：一个解码器可以通过双重注意力机制来关注不同的信息源。我们提出了两个变种，这些架构对应于两个不同级别的解码器之间的依赖关系，称为并行和交叉双解码器Transformers，分别。在MuST-C数据集上进行的大量实验表明，我们的模型在多语言环境中的翻译性能优于先前报道的最高翻译性能，并且优于双语一对一的结果。此外，我们的并行模型表明没有权衡ASR和ST相比，香草多任务架构。我们的代码和预培训模型可在https://github.com/formiel/speech-translation上获得。
2020-11-02 cs.CL cs.SD eess.AS
MoLE : Mixture of Language Experts for Multi-Lingual Automatic Speech Recognition
NAVER Cloud（NAVER 云）
多语言语音识别的目标是区分不同语言的语言表达，同时集成声学处理。相比之下，当前的多语言语音识别研究遵循语言感知范式，主要针对提高识别性能而不是区分语言特征。在本文中，我们提出了一个多语言语音识别网络命名为混合的语音识别专家（MoLE），它在各种语言的语音识别。具体来说，MoLE从任意语言的输入语音中分析语言表达，使用轻量级语言标记器激活特定语言的专家。标记器不仅激活专家，而且还估计激活的可靠性。基于可靠性，激活的专家和语言不可知的专家聚集来表示语言条件的嵌入，用于高效的语音识别。我们提出的模型在5种语言的情况下进行评估，实验结果表明，我们的结构是有利的多语言识别，特别是在低资源语言的语音。
2023-02-27 cs.CL cs.SD eess.AS
Automatic Speech Recognition (ASR) for the Diagnosis of pronunciation of Speech Sound Disorders in Korean children
Korea University（高丽大学）；MediaZen；The Catholic University of Korea（韩国天主教大学）；Dankook University（檀国大学）
本研究微调wav2vec 2.0 XLS-R模型识别儿童实际发音，用于诊断韩语语音障碍，准确率约90%，可简化临床发音错误诊断流程。
2024-03-13 cs.CL cs.SD eess.AS
Aggression in Hindi and English Speech: Acoustic Correlates and Automatic Identification
Dr. Bhimrao Ambedkar University（宾希姆拉奥·安贝德卡尔博士大学）；Jawaharlal Nehru University（贾瓦哈拉尔·尼赫鲁大学）；Indian Institute of Technology（印度理工学院）；Tezpur University（特兹普尔大学）
在本论文中，我们将提出的结果，声学分析的政治话语在印地语和讨论一些常规的声学特征的侵略性讲话经常采用的印地语和英语的发言者。该研究基于10个多小时的政治话语语料库，包括新闻频道和政治演讲的辩论。利用这项研究，我们开发了两个自动分类系统，用于识别侵略英语和印地语语音，完全基于声学模型。使用50小时的注释语音训练的印地语分类器和使用40小时的注释语音训练的英语分类器分别达到了超过73%和66%的准确率。在本文中，我们讨论了这个带注释的数据集的发展，实验开发的分类器，并讨论了错误，它使。
2022-04-06 cs.CL cs.SD eess.AS
