Enhancing Automatic Speech Recognition Through Integrated Noise Detection Architecture
Independent Researcher（独立研究者）
通过集成噪声检测架构提升语音识别的准确性和噪声辨别能力
2025-12-02 cs.AI cs.LG cs.SD
On-Device Personalization of Automatic Speech Recognition Models for Disordered Speech
Google（谷歌）
虽然当前最先进的自动语音识别（ASR）系统在典型语音上实现了高准确度，但是它们在无序语音和其他非典型语音模式上遭受显著的性能降级。ASR模型的个性化（对该问题的常用解决方案）通常在基于服务器的训练环境中执行，从而引起关于数据隐私、延迟的模型更新时间以及用于在移动终端和服务器基础设施之间复制数据和模型的通信成本的问题。在本文中，我们提出了一种基于设备的ASR个性化的方法，具有非常少量的特定于说话者的数据。我们测试了我们的方法在一组不同的100位发言者与无序的讲话，并发现中位数相对字错误率提高了71%，只有50个短的话语，每个发言者。当在语音控制的家庭自动化平台上进行测试时，设备上的个性化模型显示出81%的任务成功率中位数，而未经调整的模型只有40%。
2021-06-18 cs.CL cs.LG cs.SD
Sentiment-Aware Automatic Speech Recognition pre-training for enhanced Speech Emotion Recognition
Amazon（亚马逊公司）
提出了一种新的语音情感识别多任务预训练方法。我们在自动语音识别（ASR）和情感分类任务上同时预训练SER模型，以使声学ASR模型更具"情感意识“。我们使用在公开数据上训练的文本到情感模型来生成情感分类的目标。最后，我们对情感注释语音数据的声学ASR进行微调。我们在MSP播客数据集上评估了所提出的方法，在那里我们实现了最好的一致性相关系数（CCC）为0.41的效价预测。
2022-01-27 cs.CL cs.SD eess.AS
Damage Control During Domain Adaptation for Transducer Based Automatic Speech Recognition
NVIDIA（英伟达）
自动语音识别模型经常被修改以提高它们在新领域中的准确性。模型适应新域的潜在缺点是灾难性遗忘，其中原始域上的字出错率显著降低。本文讨论的情况下，我们要同时适应自动语音识别模型到一个新的域，并限制在原始域的准确性下降，而无需访问原始的训练数据集。我们提出了几种技术，例如有限的训练策略和用于传感器编码器，预测和连接器网络的正则化适配器模块。我们将这些方法应用于谷歌语音命令和英国和爱尔兰英语方言语音数据集，并在新的目标域上获得了强有力的结果，同时限制了原始域的退化。
2022-10-06 cs.CL cs.LG cs.SD
BayesSpeech: A Bayesian Transformer Network for Automatic Speech Recognition
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
使用端到端深度学习模型的最新发展已被证明在自动语音识别任务上具有接近或优于最先进的递归神经网络（RNN）的性能。这些模型往往比传统的基于RNN的方法更轻，需要更少的训练时间。然而，这些模型采用频率主义方法进行重量训练。从理论上讲，网络权重是从一个潜在的、难以处理的概率分布中提取的。我们介绍贝叶斯语音的端到端自动语音识别。BayesSpeech是一个贝叶斯Transformer网络，其中这些棘手的后验是通过变分推理和局部重新参数化技巧学习的，而无需递归。我们展示了如何在权重中引入方差，从而在LibriSpeech-960上实现更快的训练时间和接近最先进的性能。
2023-01-16 cs.CL cs.LG cs.SD
SimClass: A Classroom Speech Dataset Generated via Game Engine Simulation For Automatic Speech Recognition Research
College of Education（教育学院）
针对课堂语音与噪声数据稀缺问题，本文提出基于游戏引擎合成课堂噪声的可扩展方法，并构建 SimClass 数据集，实验表明其可有效近似真实课堂语音。
2025-06-10 cs.AI cs.CL cs.SD
Debiased Automatic Speech Recognition for Dysarthric Speech via Sample Reweighting with Sample Affinity Test
Institute of Information & communications Technology Planning & Evaluation (IITP)（信息与通信技术规划与评估机构）
本文提出Re-SAT方法，通过评估样本的去偏有效性来减轻语音识别系统在口吃语音上的偏差，提升系统对口吃语音的鲁棒性。
2023-06-27 cs.CL cs.LG cs.SD
Careful Whisper -- leveraging advances in automatic speech recognition for robust and interpretable aphasia subtype classification
nyra health GmbH（nyra健康有限公司）
本文提出一种结合CTC和编码器-解码器自动语音识别模型及自然语言处理技术的全自动化流程，通过提取语音特征生成健康语音原型，实现了区分失语症与健康对照组的人类水平准确率及90%的亚型分类准确率。
2023-08-02 cs.CL cs.LG cs.SD
FASA: a Flexible and Automatic Speech Aligner for Extracting High-quality Aligned Children Speech Data
SUNY Buffalo（纽约州立大学布法罗分校）
针对儿童语音ASR缺乏高质量对齐数据的问题，提出灵活自动语音对齐工具FASA，从含噪数据中提取高质量对齐儿童语音，在CHILDES数据集上数据质量比人工标注提升13.6倍。
2024-06-25 cs.CL cs.SD eess.AS
Directed Speech Separation for Automatic Speech Recognition of Long Form Conversational Speech
Amazon AWS AI（亚马逊AWS人工智能）
语音分离的许多最新进展主要针对具有高度重叠的短音频话语的合成混合。这些方法中的大多数需要额外的拼接步骤来拼接分离的语音块以获得长格式音频。由于大多数方法涉及排列不变训练（PIT），因此分离的语音块的顺序是不确定的，并且导致难以准确地拼接同质说话者块用于下游任务，如自动语音识别（ASR）。此外，大多数这些模型都是用合成混合物训练的，不能推广到真实的会话数据。在本文中，我们提出了一个扬声器条件分离器训练的扬声器嵌入直接从混合信号中提取使用过聚类为基础的方法。该模型自然地调节分离的块的顺序，而不需要额外的拼接步骤。我们还介绍了一个数据采样策略，真正的和合成的混合物，以及推广到真正的对话语音。有了这个模型和数据采样技术，我们在Hub 5数据上显示了说话者归因的单词错误率（SA-WER）的显着改善。
2022-09-06 cs.CL cs.LG cs.SD
On the Problem of Text-To-Speech Model Selection for Synthetic Data Generation in Automatic Speech Recognition
Japan Advanced Institute of Science and Technology（日本先进科学技术学院）；RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）；Nara Institute of Science and Technology（奈良科学技术学院）
本文比较五种TTS解码器架构在合成数据生成中对CTC语音识别的影响，发现自回归解码优于非自回归解码，并提出量化TTS泛化能力的方法。
2024-07-31 cs.CL cs.LG cs.SD
Automatic Severity Classification of Dysarthric speech by using Self-supervised Model with Multi-task Learning
Seoul National University（首尔国立大学）；Sogang University（西江大学）
针对构音障碍语音评估的数据稀缺问题，提出结合Wav2vec 2.0 XLS-R自监督模型与多任务学习的严重程度分类方法，在QoLT数据库上取得优于基线的效果，并分析了多任务学习的作用机制。
2023-04-28 cs.AI cs.CL cs.SD
SkinAugment: Auto-Encoding Speaker Conversions for Automatic Speech Translation
Johns Hopkins University（约翰斯·霍普金斯大学）；Facebook（脸书）
我们提出了自动编码说话人转换的训练数据增强自动语音翻译。这种技术直接转换音频序列，导致音频合成为类似于另一个说话者的声音。我们的方法相比毫不逊色SpecAugment英语$\to$法语和英语$\to$罗马尼亚语自动语音翻译（AST）的任务，以及低资源英语自动语音识别（ASR）的任务。此外，在消融中，我们展示了增强数据的数量和多样性的好处。最后，我们表明，我们可以结合我们的方法与增强机器翻译的成绩单，以获得一个有竞争力的端到端AST模型，优于一个非常强大的级联模型上的英语$\to$法国AST任务。我们的方法是足够的一般，它可以应用到其他语音生成和分析任务。
2020-02-27 cs.CL cs.SD eess.AS
Thank you for Attention: A survey on Attention-based Artificial Neural Networks for Automatic Speech Recognition
Federation University Australia（澳大利亚联邦大学）
在基于人工神经网络的序列到序列模型中，注意力是一种非常流行和有效的机制。在这篇调查论文中，提供了一个全面的审查不同的注意力模型用于开发自动语音识别系统。本文重点介绍了在基于递归神经网络和Transformer的架构中离线和流式语音识别的注意力模型的发展和演变。
2021-02-14 cs.CL cs.SD eess.AS
Bengali Common Voice Speech Dataset for Automatic Speech Recognition
Michigan State University（密歇根州立大学）；RPI（伦斯勒理工学院）；Vanderbilt University（范德堡大学）；Rice University（莱斯大学）
孟加拉语是世界上使用最多的语言之一，全球有超过3亿人使用。尽管孟加拉语语音识别系统很受欢迎，但由于缺乏多样化的开源数据集，对孟加拉语语音识别系统开发的研究受到了阻碍。作为前进的方向，我们已经众包了孟加拉语通用语音语音数据集，这是一个高级自动语音识别语料库。该数据集在Mozilla Common Voice平台上收集，是正在进行的活动的一部分，该活动在两个月内收集了超过400小时的数据，并且正在迅速增长。我们的分析表明，与现有最大的开源孟加拉语语音数据集OpenSLR孟加拉语ASR数据集相比，该数据集具有更多的扬声器，音素和环境多样性。我们提出了从数据集中获得的见解，并讨论了需要在未来版本中解决的关键语言挑战。此外，我们报告了一些自动语音识别（ASR）算法的当前性能，并为未来的研究设定了基准。
2022-06-29 cs.CL cs.SD eess.AS
A Transfer Learning Method for Speech Emotion Recognition from Automatic Speech Recognition
Columbia University（哥伦比亚大学）；Recognition Technologies, Inc.（识别技术公司）
提出了一种基于时延神经网络（TDNN）结构的语音情感识别迁移学习方法。当前基于语音的情感检测研究的一个主要挑战是数据稀缺。所提出的方法解决了这个问题，通过应用迁移学习技术，以利用数据的自动语音识别（ASR）任务，其中有足够的数据。我们的实验还显示了扬声器类自适应建模技术的优势，通过采用基于身份向量（i向量）的功能，除了标准的梅尔频率倒谱系数（MFCC）功能。[1]我们证明了迁移学习模型在没有对ASR进行预训练的情况下显着优于其他方法。实验在公开的IEMOCAP数据集上进行，该数据集提供了12小时的运动语音数据。迁移学习是通过使用Ted-Lium v.2语音数据集进行初始化的，该语音数据集提供了207小时的音频和相应的转录本。与最先进的技术相比，我们使用五重交叉验证实现了最高的显著更高的准确性。仅使用语音，我们获得了71.7%的准确率为愤怒，兴奋，悲伤和中性情绪内容。
2020-08-15 cs.HC cs.LG cs.SD
Unsupervised Automatic Speech Recognition: A Review
UAE University（阿联酋大学）；National University of Science & Technology（国家科学技术大学）
自动语音识别（ASR）系统可以被训练以在给定大量手动转录的语音的情况下实现显著的性能，但是对于所有感兴趣的语言而言，获取大的标记数据集可能是困难的或昂贵的。在本文中，我们回顾了研究文献，以确定可能导致完全无监督ASR的模型和想法，包括语音信号的无监督分割，从语音段到文本的无监督映射，以及具有标称数量的标记示例的半监督模型。这项研究的目的是确定什么可以从语音数据单独学习的局限性，并了解语音识别的最低要求。识别这些限制将有助于优化低资源语言的ASR开发资源和工作。
2022-03-20 cs.CL cs.SD eess.AS
Recent Advances in End-to-End Automatic Speech Recognition
Microsoft（微软公司）
最近，语音社区正在看到从基于深度神经网络的混合建模向用于自动语音识别（ASR）的端到端（E2E）建模的显著趋势。虽然E2E模型在ASR准确性方面在大多数基准中实现了最先进的结果，但目前仍有很大比例的商用ASR系统使用混合模型。有许多实际因素影响生产模式部署决策。传统的混合模型，几十年来一直在优化生产，通常擅长这些因素。如果不能针对所有这些因素提供出色的解决方案，E2E模式很难广泛商业化。在本文中，我们将概述E2E模型的最新进展，重点关注从行业角度应对这些挑战的技术。
2022-02-02 cs.AI cs.CL cs.SD
The Makerere Radio Speech Corpus: A Luganda Radio Corpus for Automatic Speech Recognition
Makerere University（马凯雷雷大学）；Ronin Institute（罗宁研究所）；Coqui
建立一个可用的无线电监测自动语音识别（ASR）系统是一项具有挑战性的任务，资源不足的语言，但这是至关重要的社会，无线电是主要媒体的公共沟通和讨论。联合国在乌干达的初步努力证明，了解被排除在社交媒体之外的农村人的看法对国家规划非常重要。然而，这些努力受到缺乏转录语音数据集的挑战。在本文中，Makerere人工智能研究实验室发布了155小时的卢甘达电台语音语料库。据我们所知，这是撒哈拉以南非洲第一个公开的无线电数据集。本文介绍了语音语料库的发展，并提出了基线Luganda ASR的性能结果使用Coqui STT工具包，一个开源的语音识别工具包。
2022-06-20 cs.CL cs.SD eess.AS
Feasibility of Using Automatic Speech Recognition with Voices of Deaf and Hard-of-Hearing Individuals
Rochester Institute of Technology（罗切斯特理工学院）
许多个人设备已经从视觉控制界面过渡到语音控制界面，以降低设备成本和交互摩擦。语音控制界面的能力不断提高，加速了这种转变，例如，亚马逊Echo或苹果Siri其后果是，失聪或听力困难（DHH）的人可能无法使用这些语音控制设备。我们发现，聋人语音有一个高的出错率相比，听力语音，在商业语音控制接口。聋人的语言有大约78%的词出错率（WER）相比，听力语言18%的WER。我们的研究结果表明，目前的语音控制接口是不可用的聋人和重听人。因此，寻求其他方法让聋人向计算机传递自然命令可能是明智的。
2019-09-03 cs.HC cs.SD eess.AS
Codec-ASR: Training Performant Automatic Speech Recognition Systems with Discrete Speech Representations
NVIDIA Corporation（英伟达公司）
本文全面分析了基于离散码的ASR系统构建方法，提出了一种在相似比特率下优于Encodec且在ML-SUPERB基准上超越自监督模型的Codec-ASR流水线。
2024-07-03 cs.CL cs.LG eess.AS
BART based semantic correction for Mandarin automatic speech recognition system
Cloudwalk Technology（云从科技）
虽然自动语音识别（ASR）系统近年来取得了显著的进步，但是口语识别错误仍然存在，并且很容易被人类发现。各种语言建模技术已经开发出后识别任务，如语义校正。在本文中，我们提出了一种基于Transformer的语义校正方法与预训练的BART初始化，在10000小时的汉语语音数据集上的实验表明，字符出错率（CER）可以有效地减少21.7%，相对于我们的基线ASR系统。专家评估表明，我们的模型的实际改善超过CER表明。
2021-03-26 cs.CL cs.SD eess.AS
The RoyalFlush Automatic Speech Diarization and Recognition System for In-Car Multi-Channel Automatic Speech Recognition Challenge
Hithink RoyalFlush AI Research Institute（日立金科AI研究院）
本文提出 RoyalFlush 车载多通道 ASR 挑战赛系统，结合端到端说话人日志分离与自监督表示的 ASR 模型，显著降低 DER，并在两条赛道取得优异 CER 与 cpCER。
2024-05-09 cs.SD eess.AS
Augmenting Polish Automatic Speech Recognition System With Synthetic Data
Samsung R&D Institute Poland（三星波兰研发研究院）；Samsung AI Center Warsaw（三星华沙人工智能中心）
针对Poleval 2024波兰语自动语音识别挑战赛，研究提出基于Voicebox的语音合成流水线，用合成数据增强Conformer和Whisper模型，证实该方法可显著提升识别效果并给出竞赛最终成绩。
2024-10-30 cs.SD eess.AS
Large Vocabulary Spontaneous Speech Recognition for Tigrigna
Adama Science and Technology University（阿达玛科技大学）；Addis Ababa University（亚的斯亚贝巴大学）
该论文旨在为提格里尼亚语开发说话人无关的自发语音识别系统，使用Sphinx工具构建声学模型，并用SRIM工具构建语言模型。
2023-10-15 cs.LG cs.SD eess.AS
Speech Recognition-based Feature Extraction for Enhanced Automatic Severity Classification in Dysarthric Speech
Sogang University（西江大学）
针对构音障碍严重程度评估中ML特征覆盖不足的问题，提出利用微调ASR转写提取词段边界及发音、韵律特征，将平衡准确率提升至83.72%。
2024-12-05 cs.AI cs.SD eess.AS
Automatic Screening for Children with Speech Disorder using Automatic Speech Recognition: Opportunities and Challenges
University at Buffalo（布法罗大学）；Nichols School（尼科尔斯学校）；Thomas Jefferson High School for Science & Technology（托马斯·杰斐逊科技高中）；Langley High School（兰利高中）
本文综述了基于自动语音识别（ASR）技术自动化儿童言语语言评估（SLA）流程的现有方法，探讨了AI驱动方案的技术可行性、实际部署挑战及隐私问题。
2024-10-07 cs.CL eess.AS q-bio.QM
Disappeared Command: Spoofing Attack On Automatic Speech Recognition Systems with Sound Masking
Tencent（腾讯）
深度学习技术的发展极大地促进了自动语音识别（ASR）技术的性能提升，在许多任务中已经展现出与人类听觉相当的能力。语音接口正变得越来越广泛地用作许多应用程序和智能设备的输入。然而，已有研究表明，DNN很容易受到轻微干扰的干扰而做出错误识别，这对于语音控制的智能语音应用来说是极其危险的。
2022-06-08 cs.AI cs.SD eess.AS
Opportunities & Challenges In Automatic Speech Recognition
GHRCE；S. G. B. Amaravati University（S. G. B. 阿马拉瓦蒂大学）
自动语音识别能够实现广泛的当前和新兴应用，例如自动转录、多媒体内容分析和自然人机界面。本文从语音研究者的角度，对并行性为自动语音识别及相关应用研究提供的机遇和挑战进行了一瞥。计算平台中并行性的增加为语音识别系统提供了三种主要的可能性：在非理想的日常噪声环境中提高识别精度;在语音数据的批处理中增加识别吞吐量;以及在实时使用场景中减少识别延迟。本文介绍了技术挑战，采取的方法，以及未来的研究可能的方向，以指导设计高效的并行软件和硬件基础设施。
2013-05-09 cs.CL cs.SD
Enhancing Indonesian Automatic Speech Recognition: Evaluating Multilingual Models with Diverse Speech Variabilities
Institut Teknologi Bandung（万隆理工学院）；University of Indonesia（印度尼西亚大学）；Japan Advanced Institute of Science and Technology（日本先进科学技术学院）；Nara Institute of Science and Technology（奈良科学技术大学）
本研究评估了MMS和Whisper等多语言模型在多样语音变异性下的印尼语ASR能力，发现微调的Whisper模型表现最佳，且说话风格变异性对模型性能影响最大。
2024-10-14 cs.CL cs.SD eess.AS
Pitch Accent Detection improves Pretrained Automatic Speech Recognition
IT University of Copenhagen（丹麦技术大学）；AppleDenmark（苹果丹麦）
本文提出联合ASR与音高重音检测模型，音高重音检测F1差距缩小41%，ASR在LibriSpeech上WER降低28.3%，凸显预训练模型保留韵律线索的重要性。
2025-08-06 cs.CL cs.SD eess.AS
Homophone-based Label Smoothing in End-to-End Automatic Speech Recognition
UBTECH Robotics Inc（优必选机器人公司）
提出了一种新的标签平滑方法，该方法利用人类语言水平上的先验知识--同音字，用于自动语音识别（ASR）。与前人相比，该方法以更复杂的方式利用了同音字的发音知识。联合学习声学模型和语言模型的端到端ASR模型以及对字符单元的建模是该方法的必要条件。在混合CTC序列到序列模型上的实验表明，该方法可以将字符错误率（CER）绝对降低0.4%。
2020-05-14 cs.CL cs.SD eess.AS
A Comparison of Online Automatic Speech Recognition Systems and the Nonverbal Responses to Unintelligible Speech
University of Sydney（悉尼大学）；University of California, Davis（加州大学戴维斯分校）；University of New South Wales（新南威尔士大学）；Imperial College London（帝国理工学院）
自动语音识别（ASR）系统近年来已经激增到诸如YouTube之类的免费平台现在提供语音识别服务的程度。鉴于ASR系统的广泛选择，我们通过比较两组手动转录和五组自动转录（Google Cloud，IBM Watson，Microsoft Azure，Trint和YouTube）的相对性能，为自动语音识别领域做出贡献，以帮助研究人员选择准确的转录服务。此外，我们确定了非语言行为与难以理解的语音，如高字出错率。我们表明，手动transmittance仍然优于目前的自动transmittance。在自动转录服务中，YouTube提供最准确的转录服务。对于非言语行为的参与，我们提供的证据表明，从听者微笑强度的变化是高（低）时，扬声器是清晰的（难以理解）。这些发现来自学生医生和模拟患者之间的视频会议互动;因此，我们对ASR文献和医疗保健沟通技能教学社区做出了贡献。
2019-04-29 cs.SD eess.AS
Robustness of end-to-end Automatic Speech Recognition Models -- A Case Study using Mozilla DeepSpeech
University of Duisburg-Essen（杜伊斯堡-埃森大学）
在评估自动语音识别模型的性能时，通常使用特定数据集内的单词出错率。在理解数据集时必须特别小心，以便报告真实的性能数字。我们认为，许多性能数据报告可能低估了预期的出错率。我们进行实验，控制选择偏差，性别以及重叠（训练和测试数据之间）的内容，声音和录音条件。我们发现，内容重叠的影响最大，但其他因素，如性别也发挥了作用。
2021-05-08 cs.CL cs.SD eess.AS
Anchoring Speech with Semantics: A Multimodal Adapter Mechanism for Automatic Speech Recognition in Low-Resource Languages
National Taiwan Normal University（台湾师范大学）；EZAI；Academia Sinica（中央研究院）
针对低资源语言ASR的监督证据不足问题，提出轻量级多模态适配器机制SAMA-ASR，结合语义与声学锚，在台湾闽南语和客家话数据集上优于多种基线，且紧凑ST模型可生成有效语义锚。
2026-09-01 cs.CL cs.SD eess.AS
Bringing NURC/SP to Digital Life: the Role of Open-source Automatic Speech Recognition Models
Federal University of Goiás（戈亚斯联邦大学）；São Paulo State University（圣保罗州立大学）；University of São Paulo（圣保罗大学）
1969年开始的巴西语文化中心项目研究巴西五个首都的文化语言城市规范，负责为每个首都编制一个大型语料库。数字化的CNAS/SP包括在圣保罗首都进行的334小时录音中的375项查询。虽然47项调查有录音记录，但录音记录之间没有一致性，328项调查没有录音记录。本文提出了一个评估和错误分析的三个自动语音识别模型与葡萄牙语的自发语音训练和一个模型与准备的语音训练。评估使我们能够选择最佳模型，使用WER和CER指标，在手动对齐的CNOC/SP样本中，自动转录284小时。
2022-10-14 cs.CL cs.SD eess.AS
Speech Retrieval-Augmented Generation without Automatic Speech Recognition
University of Michigan（密歇根大学）；AWS AI Labs（AWS AI实验室）
本文提出SpeechRAG框架，通过微调语音编码器对齐文本与语音嵌入空间，实现无需ASR的直接语音检索，并利用语音语言模型以音频片段为条件进行生成，在ASR错误较高时优于传统级联文本方法。
2025-01-03 cs.AI cs.CL eess.AS
On monoaural speech enhancement for automatic recognition of real noisy speech using mixture invariant training
University of Sheffield（谢菲尔德大学）；Toshiba Cambridge Research Laboratory（东芝剑桥研究实验室）
在本文中，我们探讨了一个改进的框架，训练单耳神经增强模型的鲁棒语音识别。所设计的训练框架扩展了现有的混合不变训练标准，以利用未配对的干净语音和真实的噪声数据。研究发现，不成对的纯净语音是提高从实际噪声中分离出的语音质量的关键。所提出的方法还执行处理和未处理的信号的再混合，以减轻处理伪影。在单通道CHiME-3真实测试集上的实验表明，该方法在语音识别性能方面明显优于在非监督方式下训练的增强系统，无论是在不匹配的模拟数据上训练，还是在匹配的真实数据上训练。与使用端到端和混合声学模型的未处理信号相比，所提出的系统已经实现了16%至39%的相对WER降低，而无需对失真数据进行再训练。
2022-09-20 cs.CL cs.SD eess.AS
Analysis of Deep Clustering as Preprocessing for Automatic Speech Recognition of Sparsely Overlapping Speech
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
当音频信号包含串扰时，自动语音识别（ASR）系统的性能显著下降。最近提出的解决多说话者ASR问题的方法之一是深度聚类（DPCL）方法。将DPCL与最先进的混合声学模型相结合，我们在常用的wsj 0 - 2 mix数据集上获得了16.5%的单词出错率（WER），这是迄今为止据我们所知的最佳性能。wsj 0 - 2 mix数据集包含模拟的串扰，其中多个说话者的语音几乎在整个话语中重叠。在更现实的ASR场景中，音频信号包含单说话者语音的显著部分，并且仅信号的一部分包含多个竞争说话者的语音。本文研究了在这种情况下，稀疏重叠的语音应用DPCL作为预处理方法的ASR的障碍。为此，我们提出了一种数据模拟方法，密切相关的wsj 0 - 2 mix数据集，生成稀疏重叠的语音数据集的任意重叠率。将DPCL应用于稀疏重叠语音的分析是完全重叠数据集（如wsj 0 - 2 mix）和更真实的ASR数据集（如CHiME-5或AMI）之间的重要中间步骤。
2019-09-25 cs.CL cs.SD eess.AS
Improving Semi-supervised End-to-end Automatic Speech Recognition using CycleGAN and Inter-domain Losses
University of Stuttgart（斯图加特大学）
我们提出了一种新的方法，结合CycleGAN和域间损失的半监督端到端自动语音识别。域间丢失的目标是使用共享网络提取语音和文本输入的中间共享表示。CycleGAN使用循环一致性损失和身份映射损失来保留从一个域转换到另一个域后输入特征的相关特征。因此，这两种方法都适合于在不成对的语音-文本输入上训练端到端模型。在本文中，我们利用域间损失和CycleGAN的优势来实现未配对语音和文本输入的更好共享表示，从而改进语音到文本的映射。我们在WSJ eval 92和Voxforge（非英语）上的实验结果显示，字符出错率比基线降低了8~8.5%，在LibriSpeech test_clean上的结果也显示出明显的改善。
2022-10-20 cs.CL cs.SD eess.AS
Serialized Speech Information Guidance with Overlapped Encoding Separation for Multi-Speaker Automatic Speech Recognition
Kyoto University（京都大学）
针对多说话人ASR中SOT仅用注意力损失训练难的问题，提出EncSep和GEncSep方法，借助CTC与注意力混合损失分离重叠编码并引导解码注意力，在LibriMix上验证了性能提升。
2024-09-11 cs.AI cs.SD eess.AS
Bangla-Wave: Improving Bangla Automatic Speech Recognition Utilizing N-gram Language Models
North South University（北南大学）；Apurba Technologies（阿普尔巴技术公司）
虽然全世界有超过3亿人说孟加拉语，但由于孟加拉语是一种低资源语言，因此在改善孟加拉语语音到文本转录方面的工作很少。然而，随着孟加拉语通用语音9.0语音数据集的引入，自动语音识别（ASR）模型现在可以得到显着改进。孟加拉语共同之声拥有399小时的语音记录，是世界上最大和最多样化的孟加拉语开源语音语料库。在本文中，我们通过在普通语音数据集上微调预训练的wav 2 vec 2模型，超越了SOTA预训练的孟加拉语ASR模型。我们还演示了如何通过添加一个n-gram语言模型作为后处理器来显着提高ASR模型的性能。最后，我们做了一些实验和超参数调整，以产生一个强大的孟加拉ASR模型，比现有的ASR模型。
2022-09-13 cs.AI cs.CL eess.AS
Do We Still Need Automatic Speech Recognition for Spoken Language Understanding?
University of Copenhagen（哥本哈根大学）；Technical University of Denmark（丹麦技术大学）；Corti（Corti公司）
口语理解（SLU）任务通常通过首先用自动语音识别（ASR）转录话语，然后将输出馈送到基于文本的模型来解决。语音数据的自监督表示学习的最新进展集中在改进ASR组件上。我们调查是否表示学习语音已经成熟到足以取代ASR SLU。我们比较了从wav2vec 2.0，最先进的ASR成绩单和地面真实文本中学习到的语音特征，作为一种新的基于语音的命名实体识别任务，一种真实世界紧急呼叫的心脏骤停检测任务和两种现有SLU基准的输入。我们发现，学习语音功能优于ASR成绩单上的三个分类任务。对于机器翻译，ASR成绩单仍然是更好的选择。我们强调了wav2vec 2.0表示的内在鲁棒性，以词汇表外的单词作为提高性能的关键。
2021-11-29 cs.CL cs.LG eess.AS
SMILE: Speech Meta In-Context Learning for Low-Resource Language Automatic Speech Recognition
Electrical Engineering Department National Taiwan University Taipei, Taiwan（电子工程系 国立台湾大学 台北 台湾）
针对低资源语言ASR数据不足、现有适配策略存在缺陷的问题，提出融合元学习与语音上下文学习的SMILE框架，通过高资源语言元训练实现低资源语言少样本泛化，在ML-SUPERB基准上性能优于基线。
2025-06-14 cs.CL cs.SD eess.AS
Benchmarking Evaluation Metrics for Code-Switching Automatic Speech Recognition
New York University Abu Dhabi（纽约大学阿布扎比分校）；University of Stuttgart（斯图加特大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Stanford University（斯坦福大学）；Qatar Computing Research Institute（卡塔尔计算研究所）；Microsoft Research India（微软印度研究院）
语码转换为多语种自动语音识别带来了许多挑战和机遇。在本文中，我们专注于鲁棒性和公平的评价指标的问题。为此，我们开发了一个参考基准数据集的代码切换语音识别假设与人类的判断。我们为自动假设的最小编辑定义了明确的指导方针。我们使用4路注释器间协议来验证指南。我们评估了大量的指标与人类判断的相关性。我们考虑的指标在表示（正字法，语音，语义），直接性（内在与外在），粒度（例如单词，字符）和相似性计算方法方面有所不同。与人类判断的最高相关性是使用音译，然后是文本规范化。我们发布了第一个语料库的人类接受的代码切换语音识别结果在方言阿拉伯语/英语对话语音。
2022-11-22 cs.CL cs.SD eess.AS
Unsupervised Uncertainty Measures of Automatic Speech Recognition for Non-intrusive Speech Intelligibility Prediction
University of Sheffield（谢菲尔德大学）
非侵入式可懂度预测对于其在难以获得干净参考信号的现实场景中的应用是重要的。许多非侵入式预测器的构建需要地面真实可理解性标签或用于监督学习的干净参考信号。在这项工作中，我们利用一个无监督的不确定性估计方法来预测语音清晰度，它不需要清晰度标签或参考信号来训练预测器。我们的实验表明，国家的最先进的端到端的自动语音识别（ASR）模型的不确定性是高度相关的语音清晰度。该方法在两个数据库上进行了评估，结果表明，ASR模型的无监督不确定性措施与听力结果的语音可懂度比广泛使用的侵入性方法的预测更相关。
2022-07-06 cs.SD eess.AS
AS-70: A Mandarin stuttered speech dataset for automatic speech recognition and stuttering event detection
StammerTalk；AIShell Inc（AIShell公司）；AImpower；Nankai University（南开大学）；University of Science and Technology of China（中国科学技术大学）；Duke Kunshan University（昆山杜克大学）
本文构建首个公开且规模最大的普通话口吃语音数据集 AS-70，覆盖对话与命令朗读并提供逐字转写，通过基线实验和微调显著提升 Whisper、Hubert 等模型的口吃 ASR 与 SED 能力。
2024-06-11 cs.AI cs.SD eess.AS
Leveraging Self-Supervised Models for Automatic Whispered Speech Recognition
University of Zurich（苏黎世大学）；University of Isfahan（伊斯法罕大学）
针对耳语语音声学特性特殊、训练数据稀缺导致识别效果差的问题，提出用预训练WavLM模型结合多数据集微调的爱尔兰方言耳语语音识别方法，性能显著优于Whisper基线。
2024-11-03 cs.SD eess.AS
Automatic Documentation of ICD Codes with Far-Field Speech Recognition
Stanford University（斯坦福大学）；Rush University Medical Center（拉什大学医学中心）
文件错误增加了医疗保健成本，并导致不必要的患者死亡。作为诊断和计费的标准语言，ICD代码是全球医疗文档的基础。尽管电子医疗记录的普及，医院仍然见证了高水平的ICD错误编码。在本文中，我们提出了自动文档ICD代码与远场语音识别。远场语音发生在麦克风位于距离源几米处时，这在灵巧家庭和安全系统中很常见。我们的方法结合了声学信号处理和递归神经网络识别和ICD代码的实时的。为了评估我们的模型，我们收集了ICD-10代码的远场语音数据集，发现我们的模型达到了87%的准确率，BLEU评分为85%。通过从无监督的医学语言模型中采样，我们的方法能够优于现有的方法。总的来说，这项工作显示了自动语音识别的潜力，以提供高效，准确和具有成本效益的医疗保健文件。
2018-11-27 cs.CL cs.SD eess.AS
HuBERT-VIC: Improving Noise-Robust Automatic Speech Recognition of Speech Foundation Model via Variance-Invariance-Covariance Regularization
School of Electrical Engineering（电气工程学院）
本文提出HuBERT-VIC，通过VICReg正则化调整含噪语音表示统计特性，提升语音基础模型抗噪鲁棒性，在LibriSpeech两个测试集上分别相对提升23.3%和13.2%。
2025-08-17 cs.AI cs.SD eess.AS
Dual-decoder Transformer for Joint Automatic Speech Recognition and Multilingual Speech Translation
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Facebook AI（Facebook人工智能研究院）
我们介绍了双解码器Transformer，一个新的模型架构，共同执行自动语音识别（ASR）和多语言语音翻译（ST）。我们的模型基于原始的Transformer架构（Vaswani等人，2017），但由两个解码器组成，每个解码器负责一个任务（ASR或ST）。我们的主要贡献在于这些解码器是如何相互作用的：一个解码器可以通过双重注意力机制来关注不同的信息源。我们提出了两个变种，这些架构对应于两个不同级别的解码器之间的依赖关系，称为并行和交叉双解码器Transformers，分别。在MuST-C数据集上进行的大量实验表明，我们的模型在多语言环境中的翻译性能优于先前报道的最高翻译性能，并且优于双语一对一的结果。此外，我们的并行模型表明没有权衡ASR和ST相比，香草多任务架构。我们的代码和预培训模型可在https://github.com/formiel/speech-translation上获得。
2020-11-02 cs.CL cs.SD eess.AS
MoLE : Mixture of Language Experts for Multi-Lingual Automatic Speech Recognition
NAVER Cloud（NAVER 云）
多语言语音识别的目标是区分不同语言的语言表达，同时集成声学处理。相比之下，当前的多语言语音识别研究遵循语言感知范式，主要针对提高识别性能而不是区分语言特征。在本文中，我们提出了一个多语言语音识别网络命名为混合的语音识别专家（MoLE），它在各种语言的语音识别。具体来说，MoLE从任意语言的输入语音中分析语言表达，使用轻量级语言标记器激活特定语言的专家。标记器不仅激活专家，而且还估计激活的可靠性。基于可靠性，激活的专家和语言不可知的专家聚集来表示语言条件的嵌入，用于高效的语音识别。我们提出的模型在5种语言的情况下进行评估，实验结果表明，我们的结构是有利的多语言识别，特别是在低资源语言的语音。
2023-02-27 cs.CL cs.SD eess.AS
Automatic Speech Recognition (ASR) for the Diagnosis of pronunciation of Speech Sound Disorders in Korean children
Korea University（高丽大学）；MediaZen；The Catholic University of Korea（韩国天主教大学）；Dankook University（檀国大学）
本研究微调wav2vec 2.0 XLS-R模型识别儿童实际发音，用于诊断韩语语音障碍，准确率约90%，可简化临床发音错误诊断流程。
2024-03-13 cs.CL cs.SD eess.AS
Enabling Automatic Disordered Speech Recognition: An Impaired Speech Dataset in the Akan Language
University of Ghana（加纳大学）
本研究提出一个阿坎语受损语音数据集，用于支持低资源自动混乱语音识别系统和辅助语音技术的研究。
2026-02-05 cs.AI cs.SD
