Enhancing Automatic Speech Recognition Through Integrated Noise Detection Architecture
Independent Researcher（独立研究者）
通过集成噪声检测架构提升语音识别的准确性和噪声辨别能力
2025-12-02 cs.AI cs.LG cs.SD
AS-70: A Mandarin stuttered speech dataset for automatic speech recognition and stuttering event detection
StammerTalk；AIShell Inc（AIShell公司）；AImpower；Nankai University（南开大学）；University of Science and Technology of China（中国科学技术大学）；Duke Kunshan University（昆山杜克大学）
本文构建首个公开且规模最大的普通话口吃语音数据集 AS-70，覆盖对话与命令朗读并提供逐字转写，通过基线实验和微调显著提升 Whisper、Hubert 等模型的口吃 ASR 与 SED 能力。
2024-06-11 cs.AI cs.SD eess.AS
A Comparison of Online Automatic Speech Recognition Systems and the Nonverbal Responses to Unintelligible Speech
University of Sydney（悉尼大学）；University of California, Davis（加州大学戴维斯分校）；University of New South Wales（新南威尔士大学）；Imperial College London（帝国理工学院）
自动语音识别（ASR）系统近年来已经激增到诸如YouTube之类的免费平台现在提供语音识别服务的程度。鉴于ASR系统的广泛选择，我们通过比较两组手动转录和五组自动转录（Google Cloud，IBM Watson，Microsoft Azure，Trint和YouTube）的相对性能，为自动语音识别领域做出贡献，以帮助研究人员选择准确的转录服务。此外，我们确定了非语言行为与难以理解的语音，如高字出错率。我们表明，手动transmittance仍然优于目前的自动transmittance。在自动转录服务中，YouTube提供最准确的转录服务。对于非言语行为的参与，我们提供的证据表明，从听者微笑强度的变化是高（低）时，扬声器是清晰的（难以理解）。这些发现来自学生医生和模拟患者之间的视频会议互动;因此，我们对ASR文献和医疗保健沟通技能教学社区做出了贡献。
2019-04-29 cs.SD eess.AS
HuBERT-VIC: Improving Noise-Robust Automatic Speech Recognition of Speech Foundation Model via Variance-Invariance-Covariance Regularization
School of Electrical Engineering（电气工程学院）
本文提出HuBERT-VIC，通过VICReg正则化调整含噪语音表示统计特性，提升语音基础模型抗噪鲁棒性，在LibriSpeech两个测试集上分别相对提升23.3%和13.2%。
2025-08-17 cs.AI cs.SD eess.AS
Advanced Clustering Techniques for Speech Signal Enhancement: A Review and Metanalysis of Fuzzy C-Means, K-Means, and Kernel Fuzzy C-Means Methods
Artificial Intelligence and Innovation Centre, University of Kurdistan Hewler（库尔德斯坦赫勒大学人工智能与创新中心）；Computer Science and Engineering Department, University of Kurdistan Hewler（库尔德斯坦赫勒大学计算机科学与工程系）
本文针对噪声环境下语音分离识别的难题，综述对比了KFCM、KM、FCM等聚类语音增强方法，指出KFCM适配性更优，还提出了现有方法的不足与结合神经网络的混合模型优化方向。
2025-10-03 cs.AI cs.SD eess.AS
Sentiment-Aware Automatic Speech Recognition pre-training for enhanced Speech Emotion Recognition
Amazon（亚马逊公司）
提出了一种新的语音情感识别多任务预训练方法。我们在自动语音识别（ASR）和情感分类任务上同时预训练SER模型，以使声学ASR模型更具"情感意识“。我们使用在公开数据上训练的文本到情感模型来生成情感分类的目标。最后，我们对情感注释语音数据的声学ASR进行微调。我们在MSP播客数据集上评估了所提出的方法，在那里我们实现了最好的一致性相关系数（CCC）为0.41的效价预测。
2022-01-27 cs.CL cs.SD eess.AS
Deep Xi as a Front-End for Robust Automatic Speech Recognition
Griffith University（格里菲斯大学）
当前用于鲁棒自动语音识别（ASR）的前端包括用于语音增强的基于掩蔽和映射的深度学习方法。最近提出的一种用于优先SNR估计的深度学习方法，称为DeepXi，能够以比当前基于掩蔽和映射的方法更高的质量和可懂度产生增强的语音。受此启发，我们将Deep Xi作为强大ASR的前端进行研究。使用真实世界的非平稳和有色噪声源在多个SNR水平下对Deep Xi进行评估。我们的实验研究表明，DeepXi作为前端能够产生比最近基于掩蔽和映射的深度学习前端更低的单词错误率。这项工作中的结果表明，Deep Xi是一个可行的前端，能够显着提高ASR系统的鲁棒性。可用性：Deep Xi可在：https://github.com/anicolson/DeepXi
2020-01-28 cs.SD eess.AS eess.SP
Unsupervised Uncertainty Measures of Automatic Speech Recognition for Non-intrusive Speech Intelligibility Prediction
University of Sheffield（谢菲尔德大学）
非侵入式可懂度预测对于其在难以获得干净参考信号的现实场景中的应用是重要的。许多非侵入式预测器的构建需要地面真实可理解性标签或用于监督学习的干净参考信号。在这项工作中，我们利用一个无监督的不确定性估计方法来预测语音清晰度，它不需要清晰度标签或参考信号来训练预测器。我们的实验表明，国家的最先进的端到端的自动语音识别（ASR）模型的不确定性是高度相关的语音清晰度。该方法在两个数据库上进行了评估，结果表明，ASR模型的无监督不确定性措施与听力结果的语音可懂度比广泛使用的侵入性方法的预测更相关。
2022-07-06 cs.SD eess.AS
Leveraging Self-Supervised Models for Automatic Whispered Speech Recognition
University of Zurich（苏黎世大学）；University of Isfahan（伊斯法罕大学）
针对耳语语音声学特性特殊、训练数据稀缺导致识别效果差的问题，提出用预训练WavLM模型结合多数据集微调的爱尔兰方言耳语语音识别方法，性能显著优于Whisper基线。
2024-11-03 cs.SD eess.AS
Enabling Automatic Disordered Speech Recognition: An Impaired Speech Dataset in the Akan Language
University of Ghana（加纳大学）
本研究提出一个阿坎语受损语音数据集，用于支持低资源自动混乱语音识别系统和辅助语音技术的研究。
2026-02-05 cs.AI cs.SD
Seq2seq for Automatic Paraphasia Detection in Aphasic Speech
针对失语症错语人工检测效率低的问题，提出端到端训练的seq2seq模型同时完成语音识别与错语检测，在词级和话语级任务上均超越现有最优方法。
2023-12-16 cs.AI cs.SD eess.AS
Time-Domain Speech Enhancement for Robust Automatic Speech Recognition
The Ohio State University（俄亥俄州立大学）
本文提出基于ARN时间域增强模型，将语音增强与仅在干净语音上训练的声学模型解耦，在CHiME-2上实现6.28%词错误率，相对提升19.3%。
2023-06-21 cs.SD eess.AS
End-to-End Neural Systems for Automatic Children Speech Recognition: An Empirical Study
University of Southern California（南加州大学）
包容性和可访问的语音识别技术的一个关键需求是确保其对儿童语音的鲁棒性能。值得注意的是，这包括快速发展的基于神经网络的端到端语音识别系统。与成人语音相比，儿童语音识别由于在声学和语言特征方面的更大的说话者内-间可变性而更具挑战性。此外，缺乏足够和适当的儿童语音资源增加了设计鲁棒的端到端神经架构的挑战。本研究通过对当代最先进的端到端语音识别系统的实证研究，对儿童自动语音识别进行了严格的评估。洞察方面的训练数据的要求，适应儿童数据，儿童年龄的影响，话语长度，不同的架构和损失函数的端到端系统和语言模型的作用上的语音识别性能。
2021-02-19 cs.SD eess.AS
Data Augmentation with Locally-time Reversed Speech for Automatic Speech Recognition
The Chinese University of Hong Kong（香港中文大学）
心理声学研究表明，局部时间反转（LTR）语音，即，在短段内时间反转的信号样本可以被人类收听者准确地识别。本研究解决了最先进的自动语音识别（ASR）系统对LTR语音的性能如何的问题。其基本目标是探索在端到端（E2 E）ASR模型的训练中部署LTR语音的可行性，作为提高识别性能的数据增强的尝试。本研究从实验开始，以了解LTR语音对通用ASR的影响。呈现并评估具有5 ms - 50 ms的反转段持续时间的LTR语音。对于使用LTR语音的ASR训练数据增强，通过将自然语音与LTR语音的不同分区组合来创建训练集。在不同语言和说话风格的语音语料库上的ASR结果证实了数据增强的有效性。研究发现，在15 ms - 30 ms的反向段长的LTR语音上的ASR比在其他段长的LTR语音上的ASR具有更低的错误率。使用这些LTR语音的数据增强实现了对ASR性能的满意和一致的改善。
2021-10-09 cs.SD eess.AS
SimClass: A Classroom Speech Dataset Generated via Game Engine Simulation For Automatic Speech Recognition Research
College of Education（教育学院）
针对课堂语音与噪声数据稀缺问题，本文提出基于游戏引擎合成课堂噪声的可扩展方法，并构建 SimClass 数据集，实验表明其可有效近似真实课堂语音。
2025-06-10 cs.AI cs.CL cs.SD
FASA: a Flexible and Automatic Speech Aligner for Extracting High-quality Aligned Children Speech Data
SUNY Buffalo（纽约州立大学布法罗分校）
针对儿童语音ASR缺乏高质量对齐数据的问题，提出灵活自动语音对齐工具FASA，从含噪数据中提取高质量对齐儿童语音，在CHILDES数据集上数据质量比人工标注提升13.6倍。
2024-06-25 cs.CL cs.SD eess.AS
Directed Speech Separation for Automatic Speech Recognition of Long Form Conversational Speech
Amazon AWS AI（亚马逊AWS人工智能）
语音分离的许多最新进展主要针对具有高度重叠的短音频话语的合成混合。这些方法中的大多数需要额外的拼接步骤来拼接分离的语音块以获得长格式音频。由于大多数方法涉及排列不变训练（PIT），因此分离的语音块的顺序是不确定的，并且导致难以准确地拼接同质说话者块用于下游任务，如自动语音识别（ASR）。此外，大多数这些模型都是用合成混合物训练的，不能推广到真实的会话数据。在本文中，我们提出了一个扬声器条件分离器训练的扬声器嵌入直接从混合信号中提取使用过聚类为基础的方法。该模型自然地调节分离的块的顺序，而不需要额外的拼接步骤。我们还介绍了一个数据采样策略，真正的和合成的混合物，以及推广到真正的对话语音。有了这个模型和数据采样技术，我们在Hub 5数据上显示了说话者归因的单词错误率（SA-WER）的显着改善。
2022-09-06 cs.CL cs.LG cs.SD
The Airbus Air Traffic Control speech recognition 2018 challenge: towards ATC automatic transcription and call sign detection
Airbus（空中客车公司）
在本文中，我们描述了空客及其合作伙伴在2018年组织和运行的挑战赛的结果。该挑战包括两个应用于空中交通管制（ATC）英语语音的任务：1）自动语音到文本转录，2）呼号检测（CSD）。注册的参与者被提供了40小时的演讲以及手动翻译。22个团队提交了对5小时评估集的预测。ATC语音处理具有挑战性的原因有几个：高语音速率，口音差异很大的外国口音语音，嘈杂的通信信道。排名最好的团队获得了7.62%的单词出错率和82.41%的CSD F1分数。研究发现，转录飞行员的语音比转录管制员的语音要困难两倍。还讨论了解决ATC ASR的剩余问题。
2020-03-10 cs.SD eess.AS
AutoPrep: An Automatic Preprocessing Framework for In-the-Wild Speech Data
Tencent AI Lab（腾讯人工智能实验室）；Shenzhen Research Institute of Big data（深圳大数据研究院）
本文提出AutoPrep自动预处理框架，通过语音增强、切分、说话人聚类、目标语音提取、质量过滤和自动语音识别六个组件处理自然场景语音数据，实验表明其预处理数据质量接近开源TTS数据集，并支持TTS系统达到0.68的域内说话人相似度。
2023-09-25 cs.SD eess.AS
Streaming Decoder-Only Automatic Speech Recognition with Discrete Speech Units: A Pilot Study
Northwestern Polytechnical University（西北工业大学）；Du Xiaoman Financial（度小满金融）
本文提出一种基于离散语音单元和专用边界token的流式仅解码器ASR模型，通过因果注意力掩码、右块注意力及数据增强，在AISHELL数据集上取得与非流式方法相当的性能。
2024-06-27 cs.SD eess.AS
Automatic Severity Classification of Dysarthric speech by using Self-supervised Model with Multi-task Learning
Seoul National University（首尔国立大学）；Sogang University（西江大学）
针对构音障碍语音评估的数据稀缺问题，提出结合Wav2vec 2.0 XLS-R自监督模型与多任务学习的严重程度分类方法，在QoLT数据库上取得优于基线的效果，并分析了多任务学习的作用机制。
2023-04-28 cs.AI cs.CL cs.SD
Thank you for Attention: A survey on Attention-based Artificial Neural Networks for Automatic Speech Recognition
Federation University Australia（澳大利亚联邦大学）
在基于人工神经网络的序列到序列模型中，注意力是一种非常流行和有效的机制。在这篇调查论文中，提供了一个全面的审查不同的注意力模型用于开发自动语音识别系统。本文重点介绍了在基于递归神经网络和Transformer的架构中离线和流式语音识别的注意力模型的发展和演变。
2021-02-14 cs.CL cs.SD eess.AS
Scene-aware Far-field Automatic Speech Recognition
University of Maryland, College Park（马里兰大学帕克分校）
我们提出了一种新的方法来产生场景感知的训练数据的远场自动语音识别。我们使用基于深度学习的估计器来非侵入性地从语音样本中计算环境的子带混响时间。我们模型的混响时间的场景的声学特性，并表示它使用多元高斯分布。我们使用这个分布来选择声学脉冲响应从一个大的现实世界的数据集增强语音数据。在我们的场景感知数据上训练的语音识别系统在REVERB和AMI远场基准测试中的表现始终优于使用更多随机声脉冲响应训练的系统。在实践中，我们获得了2.64%的绝对改善字错误率相比，使用相同大小的训练数据均匀分布的混响时间。
2021-04-21 cs.SD eess.AS
Investigating the role of L1 in automatic pronunciation evaluation of L2 speech
Arizona State University（亚利桑那州立大学）
语音自动评测在语音训练和第二语言教学中起着重要的作用。该领域大量利用来自自动语音识别（ASR）的概念来量化非母语语音的发音与母语发音的接近程度。然而，众所周知，口音的形成与目标语言（L2）和说话者的第一语言（L1）的发音模式都有关。在本文中，我们建议使用两个母语声学模型，一个在L2语音上训练，另一个在L1语音上训练。我们开发了两套测量，可以从两个声学模型中提取口音的讲话。一个新的话语级特征提取方案是用来将这些测量值转换成一个固定的维度向量，这是用来作为一个统计模型的输入，以预测一个扬声器的重音。在由来自4个不同L1背景的扬声器组成的数据集上，我们表明，与仅使用L2声学模型的系统相比，所提出的系统与人类评估者的相关性得到了改善。
2018-07-04 cs.SD eess.AS
A Transfer Learning Method for Speech Emotion Recognition from Automatic Speech Recognition
Columbia University（哥伦比亚大学）；Recognition Technologies, Inc.（识别技术公司）
提出了一种基于时延神经网络（TDNN）结构的语音情感识别迁移学习方法。当前基于语音的情感检测研究的一个主要挑战是数据稀缺。所提出的方法解决了这个问题，通过应用迁移学习技术，以利用数据的自动语音识别（ASR）任务，其中有足够的数据。我们的实验还显示了扬声器类自适应建模技术的优势，通过采用基于身份向量（i向量）的功能，除了标准的梅尔频率倒谱系数（MFCC）功能。[1]我们证明了迁移学习模型在没有对ASR进行预训练的情况下显着优于其他方法。实验在公开的IEMOCAP数据集上进行，该数据集提供了12小时的运动语音数据。迁移学习是通过使用Ted-Lium v.2语音数据集进行初始化的，该语音数据集提供了207小时的音频和相应的转录本。与最先进的技术相比，我们使用五重交叉验证实现了最高的显著更高的准确性。仅使用语音，我们获得了71.7%的准确率为愤怒，兴奋，悲伤和中性情绪内容。
2020-08-15 cs.HC cs.LG cs.SD
Auditory-Based Data Augmentation for End-to-End Automatic Speech Recognition
University of Sheffield（谢菲尔德大学）
端到端模型在自动语音识别方面取得了显著的进步。提高这些模型性能的一种常用方法是通过数据扩充来扩展数据空间。与此同时，人类听觉启发的前端也证明了自动语音识别器的改进。在这项工作中，一个经过验证的基于听觉的模型，它可以模拟各种听力能力，研究的目的是数据增强端到端的语音识别。通过将听觉模型引入到数据增强过程中，鼓励端到端系统忽略无法听到的信号的变化，从而专注于语音识别的鲁棒特征。听觉模型中的两种机制，频谱拖尾和响度招募，研究了LibriSpeech数据集与基于transformer的端到端模型。实验结果表明，本文提出的增强方法可以显著提高SpecAugment算法的性能。
2022-04-08 cs.SD eess.AS
Personalized Automatic Speech Recognition Trained on Small Disordered Speech Datasets
Google Research（谷歌研究院）
本研究探讨使用少量的每说话人适应数据的个性化自动语音识别（ASR）识别无序语音的性能。我们为195名具有不同类型和严重程度的语言障碍的个体训练了个性化模型，训练集的大小从<1分钟到18 - 20分钟的语音数据。选择词错误率（WER）阈值来确定不同应用场景下的成功百分比（个性化模型达到目标WER的百分比）。对于家庭自动化场景，79%的发言者在18 - 20分钟的演讲中达到了目标WER;但即使只有3 - 4分钟的演讲，63%的发言者也达到了目标WER。进一步的评估发现，在具有会话和域外，自发短语的测试集上也有类似的改善。我们的研究结果表明，只有几分钟的录音，语音障碍的人可以从个性化的ASR中受益。
2021-10-09 cs.CL cs.LG cs.SD
Dual Application of Speech Enhancement for Automatic Speech Recognition
Facebook（脸书）
在这项工作中，我们利用语音增强来改善基于递归神经网络换能器（RNN-T）的ASR系统。我们采用了一个密集的卷积递归网络（DCRN）复杂的频谱映射为基础的语音增强，并发现它有助于ASR在两个方面：一个数据增强技术，和预处理前端。在使用它的ASR数据增强，我们利用KL分歧的一致性损失之间的原始和增强的话语的ASR输出计算。在使用语音增强作为一个有效的ASR前端，我们提出了一个三步训练计划的基础上模型预训练和特征选择。我们评估了我们提出的技术在一个具有挑战性的社交媒体英语视频数据集，并实现了11.2%的平均相对改善与语音增强为基础的数据增强，8.3%与增强为基础的预处理，和13.4%时，结合两者。
2020-11-07 cs.SD eess.AS
End-to-End Dereverberation, Beamforming, and Speech Recognition with Improved Numerical Stability and Advanced Frontend
MoE Key Lab of Artificial Intelligence, AI Institute, SpeechLab, Shanghai Jiao Tong University（上海交通大学人工智能教育部重点实验室、人工智能研究院、语音实验室）；Paderborn University（帕德博恩大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；NTT Corporation（日本电信电话株式会社）
最近，端到端的方法已成功地应用于单通道和多通道条件下的多说话人语音分离和识别。然而，严重的性能退化仍然观察到在混响和噪声的情况下，仍然有一个很大的性能差距之间的消声和混响条件。在这项工作中，我们专注于多通道多扬声器混响条件，并建议扩展我们以前的框架，用于端到端去混响，波束成形和语音识别，具有改进的数值稳定性和先进的前端子网络，包括语音活动检测，如面具。这些技术显著稳定了端到端的培训过程。在空间化wsj 1 - 2 mix语料库上的实验表明，与传统的多通道E2 E语音识别系统相比，该系统的WER相对降低了约35%，并且在混响多说话人条件下，仅使用ASR标准进行训练时，也获得了不错的语音去混响和分离性能（SDR=12.5 dB）。
2021-02-23 cs.SD eess.AS
Bengali Common Voice Speech Dataset for Automatic Speech Recognition
Michigan State University（密歇根州立大学）；RPI（伦斯勒理工学院）；Vanderbilt University（范德堡大学）；Rice University（莱斯大学）
孟加拉语是世界上使用最多的语言之一，全球有超过3亿人使用。尽管孟加拉语语音识别系统很受欢迎，但由于缺乏多样化的开源数据集，对孟加拉语语音识别系统开发的研究受到了阻碍。作为前进的方向，我们已经众包了孟加拉语通用语音语音数据集，这是一个高级自动语音识别语料库。该数据集在Mozilla Common Voice平台上收集，是正在进行的活动的一部分，该活动在两个月内收集了超过400小时的数据，并且正在迅速增长。我们的分析表明，与现有最大的开源孟加拉语语音数据集OpenSLR孟加拉语ASR数据集相比，该数据集具有更多的扬声器，音素和环境多样性。我们提出了从数据集中获得的见解，并讨论了需要在未来版本中解决的关键语言挑战。此外，我们报告了一些自动语音识别（ASR）算法的当前性能，并为未来的研究设定了基准。
2022-06-29 cs.CL cs.SD eess.AS
Fine-Tuning Automatic Speech Recognition for People with Parkinson's: An Effective Strategy for Enhancing Speech Technology Accessibility
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文针对帕金森病患者语音识别难题，提出在SAP数据集上微调ASR模型，并采用多任务学习联合估计损伤严重程度，使词错误率较LibriSpeech基线显著降低。
2024-09-29 cs.SD eess.AS
Unsupervised Automatic Speech Recognition: A Review
UAE University（阿联酋大学）；National University of Science & Technology（国家科学技术大学）
自动语音识别（ASR）系统可以被训练以在给定大量手动转录的语音的情况下实现显著的性能，但是对于所有感兴趣的语言而言，获取大的标记数据集可能是困难的或昂贵的。在本文中，我们回顾了研究文献，以确定可能导致完全无监督ASR的模型和想法，包括语音信号的无监督分割，从语音段到文本的无监督映射，以及具有标称数量的标记示例的半监督模型。这项研究的目的是确定什么可以从语音数据单独学习的局限性，并了解语音识别的最低要求。识别这些限制将有助于优化低资源语言的ASR开发资源和工作。
2022-03-20 cs.CL cs.SD eess.AS
KT-Speech-Crawler: Automatic Dataset Construction for Speech Recognition from YouTube Videos
University of Hamburg（汉堡大学）
在本文中，我们描述了KT-语音爬虫：一种通过抓取YouTube视频来自动构建语音识别数据集的方法。我们概述了几个过滤和后处理步骤，提取可用于训练端到端神经语音识别系统的样本。在我们的实验中，我们证明了一个单核版本的爬虫程序可以在一天内获得大约150小时的转录语音，其中包含估计3.5%的单词错误率出错率。自动收集的样本包含在各种条件下记录的阅读和自发语音，包括背景噪音和音乐，远距离麦克风录音以及各种口音和混响。在对深度神经网络进行语音识别训练时，通过将200小时收集的样本整合到训练集中，我们观察到华尔街日报数据集上的单词出错率降低了约40%。演示（http：//emnlp-demo.lakomkin.me/）和爬虫代码（https：//github.com/EgorLakomkin/KTSpeechCrawler）是公开的。
2019-03-01 cs.CL cs.LG cs.SD
Adaptation and Optimization of Automatic Speech Recognition (ASR) for the Maritime Domain in the Field of VHF Communication
Fraunhofer CML（弗劳恩霍夫物流与海事中心）
本文提出海事VHF通信多语言ASR系统marFM，通过音频处理与机器学习结合应对海事通信挑战，并在多种海事无线电数据上验证了转录性能。
2025-08-19 cs.AI cs.HC cs.LG
Recent Advances in End-to-End Automatic Speech Recognition
Microsoft（微软公司）
最近，语音社区正在看到从基于深度神经网络的混合建模向用于自动语音识别（ASR）的端到端（E2E）建模的显著趋势。虽然E2E模型在ASR准确性方面在大多数基准中实现了最先进的结果，但目前仍有很大比例的商用ASR系统使用混合模型。有许多实际因素影响生产模式部署决策。传统的混合模型，几十年来一直在优化生产，通常擅长这些因素。如果不能针对所有这些因素提供出色的解决方案，E2E模式很难广泛商业化。在本文中，我们将概述E2E模型的最新进展，重点关注从行业角度应对这些挑战的技术。
2022-02-02 cs.AI cs.CL cs.SD
Zero Shot Text to Speech Augmentation for Automatic Speech Recognition on Low-Resource Accented Speech Corpora
Microsoft（微软公司）；Imperial College London（帝国理工学院）
针对低资源口音语音数据不足导致ASR性能下降的问题，提出零样本TTS增强口音语料的策略，可将词错误率最高降低14%，优于仅用真实口音数据训练的模型。
2024-09-17 cs.SD eess.AS
Speaker Reinforcement Using Target Source Extraction for Robust Automatic Speech Recognition
Toshiba Cambridge Research Laboratory（东芝剑桥研究实验室）
提高单通道自动语音识别（ASR）在噪声条件下的准确性是具有挑战性的。强大的语音增强前端是可用的，然而，它们通常需要重新训练ASR模型以应对处理伪影。在本文中，我们探讨了扬声器增强策略，提高识别性能，而无需重新训练的声学模型（AM）。这是通过将增强的信号与未处理的输入重新混合以减轻处理伪影来实现的。我们使用基于DNN说话人提取的语音去噪器来评估所提出的方法，该语音去噪器使用感知动机损失函数进行训练。结果表明，（没有AM再训练）我们的方法产生约23%和25%的相对精度增益相比，未经处理的单声道模拟和真实的CHiME-4评估集，分别，并优于一个国家的最先进的参考方法。
2022-05-09 cs.SD eess.AS
StarGAN-VC+ASR: StarGAN-based Non-Parallel Voice Conversion Regularized by Automatic Speech Recognition
College of Information Science and Engineering, Ritsumeikan University, Japan（日本立命馆大学信息理工学部）；NTT Communication Science Laboratories, NTT Corporation, Japan（日本NTT公司NTT通信科学实验室）
保留输入语音的语言内容是语音转换（VC）过程中必不可少的。基于星形生成对抗网络的VC方法（StarGAN-VC）是最近开发的允许非并行多对多VC的方法。虽然这种方法是强大的，它可能无法保持输入语音的语言内容时，可用的训练样本的数量是非常小的。为了克服这个问题，我们提出使用自动语音识别来辅助模型训练，以改进StarGAN-VC，特别是在低资源场景中。实验结果表明，使用我们提出的方法，StarGAN-VC可以保留更多的语言信息比香草StarGAN-VC。
2021-08-10 cs.AI cs.SD
The Makerere Radio Speech Corpus: A Luganda Radio Corpus for Automatic Speech Recognition
Makerere University（马凯雷雷大学）；Ronin Institute（罗宁研究所）；Coqui
建立一个可用的无线电监测自动语音识别（ASR）系统是一项具有挑战性的任务，资源不足的语言，但这是至关重要的社会，无线电是主要媒体的公共沟通和讨论。联合国在乌干达的初步努力证明，了解被排除在社交媒体之外的农村人的看法对国家规划非常重要。然而，这些努力受到缺乏转录语音数据集的挑战。在本文中，Makerere人工智能研究实验室发布了155小时的卢甘达电台语音语料库。据我们所知，这是撒哈拉以南非洲第一个公开的无线电数据集。本文介绍了语音语料库的发展，并提出了基线Luganda ASR的性能结果使用Coqui STT工具包，一个开源的语音识别工具包。
2022-06-20 cs.CL cs.SD eess.AS
Feasibility of Using Automatic Speech Recognition with Voices of Deaf and Hard-of-Hearing Individuals
Rochester Institute of Technology（罗切斯特理工学院）
许多个人设备已经从视觉控制界面过渡到语音控制界面，以降低设备成本和交互摩擦。语音控制界面的能力不断提高，加速了这种转变，例如，亚马逊Echo或苹果Siri其后果是，失聪或听力困难（DHH）的人可能无法使用这些语音控制设备。我们发现，聋人语音有一个高的出错率相比，听力语音，在商业语音控制接口。聋人的语言有大约78%的词出错率（WER）相比，听力语言18%的WER。我们的研究结果表明，目前的语音控制接口是不可用的聋人和重听人。因此，寻求其他方法让聋人向计算机传递自然命令可能是明智的。
2019-09-03 cs.HC cs.SD eess.AS
On-Device Personalization of Automatic Speech Recognition Models for Disordered Speech
Google（谷歌）
虽然当前最先进的自动语音识别（ASR）系统在典型语音上实现了高准确度，但是它们在无序语音和其他非典型语音模式上遭受显著的性能降级。ASR模型的个性化（对该问题的常用解决方案）通常在基于服务器的训练环境中执行，从而引起关于数据隐私、延迟的模型更新时间以及用于在移动终端和服务器基础设施之间复制数据和模型的通信成本的问题。在本文中，我们提出了一种基于设备的ASR个性化的方法，具有非常少量的特定于说话者的数据。我们测试了我们的方法在一组不同的100位发言者与无序的讲话，并发现中位数相对字错误率提高了71%，只有50个短的话语，每个发言者。当在语音控制的家庭自动化平台上进行测试时，设备上的个性化模型显示出81%的任务成功率中位数，而未经调整的模型只有40%。
2021-06-18 cs.CL cs.LG cs.SD
Advanced Modeling of Interlanguage Speech Intelligibility Benefit with L1-L2 Multi-Task Learning Using Differentiable K-Means for Accent-Robust Discrete Token-Based ASR
The University of Tokyo（东京大学）；National Institute of Advanced Industrial Science and Technology (AIST)（国家工业科学与技术研究院）
本文提出基于可微k均值的L1-L2多任务学习方法，用于提升抗口音的离散token基于ASR的语义识别益处。
2026-01-27 cs.SD
Intelligibility prediction with a pretrained noise-robust automatic speech recognition model
University of Sheffield（谢菲尔德大学）
本文基于预训练抗噪ASR模型提出侵入式和非侵入式两个语音可懂度预测系统，仅用模拟含噪语音预训练，在CPC2评测中展现了对未见场景的鲁棒预测性能。
2023-10-20 cs.SD eess.AS
BART based semantic correction for Mandarin automatic speech recognition system
Cloudwalk Technology（云从科技）
虽然自动语音识别（ASR）系统近年来取得了显著的进步，但是口语识别错误仍然存在，并且很容易被人类发现。各种语言建模技术已经开发出后识别任务，如语义校正。在本文中，我们提出了一种基于Transformer的语义校正方法与预训练的BART初始化，在10000小时的汉语语音数据集上的实验表明，字符出错率（CER）可以有效地减少21.7%，相对于我们的基线ASR系统。专家评估表明，我们的模型的实际改善超过CER表明。
2021-03-26 cs.CL cs.SD eess.AS
Exploiting Nontrivial Connectivity for Automatic Speech Recognition
Corti, Copenhagen, Denmark（Corti，丹麦哥本哈根）；Technical University of Denmark（丹麦技术大学）
非平凡连通性通过解决梯度消失的问题和提供更有效的参数重用方法，允许训练非常深的网络。在本文中，我们做了比较残差网络，密集连接网络和公路网络的图像分类任务。接下来，我们表明，这些方法可以很容易地部署到自动语音识别，并提供显着的改进现有的模型。
2017-11-28 cs.SD eess.AS stat.ML
Mask scalar prediction for improving robust automatic speech recognition
Google LLC（谷歌有限责任公司）
使用基于神经网络的声学前端来提高流式自动语音识别（ASR）系统的鲁棒性是具有挑战性的，因为前端处理在语音中引入的因果关系约束和所产生的失真。基于时频掩蔽的方法已被证明工作良好，但它们需要额外的超参数来缩放掩蔽以限制语音失真。这种掩码标量通常是手动调整和保守选择的。在这项工作中，我们提出了一种技术来预测掩码标量使用ASR为基础的损失在一个端到端的方式，在整体模型的大小和复杂性的增加最小。我们评估两个强大的ASR任务的方法：多通道增强语音和非语音噪声的存在下，和声学回声消除（AEC）。结果表明，所提出的算法一致地提高了字错误率（WER），而不需要在使用手动调整的超参数的强基线上进行任何额外的调整：在噪声条件下多通道增强高达16%，AEC高达7%。
2022-04-26 cs.SD eess.AS
Large Vocabulary Spontaneous Speech Recognition for Tigrigna
Adama Science and Technology University（阿达玛科技大学）；Addis Ababa University（亚的斯亚贝巴大学）
该论文旨在为提格里尼亚语开发说话人无关的自发语音识别系统，使用Sphinx工具构建声学模型，并用SRIM工具构建语言模型。
2023-10-15 cs.LG cs.SD eess.AS
Fast offline Transformer-based end-to-end automatic speech recognition for real-world applications
Electronics and Telecommunications Research Institute（电子通信研究院）
随着近年来技术的进步，自动语音识别（ASR）在实际应用中得到了广泛的应用。利用有限的资源将大量语音准确转换为文本的效率变得比以往任何时候都更加重要。本文提出了一种基于Transformer的端到端模型来快速识别大型语音库的方法。Transformers提高了许多领域的最先进性能。然而，它们不容易用于长序列。在本文中，提出并测试了各种技术，以加快现实世界的语音识别，包括解码通过多话语批量波束搜索，检测语音结束的基础上的连接主义时间分类（CTC），限制CTC前缀分数，和分裂成短段的长语音。实验进行了Librispeech英语和现实世界的韩国ASR任务，以验证所提出的方法。实验结果表明，该系统可以在3分钟内将8小时的会议发言转换为文本，字符错误率为10.73%，比传统系统低27.1%。
2021-09-11 cs.SD eess.AS
Opportunities & Challenges In Automatic Speech Recognition
GHRCE；S. G. B. Amaravati University（S. G. B. 阿马拉瓦蒂大学）
自动语音识别能够实现广泛的当前和新兴应用，例如自动转录、多媒体内容分析和自然人机界面。本文从语音研究者的角度，对并行性为自动语音识别及相关应用研究提供的机遇和挑战进行了一瞥。计算平台中并行性的增加为语音识别系统提供了三种主要的可能性：在非理想的日常噪声环境中提高识别精度;在语音数据的批处理中增加识别吞吐量;以及在实时使用场景中减少识别延迟。本文介绍了技术挑战，采取的方法，以及未来的研究可能的方向，以指导设计高效的并行软件和硬件基础设施。
2013-05-09 cs.CL cs.SD
Enhancing Indonesian Automatic Speech Recognition: Evaluating Multilingual Models with Diverse Speech Variabilities
Institut Teknologi Bandung（万隆理工学院）；University of Indonesia（印度尼西亚大学）；Japan Advanced Institute of Science and Technology（日本先进科学技术学院）；Nara Institute of Science and Technology（奈良科学技术大学）
本研究评估了MMS和Whisper等多语言模型在多样语音变异性下的印尼语ASR能力，发现微调的Whisper模型表现最佳，且说话风格变异性对模型性能影响最大。
2024-10-14 cs.CL cs.SD eess.AS
Pitch Accent Detection improves Pretrained Automatic Speech Recognition
IT University of Copenhagen（丹麦技术大学）；AppleDenmark（苹果丹麦）
本文提出联合ASR与音高重音检测模型，音高重音检测F1差距缩小41%，ASR在LibriSpeech上WER降低28.3%，凸显预训练模型保留韵律线索的重要性。
2025-08-06 cs.CL cs.SD eess.AS
Homophone-based Label Smoothing in End-to-End Automatic Speech Recognition
UBTECH Robotics Inc（优必选机器人公司）
提出了一种新的标签平滑方法，该方法利用人类语言水平上的先验知识--同音字，用于自动语音识别（ASR）。与前人相比，该方法以更复杂的方式利用了同音字的发音知识。联合学习声学模型和语言模型的端到端ASR模型以及对字符单元的建模是该方法的必要条件。在混合CTC序列到序列模型上的实验表明，该方法可以将字符错误率（CER）绝对降低0.4%。
2020-05-14 cs.CL cs.SD eess.AS
Whisper-AT: Noise-Robust Automatic Speech Recognizers are Also Strong General Audio Event Taggers
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本研究发现语音识别模型Whisper的音频表征与非语音声音高度相关，基于此冻结其主干并添加轻量标记头构建Whisper-AT，以极低额外成本实现单前向传播同时完成语音识别与通用音频事件标记。
2023-07-06 cs.SD eess.AS
Damage Control During Domain Adaptation for Transducer Based Automatic Speech Recognition
NVIDIA（英伟达）
自动语音识别模型经常被修改以提高它们在新领域中的准确性。模型适应新域的潜在缺点是灾难性遗忘，其中原始域上的字出错率显著降低。本文讨论的情况下，我们要同时适应自动语音识别模型到一个新的域，并限制在原始域的准确性下降，而无需访问原始的训练数据集。我们提出了几种技术，例如有限的训练策略和用于传感器编码器，预测和连接器网络的正则化适配器模块。我们将这些方法应用于谷歌语音命令和英国和爱尔兰英语方言语音数据集，并在新的目标域上获得了强有力的结果，同时限制了原始域的退化。
2022-10-06 cs.CL cs.LG cs.SD
