Speech Recovery for Real-World Self-powered Intermittent Devices
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）；City University of Hong Kong（香港城市大学）；University of California, San Diego（加州大学圣地亚哥分校）
语音输入的不完整性严重降低了所有相关语音信号处理应用的性能。虽然已经提出了许多研究来解决这个问题，他们控制的数据丢失的情况下，通过模拟与自定义的掩码长度或大小。此外，掩蔽的定义是不同的所有这些实验设置。本文提出了一种新的间歇性语音恢复（ISR）系统，为现实世界的自供电间歇性设备。三个贡献阶段：插值，增强，并结合应用到ISR系统的语音重建。实验结果表明，我们的恢复系统提高语音质量高达591.7%，同时提高语音清晰度高达80.5%。最重要的是，拟议的ISR系统提高了WER分数高达52.6%。这些有希望的结果不仅证实了重建的有效性，还鼓励了这些无电池可穿戴/物联网设备的使用。
2022-01-24 cs.LG cs.SD eess.AS
Leveraging Phone Mask Training for Phonetic-Reduction-Robust E2E Uyghur Speech Recognition
Xinjiang University（新疆大学）；Tencent Minority-Mandarin Translation（腾讯少数民族-普通话翻译部门）
维吾尔语语音中经常会遇到辅音和元音的压缩，特别是在高速率的自发语音中，这会导致语音识别性能的下降。针对这一问题，本文提出了一种有效的音素模板训练方法，用于基于Conformer的维吾尔语端到端（E2 E）语音识别。其思想是在模型训练过程中随机屏蔽一定比例的手机特征，模拟上述言语现象，便于E2 E模型学习更多的上下文信息。根据实验，上述问题可以大大缓解。此外，对不同的掩蔽单元进行了深入的研究，这表明了我们提出的掩蔽单元的有效性。本文还进一步研究了手机蒙版的遮盖方法和优化填充策略。最后，与没有模板训练的基于Conformer的E2 E基线相比，我们的模型在阅读语音和自发语音上分别表现出约5.51%和12.92%的相对字出错率（WER）降低。在开放源数据THUYG-20的测试集上验证了上述方法，结果显示相对于传统方法有20%的改进。
2022-04-02 cs.SD eess.AS
Large Vocabulary Spontaneous Speech Recognition for Tigrigna
Adama Science and Technology University（阿达玛科技大学）；Addis Ababa University（亚的斯亚贝巴大学）
该论文旨在为提格里尼亚语开发说话人无关的自发语音识别系统，使用Sphinx工具构建声学模型，并用SRIM工具构建语言模型。
2023-10-15 cs.LG cs.SD eess.AS
Noise-Robust ASR for the third 'CHiME' Challenge Exploiting Time-Frequency Masking based Multi-Channel Speech Enhancement and Recurrent Neural Network
Lingban Technology Co., Ltd.（灵伴科技有限公司）
本文介绍了第三届“CHiME”语音分离与识别挑战赛的Lingban参赛情况。提出了一种基于时频掩蔽的语音增强前端，利用多通道相干性和空间信息抑制环境噪声。最先进的语音识别技术，即基于循环神经网络的声学和语言建模、基于状态空间最小贝叶斯风险的判别声学建模和基于i向量的声学条件建模，被仔细地集成到语音识别后端中。为了充分发挥不同技术的优势，进一步提高系统性能，通过格点合并和重评分得到最终的识别结果。在官方数据集上进行的评估证明了所提出的系统的有效性。与最佳基线结果相比，该系统在真实数据测试集上获得了超过57%的相对字出错率降低的一致改进。
2015-09-24 cs.CL cs.SD
Accent-Invariant Automatic Speech Recognition via Saliency-Driven Spectrogram Masking
Department of Computer Engineering, Sharif University of Technology（谢里夫理工大学计算机工程系）；Department of Computer Engineering, University of Tehran（德黑兰大学计算机工程系）
本文提出一种口音不变的ASR框架，通过频谱图分类器捕获口音线索并掩码关键区域进行数据增强，显著降低了英语和波斯语的词错率。
2025-10-10 cs.CL cs.SD eess.AS
Deep Xi as a Front-End for Robust Automatic Speech Recognition
Griffith University（格里菲斯大学）
当前用于鲁棒自动语音识别（ASR）的前端包括用于语音增强的基于掩蔽和映射的深度学习方法。最近提出的一种用于优先SNR估计的深度学习方法，称为DeepXi，能够以比当前基于掩蔽和映射的方法更高的质量和可懂度产生增强的语音。受此启发，我们将Deep Xi作为强大ASR的前端进行研究。使用真实世界的非平稳和有色噪声源在多个SNR水平下对Deep Xi进行评估。我们的实验研究表明，DeepXi作为前端能够产生比最近基于掩蔽和映射的深度学习前端更低的单词错误率。这项工作中的结果表明，Deep Xi是一个可行的前端，能够显着提高ASR系统的鲁棒性。可用性：Deep Xi可在：https://github.com/anicolson/DeepXi
2020-01-28 cs.SD eess.AS eess.SP
Unsupervised Domain Adaptation in Speech Recognition using Phonetic Features
IIT Madras（印度理工学院马德拉斯分校）
自动语音识别是模式识别中的一个难题，因为语音输入中存在多种可变性来源，例如通道变化，输入可能是干净的或有噪声的，说话者可能具有不同的口音和性别变化等。因此，域自适应在语音识别中很重要，其中我们训练特定源域的模型，并在不同的目标域上对其进行测试。在本文中，我们提出了一种技术来执行无监督的基于性别的领域适应语音识别使用语音特征。在TIMIT数据集上进行了实验，使用该方法可以大大降低音素错误率。
2021-08-04 cs.LG cs.SD eess.AS
Voxtlm: unified decoder-only models for consolidating speech recognition/synthesis and speech/text continuation tasks
Carnegie Mellon University（卡内基梅隆大学）；dot Inc.（42dot公司）
本文提出统一仅解码器模型 VoxtLM，通过融合文本词汇与离散语音 token 及特殊 token，支持识别、合成、文本生成和语音续写，并在多项任务上优于单任务模型，且开源数据配方与检查点。
2024-01-24 cs.LG cs.SD eess.AS
Curriculum optimization for low-resource speech recognition
现代端到端语音识别模型在将音频信号转录成书面文本方面显示出惊人的结果。然而，传统的数据馈送流水线对于低资源语音识别来说可能是次优的，这仍然是一项具有挑战性的任务。我们提出了一种自动化的课程学习方法，根据模型在训练时的进度和关于训练示例难度的先验知识来优化训练示例的序列。我们引入了一个新的难度度量，称为压缩比，可以用作各种噪声条件下原始音频的评分函数。所提出的方法提高了语音识别字错误率性能高达33%，相对于基线系统
2022-02-17 cs.LG cs.SD eess.AS
MAGE: A Coarse-to-Fine Speech Enhancer with Masked Generative Model
MAGE通过紧凑稳健的设计提升生成式语音增强效果，采用稀缺感知的粗到细掩码策略，结合轻量级校正模块，实现高效且高质量的语音增强，实验显示在DNS挑战和噪声LibriSpeech上取得最佳感知质量和更低的词错误率。
2026-03-13 cs.SD eess.AS
Selective Masking Adversarial Attack on Automatic Speech Recognition Systems
Wuhan University（武汉大学）
本文提出选择性掩蔽对抗攻击（SMA），针对双说话人同时发声的 ASR 场景，通过选择性掩蔽优化算法生成对抗样本，在 Conformer-CTC 上实现 100% 攻击成功率和 37.15dB 信噪比，优于现有基线。
2025-04-06 cs.CR cs.SD
Training Neural Speech Recognition Systems with Synthetic Speech Augmentation
NVIDIA（英伟达）
构建准确的自动语音识别（ASR）系统需要一个大型数据集，该数据集包含由不同说话者集合产生的多个小时的标记语音样本。缺乏这种开放的免费数据集是阻碍ASR研究进步的主要问题之一。为了解决这个问题，我们建议用合成语音来增强自然语音数据集。我们训练非常大的端到端神经语音识别模型使用LibriSpeech数据集与合成语音增强。这些新的模型实现了最先进的字出错率（WER）的字符级为基础的模型，而无需外部语言模型。
2018-11-02 cs.CL cs.LG cs.SD
Continuous Silent Speech Recognition using EEG
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们探讨了连续无声语音识别使用脑电图（EEG）信号。我们实现了一个连接主义的时间分类（CTC）的自动语音识别（ASR）模型，以翻译并行记录的EEG信号，而受试者正在阅读英语句子在他们的脑海中，没有产生任何语音文本。我们的研究结果证明了利用脑电信号进行连续无声语音识别的可行性。我们证明了我们的结果，有限的英语词汇组成的30个独特的句子。
2020-05-04 cs.LG cs.SD eess.AS
Understanding effect of speech perception in EEG based speech recognition systems
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
与语音并行记录的脑电（EEG）信号用于执行孤立和连续语音识别。在说话过程中，一个人也听到他或她自己的语音，这种语音感知也反映在记录的EEG信号中。在本文中，我们研究是否有可能分离出这个语音感知分量从EEG信号，以设计更强大的EEG为基础的语音识别系统。我们进一步证明了预测EEG信号记录在平行与被动听力，反之亦然，非常低的归一化根均方误差（RMSE）从EEG信号记录在平行说话。最后，我们使用与听、说并行记录的EEG信号演示了孤立和连续语音识别，并使用他们的数据集改进了作者在[1]中演示的先前的连接主义时间分类（CTC）模型结果。
2020-05-29 cs.LG cs.SD eess.AS
SpeechPy - A Library for Speech Processing and Recognition
Virginia Tech（弗吉尼亚理工学院暨州立大学）
SpeechPy是一个开源Python包，包含语音预处理技术，语音功能和重要的后处理操作。它提供了最常用的语音特征，包括MFCC和滤波器组能量以及滤波器组的对数能量。该软件包的目的是为研究人员提供一个简单的工具，用于语音特征提取和自动语音识别和说话人验证等应用程序中的处理目的。
2018-05-25 cs.SD eess.AS
Data Augmentation For Children's Speech Recognition -- The "Ethiopian" System For The SLT 2021 Children Speech Recognition Challenge
Seasalt AI LLC（海盐人工智能有限责任公司）；Xiaoice, Microsoft Corporation（微软公司小冰团队）；Xiaomi Corporation（小米公司）
本文介绍了2021年儿童语音识别挑战赛的“埃塞俄比亚”系统。针对儿童语音识别问题，特别是儿童语音识别训练数据不足的问题，提出了各种数据处理和增强技术。详细的实验设计和进行，以显示每种技术的有效性，在不同的语音识别工具包和模型架构。我们逐步解释了我们如何提出最终系统，该系统在2021年儿童语音识别挑战赛中提供了最先进的结果，在Track 1评估集上获得了21.66%的CER（总体排名第四），在Track 2评估集上获得了16.53%的CER（总体排名第一）。挑战后分析显示，我们的系统实际上在轨道1评估集上实现了18.82%的CER，但我们向轨道1的挑战组织者提交了错误的版本。
2020-11-09 cs.SD eess.AS
Advancing Speech Recognition With No Speech Or With Noisy Speech
Brain Machine Interface Lab The University of Texas at Austin（德克萨斯大学奥斯汀分校脑机接口实验室）
在本文中，我们展示了端到端的连续语音识别（CSR）使用脑电图（EEG）信号，没有语音信号作为输入。实现了基于注意模型的自动语音识别（ASR）和基于连接主义时间分类（CTC）的ASR系统，用于执行识别。我们进一步证明CSR的嘈杂的语音融合EEG功能。
2020-03-15 cs.CL cs.LG cs.SD
End-to-End Neural Systems for Automatic Children Speech Recognition: An Empirical Study
University of Southern California（南加州大学）
包容性和可访问的语音识别技术的一个关键需求是确保其对儿童语音的鲁棒性能。值得注意的是，这包括快速发展的基于神经网络的端到端语音识别系统。与成人语音相比，儿童语音识别由于在声学和语言特征方面的更大的说话者内-间可变性而更具挑战性。此外，缺乏足够和适当的儿童语音资源增加了设计鲁棒的端到端神经架构的挑战。本研究通过对当代最先进的端到端语音识别系统的实证研究，对儿童自动语音识别进行了严格的评估。洞察方面的训练数据的要求，适应儿童数据，儿童年龄的影响，话语长度，不同的架构和损失函数的端到端系统和语言模型的作用上的语音识别性能。
2021-02-19 cs.SD eess.AS
State-of-the-art Speech Recognition using EEG and Towards Decoding of Speech Spectrum From EEG
Brain Machine Interface Lab（脑机接口实验室）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
在本文中，我们首先展示了连续噪声语音识别使用脑电图（EEG）信号的英语词汇使用不同类型的最先进的端到端自动语音识别（ASR）模型，我们进一步提供了使用不同的实验条件下记录的EEG数据获得的结果。最后，我们展示了使用基于长短期记忆（LSTM）的回归模型和基于生成对抗网络（GAN）的模型从EEG信号解码语音频谱。我们的研究结果表明，在不同的实验条件下，连续噪声语音识别的EEG信号的可行性，我们提供了初步的结果，从EEG特征的语音合成。
2020-03-04 cs.SD eess.AS
Implementation Of Tiny Machine Learning Models On Arduino 33 BLE For Gesture And Speech Recognition
Nitte Meenakshi Institute of Technology（尼特·米纳克希技术学院）
在这篇文章中，手势识别和语音识别应用程序实现嵌入式系统与微型机器学习（TinyML）。它具有3轴加速度计，3轴陀螺仪和3轴磁强计。手势识别，为非语言交流提供了一种创新的方法.它在人机交互和手语中有着广泛的应用。在手势识别的实现中，TinyML模型是从EdgeImpulse框架中训练和部署的，用于手势识别，基于手部运动，具有6轴IMU的Arduino Nano 33 BLE设备可以找出手部运动的方向。演讲是一种沟通方式。语音识别是计算机理解人类语音的陈述或命令并作出相应反应的一种方法。语音识别的主要目的是实现人与机器之间的交流。在这里，在语音识别的实现中，TinyML模型是从EdgeImpulse框架中训练和部署的，用于语音识别，并基于人类发音的关键词，具有内置麦克风的Arduino Nano 33 BLE设备可以根据发音的关键词使RGB LED发出红色，绿色或蓝色的光芒。获得每个应用的结果，并在结果部分列出，并给出对结果的分析。
2022-07-23 cs.CV cs.LG cs.SD
Enhancing Automatic Speech Recognition Through Integrated Noise Detection Architecture
Independent Researcher（独立研究者）
通过集成噪声检测架构提升语音识别的准确性和噪声辨别能力
2025-12-02 cs.AI cs.LG cs.SD
Speech Recognition With No Speech Or With Noisy Speech Beyond English
Brain Machine Interface Lab The University of Texas at Austin（德克萨斯大学奥斯汀分校脑机接口实验室）
在本文中，我们展示了连续噪声语音识别使用连接主义时间分类（CTC）模型在有限的中文词汇使用脑电（EEG）特征，没有语音信号作为输入，我们进一步展示了单一的CTC模型基于连续噪声语音识别有限的联合英语和汉语词汇使用脑电特征，没有语音信号作为输入。我们使用最近在[1]中引入的各种EEG特征集来展示我们的结果，并且我们在本文中提出了一种新的深度学习架构，该架构可以使用原始EEG信号对有限的联合英语和汉语词汇进行连续语音识别。
2020-02-27 cs.LG cs.SD eess.AS
Interactive spatial speech recognition maps based on simulated speech recognition experiments
Universität Oldenburg（奥尔登堡大学）
在日常生活中，人类听者的语音识别性能受到各种因素的影响，例如声学环境、说话者和听者的位置、可能受损的听力以及可选的听力设备。预测模型更接近于同时考虑所有需要的因素来预测复杂声学环境中的个体语音识别性能。虽然这样的预测对于严肃的应用可能仍然不够准确，但它们已经可以执行并且需要可访问的表示。在这方面的贡献，语音识别性能的交互式表示提出，它侧重于听众的头部方向和空间维度的声学场景。包括声学渲染模型、听力设备模型和收听者模型的示例性建模工具链被用于生成用于演示目的的数据集。使用空间语音识别地图来探索该数据集，证明了该方法观察可能相关行为的适用性。所提出的表示提供了一个合适的目标，比较和验证不同的建模方法在生态相关的上下文中。最终，它可以作为一种工具，在考虑语音通信的空间和设备的设计中使用经过验证的预测模型。
2021-04-01 cs.SD eess.AS
Recent Progress in the CUHK Dysarthric Speech Recognition System
Chinese University of Hong Kong（香港中文大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
尽管自动语音识别（ASR）技术在过去的几十年中取得了快速的进步，但迄今为止，对无序语音的识别仍然是一项极具挑战性的任务。无序语音对当前主要针对正常语音的基于数据密集型深度神经网络（DNN）的ASR技术提出了广泛的挑战。本文介绍了最近的研究工作，在香港中文大学（CUHK），以提高性能的障碍语音识别系统上最大的公开可用的UASpeech构音障碍语音语料库。一组新的建模技术，包括神经架构搜索，数据增强使用频谱时间扰动，基于模型的说话人自适应和跨域生成的视觉特征的视听语音识别（AVSR）系统框架内，以解决上述挑战。这些技术的结合在UASpeech测试集（16名构音障碍说话者）上产生了最低的已发布单词错误率（WER），为25.21%，并且与中大2018年构音障碍语音识别系统相比，总体WER绝对降低了5.4%（相对降低了17.6%），该系统具有6路DNN系统组合和域外正常语音数据训练系统的交叉自适应。贝叶斯模型自适应还允许使用少至3.06秒的语音来执行对个体构音障碍说话者的快速自适应。这些技术的有效性进一步证明了CUDYS广东话构音障碍语音识别任务。
2022-02-26 cs.AI cs.LG cs.SD
KT-Speech-Crawler: Automatic Dataset Construction for Speech Recognition from YouTube Videos
University of Hamburg（汉堡大学）
在本文中，我们描述了KT-语音爬虫：一种通过抓取YouTube视频来自动构建语音识别数据集的方法。我们概述了几个过滤和后处理步骤，提取可用于训练端到端神经语音识别系统的样本。在我们的实验中，我们证明了一个单核版本的爬虫程序可以在一天内获得大约150小时的转录语音，其中包含估计3.5%的单词错误率出错率。自动收集的样本包含在各种条件下记录的阅读和自发语音，包括背景噪音和音乐，远距离麦克风录音以及各种口音和混响。在对深度神经网络进行语音识别训练时，通过将200小时收集的样本整合到训练集中，我们观察到华尔街日报数据集上的单词出错率降低了约40%。演示（http：//emnlp-demo.lakomkin.me/）和爬虫代码（https：//github.com/EgorLakomkin/KTSpeechCrawler）是公开的。
2019-03-01 cs.CL cs.LG cs.SD
Speech Recognition using EEG signals recorded using dry electrodes
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们使用干电极获得的脑电图（EEG）信号，使用深度学习模型对由三个元音和一个单词组成的有限英语词汇进行语音识别。我们证明了一个测试的准确率为79.07%的子集词汇组成的两个英语元音。我们的研究结果表明，使用干电极记录的EEG信号执行语音识别的任务的可行性。
2020-08-13 cs.LG cs.SD eess.AS
What shall we do with an hour of data? Speech recognition for the un- and under-served languages of Common Voice
Indiana University（印第安纳大学）
这份技术报告描述了为期三周的冲刺的方法和结果，为Common Voice项目的31种服务不足的语言制作可部署的语音识别模型。我们概述了预处理步骤，超参数选择，以及官方测试集的准确性。除此之外，我们还评估了多个任务的模型：封闭词汇语音识别，预转录，强制对齐和关键词定位。下面的实验使用Coqui STT，这是一个用于训练和部署神经语音到文本模型的工具包。
2021-05-10 cs.CL cs.LG cs.SD
The RoyalFlush Automatic Speech Diarization and Recognition System for In-Car Multi-Channel Automatic Speech Recognition Challenge
Hithink RoyalFlush AI Research Institute（日立金科AI研究院）
本文提出 RoyalFlush 车载多通道 ASR 挑战赛系统，结合端到端说话人日志分离与自监督表示的 ASR 模型，显著降低 DER，并在两条赛道取得优异 CER 与 cpCER。
2024-05-09 cs.SD eess.AS
Catch Me If You Can: Blackbox Adversarial Attacks on Automatic Speech Recognition using Frequency Masking
University of Edinburgh（爱丁堡大学）
自动语音识别（ASR）模型是普遍的，特别是在用于家用电器的语音导航和话音控制的应用中。ASR的计算核心是深度神经网络（DNN），已被证明易受对抗性扰动的影响;很容易被攻击者滥用以生成恶意输出。为了帮助测试ASRS的安全性和鲁棒性，我们提出了生成黑盒（与DNN无关）的技术，这些技术可以跨ASR进行无针对性的对抗攻击。这与专注于白盒目标攻击的现有工作形成对比，这些攻击耗时且缺乏可移植性。我们的技术生成对抗攻击，通过使用心理声学模型操纵音频信号，保持音频扰动低于人类感知的阈值，没有人类可听的差异。我们使用三种流行的ASR和两个输入音频数据集，使用的指标-字出错率（WER）的输出转录，原始音频的相似性，攻击成功率不同的ASR和检测分数的防御系统，我们的技术评估的可移植性和有效性。我们发现我们的对抗攻击可以跨ASR进行移植，不容易被最先进的防御系统检测到，并且在输出传输上有显著差异，同时听起来与原始音频相似。
2022-04-12 cs.CL cs.SD cs.SE
A Study of Enhancement, Augmentation, and Autoencoder Methods for Domain Adaptation in Distant Speech Recognition
Massachusetts Institute of Technology（麻省理工学院）
在近距离说话语音上训练的语音识别器不能推广到远距离语音，并且单词出错率降级可以高达40%绝对值。大多数研究集中在解决遥远的语音识别作为一个单独的问题，留下很少的努力，以适应近距离说话的语音识别器，以遥远的语音。在这项工作中，我们回顾了几种方法从领域自适应的角度来看。这些方法，包括语音增强，多条件训练，数据增强，和自动编码器，都涉及域之间的数据转换。我们在AMI数据集上进行实验，这些方法可以在相同的受控设置下实现。这些方法在各自的假设下导致不同程度的改善。本文的目的是量化和表征这两个领域之间的性能差距，为研究语音识别器从近距离语音到远距离语音的适应性奠定基础。我们的研究结果也对提高远距离语音识别有一定的意义。
2018-06-13 cs.CL cs.LG cs.SD
Augmenting Polish Automatic Speech Recognition System With Synthetic Data
Samsung R&D Institute Poland（三星波兰研发研究院）；Samsung AI Center Warsaw（三星华沙人工智能中心）
针对Poleval 2024波兰语自动语音识别挑战赛，研究提出基于Voicebox的语音合成流水线，用合成数据增强Conformer和Whisper模型，证实该方法可显著提升识别效果并给出竞赛最终成绩。
2024-10-30 cs.SD eess.AS
Aphasic Speech Recognition using a Mixture of Speech Intelligibility Experts
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
鲁棒的语音识别是自动失语语音分析中语义特征提取的关键前提。然而，标准的通用自动语音识别模型在应用于失语症语音时表现不佳。这样做的一个原因是由于不同的严重程度（即，更高的严重性使其本身更难理解）。为了解决这个问题，我们提出了一种新的声学模型的基础上的混合专家（MoE），它处理不同的可懂度阶段，目前在失语症的语音明确定义的严重程度为基础的专家。在测试时，每个专家的贡献是决定通过估计语音清晰度与语音清晰度检测器（SID）。我们表明，我们提出的方法显着降低了电话错误率在失语症语音的所有严重程度阶段相比，基线方法，不将严重程度的信息到建模过程中。
2020-08-25 cs.SD eess.AS
Dementia Assessment Using Mandarin Speech with an Attention-based Speech Recognition Encoder
National Tsing Hua University（国立清华大学）；Shuang-Ho Hospital（双和医院）；Taipei Medical University（台北医学大学）；Taipei Medical University Hospital（台北医学大学附设医院）
针对痴呆症诊断复杂耗时的问题，本研究提取基于注意力的普通话语音识别模型编码器并加线性层构建评估系统，在99名受试者数据上实现92.04%的阿尔茨海默病检测准确率与9%的临床痴呆评分预测平均绝对误差。
2023-12-15 cs.CL cs.LG cs.SD
Sentiment-Aware Automatic Speech Recognition pre-training for enhanced Speech Emotion Recognition
Amazon（亚马逊公司）
提出了一种新的语音情感识别多任务预训练方法。我们在自动语音识别（ASR）和情感分类任务上同时预训练SER模型，以使声学ASR模型更具"情感意识“。我们使用在公开数据上训练的文本到情感模型来生成情感分类的目标。最后，我们对情感注释语音数据的声学ASR进行微调。我们在MSP播客数据集上评估了所提出的方法，在那里我们实现了最好的一致性相关系数（CCC）为0.41的效价预测。
2022-01-27 cs.CL cs.SD eess.AS
EEG based Continuous Speech Recognition using Transformers
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们研究连续语音识别使用脑电图（EEG）的功能，使用最近推出的端到端的Transformer为基础的自动语音识别（ASR）模型。我们的研究结果表明，基于Transformer的模型表现出更快的训练相比，基于递归神经网络（RNN）的序列到序列EEG模型和更好的性能在推理时间较小的测试集词汇，但随着我们增加的词汇量，基于RNN的模型的性能优于基于Transformer的模型在有限的英语词汇。
2020-05-05 cs.LG cs.SD eess.AS
Practical Speech Recognition with HTK
Politeknik Negeri Ambon（安汶国立理工学院）
本文综述了用HTK开发自动语音识别系统的实践情况。解释了有关所使用的硬件、软件、库、应用程序和计算机程序的步骤。总结了快速应用语音识别系统的一般步骤。该过程被示出，以实现基于语音的电气开关在家庭自动化的印度尼西亚语。该过程的主要关键是使用测试程序HVite记录的训练数据匹配训练和测试环境。HTK的静音检测器经常被噪音错误地触发，因为麦克风太敏感了。这个问题可以通过简单地缩小体积来缓解。在这种基于子词音素的语音识别中，噪声被包括在训练数据库中并被特别标记。该过程的图示被应用于家庭自动化应用。电器开关由印尼语语音识别器控制。结果显示命令完成率为100%。
2019-08-06 cs.HC cs.LG cs.SD
Brain Signals to Rescue Aphasia, Apraxia and Dysarthria Speech Recognition
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Austin Speech Labs（奥斯汀言语实验室）
在本文中，我们提出了一种基于深度学习的算法，通过利用与失语症、失用症和构音障碍语音同步记录的脑电图（EEG）特征，来提高失语症、失用症和构音障碍语音的自动语音识别（ASR）系统的性能。我们证明了一个显着的解码性能提高超过50\%，在测试时间为孤立的语音识别任务，我们还提供了初步的结果表明，性能提高更具挑战性的连续语音识别任务，利用EEG功能。本文提出的结果表明，第一步证明利用非侵入性神经信号设计一个实时的强大的语音修复中风幸存者从失语症，失用症，构音障碍恢复的可能性。我们的失语症，失用症和构音障碍的语音脑电图数据集将向公众发布，以帮助进一步推进这一有趣而重要的研究。
2021-07-18 cs.LG cs.SD eess.AS
Streaming Decoder-Only Automatic Speech Recognition with Discrete Speech Units: A Pilot Study
Northwestern Polytechnical University（西北工业大学）；Du Xiaoman Financial（度小满金融）
本文提出一种基于离散语音单元和专用边界token的流式仅解码器ASR模型，通过因果注意力掩码、右块注意力及数据增强，在AISHELL数据集上取得与非流式方法相当的性能。
2024-06-27 cs.SD eess.AS
LeVoice ASR Systems for the ISCSLP 2022 Intelligent Cockpit Speech Recognition Challenge
本文介绍了LeVoice自动语音识别系统，以跟踪2022年智能驾驶舱语音识别挑战赛2。Track 2是一个语音识别任务，对模型大小的范围没有限制。我们的主要观点包括基于深度学习的语音增强，基于文本到语音的语音生成，通过各种技术进行训练数据增强和语音识别模型融合。对混合架构和两种端到端架构进行了比较和融合。对于端到端建模，我们使用基于连接主义时间分类/基于注意力的编码器-解码器架构和递归神经网络换能器/基于注意力的编码器-解码器架构的模型。这些模型的性能评估与一个额外的语言模型，以提高单词错误率。结果表明，该系统在挑战测试集数据上的字符错误率为10.2%，在提交的挑战系统中排名第三。
2022-10-17 cs.SD eess.AS
The History of Speech Recognition to the Year 2030
从2010年到2020年的十年间，自动语音识别取得了显著的进步。许多人现在每天都在使用语音识别，例如执行语音搜索查询，发送短信，以及与亚马逊Alexa和苹果Siri等语音助手进行交互。在2010年之前，大多数人很少使用语音识别。在过去的十年里，语音识别发生了巨大的变化，我们对未来的十年有何期待？我试图预测到2030年语音识别的研究和应用状况。虽然一般语音识别准确性的变化不会像前十年那样引人注目，但我认为我们面前的语音技术将迎来一个令人兴奋的十年。
2021-07-30 cs.CL cs.SD eess.AS
A Transfer Learning Method for Speech Emotion Recognition from Automatic Speech Recognition
Columbia University（哥伦比亚大学）；Recognition Technologies, Inc.（识别技术公司）
提出了一种基于时延神经网络（TDNN）结构的语音情感识别迁移学习方法。当前基于语音的情感检测研究的一个主要挑战是数据稀缺。所提出的方法解决了这个问题，通过应用迁移学习技术，以利用数据的自动语音识别（ASR）任务，其中有足够的数据。我们的实验还显示了扬声器类自适应建模技术的优势，通过采用基于身份向量（i向量）的功能，除了标准的梅尔频率倒谱系数（MFCC）功能。[1]我们证明了迁移学习模型在没有对ASR进行预训练的情况下显着优于其他方法。实验在公开的IEMOCAP数据集上进行，该数据集提供了12小时的运动语音数据。迁移学习是通过使用Ted-Lium v.2语音数据集进行初始化的，该语音数据集提供了207小时的音频和相应的转录本。与最先进的技术相比，我们使用五重交叉验证实现了最高的显著更高的准确性。仅使用语音，我们获得了71.7%的准确率为愤怒，兴奋，悲伤和中性情绪内容。
2020-08-15 cs.HC cs.LG cs.SD
Automatic Speech Recognition for Speech Assessment of Persian Preschool Children
University of Tehran（德黑兰大学）
针对现有ASR系统因预训练语音特性不适配儿童语音、无法用于波斯语学龄前儿童言语评估的问题，本研究为Wav2Vec 2.0新增随机频率音高训练目标，结合新数据集微调，在多项测试及零少样本场景下均取得更优表现。
2023-08-24 cs.CL cs.SD eess.AS
Robust Raw Waveform Speech Recognition Using Relevance Weighted Representations
Indian Institute of Science（印度科学研究所）
在噪声和信道失真的情况下的语音识别通常是具有挑战性的，因为当前的声学建模方案不适应于在存在噪声的情况下信号分布的变化。在这项工作中，我们开发了一种新的声学建模框架噪声鲁棒语音识别的基础上相关加权机制。使用子网络方法执行特征选择来实现相关性加权。在对原始语音信号进行操作的卷积网络模型的第一层的输出上应用相关子网络，而在第二卷积层输出上应用第二相关子网络。第一层的相关性权重对应于声学滤波器组选择，而第二层中的相关性权重执行调制滤波器选择。该模型被训练用于对有噪声和混响语音的语音识别任务。在多个数据集（Aurora-4、CHiME-3、VOiCES）上的语音识别实验表明，在神经网络架构中结合相关性加权显著改善了语音识别单词错误率（相对于基线系统平均相对改善10%）。
2020-10-29 cs.SD eess.AS
Unsupervised Speech Enhancement with speech recognition embedding and disentanglement losses
The Graduate Center, CUNY（纽约市立大学研究生中心）；Microsoft Research（微软研究院）
语音增强最近通过各种深度学习方法取得了巨大成功。然而，大多数传统的语音增强系统是用监督方法训练的，这带来了两个重大挑战。首先，用于语音增强系统的大多数训练数据集是合成的。当混合干净的语音和嘈杂的语料库来创建合成数据集时，在嘈杂的语音或音频的合成和真实世界的记录之间发生域不匹配。其次，在提高语音增强性能和降低语音识别（ASR）性能之间存在权衡。因此，我们提出了一个无监督的损失函数来解决这两个问题。我们的函数是通过扩展MixIT损失函数与语音识别嵌入和解纠缠损失来开发的。我们的研究结果表明，该函数有效地提高了语音增强的性能相比，在嘈杂的VoxCeleb数据集上的监督方式训练的基线。虽然完全无监督训练无法超过相应的基线，但通过联合超级和无监督训练，系统能够实现与最佳监督基线相似的语音质量和更好的ASR性能。
2022-02-19 cs.SD eess.AS
JTubeSpeech: corpus of Japanese speech collected from YouTube for speech recognition and speaker verification
The University of Tokyo（东京大学）；Technical University of Munich（慕尼黑工业大学）；Tokyo Metropolitan University（东京都立大学）；Carnegie Mellon University（卡内基梅隆大学）
本文构建了一个新的日语语音语料库“JTubeSpeech”。“虽然最近的端到端学习需要大型语音语料库，但尚未建立英语以外语言的开源语料库。在本文中，我们描述了一个语料库的建设从YouTube视频和字幕的语音识别和说话人验证。我们的方法可以自动过滤视频和字幕，几乎没有语言依赖的过程。我们一贯采用基于连接主义时间分类（CTC）的自动语音识别（ASR）和自动说话人验证（ASV）的基于说话人变异的方法的技术。我们建立了1）一个大规模的日本ASR基准，拥有超过1，300小时的数据，2）日本ASV的900小时数据。
2021-12-17 cs.SD eess.AS
Data Augmentation with Locally-time Reversed Speech for Automatic Speech Recognition
The Chinese University of Hong Kong（香港中文大学）
心理声学研究表明，局部时间反转（LTR）语音，即，在短段内时间反转的信号样本可以被人类收听者准确地识别。本研究解决了最先进的自动语音识别（ASR）系统对LTR语音的性能如何的问题。其基本目标是探索在端到端（E2 E）ASR模型的训练中部署LTR语音的可行性，作为提高识别性能的数据增强的尝试。本研究从实验开始，以了解LTR语音对通用ASR的影响。呈现并评估具有5 ms - 50 ms的反转段持续时间的LTR语音。对于使用LTR语音的ASR训练数据增强，通过将自然语音与LTR语音的不同分区组合来创建训练集。在不同语言和说话风格的语音语料库上的ASR结果证实了数据增强的有效性。研究发现，在15 ms - 30 ms的反向段长的LTR语音上的ASR比在其他段长的LTR语音上的ASR具有更低的错误率。使用这些LTR语音的数据增强实现了对ASR性能的满意和一致的改善。
2021-10-09 cs.SD eess.AS
Speech-Mamba: Long-Context Speech Recognition with Selective State Spaces Models
Institute for Infocomm Research, Agency for Science, Technology；Research (A STAR), Singapore
针对Transformer模型处理长语音序列复杂度高的问题，提出Speech-Mamba架构，通过融合选择性状态空间模型与Transformer低层特征，实现近线性扩展并显著提升长程依赖建模能力。
2024-09-27 cs.SD eess.AS
End-to-End Integration of Speech Recognition, Speech Enhancement, and Self-Supervised Learning Representation
Carnegie Mellon University（卡内基梅隆大学）；Yahoo Japan Corporation（雅虎日本公司）
本文提出了一种端到端（E2 E）的自动语音识别（ASR）模型，该模型以鲁棒的语音识别为目标，称为增强语音输入的集成语音识别自监督学习表示（IRIS）。与传统的E2 E ASR模型相比，该模型集成了语音增强（SE）和自监督学习表示（SSLR）两个重要模块。SE模块增强带噪语音。然后，SSLR模块从增强的语音中提取用于语音识别（ASR）的特征。为了对模型进行训练，我们建立了一个有效的学习方案。单声道CHiME-4任务的评估结果表明，IRIS模型在单声道CHiME-4基准测试中实现了文献报道的最佳性能（实际开发为2.0%，实际测试为3.9%），这要归功于强大的预训练SSLR模块和微调的SE模块。
2022-04-01 cs.CL cs.SD eess.AS
Improving Speech Recognition on Noisy Speech via Speech Enhancement with Multi-Discriminators CycleGAN
University of Stuttgart（斯图加特大学）
本文介绍了我们最新的研究，提高自动语音识别的噪声语音通过语音增强。我们提出了一种新的方法称为多鉴别器CycleGAN，以减少输入语音的噪声，从而提高自动语音识别的性能。我们提出的方法利用CycleGAN框架进行语音增强，而不需要任何并行数据，并通过引入多个鉴别器来检查不同的频率区域来改进它。此外，我们表明，在训练数据的同质子集上训练多个生成器优于在所有训练数据上训练一个生成器。我们在CHiME-3数据集上评估了我们的方法，并在开发集上观察到高达10.03%的相对WER改善，在评估集上观察到高达14.09%。
2021-12-12 cs.CL cs.SD eess.AS
Speech Recognition with Augmented Synthesized Speech
Google（谷歌公司）
最近Tacotron语音合成结构及其变体在产生自然发声的多说话者合成语音方面的成功已经提高了替代用于训练语音识别器的昂贵的、手动转录的、特定领域的人类语音的令人兴奋的可能性。多说话者语音合成架构可以学习从输入声学表示导出的韵律、说话者和风格变化的潜在嵌入空间，从而允许对合成语音的操纵。在本文中，我们评估的可行性，提高语音识别性能使用语音合成使用两个语料库从不同的领域。我们探索算法，以提供必要的声学和词汇的多样性需要强大的语音识别。最后，我们证明了这种方法的可行性，作为一个数据增强策略域转移。我们发现，语音识别性能的改善是可以实现的，通过增加合成材料的训练数据。然而，在人类语音训练的识别器与合成语音训练的识别器之间的性能仍然存在很大的差距。
2019-09-25 cs.CL cs.SD eess.AS
MoLE : Mixture of Language Experts for Multi-Lingual Automatic Speech Recognition
NAVER Cloud（NAVER 云）
多语言语音识别的目标是区分不同语言的语言表达，同时集成声学处理。相比之下，当前的多语言语音识别研究遵循语言感知范式，主要针对提高识别性能而不是区分语言特征。在本文中，我们提出了一个多语言语音识别网络命名为混合的语音识别专家（MoLE），它在各种语言的语音识别。具体来说，MoLE从任意语言的输入语音中分析语言表达，使用轻量级语言标记器激活特定语言的专家。标记器不仅激活专家，而且还估计激活的可靠性。基于可靠性，激活的专家和语言不可知的专家聚集来表示语言条件的嵌入，用于高效的语音识别。我们提出的模型在5种语言的情况下进行评估，实验结果表明，我们的结构是有利的多语言识别，特别是在低资源语言的语音。
2023-02-27 cs.CL cs.SD eess.AS
PM-MMUT: Boosted Phone-Mask Data Augmentation using Multi-Modeling Unit Training for Phonetic-Reduction-Robust E2E Speech Recognition
Xinjiang University（新疆大学）；Tencent Minority-Mandarin Translation（腾讯民族语言-普通话翻译团队）；Xinjiang Key Laboratory of Multi-lingual Information Technology（新疆多语种信息技术重点实验室）
在自动语音识别（ASR）中，辅音和元音的减少会导致识别性能下降。我们最近提出的基于掩蔽的学习策略，电话掩蔽训练（PMT），阐明了这种现象在维吾尔语ASR中的影响。虽然PMT取得了显着的改进，仍然存在进一步的增益空间，由于PMT的掩蔽单元（音素）和建模单元（词片）之间的粒度不匹配。为了提高PMT的性能，我们提出了多建模单元训练（MMUT）架构融合PMT（PM-MMUT）。MMUT框架的思想是将编码器分成两部分，包括声学特征序列到音素级表示（AF-to-PLR）和音素级表示到词段级表示（PLR-to-WPLR）。它允许AF-到-PLR通过基于中间音素的CTC损失来优化，以学习PMT带来的丰富的音素级上下文信息。在维吾尔语语音识别系统上的实验结果表明，该方法的识别性能明显优于纯PMT。我们还使用ESPnet 1在960小时的Libripeech基准上进行了实验，与最新的官方ESPnet 1预训练模型相比，在没有LM融合的情况下，所有测试集的相对WER降低了约10%。
2022-07-03 cs.CL cs.SD eess.AS
The Effectiveness of Time Stretching for Enhancing Dysarthric Speech for Improved Dysarthric Speech Recognition
Delft University of Technology（代尔夫特理工大学）；Netherlands Cancer Institute（荷兰癌症研究所）；University of Amsterdam（阿姆斯特丹大学）
在本文中，我们研究了几种现有的和一种新的最先进的基于生成对抗网络（GAN）的语音转换方法，用于增强构音障碍语音，以改进构音障碍语音识别。我们比较现有方法的关键组成部分，作为严格的消融研究的一部分，以找到最有效的解决方案，以改善构音障碍的语音识别。我们发现，简单的信号处理方法，如静态噪声去除和基于声码器的时间拉伸，导致构音障碍的语音识别结果与使用最先进的基于GAN的语音转换方法时获得的结果相当，如使用音素识别任务测量的。此外，与我们的时间拉伸基线相比，我们提出的MaskCycleGAN-VC和时间拉伸增强相结合的解决方案能够改善某些构音障碍说话者的音素识别结果。
2022-01-13 cs.AI cs.SD eess.AS
Towards End-to-end Unsupervised Speech Recognition
Meta AI；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
无监督语音识别显示出巨大的潜力，使自动语音识别（ASR）系统可访问的每一种语言。然而，现有的方法仍然严重依赖于手工制作的预处理。与使监督语音识别端到端的趋势类似，我们引入了wav 2 vec-U 2.0，它取消了所有音频端的预处理，并通过更好的架构提高了准确性。此外，我们引入了一个辅助的自监督目标，将模型预测与输入联系起来。实验表明，wav 2 vec-U 2.0改进了不同语言的无监督识别结果，同时在概念上更简单。
2022-06-15 cs.CL cs.SD eess.AS
