Advancing Speech Recognition With No Speech Or With Noisy Speech
Brain Machine Interface Lab The University of Texas at Austin（德克萨斯大学奥斯汀分校脑机接口实验室）
在本文中，我们展示了端到端的连续语音识别（CSR）使用脑电图（EEG）信号，没有语音信号作为输入。实现了基于注意模型的自动语音识别（ASR）和基于连接主义时间分类（CTC）的ASR系统，用于执行识别。我们进一步证明CSR的嘈杂的语音融合EEG功能。
2020-03-15 cs.CL cs.LG cs.SD
Noise robust speech emotion recognition with signal-to-noise ratio adapting speech enhancement
Columbia University（哥伦比亚大学）；Academia Sinica（中央研究院）
提出NRSER系统，结合语音增强与信噪比级别检测，提升语音情感识别在噪声环境下的鲁棒性，并防止对纯噪声信号做出情感预测。
2023-09-03 cs.LG cs.SD eess.AS
Curriculum optimization for low-resource speech recognition
现代端到端语音识别模型在将音频信号转录成书面文本方面显示出惊人的结果。然而，传统的数据馈送流水线对于低资源语音识别来说可能是次优的，这仍然是一项具有挑战性的任务。我们提出了一种自动化的课程学习方法，根据模型在训练时的进度和关于训练示例难度的先验知识来优化训练示例的序列。我们引入了一个新的难度度量，称为压缩比，可以用作各种噪声条件下原始音频的评分函数。所提出的方法提高了语音识别字错误率性能高达33%，相对于基线系统
2022-02-17 cs.LG cs.SD eess.AS
Training Neural Speech Recognition Systems with Synthetic Speech Augmentation
NVIDIA（英伟达）
构建准确的自动语音识别（ASR）系统需要一个大型数据集，该数据集包含由不同说话者集合产生的多个小时的标记语音样本。缺乏这种开放的免费数据集是阻碍ASR研究进步的主要问题之一。为了解决这个问题，我们建议用合成语音来增强自然语音数据集。我们训练非常大的端到端神经语音识别模型使用LibriSpeech数据集与合成语音增强。这些新的模型实现了最先进的字出错率（WER）的字符级为基础的模型，而无需外部语言模型。
2018-11-02 cs.CL cs.LG cs.SD
SpeechEQ: Speech Emotion Recognition based on Multi-scale Unified Datasets and Multitask Learning
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
语音情感识别（SER）面临着许多挑战，但主要挑战之一是每个框架没有统一的标准。在本文中，我们提出了SpeechEQ，一个框架，统一SER任务的基础上，一个多尺度的统一度量。该度量可以通过多任务学习（MTL）来训练，该多任务学习包括情绪状态类别（EIS）和情绪强度量表（EIS）两个情绪识别任务以及音素识别和性别识别两个辅助任务。为此，我们建立了一个普通话SER数据集- SpeechEQ数据集（SEQD）。我们在CASIA和ESD中文数据集上进行了实验，结果表明，我们的方法比基线方法有较大的提高，准确率分别提高了8.0%和6.5%。对具有四种情绪类别的IEMOCAP的附加实验（即，愤怒、快乐、悲伤和中性）也表明所提出的方法实现了78.16%的加权准确度（WA）和77.47%的未加权准确度（UA）的最新水平。
2022-07-28 cs.LG cs.SD eess.AS
Continuous Speech Recognition using EEG and Video
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们研究是否可以使用脑电（EEG）的功能，以提高连续视觉语音识别系统的性能。我们实现了一个连接主义的时间分类（CTC）为基础的端到端的自动语音识别（ASR）模型进行识别。我们的研究结果表明，脑电特征有助于提高连续视觉语音识别系统的性能。
2019-12-27 cs.LG eess.AS eess.IV
DeepEMO: Deep Learning for Speech Emotion Recognition
Technidoo Solutions Lab（Technidoo Solutions实验室）；Mongolian University of Science and Technology（蒙古科技大学）
我们提出了用于语音情感识别任务的行业级深度学习方法。在工业中，精心提出的深度迁移学习技术显示出了实际的结果，这是由于训练数据的可用性、机器训练成本以及对专用AI任务的专门学习都很低。提出的语音识别框架称为DeepEMO，由两个主要管道组成，即提取有效主要特征的预处理和用于训练和识别的深度迁移学习模型。主要源代码在https://github.com/enkhtogtokh/deepemo存储库中
2021-09-09 cs.LG cs.SD eess.AS
Multiple Confidence Gates For Joint Training Of SE And ASR
语音增强模型（SE）和语音识别模型（ASR）的联合训练是噪声环境下鲁棒ASR的常见解决方案。增强后的语音特征分布具有不确定性，不利于语音识别。为了应对这一挑战，提出了一种具有多个置信门的SE和ASR联合训练方法。在联合训练中，设计了一个语音置信门预测模块来代替原来的SE模块。带噪语音通过门滤波获得更容易被ASR网络拟合的特征。实验结果表明，在纯净语音、合成带噪语音和真实带噪语音的测试集上，该方法比传统的鲁棒语音识别系统具有更好的性能。
2022-04-01 eess.AS
Confidence Estimation for Black Box Automatic Speech Recognition Systems Using Lattice Recurrent Neural Networks
University of Cambridge（剑桥大学）；University of Sheffield（谢菲尔德大学）
最近，语音转录服务的提供商有所增长，使其他人能够利用他们通常无法使用的技术。因此，支持语音的解决方案已经变得司空见惯。它们的成功关键取决于底层语音转录系统的质量、准确性和可靠性。然而，这些黑盒系统提供有限的质量控制手段，因为通常只有字序列可用。本文探讨了这种有限的资源情况下的信心估计，一种常用的措施，以评估转录的可靠性。特别是，它探讨了在转录过程中可用的词和子词级信息的其他来源可以用来提高置信度分数。为了对所有这些信息进行编码，本文扩展了格递归神经网络来处理子词。使用IARPA OpenKWS 2016评估系统的实验结果表明，使用附加信息可以显著提高置信度估计精度。这个模型的实现可以在网上找到。
2020-03-15 cs.LG cs.SD eess.AS
Interactive Feature Fusion for End-to-End Noise-Robust Speech Recognition
Nanyang Technological University（南洋理工大学）
语音增强（speech enhancement，SE）的目的是抑制含噪语音信号中的加性噪声，以提高语音的感知质量和可懂度。然而，增强语音中的过抑制现象可能会降低下游的自动语音识别（ASR）任务的性能，由于丢失的潜在信息。为了缓解这个问题，我们提出了一个交互式的特征融合网络（IFF-Net）的噪声鲁棒语音识别学习互补的信息，从增强功能和原始的噪声功能。实验结果表明，该方法实现了绝对词错误率（WER）降低4.1%的最佳基线上的RATS EQUIPEL-A语料库。我们进一步的分析表明，建议的IFF-Net可以补充一些丢失的信息，在过度抑制的增强功能。
2022-04-08 cs.LG cs.SD eess.AS
TinySpeech: Attention Condensers for Deep Speech Recognition Neural Networks on Edge Devices
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；DarwinAI Corp.（达尔文人工智能公司）
深度学习的进步已经在众多语音识别任务中实现了最先进的性能。然而，用于设备上语音识别的深度神经网络的广泛部署仍然是一个挑战，特别是在存储器和计算资源高度受限的边缘场景中（例如，低功耗嵌入式设备）或专用于语音识别的存储器和计算预算较低的情况（例如，执行除语音识别之外的许多任务的移动设备）。在这项研究中，我们引入了注意力凝聚器的概念，用于构建低占用空间，高效的深度神经网络，用于边缘上的设备上语音识别。注意冷凝器是一种自我注意机制，它学习并产生表征联合局部和跨通道激活关系的浓缩嵌入，并相应地执行选择性注意。为了说明其有效性，我们介绍了TinySpeech，低精度深度神经网络，主要包括使用机器驱动的设计探索策略为设备上的语音识别量身定制的注意力冷凝器，其中一个专门针对微控制器操作约束。在有限词汇量语音识别的Google Speech Commands基准数据集上的实验结果表明，与以前的工作相比，TinySpeech网络实现了显着降低的架构复杂性（$507\times$更少的参数），更低的计算复杂性（$48\times$更少的乘加运算）和更低的存储要求（$2028\times$更低的权重内存要求）。这些结果不仅证明了注意力冷凝器在构建高效的设备上语音识别网络方面的有效性，还阐明了其在边缘加速深度学习和增强TinyML应用程序的潜力。
2020-10-12 cs.LG cs.NE eess.AS
Continuous Silent Speech Recognition using EEG
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们探讨了连续无声语音识别使用脑电图（EEG）信号。我们实现了一个连接主义的时间分类（CTC）的自动语音识别（ASR）模型，以翻译并行记录的EEG信号，而受试者正在阅读英语句子在他们的脑海中，没有产生任何语音文本。我们的研究结果证明了利用脑电信号进行连续无声语音识别的可行性。我们证明了我们的结果，有限的英语词汇组成的30个独特的句子。
2020-05-04 cs.LG cs.SD eess.AS
Synth2Aug: Cross-domain speaker recognition with TTS synthesized speech
Google LLC（谷歌有限责任公司）；DeepMind（深度思维）
近年来，文语转换（TTS）已被用作语音识别的数据增强技术，以帮助补充训练数据中的不足。相应地，我们研究了使用多说话人TTS系统来合成支持说话人识别的语音。在这项研究中，我们专注于任务的分析，其中一个相对较少的扬声器可用于培训。我们在我们的数据集上观察到，TTS合成语音提高了跨域说话人识别性能，并且可以有效地与多风格训练相结合。此外，我们探讨了不同类型的文本转录用于TTS合成的有效性。结果表明，匹配目标域的文本内容是一个很好的做法，如果这是不可行的，一个足够大的词汇量的成绩单建议。
2020-11-24 cs.LG cs.SD eess.AS
Transformer-based language modeling and decoding for conversational speech recognition
Columbia University in the City of New York（纽约哥伦比亚大学）
我们提出了一种在会话语音识别中使用基于转换器的语言模型的方法。具体来说，我们专注于解码有效地加权有限状态换能器框架。我们展示了一种方法，格重新评分，允许更长的范围内的历史记录捕获的一个基于多变量的语言模型，并利用一个Transformer的能力，以避免计算顺序。
2020-01-04 cs.CL cs.LG eess.AS
Understanding effect of speech perception in EEG based speech recognition systems
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
与语音并行记录的脑电（EEG）信号用于执行孤立和连续语音识别。在说话过程中，一个人也听到他或她自己的语音，这种语音感知也反映在记录的EEG信号中。在本文中，我们研究是否有可能分离出这个语音感知分量从EEG信号，以设计更强大的EEG为基础的语音识别系统。我们进一步证明了预测EEG信号记录在平行与被动听力，反之亦然，非常低的归一化根均方误差（RMSE）从EEG信号记录在平行说话。最后，我们使用与听、说并行记录的EEG信号演示了孤立和连续语音识别，并使用他们的数据集改进了作者在[1]中演示的先前的连接主义时间分类（CTC）模型结果。
2020-05-29 cs.LG cs.SD eess.AS
Speech Encoder Fusion for LLM-based Automatic Speech Recognition
KU Leuven（鲁汶大学）
研究融合多个预训练语音编码器以增强基于LLM的ASR性能，提出多种融合策略并在多场景下验证其有效性。
2026-06-09 eess.AS
Speech Recognition With No Speech Or With Noisy Speech Beyond English
Brain Machine Interface Lab The University of Texas at Austin（德克萨斯大学奥斯汀分校脑机接口实验室）
在本文中，我们展示了连续噪声语音识别使用连接主义时间分类（CTC）模型在有限的中文词汇使用脑电（EEG）特征，没有语音信号作为输入，我们进一步展示了单一的CTC模型基于连续噪声语音识别有限的联合英语和汉语词汇使用脑电特征，没有语音信号作为输入。我们使用最近在[1]中引入的各种EEG特征集来展示我们的结果，并且我们在本文中提出了一种新的深度学习架构，该架构可以使用原始EEG信号对有限的联合英语和汉语词汇进行连续语音识别。
2020-02-27 cs.LG cs.SD eess.AS
Improving Pseudo-label Training For End-to-end Speech Recognition Using Gradient Mask
Bytedance AI Lab（字节跳动人工智能实验室）
在最近的半监督语音识别趋势中，自监督表示学习和伪标记都显示出有希望的结果。在本文中，我们提出了一种新的方法，结合他们的想法，端到端的语音识别模型。在没有任何额外损失函数的情况下，我们在伪标签上训练时使用梯度掩码来优化模型。该方法迫使语音识别模型从掩蔽输入进行预测，以学习强声学表示，并使训练对标签噪声具有鲁棒性。在我们的半监督实验中，该方法可以提高在伪标签上训练时的模型性能，并且在Librispeech 100小时实验中，与其他半监督方法相比，我们的方法取得了有竞争力的结果。
2021-10-08 cs.LG cs.SD eess.AS
AV-CPL: Continuous Pseudo-Labeling for Audio-Visual Speech Recognition
MIT（麻省理工学院）；Apple（苹果公司）
本文提出半监督 AV-CPL 框架，利用同一视听模型在有标签和无标签视频上连续生成伪标签，在保持 ASR/AVSR 性能的同时显著提升 LRS3 上的 VSR 效果。
2023-09-29 cs.LG cs.SD eess.AS
Distortionless Multi-Channel Target Speech Enhancement for Overlapped Speech Recognition
基于深度学习的语音增强技术在语音质量和可懂度方面带来了显著的改善。然而，由于增强阶段中的语音失真，由客观度量（诸如语音质量的感知评估（PESQ））测量的语音质量的大的增益不一定导致改进的语音识别性能。本文提出了一种基于频域建模的多通道扩张卷积网络，用于在远场、噪声和多说话人环境下增强目标说话人。我们研究了三种实现重叠语音识别无失真波形的方法：无限范围内估计复理想比率掩模，在多目标学习中引入fbank损失，以及通过声学模型微调增强模型。实验结果证明了这三种方法在降低语音失真和提高识别准确率方面的有效性。特别地，联合调谐增强模型与其他独立声学模型在真实测试数据上工作得非常好。
2020-07-03 eess.AS
Loss Prediction: End-to-End Active Learning Approach For Speech Recognition
端到端的语音识别系统通常需要大量的标注资源，而对语音数据进行标注是复杂且昂贵的。主动学习是通过选择最有价值的样本进行注释的解决方案。在本文中，我们提出使用预测损失来估计样本的不确定性。CTC（连接主义时间分类）和注意力损失对于语音识别是有用的，因为它们是基于所有解码路径和对齐来计算的。我们定义了一个端到端的主动学习管道，训练ASR/LP（自动语音识别/丢失预测）联合模型。该方法在英语和汉语语音识别任务上得到了验证。实验表明，我们的方法取得了竞争力的结果，优于随机选择，最小置信度，估计损失的方法。
2021-07-09 eess.AS
Implementation Of Tiny Machine Learning Models On Arduino 33 BLE For Gesture And Speech Recognition
Nitte Meenakshi Institute of Technology（尼特·米纳克希技术学院）
在这篇文章中，手势识别和语音识别应用程序实现嵌入式系统与微型机器学习（TinyML）。它具有3轴加速度计，3轴陀螺仪和3轴磁强计。手势识别，为非语言交流提供了一种创新的方法.它在人机交互和手语中有着广泛的应用。在手势识别的实现中，TinyML模型是从EdgeImpulse框架中训练和部署的，用于手势识别，基于手部运动，具有6轴IMU的Arduino Nano 33 BLE设备可以找出手部运动的方向。演讲是一种沟通方式。语音识别是计算机理解人类语音的陈述或命令并作出相应反应的一种方法。语音识别的主要目的是实现人与机器之间的交流。在这里，在语音识别的实现中，TinyML模型是从EdgeImpulse框架中训练和部署的，用于语音识别，并基于人类发音的关键词，具有内置麦克风的Arduino Nano 33 BLE设备可以根据发音的关键词使RGB LED发出红色，绿色或蓝色的光芒。获得每个应用的结果，并在结果部分列出，并给出对结果的分析。
2022-07-23 cs.CV cs.LG cs.SD
SpeechPy - A Library for Speech Processing and Recognition
Virginia Tech（弗吉尼亚理工学院暨州立大学）
SpeechPy是一个开源Python包，包含语音预处理技术，语音功能和重要的后处理操作。它提供了最常用的语音特征，包括MFCC和滤波器组能量以及滤波器组的对数能量。该软件包的目的是为研究人员提供一个简单的工具，用于语音特征提取和自动语音识别和说话人验证等应用程序中的处理目的。
2018-05-25 cs.SD eess.AS
Enhancing Automatic Speech Recognition Through Integrated Noise Detection Architecture
Independent Researcher（独立研究者）
通过集成噪声检测架构提升语音识别的准确性和噪声辨别能力
2025-12-02 cs.AI cs.LG cs.SD
Data Augmentation For Children's Speech Recognition -- The "Ethiopian" System For The SLT 2021 Children Speech Recognition Challenge
Seasalt AI LLC（海盐人工智能有限责任公司）；Xiaoice, Microsoft Corporation（微软公司小冰团队）；Xiaomi Corporation（小米公司）
本文介绍了2021年儿童语音识别挑战赛的“埃塞俄比亚”系统。针对儿童语音识别问题，特别是儿童语音识别训练数据不足的问题，提出了各种数据处理和增强技术。详细的实验设计和进行，以显示每种技术的有效性，在不同的语音识别工具包和模型架构。我们逐步解释了我们如何提出最终系统，该系统在2021年儿童语音识别挑战赛中提供了最先进的结果，在Track 1评估集上获得了21.66%的CER（总体排名第四），在Track 2评估集上获得了16.53%的CER（总体排名第一）。挑战后分析显示，我们的系统实际上在轨道1评估集上实现了18.82%的CER，但我们向轨道1的挑战组织者提交了错误的版本。
2020-11-09 cs.SD eess.AS
Sentiment-Aware Automatic Speech Recognition pre-training for enhanced Speech Emotion Recognition
Amazon（亚马逊公司）
提出了一种新的语音情感识别多任务预训练方法。我们在自动语音识别（ASR）和情感分类任务上同时预训练SER模型，以使声学ASR模型更具"情感意识“。我们使用在公开数据上训练的文本到情感模型来生成情感分类的目标。最后，我们对情感注释语音数据的声学ASR进行微调。我们在MSP播客数据集上评估了所提出的方法，在那里我们实现了最好的一致性相关系数（CCC）为0.41的效价预测。
2022-01-27 cs.CL cs.SD eess.AS
Mandarin-English Code-switching Speech Recognition with Self-supervised Speech Representation Models
National Taiwan University（台湾大学）
语码转换在日常会话中很常见，在一个句子中使用多种语言。CS语音识别的难点在于语言的交替和缺乏转录数据。因此，本文使用最近成功的自监督学习（SSL）方法，利用许多未标记的语音数据没有CS。我们发现，隐藏表示的SSL模型提供帧级的语言身份，即使该模型只训练英语语音。用自监督语音表示联合训练CTC和语言识别模块提高了CS语音识别性能。此外，使用多语种的语音数据进行预训练，获得了最佳的CS语音识别。
2021-10-07 cs.CL eess.AS
End-to-End Multi-Speaker Speech Recognition using Speaker Embeddings and Transfer Learning
Institute for Natural Language Processing (IMS), University of Stuttgart（斯图加特大学自然语言处理研究所（IMS））
本文介绍了我们在重叠语音的端到端自动语音识别（ASR）方面的最新研究。我们建议以说话者嵌入为条件来训练端到端系统，并通过从干净语音中进行迁移学习来进一步改进。该框架不需要任何平行的非重叠语音材料，并且与说话人的数量无关。我们在重叠语音数据集上的实验结果表明，对说话人嵌入和迁移学习的联合调节显着提高了ASR性能。
2019-08-13 cs.CL cs.LG cs.SD
End-to-End Neural Systems for Automatic Children Speech Recognition: An Empirical Study
University of Southern California（南加州大学）
包容性和可访问的语音识别技术的一个关键需求是确保其对儿童语音的鲁棒性能。值得注意的是，这包括快速发展的基于神经网络的端到端语音识别系统。与成人语音相比，儿童语音识别由于在声学和语言特征方面的更大的说话者内-间可变性而更具挑战性。此外，缺乏足够和适当的儿童语音资源增加了设计鲁棒的端到端神经架构的挑战。本研究通过对当代最先进的端到端语音识别系统的实证研究，对儿童自动语音识别进行了严格的评估。洞察方面的训练数据的要求，适应儿童数据，儿童年龄的影响，话语长度，不同的架构和损失函数的端到端系统和语言模型的作用上的语音识别性能。
2021-02-19 cs.SD eess.AS
Recent Progress in the CUHK Dysarthric Speech Recognition System
Chinese University of Hong Kong（香港中文大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
尽管自动语音识别（ASR）技术在过去的几十年中取得了快速的进步，但迄今为止，对无序语音的识别仍然是一项极具挑战性的任务。无序语音对当前主要针对正常语音的基于数据密集型深度神经网络（DNN）的ASR技术提出了广泛的挑战。本文介绍了最近的研究工作，在香港中文大学（CUHK），以提高性能的障碍语音识别系统上最大的公开可用的UASpeech构音障碍语音语料库。一组新的建模技术，包括神经架构搜索，数据增强使用频谱时间扰动，基于模型的说话人自适应和跨域生成的视觉特征的视听语音识别（AVSR）系统框架内，以解决上述挑战。这些技术的结合在UASpeech测试集（16名构音障碍说话者）上产生了最低的已发布单词错误率（WER），为25.21%，并且与中大2018年构音障碍语音识别系统相比，总体WER绝对降低了5.4%（相对降低了17.6%），该系统具有6路DNN系统组合和域外正常语音数据训练系统的交叉自适应。贝叶斯模型自适应还允许使用少至3.06秒的语音来执行对个体构音障碍说话者的快速自适应。这些技术的有效性进一步证明了CUDYS广东话构音障碍语音识别任务。
2022-02-26 cs.AI cs.LG cs.SD
MuAViC: A Multilingual Audio-Visual Corpus for Robust Speech Recognition and Robust Speech-to-Text Translation
Meta AI
我们介绍MuAViC，一个多语言的视听语料库，用于强大的语音识别和强大的语音到文本的翻译，提供1200小时的视听语音在9种语言。它完全转录，涵盖6个英语到X的翻译以及6个X到英语的翻译方向。据我们所知，这是第一个视听语音到文本翻译的开放基准，也是多语言视听语音识别的最大开放基准。我们的基线结果表明，MuAViC是有效的建立噪声鲁棒的语音识别和翻译模型。我们在https://github.com/facebookresearch/muavic上提供语料库。
2023-03-07 cs.CL eess.AS
KT-Speech-Crawler: Automatic Dataset Construction for Speech Recognition from YouTube Videos
University of Hamburg（汉堡大学）
在本文中，我们描述了KT-语音爬虫：一种通过抓取YouTube视频来自动构建语音识别数据集的方法。我们概述了几个过滤和后处理步骤，提取可用于训练端到端神经语音识别系统的样本。在我们的实验中，我们证明了一个单核版本的爬虫程序可以在一天内获得大约150小时的转录语音，其中包含估计3.5%的单词错误率出错率。自动收集的样本包含在各种条件下记录的阅读和自发语音，包括背景噪音和音乐，远距离麦克风录音以及各种口音和混响。在对深度神经网络进行语音识别训练时，通过将200小时收集的样本整合到训练集中，我们观察到华尔街日报数据集上的单词出错率降低了约40%。演示（http：//emnlp-demo.lakomkin.me/）和爬虫代码（https：//github.com/EgorLakomkin/KTSpeechCrawler）是公开的。
2019-03-01 cs.CL cs.LG cs.SD
A Transfer Learning Method for Speech Emotion Recognition from Automatic Speech Recognition
Columbia University（哥伦比亚大学）；Recognition Technologies, Inc.（识别技术公司）
提出了一种基于时延神经网络（TDNN）结构的语音情感识别迁移学习方法。当前基于语音的情感检测研究的一个主要挑战是数据稀缺。所提出的方法解决了这个问题，通过应用迁移学习技术，以利用数据的自动语音识别（ASR）任务，其中有足够的数据。我们的实验还显示了扬声器类自适应建模技术的优势，通过采用基于身份向量（i向量）的功能，除了标准的梅尔频率倒谱系数（MFCC）功能。[1]我们证明了迁移学习模型在没有对ASR进行预训练的情况下显着优于其他方法。实验在公开的IEMOCAP数据集上进行，该数据集提供了12小时的运动语音数据。迁移学习是通过使用Ted-Lium v.2语音数据集进行初始化的，该语音数据集提供了207小时的音频和相应的转录本。与最先进的技术相比，我们使用五重交叉验证实现了最高的显著更高的准确性。仅使用语音，我们获得了71.7%的准确率为愤怒，兴奋，悲伤和中性情绪内容。
2020-08-15 cs.HC cs.LG cs.SD
Speech Recognition using EEG signals recorded using dry electrodes
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们使用干电极获得的脑电图（EEG）信号，使用深度学习模型对由三个元音和一个单词组成的有限英语词汇进行语音识别。我们证明了一个测试的准确率为79.07%的子集词汇组成的两个英语元音。我们的研究结果表明，使用干电极记录的EEG信号执行语音识别的任务的可行性。
2020-08-13 cs.LG cs.SD eess.AS
What shall we do with an hour of data? Speech recognition for the un- and under-served languages of Common Voice
Indiana University（印第安纳大学）
这份技术报告描述了为期三周的冲刺的方法和结果，为Common Voice项目的31种服务不足的语言制作可部署的语音识别模型。我们概述了预处理步骤，超参数选择，以及官方测试集的准确性。除此之外，我们还评估了多个任务的模型：封闭词汇语音识别，预转录，强制对齐和关键词定位。下面的实验使用Coqui STT，这是一个用于训练和部署神经语音到文本模型的工具包。
2021-05-10 cs.CL cs.LG cs.SD
The History of Speech Recognition to the Year 2030
从2010年到2020年的十年间，自动语音识别取得了显著的进步。许多人现在每天都在使用语音识别，例如执行语音搜索查询，发送短信，以及与亚马逊Alexa和苹果Siri等语音助手进行交互。在2010年之前，大多数人很少使用语音识别。在过去的十年里，语音识别发生了巨大的变化，我们对未来的十年有何期待？我试图预测到2030年语音识别的研究和应用状况。虽然一般语音识别准确性的变化不会像前十年那样引人注目，但我认为我们面前的语音技术将迎来一个令人兴奋的十年。
2021-07-30 cs.CL cs.SD eess.AS
A Study of Enhancement, Augmentation, and Autoencoder Methods for Domain Adaptation in Distant Speech Recognition
Massachusetts Institute of Technology（麻省理工学院）
在近距离说话语音上训练的语音识别器不能推广到远距离语音，并且单词出错率降级可以高达40%绝对值。大多数研究集中在解决遥远的语音识别作为一个单独的问题，留下很少的努力，以适应近距离说话的语音识别器，以遥远的语音。在这项工作中，我们回顾了几种方法从领域自适应的角度来看。这些方法，包括语音增强，多条件训练，数据增强，和自动编码器，都涉及域之间的数据转换。我们在AMI数据集上进行实验，这些方法可以在相同的受控设置下实现。这些方法在各自的假设下导致不同程度的改善。本文的目的是量化和表征这两个领域之间的性能差距，为研究语音识别器从近距离语音到远距离语音的适应性奠定基础。我们的研究结果也对提高远距离语音识别有一定的意义。
2018-06-13 cs.CL cs.LG cs.SD
An analysis of large speech models-based representations for speech emotion recognition
本文分析了多种信号特征与大语音模型表征在语音情感识别中的表现，发现部分预训练大模型即使不微调，也能在六个标准数据集上达到或超越最优结果。
2023-11-01 eess.AS
State-of-the-art Speech Recognition using EEG and Towards Decoding of Speech Spectrum From EEG
Brain Machine Interface Lab（脑机接口实验室）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
在本文中，我们首先展示了连续噪声语音识别使用脑电图（EEG）信号的英语词汇使用不同类型的最先进的端到端自动语音识别（ASR）模型，我们进一步提供了使用不同的实验条件下记录的EEG数据获得的结果。最后，我们展示了使用基于长短期记忆（LSTM）的回归模型和基于生成对抗网络（GAN）的模型从EEG信号解码语音频谱。我们的研究结果表明，在不同的实验条件下，连续噪声语音识别的EEG信号的可行性，我们提供了初步的结果，从EEG特征的语音合成。
2020-03-04 cs.SD eess.AS
Dementia Assessment Using Mandarin Speech with an Attention-based Speech Recognition Encoder
National Tsing Hua University（国立清华大学）；Shuang-Ho Hospital（双和医院）；Taipei Medical University（台北医学大学）；Taipei Medical University Hospital（台北医学大学附设医院）
针对痴呆症诊断复杂耗时的问题，本研究提取基于注意力的普通话语音识别模型编码器并加线性层构建评估系统，在99名受试者数据上实现92.04%的阿尔茨海默病检测准确率与9%的临床痴呆评分预测平均绝对误差。
2023-12-15 cs.CL cs.LG cs.SD
Overlapped speech recognition from a jointly learned multi-channel neural speech extraction and representation
提出了一种多通道神经语音提取和无梅尔滤波器组（FBANK）提取的深度声学模型的端到端联合优化框架，用于重叠语音识别。首先，基于具有STFT内核的多通道卷积TasNet，我们将多通道目标语音增强前端网络和基于卷积、长短期记忆和全连接深度神经网络（CLDNN）的声学模型（AM）与FBANK提取层统一起来，构建混合神经网络，从而仅通过识别损失联合更新。该框架实现了28%的字错误率降低（WERR）在AISHELL-1上单独优化的系统，并显示出一致的鲁棒性信号干扰比（SIR）和重叠扬声器之间的角度差。接下来，进一步的探索表明，语音识别的改进与一个简化的结构，通过取代FBANK提取层的联合模型与可学习的特征投影。最后，我们还对联合模型中增强网络的重构波形进行了语音质量的客观测量。
2019-10-30 eess.AS
Disentangled-Transformer: An Explainable End-to-End Automatic Speech Recognition Model with Speech Content-Context Separation
针对端到端Transformer ASR系统表示纠缠、可解释性差的问题，提出Disentangled-Transformer，基于不同时间分辨率解纠缠内容与说话人特征子嵌入，在提升ASR性能的同时实现说话人身份与内容分离，增强可解释性。
2024-11-26 eess.AS
Adapting Speech Foundation Models for Unified Multimodal Speech Recognition with Large Language Models
本文提出UASR-LLM框架，通过大语言模型与语音基础模型结合，实现多模态语音识别的统一优化与性能提升。
2026-02-27 eess.AS
Exploiting Single-Channel Speech For Multi-channel End-to-end Speech Recognition
最近，神经波束形成器支持的多通道ASR的端到端训练方法在多通道语音识别中显示出其有效性。然而，多个模块的集成使得执行端到端训练变得更加困难，特别是考虑到在真实环境中记录的具有相当大数据规模的多通道语音语料库相对有限。本文探讨了如何利用单通道数据改进多通道端到端语音识别系统。具体来说，我们设计了三种方案来利用单通道数据，即预训练，数据调度和数据模拟。在CHiME 4和AISHELL-4数据集上的大量实验表明，这三种方法都提高了多通道端到端训练的稳定性和语音识别性能，而数据调度方法保持了更简单的流水线（与预训练相比）和更少的计算成本（与数据模拟相比）。此外，我们对我们的系统进行了全面的分析，包括前端的选择，数据增强，训练策略和单通道数据大小如何影响性能。
2021-07-06 eess.AS
EEG based Continuous Speech Recognition using Transformers
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们研究连续语音识别使用脑电图（EEG）的功能，使用最近推出的端到端的Transformer为基础的自动语音识别（ASR）模型。我们的研究结果表明，基于Transformer的模型表现出更快的训练相比，基于递归神经网络（RNN）的序列到序列EEG模型和更好的性能在推理时间较小的测试集词汇，但随着我们增加的词汇量，基于RNN的模型的性能优于基于Transformer的模型在有限的英语词汇。
2020-05-05 cs.LG cs.SD eess.AS
Practical Speech Recognition with HTK
Politeknik Negeri Ambon（安汶国立理工学院）
本文综述了用HTK开发自动语音识别系统的实践情况。解释了有关所使用的硬件、软件、库、应用程序和计算机程序的步骤。总结了快速应用语音识别系统的一般步骤。该过程被示出，以实现基于语音的电气开关在家庭自动化的印度尼西亚语。该过程的主要关键是使用测试程序HVite记录的训练数据匹配训练和测试环境。HTK的静音检测器经常被噪音错误地触发，因为麦克风太敏感了。这个问题可以通过简单地缩小体积来缓解。在这种基于子词音素的语音识别中，噪声被包括在训练数据库中并被特别标记。该过程的图示被应用于家庭自动化应用。电器开关由印尼语语音识别器控制。结果显示命令完成率为100%。
2019-08-06 cs.HC cs.LG cs.SD
TICL: Text-Embedding KNN For Speech In-Context Learning Unlocks Speech Recognition Abilities of Large Multimodal Models
本文提出TICL方法，利用文本嵌入KNN为语音上下文学习选择有效示例，无需微调即可增强大型多模态模型的语音识别能力，在多项挑战性任务中相对WER最高降低84.7%。
2025-09-16 cs.AI cs.CL cs.LG
Brain Signals to Rescue Aphasia, Apraxia and Dysarthria Speech Recognition
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Austin Speech Labs（奥斯汀言语实验室）
在本文中，我们提出了一种基于深度学习的算法，通过利用与失语症、失用症和构音障碍语音同步记录的脑电图（EEG）特征，来提高失语症、失用症和构音障碍语音的自动语音识别（ASR）系统的性能。我们证明了一个显着的解码性能提高超过50\%，在测试时间为孤立的语音识别任务，我们还提供了初步的结果表明，性能提高更具挑战性的连续语音识别任务，利用EEG功能。本文提出的结果表明，第一步证明利用非侵入性神经信号设计一个实时的强大的语音修复中风幸存者从失语症，失用症，构音障碍恢复的可能性。我们的失语症，失用症和构音障碍的语音脑电图数据集将向公众发布，以帮助进一步推进这一有趣而重要的研究。
2021-07-18 cs.LG cs.SD eess.AS
Constrained Variational Autoencoder for improving EEG based Speech Recognition Systems
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
为了提高基于脑电的语音识别系统的性能，本文提出了一种基于递归神经网络（RNN）的变分自编码器（VAE）模型，该模型引入了一种新的约束损失函数，可以从原始脑电特征中产生更有意义的脑电特征。我们表明，连续和孤立的语音识别系统的训练和测试，使用原始EEG功能，使用我们的VAE模型产生的EEG功能，提高了性能，我们证明了我们的结果为一个有限的英语词汇组成的30个独特的句子连续语音识别和英语词汇组成的2个独特的句子孤立的语音识别。我们将我们的方法与作者在[1]中描述的另一种最近引入的方法进行比较，以提高基于EEG的连续语音识别系统的性能，并且我们证明，当使用相同的数据集进行训练和测试时，随着词汇量的增加，我们的方法优于他们的方法。即使我们证明的结果仅为自动语音识别（ASR）的实验在本文中，建议的VAE模型与约束损失函数可以扩展到各种其他基于EEG的脑机接口（BCI）的应用。
2020-06-01 cs.LG cs.SD eess.AS
Confidence-based Filtering for Speech Dataset Curation with Generative Speech Enhancement Using Discrete Tokens
CyberAgent；The University of Tokyo（东京大学）
本文提出基于置信度的过滤方法，用于消除生成式语音增强模型中的幻觉错误，从而提升语音数据集的质量和TTS模型的性能。
2026-01-18 cs.SD eess.AS
Personalized Automatic Speech Recognition Trained on Small Disordered Speech Datasets
Google Research（谷歌研究院）
本研究探讨使用少量的每说话人适应数据的个性化自动语音识别（ASR）识别无序语音的性能。我们为195名具有不同类型和严重程度的语言障碍的个体训练了个性化模型，训练集的大小从<1分钟到18 - 20分钟的语音数据。选择词错误率（WER）阈值来确定不同应用场景下的成功百分比（个性化模型达到目标WER的百分比）。对于家庭自动化场景，79%的发言者在18 - 20分钟的演讲中达到了目标WER;但即使只有3 - 4分钟的演讲，63%的发言者也达到了目标WER。进一步的评估发现，在具有会话和域外，自发短语的测试集上也有类似的改善。我们的研究结果表明，只有几分钟的录音，语音障碍的人可以从个性化的ASR中受益。
2021-10-09 cs.CL cs.LG cs.SD
Domain Adversarial Neural Networks for Dysarthric Speech Recognition
Imperial College London（帝国理工学院）；University of Southampton（南安普顿大学）
语音识别系统在过去的几年中已经有了显著的改进，然而，对于口音或受损语音的情况，它们的性能显著下降。这项工作探讨域对抗神经网络（DANN）的说话人无关的语音识别的UAS数据集的构音障碍的语音。使用端到端CNN将原始音频作为输入来执行对10个口语数字的分类任务。将结果与说话者自适应（SA）模型以及说话者相关（SD）和多任务学习模型（MTL）进行比较。实验结果表明，DANN的绝对识别率为74.91%，比基线识别率提高了12.18%。此外，DANN模型实现了与SA模型77.65%的识别率相当的结果。我们还观察到，当标记的构音障碍的语音数据是可用的DANN和MTL执行类似，但当它们不是DANN执行优于MTL。
2020-10-07 cs.CL cs.LG cs.SD
Interactive spatial speech recognition maps based on simulated speech recognition experiments
Universität Oldenburg（奥尔登堡大学）
在日常生活中，人类听者的语音识别性能受到各种因素的影响，例如声学环境、说话者和听者的位置、可能受损的听力以及可选的听力设备。预测模型更接近于同时考虑所有需要的因素来预测复杂声学环境中的个体语音识别性能。虽然这样的预测对于严肃的应用可能仍然不够准确，但它们已经可以执行并且需要可访问的表示。在这方面的贡献，语音识别性能的交互式表示提出，它侧重于听众的头部方向和空间维度的声学场景。包括声学渲染模型、听力设备模型和收听者模型的示例性建模工具链被用于生成用于演示目的的数据集。使用空间语音识别地图来探索该数据集，证明了该方法观察可能相关行为的适用性。所提出的表示提供了一个合适的目标，比较和验证不同的建模方法在生态相关的上下文中。最终，它可以作为一种工具，在考虑语音通信的空间和设备的设计中使用经过验证的预测模型。
2021-04-01 cs.SD eess.AS
A Semi-spontaneous Dutch Speech Dataset for Speech Enhancement and Speech Recognition
Delft University of Technology（代尔夫特理工大学）
本文提出DRES数据集，评估了语音增强对语音识别性能的影响，发现现代单通道SE算法对ASR性能无明显提升。
2026-10-22 eess.AS
