Adapting Speech Foundation Models for Unified Multimodal Speech Recognition with Large Language Models
本文提出UASR-LLM框架，通过大语言模型与语音基础模型结合，实现多模态语音识别的统一优化与性能提升。
2026-02-27 eess.AS
A Semi-spontaneous Dutch Speech Dataset for Speech Enhancement and Speech Recognition
Delft University of Technology（代尔夫特理工大学）
本文提出DRES数据集，评估了语音增强对语音识别性能的影响，发现现代单通道SE算法对ASR性能无明显提升。
2026-10-22 eess.AS
Joint decoding method for controllable contextual speech recognition based on Speech LLM
针对 Speech LLM 提示词注入无法显式控制信息程度的问题，提出一种联合解码方法，实现可控的上下文语音识别与敏感词抑制，并使未预训练的模型具备长上下文能力。
2025-08-12 eess.AS
Too Good to Be True: A Study on Modern Automatic Speech Recognition for the Evaluation of Speech Enhancement
University of Hamburg（汉堡大学）
本文研究现代ASR模型与人类语音增强识别的关联，发现大规模噪声训练和嵌入语言模型的ASR模型更符合人类WER，但其噪声鲁棒性和上下文使用对声学评估不具信息性。
2026-05-12 eess.AS
Phoneme-First Prediction for LLM-Based Speech Recognition
KU Leuven（荷语鲁汶大学）
提出在LLM中集成音素预测步骤，先预测音素再生成转录，以提升低资源场景下的语音识别准确性和可解释性。
2026-06-09 eess.AS
SpeechPy - A Library for Speech Processing and Recognition
Virginia Tech（弗吉尼亚理工学院暨州立大学）
SpeechPy是一个开源Python包，包含语音预处理技术，语音功能和重要的后处理操作。它提供了最常用的语音特征，包括MFCC和滤波器组能量以及滤波器组的对数能量。该软件包的目的是为研究人员提供一个简单的工具，用于语音特征提取和自动语音识别和说话人验证等应用程序中的处理目的。
2018-05-25 cs.SD eess.AS
Data Augmentation For Children's Speech Recognition -- The "Ethiopian" System For The SLT 2021 Children Speech Recognition Challenge
Seasalt AI LLC（海盐人工智能有限责任公司）；Xiaoice, Microsoft Corporation（微软公司小冰团队）；Xiaomi Corporation（小米公司）
本文介绍了2021年儿童语音识别挑战赛的“埃塞俄比亚”系统。针对儿童语音识别问题，特别是儿童语音识别训练数据不足的问题，提出了各种数据处理和增强技术。详细的实验设计和进行，以显示每种技术的有效性，在不同的语音识别工具包和模型架构。我们逐步解释了我们如何提出最终系统，该系统在2021年儿童语音识别挑战赛中提供了最先进的结果，在Track 1评估集上获得了21.66%的CER（总体排名第四），在Track 2评估集上获得了16.53%的CER（总体排名第一）。挑战后分析显示，我们的系统实际上在轨道1评估集上实现了18.82%的CER，但我们向轨道1的挑战组织者提交了错误的版本。
2020-11-09 cs.SD eess.AS
Mandarin-English Code-switching Speech Recognition with Self-supervised Speech Representation Models
National Taiwan University（台湾大学）
语码转换在日常会话中很常见，在一个句子中使用多种语言。CS语音识别的难点在于语言的交替和缺乏转录数据。因此，本文使用最近成功的自监督学习（SSL）方法，利用许多未标记的语音数据没有CS。我们发现，隐藏表示的SSL模型提供帧级的语言身份，即使该模型只训练英语语音。用自监督语音表示联合训练CTC和语言识别模块提高了CS语音识别性能。此外，使用多语种的语音数据进行预训练，获得了最佳的CS语音识别。
2021-10-07 cs.CL eess.AS
End-to-End Neural Systems for Automatic Children Speech Recognition: An Empirical Study
University of Southern California（南加州大学）
包容性和可访问的语音识别技术的一个关键需求是确保其对儿童语音的鲁棒性能。值得注意的是，这包括快速发展的基于神经网络的端到端语音识别系统。与成人语音相比，儿童语音识别由于在声学和语言特征方面的更大的说话者内-间可变性而更具挑战性。此外，缺乏足够和适当的儿童语音资源增加了设计鲁棒的端到端神经架构的挑战。本研究通过对当代最先进的端到端语音识别系统的实证研究，对儿童自动语音识别进行了严格的评估。洞察方面的训练数据的要求，适应儿童数据，儿童年龄的影响，话语长度，不同的架构和损失函数的端到端系统和语言模型的作用上的语音识别性能。
2021-02-19 cs.SD eess.AS
MuAViC: A Multilingual Audio-Visual Corpus for Robust Speech Recognition and Robust Speech-to-Text Translation
Meta AI
我们介绍MuAViC，一个多语言的视听语料库，用于强大的语音识别和强大的语音到文本的翻译，提供1200小时的视听语音在9种语言。它完全转录，涵盖6个英语到X的翻译以及6个X到英语的翻译方向。据我们所知，这是第一个视听语音到文本翻译的开放基准，也是多语言视听语音识别的最大开放基准。我们的基线结果表明，MuAViC是有效的建立噪声鲁棒的语音识别和翻译模型。我们在https://github.com/facebookresearch/muavic上提供语料库。
2023-03-07 cs.CL eess.AS
State-of-the-art Speech Recognition using EEG and Towards Decoding of Speech Spectrum From EEG
Brain Machine Interface Lab（脑机接口实验室）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
在本文中，我们首先展示了连续噪声语音识别使用脑电图（EEG）信号的英语词汇使用不同类型的最先进的端到端自动语音识别（ASR）模型，我们进一步提供了使用不同的实验条件下记录的EEG数据获得的结果。最后，我们展示了使用基于长短期记忆（LSTM）的回归模型和基于生成对抗网络（GAN）的模型从EEG信号解码语音频谱。我们的研究结果表明，在不同的实验条件下，连续噪声语音识别的EEG信号的可行性，我们提供了初步的结果，从EEG特征的语音合成。
2020-03-04 cs.SD eess.AS
Interactive spatial speech recognition maps based on simulated speech recognition experiments
Universität Oldenburg（奥尔登堡大学）
在日常生活中，人类听者的语音识别性能受到各种因素的影响，例如声学环境、说话者和听者的位置、可能受损的听力以及可选的听力设备。预测模型更接近于同时考虑所有需要的因素来预测复杂声学环境中的个体语音识别性能。虽然这样的预测对于严肃的应用可能仍然不够准确，但它们已经可以执行并且需要可访问的表示。在这方面的贡献，语音识别性能的交互式表示提出，它侧重于听众的头部方向和空间维度的声学场景。包括声学渲染模型、听力设备模型和收听者模型的示例性建模工具链被用于生成用于演示目的的数据集。使用空间语音识别地图来探索该数据集，证明了该方法观察可能相关行为的适用性。所提出的表示提供了一个合适的目标，比较和验证不同的建模方法在生态相关的上下文中。最终，它可以作为一种工具，在考虑语音通信的空间和设备的设计中使用经过验证的预测模型。
2021-04-01 cs.SD eess.AS
Sentiment-Aware Automatic Speech Recognition pre-training for enhanced Speech Emotion Recognition
Amazon（亚马逊公司）
提出了一种新的语音情感识别多任务预训练方法。我们在自动语音识别（ASR）和情感分类任务上同时预训练SER模型，以使声学ASR模型更具"情感意识“。我们使用在公开数据上训练的文本到情感模型来生成情感分类的目标。最后，我们对情感注释语音数据的声学ASR进行微调。我们在MSP播客数据集上评估了所提出的方法，在那里我们实现了最好的一致性相关系数（CCC）为0.41的效价预测。
2022-01-27 cs.CL cs.SD eess.AS
The RoyalFlush Automatic Speech Diarization and Recognition System for In-Car Multi-Channel Automatic Speech Recognition Challenge
Hithink RoyalFlush AI Research Institute（日立金科AI研究院）
本文提出 RoyalFlush 车载多通道 ASR 挑战赛系统，结合端到端说话人日志分离与自监督表示的 ASR 模型，显著降低 DER，并在两条赛道取得优异 CER 与 cpCER。
2024-05-09 cs.SD eess.AS
Speech frame implementation for speech analysis and recognition
Tomsk State University of Control Systems and Radioelectronics（托木斯克国立控制系统与无线电电子大学）
所创建的语音帧的显著特征是：能够考虑说话者的情绪状态，支持与说话者的语音形成道的疾病一起工作，以及存在对许多语音信号的手动分段。此外，该系统专注于俄语语音材料，与大多数类似物不同。
2021-12-15 cs.SD eess.AS
Augmenting Polish Automatic Speech Recognition System With Synthetic Data
Samsung R&D Institute Poland（三星波兰研发研究院）；Samsung AI Center Warsaw（三星华沙人工智能中心）
针对Poleval 2024波兰语自动语音识别挑战赛，研究提出基于Voicebox的语音合成流水线，用合成数据增强Conformer和Whisper模型，证实该方法可显著提升识别效果并给出竞赛最终成绩。
2024-10-30 cs.SD eess.AS
Aphasic Speech Recognition using a Mixture of Speech Intelligibility Experts
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
鲁棒的语音识别是自动失语语音分析中语义特征提取的关键前提。然而，标准的通用自动语音识别模型在应用于失语症语音时表现不佳。这样做的一个原因是由于不同的严重程度（即，更高的严重性使其本身更难理解）。为了解决这个问题，我们提出了一种新的声学模型的基础上的混合专家（MoE），它处理不同的可懂度阶段，目前在失语症的语音明确定义的严重程度为基础的专家。在测试时，每个专家的贡献是决定通过估计语音清晰度与语音清晰度检测器（SID）。我们表明，我们提出的方法显着降低了电话错误率在失语症语音的所有严重程度阶段相比，基线方法，不将严重程度的信息到建模过程中。
2020-08-25 cs.SD eess.AS
Sequence-Level Unsupervised Training in Speech Recognition: A Theoretical Study
本文提出了一种基于分类误差界限的序列级交叉熵损失，用于无监督语音识别的理论分析与实验验证。
2026-03-02 cs.LG cs.SD eess.AS
The History of Speech Recognition to the Year 2030
从2010年到2020年的十年间，自动语音识别取得了显著的进步。许多人现在每天都在使用语音识别，例如执行语音搜索查询，发送短信，以及与亚马逊Alexa和苹果Siri等语音助手进行交互。在2010年之前，大多数人很少使用语音识别。在过去的十年里，语音识别发生了巨大的变化，我们对未来的十年有何期待？我试图预测到2030年语音识别的研究和应用状况。虽然一般语音识别准确性的变化不会像前十年那样引人注目，但我认为我们面前的语音技术将迎来一个令人兴奋的十年。
2021-07-30 cs.CL cs.SD eess.AS
Streaming Decoder-Only Automatic Speech Recognition with Discrete Speech Units: A Pilot Study
Northwestern Polytechnical University（西北工业大学）；Du Xiaoman Financial（度小满金融）
本文提出一种基于离散语音单元和专用边界token的流式仅解码器ASR模型，通过因果注意力掩码、右块注意力及数据增强，在AISHELL数据集上取得与非流式方法相当的性能。
2024-06-27 cs.SD eess.AS
Exploring Generative Error Correction for Dysarthric Speech Recognition
Kore University of Enna（科雷大学恩纳分校）；Politecnico di Torino（托里诺理工学院）；Università di Palermo（巴勒莫大学）
针对构音障碍语音识别难题，提出结合先进ASR模型与LLM生成式纠错的两阶段框架，并在语音可访问性项目数据集上验证了其在结构化与自发语音上的有效性。
2025-05-26 cs.CL eess.AS
LeVoice ASR Systems for the ISCSLP 2022 Intelligent Cockpit Speech Recognition Challenge
本文介绍了LeVoice自动语音识别系统，以跟踪2022年智能驾驶舱语音识别挑战赛2。Track 2是一个语音识别任务，对模型大小的范围没有限制。我们的主要观点包括基于深度学习的语音增强，基于文本到语音的语音生成，通过各种技术进行训练数据增强和语音识别模型融合。对混合架构和两种端到端架构进行了比较和融合。对于端到端建模，我们使用基于连接主义时间分类/基于注意力的编码器-解码器架构和递归神经网络换能器/基于注意力的编码器-解码器架构的模型。这些模型的性能评估与一个额外的语言模型，以提高单词错误率。结果表明，该系统在挑战测试集数据上的字符错误率为10.2%，在提交的挑战系统中排名第三。
2022-10-17 cs.SD eess.AS
Speech Emotion Recognition with ASR Integration
本研究通过整合自动语音识别技术提升语音情感识别的鲁棒性、可扩展性和实用性。
2026-02-28 cs.SD eess.AS
Large Vocabulary Spontaneous Speech Recognition for Tigrigna
Adama Science and Technology University（阿达玛科技大学）；Addis Ababa University（亚的斯亚贝巴大学）
该论文旨在为提格里尼亚语开发说话人无关的自发语音识别系统，使用Sphinx工具构建声学模型，并用SRIM工具构建语言模型。
2023-10-15 cs.LG cs.SD eess.AS
Evaluating Gammatone Frequency Cepstral Coefficients with Neural Networks for Emotion Recognition from Speech
Ravenwood High School（雷文伍德高中）
当前语音情感识别的方法集中于能够捕获语音信号的情感内容的语音特征。梅尔倒谱系数（MFCC）是音频语音识别和分类中最常用的表示之一。本文提出了伽玛音频倒谱系数（GFCC）作为一个潜在的更好的表示语音信号的情感识别。MFCC和GFCC表示的有效性进行了比较和评估的情感和强度分类任务与完全连接和循环神经网络架构。实验结果证明了GFCC在语音情感识别中的性能优于MFCC。
2018-06-23 cs.CL cs.SD eess.AS
Thinking in Directivity: Speech Large Language Model for Multi-Talker Directional Speech Recognition
Center for Robust Speech Systems (CRSS)（鲁棒语音系统中心）
本文提出directional-SpeechLlama，利用智能眼镜麦克风阵列，通过序列化方向输出训练和对比方向数据增强，实现多说话人方向性语音识别与声源定位。
2025-06-17 cs.AI eess.AS
Robust Raw Waveform Speech Recognition Using Relevance Weighted Representations
Indian Institute of Science（印度科学研究所）
在噪声和信道失真的情况下的语音识别通常是具有挑战性的，因为当前的声学建模方案不适应于在存在噪声的情况下信号分布的变化。在这项工作中，我们开发了一种新的声学建模框架噪声鲁棒语音识别的基础上相关加权机制。使用子网络方法执行特征选择来实现相关性加权。在对原始语音信号进行操作的卷积网络模型的第一层的输出上应用相关子网络，而在第二卷积层输出上应用第二相关子网络。第一层的相关性权重对应于声学滤波器组选择，而第二层中的相关性权重执行调制滤波器选择。该模型被训练用于对有噪声和混响语音的语音识别任务。在多个数据集（Aurora-4、CHiME-3、VOiCES）上的语音识别实验表明，在神经网络架构中结合相关性加权显著改善了语音识别单词错误率（相对于基线系统平均相对改善10%）。
2020-10-29 cs.SD eess.AS
Joint Speaker Counting, Speech Recognition, and Speaker Identification for Overlapped Speech of Any Number of Speakers
Microsoft Corp.（微软公司）
本文提出了一个端到端的说话人属性自动语音识别模型，该模型将说话人计数、语音识别和说话人识别统一在单声道重叠语音上。我们的模型是建立在序列化输出训练（SOT）与基于注意力的编码器-解码器，最近提出的方法，用于识别重叠的语音，包括任意数量的扬声器。我们通过引入一个扬声器库存作为辅助输入，以产生扬声器标签以及多扬声器transmittance扩展SOT。所有模型参数均采用说话人属性最大互信息准则进行优化，该准则代表了重叠语音识别和说话人识别的联合概率。在LibriSpeech语料库上的实验表明，该方法在说话人属性的误识率上明显优于分别进行重叠语音识别和说话人识别的基线方法。
2020-08-08 cs.CL cs.SD eess.AS
Unsupervised Speech Enhancement with speech recognition embedding and disentanglement losses
The Graduate Center, CUNY（纽约市立大学研究生中心）；Microsoft Research（微软研究院）
语音增强最近通过各种深度学习方法取得了巨大成功。然而，大多数传统的语音增强系统是用监督方法训练的，这带来了两个重大挑战。首先，用于语音增强系统的大多数训练数据集是合成的。当混合干净的语音和嘈杂的语料库来创建合成数据集时，在嘈杂的语音或音频的合成和真实世界的记录之间发生域不匹配。其次，在提高语音增强性能和降低语音识别（ASR）性能之间存在权衡。因此，我们提出了一个无监督的损失函数来解决这两个问题。我们的函数是通过扩展MixIT损失函数与语音识别嵌入和解纠缠损失来开发的。我们的研究结果表明，该函数有效地提高了语音增强的性能相比，在嘈杂的VoxCeleb数据集上的监督方式训练的基线。虽然完全无监督训练无法超过相应的基线，但通过联合超级和无监督训练，系统能够实现与最佳监督基线相似的语音质量和更好的ASR性能。
2022-02-19 cs.SD eess.AS
JTubeSpeech: corpus of Japanese speech collected from YouTube for speech recognition and speaker verification
The University of Tokyo（东京大学）；Technical University of Munich（慕尼黑工业大学）；Tokyo Metropolitan University（东京都立大学）；Carnegie Mellon University（卡内基梅隆大学）
本文构建了一个新的日语语音语料库“JTubeSpeech”。“虽然最近的端到端学习需要大型语音语料库，但尚未建立英语以外语言的开源语料库。在本文中，我们描述了一个语料库的建设从YouTube视频和字幕的语音识别和说话人验证。我们的方法可以自动过滤视频和字幕，几乎没有语言依赖的过程。我们一贯采用基于连接主义时间分类（CTC）的自动语音识别（ASR）和自动说话人验证（ASV）的基于说话人变异的方法的技术。我们建立了1）一个大规模的日本ASR基准，拥有超过1，300小时的数据，2）日本ASV的900小时数据。
2021-12-17 cs.SD eess.AS
Exploiting Hidden Representations from a DNN-based Speech Recogniser for Speech Intelligibility Prediction in Hearing-impaired Listeners
University of Sheffield（谢菲尔德大学）
准确客观的语音可懂度预测算法对于诸如助听器的语音增强的许多应用是非常感兴趣的。大多数算法测量干净参考信号和退化信号的声学特征之间的信噪比或相关性。然而，这些手工挑选的声学特征通常与识别没有明确的相关性。同时，基于深度神经网络（DNN）的自动语音识别器（ASR）在某些语音识别任务中接近人类的表现。这项工作利用基于DNN的ASR的隐藏表示作为听力受损听众的语音可懂度预测的特征。基于助听器可懂度数据库的实验结果表明，该方法比目前广泛使用的基于短时客观可懂度（STOI）的双耳测量方法具有更好的预测效果。
2022-07-06 cs.SD eess.AS q-bio.QM
Speaker Mask Transformer for Multi-talker Overlapped Speech Recognition
National Institute of Information and Communications Technology (NICT)（日本国立信息通信技术研究所）
针对多说话人重叠语音识别需同时解决语音识别与说话人日志的难题，提出带说话人掩码分支的自回归Transformer模型，可单模型同时完成两项任务，在LibriSpeech重叠数据集上验证了有效性，尤其提升复杂场景下说话人日志准确率。
2023-12-18 cs.CL cs.SD eess.AS
End-to-End Integration of Speech Recognition, Speech Enhancement, and Self-Supervised Learning Representation
Carnegie Mellon University（卡内基梅隆大学）；Yahoo Japan Corporation（雅虎日本公司）
本文提出了一种端到端（E2 E）的自动语音识别（ASR）模型，该模型以鲁棒的语音识别为目标，称为增强语音输入的集成语音识别自监督学习表示（IRIS）。与传统的E2 E ASR模型相比，该模型集成了语音增强（SE）和自监督学习表示（SSLR）两个重要模块。SE模块增强带噪语音。然后，SSLR模块从增强的语音中提取用于语音识别（ASR）的特征。为了对模型进行训练，我们建立了一个有效的学习方案。单声道CHiME-4任务的评估结果表明，IRIS模型在单声道CHiME-4基准测试中实现了文献报道的最佳性能（实际开发为2.0%，实际测试为3.9%），这要归功于强大的预训练SSLR模块和微调的SE模块。
2022-04-01 cs.CL cs.SD eess.AS
Advancing Speech Recognition With No Speech Or With Noisy Speech
Brain Machine Interface Lab The University of Texas at Austin（德克萨斯大学奥斯汀分校脑机接口实验室）
在本文中，我们展示了端到端的连续语音识别（CSR）使用脑电图（EEG）信号，没有语音信号作为输入。实现了基于注意模型的自动语音识别（ASR）和基于连接主义时间分类（CTC）的ASR系统，用于执行识别。我们进一步证明CSR的嘈杂的语音融合EEG功能。
2020-03-15 cs.CL cs.LG cs.SD
Data Augmentation with Locally-time Reversed Speech for Automatic Speech Recognition
The Chinese University of Hong Kong（香港中文大学）
心理声学研究表明，局部时间反转（LTR）语音，即，在短段内时间反转的信号样本可以被人类收听者准确地识别。本研究解决了最先进的自动语音识别（ASR）系统对LTR语音的性能如何的问题。其基本目标是探索在端到端（E2 E）ASR模型的训练中部署LTR语音的可行性，作为提高识别性能的数据增强的尝试。本研究从实验开始，以了解LTR语音对通用ASR的影响。呈现并评估具有5 ms - 50 ms的反转段持续时间的LTR语音。对于使用LTR语音的ASR训练数据增强，通过将自然语音与LTR语音的不同分区组合来创建训练集。在不同语言和说话风格的语音语料库上的ASR结果证实了数据增强的有效性。研究发现，在15 ms - 30 ms的反向段长的LTR语音上的ASR比在其他段长的LTR语音上的ASR具有更低的错误率。使用这些LTR语音的数据增强实现了对ASR性能的满意和一致的改善。
2021-10-09 cs.SD eess.AS
Speech-Mamba: Long-Context Speech Recognition with Selective State Spaces Models
Institute for Infocomm Research, Agency for Science, Technology；Research (A STAR), Singapore
针对Transformer模型处理长语音序列复杂度高的问题，提出Speech-Mamba架构，通过融合选择性状态空间模型与Transformer低层特征，实现近线性扩展并显著提升长程依赖建模能力。
2024-09-27 cs.SD eess.AS
Improving Speech Recognition on Noisy Speech via Speech Enhancement with Multi-Discriminators CycleGAN
University of Stuttgart（斯图加特大学）
本文介绍了我们最新的研究，提高自动语音识别的噪声语音通过语音增强。我们提出了一种新的方法称为多鉴别器CycleGAN，以减少输入语音的噪声，从而提高自动语音识别的性能。我们提出的方法利用CycleGAN框架进行语音增强，而不需要任何并行数据，并通过引入多个鉴别器来检查不同的频率区域来改进它。此外，我们表明，在训练数据的同质子集上训练多个生成器优于在所有训练数据上训练一个生成器。我们在CHiME-3数据集上评估了我们的方法，并在开发集上观察到高达10.03%的相对WER改善，在评估集上观察到高达14.09%。
2021-12-12 cs.CL cs.SD eess.AS
DeepTalk: Vocal Style Encoding for Speaker Recognition and Speech Synthesis
Michigan State University（密歇根州立大学）
自动说话人识别算法通常使用对语音产生的生理和解剖方面进行编码的短期频谱特征来表征语音音频。这样的算法不完全利用行为语音特征中存在的说话者相关特性。在这项工作中，我们提出了一个名为DeepTalk的韵律编码网络，用于直接从原始音频数据中提取声乐风格特征。DeepTalk方法在多个具有挑战性的数据集上优于几种最先进的说话人识别系统。通过将DeepTalk与最先进的基于生理语音特征的说话人识别系统相结合，进一步提高了说话人识别性能。我们还将DeepTalk集成到当前最先进的语音合成器中，以生成合成语音。对合成语音的详细分析表明，DeepTalk捕获了对声乐风格建模至关重要的F0轮廓。此外，基于DeepTalk的合成语音在说话人识别的背景下几乎无法与真实语音区分开来。
2021-02-14 cs.LG cs.SD eess.AS
Speech Recognition with Augmented Synthesized Speech
Google（谷歌公司）
最近Tacotron语音合成结构及其变体在产生自然发声的多说话者合成语音方面的成功已经提高了替代用于训练语音识别器的昂贵的、手动转录的、特定领域的人类语音的令人兴奋的可能性。多说话者语音合成架构可以学习从输入声学表示导出的韵律、说话者和风格变化的潜在嵌入空间，从而允许对合成语音的操纵。在本文中，我们评估的可行性，提高语音识别性能使用语音合成使用两个语料库从不同的领域。我们探索算法，以提供必要的声学和词汇的多样性需要强大的语音识别。最后，我们证明了这种方法的可行性，作为一个数据增强策略域转移。我们发现，语音识别性能的改善是可以实现的，通过增加合成材料的训练数据。然而，在人类语音训练的识别器与合成语音训练的识别器之间的性能仍然存在很大的差距。
2019-09-25 cs.CL cs.SD eess.AS
The Accented English Speech Recognition Challenge 2020: Open Datasets, Tracks, Baselines, Results and Methods
Northwestern Polytechnical University（西北工业大学）；Shanghai Jiao Tong University（上海交通大学）；Datatang (Beijing) Technology Co., LTD（北京数语科技有限公司）
口音的多样性给语音识别提出了很大的挑战。口音英语语音识别挑战赛（AESRC 2020）旨在提供一个通用的测试平台，并促进口音相关的研究。挑战中设置了两个轨道--英语口音识别（轨道1）和带口音的英语语音识别（轨道2）。从8个国家收集了一组160小时的口音英语语音，并将标签作为训练集。另外20个小时没有标签的语音后来作为测试集发布，其中包括来自另外两个国家的两个看不见的口音，用于测试轨道2中的模型泛化能力。我们还为参与者提供基线系统。本文首先回顾了已发布的数据集，跟踪设置，基线，然后总结了挑战结果和提交中使用的主要技术。
2021-02-20 cs.SD eess.AS
MoLE : Mixture of Language Experts for Multi-Lingual Automatic Speech Recognition
NAVER Cloud（NAVER 云）
多语言语音识别的目标是区分不同语言的语言表达，同时集成声学处理。相比之下，当前的多语言语音识别研究遵循语言感知范式，主要针对提高识别性能而不是区分语言特征。在本文中，我们提出了一个多语言语音识别网络命名为混合的语音识别专家（MoLE），它在各种语言的语音识别。具体来说，MoLE从任意语言的输入语音中分析语言表达，使用轻量级语言标记器激活特定语言的专家。标记器不仅激活专家，而且还估计激活的可靠性。基于可靠性，激活的专家和语言不可知的专家聚集来表示语言条件的嵌入，用于高效的语音识别。我们提出的模型在5种语言的情况下进行评估，实验结果表明，我们的结构是有利的多语言识别，特别是在低资源语言的语音。
2023-02-27 cs.CL cs.SD eess.AS
Intermediate Fine-Tuning Using Imperfect Synthetic Speech for Improving Electrolaryngeal Speech Recognition
Nagoya University（名古屋大学）
针对电喉语音识别中预训练与目标数据域偏移过大的问题，提出利用不完美合成语音进行中间微调的方法，在电喉语音数据集上较基线提升6.1%识别率，并表明该阶段主要学习高层固有特征而非低层可懂度特征。
2023-05-30 cs.SD eess.AS
Anchored Speech Recognition with Neural Transducers
Meta AI
神经传感器在标准语音识别基准测试中达到了人类水平的性能。然而，它们的性能在存在串扰的情况下显著降低，特别是当主扬声器具有低信噪比时。锚定语音识别是指使用来自锚定段（例如，唤醒词）来识别设备引导的语音而忽略干扰的背景语音。在本文中，我们研究锚定语音识别，使神经传感器的背景语音鲁棒。我们用一个微小的辅助网络从锚段中提取上下文信息，并使用编码器偏置和连接器门控来引导换能器朝向目标语音。此外，为了提高上下文嵌入提取的鲁棒性，我们提出了辅助训练目标，以从说话风格中分离词汇内容。我们评估我们的方法合成LibriSpeech为基础的混合物，包括几个SNR和重叠条件;他们提高了19.6%的相对字错误率在一个强基线，平均在所有条件下。
2023-03-29 cs.SD eess.AS
Generative Emotional AI for Speech Emotion Recognition: The Case for Synthetic Emotional Speech Augmentation
Information Technology University (ITU)（信息技术大学（ITU））；University of Southern Queensland（南昆士兰大学）；Qatar University（卡塔尔大学）
尽管在深度学习方面取得了进展，但由于缺乏语音情感数据集，当前最先进的语音情感识别（SER）系统仍然具有较差的性能。本文提出了增强SER系统与合成情感语音生成的端到端的文本到语音（TTS）系统的基础上扩展的Tacotron架构。所提出的TTS系统包括用于扬声器和情感嵌入的编码器，用于创建Mel频谱图的序列到序列文本生成器，以及用于从Mel频谱图生成音频的WaveRNN。大量的实验表明，所生成的情感语音的质量可以显着提高多个数据集上的SER性能，如与基线相比更高的平均意见得分（MOS）所示。生成的样本也有效地增强SER性能。
2023-01-10 cs.SD eess.AS
Leveraging Self-Supervised Models for Automatic Whispered Speech Recognition
University of Zurich（苏黎世大学）；University of Isfahan（伊斯法罕大学）
针对耳语语音声学特性特殊、训练数据稀缺导致识别效果差的问题，提出用预训练WavLM模型结合多数据集微调的爱尔兰方言耳语语音识别方法，性能显著优于Whisper基线。
2024-11-03 cs.SD eess.AS
Unsupervised Uncertainty Measures of Automatic Speech Recognition for Non-intrusive Speech Intelligibility Prediction
University of Sheffield（谢菲尔德大学）
非侵入式可懂度预测对于其在难以获得干净参考信号的现实场景中的应用是重要的。许多非侵入式预测器的构建需要地面真实可理解性标签或用于监督学习的干净参考信号。在这项工作中，我们利用一个无监督的不确定性估计方法来预测语音清晰度，它不需要清晰度标签或参考信号来训练预测器。我们的实验表明，国家的最先进的端到端的自动语音识别（ASR）模型的不确定性是高度相关的语音清晰度。该方法在两个数据库上进行了评估，结果表明，ASR模型的无监督不确定性措施与听力结果的语音可懂度比广泛使用的侵入性方法的预测更相关。
2022-07-06 cs.SD eess.AS
The Effectiveness of Time Stretching for Enhancing Dysarthric Speech for Improved Dysarthric Speech Recognition
Delft University of Technology（代尔夫特理工大学）；Netherlands Cancer Institute（荷兰癌症研究所）；University of Amsterdam（阿姆斯特丹大学）
在本文中，我们研究了几种现有的和一种新的最先进的基于生成对抗网络（GAN）的语音转换方法，用于增强构音障碍语音，以改进构音障碍语音识别。我们比较现有方法的关键组成部分，作为严格的消融研究的一部分，以找到最有效的解决方案，以改善构音障碍的语音识别。我们发现，简单的信号处理方法，如静态噪声去除和基于声码器的时间拉伸，导致构音障碍的语音识别结果与使用最先进的基于GAN的语音转换方法时获得的结果相当，如使用音素识别任务测量的。此外，与我们的时间拉伸基线相比，我们提出的MaskCycleGAN-VC和时间拉伸增强相结合的解决方案能够改善某些构音障碍说话者的音素识别结果。
2022-01-13 cs.AI cs.SD eess.AS
Research on several key technologies in practical speech emotion recognition
本文研究了实用的语音情感识别技术，包括烦躁、自信和疲劳等与认知相关的情感类型。高质量的自然情感语音数据是本研究的基础。本研究采用认知任务、计算机游戏、噪声刺激、睡眠剥夺和电影片段等技术来诱导实用的情感言语。研究了一个基于高斯混合模型的语音情感识别系统。在小样本情况下，采用两类分类器集合来提高性能。考虑到连续情感语音中的上下文信息，提出了一种嵌入马尔可夫网络的高斯混合模型。进一步研究了系统鲁棒性分析。首先，将基于听觉掩蔽特性的降噪算法引入到语音情感识别中。其次，针对真实环境下复杂的未知情感类型，提出了一种具有拒识能力的情感识别方法，增强了系统对未知情感样本的兼容性。第三，针对大量未知说话人给情感特征归一化带来的困难，提出了一种基于说话人敏感特征聚类的情感特征归一化方法。第四，通过增加心电信号通道，首次提出了一种基于语音信号和心电信号的双模态情感识别系统。本文研究的语音情感识别方法可以扩展到跨语言语音情感识别和耳语音情感识别。
2017-09-27 cs.AI cs.SD eess.AS
Speech Recognition With No Speech Or With Noisy Speech Beyond English
Brain Machine Interface Lab The University of Texas at Austin（德克萨斯大学奥斯汀分校脑机接口实验室）
在本文中，我们展示了连续噪声语音识别使用连接主义时间分类（CTC）模型在有限的中文词汇使用脑电（EEG）特征，没有语音信号作为输入，我们进一步展示了单一的CTC模型基于连续噪声语音识别有限的联合英语和汉语词汇使用脑电特征，没有语音信号作为输入。我们使用最近在[1]中引入的各种EEG特征集来展示我们的结果，并且我们在本文中提出了一种新的深度学习架构，该架构可以使用原始EEG信号对有限的联合英语和汉语词汇进行连续语音识别。
2020-02-27 cs.LG cs.SD eess.AS
Bridging the Gap Between Monaural Speech Enhancement and Recognition with Distortion-Independent Acoustic Modeling
The Ohio State University（俄亥俄州立大学）
自几年前引入深度学习以来，单耳语音增强已经取得了巨大的进步。虽然增强语音已被证明具有更好的可理解性和质量的人类听众，它直接馈送到自动语音识别（ASR）系统训练与嘈杂的语音没有产生预期的改善ASR性能。在识别上缺乏增强益处，或者单耳语音增强和识别之间的差距，通常归因于在增强过程中引入的语音失真。在这项研究中，我们分析了失真的问题，比较不同的声学模型，并探讨了失真无关的单耳语音识别的训练计划。实验结果表明，与失真无关的声学建模能够克服失真问题。这样的声学模型还可以与不同于在训练期间使用的语音增强模型一起工作。此外，在CHiME-2语料库上，本文研究的模型优于以前最好的系统。
2019-03-13 cs.CL cs.SD eess.AS
Unsupervised Domain Adaptation in Speech Recognition using Phonetic Features
IIT Madras（印度理工学院马德拉斯分校）
自动语音识别是模式识别中的一个难题，因为语音输入中存在多种可变性来源，例如通道变化，输入可能是干净的或有噪声的，说话者可能具有不同的口音和性别变化等。因此，域自适应在语音识别中很重要，其中我们训练特定源域的模型，并在不同的目标域上对其进行测试。在本文中，我们提出了一种技术来执行无监督的基于性别的领域适应语音识别使用语音特征。在TIMIT数据集上进行了实验，使用该方法可以大大降低音素错误率。
2021-08-04 cs.LG cs.SD eess.AS
Training Neural Speech Recognition Systems with Synthetic Speech Augmentation
NVIDIA（英伟达）
构建准确的自动语音识别（ASR）系统需要一个大型数据集，该数据集包含由不同说话者集合产生的多个小时的标记语音样本。缺乏这种开放的免费数据集是阻碍ASR研究进步的主要问题之一。为了解决这个问题，我们建议用合成语音来增强自然语音数据集。我们训练非常大的端到端神经语音识别模型使用LibriSpeech数据集与合成语音增强。这些新的模型实现了最先进的字出错率（WER）的字符级为基础的模型，而无需外部语言模型。
2018-11-02 cs.CL cs.LG cs.SD
Towards End-to-end Unsupervised Speech Recognition
Meta AI；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
无监督语音识别显示出巨大的潜力，使自动语音识别（ASR）系统可访问的每一种语言。然而，现有的方法仍然严重依赖于手工制作的预处理。与使监督语音识别端到端的趋势类似，我们引入了wav 2 vec-U 2.0，它取消了所有音频端的预处理，并通过更好的架构提高了准确性。此外，我们引入了一个辅助的自监督目标，将模型预测与输入联系起来。实验表明，wav 2 vec-U 2.0改进了不同语言的无监督识别结果，同时在概念上更简单。
2022-06-15 cs.CL cs.SD eess.AS
Clustering and Mining Accented Speech for Inclusive and Fair Speech Recognition
Google Inc.（谷歌公司）
本文提出口音聚类与挖掘方案，结合预训练、分布鲁棒优化和无监督聚类，在挖掘出的印度口音语音上微调ASR，相对随机采样分别提升10.0%和5.3%，实现更公平的语音识别。
2024-08-05 cs.AI cs.SD eess.AS
