Loss Prediction: End-to-End Active Learning Approach For Speech Recognition
端到端的语音识别系统通常需要大量的标注资源，而对语音数据进行标注是复杂且昂贵的。主动学习是通过选择最有价值的样本进行注释的解决方案。在本文中，我们提出使用预测损失来估计样本的不确定性。CTC（连接主义时间分类）和注意力损失对于语音识别是有用的，因为它们是基于所有解码路径和对齐来计算的。我们定义了一个端到端的主动学习管道，训练ASR/LP（自动语音识别/丢失预测）联合模型。该方法在英语和汉语语音识别任务上得到了验证。实验表明，我们的方法取得了竞争力的结果，优于随机选择，最小置信度，估计损失的方法。
2021-07-09 eess.AS
Streaming Decoder-Only Automatic Speech Recognition with Discrete Speech Units: A Pilot Study
Northwestern Polytechnical University（西北工业大学）；Du Xiaoman Financial（度小满金融）
本文提出一种基于离散语音单元和专用边界token的流式仅解码器ASR模型，通过因果注意力掩码、右块注意力及数据增强，在AISHELL数据集上取得与非流式方法相当的性能。
2024-06-27 cs.SD eess.AS
An analysis of large speech models-based representations for speech emotion recognition
本文分析了多种信号特征与大语音模型表征在语音情感识别中的表现，发现部分预训练大模型即使不微调，也能在六个标准数据集上达到或超越最优结果。
2023-11-01 eess.AS
Overlapped speech recognition from a jointly learned multi-channel neural speech extraction and representation
提出了一种多通道神经语音提取和无梅尔滤波器组（FBANK）提取的深度声学模型的端到端联合优化框架，用于重叠语音识别。首先，基于具有STFT内核的多通道卷积TasNet，我们将多通道目标语音增强前端网络和基于卷积、长短期记忆和全连接深度神经网络（CLDNN）的声学模型（AM）与FBANK提取层统一起来，构建混合神经网络，从而仅通过识别损失联合更新。该框架实现了28%的字错误率降低（WERR）在AISHELL-1上单独优化的系统，并显示出一致的鲁棒性信号干扰比（SIR）和重叠扬声器之间的角度差。接下来，进一步的探索表明，语音识别的改进与一个简化的结构，通过取代FBANK提取层的联合模型与可学习的特征投影。最后，我们还对联合模型中增强网络的重构波形进行了语音质量的客观测量。
2019-10-30 eess.AS
Disentangled-Transformer: An Explainable End-to-End Automatic Speech Recognition Model with Speech Content-Context Separation
针对端到端Transformer ASR系统表示纠缠、可解释性差的问题，提出Disentangled-Transformer，基于不同时间分辨率解纠缠内容与说话人特征子嵌入，在提升ASR性能的同时实现说话人身份与内容分离，增强可解释性。
2024-11-26 eess.AS
Adapting Speech Foundation Models for Unified Multimodal Speech Recognition with Large Language Models
本文提出UASR-LLM框架，通过大语言模型与语音基础模型结合，实现多模态语音识别的统一优化与性能提升。
2026-02-27 eess.AS
Exploiting Single-Channel Speech For Multi-channel End-to-end Speech Recognition
最近，神经波束形成器支持的多通道ASR的端到端训练方法在多通道语音识别中显示出其有效性。然而，多个模块的集成使得执行端到端训练变得更加困难，特别是考虑到在真实环境中记录的具有相当大数据规模的多通道语音语料库相对有限。本文探讨了如何利用单通道数据改进多通道端到端语音识别系统。具体来说，我们设计了三种方案来利用单通道数据，即预训练，数据调度和数据模拟。在CHiME 4和AISHELL-4数据集上的大量实验表明，这三种方法都提高了多通道端到端训练的稳定性和语音识别性能，而数据调度方法保持了更简单的流水线（与预训练相比）和更少的计算成本（与数据模拟相比）。此外，我们对我们的系统进行了全面的分析，包括前端的选择，数据增强，训练策略和单通道数据大小如何影响性能。
2021-07-06 eess.AS
HD-DEMUCS: General Speech Restoration with Heterogeneous Decoders
Yonsei University（延世大学）；NAVER Cloud（NAVER云）
提出端到端 HD-DEMUCS，通过两个异构解码器并行完成降噪与缺失成分恢复，并以可学习权重聚合波形，在多种失真环境下优于单解码器和级联系统。
2023-06-02 cs.SD eess.AS
Dual-decoder Transformer for Joint Automatic Speech Recognition and Multilingual Speech Translation
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Facebook AI（Facebook人工智能研究院）
我们介绍了双解码器Transformer，一个新的模型架构，共同执行自动语音识别（ASR）和多语言语音翻译（ST）。我们的模型基于原始的Transformer架构（Vaswani等人，2017），但由两个解码器组成，每个解码器负责一个任务（ASR或ST）。我们的主要贡献在于这些解码器是如何相互作用的：一个解码器可以通过双重注意力机制来关注不同的信息源。我们提出了两个变种，这些架构对应于两个不同级别的解码器之间的依赖关系，称为并行和交叉双解码器Transformers，分别。在MuST-C数据集上进行的大量实验表明，我们的模型在多语言环境中的翻译性能优于先前报道的最高翻译性能，并且优于双语一对一的结果。此外，我们的并行模型表明没有权衡ASR和ST相比，香草多任务架构。我们的代码和预培训模型可在https://github.com/formiel/speech-translation上获得。
2020-11-02 cs.CL cs.SD eess.AS
SpeechUT: Bridging Speech and Text with Hidden-Unit for Encoder-Decoder Based Speech-Text Pre-training
University of Science and Technology of China（中国科学技术大学）；Microsoft（微软）；Microsoft Research Asia（微软亚洲研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
单通道预训练的快速发展促使研究者更加关注跨通道预训练方法。在本文中，我们提出了一个统一的模态语音单元文本预训练模型，SpeechUT，连接语音编码器和文本解码器的表示与共享的单元编码器。利用隐藏单元作为对齐语音和文本的接口，我们可以将语音到文本模型分解为语音到单元模型和单元到文本模型，它们可以分别使用未配对的语音和文本数据进行联合预训练。我们提出的SpeechUT是微调和自动语音识别（ASR）和语音翻译（ST）的任务进行评估。实验结果表明，SpeechUT在强基线上得到了实质性的改进，并在LibriSpeech ASR和MuST-C ST任务上实现了最先进的性能。为了更好地理解建议的演讲稿，进行了详细的分析。代码和预训练模型可在https://aka.ms/SpeechUT上获得。
2022-10-07 cs.CL eess.AS
Pre-Training Transformer Decoder for End-to-End ASR Model with Unpaired Speech Data
Microsoft Research Asia（微软亚洲研究院）
本文研究了一种新的预训练技术Speech 2C，用于基于编解码器的自动语音识别（ASR）。在多任务学习框架内，我们使用声学单元为编码器-解码器网络引入两个预训练任务，即，伪代码，源自离线集群模型。一种是通过编码器输出中的掩码语言建模（如HuBERT模型）来预测伪代码，而另一种是让解码器学习自回归地重建伪代码，而不是生成文本脚本。通过这种方式，解码器在学习生成正确的文本之前学习用代码重构原始语音信息。在LibriSpeech语料库上的综合实验表明，与不进行解码器预训练的方法相比，Speech 2C可以将词出错率（WER）降低19.2%，并且在10 h和100 h的微调子集上也明显优于最先进的wav 2 vec 2.0和HuBERT。我们在https://github.com/microsoft/SpeechT5/tree/main/Speech2C上发布我们的代码和模型。
2022-06-20 cs.LG cs.SD eess.AS
Decoder-only Architecture for Streaming End-to-end Speech Recognition
Sony Group Corporation（索尼集团公司）；Carnegie Mellon University（卡内基梅隆大学）
本文提出基于仅解码器架构的分块流式语音识别方法，利用 CTC 压缩语音特征并采用随机长度前缀提示训练，在 LibriSpeech 上实现 8% 相对词错误率降低且速度提升一倍。
2024-08-01 cs.CL eess.AS
An Asynchronous WFST-Based Decoder For Automatic Speech Recognition
Northwestern Polytechnical University（西北工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Xiaomi Corporation（小米公司）；Shanghai Jiao Tong University（上海交通大学）
本文介绍了一种异步动态解码器，它采用一种高效的A* 算法，在大词汇量连续语音识别的一次解码中加入大语言模型。与可能引起显著计算开销的具有即时合成解码器的标准单遍解码不同，异步动态解码器具有新颖的设计，其中其具有两个前端，一个执行“探索”而另一个执行“回填”。两个前沿的计算在解码过程中交替进行，从而比具有动态合成解码器的标准一遍解码更有效地修剪。实验结果表明，该解码器比标准的on-the-fly复合解码器的单遍解码速度快得多，而且随着数据复杂度的增加，这种加速效果更加明显。
2021-03-16 cs.SD eess.AS
SpeechT5: Unified-Modal Encoder-Decoder Pre-Training for Spoken Language Processing
Southern University of Science and Technology（南方科技大学）；The Hong Kong Polytechnic University（香港理工大学）；Tongji University（同济大学）；Microsoft（微软）；Peng Cheng Laboratory（鹏城实验室）
受T5（Text-To-Text Transfer Transformer）在预训练自然语言处理模型中的成功启发，我们提出了一个统一模态SpeechT5框架，该框架探索了用于自监督语音/文本表示学习的编码器-解码器预训练。SpeechT5框架由一个共享的编码器-解码器网络和六个特定于模态（语音/文本）的前/后网络组成。在通过前网络对输入语音/文本进行预处理之后，共享的编码器-解码器网络对序列到序列的变换进行建模，然后后网络基于解码器的输出以语音/文本模态生成输出。利用大规模未标记的语音和文本数据，我们对SpeechT5进行了预训练，以学习统一的模态表示，希望提高语音和文本的建模能力。为了将文本和语音信息对齐到这个统一的语义空间中，我们提出了一种跨模态矢量量化方法，该方法将语音/文本状态与潜在单元随机混合，作为编码器和解码器之间的接口。广泛的评估表明，所提出的SpeechT5框架在各种各样的口头语言处理任务，包括自动语音识别，语音合成，语音翻译，语音转换，语音增强和说话人识别的优越性。我们在www.example.com上发布我们的代码和模型。
2022-05-24 cs.CL cs.LG cs.SD
A Dual-Decoder Conformer for Multilingual Speech Recognition
Freshworks Inc.（Freshworks公司）
基于转换器的模型最近在序列到序列的应用中变得非常流行，例如机器翻译和语音识别。这项工作提出了一个双解码器Transformer模型的低资源多语种语音识别的印度语言。我们提出的模型包括一个Conformer [1]编码器，两个并行的Transformer解码器和一个语言分类器。我们使用音素解码器（PHN-DEC）的音素识别任务和一个字素解码器（GRP-DEC）预测字素序列以及语言信息。我们认为音素识别和语言识别作为辅助任务的多任务学习框架。我们通过联合CTC-Attention [2]训练联合优化了音素识别，字形识别和语言识别任务的网络。我们的实验表明，我们可以获得一个显着减少WER的基线方法。我们还表明，我们的双解码器的方法比单解码器的方法获得显着的改善。
2021-08-22 cs.CL cs.SD eess.AS
Decoding Envelope and Frequency-Following EEG Responses to Continuous Speech Using Deep Neural Networks
Imperial College London（帝国理工学院）；Friedrich-Alexander-University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
本研究全面记录了为ICASSP SPGC开发的深度神经网络EEG语音匹配解码器，探究说话人特征对性能的影响，验证了其准确鲁棒的分类效果与跨数据集泛化能力，且可直接用作听觉注意力解码器。
2023-12-15 cs.SD eess.AS
Multi-Encoder-Decoder Transformer for Code-Switching Speech Recognition
National University of Singapore（新加坡国立大学）
语码转换是指说话人在同一个句子内或句子之间交替使用两种或两种以上语言的词汇。CS语音的自动语音识别（ASR）需要同时处理两种或两种以上的语言。在这项研究中，我们提出了一个基于transformer的架构，具有两个对称的语言特定的编码器来捕获各个语言属性，从而提高每种语言的声学表示。在解码器模块中使用语言特定的多头注意机制来组合这些表示。解码器中的每个编码器及其相应的注意力模块使用大型单语语料库进行预训练，旨在减轻有限的CS训练数据的影响。我们称这样的网络为多编码器-解码器（MED）架构。在SEAME语料库上的实验结果表明，在以汉语和英语为矩阵语言的CS评价集上，该MED结构分别实现了10.2%和10.8%的相对错误率降低.
2020-06-18 cs.SD eess.AS
AdaST: Dynamically Adapting Encoder States in the Decoder for End-to-End Speech-to-Text Translation
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
针对端到端语音翻译中编码器声学表示静态固定的问题，本文提出AdaST模型，在解码器中依据隐藏状态动态调整声学状态，并以语音-文本混合注意替代传统交叉注意，在两个常用数据集上显著超越现有神经语音翻译模型。
2025-03-18 cs.CL cs.SD eess.AS
Inter-connection: Effective Connection between Pre-trained Encoder and Decoder for Speech Translation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
针对语音翻译中预训练编码器与解码器简单连接导致信息利用不足的问题，本文提出互连机制，通过加权聚合编码器各层信息输入解码器，在仅增加2K参数的情况下使英德、英日、英中翻译BLEU提升约2个点。
2023-05-26 cs.CL cs.SD eess.AS
Voxtlm: unified decoder-only models for consolidating speech recognition/synthesis and speech/text continuation tasks
Carnegie Mellon University（卡内基梅隆大学）；dot Inc.（42dot公司）
本文提出统一仅解码器模型 VoxtLM，通过融合文本词汇与离散语音 token 及特殊 token，支持识别、合成、文本生成和语音续写，并在多项任务上优于单任务模型，且开源数据配方与检查点。
2024-01-24 cs.LG cs.SD eess.AS
On decoder-only architecture for speech-to-text and large language model integration
Microsoft（微软）
针对语音与大语言模型集成不足的问题，提出Speech-LLaMA方法，通过连接主义时序分类和音频编码器将声学特征映射至LLM语义空间，验证了纯解码器架构在多语言语音转文本任务上的性能优势。
2023-10-02 cs.CL cs.SD eess.AS
Transfer Learning from Speech Synthesis to Voice Conversion with Non-Parallel Training Data
Southeast University（东南大学）；National University of Singapore（新加坡国立大学）
本文提出了一种新的框架，建立一个语音转换（VC）系统的学习从文本到语音（TTS）合成系统，即TTS-VC迁移学习。首先，我们开发了一个多扬声器语音合成系统与序列到序列的编码器-解码器架构，其中编码器提取强大的语言表示的文本，和解码器，条件下的目标说话人嵌入，需要上下文向量和注意经常性的网络单元输出生成目标声学特征。我们利用TTS系统将输入文本映射到与说话人无关的上下文向量的事实，并重用这样的映射来监督编码器-解码器语音转换系统的潜在表示的训练。在语音转换系统中，编码器以语音代替文本作为输入，而解码器的功能类似于TTS解码器。由于我们将解码器设置为扬声器嵌入，因此系统可以在非并行数据上进行训练，以进行任意到任意的语音转换。在语音转换训练过程中，我们分别提出了文本和语音到语音合成和语音转换网络。在运行时，语音转换网络使用自己的编码器-解码器架构。实验表明，该方法优于两个竞争的语音转换基线一致，即语音后验图和变分自动编码器的方法，在语音质量，自然度和说话人相似性。
2021-01-06 cs.SD eess.AS
Attention-Constrained Inference for Robust Decoder-Only Text-to-Speech
MoE Key Lab of Artificial Intelligence, AI Institute（教育部人工智能重点实验室，人工智能研究院）；Shanghai Jiao Tong University（上海交通大学）；Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong（香港中文大学深圳研究院）
本文针对解码器仅TTS模型的跳词和重复问题，提出注意力约束推理方法ACI，通过识别并约束对齐涌现注意力头，在VALL-E上使WER相对降低最多20.5%，且保持自然度和说话人相似度。
2024-10-18 cs.SD eess.AS
SpeechPy - A Library for Speech Processing and Recognition
Virginia Tech（弗吉尼亚理工学院暨州立大学）
SpeechPy是一个开源Python包，包含语音预处理技术，语音功能和重要的后处理操作。它提供了最常用的语音特征，包括MFCC和滤波器组能量以及滤波器组的对数能量。该软件包的目的是为研究人员提供一个简单的工具，用于语音特征提取和自动语音识别和说话人验证等应用程序中的处理目的。
2018-05-25 cs.SD eess.AS
Data Augmentation For Children's Speech Recognition -- The "Ethiopian" System For The SLT 2021 Children Speech Recognition Challenge
Seasalt AI LLC（海盐人工智能有限责任公司）；Xiaoice, Microsoft Corporation（微软公司小冰团队）；Xiaomi Corporation（小米公司）
本文介绍了2021年儿童语音识别挑战赛的“埃塞俄比亚”系统。针对儿童语音识别问题，特别是儿童语音识别训练数据不足的问题，提出了各种数据处理和增强技术。详细的实验设计和进行，以显示每种技术的有效性，在不同的语音识别工具包和模型架构。我们逐步解释了我们如何提出最终系统，该系统在2021年儿童语音识别挑战赛中提供了最先进的结果，在Track 1评估集上获得了21.66%的CER（总体排名第四），在Track 2评估集上获得了16.53%的CER（总体排名第一）。挑战后分析显示，我们的系统实际上在轨道1评估集上实现了18.82%的CER，但我们向轨道1的挑战组织者提交了错误的版本。
2020-11-09 cs.SD eess.AS
Mandarin-English Code-switching Speech Recognition with Self-supervised Speech Representation Models
National Taiwan University（台湾大学）
语码转换在日常会话中很常见，在一个句子中使用多种语言。CS语音识别的难点在于语言的交替和缺乏转录数据。因此，本文使用最近成功的自监督学习（SSL）方法，利用许多未标记的语音数据没有CS。我们发现，隐藏表示的SSL模型提供帧级的语言身份，即使该模型只训练英语语音。用自监督语音表示联合训练CTC和语言识别模块提高了CS语音识别性能。此外，使用多语种的语音数据进行预训练，获得了最佳的CS语音识别。
2021-10-07 cs.CL eess.AS
End-to-End Neural Systems for Automatic Children Speech Recognition: An Empirical Study
University of Southern California（南加州大学）
包容性和可访问的语音识别技术的一个关键需求是确保其对儿童语音的鲁棒性能。值得注意的是，这包括快速发展的基于神经网络的端到端语音识别系统。与成人语音相比，儿童语音识别由于在声学和语言特征方面的更大的说话者内-间可变性而更具挑战性。此外，缺乏足够和适当的儿童语音资源增加了设计鲁棒的端到端神经架构的挑战。本研究通过对当代最先进的端到端语音识别系统的实证研究，对儿童自动语音识别进行了严格的评估。洞察方面的训练数据的要求，适应儿童数据，儿童年龄的影响，话语长度，不同的架构和损失函数的端到端系统和语言模型的作用上的语音识别性能。
2021-02-19 cs.SD eess.AS
MuAViC: A Multilingual Audio-Visual Corpus for Robust Speech Recognition and Robust Speech-to-Text Translation
Meta AI
我们介绍MuAViC，一个多语言的视听语料库，用于强大的语音识别和强大的语音到文本的翻译，提供1200小时的视听语音在9种语言。它完全转录，涵盖6个英语到X的翻译以及6个X到英语的翻译方向。据我们所知，这是第一个视听语音到文本翻译的开放基准，也是多语言视听语音识别的最大开放基准。我们的基线结果表明，MuAViC是有效的建立噪声鲁棒的语音识别和翻译模型。我们在https://github.com/facebookresearch/muavic上提供语料库。
2023-03-07 cs.CL eess.AS
GPU-Accelerated Viterbi Exact Lattice Decoder for Batched Online and Offline Speech Recognition
NVIDIA（英伟达）
我们提出了一种优化的加权有限状态转换器（WFST）解码器，能够使用图形处理单元（GPU）的音频的在线流和离线批处理。该解码器是有效的内存利用率，输入/输出（I/O）带宽，并使用一种新颖的Viterbi实现设计，以最大限度地提高并行性。减少内存占用使解码器能够处理比以前大得多的图形，同时优化I/O增加了支持的并发流的数量。网格段的GPU预处理使得中间网格结果能够在流式推理期间返回给请求者。总的来说，所提出的算法产生了高达240倍的加速比单核CPU解码，高达40倍的速度比当前最先进的GPU解码器的解码，同时返回等效的结果。这种解码器设计可以在从大型数据中心服务器到低功耗边缘设备的各种系统上部署生产级ASR模型。
2020-02-14 cs.CL eess.AS
Learning to Jointly Transcribe and Subtitle for End-to-End Spontaneous Speech Recognition
KU Leuven（鲁汶大学）
从新闻报道中的朗读到脱口秀和肥皂剧中的对话和自发的讲话，电视字幕是许多类型讲话的丰富的翻译来源。然而，字幕不是语音的逐字（即，精确）翻译，因此它们不能直接用于改进自动语音识别（ASR）模型。我们提出了一个多任务双解码器Transformer模型，共同执行ASR和自动字幕。ASR解码器（可能是预先训练的）预测逐字输出，字幕解码器生成字幕，同时共享编码器。这两个解码器可以是独立的或连接的。该模型被训练为联合执行这两项任务，并且能够有效地使用字幕数据。我们表现出定期ASR和自发和会话ASR的改进，将额外的字幕解码器。该方法不需要预处理（对齐、过滤、伪标记等）。的字幕。
2022-10-14 cs.CL cs.SD eess.AS
GPU-Accelerated WFST Beam Search Decoder for CTC-based Speech Recognition
NVIDIA（英伟达）
针对CTC语音识别中CPU波束搜索解码的性能瓶颈，提出GPU加速的WFST波束搜索解码器，支持流式推理与词增强等特性，实验证明其在离线/在线场景下均大幅提升性能且词错误率相当或更优。
2023-11-08 cs.LG eess.AS
State-of-the-art Speech Recognition using EEG and Towards Decoding of Speech Spectrum From EEG
Brain Machine Interface Lab（脑机接口实验室）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
在本文中，我们首先展示了连续噪声语音识别使用脑电图（EEG）信号的英语词汇使用不同类型的最先进的端到端自动语音识别（ASR）模型，我们进一步提供了使用不同的实验条件下记录的EEG数据获得的结果。最后，我们展示了使用基于长短期记忆（LSTM）的回归模型和基于生成对抗网络（GAN）的模型从EEG信号解码语音频谱。我们的研究结果表明，在不同的实验条件下，连续噪声语音识别的EEG信号的可行性，我们提供了初步的结果，从EEG特征的语音合成。
2020-03-04 cs.SD eess.AS
Channel-Aware Pretraining of Joint Encoder-Decoder Self-Supervised Model for Telephonic-Speech ASR
IIT Madras（印度理工学院马德拉斯分校）
针对窄带与宽带电话语音混合预训练中通道信息缺失的问题，本文为带 Transformer 解码器的 HuBERT 联合模型设计非重叠通道聚类 ID，使下游 ASR 较基线相对提升约 4%。
2023-06-03 cs.SD eess.AS eess.SP
Linguistic-Enhanced Transformer with CTC Embedding for Speech Recognition
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
最近出现的联合CTC-注意力模型在自动语音识别（ASR）中显示了显著的改进。这种改进很大程度上在于解码器对语言信息的建模。与声学编码器联合优化的解码器在训练期间以自回归方式从地面实况序列呈现语言模型。然而，解码器的训练语料仅限于语音翻译，这远远少于训练可接受的语言模型所需的语料。这导致解码器的鲁棒性差。为了缓解这个问题，我们提出了语言增强的Transformer，它在训练过程中将细化的CTC信息引入到解码器中，从而使解码器具有更强的鲁棒性。我们在AISHELL-1语音库上的实验表明，字符出错率（CER）相对降低了7%。我们还发现，在联合CTC-Attention ASR模型中，解码器对语言信息比声学信息更敏感。
2022-10-25 cs.CL cs.SD eess.AS
Structured State Space Decoder for Speech Recognition and Synthesis
CyberAgent, Inc.（CyberAgent公司）
近年来开发的自动语音识别（ASR）系统已经显示出具有自我注意力模型（例如，Transformer和Conformer），它们正在取代传统的递归神经网络。同时，最近提出了一种结构化的状态空间模型（S4），为各种长序列建模任务，包括原始语音分类产生了有希望的结果。S4模型可以并行训练，与Transformer模型相同。在这项研究中，我们将S4作为ASR和文本到语音（TTS）任务的解码器，通过与Transformer解码器进行比较。实验结果表明，该模型在LibriSpeech测试-clean/测试-other集上的竞争词出错率（WER）为1.88%/4.25%，在CSJ eval 1/eval 2/eval 3集上的字符出错率（CER）为3.80%/2.63%/2.98%.此外，该模型比标准的Transformer模型更鲁棒，特别是对于两个数据集上的长格式语音。对于TTS任务，所提出的方法优于Transformer基线。
2022-10-31 cs.LG cs.SD eess.AS
Interactive spatial speech recognition maps based on simulated speech recognition experiments
Universität Oldenburg（奥尔登堡大学）
在日常生活中，人类听者的语音识别性能受到各种因素的影响，例如声学环境、说话者和听者的位置、可能受损的听力以及可选的听力设备。预测模型更接近于同时考虑所有需要的因素来预测复杂声学环境中的个体语音识别性能。虽然这样的预测对于严肃的应用可能仍然不够准确，但它们已经可以执行并且需要可访问的表示。在这方面的贡献，语音识别性能的交互式表示提出，它侧重于听众的头部方向和空间维度的声学场景。包括声学渲染模型、听力设备模型和收听者模型的示例性建模工具链被用于生成用于演示目的的数据集。使用空间语音识别地图来探索该数据集，证明了该方法观察可能相关行为的适用性。所提出的表示提供了一个合适的目标，比较和验证不同的建模方法在生态相关的上下文中。最终，它可以作为一种工具，在考虑语音通信的空间和设备的设计中使用经过验证的预测模型。
2021-04-01 cs.SD eess.AS
Sentiment-Aware Automatic Speech Recognition pre-training for enhanced Speech Emotion Recognition
Amazon（亚马逊公司）
提出了一种新的语音情感识别多任务预训练方法。我们在自动语音识别（ASR）和情感分类任务上同时预训练SER模型，以使声学ASR模型更具"情感意识“。我们使用在公开数据上训练的文本到情感模型来生成情感分类的目标。最后，我们对情感注释语音数据的声学ASR进行微调。我们在MSP播客数据集上评估了所提出的方法，在那里我们实现了最好的一致性相关系数（CCC）为0.41的效价预测。
2022-01-27 cs.CL cs.SD eess.AS
Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo Languages
ASAPP Inc.（ASAPP公司）；Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）
我们介绍了Wav 2Seq，这是第一种用于预训练语音数据编码器-解码器模型两部分的自监督方法。我们将伪语言归纳为紧凑的离散表示，并制定了一个自我监督的伪语音识别任务-将音频输入转录成伪子字序列。这一过程独立存在，或者可以作为低成本的第二阶段预培训。我们用自动语音识别（ASR）、口语命名实体识别和语音到文本翻译进行了实验。我们为端到端口语命名实体识别设置了新的最先进的结果，并在语音到文本翻译的20种语言对上显示出一致的改进，即使竞争方法使用额外的文本数据进行训练。最后，在ASR上，我们的方法使编码器-解码器方法能够受益于网络所有部分的预训练，并显示出与高度优化的最新方法相当的性能。
2022-05-02 cs.CL cs.LG cs.SD
Decoder-only Architecture for Speech Recognition with CTC Prompts and Text Data Augmentation
Sony Group Corporation（索尼集团公司）；Carnegie Mellon University（卡内基梅隆大学）
提出一种带有CTC提示和文本数据增强的decoder-only ASR架构，利用纯文本数据提升识别性能，在多个基准上降低词错率并提升计算效率。
2024-01-09 cs.SD eess.AS
Hybrid Transducer and Attention based Encoder-Decoder Modeling for Speech-to-Text Tasks
Meta AI；Carnegie Mellon University（卡内基梅隆大学）
本研究提出融合Transducer与注意力编码器-解码器的TAED框架，共享语音编码器、用AED解码器替换Transducer预测器，兼顾非单调学习优势与流式特性，在MuST-C数据集上多数任务性能优于纯Transducer模型。
2023-05-04 cs.CL cs.SD eess.AS
The RoyalFlush Automatic Speech Diarization and Recognition System for In-Car Multi-Channel Automatic Speech Recognition Challenge
Hithink RoyalFlush AI Research Institute（日立金科AI研究院）
本文提出 RoyalFlush 车载多通道 ASR 挑战赛系统，结合端到端说话人日志分离与自监督表示的 ASR 模型，显著降低 DER，并在两条赛道取得优异 CER 与 cpCER。
2024-05-09 cs.SD eess.AS
On the compression of shallow non-causal ASR models using knowledge distillation and tied-and-reduced decoder for low-latency on-device speech recognition
Samsung Research（三星研究院）
针对端侧ASR的低延迟需求，本文结合知识蒸馏、绑定约简解码器等技术压缩浅层非因果级联ASR模型，实现41M参数教师模型体积减半、准确率无明显下降且延迟降低30%。
2023-12-15 cs.SD eess.AS
Speech frame implementation for speech analysis and recognition
Tomsk State University of Control Systems and Radioelectronics（托木斯克国立控制系统与无线电电子大学）
所创建的语音帧的显著特征是：能够考虑说话者的情绪状态，支持与说话者的语音形成道的疾病一起工作，以及存在对许多语音信号的手动分段。此外，该系统专注于俄语语音材料，与大多数类似物不同。
2021-12-15 cs.SD eess.AS
Augmenting Polish Automatic Speech Recognition System With Synthetic Data
Samsung R&D Institute Poland（三星波兰研发研究院）；Samsung AI Center Warsaw（三星华沙人工智能中心）
针对Poleval 2024波兰语自动语音识别挑战赛，研究提出基于Voicebox的语音合成流水线，用合成数据增强Conformer和Whisper模型，证实该方法可显著提升识别效果并给出竞赛最终成绩。
2024-10-30 cs.SD eess.AS
CJST: CTC Compressor based Joint Speech and Text Training for Decoder-Only ASR
Meta AI
本文提出CJST框架，通过CTC压缩器实现语音与文本双向联合训练，无需时长处理即可在解码器专用ASR中有效注入文本，并在Librispeech和TED-LIUM2上取得域内与跨域最佳性能。
2024-12-31 cs.LG cs.SD eess.AS
Aphasic Speech Recognition using a Mixture of Speech Intelligibility Experts
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
鲁棒的语音识别是自动失语语音分析中语义特征提取的关键前提。然而，标准的通用自动语音识别模型在应用于失语症语音时表现不佳。这样做的一个原因是由于不同的严重程度（即，更高的严重性使其本身更难理解）。为了解决这个问题，我们提出了一种新的声学模型的基础上的混合专家（MoE），它处理不同的可懂度阶段，目前在失语症的语音明确定义的严重程度为基础的专家。在测试时，每个专家的贡献是决定通过估计语音清晰度与语音清晰度检测器（SID）。我们表明，我们提出的方法显着降低了电话错误率在失语症语音的所有严重程度阶段相比，基线方法，不将严重程度的信息到建模过程中。
2020-08-25 cs.SD eess.AS
Loss Masking Is Not Needed in Decoder-only Transformer for Discrete-token-based ASR
Alibaba Group（阿里巴巴集团）
针对解码器专用Transformer在离散词元ASR中依赖损失掩蔽的问题，提出平滑标签蒸馏（SLD）方法，以自回归方式建模语音词元，实验证明SLD优于损失掩蔽。
2024-02-05 cs.CL cs.SD eess.AS
Sequence-Level Unsupervised Training in Speech Recognition: A Theoretical Study
本文提出了一种基于分类误差界限的序列级交叉熵损失，用于无监督语音识别的理论分析与实验验证。
2026-03-02 cs.LG cs.SD eess.AS
Time-domain Speech Enhancement Assisted by Multi-resolution Frequency Encoder and Decoder
Kyoto University（京都大学）；Tianjin University（天津大学）
时域语音增强技术是近年来语音增强领域的研究热点。在最近的作品中，DEMUCS引入了多分辨率STFT损失，以提高性能。然而，用于STFT的一些分辨率包含非平稳信号，并且仅用一个输出同时学习多分辨率频率损失是具有挑战性的。为了更好地利用多分辨率的频率信息，我们补充了多个频谱在不同的帧长度的时域编码器。它们提取窄带和宽带中的平稳频率信息。我们还采用了多个解码器输出，每个输出计算其相应的分辨率频率损失。实验结果表明：（1）在编码器中融合平稳频率特征比融合非平稳特征更有效;（2）多个输出与频率损失一致，提高了性能。在语音库数据集上的实验表明，该方法的PESQ提高了0.14。
2023-03-26 cs.SD eess.AS
The History of Speech Recognition to the Year 2030
从2010年到2020年的十年间，自动语音识别取得了显著的进步。许多人现在每天都在使用语音识别，例如执行语音搜索查询，发送短信，以及与亚马逊Alexa和苹果Siri等语音助手进行交互。在2010年之前，大多数人很少使用语音识别。在过去的十年里，语音识别发生了巨大的变化，我们对未来的十年有何期待？我试图预测到2030年语音识别的研究和应用状况。虽然一般语音识别准确性的变化不会像前十年那样引人注目，但我认为我们面前的语音技术将迎来一个令人兴奋的十年。
2021-07-30 cs.CL cs.SD eess.AS
Exploring Generative Error Correction for Dysarthric Speech Recognition
Kore University of Enna（科雷大学恩纳分校）；Politecnico di Torino（托里诺理工学院）；Università di Palermo（巴勒莫大学）
针对构音障碍语音识别难题，提出结合先进ASR模型与LLM生成式纠错的两阶段框架，并在语音可访问性项目数据集上验证了其在结构化与自发语音上的有效性。
2025-05-26 cs.CL eess.AS
Intermediate-layer output Regularization for Attention-based Speech Recognition with Shared Decoder
Xinjiang University（新疆大学）；ByteDance（字节跳动）；Nanyang Technological University（南洋理工大学）
通过编码器端的多任务训练进行中间层输出（ILO）正则化已被证明是在各种端到端ASR框架上产生改进结果的有效方法。在本文中，我们提出了一种新的方法来做ILO正则化训练不同。我们没有使用传统的多任务方法，而是直接将中间层输出作为解码器的输入，也就是说，我们的解码器不仅接受最终编码器层的输出作为输入，还将编码器ILO的输出作为训练期间的输入。利用所提出的方法，由于编码器和解码器都被同时“正则化”，因此网络被更充分地训练，从而始终导致改进的结果，超过基于CTC的方法，以及超过没有采用所提出的方法的原始的基于注意力的建模方法。
2022-07-09 cs.SD eess.AS
LeVoice ASR Systems for the ISCSLP 2022 Intelligent Cockpit Speech Recognition Challenge
本文介绍了LeVoice自动语音识别系统，以跟踪2022年智能驾驶舱语音识别挑战赛2。Track 2是一个语音识别任务，对模型大小的范围没有限制。我们的主要观点包括基于深度学习的语音增强，基于文本到语音的语音生成，通过各种技术进行训练数据增强和语音识别模型融合。对混合架构和两种端到端架构进行了比较和融合。对于端到端建模，我们使用基于连接主义时间分类/基于注意力的编码器-解码器架构和递归神经网络换能器/基于注意力的编码器-解码器架构的模型。这些模型的性能评估与一个额外的语言模型，以提高单词错误率。结果表明，该系统在挑战测试集数据上的字符错误率为10.2%，在提交的挑战系统中排名第三。
2022-10-17 cs.SD eess.AS
Speech Emotion Recognition with ASR Integration
本研究通过整合自动语音识别技术提升语音情感识别的鲁棒性、可扩展性和实用性。
2026-02-28 cs.SD eess.AS
