Understanding Shared Speech-Text Representations
Google LLC(谷歌有限责任公司)
该研究通过无语音域自适应极限分析与单模态/共享编码器激活对比,探究Maestro框架下的共享语音-文本表示,明确语料特定时长模型的关键作用并解释其性能优势的部分原因。
2023-04-27 cs.CL cs.LG cs.SD
Mockingjay: Unsupervised Speech Representation Learning with Deep Bidirectional Transformer Encoders
National Taiwan University(台湾大学)
我们提出Mockingjay作为一种新的语音表示学习方法,其中双向Transformer编码器在大量未标记的语音上进行预训练。以前的语音表示方法通过对过去帧的条件反射和预测未来帧的信息来学习。而Mockingjay的设计是通过对过去和未来背景的联合条件作用来预测当前框架。Mockingjay表示提高了广泛的下游任务的性能,包括音素分类,说话人识别和对口语内容的情感分类,同时优于其他方法。Mockingjay是经验强大的,可以与下游模型进行微调,只有2个时代,我们进一步提高性能显着。在只有0.1%标记数据的低资源设置中,我们的表现优于使用所有100%标记数据的Mel特征的结果。
2020-02-02 cs.CL cs.LG cs.SD
Combining TF-GridNet and Mixture Encoder for Continuous Speech Separation for Meeting Transcription
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek有限公司);Paderborn University(帕德博恩大学)
本文提出结合 TF-GridNet 与混合编码器的方法,用于会议转录中的连续语音分离,在 LibriCSS 单麦克风上取得最先进性能,并分析了改进空间。
2025-02-26 cs.CL cs.LG cs.SD
CoLLD: Contrastive Layer-to-layer Distillation for Compressing Multilingual Pre-trained Speech Encoders
Meta AI
提出对比层到层蒸馏(CoLLD)方法,利用掩码预测和对比学习压缩多语言预训练语音编码器,在多语言语音翻译和识别基准上优于先前方法,缩小了小型与大型模型的差距。
2023-12-27 cs.CL cs.SD eess.AS
Multi-Encoder Learning and Stream Fusion for Transformer-Based End-to-End Automatic Speech Recognition
Technische Universit\"at Braunschweig Institute for Communications Technology Schleinitzstr. 22, 38106 Braunschweig, Germany
流融合,也称为系统组合,是传统混合隐马尔可夫模型方法的自动语音识别中的一种常用技术,但对于现代深度神经网络端到端模型架构来说,大多数尚未探索。在这里,我们研究各种融合技术的所有注意力为基础的编码器-解码器架构称为Transformer,努力实现最佳融合,通过研究不同的融合水平,在一个示例单麦克风设置与融合的标准幅度和相位功能。我们引入了一种新的多编码器学习方法,该方法仅在训练期间执行两个编码器-解码器多头注意力输出的加权组合。在推理中只使用幅度特征编码器,我们能够在不增加运行时间或参数的情况下,用语言模型和Libripeech在华尔街日报(WSJ)上显示出一致的改进。通过简单的后期融合推理将两个这样的多编码器训练模型结合起来,我们在WSJ上实现了基于transformer的模型的最新性能,与当前的基准方法相比,WER显著降低了19%。
2021-07-14 cs.CL cs.LG cs.SD
MMSpeech: Multi-modal Multi-task Encoder-Decoder Pre-training for Speech Recognition
DAMO Academy, Alibaba Group(达摩院,阿里巴巴集团)
针对汉语自动语音识别(ASR)提出了一种新的多模态多任务编码解码器预训练框架(MMSpeech),该框架同时使用了未标记的语音和文本数据。语音-文本联合预训练的主要困难来自语音和文本模态之间的显著差异,特别是对于普通话语音和文本。与英语和其他使用字母书写系统的语言不同,普通话使用表意书写系统,其中字符和声音并不紧密地相互映射。因此,我们建议将音素模态引入预训练,这可以帮助捕获汉语语音和文本之间的模态不变信息。具体来说,我们采用了一个多任务学习框架,包括五个自我监督和监督任务,语音和文本数据。对于端到端预训练,我们引入了利用未标记语音和文本数据的自监督语音到伪代码(S2 C)和音素到文本(P2 T)任务,其中语音伪代码对和音素文本对是对监督语音文本对的补充。为了训练编码器学习更好的语音表示,我们引入了自监督掩蔽语音预测(MSP)和监督音素预测(PP)任务来学习将语音映射到音素。此外,我们直接将下游有监督的语音到文本(S2 T)任务添加到预训练过程中,这可以进一步提高预训练性能,即使没有微调也能获得更好的识别结果。在AISHELL-1上的实验表明,该方法具有最佳的性能,与其他预训练方法相比,相对提高了40%以上。
2022-11-29 cs.CL cs.LG cs.MM
UniEnc-CASSNAT: An Encoder-only Non-autoregressive ASR for Speech SSL Models
UCLA(加州大学洛杉矶分校)
提出UniEnc-CASSNAT,一种仅含编码器的非自回归ASR模型,通过两次前向传递结合CTC与CASS-NAT优势,高效集成语音基础模型,在多个数据集上取得SOTA结果且参数更少。
2024-02-14 cs.CL cs.SD eess.AS
Collaborative Training of Acoustic Encoders for Speech Recognition
Facebook
设备上语音识别需要不同大小的训练模型,以部署在具有各种计算预算的设备上。在构建这些不同的模型时,我们可以通过联合训练它们来利用它们之间共享的知识。联合训练也是有效的,因为它减少了训练程序的数据处理操作中的冗余。我们提出了一种方法,用于协同训练不同大小的声学编码器的语音识别。我们使用一个序列传感器设置,其中不同的声学编码器共享一个共同的预测器和连接器模块。声学编码器还通过用于帧级chenone预测的辅助任务以及换能器损耗使用共蒸馏来训练。我们使用LibriSpeech语料库进行实验,并证明协同训练的声学编码器可以提供高达11%的相对改善的字出错率的测试分区。
2021-07-13 cs.CL cs.SD eess.AS
Stacked Acoustic-and-Textual Encoding: Integrating the Pre-trained Models into Speech Translation Encoders
Northeastern University(东北大学);Tencent(腾讯);The Chinese University of Hong Kong(香港中文大学);NiuTrans Research(小牛翻译研究院)
鉴于语音到翻译数据稀缺的事实,编码器预训练在端到端语音翻译(ST)中很有前途。但是ST编码器不是自动语音识别(ASR)或机器翻译(MT)编码器的简单实例。例如,我们发现ASR编码器缺乏翻译所必需的全局上下文表示,而MT编码器的设计不是为了处理长但局部注意的声学序列。在这项工作中,我们提出了一个堆叠声学和文本编码(SATE)的语音翻译方法。我们的编码器开始与往常一样处理声学序列,但后来的行为更像是输入序列的全局表示的MT编码器。通过这种方式,可以直接将预训练的模型纳入系统。此外,我们开发了一个适配器模块,以减轻预训练的ASR编码器和MT编码器之间的表示不一致,并开发了一个多教师知识蒸馏方法,以保持预训练知识。LibriSpeech En-Fr和MuST-C En-De ST任务的实验结果表明,我们的方法实现了18.3和25.2的最先进的BLEU分数。据我们所知,我们是第一个开发出端到端ST系统的公司,当大规模ASR和MT数据可用时,该系统可以实现与级联ST系统相当甚至更好的BLEU性能。
2021-06-15 cs.CL cs.SD eess.AS
Surrogate Gradient Spiking Neural Networks as Encoders for Large Vocabulary Continuous Speech Recognition
Idiap Research Institute(伊迪亚普研究所)
与产生密集和实值响应的传统人工神经元相比,生物启发的尖峰神经元传输稀疏和二进制信息,这也可以实现节能。最近的研究表明,脉冲神经网络可以像标准的递归神经网络一样使用代理梯度方法进行训练。它们在语音命令识别任务中显示出了有希望的结果。使用相同的技术,我们表明,他们是可扩展的大词汇量连续语音识别,在那里他们能够取代LSTM的编码器只有轻微的性能损失。这表明它们可能适用于更多涉及的序列到序列任务。此外,与其经常性的非尖峰对应物相比,它们对梯度爆炸问题具有鲁棒性,而无需使用门。
2023-02-16 cs.CL cs.LG cs.NE
SLAM: A Unified Encoder for Speech and Language Modeling via Speech-Text Joint Pre-Training
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);Google Research(谷歌研究院);New York University(纽约大学)
无监督预训练现在是文本和语音理解的主要方法。在大量未注释数据上预先训练的自我注意模型在对来自各种领域和语言的下游任务进行微调时取得了巨大的成功。本文通过在单个模型中统一语音和文本预训练,进一步提高了无监督语言预训练的通用性。我们建立了一个单一的编码器与BERT目标上的未标记的文本与w2 v-BERT目标上的未标记的语音。为了进一步调整我们的模型表示跨模态,我们利用对齐损失,特别是翻译语言建模(TLM)和语音文本匹配(STM),它们利用了有监督的语音文本识别数据。我们证明,在预训练期间合并语音和文本数据可以显着提高CoVoST~2语音翻译的下游质量,与单模态预训练模型相比,提高了约1 BLEU,同时在LibriSpeech和SpeechStew ASR任务上保持接近SotA的性能。在四个GLUE任务和文本规范化,我们观察到两种模式之间的容量限制和干扰的证据,导致性能下降相比,一个等效的纯文本模型,同时仍然具有竞争力的BERT。通过大量的实证分析,我们还证明了选择目标函数的语音预训练的重要性,以及添加额外的监督信号对学习表示的质量的有益影响。
2021-10-20 cs.CL cs.LG
Performance Analysis of Speech Encoders for Low-Resource SLU and ASR in Tunisian Dialect
Avignon University(阿维尼翁大学);Elyadata(埃利亚数据公司);LIA(语言与人工智能实验室)
针对低资源突尼斯阿拉伯语方言及对应低资源SLU、ASR场景,本文对比不同预训练与优化方式的SSL语音编码器在TARIC-SLU数据集上的性能,得出多项重要发现。
2024-07-09 cs.CL cs.SD eess.AS
Adaptive Feature Selection for End-to-End Speech Translation
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);ILLC, University of Amsterdam(阿姆斯特丹大学语言、逻辑与计算研究所);Department of Computational Linguistics, University of Zurich(苏黎世大学计算语言学系)
语音信号中的信息不是均匀分布的,这使得端到端(E2 E)语音翻译(ST)学习关注信息特征成为额外的挑战。在本文中,我们提出了自适应特征选择(AFS)的编码器-解码器为基础的E2 E ST。我们首先预训练的ASR编码器和应用AFS动态估计每个编码的语音特征SR的重要性。ST编码器,堆叠在ASR编码器的顶部,然后从(冻结)ASR编码器接收过滤的功能。我们采用L0 DROP(Zhang等人,2020)作为AFS的骨干,并使其适应于相对于时间和特征维度来稀疏化语音特征。LibriSpeech En-Fr和MuST-C基准测试的结果表明,AFS通过修剪约84%的时间特征来促进ST的学习,产生约1.3-1.6 BLEU的平均翻译增益和约1.4倍的解码加速比。特别是,与级联基线相比,AFS减少了性能差距,并且在LibriSpeech En-Fr上的表现优于它,BLEU得分为18.56(没有数据增强)
2020-10-20 cs.CL cs.LG cs.SD
SAMU-XLSR: Semantically-Aligned Multimodal Utterance-level Cross-Lingual Speech Representation
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);Le Mans University(勒芒大学)
我们提出了SAMU-XLSR:语义对齐的多模态话语级跨语言语音表示学习框架。与以前的语音表示学习工作不同,它以声学帧(10- 20 ms)的分辨率学习多语言上下文语音嵌入,这项工作专注于学习多模态(语音-文本)多语言语音嵌入,以句子(5- 10 s)的分辨率,使得嵌入向量空间在不同语言之间语义对齐。我们结合国家的最先进的多语言声学帧级语音表示学习模型XLS-R与语言无关的BERT句子嵌入(LaBSE)模型,创建一个话语级多模态语音编码器SAMU-XLSR。虽然我们训练SAMU-XLSR只有多语言转录的语音数据,跨语言的语音文本和语音语音协会出现在其学习的表示空间。为了证实我们的主张,我们使用SAMU-XLSR语音编码器结合预训练的LaBSE文本句子编码器进行跨语言语音到文本翻译检索,并单独使用SAMU-XLSR进行跨语言语音到语音翻译检索。我们通过在多个数据集上执行多个跨语言文本和语音翻译检索任务来突出这些应用程序。
2022-05-17 cs.CL cs.LG cs.SD
OWSM-CTC: An Open Encoder-Only Speech Foundation Model for Speech Recognition, Translation, and Language Identification
Carnegie Mellon University(卡内基梅隆大学);Honda Research Institute Japan(日本本田研究所)
提出基于CTC的仅编码器语音基础模型OWSM-CTC,使用180k小时公开数据训练,在ASR和ST任务上取得竞争力且推理更快,促进开放科学。
2024-08-27 cs.CL cs.SD eess.AS
Is Self-Supervised Learning Enough to Fill in the Gap? A Study on Speech Inpainting
Univ. Grenoble Alpes, CNRS, Grenoble-INP, GIPSA-lab(格陵兰大学阿尔卑斯分校、国家科学研究中心、格勒诺布尔INP、GIPSA实验室)
本研究探讨了使用自监督学习训练的语音编码器进行语音修复,发现其在单人语音场景中表现更佳,而在多人语音场景中预训练编码器更有效。
2025-12-08 cs.CL cs.SD eess.AS
CSTNet: Contrastive Speech Translation Network for Self-Supervised Speech Representation Learning
Le Mans University(勒芒大学)
世界上7,000种语言中有一半以上濒临灭绝。记录语言的传统方法是收集音频数据,然后由训练有素的语言学家在不同的粒度级别上进行手动注释。这个耗时而艰苦的过程可以从机器学习中受益。许多濒危语言没有任何正字法形式,但通常有双语和受过高资源语言训练的发言者。获得与语音对应的文本翻译相对容易。在这项工作中,我们提供了一个多模态机器学习框架的语音表示学习,通过利用两种模态之间的相关性,即语音及其相应的文本翻译。在这里,我们构建了一个卷积神经网络音频编码器,能够从语音中提取语言表示。训练音频编码器以在对比学习框架中执行语音翻译检索任务。通过评估电话识别任务上的学习表示,我们证明了语言表示出现在音频编码器的内部表示作为学习的副产品执行检索任务。
2020-08-05 cs.CL cs.LG cs.SD
Mixture Encoder for Joint Speech Separation and Recognition
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek有限公司);Paderborn University(帕德博恩大学)
提出一种混合编码器方法,结合模块化与端到端优势,在ASR中融入混合语音信息并交换说话人上下文,在SMS-WSJ任务上词错误率相对降低7%。
2023-06-21 cs.CL cs.LG
Word-level Speech Recognition with a Letter to Word Encoder
Facebook AI Research(Facebook人工智能研究院)
我们提出了一个直接到单词的序列模型,它使用一个词网络来学习词嵌入的字母。词网络可以与任意序列模型无缝集成,包括连接主义时间分类和注意力编码器-解码器模型。我们表明,我们的直接到字模型可以实现字出错率增益超过子字级模型的语音识别。我们还表明,我们的直接到词的方法保留了预测的能力,没有看到在训练时,没有任何再培训的话。最后,我们证明了词级模型可以使用比子词级模型更大的步幅,同时保持准确性。这使得模型在训练和推理方面都更有效。
2020-07-14 cs.CL cs.SD eess.AS
SHNU Multilingual Conversational Speech Recognition System for INTERSPEECH 2025 MLC-SLM Challenge
Shanghai Normal University(上海师范大学);Unisound AI Technology Co., Ltd.(Unisound人工智能技术有限公司)
SHNU-mASR系统结合并行语音编码器与LLM,采用三阶段训练和语言感知提示,在MLC-SLM挑战赛盲测集上取得11.76%的CER/WER,较基线降低8.41个百分点。
2025-07-08 cs.CL eess.AS
Polynomial Mixing for Efficient Self-supervised Speech Encoders
Université Paris-Saclay, CNRS, Laboratoire Interdisciplinaire des Sciences du Numérique(巴黎萨克雷大学,法国国家科学研究中心,跨学科数字科学实验室);Miles team, Université Paris-Dauphine-PSL(Miles团队,巴黎Dauphine-PSL大学);Laboratoire Informatique d'Avignon, Avignon Université(阿维尼翁信息实验室,阿维尼翁大学);LIGM, École Nationale des Ponts et Chaussées(LIGM,巴黎国立桥梁与道路学院)
本文提出多项式混合器(PoM)作为自监督语音编码器的高效替代方案,通过线性复杂度实现性能与效率的平衡。
2026-02-28 cs.CL cs.LG
Hybrid Transducer and Attention based Encoder-Decoder Modeling for Speech-to-Text Tasks
Meta AI;Carnegie Mellon University(卡内基梅隆大学)
本研究提出融合Transducer与注意力编码器-解码器的TAED框架,共享语音编码器、用AED解码器替换Transducer预测器,兼顾非单调学习优势与流式特性,在MuST-C数据集上多数任务性能优于纯Transducer模型。
2023-05-04 cs.CL cs.SD eess.AS
Advances in Joint CTC-Attention based End-to-End Speech Recognition with a Deep CNN Encoder and RNN-LM
Mitsubishi Electric Research Laboratories(三菱电机研究实验室);Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个最先进的端到端自动语音识别(ASR)模型。我们学习听和写字符与联合连接主义时间分类(CTC)和基于注意力的编码器-解码器网络。编码器是基于VGG网络的深度卷积神经网络(CNN)。CTC网络位于编码器之上,并与基于注意力的解码器联合训练。在束搜索过程中,我们将CTC预测、基于注意力的解码器预测和单独训练的LSTM语言模型相结合。我们实现了5- 10%的错误减少相比,以前的系统自发的日语和汉语语音,我们的端到端模型击败了传统的混合ASR系统。
2017-06-08 cs.CL
On Comparison of Encoders for Attention based End to End Speech Recognition in Standalone and Rescoring Mode
Flipkart Internet Pvt. Ltd.(Flipkart互联网私人有限公司)
流式自动语音识别(ASR)模型更受欢迎,适合于基于语音的应用。然而,非流模型提供更好的性能,因为它们查看整个音频上下文。为了在语音搜索等流媒体应用中利用非流媒体模型的优势,它通常用于第二遍重新评分模式。使用非流模型对使用流模型生成的候选假设进行重新评分。在这项工作中,我们在独立和重新评分模式下评估了Flipkart语音搜索任务上基于非流注意力的端到端ASR模型。这些模型基于Listen-Attend-Spell(LAS)编码器-解码器架构。我们使用基于LSTM、Transformer和Conformer的不同编码器变体进行实验。我们比较了这些模型的延迟要求及其性能。总体而言,我们表明,Transformer模型提供了可接受的WER与最低的延迟要求。我们报告了约16%的相对WER改进,第二遍LAS重新评分,延迟开销低于5 ms。我们还强调了CNN前端与Transformer架构的重要性,以实现可比的字出错率(WER)。此外,我们观察到,在第二遍重新评分模式下,所有编码器都提供了类似的好处,而在独立文本生成模式下,性能差异非常突出。
2022-06-26 cs.CL cs.LG cs.SD
Audio-visual Speech Enhancement Using Conditional Variational Auto-Encoders
Inria Grenoble Rhône-Alpes(法国国立信息学与自动化研究院罗讷-阿尔卑斯格勒诺布尔研究中心);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CentraleSupélec(中央理工-高等电力学院);GIPSA-Lab(GIPSA实验室)
变分自动编码器(VAE)是深度生成潜变量模型,可用于学习复杂数据的分布。VAE已经成功地用于学习语音信号的概率先验,然后用于执行语音增强。这种生成方法的一个优点是,它在训练时不需要成对的干净和有噪声的语音信号。在本文中,我们提出了视听变体的VAE单通道和扬声器无关的语音增强。我们开发了一个条件VAE(CVAE)的音频语音生成过程是有条件的嘴唇区域的视觉信息。在测试时,视听语音生成模型与基于非负矩阵分解的噪声模型相结合,语音增强依赖于蒙特卡洛期望最大化算法。实验进行了最近发表的NTCD-TIMIT数据集以及GRID语料库。实验结果表明,提出的音视频CVAE模型有效地融合了音视频信息,与纯音频VAE模型相比,提高了语音增强性能,特别是在语音信号受噪声严重污染的情况下。我们还表明,所提出的无监督视听语音增强方法优于最先进的监督深度学习方法。
2020-05-26 cs.LG cs.SD eess.AS
Towards the Next Frontier in Speech Representation Learning Using Disentanglement
本文提出 Learn2Diss 框架,通过帧级与话语级编码器解耦学习,分别捕获伪音素和伪说话人表示,在语义与非语义下游任务中均取得最先进结果。
2025-07-19 cs.AI cs.CL cs.LG
Rapid Language Adaptation for Multilingual E2E Speech Recognition Using Encoder Prompting
Sony Group Corporation(索尼集团公司);Carnegie Mellon University(卡内基梅隆大学)
针对CTC架构多语言语音识别难以融入语言提示的问题,提出自条件CTC框架下的编码器提示技术,实现零样本语言适配,平均降错28%,低资源语言降错41%。
2024-06-18 cs.CL cs.SD eess.AS
Efficiently Fusing Pretrained Acoustic and Linguistic Encoders for Low-resource Speech Recognition
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
端到端模型在自动语音识别(ASR)任务上取得了令人印象深刻的结果。然而,对于低资源的ASR任务,标记数据很难满足端到端模型的需求。自监督声学预训练已经显示出惊人的ASR性能,而转录仍然不足以在端到端模型中进行语言建模。在这项工作中,我们将预先训练的声学编码器(wav2vec2.0)和预先训练的语言编码器(BERT)融合到端到端ASR模型中。融合模型只需要在有限的标记数据上进行微调时学习从语音到语言的转换。两种模态的长度由单调的注意力机制匹配,而不需要额外的参数。此外,一个全连接层被引入到模态之间的隐藏映射。我们进一步提出了一个预定的微调策略,以保留和利用预先训练的语言编码器的文本上下文建模能力。实验表明,我们有效地利用了预训练模块。我们的模型在CALLHOME语料库(15小时)上取得了比其他端到端模型更好的识别性能。
2021-01-24 cs.CL cs.SD eess.AS
MELD: Mel-Spectrogram-Based Speech Language Modeling with Discrete Latent Variables
University of Edinburgh(爱丁堡大学);Google DeepMind(谷歌DeepMind);Meta Superintelligence Labs(Meta超智能实验室)
提出一种在梅尔频谱上联合优化编码器和语音语言模型的离散潜变量模型,在零样本文本转语音和语音转文本任务上优于基于编解码器和其他梅尔频谱基线,并缓解了自回归建模中的长时间静音和单词遗漏问题。
2026-09-02 cs.CL eess.AS
Quieter Than the Room: Representation Drift and Task Robustness in Speech Encoders
Boston University(波士顿大学);Princeton University(普林斯顿大学)
本研究测试八个冻结语音编码器在四种任务上对非语音干扰的鲁棒性,发现嵌入漂移与任务损失相关,但漂移大小不总指示损失程度。
2026-09-24 cs.CL cs.SD
In-Context Adaptation of Encoder-Decoder Models in Speech Recognition
University of Edinburgh(爱丁堡大学)
本研究探究上下文自适应是否为所有编码器-解码器语音识别模型的固有能力,通过六种模型和两种示例形式验证,发现均能实现自适应,且词汇与说话人信息均有贡献,表明该能力具有普遍性。
2026-09-29 cs.CL cs.SD eess.AS
Word-level Embeddings for Cross-Task Transfer Learning in Speech Processing
Swiss Federal Institute of Technology Lausanne(洛桑联邦理工学院);Imperial College London(伦敦帝国学院);Logitech Europe S.A.(罗技欧洲公司)
深度学习的最新突破通常依赖于表示学习和知识转移。近年来,用于学习语音表示的无监督和自监督技术被开发以促进自动语音识别。到目前为止,这些方法中的大多数是特定于任务的,并且被设计用于不同数据集或特定任务的设置之间的任务内迁移学习。反过来,学习任务独立的语音表示和迁移学习的跨任务应用仍然不太常见。在这里,我们介绍了一个编码器捕捉词级表示的语音跨任务迁移学习。我们展示了预训练编码器在四个不同的语音和音频处理任务中的应用:(i)语音增强,(ii)语言识别,(iii)语音,噪声和音乐分类,以及(iv)说话人辨识。在每个任务中,我们将跨任务迁移学习方法的性能与特定任务的基线进行比较。我们的研究结果表明,编码器通过预训练捕获的语音表示在不同的语音处理任务和数据集之间是可转移的。值得注意的是,即使是我们预先训练的编码器的简单应用程序也优于特定于任务的方法,或者是相当的,这取决于任务。
2021-12-14 cs.CL cs.SD eess.AS
Rethinking Entropy Allocation in LLM-based ASR: Understanding the Dynamics between Speech Encoders and LLMs
本文从熵分配角度重新审视基于大语言模型的ASR,提出三个指标刻画训练范式如何在语音编码器和LLM之间分配熵减少,通过多阶段训练策略优化参数效率和抗幻觉能力,实验显示在2.3B参数下达到与最新模型相当的性能并有效缓解幻觉。
2026-10-12 cs.CL cs.SD eess.AS
Vectorization of hypotheses and speech for faster beam search in encoder decoder-based speech recognition
Toyohashi University of Technology(丰桥技术科学大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL));Johns Hopkins University(约翰斯·霍普金斯大学)
基于注意的编码器解码器网络在推理步骤中使用从左到右的束搜索算法。当前束搜索扩展假设并在下一个时间步长遍历扩展的假设。这种遍历通常使用for循环程序来实现,并且它导致识别过程的速度降低。在本文中,我们提出了一种并行技术的束搜索,加速搜索过程中,通过向量化多个假设,以消除for循环程序。我们还提出了一种技术,批量多个语音发音离线识别使用,这减少了循环程序方面的遍历多个发音。与训练期间不同,由于用于高效解码的若干修剪和阈值化技术,该扩展在束搜索期间不是微不足道的。此外,我们的方法可以结合外部模块,RNNLM和CTC的分数,在一个批作为浅融合。通过矢量化假设,与原束搜索算法相比,实现了3.7倍的加速比;通过进一步将处理单元改为GPU,实现了10.5倍的加速比。
2018-11-12 cs.CL cs.SD eess.AS
Streaming automatic speech recognition with the transformer model
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
基于编码器-解码器的序列到序列模型已经在端到端自动语音识别(ASR)中展示了最先进的结果。最近,Transformer架构,其使用自注意力来建模时间上下文信息,已经被证明与基于递归神经网络(RNN)的系统架构相比,实现了显著更低的字出错率(WER)。尽管其成功,但实际使用仅限于离线ASR任务,因为编码器-解码器架构通常需要整个语音话语作为输入。在这项工作中,我们提出了一个基于Transformer的端到端ASR系统流ASR,其中输出必须在每个口语单词后不久生成。为了实现这一点,我们应用时间限制的自我注意的编码器和触发注意的编码器-解码器的注意力机制。我们提出的流传输Transformer架构实现了LibriSpeech的“干净”和“其他”测试数据的2.8%和7.2% WER,据我们所知,这是针对该任务的最佳发布流传输端到端ASR结果。
2020-06-30 cs.CL cs.LG cs.SD
Transformer Transducer: A Streamable Speech Recognition Model with Transformer Encoders and RNN-T Loss
Google Inc.(谷歌公司)
在本文中,我们提出了一个端到端的语音识别模型与Transformer编码器,可用于流式语音识别系统。基于自注意的Transformer计算块用于独立地编码音频和标签序列。来自音频和标签编码器两者的激活与前馈层组合,以针对声学帧位置和标签历史的每个组合计算标签空间上的概率分布。这类似于递归神经网络传感器(RNN-T)模型,它使用RNN进行信息编码,而不是Transformer编码器。该模型使用非常适合流解码的RNN-T损失进行训练。我们目前的LibriSpeech数据集上的结果表明,限制左上下文的自我注意力在Transformer层,使解码计算易于处理的流,只有轻微的精度下降。我们还表明,我们的模型的完全注意力版本击败了LibriSpeech基准测试的最先进的准确性。我们的研究结果还表明,我们可以通过关注有限数量的未来帧来弥合我们模型的完全注意力和有限注意力版本之间的差距。
2020-02-14 cs.CL cs.SD eess.AS
Curriculum Pre-training for End-to-End Speech Translation
Nankai University(南开大学);Microsoft Research Asia(微软亚洲研究院)
端到端语音翻译对编码器造成了沉重的负担,因为它必须同时转录,理解和学习跨语言语义。为了获得强大的编码器,传统方法在ASR数据上对其进行预训练以捕获语音特征。然而,我们认为,仅通过简单的语音识别来预训练编码器是不够的,应该考虑高级语言知识。受此启发,我们提出了一个课程预训练方法,其中包括一个初级课程的转录学习和两个高级课程的理解话语和映射两种语言的话。这些课程的难度正在逐渐增加。实验表明,我们的课程预训练方法导致显着改善En-De和En-Fr语音翻译基准。
2020-04-21 cs.CL cs.SD eess.AS
Moonshine v2: Ergodic Streaming Encoder ASR for Latency-Critical Speech Applications
Moonshine v2通过滑动窗口自注意机制实现低延迟流式ASR,达到与更大模型相当的准确性。
2026-02-12 cs.CL cs.LG cs.SD
Real to H-space Encoder for Speech Recognition
Avignon Université(阿维尼翁大学);ORKIS(ORKIS公司);McGill University(麦吉尔大学)
深度神经网络(DNN)和更准确地说,递归神经网络(RNN)是现代自动语音识别系统的核心,因为它们处理输入序列的效率。最近,已经表明,基于多维代数的不同输入表示,例如复数和四元数,能够通过优于常见的实值NN,为神经网络带来更自然,压缩和强大的输入信号表示。事实上,四元数值神经网络(QNN)可以更好地学习内部依赖关系,例如特定时间帧的Mel滤波器组值与其时间导数之间的关系,以及全局依赖关系,描述时间帧之间存在的关系。尽管如此,QNN仅限于四元数值输入信号,并且很难从这种具有实值输入数据的强大表示中受益。本文提出通过引入实数到四元数编码器来解决这个弱点,该编码器允许QNN处理任何一维输入特征,例如用于自动语音识别的传统Mel滤波器组。
2019-06-17 cs.CL cs.SD eess.AS
Text-Utilization for Encoder-dominated Speech Recognition Models
Machine Learning and Human Language Technology Group, RWTH Aachen University, Germany(机器学习与人类语言技术小组,亚琛工业大学,德国);AppTek, Germany(AppTek,德国)
本文研究了如何高效利用纯文本数据提升语音识别性能,重点探讨了编码器主导模型中整合文本数据的方法,实验表明简单配置比复杂方法更有效,简化了训练流程。
2026-04-29 cs.AI cs.CL cs.NE
Spiralformer: Low Latency Encoder for Streaming Speech Recognition with Circular Layer Skipping and Early Exiting
Sony Group Corporation(索尼集团);Carnegie Mellon University(卡内基梅隆大学)
针对流式语音识别分块处理编码延迟优化不足的问题,提出结合循环层跳过与早退的Spiralformer编码器,在相近计算成本与词错误率下显著降低token发射延迟。
2025-10-01 cs.CL cs.SD eess.AS
Multi-encoder multi-resolution framework for end-to-end speech recognition
The Johns Hopkins University(约翰斯·霍普金斯大学);Amazon(亚马逊);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
基于注意力的方法和连接主义时间分类(CTC)网络是端到端自动语音识别(ASR)的重要研究方向。联合CTC/Attention模型在多任务训练和联合解码过程中利用了两种架构,取得了很大的成功。在这项工作中,我们提出了一种新的多编码器多分辨率(MEMR)框架的基础上联合CTC/注意力模型。具有不同架构、时间分辨率和独立CTC网络的两个异构编码器并行工作以提取互补声学信息。然后使用分层注意力机制来组合编码器级信息。为了证明所提出的模型的有效性,在华尔街日报(WSJ)和CHiME-4上进行实验,导致相对字出错率(WER)降低18.0- 32.1%。此外,提出的MEMR模型在WSJ eval 92测试集中实现了3.6%的WER,这是该基准测试中端到端系统报告的最佳WER。
2018-11-12 cs.CL
Speech-text based multi-modal training with bidirectional attention for improved speech recognition
Xinjiang University(新疆大学);Bytedance AI Lab(字节跳动人工智能实验室);Nanyang Technological University(南洋理工大学);National Institute of Information and Communications Technology(日本国立信息与通信技术研究所)
为了让最先进的端到端ASR模型享受数据效率,以及通过多模式训练获得更多的未配对文本数据,需要解决两个问题:1)语音和语言(又名文本数据)之间特征采样率的同步性; 2)来自两个编码器的学习表示的同质性。在本文中,我们提出采用一种新的双向注意机制(BiAM),共同学习ASR编码器(底层)和文本编码器的多模态学习方法。BiAM是为了方便特征采样率的交换,实现转换后的一种特征在另一个空间中的测量质量,具有多样化的目标函数。因此,语音表示富含更多的语言信息,而文本编码器生成的表示与相应的语音表示更相似,因此共享的ASR模型更适合于不成对的文本数据预训练。为了验证所提出的方法的有效性,我们进行了两类实验,有或没有额外的不成对的文本数据。在Librispeech语料库上的实验结果表明,该方法在仅使用配对数据学习的情况下,可以达到6.15%的词错误率降低,而在使用更多的非配对文本数据学习的情况下,可以达到9.23%的词错误率降低。
2022-11-01 cs.CL cs.SD eess.AS
On the Usefulness of Self-Attention for Automatic Speech Recognition with Transformers
University of Edinburgh(爱丁堡大学)
诸如Transformers之类的自注意模型可以捕获时间关系而不受事件之间距离的限制,已经给出了竞争性的语音识别结果。然而,我们注意到学习的上下文范围从较低的自我注意层到较高的自我注意层增加,而声学事件通常以从左到右的顺序在短时间内发生。这就引出了一个问题:对于语音识别,整个序列的全局视图对于Transformers中的自注意编码器上层有用吗?为了研究这一点,我们训练模型与较低的自我关注/上前馈层编码器在华尔街日报和交换机。与基线Transformers相比,没有观察到性能下降,但略有增益。我们进一步开发了一种新的注意矩阵对角性度量,发现学习的对角性确实从较低的编码器自注意层到较高的编码器自注意层增加。我们得出结论,在训练上层编码器层时,全局视图是不必要的。
2020-11-08 cs.CL cs.SD eess.AS
An Effective Mixture-Of-Experts Approach For Code-Switching Speech Recognition Leveraging Encoder Disentanglement
National Taiwan Normal University(台湾师范大学);E.SUN Financial Holding Co., Ltd.(玉山金融控股股份有限公司)
本文提出结合新型解耦损失与 MoE 架构的声学编码器方法,在仅用语码转换语料、参数减半的条件下提升语码转换 ASR 性能。
2024-02-27 cs.AI cs.CL cs.SD
Multitask Learning with Low-Level Auxiliary Tasks for Encoder-Decoder Based Speech Recognition
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
基于深度学习的模型的端到端训练允许根据最终任务损失对中间表示进行隐式学习。然而,端到端的方法忽略了有用的领域知识编码在显式的中间级监督。我们假设,在深层网络的较低级别使用中间表示作为辅助监督,可能是结合端到端训练和更传统的管道方法优势的好方法。我们目前的实验会话语音识别,我们使用较低级别的任务,如音素识别,在多任务训练方法与编码器-解码器模型直接字符转录。我们比较了多种类型的低层次任务,并分析了辅助任务的效果。我们的研究结果表明,在交换机语料库上,这种方法提高了识别精度,在Eval 2000测试集上的标准编码器-解码器模型。
2017-04-19 cs.AI cs.CL
Unsupervised Speech Enhancement using Dynamical Variational Auto-Encoders
Inria Grenoble Rhône-Alpes(法国国家信息与自动化研究所罗纳-阿尔卑斯大区格勒诺布尔中心);Univ. Grenoble-Alpes(格勒诺布尔阿尔卑斯大学);Grenoble-INP(格勒诺布尔国立理工学院);CNRS(法国国家科学研究中心);CentraleSupélec(巴黎中央理工-高等电力学院)
动态变分自编码器(DVAE)是一类具有潜在变量的深度生成模型,专用于对高维数据的时间序列进行建模。DVAE可以被认为是变分自编码器(VAE)的扩展,其包括连续的观测向量和/或潜在向量之间的时间依赖性。以前的工作表明,使用DVAE的语音频谱图建模的VAE的兴趣。独立地,VAE已经成功地应用于噪声中的语音增强,在无监督的噪声不可知的设置中,在训练时间既不需要噪声样本也不需要有噪声的语音样本,而只需要干净的语音信号。在本文中,我们将这些工作扩展到基于DVAE的单通道无监督语音增强,从而利用语音信号无监督表示学习和动态建模。我们提出了一种无监督的语音增强算法,结合了DVAE语音事先预先训练干净的语音信号与噪声模型的基础上非负矩阵分解,我们推导出一个变分期望最大化(VEM)算法进行语音增强。该算法提出了最一般的DVAE制定,然后应用三个具体的DVAE模型来说明框架的多功能性。实验结果表明,所提出的基于DVAE的方法优于其基于VAE的方法,以及几个监督和无监督的噪声相关基线,特别是当噪声类型在训练过程中是不可见的。
2022-09-30 cs.AI cs.LG cs.SD
A Comparison of Techniques for Language Model Integration in Encoder-Decoder Speech Recognition
Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Google Inc.(谷歌公司)
基于注意力的递归神经编码器-解码器模型为自动语音识别问题提供了一个优雅的解决方案。这种方法将声学模型,发音模型和语言模型折叠到单个网络中,并且只需要一个并行的语音和文本语料库进行训练。然而,与结合单独的声学模型和语言模型的传统方法不同,如何使用额外的(未配对的)文本并不清楚。虽然以前已经有关于解决这一问题的方法的工作,但仍然缺乏对各种方法的彻底比较。在本文中,我们比较了一套过去的方法和我们自己提出的一些方法,使用不成对的文本数据,以改善编码器-解码器模型。为了进行评估,我们使用了中等规模的Switchboard数据集和大规模的Google语音搜索和听写数据集。我们的研究结果证实了在一系列方法和数据集上使用未配对文本的好处。令人惊讶的是,对于第一遍解码,相当简单的浅融合方法在数据集上表现最好。然而,对于Google数据集,我们发现冷融合具有较低的Oracle错误率,并且在Google语音搜索数据集上进行二次重新评分后优于其他方法。
2018-11-06 cs.AI cs.CL cs.SD
USTED: Improving ASR with a Unified Speech and Text Encoder-Decoder
Amazon Alexa(亚马逊 Alexa)
通过合并外部文本数据来改进端到端语音识别一直是一个长期的研究课题。最近的焦点是训练E2 E ASR模型,这些模型可以获得外部文本数据的性能优势,而不会在推理时产生评估外部语言模型的额外成本。在这项工作中,我们提出了训练ASR模型与一组文本到文本的辅助任务,它共享一个解码器和部分编码器。当我们分别用960小时的Librispeech和Opensubtitles数据联合训练ASR和掩蔽语言模型时,我们观察到,与仅使用ASR的基线相比,测试其他和测试干净的WER分别降低了16%和20%,而在推理时间没有任何额外成本,与使用与我们的模型相同的文本数据训练解码器的更强的MUTE-L基线相比,WER降低了6%和8%。当我们在Librispeech数据上训练掩蔽语言模型时,或者当我们使用机器翻译作为辅助任务时,我们实现了进一步的改进,而不会显着牺牲任务本身的性能。
2022-02-12 cs.CL cs.SD eess.AS
Attention or Convolution: Transformer Encoders in Audio Language Models for Inference Efficiency
Meta
本文发现,简单的自监督预训练音频模型配合纯自注意力编码器,在低比特量化下能达到与混合卷积-注意力语音Transformer相当的推理效率,且避免量化模块间误差传播。
2024-02-08 cs.CL cs.SD eess.AS
Multi-task Learning is Not Enough: Representational Entanglement in Dual-output Second Language Speech Recognition
KAIST(韩国科学技术院)
针对双输出第二语言语音识别,研究发现多任务学习导致表面转录性能下降,归因于编码器级别的表示纠缠,尤其在英语中随表面-意义差异增大而加剧。
2026-07-14 cs.CL cs.SD eess.AS
LAE: Language-Aware Encoder for Monolingual and Multilingual ASR
Tencent AI Lab(腾讯人工智能实验室)
尽管自动语音识别(ASR)研究进展迅速,但使用统一的ASR系统识别多语言语音仍然具有很大的挑战性。多语种语音识别的研究主要集中在两个方面:识别多个单语语音和识别在同一个话语中交替使用不同语言的代码转换语音。然而,一个实用的多语言识别器预计将兼容这两个方向。在这项工作中,提出了一种新的语言感知编码器(LAE)架构来处理这两种情况下,通过解开特定于语言的信息,并在编码过程中生成帧级的语言感知表示。在LAE中,主要编码由共享块实现,而语言特定块用于提取每种语言的特定表示。为了区分性地学习语言特定信息,提出了一种语言感知的训练方法来优化LAE中的语言特定块。在普通话-英语码转换语音上进行的实验表明,所提出的LAE能够在帧级区分不同的语言,并且在单语和多语ASR任务上都表现出优异的性能。无论是一个真实记录或模拟的代码切换数据集,建议LAE实现统计上显着的改善CTC和神经传感器系统。代码已发布
2022-06-05 cs.AI cs.CL
Exploring Neural Transducers for End-to-End Speech Recognition
Baidu Silicon Valley AI Lab(百度硅谷人工智能实验室)
在这项工作中,我们进行了CTC,RNN传感器,和基于注意力的Seq 2Seq模型之间的经验比较,用于端到端的语音识别。我们表明,在没有任何语言模型的情况下,Seq 2Seq和RNN-Transducer模型在流行的Hub 5 '00基准测试中的表现都优于具有语言模型的最佳CTC模型。在我们内部的多样化数据集上,这些趋势仍在继续-在束搜索之后,使用语言模型重新评分的RNNTransducer模型优于我们最好的CTC模型。这些结果简化了语音识别流水线,使得解码现在可以纯粹地表示为神经网络操作。我们还研究了编码器架构的选择如何影响这三种模型的性能-当所有编码器层都只向前时,以及当编码器对输入表示进行下采样时。
2017-07-24 cs.CL cs.NE
Dual-Encoder Architecture with Encoder Selection for Joint Close-Talk and Far-Talk Speech Recognition
Nuance Communications(Nuance通讯公司)
在本文中,我们提出了一个双编码器ASR架构的近距离通话(CT)和远距离通话(FT)语音的联合建模,以结合CT和FT设备的优势,以获得更好的准确性。其核心思想是增加一个编码器选择网络,以选择最佳的输入源(CT或FT)和相应的编码器。我们使用一个单通道编码器的CT语音和多通道编码器的空间滤波神经波束形成的FT语音,这是联合训练的编码器的选择。我们在基于注意力和RNN Transducer端到端ASR系统上验证了我们的方法。这些实验是用来自医疗用例的对话语音完成的,该对话语音是用CT设备和麦克风阵列同时记录的。我们的研究结果表明,建议的双编码器架构获得高达9%的相对WER减少时,同时使用CT和FT输入,相比,最好的单编码器系统的训练和测试匹配条件。
2021-09-17 cs.LG eess.AS