Hold Me Tight: Stable Encoder-Decoder Design for Speech Enhancement
Acoustics Research Institute, Austrian Academy of Sciences(奥地利科学院声学研究所);Nantes Université(南特大学);École Centrale Nantes(南特中央理工学院);University of Vienna(维也纳大学)
本文针对一维卷积编码器在语音增强中训练不稳定问题,提出结合听觉滤波器组、框架理论无监督目标与混合压缩谱范数的混合方案,在低复杂度编码器-掩码-解码器模型中显著提升PESQ。
2024-08-30 cs.LG cs.SD eess.AS
Geometry-Constrained EEG Channel Selection for Brain-Assisted Speech Enhancement
University of Science and Technology of China (USTC)(中国科学技术大学)
本文提出一种几何约束的EEG通道选择方法,用加权多扩张时间卷积网络替代BASEN中的Conv-TasNet,并设计GC-ConvRS模块,在公共数据集上验证了其优于BASEN,实现了性能与集成成本的更好权衡。
2024-09-19 cs.SD eess.AS
Uformer: A Unet based dilated complex & real dual-path conformer network for simultaneous speech enhancement and dereverberation
Northwestern Polytechnical University(西北工业大学);Sogou Inc.(搜狗公司)
复频谱和幅度被认为是语音增强和去混响的两个主要特征。传统的方法总是将这两个特征分开处理,忽略了它们之间的内在联系。本文提出了Uformer,一种基于Unet的复-实双径扩张保形网络,用于同时进行语音增强和混响消除。我们利用时间注意力(TA)和扩张卷积(DC)来利用局部和全局上下文信息和频率注意力(FA)来建模维度信息。这三个子模块组成的扩展复实双径一致器模块有效地提高了语音增强和去混响性能。此外,采用混合编码器和解码器,同时对复频谱和幅度进行建模,促进两个域之间的信息交互。编码器/解码器的注意力也被应用于增强编码器和解码器之间的交互。我们的实验结果优于所有的SOTA时间和复杂的域模型客观和主观。具体而言,Uformer在Interspeech 2021 DNS Challenge的盲测集上达到3.6032 DNSMOS,优于所有表现最好的模型。我们还进行了烧蚀实验,梳理除了所有提出的子模块是最重要的。
2022-05-05 cs.SD eess.AS
Diffusion-Based Speech Enhancement with Joint Generative and Predictive Decoders
Sony Group Corporation(索尼集团公司)
本文提出双层级联合生成式与预测式解码器的扩散语音增强框架,通过初始和最终扩散步骤融合两类输出,在 Voice-Bank 上实现更快解码及优于 StoRM、SGMSE+ 的 PESQ。
2024-02-28 cs.CL cs.SD eess.AS
UniSE: A Unified Framework for Decoder-Only Autoregressive LM-Based Speech Enhancement
Qwen Business Unit of Alibaba, China(阿里巴巴Qwen业务单元,中国);Tongyi AI Lab of Alibaba, China(阿里巴巴通义AI实验室,中国)
提出UniSE,一种统一的仅解码器LM框架,通过自回归生成离散令牌处理语音恢复、目标说话人提取和语音分离任务,并引入渐进强化学习优化质量,在多个基准上取得竞争性表现。
2026-07-03 cs.AI cs.SD
BASEN: Time-Domain Brain-Assisted Speech Enhancement Network with Convolutional Cross Attention in Multi-talker Conditions
University of Science and Technology of China(中国科学技术大学);Sichuan University(四川大学)
本文提出时域脑辅助语音增强网络BASEN,结合听众脑电信号与全卷积时域音频分离网络,并引入卷积多层交叉注意力模块融合双分支特征,在多说话人条件下有效提取目标说话人且优于现有方法。
2023-05-17 cs.AI cs.SD eess.AS
Real-time Streaming Wave-U-Net with Temporal Convolutions for Multichannel Speech Enhancement
Huawei Russia Research Institute(华为俄罗斯研究院);Huawei Nanjing Research Institute(华为南京研究院);HSE University(高等经济大学)
在本文中,我们描述了我们为参加ConferencingSpeech 2021挑战赛的Task 1所做的工作。本课题的目标是开发实时多通道语音增强的解决方案。我们提出了一种新的系统,用于流式语音增强。在编码器和解码器中,我们采用了具有时间卷积的Wave-U-Net架构。我们在解码器中加入了自注意力,以将从跳过连接中检索到的注意力掩码应用于来自下块的特征。我们探讨了历史缓存机制,工作像隐藏状态的递归网络,并实现了他们的建议解决方案。它可以帮助我们以相同的精度运行块长度为40 ms和实时因子为0.4的推理。
2021-04-05 cs.SD eess.AS eess.SP
TSTNN: Two-stage Transformer based Neural Network for Speech Enhancement in the Time Domain
Concordia University(康考迪亚大学)
在本文中,我们提出了一种基于变换的架构,称为两级Transformer神经网络(TSTNN)的端到端的语音去噪在时域。该模型由编码器、两级Transformer模块(TSTM)、掩蔽模块和解码器组成。编码器将输入的噪声语音映射为特征表示。TSTM利用四个堆叠的两级Transformer块来逐级有效地从编码器输出中提取局部和全局信息。掩码模块创建将与编码器输出相乘的掩码。最后,解码器使用掩蔽的编码器特征来重建增强的语音。在基准数据集上的实验结果表明,TSTNN在时域或频域上优于大多数最先进的模型,同时具有显着降低的模型复杂度。
2021-03-18 cs.LG cs.SD eess.AS
Mamba-based Decoder-Only Approach with Bidirectional Speech Modeling for Speech Recognition
本文提出MADEON,一种基于Mamba的仅解码器ASR架构,通过引入语音前缀技术进行双向语音建模以增强上下文信息,在大型数据集上取得了与Transformer模型相当的性能。
2024-11-11 cs.SD eess.AS
Streaming Decoder-Only Automatic Speech Recognition with Discrete Speech Units: A Pilot Study
Northwestern Polytechnical University(西北工业大学);Du Xiaoman Financial(度小满金融)
本文提出一种基于离散语音单元和专用边界token的流式仅解码器ASR模型,通过因果注意力掩码、右块注意力及数据增强,在AISHELL数据集上取得与非流式方法相当的性能。
2024-06-27 cs.SD eess.AS
An Asynchronous WFST-Based Decoder For Automatic Speech Recognition
Northwestern Polytechnical University(西北工业大学);Johns Hopkins University(约翰斯·霍普金斯大学);Xiaomi Corporation(小米公司);Shanghai Jiao Tong University(上海交通大学)
本文介绍了一种异步动态解码器,它采用一种高效的A* 算法,在大词汇量连续语音识别的一次解码中加入大语言模型。与可能引起显著计算开销的具有即时合成解码器的标准单遍解码不同,异步动态解码器具有新颖的设计,其中其具有两个前端,一个执行“探索”而另一个执行“回填”。两个前沿的计算在解码过程中交替进行,从而比具有动态合成解码器的标准一遍解码更有效地修剪。实验结果表明,该解码器比标准的on-the-fly复合解码器的单遍解码速度快得多,而且随着数据复杂度的增加,这种加速效果更加明显。
2021-03-16 cs.SD eess.AS
Decoding Envelope and Frequency-Following EEG Responses to Continuous Speech Using Deep Neural Networks
Imperial College London(帝国理工学院);Friedrich-Alexander-University Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学)
本研究全面记录了为ICASSP SPGC开发的深度神经网络EEG语音匹配解码器,探究说话人特征对性能的影响,验证了其准确鲁棒的分类效果与跨数据集泛化能力,且可直接用作听觉注意力解码器。
2023-12-15 cs.SD eess.AS
Multi-Encoder-Decoder Transformer for Code-Switching Speech Recognition
National University of Singapore(新加坡国立大学)
语码转换是指说话人在同一个句子内或句子之间交替使用两种或两种以上语言的词汇。CS语音的自动语音识别(ASR)需要同时处理两种或两种以上的语言。在这项研究中,我们提出了一个基于transformer的架构,具有两个对称的语言特定的编码器来捕获各个语言属性,从而提高每种语言的声学表示。在解码器模块中使用语言特定的多头注意机制来组合这些表示。解码器中的每个编码器及其相应的注意力模块使用大型单语语料库进行预训练,旨在减轻有限的CS训练数据的影响。我们称这样的网络为多编码器-解码器(MED)架构。在SEAME语料库上的实验结果表明,在以汉语和英语为矩阵语言的CS评价集上,该MED结构分别实现了10.2%和10.8%的相对错误率降低.
2020-06-18 cs.SD eess.AS
Dual-decoder Transformer for Joint Automatic Speech Recognition and Multilingual Speech Translation
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Facebook AI(Facebook人工智能研究院)
我们介绍了双解码器Transformer,一个新的模型架构,共同执行自动语音识别(ASR)和多语言语音翻译(ST)。我们的模型基于原始的Transformer架构(Vaswani等人,2017),但由两个解码器组成,每个解码器负责一个任务(ASR或ST)。我们的主要贡献在于这些解码器是如何相互作用的:一个解码器可以通过双重注意力机制来关注不同的信息源。我们提出了两个变种,这些架构对应于两个不同级别的解码器之间的依赖关系,称为并行和交叉双解码器Transformers,分别。在MuST-C数据集上进行的大量实验表明,我们的模型在多语言环境中的翻译性能优于先前报道的最高翻译性能,并且优于双语一对一的结果。此外,我们的并行模型表明没有权衡ASR和ST相比,香草多任务架构。我们的代码和预培训模型可在https://github.com/formiel/speech-translation上获得。
2020-11-02 cs.CL cs.SD eess.AS
Transfer Learning from Speech Synthesis to Voice Conversion with Non-Parallel Training Data
Southeast University(东南大学);National University of Singapore(新加坡国立大学)
本文提出了一种新的框架,建立一个语音转换(VC)系统的学习从文本到语音(TTS)合成系统,即TTS-VC迁移学习。首先,我们开发了一个多扬声器语音合成系统与序列到序列的编码器-解码器架构,其中编码器提取强大的语言表示的文本,和解码器,条件下的目标说话人嵌入,需要上下文向量和注意经常性的网络单元输出生成目标声学特征。我们利用TTS系统将输入文本映射到与说话人无关的上下文向量的事实,并重用这样的映射来监督编码器-解码器语音转换系统的潜在表示的训练。在语音转换系统中,编码器以语音代替文本作为输入,而解码器的功能类似于TTS解码器。由于我们将解码器设置为扬声器嵌入,因此系统可以在非并行数据上进行训练,以进行任意到任意的语音转换。在语音转换训练过程中,我们分别提出了文本和语音到语音合成和语音转换网络。在运行时,语音转换网络使用自己的编码器-解码器架构。实验表明,该方法优于两个竞争的语音转换基线一致,即语音后验图和变分自动编码器的方法,在语音质量,自然度和说话人相似性。
2021-01-06 cs.SD eess.AS
Pre-Training Transformer Decoder for End-to-End ASR Model with Unpaired Speech Data
Microsoft Research Asia(微软亚洲研究院)
本文研究了一种新的预训练技术Speech 2C,用于基于编解码器的自动语音识别(ASR)。在多任务学习框架内,我们使用声学单元为编码器-解码器网络引入两个预训练任务,即,伪代码,源自离线集群模型。一种是通过编码器输出中的掩码语言建模(如HuBERT模型)来预测伪代码,而另一种是让解码器学习自回归地重建伪代码,而不是生成文本脚本。通过这种方式,解码器在学习生成正确的文本之前学习用代码重构原始语音信息。在LibriSpeech语料库上的综合实验表明,与不进行解码器预训练的方法相比,Speech 2C可以将词出错率(WER)降低19.2%,并且在10 h和100 h的微调子集上也明显优于最先进的wav 2 vec 2.0和HuBERT。我们在https://github.com/microsoft/SpeechT5/tree/main/Speech2C上发布我们的代码和模型。
2022-06-20 cs.LG cs.SD eess.AS
Attention-Constrained Inference for Robust Decoder-Only Text-to-Speech
MoE Key Lab of Artificial Intelligence, AI Institute(教育部人工智能重点实验室,人工智能研究院);Shanghai Jiao Tong University(上海交通大学);Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong(香港中文大学深圳研究院)
本文针对解码器仅TTS模型的跳词和重复问题,提出注意力约束推理方法ACI,通过识别并约束对齐涌现注意力头,在VALL-E上使WER相对降低最多20.5%,且保持自然度和说话人相似度。
2024-10-18 cs.SD eess.AS
A Dual-Decoder Conformer for Multilingual Speech Recognition
Freshworks Inc.(Freshworks公司)
基于转换器的模型最近在序列到序列的应用中变得非常流行,例如机器翻译和语音识别。这项工作提出了一个双解码器Transformer模型的低资源多语种语音识别的印度语言。我们提出的模型包括一个Conformer [1]编码器,两个并行的Transformer解码器和一个语言分类器。我们使用音素解码器(PHN-DEC)的音素识别任务和一个字素解码器(GRP-DEC)预测字素序列以及语言信息。我们认为音素识别和语言识别作为辅助任务的多任务学习框架。我们通过联合CTC-Attention [2]训练联合优化了音素识别,字形识别和语言识别任务的网络。我们的实验表明,我们可以获得一个显着减少WER的基线方法。我们还表明,我们的双解码器的方法比单解码器的方法获得显着的改善。
2021-08-22 cs.CL cs.SD eess.AS
AdaST: Dynamically Adapting Encoder States in the Decoder for End-to-End Speech-to-Text Translation
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
针对端到端语音翻译中编码器声学表示静态固定的问题,本文提出AdaST模型,在解码器中依据隐藏状态动态调整声学状态,并以语音-文本混合注意替代传统交叉注意,在两个常用数据集上显著超越现有神经语音翻译模型。
2025-03-18 cs.CL cs.SD eess.AS
Speech Enhancement-assisted Voice Conversion in Noisy Environments
National Yang Ming Chiao Tung University(国立阳明交通大学);Yuan Ze University(元智大学);Academia Sinica(中央研究院)
已经提出了许多语音转换(VC)技术用于不同说话者之间的语音转换。虽然当VC应用在干净的环境中时,可以观察到转换后的语音的良好质量,但是当系统运行在噪声条件下时,质量急剧下降。为了解决这个问题,我们提出了一种新的语音增强(SE)辅助VC系统,利用SE技术的信号预处理,其中VC和SE组件进行优化,在一个联合的训练策略,目的是提供高质量的转换后的语音信号。我们采用了流行的模型,StarGAN,作为VC组件,因此调用EStarGAN的组合系统。我们使用普通话语音语料库测试了所提出的EStarGAN系统。实验结果首次验证了EStarGAN中联合训练策略的有效性。此外,EStarGAN在各种看不见的噪声环境中表现出性能稳健性。主观听力测试结果进一步表明,EStarGAN可以提高从噪声污染的源话语转换的语音信号的声音质量。
2023-01-19 cs.SD eess.AS
Inter-connection: Effective Connection between Pre-trained Encoder and Decoder for Speech Translation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
针对语音翻译中预训练编码器与解码器简单连接导致信息利用不足的问题,本文提出互连机制,通过加权聚合编码器各层信息输入解码器,在仅增加2K参数的情况下使英德、英日、英中翻译BLEU提升约2个点。
2023-05-26 cs.CL cs.SD eess.AS
Voxtlm: unified decoder-only models for consolidating speech recognition/synthesis and speech/text continuation tasks
Carnegie Mellon University(卡内基梅隆大学);dot Inc.(42dot公司)
本文提出统一仅解码器模型 VoxtLM,通过融合文本词汇与离散语音 token 及特殊 token,支持识别、合成、文本生成和语音续写,并在多项任务上优于单任务模型,且开源数据配方与检查点。
2024-01-24 cs.LG cs.SD eess.AS
On decoder-only architecture for speech-to-text and large language model integration
Microsoft(微软)
针对语音与大语言模型集成不足的问题,提出Speech-LLaMA方法,通过连接主义时序分类和音频编码器将声学特征映射至LLM语义空间,验证了纯解码器架构在多语言语音转文本任务上的性能优势。
2023-10-02 cs.CL cs.SD eess.AS
Decoder-only Architecture for Speech Recognition with CTC Prompts and Text Data Augmentation
Sony Group Corporation(索尼集团公司);Carnegie Mellon University(卡内基梅隆大学)
提出一种带有CTC提示和文本数据增强的decoder-only ASR架构,利用纯文本数据提升识别性能,在多个基准上降低词错率并提升计算效率。
2024-01-09 cs.SD eess.AS
On the compression of shallow non-causal ASR models using knowledge distillation and tied-and-reduced decoder for low-latency on-device speech recognition
Samsung Research(三星研究院)
针对端侧ASR的低延迟需求,本文结合知识蒸馏、绑定约简解码器等技术压缩浅层非因果级联ASR模型,实现41M参数教师模型体积减半、准确率无明显下降且延迟降低30%。
2023-12-15 cs.SD eess.AS
SpeechT5: Unified-Modal Encoder-Decoder Pre-Training for Spoken Language Processing
Southern University of Science and Technology(南方科技大学);The Hong Kong Polytechnic University(香港理工大学);Tongji University(同济大学);Microsoft(微软);Peng Cheng Laboratory(鹏城实验室)
受T5(Text-To-Text Transfer Transformer)在预训练自然语言处理模型中的成功启发,我们提出了一个统一模态SpeechT5框架,该框架探索了用于自监督语音/文本表示学习的编码器-解码器预训练。SpeechT5框架由一个共享的编码器-解码器网络和六个特定于模态(语音/文本)的前/后网络组成。在通过前网络对输入语音/文本进行预处理之后,共享的编码器-解码器网络对序列到序列的变换进行建模,然后后网络基于解码器的输出以语音/文本模态生成输出。利用大规模未标记的语音和文本数据,我们对SpeechT5进行了预训练,以学习统一的模态表示,希望提高语音和文本的建模能力。为了将文本和语音信息对齐到这个统一的语义空间中,我们提出了一种跨模态矢量量化方法,该方法将语音/文本状态与潜在单元随机混合,作为编码器和解码器之间的接口。广泛的评估表明,所提出的SpeechT5框架在各种各样的口头语言处理任务,包括自动语音识别,语音合成,语音翻译,语音转换,语音增强和说话人识别的优越性。我们在www.example.com上发布我们的代码和模型。
2022-05-24 cs.CL cs.LG cs.SD
Identity-Assisted Association of Unordered DOA Estimates for Neural Speech Source Tracking
Westlake University(西湖大学);Tianjin University(天津大学);Zhejiang University(浙江大学);Westlake Institute for Advanced Study(西湖高等研究院)
针对语音源跟踪中数据关联模糊问题,提出身份辅助关联方法,将无序DOA估计映射到说话人一致轨迹,利用身份嵌入与自注意力机制,实验证明其有效缓解关联混淆。
2026-09-29 cs.SD eess.AS
Intermediate-layer output Regularization for Attention-based Speech Recognition with Shared Decoder
Xinjiang University(新疆大学);ByteDance(字节跳动);Nanyang Technological University(南洋理工大学)
通过编码器端的多任务训练进行中间层输出(ILO)正则化已被证明是在各种端到端ASR框架上产生改进结果的有效方法。在本文中,我们提出了一种新的方法来做ILO正则化训练不同。我们没有使用传统的多任务方法,而是直接将中间层输出作为解码器的输入,也就是说,我们的解码器不仅接受最终编码器层的输出作为输入,还将编码器ILO的输出作为训练期间的输入。利用所提出的方法,由于编码器和解码器都被同时“正则化”,因此网络被更充分地训练,从而始终导致改进的结果,超过基于CTC的方法,以及超过没有采用所提出的方法的原始的基于注意力的建模方法。
2022-07-09 cs.SD eess.AS
VALL-T: Decoder-Only Generative Transducer for Robust and Decoding-Controllable Text-to-Speech
Shanghai Jiao Tong University(上海交通大学);Shenzhen Research Institute of Big Data(深圳大数据研究院);AISpeech(思必驰)
本文提出 VALL-T,通过为音素序列引入移位相对位置嵌入,在保留仅解码器 Transformer 与零样本语音提示适配能力的同时增强单调对齐,使词错误率相对降低 28.3%。
2025-03-14 cs.SD eess.AS
Learning to Jointly Transcribe and Subtitle for End-to-End Spontaneous Speech Recognition
KU Leuven(鲁汶大学)
从新闻报道中的朗读到脱口秀和肥皂剧中的对话和自发的讲话,电视字幕是许多类型讲话的丰富的翻译来源。然而,字幕不是语音的逐字(即,精确)翻译,因此它们不能直接用于改进自动语音识别(ASR)模型。我们提出了一个多任务双解码器Transformer模型,共同执行ASR和自动字幕。ASR解码器(可能是预先训练的)预测逐字输出,字幕解码器生成字幕,同时共享编码器。这两个解码器可以是独立的或连接的。该模型被训练为联合执行这两项任务,并且能够有效地使用字幕数据。我们表现出定期ASR和自发和会话ASR的改进,将额外的字幕解码器。该方法不需要预处理(对齐、过滤、伪标记等)。的字幕。
2022-10-14 cs.CL cs.SD eess.AS
Channel-Aware Pretraining of Joint Encoder-Decoder Self-Supervised Model for Telephonic-Speech ASR
IIT Madras(印度理工学院马德拉斯分校)
针对窄带与宽带电话语音混合预训练中通道信息缺失的问题,本文为带 Transformer 解码器的 HuBERT 联合模型设计非重叠通道聚类 ID,使下游 ASR 较基线相对提升约 4%。
2023-06-03 cs.SD eess.AS eess.SP
Linguistic-Enhanced Transformer with CTC Embedding for Speech Recognition
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
最近出现的联合CTC-注意力模型在自动语音识别(ASR)中显示了显著的改进。这种改进很大程度上在于解码器对语言信息的建模。与声学编码器联合优化的解码器在训练期间以自回归方式从地面实况序列呈现语言模型。然而,解码器的训练语料仅限于语音翻译,这远远少于训练可接受的语言模型所需的语料。这导致解码器的鲁棒性差。为了缓解这个问题,我们提出了语言增强的Transformer,它在训练过程中将细化的CTC信息引入到解码器中,从而使解码器具有更强的鲁棒性。我们在AISHELL-1语音库上的实验表明,字符出错率(CER)相对降低了7%。我们还发现,在联合CTC-Attention ASR模型中,解码器对语言信息比声学信息更敏感。
2022-10-25 cs.CL cs.SD eess.AS
Structured State Space Decoder for Speech Recognition and Synthesis
CyberAgent, Inc.(CyberAgent公司)
近年来开发的自动语音识别(ASR)系统已经显示出具有自我注意力模型(例如,Transformer和Conformer),它们正在取代传统的递归神经网络。同时,最近提出了一种结构化的状态空间模型(S4),为各种长序列建模任务,包括原始语音分类产生了有希望的结果。S4模型可以并行训练,与Transformer模型相同。在这项研究中,我们将S4作为ASR和文本到语音(TTS)任务的解码器,通过与Transformer解码器进行比较。实验结果表明,该模型在LibriSpeech测试-clean/测试-other集上的竞争词出错率(WER)为1.88%/4.25%,在CSJ eval 1/eval 2/eval 3集上的字符出错率(CER)为3.80%/2.63%/2.98%.此外,该模型比标准的Transformer模型更鲁棒,特别是对于两个数据集上的长格式语音。对于TTS任务,所提出的方法优于Transformer基线。
2022-10-31 cs.LG cs.SD eess.AS
Hybrid Transducer and Attention based Encoder-Decoder Modeling for Speech-to-Text Tasks
Meta AI;Carnegie Mellon University(卡内基梅隆大学)
本研究提出融合Transducer与注意力编码器-解码器的TAED框架,共享语音编码器、用AED解码器替换Transducer预测器,兼顾非单调学习优势与流式特性,在MuST-C数据集上多数任务性能优于纯Transducer模型。
2023-05-04 cs.CL cs.SD eess.AS
Local Information Assisted Attention-free Decoder for Audio Captioning
Harbin Engineering University(哈尔滨工程大学);University of Technology Sydney(悉尼科技大学);University of Surrey(萨里大学)
自动音频字幕旨在使用自然语言来描述带有字幕的音频数据。现有方法通常采用编码器-解码器结构,其中基于注意力的解码器(例如,Transformer解码器)得到广泛应用,并实现了最先进的性能。虽然该方法通过自注意力机制有效地捕获音频数据内的全局信息,但是由于其在捕获音频信号中的局部信息方面的限制,其可能忽略具有短持续时间的事件,导致对字幕的不准确预测。为了解决这个问题,我们提出了一种方法,使用预训练的音频神经网络(PANN)作为编码器和本地信息辅助的注意力自由Transformer(LocalAFT)作为解码器。我们的方法的新颖性在于LocalAFT解码器的提议,其允许捕获音频信号内的局部信息,同时保留全局信息。这使得能够捕获不同持续时间(包括短持续时间)的事件以用于更精确的字幕生成。实验表明,我们的方法优于国家的最先进的方法在任务6的DCASE 2021挑战与标准的基于注意力的解码器的字幕生成。
2022-07-03 cs.LG cs.SD eess.AS
CJST: CTC Compressor based Joint Speech and Text Training for Decoder-Only ASR
Meta AI
本文提出CJST框架,通过CTC压缩器实现语音与文本双向联合训练,无需时长处理即可在解码器专用ASR中有效注入文本,并在Librispeech和TED-LIUM2上取得域内与跨域最佳性能。
2024-12-31 cs.LG cs.SD eess.AS
Loss Masking Is Not Needed in Decoder-only Transformer for Discrete-token-based ASR
Alibaba Group(阿里巴巴集团)
针对解码器专用Transformer在离散词元ASR中依赖损失掩蔽的问题,提出平滑标签蒸馏(SLD)方法,以自回归方式建模语音词元,实验证明SLD优于损失掩蔽。
2024-02-05 cs.CL cs.SD eess.AS
Gated Recurrent Context: Softmax-free Attention for Online Encoder-Decoder Speech Recognition
Seoul National University(首尔国立大学);Institute of New Media and Communications(新媒体与通信研究所)
最近,基于注意力的编码器-解码器(AED)模型在自动语音识别(ASR)中显示出最先进的性能。由于具有全局注意力的原始AED模型不能够进行在线推理,因此已经开发了各种在线注意力方案来减少ASR延迟以获得更好的用户体验。然而,传统的基于softmax的在线注意力方法的一个共同限制是,它们引入了与注意力窗口长度相关的额外超参数,需要多次模型训练试验来调整超参数。为了解决这个问题,我们提出了一种新的softmax-free注意力方法及其改进的在线注意力公式,该方法在训练阶段不需要任何额外的超参数。通过大量的ASR实验,我们证明了所提出的在线注意力技术的延迟和性能之间的权衡可以通过仅仅在测试阶段调整阈值来控制。此外,所提出的方法表现出竞争力的性能,传统的全球和在线的注意力方面的字错误率(WERs)。
2021-01-14 cs.SD eess.AS
Foundation Model Assisted Automatic Speech Emotion Recognition: Transcribing, Annotating, and Augmenting
University of Southern California(南加州大学)
本研究探索利用基础模型自动化语音情感识别的转录、标注与增强过程,发现其能提升系统性能并验证了标注无标签语音样本扩充数据集的可行性。
2023-09-15 cs.SD eess.AS
Integration of Frame- and Label-synchronous Beam Search for Streaming Encoder-decoder Speech Recognition
Sony Group Corporation(索尼集团公司);Carnegie Mellon University(卡内基梅隆大学)
针对流式语音识别中帧同步解码易错误剪枝、标签同步解码易过拟合训练域的问题,提出一种集成帧同步与标签同步解码的单束搜索方案,通过交替解码、保留两类假设实现有效剪枝,在降低错误率的同时提升了域外场景鲁棒性。
2023-07-24 cs.SD eess.AS
Asymmetric Encoder-Decoder Based on Time-Frequency Correlation for Speech Separation
Department of Electronic Engineering, Sogang University(电子工程系,首尔大学)
本文提出SR-CorrNet框架,通过引入分离-重建策略和结构化相关性到滤波问题,改进了时频域语音分离的性能,在不同环境下均取得显著提升。
2026-05-14 cs.SD eess.AS
Investigating Decoder-only Large Language Models for Speech-to-text Translation
National Taiwan University(台湾大学);The Chinese University of Hong Kong(香港中文大学);AI at Meta(Meta人工智能部门)
本文提出一种仅解码器大语言模型架构,直接处理编码语音表示完成语音到文本翻译,并通过参数高效微调在 CoVoST 2 和 FLEURS 上取得无专有数据模型中的最优性能。
2024-07-03 cs.CL cs.SD eess.AS
Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo Languages
ASAPP Inc.(ASAPP公司);Carnegie Mellon University(卡内基梅隆大学);Cornell University(康奈尔大学)
我们介绍了Wav 2Seq,这是第一种用于预训练语音数据编码器-解码器模型两部分的自监督方法。我们将伪语言归纳为紧凑的离散表示,并制定了一个自我监督的伪语音识别任务-将音频输入转录成伪子字序列。这一过程独立存在,或者可以作为低成本的第二阶段预培训。我们用自动语音识别(ASR)、口语命名实体识别和语音到文本翻译进行了实验。我们为端到端口语命名实体识别设置了新的最先进的结果,并在语音到文本翻译的20种语言对上显示出一致的改进,即使竞争方法使用额外的文本数据进行训练。最后,在ASR上,我们的方法使编码器-解码器方法能够受益于网络所有部分的预训练,并显示出与高度优化的最新方法相当的性能。
2022-05-02 cs.CL cs.LG cs.SD
Fast-MD: Fast Multi-Decoder End-to-End Speech Translation with Non-Autoregressive Hidden Intermediates
Kyoto University(京都大学);Carnegie Mellon University(卡内基梅隆大学)
多解码器(MD)端到端语音翻译模型通过搜索更好的中间自动语音识别(ASR)解码器状态作为隐藏中间体(HI)来展示高翻译质量。它是一个两遍解码模型,将整个任务分解为ASR和机器翻译子任务。然而,解码速度对于现实世界的应用来说不够快,因为它在推理期间对两个子任务进行波束搜索。我们提出了快速MD,一个快速MD模型,产生HI的非自回归(NAR)解码的基础上连接主义时间分类(CTC)的输出,然后由ASR解码器。我们研究了两种类型的NAR HI:(1)使用自回归Transformer ASR解码器的并行HI和(2)使用Mask-CTC的掩码HI,该Mask-CTC结合了CTC和条件掩码语言模型。为了减少ASR解码器在训练期间的教师强迫和测试期间对CTC输出的调节之间的不匹配,我们还建议在训练期间对CTC输出进行采样。在三个语料库上的实验结果表明,Fast-MD在GPU和CPU上的解码速度分别比原始MD模型快2倍和4倍,翻译质量相当。采用Conformer编码器和中间CTC损失,在不牺牲解码速度的情况下进一步提高其质量。
2021-09-27 cs.CL cs.SD eess.AS
SC-SOT: Conditioning the Decoder on Diarized Speaker Information for End-to-End Overlapped Speech Recognition
Nara Institute of Science and Technology(奈良科学技术大学)
针对重叠语音中SOT隐式说话人分离不足的问题,提出SC-SOT方法,通过引入联合训练的说话人分离模型得到的说话人嵌入和活动信息作为解码器条件,提升端到端多说话人ASR的重叠语音识别效果。
2025-06-15 cs.CL cs.SD eess.AS
Tracing Decoder Artifacts for Compact Synthetic Speech Screening
针对合成语音检测成本高的问题,提出利用解码器频谱伪影的紧凑梯度提升树前端筛查,以低存储和能耗高效筛选可疑录音,显著降低检测能量。
2026-09-29 cs.AI cs.SD eess.AS
M3ANet: Multi-scale and Multi-Modal Alignment Network for Brain-Assisted Target Speaker Extraction
School of Computer Science and Technology, Anhui University(安徽大学计算机科学与技术学院);Alibaba group(阿里巴巴集团);Department of Automation, Tsinghua University(清华大学自动化系);Beijing National Research Center for lnformation Science and Technology, Tsinghua University(清华大学信息科学与技术国家研究中心)
本文提出M3ANet,通过对比学习模态对齐模块解决EEG与语音时间不对齐问题,并采用结合GroupMamba的多尺度卷积编码器提取深层语音特征,在三个数据集上优于现有方法。
2025-05-31 cs.SD eess.AS
Exploring the limits of decoder-only models trained on public speech recognition corpora
IBM Research(IBM研究院)
本研究探究仅用公开英文ASR语料训练纯解码器模型的性能上限,提出的DOTA模型在多数基准上优于开源Whisper复刻版,部分测试集超过Whisper large-v3,并开源相关资源。
2024-01-31 cs.CL cs.SD eess.AS
Adapting Whisper for Streaming Speech Recognition via Two-Pass Decoding
BloombergUSA(布莱尔集团美国分公司);WeNet Open Source CommunityChina(WeNet开源社区中国)
针对Whisper模型原生不支持流式语音识别的问题,研究基于WeNet工具包采用U2两遍结构微调Whisper,新增因果注意力掩码训练的CTC解码器生成流式部分转录、原Whisper解码器重排序,还提出混合分词器方法,经实验验证可实现高性能流式ASR并提升数据效率与泛化性。
2025-06-13 cs.SD eess.AS
Chunked Attention-based Encoder-Decoder Model for Streaming Speech Recognition
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek公司)
本文提出一种基于分块注意力的流式语音识别模型,用块结束符号替代序列结束符号,使其等价于在块上运行的 transducer,并在长语音上表现良好。
2024-01-17 cs.SD eess.AS stat.ML
Orthros: Non-autoregressive End-to-end Speech Translation with Dual-decoder
Kyoto University(京都大学);Waseda University(早稻田大学);Johns Hopkins University(约翰斯·霍普金斯大学)
快速推理速度是语音翻译(ST)系统在现实世界中部署的一个重要目标。基于编解码器架构的端到端(E2 E)模型比传统的级联系统更适合于这一目标,但迄今为止尚未探索其在解码速度方面的有效性。受基于文本的翻译中非自回归(NAR)方法的最新进展的启发,通过消除条件依赖并行生成目标令牌,我们研究了E2 E-ST的NAR解码问题。我们提出了一种新的NAR E2 E-ST框架,Orthros,其中NAR和自回归(AR)解码器在共享的语音编码器上联合训练。后者用于在从前者生成的各种长度候选中选择更好的平移,这显著提高了大长度波束的有效性,而开销可以忽略不计。我们进一步研究有效长度预测方法从语音输入和词汇量的影响。四个基准测试的实验表明,该方法在提高推理速度,同时保持有竞争力的翻译质量相比,最先进的AR E2 E-ST系统的有效性。
2021-02-18 cs.CL cs.SD eess.AS
Speech-Aware Neural Diarization with Encoder-Decoder Attractor Guided by Attention Constraints
National Taiwan Normal University(国立台湾师范大学)
本研究提出一种辅助损失方法,利用说话人活动信息引导EEND-EDA模型底层Transformer编码器增强自注意力效果,在Mini LibriSpeech上将Diarization Error Rate从30.95%降至28.17%,有效改善了局部说话人动态捕捉能力。
2024-03-21 cs.SD eess.AS
Joint Optimization of Streaming and Non-Streaming Automatic Speech Recognition with Multi-Decoder and Knowledge Distillation
Honda Research Institute Japan Co., Ltd.(日本本田研究所);Carnegie Mellon University(卡内基梅隆大学)
本研究针对流式与非流式自动语音识别的模式切换需求,提出基于多解码器与知识蒸馏的联合优化方法,通过编码器整合、独立解码器及跨模块相似性知识蒸馏,在单个模型中实现两种模式的性能提升。
2024-05-22 cs.CL cs.SD eess.AS
Speech-to-Singing Conversion in an Encoder-Decoder Framework
Indian Institute of Technology Bombay(印度理工学院孟买分校);Academia Sinica(中央研究院)
在本文中,我们的目标是将一组口语线转换成唱的。与以前的信号处理为基础的方法,我们采取基于学习的方法来解决这个问题。这使我们能够自动模拟这种转换的各个方面,从而克服对特定输入的依赖,例如高质量的歌唱模板或音素分数同步信息。具体来说,我们提出了一个编码器-解码器框架,我们的任务。给定语音的时频表示和目标旋律轮廓,我们学习编码,使我们能够合成歌唱,保留语言内容和音色的扬声器,同时坚持目标旋律。我们还提出了一个多任务学习为基础的目标,以提高歌词的可理解性。我们提出了一个定量和定性分析我们的框架。
2020-02-16 cs.LG cs.SD eess.AS