Evolutionary Multi-Objective Fusion of Deepfake Speech Detectors
本文提出一种进化多目标评分融合框架，通过NSGA-II优化二进制编码和实数编码，减少检测误差和系统复杂度，在ASVspoof 5数据集上优于传统方法，实数变体实现更低EER和更简系统复杂度。
2026-04-01 cs.AI cs.CR cs.LG
Unifying Model and Layer Fusion for Speech Foundation Models
针对语音基础模型的融合问题，提出统一模型与层融合的接口模块，通过整合多上游模型及其各层信息提升下游任务性能，实验证明其优于现有方法并分析了可扩展性与模型选择的重要性。
2025-11-11 cs.AI cs.CL eess.AS
Speech Encoder Fusion for LLM-based Automatic Speech Recognition
KU Leuven（鲁汶大学）
研究融合多个预训练语音编码器以增强基于LLM的ASR性能，提出多种融合策略并在多场景下验证其有效性。
2026-06-09 eess.AS
Speech-Based Estimation of Schizophrenia Severity Using Feature Fusion
本研究提出一种融合发音特征与自监督语音特征的深度学习框架，并引入基于自动编码器的紧凑发音嵌入提取方法，在仅使用语音输入的情况下显著降低了精神分裂症严重程度估计误差。
2024-11-20 eess.AS
Masks Fusion with Multi-Target Learning For Speech Enhancement
最近，基于深度神经网络（DNN）的时频（T-F）掩模估计对于语音增强显示出显著的有效性。通常，首先基于DNN估计单个T-F掩码，然后用于掩蔽有噪语音的频谱图以抑制噪声。提出了一种多模板融合的语音增强方法。它同时估计两个互补的掩码，例如，理想比率掩模（IRI）和目标二进制掩模（TBM），然后将它们融合以获得用于语音增强细化掩模。新方法的优点是双重的。首先，同时估计多个互补掩模带来了多目标学习所赋予的益处。其次，多模板融合可以利用多个模板之间的互补性来提高语音增强的性能。实验结果表明，与传统的基于掩蔽的方法相比，该方法能显著提高PESQ，降低后端的识别错误率。代码可在https://github.com/lc-zhou/mask-fusion上获得。
2021-09-28 eess.AS
MFHCA: Enhancing Speech Emotion Recognition Via Multi-Spatial Fusion and Hierarchical Cooperative Attention
School of Computer Science and Technology Xinjiang University（新疆大学计算机科学与技术学院）
本文提出MFHCA方法，通过多空间融合模块和分层协作注意力模块结合频谱图与原始音频，在IEMOCAP数据集上使加权准确率和未加权准确率分别提升2.6%和1.87%，有效增强了语音情感识别。
2024-04-21 cs.AI cs.SD eess.AS
EffiFusion-GAN: Efficient Fusion Generative Adversarial Network for Speech Enhancement
Universiti Sains Malaysia（马来西亚理科大学）
该研究提出轻量高效的语音增强模型EffiFusion-GAN，通过多尺度块深度可分离卷积、增强注意力机制及动态剪枝优化性能与效率，在VoiceBank+DEMAND数据集上获3.45的PESQ得分，优于同参数现有模型。
2025-08-20 cs.AI cs.SD eess.AS
Cross-Modal Bottleneck Fusion For Noise Robust Audio-Visual Speech Recognition
Seoul National University（首尔大学）
CoBRA通过跨模态瓶颈融合机制，在噪声环境下提升音频视觉语音识别的鲁棒性和效率。
2026-02-09 eess.AS
A Novel Speech Feature Fusion Algorithm for Text-Independent Speaker Recognition
针对文本无关说话人识别，提出了一种基于独立向量分析（IVA）和并行卷积神经网络（PCNN）的语音特征融合算法。首先，可以从说话人的语音中提取一些不同的特征类型，例如时域（TD）特征和频域（FD）特征，并且TD和FD特征可以被认为是独立特征分量（IFC）与未知混合系统的线性混合。为了估计IFC，说话人语音的TD和FD特征被级联以分别构建TD和FD特征矩阵。然后，通过将TD和FD特征矩阵并行化，得到说话人语音的特征张量。为了增强对不同特征类型的依赖性并去除相同特征类型的冗余，可以使用独立向量分析（IVA）来估计具有特征张量的TD和FD特征的IFC矩阵。IFC矩阵被用作PCNN的输入，以分别提取TD和FD特征的深度特征。深度特征可以被整合以获得说话人语音的融合特征。最后，说话人语音的融合特征被用作深度卷积神经网络（DCNN）分类器的输入，用于说话人识别。实验结果表明了所提出的说话人识别系统的有效性和性能。
2022-12-01 eess.AS
Purification Before Fusion: Toward Mask-Free Speech Enhancement for Robust Audio-Visual Speech Recognition
University of Electronic Science and Technology of China（电子科技大学）；Defense Innovation Institute, Academy of Military Sciences（国防科技创新研究院）；Peking University（北京大学）；High-tech Institute（高新技术研究所）
本文提出了一种端到端的噪声鲁棒音频-视觉语音识别框架，结合语音增强技术，在无需显式生成噪声掩码的情况下提升鲁棒性。
2026-03-06 cs.AI cs.LG cs.MM
A new Speech Feature Fusion method with cross gate parallel CNN for Speaker Recognition
Nanchang University（南昌大学）
提出了一种基于交叉门并行卷积神经网络（CG-PCNN）的语音特征融合方法用于说话人识别。通过多个Mel滤波器组从说话人语音的每一帧中提取不同频率分辨率的Mel滤波器组特征，其中Mel滤波器组中三角形滤波器的个数不同。由于这几种光纤的频率分辨率不同，所以它们之间存在一定的互补性。CG-PCNN用于从这些MBF中提取深层特征，该特征采用交叉门机制来捕获互补特征，以提高说话人识别系统的性能。然后，将这些深层特征串联起来，得到融合特征，用于说话人识别。实验结果表明，基于该语音特征融合方法的说话人识别系统是有效的，其识别性能略优于现有的说话人识别系统。
2022-11-24 cs.SD eess.AS
Fusion of Modulation Spectrogram and SSL with Multi-head Attention for Fake Speech Detection
针对伪造语音检测系统域泛化能力差的问题，提出融合自监督学习（SSL）语音嵌入与调制谱（MS）特征的新表示，结合AASIST后端网络，在单语及多语数据集上实现性能提升，增强域泛化能力。
2025-08-26 eess.AS
Exploring Effective Fusion Algorithms for Speech Based Self-Supervised Learning Models
Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）
自监督学习（Self-supervised learning，SSL）在包括语音处理在内的各个领域都取得了巨大的成功。最近，在SUPERB基准测试中，基于语音的SSL模型与传统手工特征（例如FBank，MFCC）相比，能够在一系列下游任务上提取卓越的通用表示。然而，不同类型的SSL模型可能在不同的下游任务上表现出不同的优势。为了更好地发挥SSL模型的潜力，在这项工作中，我们探索了多个SSL模型的有效融合。针对SUPERB测试中的两个典型任务：说话人辨识（SID）和自动语音识别（ASR），结合Hubert和Data 2 vec两种SSL模型，研究和比较了一系列模型融合算法。实验结果表明，我们提出的融合算法可以进一步提高个人模型显着。
2022-12-20 cs.SD eess.AS
GAP-URGENet: A Generative-Predictive Fusion Framework for Universal Speech Enhancement
GAP-URGENet通过生成与预测分支融合提升语音增强的鲁棒性和感知质量，在盲测阶段表现优异，获客观评估第一名。
2026-08-05 cs.AI cs.SD eess.AS
Speech Emotion Recognition Based on Multi-feature and Multi-lingual Fusion
The Experimental High School Attached to Beijing Normal University（北京师范大学附属实验中学）
针对语音情感识别中由于语音数据量大、声学特征鲁棒性差而导致识别准确率低的问题，提出了一种基于多特征多语种融合的语音情感识别算法。首先，从已有的中英文语音情感数据中提取手工特征和深度自动特征。然后，分别对各种特征进行融合。最后，不同语言的融合特征再次融合，并在分类模型中进行训练。将融合后的语音特征与未融合的语音特征进行对比，结果表明融合后的语音特征显著提高了语音情感识别算法的准确率。在两个中文语料库和两个英文语料库上对所提出的解决方案进行了评估，结果表明，与原始解决方案相比，该解决方案提供了更准确的预测。研究结果表明，多特征多语种融合算法在小数据集时能显著提高语音情感识别的准确率。
2020-01-16 cs.CL cs.SD eess.AS
Interactive Feature Fusion for End-to-End Noise-Robust Speech Recognition
Nanyang Technological University（南洋理工大学）
语音增强（speech enhancement，SE）的目的是抑制含噪语音信号中的加性噪声，以提高语音的感知质量和可懂度。然而，增强语音中的过抑制现象可能会降低下游的自动语音识别（ASR）任务的性能，由于丢失的潜在信息。为了缓解这个问题，我们提出了一个交互式的特征融合网络（IFF-Net）的噪声鲁棒语音识别学习互补的信息，从增强功能和原始的噪声功能。实验结果表明，该方法实现了绝对词错误率（WER）降低4.1%的最佳基线上的RATS EQUIPEL-A语料库。我们进一步的分析表明，建议的IFF-Net可以补充一些丢失的信息，在过度抑制的增强功能。
2022-04-08 cs.LG cs.SD eess.AS
Better Pseudo-labeling with Multi-ASR Fusion and Error Correction by SpeechLLM
Uniphore Systems India & USA（Uniphore系统印度与美国）
针对多ASR伪标注流水线误差传播等问题，提出基于提示的多ASR融合框架，用文本或语音大语言模型后处理替代传统仲裁逻辑，实验验证其在转录准确率及半监督ASR训练性能上均优于基线方法。
2025-06-05 cs.AI cs.CL eess.AS
Multi-QuartzNet: Multi-Resolution Convolution for Speech Recognition with Multi-Layer Feature Fusion
在本文中，我们提出了一个端到端的语音识别网络的基础上，英伟达以前的QuartzNet模型。我们尝试提升模型的性能，设计了三个组件：（1）多分辨率卷积模块，用多流卷积代替原来的一维时间通道可分离卷积。每个流在卷积操作上都有一个唯一的扩张步幅。(2)智能注意力模块，通过空间通道池化计算每个卷积流的注意力权重。(3)多层特征融合模块，通过全局多层特征映射对每个卷积块重新加权。我们的实验表明，Multi-QuartzNet模型在AISHELL-1数据集上的CER达到6.77%，优于原始QuartzNet，接近最先进的结果。
2020-11-26 eess.AS
Interpretable Multimodal Emotion Recognition using Hybrid Fusion of Speech and Image Data
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）
本文提出了一种基于混合融合的多模态情感识别系统，该系统将语音和相应图像所描述的情感分为离散类。一种新的可解释性技术已经被开发出来，以识别重要的语音和图像特征，导致特定的情感类的预测。通过深入的消融研究确定了拟议系统的架构。它融合语音和图像特征，然后组合语音，图像和中间融合输出。建议的可解释性技术结合了分而治之的方法来计算形状值表示每个语音和图像特征的重要性。我们还构建了一个大规模的数据集（IIT-R SIER数据集），包括语音话语，相应的图像和类别标签，即，“愤怒”“快乐”“憎恨"和”悲伤“。该系统在情感识别方面的准确率达到了83.29%。所提出的系统的增强性能主张利用互补信息的重要性，从多种形式的情感识别。
2023-01-07 cs.CV cs.SD eess.AS
Language model fusion for streaming end to end speech recognition
Google Inc.（谷歌公司）
语音音频的流处理是当前许多实际语音识别任务所需要的。即使今天有大量的手动转录语音数据语料库，这样的语料库也不可能充分覆盖语言内容的长尾，这对开放式听写和语音搜索等任务很重要。我们试图通过使用在未配对文本数据上训练的语言模型（LM）来解决流和尾部识别的挑战，以增强端到端（E2E）模型。我们将浅融合和冷融合方法扩展到流式递归神经网络传感器（RNNT），并提出了两种新的竞争性融合方法，进一步增强了RNNT架构。我们对不同训练集大小的多种语言的研究结果表明，这些融合方法通过引入额外的语言特征来提高流RNNT的性能。冷聚变在流RNNT上的效果始终更好，WER提高高达8.5%。
2021-04-09 cs.CL cs.LG cs.SD
Real-Time Speech Enhancement via a Hybrid ViT: A Dual-Input Acoustic-Image Feature Fusion
Simon Fraser University（西蒙弗雷泽大学）
针对真实非平稳噪声环境下单通道实时语音增强性能不足的问题，提出基于混合ViT的双输入声学图像特征融合轻量框架，在标准数据集上验证其降噪与语音质量提升效果接近纯净语音水平。
2025-11-14 cs.AI cs.SD eess.AS
Internal Language Model Estimation based Language Model Fusion for Cross-Domain Code-Switching Speech Recognition
Xinjiang University（新疆大学）；South China University of Technology（华南理工大学）；ByteDance（字节跳动）；Nanyang Technological University（南洋理工大学）
基于内部语言模型估计（ILME）的语言模型（LM）融合在域内和跨域语音识别任务中均显示出比传统的浅融合显著改善的识别结果。在本文中，我们尝试将我们的ILME方法应用到跨域码切换语音识别（CSSR）的工作。具体来说，我们的好奇心来自几个方面。首先，我们很好奇基于ILME的LM融合对于域内和跨域CSSR任务的有效性。我们验证了这一点，或没有合并两个代码转换域。更重要的是，我们训练一个端到端（E2E）的语音识别模型通过合并两个单语数据集，并观察所提出的ILME为基础的LM融合CSSR的效果。在东南亚和中国大陆CS数据集SEAME上的实验结果验证了该方法的有效性。
2022-07-09 cs.CL cs.SD eess.AS
TDFNet: An Efficient Audio-Visual Speech Separation Model with Top-down Fusion
Tsinghua University（清华大学）；Chinese Institute for Brain Research（北京脑科学与类脑研究所）
本文提出基于 TDANet 的音视语音分离模型 TDFNet，通过自顶向下融合视觉信息，在 LRS2-2Mix 上以更少参数和 28% MACs 超越 CTCNet，指标最高提升 10%。
2024-01-25 cs.AI cs.SD eess.AS
Gated Embeddings in End-to-End Speech Recognition for Conversational-Context Fusion
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种新的会话上下文感知端到端的语音识别器的基础上的门控神经网络，结合会话上下文/词/语音嵌入。与传统的语音识别模型不同，我们的模型学习跨越句子的较长对话上下文信息，因此更好地识别长对话。具体地，我们提出使用基于文本的外部词和/或句子嵌入（即，fastText，BERT），从而显著改善了单词出错率，并具有更好的会话上下文表示。我们评估的Switchboard会话语音语料库的模型，并表明我们的模型优于标准的端到端的语音识别模型。
2019-06-27 cs.CL cs.SD eess.AS
EditSpeech: A Text Based Speech Editing System Using Partial Inference and Bidirectional Fusion
The Chinese University of Hong Kong（香港中文大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文介绍了一个语音编辑系统的设计，实现和评价，命名为EditSpeech，它允许用户执行删除，插入和替换的话在一个给定的语音话语，而不会造成语音质量和自然的听觉退化。EditSpeech系统是基于神经文本到语音（NTTS）合成框架开发的。部分推理和双向融合，提出了有效地结合编辑区域的上下文信息，并实现在左，右边界的平滑过渡。引入到话语的未修改部分的失真被减轻。EditSpeech系统是在多说话人场景下对英语和汉语进行开发和评估的。客观和主观评价表明，EditSpeech优于几个基线系统的低频谱失真和首选的语音质量。音频样本可在线演示https://daxintan-cuhk.github.io/EditSpeech/。
2021-10-08 cs.SD eess.AS
Get Large Language Models Ready to Speak: A Late-fusion Approach for Speech Generation
Massachusetts Institute of Technology（麻省理工学院）；AI at Meta（Meta人工智能）
本文提出基于微调 Llama 的 TTS-Llama，并通过后融合 PEFT 与混合专家架构构建多模态 MoLE-Llama，在保持文本 QA 与 TTS 性能的同时缓解灾难性遗忘。
2024-10-27 cs.AI cs.CL cs.SD
Graph-based multi-Feature fusion method for speech emotion recognition
Tongji University（同济大学）；School of Economics and Management（经济与管理学院）
针对跨语料库语音情感识别中的多特征融合问题，提出基于图的多维边特征学习方法，显式建模特征对关系，并在SEWA和AVEC 2019上显著提升CCC性能。
2024-06-13 cs.SD eess.AS
Single-channel speech enhancement by using psychoacoustical model inspired fusion framework
Department of Electronics and Telecommunication Engineering（电子与电信工程系）；Indian Institute of Engineering Science（印度工程科学研究院）
本文提出融合声学和调制域方法的框架，以提升单通道语音增强的感知质量和可懂度。
2025-12-17 cs.SD eess.AS
Parameter-efficient Dysarthric Speech Recognition Using Adapter Fusion and Householder Transformation
KULeuven（鲁汶大学）
针对构音障碍语音识别的数据稀缺与说话者差异问题，提出结合Adapter Fusion与Householder变换重参数化的参数高效方法，以远少于经典微调的参数量取得相当识别效果。
2023-06-12 cs.SD eess.AS q-bio.QM
QUARC: Quaternion Multi-Modal Fusion Architecture For Hate Speech Classification
School of Computer Sciences, NISER（国家科学教育与研究院计算机科学学院）；Homi Bhabha National Institute（霍米·巴巴国家研究所）
仇恨言论在社交媒体时代很常见，有时无害，但也会对某人造成精神创伤，甚至在社区中引发骚乱。带有贬损性评论的宗教符号图像或一名男子滥用特定社区的视频都成为仇恨言论，其每一种形式（如文本，图像和音频）都有助于它。基于社交媒体上仇恨言论帖子的特定形式的模型是没有用的，相反，我们需要像多模态融合模型这样的模型，在对仇恨言论进行分类时考虑图像和文本。文本图像融合模型是大量参数化的，因此，我们提出了一个四元数神经网络为基础的模型具有额外的融合组件的每对模式。该模型在MMHS 150K twitter数据集上进行了测试，用于仇恨言论分类。该模型显示参数减少了近75%，并且在存储空间和训练时间方面也使我们受益，同时与真实模型相比，在性能方面也处于同等水平。
2020-12-15 cs.CL cs.LG cs.SD
Index-MSR: A high-efficiency multimodal fusion framework for speech recognition
本文提出 Index-MSR 多模态语音识别框架，通过 MFD 融合视频字幕、幻灯片等文本线索，在内部与公开数据集上达到 SOTA，并显著降低替换错误。
2025-09-26 cs.AI cs.MM cs.SD
DMF-Net: A decoupling-style multi-band fusion model for full-band speech enhancement
Communication University of China（中国传媒大学）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；Guangzhou University（广州大学）
由于对更多频段进行建模的难度和较大的计算复杂性，基于深度神经网络的全频带语音增强仍然具有挑战性。以往的研究通常采用Bark和ERB尺度的压缩全带语音特征，频率分辨率相对较低，导致性能下降，特别是在高频区域。在本文中，我们提出了一个多频带融合模型，实现全频带语音去噪和去混响。该算法不是采用单一的网络结构对全带语音进行优化，而是将全带目标分解为多个子带语音特征，然后采用多级链式优化策略，逐步估计出纯净的频谱。具体地，低（0-8 kHz）、中（8-16 kHz）和高频（16-24 kHz）区域由三个单独的子网络映射，然后被融合以获得全频段干净的目标STFT频谱。在两个公开数据集上的综合实验表明，该方法优于以前的先进系统，并在实际复杂场景中的语音质量和可懂度方面产生有前途的性能。
2022-07-30 cs.SD eess.AS
InterFormer: Interactive Local and Global Features Fusion for Automatic Speech Recognition
University of Science and Technology Beijing（北京科技大学）；EEasy Technology Company Ltd.（一知智能科技有限公司）
本文提出InterFormer，通过并行结合卷积与Transformer，并设计双向特征交互模块和选择性融合模块，实现局部与全局特征的交互融合，在公开ASR数据集上取得优于Transformer和Conformer的性能。
2023-05-29 cs.AI cs.CL cs.SD
Attention-based Multi-hypothesis Fusion for Speech Summarization
NTT Corporation（日本电报电话公司）；Carnegie Mellon University（卡内基梅隆大学）
将自动语音识别（ASR）和文本摘要（TS）相结合可以实现从语音生成文本摘要的语音摘要。通过这种级联方法，我们可以为两个子任务利用最先进的模型和大型训练数据集，即，用于ASR的Transformer和用于TS的来自Transformers（BERT）的双向编码器表示。然而，在级联方法中，ASR错误直接影响输出摘要的质量。我们提出了一个级联的语音摘要模型，是强大的ASR错误，并利用多个假设产生的ASR衰减的影响ASR错误的摘要。我们研究了几种方案，结合ASR假设。首先，我们建议使用由ASR系统提供的后验值加权的子词嵌入向量的总和作为基于BERT的TS系统的输入。然后，我们介绍了一个更一般的方案，使用基于注意力的融合模块添加到一个预先训练的BERT模块对齐和组合几个ASR假设。最后，我们在How2数据集和一个新组装的基于TED的数据集上进行了语音摘要实验，我们将在本文中发布。这些实验表明，再训练的BERT为基础的TS系统与这些计划，可以提高摘要的性能和注意力为基础的融合模块是特别有效的。
2021-11-16 cs.CL eess.AS
Speech-driven facial animation using polynomial fusion of features
Imperial College London（帝国理工学院）；University of Athens（雅典大学）；Samsung AI Centre（三星人工智能中心）
语音驱动的面部动画涉及使用语音信号来生成说话面部的逼真视频。最近的面部合成的深度学习方法依赖于提取低维表示并将它们连接起来，然后对连接的向量进行解码。这只考虑了特征的一阶相互作用，而忽略了高阶相互作用。在本文中，我们提出了一个多项式融合层，模型的联合表示的编码由一个高阶多项式，与张量分解建模的参数。我们证明了这种方法的适用性，通过实验生成的视频评价的一系列指标的视频质量，视听同步和生成的眨眼。
2020-02-19 cs.LG eess.AS stat.ML
DBMIF: a deep balanced multimodal iterative fusion framework for air- and bone-conduction speech enhancement
Defense Innovation Institute, Academy of Military Sciences (AMS)（国防创新研究院，军事科学院）；Intelligent Game and Decision Laboratory, Academy of Military Sciences (AMS)（智能博弈与决策实验室，军事科学院）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
DBMIF通过深度平衡多模态迭代融合框架提升空气传导和骨传导语音增强性能，降低字符错误率2.5%以上。
2026-03-03 eess.AS
VOX-KRIKRI: Unifying Speech and Language through Continuous Fusion
Institute for Speech and Language Processing, Athena Research Center, Greece（语音与语言处理研究所，亚特兰蒂斯研究中心，希腊）
本文提出在连续文本表示空间中通过跨模态注意力融合Whisper与LLM，构建首个希腊语语音LLM VoxKrikri，并在希腊语ASR上平均取得约20%的相对提升。
2025-09-19 cs.CL cs.SD eess.AS
Online neural fusion of distortionless differential beamformers for robust speech enhancement
针对固定波束形成器适配性差、传统自适应凸组合算法在非平稳场景失效的问题，提出基于神经网络估计权重的多无失真差分波束形成器帧级在线神经融合框架，提升动态环境下的干扰抑制能力。
2025-10-28 cs.AI cs.SD eess.AS
Prompt Amplification and Zero-Shot Late Fusion in Audio-Language Models for Speech Emotion Recognition
School of Nursing Emory University Atlanta, USA（埃默里大学护理学院，美国亚特兰大）
本文提出ZS-Fuse方法，结合双编码器音频-语言模型与领域专家模型，通过提示放大技术提升零样本语音情感识别性能。
2026-03-24 cs.LG eess.AS
AMFFCN: Attentional Multi-layer Feature Fusion Convolution Network for Audio-visual Speech Enhancement
Trinity College Dublin（都柏林圣三一学院）；Hubei University of Chinese Medicine（湖北中医药大学）
视听语音增强系统被认为是分离和增强说话人语音的最有前途的解决方案之一。传统的方法集中于通过基于朴素卷积神经网络的编码器-解码器架构来预测干净的语音频谱，并且这些方法a）不足以充分和有效地使用数据，b）不能选择性地处理特征。所提出的模型解决了这些缺点，通过a）应用在编码阶段逐层融合音频和视觉特征的模型，并且将融合的音频-视觉特征馈送到每个对应的解码器层，并且更重要的是，b）将软阈值注意力引入到模型中以软地选择信息模态。本文提出了一种基于注意力的视听图像多层特征融合模型，在解码器的每一层采用软阈值注意力单元进行特征映射。所提出的模型证明了优越的性能的网络对国家的最先进的模型。
2022-09-27 cs.SD eess.AS
Independent Feature Enhanced Crossmodal Fusion for Match-Mismatch Classification of Speech Stimulus and EEG Response
本文提出IFE-CF模型，通过跨模态注意力编码器和多通道融合模块联合建模语音刺激与脑电响应的交互及独立特征，并引入因果掩码处理时间延迟，在匹配-不匹配分类上优于2023听觉脑电解码挑战基线。
2024-10-19 eess.AS eess.SP
Beyond Speech: Dual-Domain SSL Fusion for Unified All-Type Audio Deepfake Detection
Anhui University（安徽大学）；Anhui Laboratory for Safe Artificial Intelligence in the Yangtze River Delta（长三角地区安全人工智能安徽省实验室）；Wuhan University（武汉大学）
针对未知音频类型的全类型音频深度伪造检测难题，本文提出双域SSL融合方法，结合EAT-large与wav2vec 2.0 XLS-R-300M特征，在AT-ADD挑战赛赛道2获95.58%宏F1值且排名第二。
2026-09-01 eess.AS
CraBERT: Efficient Phoneme Encoder Pre-Training via Cascade Fusion of Subword Representations for Text-to-Speech
The University of Tokyo（东京大学）
提出CraBERT音素编码器，通过级联融合架构和子词-音素对齐算法，利用预训练子词BERT减少音素编码器预训练量，一个epoch即可达到基线十个epoch的MOS值。
2026-06-16 cs.SD eess.AS
Affective Burst Detection from Speech using Kernel-fusion Dilated Convolutional Neural Networks
KUIS-AI Laboratory（KUIS人工智能实验室）
随着语音接口的日益丰富和普及，语音情感识别的应用前景越来越广阔。在连续情感识别（CER）问题中，跟踪情感状态的变化是一个重要的和期望的能力。尽管CER研究在评估中广泛使用相关性度量，但这些度量并不总是捕获情感领域中的所有高强度变化。在本文中，我们定义了一个新的情感突发检测问题，以准确地捕捉高强度的变化的情感属性。对于这个问题，我们制定了两个类的分类方法，隔离情感状态轮廓的情感爆发区域。该分类器是一个核融合扩张卷积神经网络（KFDCNN）架构驱动的语音频谱特征分割成空闲和突发部分的情感属性轮廓。在RECOLA和CreativeIT数据集上进行实验评估。在两个数据集上，观察到建议的KFDCNN优于基线前馈神经网络。
2021-10-08 cs.HC cs.SD eess.AS
HYFuse: Aligning Heterogeneous Speech Pre-Trained Representations in Hyperbolic Space for Speech Emotion Recognition
本文提出 HYFuse 框架，首次将基于压缩的表示与基于表示学习的表示在双曲空间中融合，通过结合 x-vector 与 Soundstream 实现语音情感识别的 SOTA 性能。
2025-06-03 eess.AS
Multi-modal Automated Speech Scoring using Attention Fusion
Indraprastha Institute of Information Technology（英德拉普拉斯塔信息技术学院）；Netaji Subhas Institute of Technology（内塔吉·苏巴斯理工学院）；Teachers College, Columbia University（哥伦比亚大学教师学院）；Second Language Testing Inc.（第二语言测试公司）
在这项研究中，我们提出了一种新的多模态端到端的神经网络方法，使用注意力融合的非英语母语者的自发语音的自动评估。该流水线采用双向递归卷积神经网络和双向长短期记忆神经网络来分别对来自声谱图和transmart.tag_1的声学和词汇线索进行编码。在这些学习的预测特征上执行注意力融合，以在最终评分之前学习不同模态之间的复杂交互。我们将我们的模型与强基线进行比较，发现对词汇和声学线索的联合关注显着提高了系统的整体性能。此外，我们提出了我们的模型的定性和定量分析。
2021-11-28 cs.CL cs.SD eess.AS
BeAts: Bengali Speech Acts Recognition using Multimodal Attention Fusion
Jadavpur University（贾达布尔大学）；University of Toronto（多伦多大学）；IIT Kharagpur（印度理工学院卡拉格普尔分校）
本文提出 BeAts，融合 wav2vec2.0 音频表征与 MarianMT 文本翻译，并通过多模态注意力识别孟加拉语言语行为，性能显著优于单模态和简单双模态基线。
2023-06-05 cs.CL cs.LG cs.SD
CabinSep: IR-Augmented Mask-Based MVDR for Real-Time In-Car Speech Separation with Distributed Heterogeneous Arrays
Northwestern Polytechnical University（西北工业大学）；Shanghai ZEEKR Blue New Energy Technology Co., Ltd.（上海ZEKR蓝新能源科技有限公司）
针对车内多说话人重叠语音导致ASR识别错误的问题，本文提出轻量级CabinSep方法，结合空间特征、推理阶段MVDR与IR数据增强，以极低计算量实现了优于SOTA模型的识别错误率降低效果。
2025-09-01 cs.AI cs.HC cs.SD
Recovering Performance in Speech Emotion Recognition from Discrete Tokens via Multi-Layer Fusion and Paralinguistic Feature Integration
Language Technologies Institute, Carnegie Mellon University, USA（语言技术研究所，卡内基梅隆大学，美国）
本文通过多层融合和语义特征整合方法，解决离散语音令牌在语音情感识别中的性能损失问题，提升其与连续表示的性能一致性。
2026-01-23 cs.LG cs.SD eess.AS
Efficient Monaural Speech Enhancement using Spectrum Attention Fusion
Sichuan Normal University（四川师范大学）；Simon Fraser University（西蒙弗雷泽大学）；Sichuan Key Laboratory of Translational Medicine of Traditional Chinese Medicine（四川省中医药转化医学重点实验室）；Visual Computing and Virtual Reality Key Laboratory of Sichuan（四川省视觉计算与虚拟现实重点实验室）
针对Transformer语音增强模型计算成本高的问题，提出Spectrum Attention Fusion方法，用卷积模块替换部分自注意力层以高效融合频谱特征，在保持表达能力的同时显著降低参数量，并在Voice Bank+DEMAND数据集上取得SOTA性能。
2023-08-04 cs.CL cs.SD eess.AS
Attentive Fusion Enhanced Audio-Visual Encoding for Transformer Based Robust Speech Recognition
视听信息融合使得能够改进在复杂声学场景中执行的语音识别的性能，嘈杂的环境。因此，需要探索一种有效的视听融合策略，以保证视听对齐和模态可靠性。不同于以前的端到端的方法，其中的视听融合进行编码后，每一个模态，在本文中，我们建议将一个专注的融合块到编码过程中。结果表明，在编码器模块中提出的视听融合方法可以丰富视听表示，因为这两种模态之间的相关性被利用。根据基于变换器的架构，我们使用具有单向或双向交互的基于多头注意力的视听融合来实现嵌入式融合块。该方法可以充分结合两个流，削弱对音频模态的过度依赖。在LRS 3-TED数据集上的实验表明，与现有方法相比，该方法在干净、可见和不可见噪声条件下的识别率平均分别提高了0.55%、4.51%和4.61%。
2020-08-06 cs.LG cs.MM cs.SD
Cross-domain Single-channel Speech Enhancement Model with Bi-projection Fusion Module for Noise-robust ASR
National Taiwan Normal University（台湾师范大学）；National Chi Nan University（暨南国际大学）
近几十年来，许多研究表明相位信息对语音增强（SE）至关重要，时域单通道语音增强技术在噪声抑制和鲁棒的自动语音识别（ASR）方面显示出了良好的前景。本文提出了一个延续上述研究路线，并探讨了两个有效的SE方法，考虑相位信息在时域和频域的语音信号，分别。在此基础上，提出了一种新的跨域语音增强模型和一种双投影融合（BPF）机制。为了评估我们提出的方法的有效性，我们进行了广泛的实验上公开可用的Aishell-1普通话基准语音语料库。评估结果证实了我们提出的方法相对于当前几种顶级时域和频域SE方法在被可见和不可见噪声污染的测试场景集的增强和ASR评估指标方面的优越性。，分别。
2021-08-26 cs.MM cs.SD eess.AS
Deep Attention Fusion Feature for Speech Separation with End-to-End Post-filter Method
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
在本文中，我们提出了一个端到端的后置滤波器方法与深度注意融合功能的单耳非特定人语音分离。首先，采用时频域语音分离方法作为预分离阶段。预分离阶段的目的是对混合物进行初步分离。虽然这一阶段可以分离混合物，但它仍然包含残余干扰。为了增强预分离后的语音，进一步提高分离性能，提出了具有深度注意融合特征的端到端后置滤波器（E2 EPF）。E2 EPF算法能够充分利用分离前语音的先验知识，有助于语音分离。它是一个完全卷积的语音分离网络，并使用波形作为输入特征。首先，利用一维卷积层在时域中提取混合信号和预分离信号的深度表示特征。其次，为了更好地关注预分离阶段的输出，引入了注意力模块，通过计算混合语音与预分离语音之间的相似度来提取深度注意力融合特征。这些深度注意力融合特征有利于降低干扰，增强预分离后的语音。最后，这些特征被送到后滤波器估计每个目标信号。在WSJ 0 - 2 mix数据集上的实验结果表明，该方法的性能优于现有的语音分离方法.与预分离方法相比，该方法在尺度不变的信噪比（SI-SNR）、信号失真比（SDR）、语音质量感知评价（PESQ）和短时客观可懂度（STOI）指标上分别获得了64.1%、60.2%、25.6%和7.5%的相对改善。
2020-03-17 cs.MM cs.SD eess.AS
Heterogeneous Separation Consistency Training for Adaptation of Unsupervised Speech Separation
Shanghai Normal University（上海师范大学）
近年来，有监督语音分离技术取得了很大的进展。然而，受监督训练性质的限制，大多数现有的分离方法都需要地面实况源，并且是在合成数据集上训练的。这种地面实况的依赖是有问题的，因为地面实况信号通常在真实条件下不可用。此外，在许多行业场景中，真实的声学特性与模拟数据集中的声学特性相差甚远。因此，当将有监督语音分离模型应用于实际应用时，其性能通常会显著下降。为了解决这些问题，在这项研究中，我们提出了一种新的分离一致性训练，称为SCT，利用现实世界的未标记的混合物，以迭代的方式改善跨域无监督语音分离，通过利用从异构（结构不同，但行为互补）模型获得的互补信息。SCT遵循一个框架，使用两个异构神经网络（HNN），以产生高置信度的伪标签的未标记的真实语音混合。然后更新这些标签，并用于改进HNN，以产生更可靠的一致分离结果，用于真实混合伪标记。为了最大限度地利用不同分离网络之间的大量互补信息，进一步提出了跨知识自适应。与模拟数据集一起，这些具有高置信度伪标签的真实混合物然后用于迭代地更新HNN分离模型。此外，我们发现通过简单的线性融合来组合异质分离输出可以进一步略微改善最终系统性能。
2022-08-06 cs.SD eess.AS
