Looking Similar, Sounding Different: Leveraging Counterfactual Cross-Modal Pairs for Audiovisual Representation Learning
Massachusetts Institute of Technology（麻省理工学院）；Netflix（网飞公司）
本文提出利用电影电视配音版本构造仅在语音上不同的反事实视听配对来增强对比学习，实验证明该方法能提升多种下游听觉与视听任务性能，同时基本不影响语言任务表现。
2024-06-08 cs.CV cs.LG cs.MM
Audio-Visual Person Verification based on Recursive Fusion of Joint Cross-Attention
Computer Research Institute of Montreal (CRIM)（蒙特利尔计算机研究所）
本文提出一种基于联合交叉注意力递归融合的视听人物验证方法，通过递归细化联合特征表示并引入BLSTMs增强时间建模，有效捕获模态内与模态间关系，在Voxceleb1数据集上显著提升了融合性能。
2024-04-26 cs.CV cs.SD eess.AS
Audio-visual speech separation based on joint feature representation with cross-modal attention
Northwestern Polytechnical University（西北工业大学）；Nanchang University（南昌大学）
基于多模态的语音分离在多说话人噪声环境中分离目标特征方面具有独特的优势。遗憾的是，大多数现有的分离策略更喜欢基于每个单一模态的特征学习的直接融合，这远远没有充分考虑模态之间的相互关系。受注意力机制的启发，本文提出了一种新的跨模态融合策略，利用不同模态之间的语义相关性，使整个框架受益。为了进一步提高视听语音分离，嘴唇运动的密集光流被纳入，以加强视觉表示的鲁棒性。在两个公共视听语音分离基准数据集上进行了评估。性能的整体改善表明，额外的运动网络有效地增强了组合嘴唇图像和音频信号的视觉表示，以及优于基线的所有指标与建议的跨模态融合。
2022-03-05 cs.CV cs.LG cs.SD
AlignVSR: Audio-Visual Cross-Modal Alignment for Visual Speech Recognition
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）
AlignVSR通过音视频跨模态全局注意力对齐与帧级局部对齐损失，利用音频辅助信息提升视觉语音识别性能，在LRS2和CNVSRC.Single数据集上优于主流VSR方法。
2024-10-21 cs.CV cs.MM cs.SD
Multimodal Emotion Recognition using Audio-Video Transformer Fusion with Cross Attention
School of Computer Science and Engineering, Vellore Institute of Technology (VIT) University（计算机科学与工程学院，维洛雷理工学院（VIT大学））
本文提出AVT-CA模型，通过音频-视频Transformer融合与交叉注意力机制，提升多模态情感识别的准确率和F1分数。
2026-01-20 cs.CL cs.CV cs.LG
Investigating Modality Bias in Audio Visual Video Parsing
Indian Institute of Technology, Bombay（印度理工学院孟买分校）
我们专注于视听视频解析（AVVP）的问题，涉及检测音频和视觉事件标签的时间边界。这项任务特别具有挑战性，因为它是弱监督的，只有事件标签作为每个视频的标签袋可用。AVVP的现有最先进模型使用混合注意力网络（HAN）来生成音频和视觉模态的跨模态特征，以及集中预测的音频和视觉片段级事件概率以产生视频级事件概率的注意力池化模块。我们提供了一个详细的分析，在现有的HAN架构，其中的模态是完全忽略在预测过程中的模态偏差。我们还提出了一个变种的特征聚合HAN，导致在F-分数的绝对增益约2%和1.6%的视觉和视听事件在两个段级和事件级，相比现有的HAN模型。
2022-11-11 cs.CV cs.MM cs.SD
MA-AVT: Modality Alignment for Parameter-Efficient Audio-Visual Transformers
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Carnegie Mellon University（卡内基梅隆大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出MA-AVT，一种参数高效的音视频Transformer，通过联合单模态与多模态token学习、逐块对比学习及判别性前景挖掘实现深度模态对齐，在多个基准上显著超越现有方法。
2024-06-07 cs.CV cs.MM cs.SD
Purification Before Fusion: Toward Mask-Free Speech Enhancement for Robust Audio-Visual Speech Recognition
University of Electronic Science and Technology of China（电子科技大学）；Defense Innovation Institute, Academy of Military Sciences（国防科技创新研究院）；Peking University（北京大学）；High-tech Institute（高新技术研究所）
本文提出了一种端到端的噪声鲁棒音频-视觉语音识别框架，结合语音增强技术，在无需显式生成噪声掩码的情况下提升鲁棒性。
2026-03-06 cs.AI cs.LG cs.MM
Cross-Modal learning for Audio-Visual Video Parsing
Indian Institute of Techonology, Bombay（印度理工学院孟买分校）
在本文中，我们提出了一种新的方法，视听视频解析（AVVP）的任务，划分事件从视频分别为音频和视觉形式。所提出的解析方法同时检测的时间边界的开始和结束时间，这样的事件。我们展示了AVVP如何从以下面向有效跨模态学习的技术中受益：（i）对抗训练和跳过连接（ii）全局上下文感知注意力，以及（iii）使用音频-视频基础目标进行自我监督预训练以获得跨模态音频-视频表示。我们对Look，Listen，and Parse（LLP）数据集进行了广泛的实验评估，并表明我们在为AVVP提出的所有五个指标上都优于最先进的混合注意力网络（HAN）。我们还提出了几个消融来验证预训练，全局注意力和对抗性训练的效果。
2021-06-21 cs.CV cs.LG cs.SD
Cross-modal Audio-visual Co-learning for Text-independent Speaker Verification
Tianjin University（天津大学）；National Institute of Informatics（国立信息学研究所）
视觉语音（即，嘴唇运动）与听觉语音高度相关，这是由于语音产生中的共现和同步。本文研究了这种相关性，并提出了一个跨模态语音协同学习的范例。我们的跨模态协同学习方法的主要动机是通过利用另一种模态的知识来辅助对一种模态进行建模。具体来说，两个跨模态助推器的基础上，视听伪暹罗结构，学习模态转换的相关性。在每个增强器内部，提出了一个最大特征映射嵌入式Transformer变体，用于模态对齐和增强特征生成。该网络是从头开始和与预训练模型共同学习的。在LRSLip 3、GridLip、LomGridLip和VoxLip数据集上的实验结果表明，与独立训练的仅音频/仅视觉和基线融合系统相比，我们提出的方法分别实现了60%和20%的平均相对性能提高。
2023-02-22 cs.CV cs.LG cs.SD
ModalityMirror: Improving Audio Classification in Modality Heterogeneity Federated Learning with Multimodal Distillation
University of Southern California（南加利福尼亚大学）
针对多模态联邦学习中客户端模态异构导致音频等次要模态性能不佳的问题，提出ModalityMirror框架，通过模态级FL聚合与多模态客户端上的联邦知识蒸馏两阶段训练，显著提升了视频缺失场景下的音频分类性能。
2024-08-28 cs.AI cs.SD eess.AS
A study on joint modeling and data augmentation of multi-modalities for audio-visual scene classification
University of Science and Technology of China（中国科学技术大学）；Tencent Corporation（腾讯公司）；Georgia Institute of Technology（佐治亚理工学院）；The Chinese University of Hong Kong（香港中文大学）；University of Enna Kore（恩纳科雷大学）
在本文中，我们提出了两种技术，即联合建模和数据增强，以提高系统性能的视听场景分类（AVSC）。我们使用仅在图像数据集上训练的预训练网络来提取视频嵌入;而对于音频嵌入模型，我们决定从头开始训练它们。我们探索不同的神经网络架构的联合建模，有效地结合视频和音频模态。此外，数据增强策略进行了研究，以增加视听训练集的大小。对于视频模态，验证了RandAugment中几个操作的有效性。为了进一步提高AVSC的性能，提出了一种音视频联合混音方案。根据TAU Urban Audio Visual Scenes 2021的开发集进行评估，我们的最终系统在提交给DCASE 2021任务1b的所有单个AVSC系统中可以达到94.2%的最佳准确度。
2022-09-01 cs.CV cs.MM cs.SD
Revisiting Pre-training in Audio-Visual Learning
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
预训练技术在提高模型在各种任务上的性能方面取得了巨大的成功，但在某些单峰情况下，它的性能比从头开始训练更差。这启发我们思考：预训练的模型在更复杂的多模态场景中是否总是有效的，特别是对于诸如音频和视觉的异构模态？我们发现答案是否定的。具体来说，我们探索了预训练模型对两种视听学习场景的影响：跨模态初始化和多模态联合学习。采用跨模态初始化方法时，由于Batchnorm参数异常而导致的“死通道”现象阻碍了模型容量的利用。因此，我们提出了自适应批量范数重新初始化（ABRi），以更好地利用目标任务的预训练模型的能力。在多模态联合学习中，我们发现一个强的预训练的单模态编码器会对另一个模态的编码器带来负面影响。为了缓解这个问题，我们引入了一个两阶段的融合调整策略，更好地利用预训练的知识，同时使单峰编码器与自适应掩蔽方法合作。实验结果表明，该方法可以进一步挖掘预训练模型的潜力，提高视听学习的性能。
2023-02-17 cs.CV cs.MM cs.SD
Rethinking Audio-Visual Adversarial Vulnerability from Temporal and Modality Perspectives
University of Rochester（罗切斯特大学）；Sony Group Corporation（索尼集团公司）
本文研究了音视频模型在时间和模态层面的对抗脆弱性，提出了时间不变性攻击和模态错位攻击，并引入结合高效多模态扰动构建与对抗课程策略的音视频对抗训练框架，有效提升了模型的攻防性能与训练效率。
2025-03-02 cs.CV cs.SD
AVFF: Audio-Visual Feature Fusion for Video Deepfake Detection
University of Maryland - College Park（马里兰大学帕克分校）；Reality Defender Inc.（Reality Defender公司）
提出两阶段跨模态学习方法AVFF，通过自监督学习捕捉音视觉对应关系并结合互补掩码与特征融合策略提取表征，在FakeAVCeleb数据集上取得98.6%准确率和99.1% AUC，显著超越现有方法。
2024-06-05 cs.CV cs.MM cs.SD
Continuous-Time Audiovisual Fusion with Recurrence vs. Attention for In-The-Wild Affect Recognition
University of Augsburg（奥格斯堡大学）；University of Nottingham（诺丁汉大学）
在本文中，我们提出了我们提交的第三届情感行为分析在野外（ABAW）的挑战。学习多模态序列之间的复杂相互作用对于从野外视听数据中识别维度影响至关重要。递归和注意力是文献中两种广泛使用的序列建模机制。为了清楚地了解视听情感识别中的递归模型和注意力模型之间的性能差异，我们提出了一个基于LSTM-RNNs，自我注意力和跨模态注意力的融合模型的综合评估，并对效价和唤醒估计进行了训练。特别是，我们研究了一些关键设计选择的影响：CNN骨干的建模复杂性，这些骨干为时间模型提供了功能，有和没有端到端的学习。我们通过系统地调整网络架构设计和训练优化中涉及的超参数，在野生ABAW语料库上训练视听情感识别模型。我们对视听融合模型的广泛评估表明，LSTM-RNN在与低复杂度CNN骨干结合并以端到端的方式训练时可以优于注意力模型，这意味着注意力模型可能不一定是连续时间多模态情感识别的最佳选择。
2022-03-29 cs.CV cs.LG cs.SD
Coordinated Joint Multimodal Embeddings for Generalized Audio-Visual Zeroshot Classification and Retrieval of Videos
IIT Kanpur（印度理工学院坎普尔分校）；University of Warwick（华威大学）；NEC Labs America（NEC美国实验室）
我们提出了一种视听多模态方法的零拍学习（ZEROSHOT LEARNING）的分类和检索的视频任务。近年来，人们已经对视觉感知进行了广泛的研究，但主要局限于视觉模态和图像。我们证明，音频和视觉方式都是重要的，为视频的OWL。由于目前还没有研究该任务的数据集，因此我们还从现有的大规模音频事件数据集构建了一个包含33个类别的多模态数据集，其中包含156，416个视频。我们的经验表明，通过添加音频模态的zeroshot分类和检索的任务，使用嵌入式学习方法的多模态扩展时，性能提高。我们还提出了一种新的方法来预测“占主导地位的”模态使用共同学习的模态注意力网络。我们在半监督环境中学习注意力，因此不需要对模态进行任何额外的明确标记。我们提供了定性验证的方式具体的注意力，这也成功地推广到看不见的测试类。
2019-10-19 cs.CV cs.MM cs.SD
On the Behavior of Audio-Visual Fusion Architectures in Identity Verification Tasks
Pacific Northwest National Laboratory（太平洋西北国家实验室）；Oregon State University（俄勒冈州立大学）；North Carolina State University（北卡罗来纳州立大学）
该研究针对身份验证任务中的音视频融合架构，对比不同融合方式，发现输出嵌入平均法在全模态及单模态缺失场景下均能降低错误率，且对嵌入空间的利用更充分。
2023-11-09 cs.CV cs.LG cs.SD
A Systematic Study of Cross-Modal Typographic Attacks on Audio-Visual Reasoning
Boston University（波士顿大学）
本文研究多模态字体攻击对多模态大语言模型的影响，发现跨模态攻击比单模态攻击更有效，揭示了多模态推理中的关键安全漏洞。
2026-10-12 cs.CV cs.SD
Representation Learning for Semantic Alignment of Language, Audio, and Visual Modalities
Audio Research Group, Tampere University（塔尔皮莱大学音频研究组）
针对现有三模态两阶段对齐方法存在数据分布不匹配、效果次优的问题，本文提出基于对比学习的单阶段训练方法，利用AVCaps数据集联合优化多模态表示，在音频驱动视觉检索任务上实现两倍性能提升。
2025-05-20 cs.MM cs.SD eess.AS
A Better Use of Audio-Visual Cues: Dense Video Captioning with Bi-modal Transformer
Tampere University（坦佩雷大学）
密集视频描述旨在定位和描述未修剪视频中的重要事件。现有的方法主要通过只利用视觉特征来解决这个任务，而完全忽略了音轨。只有少数先前的作品利用了这两种模式，但它们显示出较差的结果或证明了具有特定域的数据集的重要性。在本文中，我们介绍了双模态Transformer，它概括了双模态输入的Transformer架构。我们展示了所提出的模型的有效性与音频和视觉模态的密集视频描述任务，但该模块能够消化任何两种形式的序列到序列的任务。我们还表明，作为双模态Transformer的一部分，预训练的双模态编码器可以用作简单提案生成模块的特征提取器。该性能在具有挑战性的ActivityNet Captions数据集上得到了证明，我们的模型在该数据集上实现了出色的性能。代码可在以下网址获得：v-iashin.github.io/bmt
2020-08-11 cs.CL cs.CV cs.LG
FusionAudio-1.2M: Towards Fine-grained Audio Captioning with Multimodal Contextual Fusion
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出两阶段多模态融合流程，构建含120万条细粒度描述和600万问答对的FusionAudio数据集，并据此训练出对齐与指令跟随能力更强的CLAP音频编码器。
2025-06-01 cs.AI cs.SD eess.AS
AVGZSLNet: Audio-Visual Generalized Zero-Shot Learning by Reconstructing Label Features from Multi-Modal Embeddings
IIT Kanpur（印度理工学院坎普尔分校）；University of Bath（巴斯大学）
在本文中，我们提出了一种新的方法，用于多模态环境中的广义零样本学习，其中我们在测试过程中有新的音频/视频类，这些类在训练过程中看不到。我们使用文本嵌入的语义相关性作为零样本学习的手段，通过将音频和视频嵌入与相应的类标签文本特征空间对齐。我们的方法使用一个交叉模态解码器和一个复合三重损失。跨模态解码器强制执行一个约束，即类标签文本特征可以从数据点的音频和视频嵌入中重构。这有助于音频和视频嵌入更接近类标签文本嵌入。复合三元组丢失利用音频、视频和文本嵌入。它有助于在多模态设置中将来自同一个类的嵌入拉近，并将来自不同类的嵌入推开。这有助于网络在多模态零样本学习任务上表现得更好。重要的是，即使在测试时缺少模态，我们的多模态零样本学习方法也有效。我们测试我们的方法上的广义zero-shot分类和检索任务，并表明，我们的方法优于其他模型中存在的一个单一的方式，以及在存在多个方式。我们通过与以前的方法进行比较并使用各种消融来验证我们的方法。
2020-11-23 cs.CV cs.SD eess.AS
Contextual Cross-Modal Attention for Audio-Visual Deepfake Detection and Localization
University of North Texas at Denton（北得克萨斯大学登顿分校）
本文提出一种基于循环神经网络的上下文跨模态注意力框架，通过融合音视频多序列表示提升深度伪造检测与定位性能，并在多个数据集上取得最先进结果。
2024-08-06 cs.AI cs.CV cs.MM
Lightweight Joint Audio-Visual Deepfake Detection via Single-Stream Multi-Modal Learning Framework
Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；Guilin University of Electronic Technology（桂林电子科技大学）；Alibaba Group（阿里巴巴集团）
针对音视频Deepfake检测中双分支模型冗余且模态关联利用不足的问题，提出单流多模态轻量框架，仅0.48M参数并在多个基准上取得更优检测性能。
2025-06-09 cs.AI cs.LG cs.SD
Automated Audio Captioning via Fusion of Low- and High- Dimensional Features
University of Surrey（萨里大学）；Izmir Katip Celebi University（伊兹密尔卡蒂普·切莱比大学）；Qingdao University（青岛大学）
自动音频字幕（AAC）旨在使用简单的句子描述音频剪辑的内容。现有的AAC方法是基于编码器-解码器架构开发的，其成功归功于使用预先训练的CNN 10（称为PANN）作为编码器来学习丰富的音频表示。AAC是一个极具挑战性的任务，因为它的高维人才空间涉及各种场景的音频。现有的方法仅使用PANN的高维表示作为解码器的输入。然而，低维表示可以保留与可以忽略的高维表示一样多的音频信息。此外，虽然高维方法可以通过从现有的音频字幕学习来预测音频字幕，但其缺乏鲁棒性和效率。为了应对这些挑战，提出了一种融合模型，它集成了低维和高维特征AAC框架。在本文中，提出了一种新的编码器-解码器框架，称为低维和高维特征融合（LHDFF）模型的AAC。此外，在LHDFF中，提出了一种新的PANNs编码器，称为残留PANNs（RPANNs），通过融合PANNs的中间卷积层输出的低维特征和最终层输出的高维特征。为了充分挖掘低维、高维融合特征和高维特征的信息，提出了双Transformer解码器结构，并行生成字幕。特别是，概率融合的方法，可以确保系统的整体性能得到提高，通过集中在两个Transformer解码器的各自优势。实验结果表明，LHDFF在Clotho和AudioCaps数据集上取得了最佳的性能
2022-10-10 cs.LG cs.SD eess.AS
Cross-Modal Watermarking for Authentic Audio Recovery and Tamper Localization in Synthesized Audiovisual Forgeries
Korea University（韩国大学）；New York University（纽约大学）
本文提出跨模态水印框架，将真实音频嵌入视觉内容中，以在合成视听伪造中实现真实音频恢复和音频篡改定位，实验验证其对语音克隆和唇形同步等操纵的有效防御能力。
2025-07-17 cs.MM cs.SD eess.AS
Audio-visual scene classification via contrastive event-object alignment and semantic-based fusion
Ghent University（根特大学）
以往的场景分类工作主要基于音频或视觉信号，而人类通过多种感官感知环境场景。最近关于视听场景分类的研究分别对目标数据集上的大规模音频和图像预训练模型进行微调，然后融合音频模型和视觉模型的中间表示，或者在剪辑级别融合两个模型的粗粒度决策。这些方法忽略了视听场景（AVS）中详细的音频事件和视觉对象，而人类通常通过其中的音频事件和视觉对象以及它们之间的一致性来识别不同的场景。为了充分利用AVS中音频事件和视觉对象的细粒度信息，协调音频事件和视觉对象之间的隐含关系，提出了一种基于对比事件-对象对齐（CEOA）和语义融合（SF）的AVSC多分支模型. CEOA旨在通过比较视听事件-对象对之间的差异来对齐学习到的音频事件和视觉对象的嵌入。然后，与某些音频事件相关联的视觉对象，反之亦然，被强调的交叉注意，并进行SF语义级融合。实验结果表明：1）基于CEOA和SF的AVSC模型的性能优于纯音频模型和纯视觉模型，视听结果优于来自单一模态的结果。2)CEOA在细粒度水平上对齐音频事件和相关视觉对象的嵌入，并且SF有效地集成了两者; 3）与其他大规模集成系统相比，即使不使用额外的数据集和数据增强技巧，所提出的模型也显示出具有竞争力的性能。
2022-08-03 cs.MM cs.SD eess.AS
Deep Latent Space Learning for Cross-modal Mapping of Audio and Visual Signals
University of Insubria（因苏布里亚大学）；National University of Sciences and Technology（国立科技大学）；Information Technology University（信息技术大学）
我们提出了一种新的深度训练算法，用于音频和视觉信息的联合表示，该算法由单流网络（SSNet）和一种新的损失函数组成，用于学习多模态信息的共享深层潜在空间表示。所提出的框架的特点是共享的潜在空间，利用类中心，这有助于消除需要成对或三重监督。我们在VoxCeleb上定量和定性地评估了所提出的方法，VoxCeleb是一个基准的视听数据集，用于多项任务，包括跨模态验证，跨模态匹配和跨模态检索。在交叉模态验证和匹配上实现了最先进的性能，而在其余应用程序上观察到了类似的结果。我们的实验证明了该技术的有效性跨模态生物识别应用。
2019-09-18 cs.CV cs.SD eess.AS
Audio Spatially-Guided Fusion for Audio-Visual Navigation
Joint Research Laboratory for Embodied Intelligence, Xinjiang University（新疆大学联合研究实验室，具身智能）；Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing, Xinjiang University（新疆大学丝绸之路多语言认知计算国际联合研究实验室）；School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）
本文提出一种音频空间引导融合方法，通过自适应提取空间状态信息，实现多模态特征动态对齐与融合，提升在未知声源分布下的导航泛化能力。
2026-04-02 cs.AI cs.SD eess.AS
Modality-Independent Teachers Meet Weakly-Supervised Audio-Visual Event Parser
National Taiwan University（国立台湾大学）；Microsoft（微软）；NVIDIA（英伟达）
针对弱监督非对齐视听事件解析任务，提出VALOR方法，利用模态无关对比预训练教师模型生成模态标签，在LLP数据集及视听事件定位任务上均刷新最优性能。
2023-10-02 cs.CV cs.SD eess.AS
MMCosine: Multi-Modal Cosine Loss Towards Balanced Audio-Visual Fine-Grained Learning
Renmin University of China（中国人民大学）
视听学习通过融合多种形式的实用信息，有助于全面认识世界。然而，最近的研究表明，在一个联合学习模型中的单模态编码器的不平衡优化是一个瓶颈，以提高该模型的性能。我们进一步发现，最新的不平衡缓解方法失败的一些视听细粒度的任务，有较高的要求，可区分的特征分布。在余弦损失成功构建超球面特征空间并实现较低类内角度变化的推动下，本文提出了多模态余弦损失，MMCosine。它对特征和权重执行模态方面的$L_2$规范化，以实现平衡和更好的多模态细粒度学习。我们证明，我们的方法可以减轻不平衡优化的角度来看，重量范数和充分利用的余弦度量的可辨别性。大量的实验证明了我们的方法的有效性和先进的多模态融合策略和最新的不平衡缓解方法的通用性。
2023-03-11 cs.MM cs.SD eess.AS
Learning Audio-Visual Correlations from Variational Cross-Modal Generation
Illinois Institute of Technology（伊利诺伊理工学院）；University of Technology Sydney（悉尼科技大学）；Cisco（思科）
人们可以很容易地想象潜在的声音，而看到一个事件。音频和视觉信号之间的这种自然同步揭示了它们内在的相关性。为此，我们提出了学习的视听相关性的角度跨模态生成在一个自我监督的方式，学习的相关性，然后可以很容易地应用于多个下游任务，如视听跨模态定位和检索。我们引入了一种新的变分自编码器（VAE）框架，该框架由多个编码器和一个共享解码器（MS-VAE）组成，并增加了Wasserstein距离约束来解决这个问题。大量的实验表明，所提出的MS-VAE的优化的潜在表示可以有效地学习视听相关性，并可以很容易地应用于多个视听下游任务，以实现有竞争力的性能，即使在训练过程中没有任何给定的标签信息。
2021-02-14 cs.CV cs.SD eess.AS
Dr. SHAP-AV: Decoding Relative Modality Contributions via Shapley Attribution in Audio-Visual Speech Recognition
Imperial College London, UK（伦敦帝国学院，英国）；NatWest AI Research, UK（英国NatWest人工智能研究）
本文提出Dr.SHAP-AV框架，通过Shapley值分析音频-视觉语音识别中模态贡献，揭示噪声环境下模型对视觉的依赖及音频贡献的稳定性，推动模态加权机制和Shapley归因作为标准诊断工具。
2026-06-07 cs.CV cs.SD eess.AS
Information Fusion in Attention Networks Using Adaptive and Multi-level Factorized Bilinear Pooling for Audio-visual Emotion Recognition
University of Science and Technology of China（中国科学技术大学）；Georgia Institute of Technology（佐治亚理工学院）
多模态情感识别是情感计算中的一项挑战性任务，因为情感概念抽象，表达方式多样，很难提取具有区分性的特征来识别情感中的细微差别。此外，如何充分利用音频和视频信息仍然是一个悬而未决的问题。本文提出了一种基于自适应和多级分解双线性池（FBP）的多模态融合注意力网络用于视听情感识别。首先，针对音频流，设计了一种具有一维注意力机制和局部响应归一化的全卷积网络（FCN）用于语音情感识别。其次，提出了一种全局FBP（G-FBP）方法，通过将基于自注意的视频流与音频流相结合来实现视听信息融合。为了改进G-FBP算法，提出了一种自适应融合策略（AG-FBP），该策略根据不同模态的注意力机制得到的情感相关表征向量，动态计算两种模态的融合权值。最后，为了充分利用本地情感信息，在AG-FBP的基础上，引入了自适应多级FBP（AMFBP），将全局主干数据和主干内数据结合在一个记录中。在IEMOCAP语音情感识别语料库上进行测试，新的FCN方法优于最先进的结果，准确率为71.40%。此外，在AFEW数据库上进行了验证2019 sub-challenge和用于视听情感识别的IEMOCAP语料库，所提出的AM-FBP方法在测试集上分别达到了63.09%和75.49%的最佳准确率。
2021-11-17 cs.MM cs.SD eess.AS
Bootstrapping Audio-Visual Segmentation by Strengthening Audio Cues
USTC（中国科学技术大学）；Alibaba Group（阿里巴巴集团）
针对视听分割中视觉特征主导音频导致模态不平衡的问题，提出AVSAC方法，通过双向视听解码器和逐帧同步策略增强音频线索，实现更均衡的表示学习并达到新基准。
2024-02-06 cs.CV cs.SD eess.AS
Separate First, Fuse Later: Mitigating Cross-Modal Interference in Audio-Visual LLMs Reasoning with Modality-Specific Chain-of-Thought
Tianjin Key Laboratory of Cognitive Computing（天津认知计算实验室）；Tianjin University（天津大学）；Huiyan Technology Company, Ltd.（慧颜科技有限公司）；Chinese Academy of Sciences（中国科学院）；Tencent（腾讯）
本文提出SFFL框架，通过模态特定的推理链减少跨模态干扰，提升音频视觉问答的准确性和鲁棒性，实验显示在通用AVQA基准和跨模态幻觉基准上分别提升5.16%和11.17%。
2026-05-11 cs.AI cs.SD
A Unified Framework for Modality-Agnostic Deepfakes Detection
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；University at Buffalo, State University of New York（纽约州立大学布法罗分校）；RealAI Inc（RealAI公司）
针对跨模态伪造与模态缺失问题，本文提出虚假模态无关的统一音视频 deepfake 检测框架，利用 AVSR 提取跨模态语音关联并采用双标签独立检测，在三个数据集上优于现有方法。
2023-10-24 cs.MM cs.SD eess.AS
Self-attention fusion for audiovisual emotion recognition with incomplete data
Tampere University（坦佩雷大学）；Aarhus University（奥胡斯大学）
在本文中，我们考虑的问题，多模态数据分析的视听情感识别的用例。我们提出了一种能够从原始数据中学习的架构，并描述了三种不同的模态融合机制。虽然大多数以前的作品认为在推理过程中的任何时候都存在两种模态的理想情况下，我们评估的鲁棒性的模型在无约束的设置，其中一种模态是缺席或嘈杂，并提出了一种方法来减轻这些限制的形式的模态辍学。最重要的是，我们发现，采用这种方法不仅可以在一种模态的不存在/噪声表示下大幅提高性能，而且还可以提高标准理想环境中的性能，优于竞争方法。
2022-01-26 cs.CV cs.SD eess.AS
Learning Contextually Fused Audio-visual Representations for Audio-visual Speech Recognition
University of Science and Technology of China（中国科学技术大学）；iFlytek Research, iFlytek Co., Ltd.（科大讯飞股份有限公司讯飞研究院）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）
随着自监督学习在音频和视觉模态的进步，它已经成为可能学习一个强大的视听语音表示。这将有利于提高视听语音识别（AVSR）性能，因为多模态输入原则上包含更多有用的信息。在本文中，基于现有的自监督表示学习方法的音频模态，因此，我们提出了一个视听表示学习方法。所提出的方法探讨了视听形式的互补性和长期的上下文依赖性，使用基于变换器的融合模块和灵活的掩蔽策略。经过预训练，该模型能够提取AVSR所需的融合表示。不失一般性，它可以应用于单模态任务，例如，通过简单地屏蔽融合模块中的一个模态来进行音频/视觉语音识别。建议的预训练模型进行评估语音识别和唇读任务使用一个或两个模态，其中的优越性被揭示。
2022-07-10 cs.SD eess.AS eess.IV
AV-FlowEdit: Training-Free Prompt-Driven Audio-Visual Editing with Event-Aware Spectral Trajectory Preservation
本文提出无需训练的AV-FlowEdit框架，利用源-目标流差异实现提示驱动的视听编辑，通过跨模态事件感知频谱轨迹保留抑制漂移，在提示对齐、时间一致性等方面表现出色。
2026-10-12 cs.CV cs.SD eess.AS
Multi-target DoA Estimation with an Audio-visual Fusion Mechanism
National University of Singapore（新加坡国立大学）
空间\ac{DoA}域的大多数先前研究集中于单一模态。然而，人类使用听觉和视觉来检测声源的存在。有了这个动机，我们建议使用神经网络与音频和视频信号的多扬声器定位。异构传感器的使用可以提供补充信息，以克服单模态的挑战，如噪声，混响，照明变化，和闭塞。我们试图解决这些问题，通过引入一个自适应加权机制的视听融合。我们还提出了一种新的视频模拟方法，该方法从与声学特征同步的嘈杂目标3D注释中生成视觉特征。实验结果表明，视听融合一致提高说话人DoA估计的性能，而自适应加权机制显示出明显的好处。
2021-05-13 cs.RO cs.SD eess.AS
Perfect match: Improved cross-modal embeddings for audio-visual synchronisation
Yonsei University（延世大学）；Naver Corp.（NAVER公司）
本文提出了一种新的策略，学习强大的跨模态嵌入音频到视频同步。在这里，我们将问题设置为跨模态检索，其目标是找到最相关的音频片段给定的短视频剪辑。该方法建立在跨模态自我监督学习表征的最新进展之上。本文的主要贡献如下：（1）提出了一种新的学习策略，即通过多路匹配问题学习嵌入，而不是二进制分类（匹配或非匹配）的问题，提出了最近的论文;（2）我们证明了这种方法的性能远远超过现有的同步任务的基线;（3）我们将学习的嵌入用于自我监督中的视觉语音识别，并表明性能与以完全监督的方式学习的表示端到端匹配。
2018-11-02 cs.CV cs.SD eess.AS
LAMB: LLM-based Audio Captioning with Modality Gap Bridging via Cauchy-Schwarz Divergence
本文提出LAMB框架，通过Cauchy-Schwarz散度弥合音频与文本嵌入空间的模态差距，设计Two-Stream Adapter和Token Guide提升LLM解码器推理能力，在AudioCaps上取得最佳性能。
2026-03-16 cs.AI cs.SD
DGFNet: End-to-End Audio-Visual Source Separation Based on Dynamic Gating Fusion
School of Computer Science and Technology（计算机科学与技术学院）
本文提出DGFNet，通过动态门控机制动态调整模态融合程度并引入音频注意力模块，解决了视听源分离中模态融合信息丢失和交互不足的问题，在两个基准数据集上取得显著性能提升。
2025-04-30 cs.AI cs.SD
Robust Wake Word Spotting With Frame-Level Cross-Modal Attention Based Audio-Visual Conformer
Duke Kunshan University（昆山杜克大学）；Zhejiang Laboratory（浙江实验室）
针对噪声下唤醒词检测问题，提出帧级跨模态注意力 FLCMA 并构建端到端音视频 Conformer，结合单模态预训练微调，在远场 MISP 上达到 4.57% WWS 分数的新最优结果。
2024-03-04 cs.MM cs.SD eess.AS
UNQA: Unified No-Reference Quality Assessment for Audio, Image, Video, and Audio-Visual Content
School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
本文提出统一无参考质量评估模型UNQA，通过多模态联合训练策略和模态回归模块，实现对音频、图像、视频及视听内容的单一模型质量评估，提升了特征鲁棒性并降低了部署成本。
2024-07-29 cs.MM cs.SD eess.AS
Modality Attention for End-to-End Audio-visual Speech Recognition
Tsinghua University（清华大学）；Sogou Inc.（搜狗公司）
视听语音识别（AVSR）系统被认为是解决鲁棒语音识别的最有前途的方案之一，尤其是在噪声环境下。在本文中，我们提出了一种新的多模态注意的视听语音识别方法，可以自动学习融合表示从两个模态的重要性的基础上。我们的方法是使用最先进的序列到序列（Seq2seq）架构实现的。实验结果表明，从2%到36%的相对改善，单独的听觉模态获得取决于不同的信号噪声比（SNR）。与传统的特征拼接方法相比，我们提出的方法可以实现更好的识别性能在干净和噪声条件下。我们相信，基于通道注意的端到端方法可以很容易地推广到其他多通道任务的相关信息。
2019-04-23 cs.CL cs.CV cs.SD
Cross-modal Embeddings for Video and Audio Retrieval
Universitat Politècnica de Catalunya (UPC)（加泰罗尼亚理工大学）；Barcelona Supercomputing Center (BSC-CNS)（巴塞罗那超级计算中心）
越来越多的在线视频为训练自监督神经网络带来了一些机会。YouTube-8 M等大规模视频数据集的创建使我们能够以可管理的方式处理大量数据。在这项工作中，我们找到了利用该数据集提供的多模态信息的新方法。通过一个神经网络，我们能够创建音频和视频文件之间的链接，通过将它们投影到一个共同的区域的特征空间，获得联合视听嵌入。这些链接用于检索适合给定无声视频的音频样本，以及检索与给定查询音频匹配的图像。在YouTube-8 M视频子集上获得的Recall@K结果显示了这种无监督方法在跨模态特征学习中的潜力。我们训练嵌入这两个尺度和评估其质量的检索问题，制定为使用从一个模态提取的特征检索最相似的视频的基础上计算的功能在其他模态。
2018-01-07 cs.CV cs.IR cs.SD
Looking into Your Speech: Learning Cross-modal Affinity for Audio-visual Speech Separation
Yonsei University（延世大学）；Naver Corporation（Naver公司）；Korea Aerospace University（韩国航空大学）
在本文中，我们解决的问题，分离个人语音信号从视频使用视听神经处理。大多数常规方法利用逐帧匹配准则来提取共现音频与视频之间的共享信息。因此，他们的表现在很大程度上取决于视听同步的准确性和他们的表现的有效性。为了克服由于传输延迟不匹配或抖动导致的两种模态之间的帧不连续问题，我们提出了一种跨模态亲和网络（CaffNet），它可以学习音频和视频流之间的全局对应关系以及局部变化的亲和性。考虑到全局项在话语级的时间序列上提供稳定性，这解决了以不一致分配为特征的标签置换问题。通过在复杂网络上扩展所提出的跨模态亲和度，进一步提高了复谱域的分离性能。实验结果表明，所提出的方法优于传统的各种数据集上，在现实世界的场景中展示了他们的优势。
2021-03-25 cs.CV cs.SD eess.AS
Multi-modal Residual Perceptron Network for Audio-Video Emotion Recognition
Warsaw University of Technology（华沙理工大学）
音频-视频情感识别现在受到深度神经网络建模工具的攻击。在已发表的论文中，作为一项规则，作者只展示了多模态优于仅音频或仅视频模态的情况。然而，也有情况下的优势，在单峰可以found. In我们的研究中，我们假设，对于情感事件的模糊类别，模态内和模态间的噪声信息间接表示在建模神经网络的参数阻碍了更好的性能，在现有的后期融合和端到端的多模态网络的训练策略。为了利用和克服这两种解决方案中的不足，我们定义了一个多模态残差感知器网络，它从多模态网络分支执行端到端学习，从而推广更好的多模态特征表示。对于所提出的多模态残差感知器网络和用于流媒体数字电影的新颖时间增强，最先进的平均识别率对于The Ryerson Audio-Visual Database of Emotional Speech and Song数据集提高到91.4%，对于Crowd-sourced Emotional Multi-modal Actors数据集提高到83.15%。此外，多模态剩余感知器网络概念显示了其在处理信号源的多模态应用中的潜力，而不仅仅是光学和声学类型。
2021-07-30 cs.AI cs.SD eess.AS
From Contrast to Commonality: Audio Commonality Captioning for Enhanced Audio-Text Cross-modal Understanding in Multimodal LLMs
TMCC, College of Computer Science, Nankai University, Tianjin, China（TMCC，计算机科学学院，南开大学，天津，中国）
本文提出音频共同性描述方法，旨在增强多模态大语言模型中音频与文本的跨模态理解，通过捕捉音频片段间的共享语义以改善模型的泛化能力与任务特定性能。
2026-01-25 cs.SD eess.AS
Audio-Guided Dynamic Modality Fusion with Stereo-Aware Attention for Audio-Visual Navigation
Xinjiang Multimodal Intelligent Processing and Information Security Engineering Technology Research Center（新疆多模态智能处理与信息安全工程技术创新中心）；School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；School of Electrical Engineering and Automation, Tianjin University of Technology（天津理工大学电气工程与自动化学院）
本文针对音视频导航中静态融合和立体声空间信息利用不足的问题，提出结合立体感知注意力模块SAM与音频引导动态融合模块AGDF的强化学习框架，在Replica和Matterport3D上显著提升导航成功率和路径效率。
2025-09-21 cs.AI cs.SD
Dual Transformer Decoder based Features Fusion Network for Automated Audio Captioning
University of Surrey（萨里大学）；Izmir Katip Celebi University（伊兹密尔卡蒂普·切莱比大学）
本文提出 LHDFF 模型，通过残差 PANNs 编码器融合低维与高维音频特征，并采用双 Transformer 解码器并行生成描述，实验表明其性能优于现有音频描述模型。
2023-05-30 cs.SD eess.AS
