The Alignment Curse: Modality Alignment Supercharges Audio Attacks via Text Transfer
University of Oxford（牛津大学）
本文提出并验证了“对齐诅咒”原理，即更强的文本-音频模态对齐会促进文本攻击向音频的迁移，并通过黑盒实验表明文本转移的音频攻击性能与原生音频攻击相当甚至更优，揭示了能力与安全之间的根本矛盾。
2026-05-29 cs.AI cs.LG cs.SD
Lightweight Joint Audio-Visual Deepfake Detection via Single-Stream Multi-Modal Learning Framework
Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；Guilin University of Electronic Technology（桂林电子科技大学）；Alibaba Group（阿里巴巴集团）
针对音视频Deepfake检测中双分支模型冗余且模态关联利用不足的问题，提出单流多模态轻量框架，仅0.48M参数并在多个基准上取得更优检测性能。
2025-06-09 cs.AI cs.LG cs.SD
Multi-modal Residual Perceptron Network for Audio-Video Emotion Recognition
Warsaw University of Technology（华沙理工大学）
音频-视频情感识别现在受到深度神经网络建模工具的攻击。在已发表的论文中，作为一项规则，作者只展示了多模态优于仅音频或仅视频模态的情况。然而，也有情况下的优势，在单峰可以found. In我们的研究中，我们假设，对于情感事件的模糊类别，模态内和模态间的噪声信息间接表示在建模神经网络的参数阻碍了更好的性能，在现有的后期融合和端到端的多模态网络的训练策略。为了利用和克服这两种解决方案中的不足，我们定义了一个多模态残差感知器网络，它从多模态网络分支执行端到端学习，从而推广更好的多模态特征表示。对于所提出的多模态残差感知器网络和用于流媒体数字电影的新颖时间增强，最先进的平均识别率对于The Ryerson Audio-Visual Database of Emotional Speech and Song数据集提高到91.4%，对于Crowd-sourced Emotional Multi-modal Actors数据集提高到83.15%。此外，多模态剩余感知器网络概念显示了其在处理信号源的多模态应用中的潜力，而不仅仅是光学和声学类型。
2021-07-30 cs.AI cs.SD eess.AS
On Metric Learning for Audio-Text Cross-Modal Retrieval
University of Surrey（萨里大学）
音频文本检索的目的是在给定另一模态的查询的情况下从候选者池中检索目标音频片段或字幕。解决这种跨模态检索任务是具有挑战性的，因为它不仅需要学习两种模态的鲁棒特征表示，而且还需要捕获这两种模态之间的细粒度对齐。现有的跨模态检索模型大多是通过度量学习目标来优化的，因为它们都试图将数据映射到嵌入空间，在嵌入空间中，相似的数据靠得很近，不相似的数据相距很远。与其他跨模态的检索任务，如图像-文本和视频-文本检索，音频-文本检索仍然是一个未开发的任务。在这项工作中，我们的目标是研究不同的度量学习目标对音频文本检索任务的影响。我们对AudioCaps和Clotho数据集上流行的度量学习目标进行了广泛的评估。我们证明了自监督学习的NT-Xent损失在不同的数据集和训练设置中表现出稳定的性能，并且优于流行的基于三元组的损失。我们的代码可在https://github.com/XinhaoMei/audio-text_retrieval上获得。
2022-06-30 cs.SD eess.AS
Omni-DeepSearch: A Benchmark for Audio-Driven Omni-Modal Deep Search
CASIA；UCAS；BAAI；Peking University（北京大学）；Tsinghua University（清华大学）
本文提出Omni-DeepSearch基准，用于评估基于音频的多模态深度搜索能力，通过多跳推理生成客观答案，结果显示该任务极具挑战性。
2026-05-09 cs.LG cs.SD
Audio Description from Image by Modal Translation Network
Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences（中国科学院西安光学精密机械研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Northwestern Polytechnical University（西北工业大学）
音频是视障者获取信息的主要形式。在现实中，各种视觉数据总是存在的，但音频数据在许多情况下并不存在。为了帮助视觉障碍者更好地感知周围的信息，本文提出了一种图像到音频描述（I2 AD）任务来从图像生成音频描述。为了完成这一全新的任务，提出了从视觉到听觉的模态翻译网络（MT-Net）。所提出的MT-Net包括三个渐进子网络：1）特征学习，2）跨模态映射和3）音频生成。首先，特征学习子网络旨在从图像和音频中学习语义特征，包括图像特征学习和音频特征学习。其次，跨模态映射子网络将图像特征转换为与音频特征具有相同语义概念的跨模态表示。通过这种方式，有效地挖掘了模态间数据的相关性，以缓解图像和音频之间的异构性差距。最后，设计了音频生成子网络，用于从交叉模态表示中生成音频波形。根据采样频率对生成的音频波形进行插值，得到相应的音频文件。作为探索I2 AD任务的第一次尝试，构建了三个具有大量手动音频描述的大规模数据集。实验结果验证了直接从图像中生成清晰语音的可行性和方法的有效性。
2021-03-18 cs.MM cs.SD eess.AS
u-HuBERT: Unified Mixed-Modal Speech Pretraining And Zero-Shot Transfer to Unlabeled Modality
Meta AI
虽然视听语音模型与纯音频模型相比可以产生更好的性能和鲁棒性，但它们的开发和采用受到缺乏标记和未标记视听数据以及每个模态部署一个模型的成本的阻碍。在本文中，我们提出了u-HuBERT，这是一个自监督的预训练框架，可以利用多模态和单峰语音，并具有统一的掩蔽聚类预测目标。通过在预训练期间利用模态丢弃，我们证明了单个微调模型可以实现与最先进的模态特定模型相当或更好的性能。此外，我们的模型微调音频可以很好地执行视听和视觉语音输入，实现zero-shot模态泛化多个语音处理任务。特别是，我们的单一模型产生1.2%/1.4%/27.2%的语音识别字出错率的LRS 3与视听/音频/视觉输入。代码和型号可在https://github.com/facebookresearch/av_hubert上获得
2022-11-28 cs.AI cs.CL cs.CV
3MDiT: Unified Tri-Modal Diffusion Transformer for Text-Driven Synchronized Audio-Video Generation
Zhejiang University（浙江大学）；Huawei（华为）；Nanyang Technological University（南洋理工大学）
3MDiT提出了一种统一三模态扩散变换器，通过联合演变流实现文本驱动的同步音频视频生成，提升多模态对齐与同步性能。
2025-11-26 cs.MM cs.SD
Audio Sentiment Analysis via Distillation and Cross-Modal Integration of Generated Multilingual Transcripts
University of Bucharest（布加勒斯特大学）；PPC Romania（罗马尼亚PPC）
研究语音情感分析难题，提出通过跨模态变压器集成音频与文本信息的多模态方案，经自动语音识别生成转录本并翻译为多语言文本，还进行知识蒸馏，实验证明该方法能提升多模态情感分类性能及增强单模态音频模型。
2026-07-09 cs.AI cs.CL cs.LG
Deep Cross-Modal Correlation Learning for Audio and Lyrics in Music Retrieval
National Institute of Informatics（国立信息学研究所）；The University of Electro-Communications（电气通信大学）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；Hong Kong University of Science and Technology（香港科技大学）
很少有研究集中在跨模态相关学习，其中考虑到不同的数据模态，如音频和歌词的时间结构。基于音乐的时间结构特点，我们有动机去了解音频和歌词之间的深层序列相关性。在这项工作中，我们提出了一个深度跨模态相关学习架构，涉及用于音频模态和文本模态（歌词）的双分支深度神经网络。不同的模态数据被转换到同一个典型空间，其中模态间典型相关分析被用作目标函数来计算时间结构的相似性。这是第一次通过深度架构来理解语言和音乐音频之间的相关性，以学习音频和歌词的配对时间相关性。使用预训练的Doc2vec模型和全连接层（全连接深度神经网络）来表示歌词。在音频分支中做出了两个重要贡献，如下：i）研究了预训练的CNN，然后是完全连接的层，用于表示音乐音频。ii）我们进一步提出了一种端到端架构，可以同时训练卷积层和全连接层，以更好地学习音乐音频的时间结构。特别是，我们的端到端深度架构包含两个属性：同时实现特征学习和跨模态相关学习，以及通过考虑时间结构来学习联合表示。实验结果，使用音频检索歌词或使用歌词检索音频，验证了所提出的深度相关学习架构在跨模态音乐检索的有效性。
2017-11-29 cs.IR cs.SD eess.AS
Attention-based cross-modal fusion for audio-visual voice activity detection in musical video streams
Bytedance AI Lab（字节跳动人工智能实验室）
以前很多视听人声相关的作品都把重点放在语音上，忽略了互联网上越来越多的音乐视频流中的歌声。对于处理不同的音乐视频数据，语音活动检测是必要的步骤。本文试图检测语音和演唱的目标表演者的声音在音乐视频流使用视听信息。为了整合音频和视觉模态的信息，提出了一种多分支网络来学习音频和图像表示，并通过基于语义相似性的注意力融合表示，通过锚发声的概率来形成声学表示。实验结果表明，在复杂的声学环境中，该多分支网络的性能远优于纯音频模型，表明基于语义相关的跨模态信息融合是合理和成功的。
2021-06-21 cs.SD eess.AS
Deep Cross-Modal Audio-Visual Generation
University of Rochester（罗切斯特大学）
跨通道视听感知一直是心理学和神经学中的一个长期话题，各种研究发现人类对听觉和视觉刺激的感知具有很强的相关性。尽管在计算多模态建模的作品，跨模态视听生成的问题还没有系统地研究在文献中。在本文中，我们首次尝试利用深度生成对抗训练的力量来解决这个跨模态生成问题。具体来说，我们使用条件生成对抗网络来实现音乐表演的跨模态视听生成。我们探索不同的编码方法的音频和视频信号，并在两个场景：面向工具的生成和面向姿势的生成。作为第一个探索这个新问题，我们组成了两个新的数据集对不同乐器的音乐表演的图像和声音。我们使用分类和人类评估的实验表明，我们的模型能够生成一种模态，即，音频/视频，从其他模态，即，视觉/听觉，在很大程度上。我们对各种设计选择以及数据集的实验将促进未来在这个新问题空间的研究。
2017-04-26 cs.CV cs.MM cs.SD
Learning Contextually Fused Audio-visual Representations for Audio-visual Speech Recognition
University of Science and Technology of China（中国科学技术大学）；iFlytek Research, iFlytek Co., Ltd.（科大讯飞股份有限公司讯飞研究院）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）
随着自监督学习在音频和视觉模态的进步，它已经成为可能学习一个强大的视听语音表示。这将有利于提高视听语音识别（AVSR）性能，因为多模态输入原则上包含更多有用的信息。在本文中，基于现有的自监督表示学习方法的音频模态，因此，我们提出了一个视听表示学习方法。所提出的方法探讨了视听形式的互补性和长期的上下文依赖性，使用基于变换器的融合模块和灵活的掩蔽策略。经过预训练，该模型能够提取AVSR所需的融合表示。不失一般性，它可以应用于单模态任务，例如，通过简单地屏蔽融合模块中的一个模态来进行音频/视觉语音识别。建议的预训练模型进行评估语音识别和唇读任务使用一个或两个模态，其中的优越性被揭示。
2022-07-10 cs.SD eess.AS eess.IV
Improving Audio-Visual Speech Recognition by Lip-Subword Correlation Based Visual Pre-training and Cross-Modal Fusion Encoder
University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）；Georgia Institute of Technology（佐治亚理工学院）
针对低质量视频下端到端视听语音识别性能提升有限的问题，提出基于唇形-音节子词关联的视觉预训练与音频引导跨模态融合编码器，在少量数据下实现优于当前最优系统的性能。
2024-03-09 cs.AI cs.CL cs.SD
Cross-Modal Contrastive Representation Learning for Audio-to-Image Generation
Korea University（高丽大学）
某些信息的多种形式提供了关于该信息的各种观点，这可以改善对信息的理解。因此，从现有数据中生成不同模态的数据以增强理解可能至关重要。在本文中，我们研究了跨模态音频到图像的生成问题，并提出跨模态对比表示学习（CMCRL）提取有用的功能，从音频和使用它在生成阶段。实验结果表明，CMCRL提高了图像质量比以前的研究。
2022-07-20 cs.CV cs.GR cs.SD
OmniFocus: Query-Guided Modality-Balanced Token Compression for Omni-Modal Large Language Models
School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉科学学院）；Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所中文信息处理实验室）；University of Limerick（利默里克大学）；CUHK, Shenzhen（香港中文大学（深圳））
研究全模态大语言模型推理成本高的问题，提出无训练的查询引导令牌压缩方法OmniFocus，独立评估音视频重要性，实现模态对称压缩，提升性能。
2026-07-07 cs.AI cs.CV cs.LG
OmniVAE: An Audio-Video VAE with Cross-Modal Alignment for Joint Generation
研究针对音频和视频联合生成中跨模态对齐难的问题，提出OmniVAE，通过联合训练学习音频和视频潜在表示间的细粒度语义对齐，使用对比目标捕捉对应关系并对齐潜在空间，还提炼特征提升可学习性，实验证明其有效提升生成质量和同步准确性。
2026-08-03 cs.CV cs.SD
Rethinking Audio-Visual Adversarial Vulnerability from Temporal and Modality Perspectives
University of Rochester（罗切斯特大学）；Sony Group Corporation（索尼集团公司）
本文研究了音视频模型在时间和模态层面的对抗脆弱性，提出了时间不变性攻击和模态错位攻击，并引入结合高效多模态扰动构建与对抗课程策略的音视频对抗训练框架，有效提升了模型的攻防性能与训练效率。
2025-03-02 cs.CV cs.SD
From Contrast to Commonality: Audio Commonality Captioning for Enhanced Audio-Text Cross-modal Understanding in Multimodal LLMs
TMCC, College of Computer Science, Nankai University, Tianjin, China（TMCC，计算机科学学院，南开大学，天津，中国）
本文提出音频共同性描述方法，旨在增强多模态大语言模型中音频与文本的跨模态理解，通过捕捉音频片段间的共享语义以改善模型的泛化能力与任务特定性能。
2026-01-25 cs.SD eess.AS
Improving Audio-Text Retrieval via Hierarchical Cross-Modal Interaction and Auxiliary Captions
School of ECE, Peking University（北京大学电子学院）
本文提出分层跨模态交互方法，同时建模音频片段-句子、片段-短语和帧-词关系，并利用预训练字幕生成器产生的辅助字幕增强音频表示与数据增强，从而在多个数据集上稳定提升音频-文本检索性能。
2025-05-03 cs.SD eess.AS
Contextual Cross-Modal Attention for Audio-Visual Deepfake Detection and Localization
University of North Texas at Denton（北得克萨斯大学登顿分校）
本文提出一种基于循环神经网络的上下文跨模态注意力框架，通过融合音视频多序列表示提升深度伪造检测与定位性能，并在多个数据集上取得最先进结果。
2024-08-06 cs.AI cs.CV cs.MM
FoleyGenEx: Unified Video-to-Audio Generation with Multi-Modal Control, Temporal Alignment, and Semantic Precision
Academy for Advanced Interdisciplinary Studies, Nankai University（南开大学前沿交叉学科研究院）；Kling Team, Kuaishou Technology（快手科技Kling团队）
提出FoleyGenEx统一框架，通过条件注入、多模态动态掩码和副词数据增强，实现视频到音频生成中多模态控制、帧级时间对齐与细粒度语义的同步合成。
2026-10-06 cs.CV cs.SD
Leveraging Audio and Text Modalities in Mental Health: A Study of LLMs Performance
Compumacy for Artificial Intelligence solutions（人工智能解决方案公司）；Department of Behavioural Health- Saint Elizabeths Hospital（行为健康部门-圣伊丽莎白医院）
本研究基于E-DAIC数据集，评估LLMs在零样本和少样本设置下通过文本、音频及组合模态检测抑郁症与PTSD的性能，发现整合模态显著提升了诊断准确率，其中Gemini 1.5 Pro表现最佳。
2025-08-13 cs.AI cs.CL cs.SD
Audio-to-symbolic Arrangement via Cross-modal Music Representation Learning
NYU Shanghai（上海纽约大学）；Tencent PCG（腾讯平台与内容事业群）
我们能否根据流行歌曲的音频自动推导出钢琴伴奏的乐谱？这就是我们在本文中所要解决的音频到符号的排列问题。一个好的编曲模型不仅要考虑音频内容，还要有钢琴作曲的先验知识（这样生成的作品听起来像音频，同时保持音乐性）。为此，我们贡献了一个跨模态表示学习模型，该模型1）从音频中提取和弦和旋律信息，2）从音频和损坏的地面真值排列中学习纹理表示。我们进一步引入了一个量身定制的训练策略，逐渐将纹理信息的来源从损坏的分数转移到音频。最后，基于分数的纹理后验被简化为标准的正态分布，并且仅需要音频进行推理。实验表明，我们的模型捕捉主要的音频信息，并优于基线的生成质量。
2022-02-22 cs.LG cs.SD eess.AS
Representation Learning for Semantic Alignment of Language, Audio, and Visual Modalities
Audio Research Group, Tampere University（塔尔皮莱大学音频研究组）
针对现有三模态两阶段对齐方法存在数据分布不匹配、效果次优的问题，本文提出基于对比学习的单阶段训练方法，利用AVCaps数据集联合优化多模态表示，在音频驱动视觉检索任务上实现两倍性能提升。
2025-05-20 cs.MM cs.SD eess.AS
Investigating Modality Contribution in Audio LLMs for Music
Audio Research Lab, New York University, USA Integrated Design \& Media, New York University, USA
本文通过MM-SHAP框架量化音频大语言模型中各模态的贡献，发现高准确率模型更依赖文本回答问题，但音频仍能局部化关键声音事件，首次将MM-SHAP应用于音频大语言模型。
2026-02-02 cs.LG cs.SD
Diffusion-Link: Diffusion Probabilistic Model for Bridging the Audio-Text Modality Gap
Korea Advanced Institute of Science and Technology, South Korea（韩国科学技术院）；University of Seoul, South Korea（首尔大学）
提出基于扩散的模态桥接模块Diffusion-Link，将音频嵌入映射至文本分布以弥合模态鸿沟，在AAC任务中显著提升多模态LLM的零样本与监督性能并达到SOTA。
2025-10-13 cs.AI cs.CL cs.LG
A Systematic Study of Cross-Modal Typographic Attacks on Audio-Visual Reasoning
Boston University（波士顿大学）
本文研究多模态字体攻击对多模态大语言模型的影响，发现跨模态攻击比单模态攻击更有效，揭示了多模态推理中的关键安全漏洞。
2026-10-12 cs.CV cs.SD
AVGZSLNet: Audio-Visual Generalized Zero-Shot Learning by Reconstructing Label Features from Multi-Modal Embeddings
IIT Kanpur（印度理工学院坎普尔分校）；University of Bath（巴斯大学）
在本文中，我们提出了一种新的方法，用于多模态环境中的广义零样本学习，其中我们在测试过程中有新的音频/视频类，这些类在训练过程中看不到。我们使用文本嵌入的语义相关性作为零样本学习的手段，通过将音频和视频嵌入与相应的类标签文本特征空间对齐。我们的方法使用一个交叉模态解码器和一个复合三重损失。跨模态解码器强制执行一个约束，即类标签文本特征可以从数据点的音频和视频嵌入中重构。这有助于音频和视频嵌入更接近类标签文本嵌入。复合三元组丢失利用音频、视频和文本嵌入。它有助于在多模态设置中将来自同一个类的嵌入拉近，并将来自不同类的嵌入推开。这有助于网络在多模态零样本学习任务上表现得更好。重要的是，即使在测试时缺少模态，我们的多模态零样本学习方法也有效。我们测试我们的方法上的广义zero-shot分类和检索任务，并表明，我们的方法优于其他模型中存在的一个单一的方式，以及在存在多个方式。我们通过与以前的方法进行比较并使用各种消融来验证我们的方法。
2020-11-23 cs.CV cs.SD eess.AS
Audio-Visual Speech Enhancement and Separation by Utilizing Multi-Modal Self-Supervised Embeddings
Carnegie Mellon University（卡内基梅隆大学）；National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；Edinburgh Napier University（爱丁堡龙比亚大学）
本文提出在预训练AV-HuBERT后接入SE模块并配合微调，用于AVSE和AVSS，实验证明其优于现有AVSE及纯音频SE方法。
2023-06-01 cs.SD eess.AS
Audio-visual speech separation based on joint feature representation with cross-modal attention
Northwestern Polytechnical University（西北工业大学）；Nanchang University（南昌大学）
基于多模态的语音分离在多说话人噪声环境中分离目标特征方面具有独特的优势。遗憾的是，大多数现有的分离策略更喜欢基于每个单一模态的特征学习的直接融合，这远远没有充分考虑模态之间的相互关系。受注意力机制的启发，本文提出了一种新的跨模态融合策略，利用不同模态之间的语义相关性，使整个框架受益。为了进一步提高视听语音分离，嘴唇运动的密集光流被纳入，以加强视觉表示的鲁棒性。在两个公共视听语音分离基准数据集上进行了评估。性能的整体改善表明，额外的运动网络有效地增强了组合嘴唇图像和音频信号的视觉表示，以及优于基线的所有指标与建议的跨模态融合。
2022-03-05 cs.CV cs.LG cs.SD
Using Large Pre-Trained Models with Cross-Modal Attention for Multi-Modal Emotion Recognition
Freshworks Inc.（Freshworks公司）
最近，自监督预训练在机器学习的许多领域都有了显着的改进，包括语音和NLP。我们建议使用大型的自监督预训练模型，用于音频和文本模态，并具有跨模态注意力，用于多模态情感识别。我们使用Wav2Vec2.0 [1]作为稳健语音特征提取的音频编码器基础，使用BERT模型[2]作为文本编码器基础，以更好地表示文本的上下文。这些在大量未标记数据上训练的高容量模型包含丰富的特征表示，并提高了下游任务的性能。我们使用跨模态注意力[3]机制来学习自监督模型中音频和文本表示之间的对齐。跨模态注意也有助于提取音频和文本特征之间的交互信息。我们从帧级特征中获得话语级特征表示，使用音频和文本模态的统计池，并使用早期融合技术将它们结合起来。我们的实验表明，与IEMOCAP数据集[35]上的先前最先进的方法[3]相比，所提出的方法在准确度上获得了1.88%的绝对提高。我们还进行了音频和文本模态的单峰实验，并将它们与以前的最佳方法进行比较。
2021-08-22 cs.SD eess.AS
Training Strategies to Handle Missing Modalities for Audio-Visual Expression Recognition
Amazon（亚马逊）
音频视频表情自动识别在远程医疗、VOIP通话、人机交互等通信服务中具有重要的应用价值。视听表达识别的准确性可以受益于这两种模式之间的相互作用。然而，大多数在理想条件下训练的视听表达识别系统在现实世界场景中无法推广，其中由于诸如有限的带宽、交互者的取向、呼叫者发起的静音等多种原因，音频或视觉模态可能丢失。本文研究了一个国家的最先进的Transformer的性能时，一个模态丢失。我们进行消融研究，以评估模型在没有任何形式。此外，我们提出了一种策略，在训练过程中在剪辑或帧级别随机消融视觉输入，以模仿真实世界的场景。在野外数据上进行的结果表明，在缺失线索上训练的拟议模型具有显着的泛化能力，帧级消融的增益高达17%，表明这些训练策略更好地应对了输入模式的丢失。
2020-11-30 cs.SD eess.AS eess.IV
Investigating Modality Bias in Audio Visual Video Parsing
Indian Institute of Technology, Bombay（印度理工学院孟买分校）
我们专注于视听视频解析（AVVP）的问题，涉及检测音频和视觉事件标签的时间边界。这项任务特别具有挑战性，因为它是弱监督的，只有事件标签作为每个视频的标签袋可用。AVVP的现有最先进模型使用混合注意力网络（HAN）来生成音频和视觉模态的跨模态特征，以及集中预测的音频和视觉片段级事件概率以产生视频级事件概率的注意力池化模块。我们提供了一个详细的分析，在现有的HAN架构，其中的模态是完全忽略在预测过程中的模态偏差。我们还提出了一个变种的特征聚合HAN，导致在F-分数的绝对增益约2%和1.6%的视觉和视听事件在两个段级和事件级，相比现有的HAN模型。
2022-11-11 cs.CV cs.MM cs.SD
On Negative Sampling for Contrastive Audio-Text Retrieval
Tampere University（坦佩雷大学）
本文研究了音频文本检索中的对比学习中的负采样问题。负采样的策略是指从正音频-文本对的候选池中选择负（音频片段或文本描述）。我们通过模型估计的音频和文本样本的模态内和跨模态相关性分数探索采样策略。在文献[1]的检索系统上，我们研究了八种抽样策略，包括硬和半硬负抽样。实验结果表明，不同策略的检索性能差异很大.特别地，通过选择具有跨模态分数的半硬否定，检索系统在文本到音频和音频到文本检索中获得改进的性能。此外，我们发现，功能崩溃时发生采样硬否定与跨模态分数。
2023-02-17 cs.SD eess.AS
Exploring the Role of Audio in Video Captioning
Northeastern University（东北大学）；ByteDance（字节跳动）
本文提出一种音视频字幕生成框架，利用原始音频信号而非ASR文本，通过模态平衡预训练损失和局部-全局融合机制，在四个数据集上显著提升性能，部分指标超越现有最优方法。
2023-06-21 cs.CV cs.SD eess.AS
AlignVSR: Audio-Visual Cross-Modal Alignment for Visual Speech Recognition
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）
AlignVSR通过音视频跨模态全局注意力对齐与帧级局部对齐损失，利用音频辅助信息提升视觉语音识别性能，在LRS2和CNVSRC.Single数据集上优于主流VSR方法。
2024-10-21 cs.CV cs.MM cs.SD
Cross-Modal Watermarking for Authentic Audio Recovery and Tamper Localization in Synthesized Audiovisual Forgeries
Korea University（韩国大学）；New York University（纽约大学）
本文提出跨模态水印框架，将真实音频嵌入视觉内容中，以在合成视听伪造中实现真实音频恢复和音频篡改定位，实验验证其对语音克隆和唇形同步等操纵的有效防御能力。
2025-07-17 cs.MM cs.SD eess.AS
UniAudio 1.5: Large Language Model-driven Audio Codec is A Few-shot Audio Task Learner
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出LLM-Codec将音频压缩为大语言模型可理解的token，使冻结LLM无需微调即可通过少样本上下文学习完成多种音频理解与生成任务，并开源模型。
2024-06-14 cs.SD eess.AS
AVRT: Audio-Visual Reasoning Transfer through Single-Modality Teachers
University of Tübingen, Germany（图宾根大学）；MIT, Cambridge MA, USA（麻省理工学院）；IBM Research, USA（IBM研究院）；MIT-IBM Watson AI Lab, USA（麻省理工-IBM沃森人工智能实验室）；Tuebingen AI Center, Germany（图宾根人工智能中心）
本文提出AVRT框架，通过单模态教师模型生成高质量音频-视觉推理轨迹，并利用LLM合并模型整合轨迹，从而在多模态设置中实现推理迁移，取得音视频和音频任务的最优效果。
2026-04-17 cs.CV cs.MM cs.SD
COMET: Concept Space Dissection of the Modality Gap in Audio-Text Multimodal Contrastive Embeddings
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；Centre for Vision, Speech, and Signal Processing (CVSSP), University of Surrey（Surrey 大学视觉、语音和信号处理中心）
提出COMET框架，通过PLS-SVD分解揭示CLAP模型中模态间隙主要由少数共享概念轴贡献，并基于谱截断方法无训练地缓解间隙，实现零样本音频字幕接近全监督性能。
2026-05-28 cs.AI cs.CL cs.LG
Deep Latent Space Learning for Cross-modal Mapping of Audio and Visual Signals
University of Insubria（因苏布里亚大学）；National University of Sciences and Technology（国立科技大学）；Information Technology University（信息技术大学）
我们提出了一种新的深度训练算法，用于音频和视觉信息的联合表示，该算法由单流网络（SSNet）和一种新的损失函数组成，用于学习多模态信息的共享深层潜在空间表示。所提出的框架的特点是共享的潜在空间，利用类中心，这有助于消除需要成对或三重监督。我们在VoxCeleb上定量和定性地评估了所提出的方法，VoxCeleb是一个基准的视听数据集，用于多项任务，包括跨模态验证，跨模态匹配和跨模态检索。在交叉模态验证和匹配上实现了最先进的性能，而在其余应用程序上观察到了类似的结果。我们的实验证明了该技术的有效性跨模态生物识别应用。
2019-09-18 cs.CV cs.SD eess.AS
Modality-Independent Teachers Meet Weakly-Supervised Audio-Visual Event Parser
National Taiwan University（国立台湾大学）；Microsoft（微软）；NVIDIA（英伟达）
针对弱监督非对齐视听事件解析任务，提出VALOR方法，利用模态无关对比预训练教师模型生成模态标签，在LLP数据集及视听事件定位任务上均刷新最优性能。
2023-10-02 cs.CV cs.SD eess.AS
VGGSounder: Audio-Visual Evaluations for Foundation Models
Technical University of Munich, MCML（慕尼黑技术大学，MCML）；University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）；MPI for Intelligent Systems, ELLIS Institute（智能系统Max Planck研究所，ELLIS研究所）
针对VGGSound数据集在音视频基础模型评估中的标签不完整、类别重叠和模态错位等问题，提出重新标注的多标签测试集VGGSounder，并引入模态混淆指标分析模型性能退化。
2026-07-01 cs.AI cs.CV cs.MM
Learning Audio-Visual Correlations from Variational Cross-Modal Generation
Illinois Institute of Technology（伊利诺伊理工学院）；University of Technology Sydney（悉尼科技大学）；Cisco（思科）
人们可以很容易地想象潜在的声音，而看到一个事件。音频和视觉信号之间的这种自然同步揭示了它们内在的相关性。为此，我们提出了学习的视听相关性的角度跨模态生成在一个自我监督的方式，学习的相关性，然后可以很容易地应用于多个下游任务，如视听跨模态定位和检索。我们引入了一种新的变分自编码器（VAE）框架，该框架由多个编码器和一个共享解码器（MS-VAE）组成，并增加了Wasserstein距离约束来解决这个问题。大量的实验表明，所提出的MS-VAE的优化的潜在表示可以有效地学习视听相关性，并可以很容易地应用于多个视听下游任务，以实现有竞争力的性能，即使在训练过程中没有任何给定的标签信息。
2021-02-14 cs.CV cs.SD eess.AS
Cross-Modal learning for Audio-Visual Video Parsing
Indian Institute of Techonology, Bombay（印度理工学院孟买分校）
在本文中，我们提出了一种新的方法，视听视频解析（AVVP）的任务，划分事件从视频分别为音频和视觉形式。所提出的解析方法同时检测的时间边界的开始和结束时间，这样的事件。我们展示了AVVP如何从以下面向有效跨模态学习的技术中受益：（i）对抗训练和跳过连接（ii）全局上下文感知注意力，以及（iii）使用音频-视频基础目标进行自我监督预训练以获得跨模态音频-视频表示。我们对Look，Listen，and Parse（LLP）数据集进行了广泛的实验评估，并表明我们在为AVVP提出的所有五个指标上都优于最先进的混合注意力网络（HAN）。我们还提出了几个消融来验证预训练，全局注意力和对抗性训练的效果。
2021-06-21 cs.CV cs.LG cs.SD
pyAMPACT: A Score-Audio Alignment Toolkit for Performance Data Estimation and Multi-modal Processing
pyAMPACT是一种用于表演数据估计和多模态处理的工具，通过符号与音频的对齐实现性能数据的估计及多模态分析
2026-01-05 cs.MM cs.SD eess.AS
Cross-modal Audio-visual Co-learning for Text-independent Speaker Verification
Tianjin University（天津大学）；National Institute of Informatics（国立信息学研究所）
视觉语音（即，嘴唇运动）与听觉语音高度相关，这是由于语音产生中的共现和同步。本文研究了这种相关性，并提出了一个跨模态语音协同学习的范例。我们的跨模态协同学习方法的主要动机是通过利用另一种模态的知识来辅助对一种模态进行建模。具体来说，两个跨模态助推器的基础上，视听伪暹罗结构，学习模态转换的相关性。在每个增强器内部，提出了一个最大特征映射嵌入式Transformer变体，用于模态对齐和增强特征生成。该网络是从头开始和与预训练模型共同学习的。在LRSLip 3、GridLip、LomGridLip和VoxLip数据集上的实验结果表明，与独立训练的仅音频/仅视觉和基线融合系统相比，我们提出的方法分别实现了60%和20%的平均相对性能提高。
2023-02-22 cs.CV cs.LG cs.SD
BLAT: Bootstrapping Language-Audio Pre-training based on AudioSet Tag-guided Synthetic Data
Shanghai Jiao Tong University（上海交通大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
针对音频-文本预训练平行数据不足的问题，提出BLAT方法，通过AudioSet标签引导的音频字幕生成构建高质量大规模平行数据，在多数下游任务上取得SOTA零样本分类性能。
2024-03-05 cs.SD eess.AS
MMCosine: Multi-Modal Cosine Loss Towards Balanced Audio-Visual Fine-Grained Learning
Renmin University of China（中国人民大学）
视听学习通过融合多种形式的实用信息，有助于全面认识世界。然而，最近的研究表明，在一个联合学习模型中的单模态编码器的不平衡优化是一个瓶颈，以提高该模型的性能。我们进一步发现，最新的不平衡缓解方法失败的一些视听细粒度的任务，有较高的要求，可区分的特征分布。在余弦损失成功构建超球面特征空间并实现较低类内角度变化的推动下，本文提出了多模态余弦损失，MMCosine。它对特征和权重执行模态方面的$L_2$规范化，以实现平衡和更好的多模态细粒度学习。我们证明，我们的方法可以减轻不平衡优化的角度来看，重量范数和充分利用的余弦度量的可辨别性。大量的实验证明了我们的方法的有效性和先进的多模态融合策略和最新的不平衡缓解方法的通用性。
2023-03-11 cs.MM cs.SD eess.AS
AV-Link: Temporally-Aligned Diffusion Features for Cross-Modal Audio-Video Generation
Rice University（莱斯大学）；Snap Inc（Snap公司）
AV-Link提出统一框架，通过时序对齐自注意力融合冻结的音视频扩散模型特征，同时实现视频到音频和音频到视频生成，在同步性上超越MovieGen等基线。
2025-03-10 cs.CV cs.LG cs.SD
Robust Audio-Text Retrieval via Cross-Modal Attention and Hybrid Loss
本文提出一种新的多模态检索框架，通过跨模态嵌入细化模块和混合损失函数提升音频与文本检索的鲁棒性，有效处理长音频和噪声。
2026-04-25 cs.CL cs.SD
Audio-text Retrieval with Transformer-based Hierarchical Alignment and Disentangled Cross-modal Representation
YifeiXin（西菲·欣）；ZhihongZhu（朱之宏）；XuxinCheng（程旭鑫）；XushengYang（杨旭生）；YuexianZou（邹岳先）
本文提出基于双流Transformer与层次对齐模块的音频-文本检索框架，并引入解耦跨模态表示和置信度感知模块实现细粒度语义对齐，实验证明其有效提升检索性能。
2025-05-04 cs.SD eess.AS
Dr. SHAP-AV: Decoding Relative Modality Contributions via Shapley Attribution in Audio-Visual Speech Recognition
Imperial College London, UK（伦敦帝国学院，英国）；NatWest AI Research, UK（英国NatWest人工智能研究）
本文提出Dr.SHAP-AV框架，通过Shapley值分析音频-视觉语音识别中模态贡献，揭示噪声环境下模型对视觉的依赖及音频贡献的稳定性，推动模态加权机制和Shapley归因作为标准诊断工具。
2026-06-07 cs.CV cs.SD eess.AS
