Text-to-Audio Grounding Based Novel Metric for Evaluating Audio Caption Similarity
TCS Research, Tata Consultancy Services Limited（塔塔咨询服务有限公司TCS研究院）
自动音频字幕（AAC）是指将音频样本翻译成描述音频事件、事件来源及其关系的自然语言（NL）文本的任务。与依赖于基于词汇语义的BLEU、ROUGE、METEOR等指标进行评估的NL文本生成任务不同，AAC评估指标需要能够映射与词汇语义之外的类似声音相对应的NL文本（短语）。目前用于评估AAC任务的指标缺乏对文本所表示的声音的感知属性的理解。在本文中，我们提出了一种新的度量基于文本到音频接地（TAG），这是有用的跨模态任务，如AAC的评估。公开可用的AAC数据集上的实验表明，我们的评价指标，以执行更好的NL文本和图像描述文献中使用的现有指标相比。
2022-10-03 cs.AI cs.CL cs.SD
Enhance audio generation controllability through representation similarity regularization
Meta AI
本文提出在语言模型音频生成训练中引入音频-文本表示相似性正则化，尤其在无分类器引导阶段强化对齐，从而提升音频与音乐生成的客观指标和人类感知质量。
2023-09-15 cs.AI cs.LG cs.SD
AudioBERTScore: Objective Evaluation of Environmental Sound Synthesis Based on Similarity of Audio embedding Sequences
本文提出AudioBERTScore指标，通过结合最大范数与p-范数计算合成与参考音频嵌入序列的相似性，以客观评价文本到音频合成质量，实验证明其与主观评价值相关性优于传统指标。
2025-07-01 cs.SD eess.AS
LAMB: LLM-based Audio Captioning with Modality Gap Bridging via Cauchy-Schwarz Divergence
本文提出LAMB框架，通过Cauchy-Schwarz散度弥合音频与文本嵌入空间的模态差距，设计Two-Stream Adapter和Token Guide提升LLM解码器推理能力，在AudioCaps上取得最佳性能。
2026-03-16 cs.AI cs.SD
Assessing the Alignment of Audio Representations with Timbre Similarity Ratings
本文提出评估音频表示与人类音色相似性判断对齐程度的指标，发现受图像风格迁移启发的风格嵌入在建模音色相似性方面显著优于其他表示。
2025-07-10 cs.SD eess.AS
Attention-based cross-modal fusion for audio-visual voice activity detection in musical video streams
Bytedance AI Lab（字节跳动人工智能实验室）
以前很多视听人声相关的作品都把重点放在语音上，忽略了互联网上越来越多的音乐视频流中的歌声。对于处理不同的音乐视频数据，语音活动检测是必要的步骤。本文试图检测语音和演唱的目标表演者的声音在音乐视频流使用视听信息。为了整合音频和视觉模态的信息，提出了一种多分支网络来学习音频和图像表示，并通过基于语义相似性的注意力融合表示，通过锚发声的概率来形成声学表示。实验结果表明，在复杂的声学环境中，该多分支网络的性能远优于纯音频模型，表明基于语义相关的跨模态信息融合是合理和成功的。
2021-06-21 cs.SD eess.AS
Audio-based Near-Duplicate Video Retrieval with Audio Similarity Learning
Information Technologies Institute, CERTH（希腊研究与技术基金会信息技术研究所）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
在这项工作中，我们解决了基于音频的近重复视频检索的问题。我们提出了音频相似性学习（AuSiL）的方法，有效地捕捉视频对之间的音频相似性的时间模式。对于两个视频之间的鲁棒相似性计算，我们首先通过利用基于在大规模音频事件数据集上训练的卷积神经网络（CNN）的迁移学习来提取代表性的基于音频的视频描述符，然后我们计算从这些描述符的成对相似性导出的相似性矩阵。相似性矩阵随后被馈送到CNN网络，该网络捕获其内容中存在的时间结构。我们按照三元组生成过程和优化三元组损失函数来训练我们的网络。为了评估所提出的方法的有效性，我们手动注释两个公开的视频数据集的基础上，他们的视频之间的音频重复。所提出的方法实现了非常有竞争力的结果相比，三个国家的最先进的方法。此外，与竞争的方法，它是非常强大的速度转换生成的音频副本的检索。
2021-01-11 cs.IR cs.LG cs.MM
Audio Description from Image by Modal Translation Network
Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences（中国科学院西安光学精密机械研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Northwestern Polytechnical University（西北工业大学）
音频是视障者获取信息的主要形式。在现实中，各种视觉数据总是存在的，但音频数据在许多情况下并不存在。为了帮助视觉障碍者更好地感知周围的信息，本文提出了一种图像到音频描述（I2 AD）任务来从图像生成音频描述。为了完成这一全新的任务，提出了从视觉到听觉的模态翻译网络（MT-Net）。所提出的MT-Net包括三个渐进子网络：1）特征学习，2）跨模态映射和3）音频生成。首先，特征学习子网络旨在从图像和音频中学习语义特征，包括图像特征学习和音频特征学习。其次，跨模态映射子网络将图像特征转换为与音频特征具有相同语义概念的跨模态表示。通过这种方式，有效地挖掘了模态间数据的相关性，以缓解图像和音频之间的异构性差距。最后，设计了音频生成子网络，用于从交叉模态表示中生成音频波形。根据采样频率对生成的音频波形进行插值，得到相应的音频文件。作为探索I2 AD任务的第一次尝试，构建了三个具有大量手动音频描述的大规模数据集。实验结果验证了直接从图像中生成清晰语音的可行性和方法的有效性。
2021-03-18 cs.MM cs.SD eess.AS
Multi-modal Residual Perceptron Network for Audio-Video Emotion Recognition
Warsaw University of Technology（华沙理工大学）
音频-视频情感识别现在受到深度神经网络建模工具的攻击。在已发表的论文中，作为一项规则，作者只展示了多模态优于仅音频或仅视频模态的情况。然而，也有情况下的优势，在单峰可以found. In我们的研究中，我们假设，对于情感事件的模糊类别，模态内和模态间的噪声信息间接表示在建模神经网络的参数阻碍了更好的性能，在现有的后期融合和端到端的多模态网络的训练策略。为了利用和克服这两种解决方案中的不足，我们定义了一个多模态残差感知器网络，它从多模态网络分支执行端到端学习，从而推广更好的多模态特征表示。对于所提出的多模态残差感知器网络和用于流媒体数字电影的新颖时间增强，最先进的平均识别率对于The Ryerson Audio-Visual Database of Emotional Speech and Song数据集提高到91.4%，对于Crowd-sourced Emotional Multi-modal Actors数据集提高到83.15%。此外，多模态剩余感知器网络概念显示了其在处理信号源的多模态应用中的潜力，而不仅仅是光学和声学类型。
2021-07-30 cs.AI cs.SD eess.AS
From Contrast to Commonality: Audio Commonality Captioning for Enhanced Audio-Text Cross-modal Understanding in Multimodal LLMs
TMCC, College of Computer Science, Nankai University, Tianjin, China（TMCC，计算机科学学院，南开大学，天津，中国）
本文提出音频共同性描述方法，旨在增强多模态大语言模型中音频与文本的跨模态理解，通过捕捉音频片段间的共享语义以改善模型的泛化能力与任务特定性能。
2026-01-25 cs.SD eess.AS
Improving Audio-Text Retrieval via Hierarchical Cross-Modal Interaction and Auxiliary Captions
School of ECE, Peking University（北京大学电子学院）
本文提出分层跨模态交互方法，同时建模音频片段-句子、片段-短语和帧-词关系，并利用预训练字幕生成器产生的辅助字幕增强音频表示与数据增强，从而在多个数据集上稳定提升音频-文本检索性能。
2025-05-03 cs.SD eess.AS
Deep Cross-Modal Correlation Learning for Audio and Lyrics in Music Retrieval
National Institute of Informatics（国立信息学研究所）；The University of Electro-Communications（电气通信大学）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；Hong Kong University of Science and Technology（香港科技大学）
很少有研究集中在跨模态相关学习，其中考虑到不同的数据模态，如音频和歌词的时间结构。基于音乐的时间结构特点，我们有动机去了解音频和歌词之间的深层序列相关性。在这项工作中，我们提出了一个深度跨模态相关学习架构，涉及用于音频模态和文本模态（歌词）的双分支深度神经网络。不同的模态数据被转换到同一个典型空间，其中模态间典型相关分析被用作目标函数来计算时间结构的相似性。这是第一次通过深度架构来理解语言和音乐音频之间的相关性，以学习音频和歌词的配对时间相关性。使用预训练的Doc2vec模型和全连接层（全连接深度神经网络）来表示歌词。在音频分支中做出了两个重要贡献，如下：i）研究了预训练的CNN，然后是完全连接的层，用于表示音乐音频。ii）我们进一步提出了一种端到端架构，可以同时训练卷积层和全连接层，以更好地学习音乐音频的时间结构。特别是，我们的端到端深度架构包含两个属性：同时实现特征学习和跨模态相关学习，以及通过考虑时间结构来学习联合表示。实验结果，使用音频检索歌词或使用歌词检索音频，验证了所提出的深度相关学习架构在跨模态音乐检索的有效性。
2017-11-29 cs.IR cs.SD eess.AS
The Alignment Curse: Modality Alignment Supercharges Audio Attacks via Text Transfer
University of Oxford（牛津大学）
本文提出并验证了“对齐诅咒”原理，即更强的文本-音频模态对齐会促进文本攻击向音频的迁移，并通过黑盒实验表明文本转移的音频攻击性能与原生音频攻击相当甚至更优，揭示了能力与安全之间的根本矛盾。
2026-05-29 cs.AI cs.LG cs.SD
Learning Contextually Fused Audio-visual Representations for Audio-visual Speech Recognition
University of Science and Technology of China（中国科学技术大学）；iFlytek Research, iFlytek Co., Ltd.（科大讯飞股份有限公司讯飞研究院）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）
随着自监督学习在音频和视觉模态的进步，它已经成为可能学习一个强大的视听语音表示。这将有利于提高视听语音识别（AVSR）性能，因为多模态输入原则上包含更多有用的信息。在本文中，基于现有的自监督表示学习方法的音频模态，因此，我们提出了一个视听表示学习方法。所提出的方法探讨了视听形式的互补性和长期的上下文依赖性，使用基于变换器的融合模块和灵活的掩蔽策略。经过预训练，该模型能够提取AVSR所需的融合表示。不失一般性，它可以应用于单模态任务，例如，通过简单地屏蔽融合模块中的一个模态来进行音频/视觉语音识别。建议的预训练模型进行评估语音识别和唇读任务使用一个或两个模态，其中的优越性被揭示。
2022-07-10 cs.SD eess.AS eess.IV
Automated Audio Captioning using Transfer Learning and Reconstruction Latent Space Similarity Regularization
Nanyang Technological University（南洋理工大学）
在本文中，我们研究了使用预训练音频神经网络（PANNs）的迁移学习的使用，并提出了一种架构，能够更好地利用PANNs提供的自动音频字幕任务的声学特征。我们还介绍了一种新的自监督目标，重建潜在空间相似正则化（RLSSR）。RLSSR模块通过最小化编码器和解码器嵌入之间的相似性来补充模型的训练。这两种方法的结合使我们能够在Clotho数据集上的几个指标和基准上超越最先进的结果。
2021-08-10 cs.CL cs.SD eess.AS
Improving Audio-Visual Speech Recognition by Lip-Subword Correlation Based Visual Pre-training and Cross-Modal Fusion Encoder
University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）；Georgia Institute of Technology（佐治亚理工学院）
针对低质量视频下端到端视听语音识别性能提升有限的问题，提出基于唇形-音节子词关联的视觉预训练与音频引导跨模态融合编码器，在少量数据下实现优于当前最优系统的性能。
2024-03-09 cs.AI cs.CL cs.SD
Audio-Visual Speech Enhancement and Separation by Utilizing Multi-Modal Self-Supervised Embeddings
Carnegie Mellon University（卡内基梅隆大学）；National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；Edinburgh Napier University（爱丁堡龙比亚大学）
本文提出在预训练AV-HuBERT后接入SE模块并配合微调，用于AVSE和AVSS，实验证明其优于现有AVSE及纯音频SE方法。
2023-06-01 cs.SD eess.AS
Using Large Pre-Trained Models with Cross-Modal Attention for Multi-Modal Emotion Recognition
Freshworks Inc.（Freshworks公司）
最近，自监督预训练在机器学习的许多领域都有了显着的改进，包括语音和NLP。我们建议使用大型的自监督预训练模型，用于音频和文本模态，并具有跨模态注意力，用于多模态情感识别。我们使用Wav2Vec2.0 [1]作为稳健语音特征提取的音频编码器基础，使用BERT模型[2]作为文本编码器基础，以更好地表示文本的上下文。这些在大量未标记数据上训练的高容量模型包含丰富的特征表示，并提高了下游任务的性能。我们使用跨模态注意力[3]机制来学习自监督模型中音频和文本表示之间的对齐。跨模态注意也有助于提取音频和文本特征之间的交互信息。我们从帧级特征中获得话语级特征表示，使用音频和文本模态的统计池，并使用早期融合技术将它们结合起来。我们的实验表明，与IEMOCAP数据集[35]上的先前最先进的方法[3]相比，所提出的方法在准确度上获得了1.88%的绝对提高。我们还进行了音频和文本模态的单峰实验，并将它们与以前的最佳方法进行比较。
2021-08-22 cs.SD eess.AS
u-HuBERT: Unified Mixed-Modal Speech Pretraining And Zero-Shot Transfer to Unlabeled Modality
Meta AI
虽然视听语音模型与纯音频模型相比可以产生更好的性能和鲁棒性，但它们的开发和采用受到缺乏标记和未标记视听数据以及每个模态部署一个模型的成本的阻碍。在本文中，我们提出了u-HuBERT，这是一个自监督的预训练框架，可以利用多模态和单峰语音，并具有统一的掩蔽聚类预测目标。通过在预训练期间利用模态丢弃，我们证明了单个微调模型可以实现与最先进的模态特定模型相当或更好的性能。此外，我们的模型微调音频可以很好地执行视听和视觉语音输入，实现zero-shot模态泛化多个语音处理任务。特别是，我们的单一模型产生1.2%/1.4%/27.2%的语音识别字出错率的LRS 3与视听/音频/视觉输入。代码和型号可在https://github.com/facebookresearch/av_hubert上获得
2022-11-28 cs.AI cs.CL cs.CV
On Negative Sampling for Contrastive Audio-Text Retrieval
Tampere University（坦佩雷大学）
本文研究了音频文本检索中的对比学习中的负采样问题。负采样的策略是指从正音频-文本对的候选池中选择负（音频片段或文本描述）。我们通过模型估计的音频和文本样本的模态内和跨模态相关性分数探索采样策略。在文献[1]的检索系统上，我们研究了八种抽样策略，包括硬和半硬负抽样。实验结果表明，不同策略的检索性能差异很大.特别地，通过选择具有跨模态分数的半硬否定，检索系统在文本到音频和音频到文本检索中获得改进的性能。此外，我们发现，功能崩溃时发生采样硬否定与跨模态分数。
2023-02-17 cs.SD eess.AS
Intra-Utterance Similarity Preserving Knowledge Distillation for Audio Tagging
Johns Hopkins University（约翰斯·霍普金斯大学）；Amazon.com Inc.（亚马逊公司）
知识蒸馏（KD）是一个热门的研究领域，用于减少大型模型的大小，同时仍然保持良好的性能。较大教师模型的输出用于指导较小学生模型的训练。鉴于声学事件的重复性，我们建议利用这些信息来调节音频标记的KD训练。这种新的KD方法，“话语内相似性保持KD”（IUSP），显示出有前途的结果的音频标记任务。它是由以前发表的KD方法：“相似性保持KD”（SP）的动机。然而，我们的方法保留了单个输入话语的帧之间的成对相似性，而不是保留小批量内输入之间的成对相似性。我们提出的KD方法IUSP在DCASE 2019任务5数据集上的不同大小的学生模型上显示了对SP的一致改进。相对于SP在基线上的改善，微AUPRC在基线上的改善增加了27.1%至122.4%。
2020-09-03 cs.SD eess.AS
UniAudio 1.5: Large Language Model-driven Audio Codec is A Few-shot Audio Task Learner
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出LLM-Codec将音频压缩为大语言模型可理解的token，使冻结LLM无需微调即可通过少样本上下文学习完成多种音频理解与生成任务，并开源模型。
2024-06-14 cs.SD eess.AS
Cross-Modal Contrastive Representation Learning for Audio-to-Image Generation
Korea University（高丽大学）
某些信息的多种形式提供了关于该信息的各种观点，这可以改善对信息的理解。因此，从现有数据中生成不同模态的数据以增强理解可能至关重要。在本文中，我们研究了跨模态音频到图像的生成问题，并提出跨模态对比表示学习（CMCRL）提取有用的功能，从音频和使用它在生成阶段。实验结果表明，CMCRL提高了图像质量比以前的研究。
2022-07-20 cs.CV cs.GR cs.SD
Leveraging Audio and Text Modalities in Mental Health: A Study of LLMs Performance
Compumacy for Artificial Intelligence solutions（人工智能解决方案公司）；Department of Behavioural Health- Saint Elizabeths Hospital（行为健康部门-圣伊丽莎白医院）
本研究基于E-DAIC数据集，评估LLMs在零样本和少样本设置下通过文本、音频及组合模态检测抑郁症与PTSD的性能，发现整合模态显著提升了诊断准确率，其中Gemini 1.5 Pro表现最佳。
2025-08-13 cs.AI cs.CL cs.SD
Audio-to-symbolic Arrangement via Cross-modal Music Representation Learning
NYU Shanghai（上海纽约大学）；Tencent PCG（腾讯平台与内容事业群）
我们能否根据流行歌曲的音频自动推导出钢琴伴奏的乐谱？这就是我们在本文中所要解决的音频到符号的排列问题。一个好的编曲模型不仅要考虑音频内容，还要有钢琴作曲的先验知识（这样生成的作品听起来像音频，同时保持音乐性）。为此，我们贡献了一个跨模态表示学习模型，该模型1）从音频中提取和弦和旋律信息，2）从音频和损坏的地面真值排列中学习纹理表示。我们进一步引入了一个量身定制的训练策略，逐渐将纹理信息的来源从损坏的分数转移到音频。最后，基于分数的纹理后验被简化为标准的正态分布，并且仅需要音频进行推理。实验表明，我们的模型捕捉主要的音频信息，并优于基线的生成质量。
2022-02-22 cs.LG cs.SD eess.AS
Representation Learning for Semantic Alignment of Language, Audio, and Visual Modalities
Audio Research Group, Tampere University（塔尔皮莱大学音频研究组）
针对现有三模态两阶段对齐方法存在数据分布不匹配、效果次优的问题，本文提出基于对比学习的单阶段训练方法，利用AVCaps数据集联合优化多模态表示，在音频驱动视觉检索任务上实现两倍性能提升。
2025-05-20 cs.MM cs.SD eess.AS
Learning Frame Similarity using Siamese networks for Audio-to-Score Alignment
Queen Mary University of London（伦敦玛丽女王大学）
音频到乐谱对齐旨在生成表演音频和给定作品的乐谱之间的准确映射。标准的校准方法基于动态时间规整（DTW），并采用手工制作的功能，无法适应不同的声学条件。我们提出了一种方法来克服这一限制，使用学习帧相似性的音频到分数对齐。我们专注于钢琴音乐的离线音频到乐谱对齐。对不同声学条件下的音乐数据的实验表明，我们的方法比使用手工特征的标准DTW方法实现了更高的对齐精度，并生成鲁棒的对齐，同时适应不同的域。
2020-11-15 cs.IR cs.LG cs.SD
DoubleHelix: Structured Cross-Modal Fusion for Audio-Visual Speech Recognition with LLMs
该研究针对视听语音识别跨模态融合缺乏结构化迭代优化的问题，提出DoubleHelix融合框架，通过三个组件实现迭代交互与退化感知增强，在LRS3数据集上大幅降低词错误率并提升噪声鲁棒性。
2026-08-03 cs.AI cs.SD
BLAT: Bootstrapping Language-Audio Pre-training based on AudioSet Tag-guided Synthetic Data
Shanghai Jiao Tong University（上海交通大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
针对音频-文本预训练平行数据不足的问题，提出BLAT方法，通过AudioSet标签引导的音频字幕生成构建高质量大规模平行数据，在多数下游任务上取得SOTA零样本分类性能。
2024-03-05 cs.SD eess.AS
Audio-text Retrieval with Transformer-based Hierarchical Alignment and Disentangled Cross-modal Representation
YifeiXin（西菲·欣）；ZhihongZhu（朱之宏）；XuxinCheng（程旭鑫）；XushengYang（杨旭生）；YuexianZou（邹岳先）
本文提出基于双流Transformer与层次对齐模块的音频-文本检索框架，并引入解耦跨模态表示和置信度感知模块实现细粒度语义对齐，实验证明其有效提升检索性能。
2025-05-04 cs.SD eess.AS
AVGZSLNet: Audio-Visual Generalized Zero-Shot Learning by Reconstructing Label Features from Multi-Modal Embeddings
IIT Kanpur（印度理工学院坎普尔分校）；University of Bath（巴斯大学）
在本文中，我们提出了一种新的方法，用于多模态环境中的广义零样本学习，其中我们在测试过程中有新的音频/视频类，这些类在训练过程中看不到。我们使用文本嵌入的语义相关性作为零样本学习的手段，通过将音频和视频嵌入与相应的类标签文本特征空间对齐。我们的方法使用一个交叉模态解码器和一个复合三重损失。跨模态解码器强制执行一个约束，即类标签文本特征可以从数据点的音频和视频嵌入中重构。这有助于音频和视频嵌入更接近类标签文本嵌入。复合三元组丢失利用音频、视频和文本嵌入。它有助于在多模态设置中将来自同一个类的嵌入拉近，并将来自不同类的嵌入推开。这有助于网络在多模态零样本学习任务上表现得更好。重要的是，即使在测试时缺少模态，我们的多模态零样本学习方法也有效。我们测试我们的方法上的广义zero-shot分类和检索任务，并表明，我们的方法优于其他模型中存在的一个单一的方式，以及在存在多个方式。我们通过与以前的方法进行比较并使用各种消融来验证我们的方法。
2020-11-23 cs.CV cs.SD eess.AS
Contextual Cross-Modal Attention for Audio-Visual Deepfake Detection and Localization
University of North Texas at Denton（北得克萨斯大学登顿分校）
本文提出一种基于循环神经网络的上下文跨模态注意力框架，通过融合音视频多序列表示提升深度伪造检测与定位性能，并在多个数据集上取得最先进结果。
2024-08-06 cs.AI cs.CV cs.MM
Training Strategies to Handle Missing Modalities for Audio-Visual Expression Recognition
Amazon（亚马逊）
音频视频表情自动识别在远程医疗、VOIP通话、人机交互等通信服务中具有重要的应用价值。视听表达识别的准确性可以受益于这两种模式之间的相互作用。然而，大多数在理想条件下训练的视听表达识别系统在现实世界场景中无法推广，其中由于诸如有限的带宽、交互者的取向、呼叫者发起的静音等多种原因，音频或视觉模态可能丢失。本文研究了一个国家的最先进的Transformer的性能时，一个模态丢失。我们进行消融研究，以评估模型在没有任何形式。此外，我们提出了一种策略，在训练过程中在剪辑或帧级别随机消融视觉输入，以模仿真实世界的场景。在野外数据上进行的结果表明，在缺失线索上训练的拟议模型具有显着的泛化能力，帧级消融的增益高达17%，表明这些训练策略更好地应对了输入模式的丢失。
2020-11-30 cs.SD eess.AS eess.IV
PoolingVQ: A VQVAE Variant for Reducing Audio Redundancy and Boosting Multi-Modal Fusion in Music Emotion Analysis
Wuhan University of Science and Technology（武汉科技大学）
针对多模态音乐情感分析中音频序列冗余问题，提出结合VQVAE与空间池化的PoolingVQ压缩音频特征，搭配两阶段协同注意力融合音频与MIDI，在EMOPIA和VGMIDI数据集上实现最优性能。
2025-09-23 cs.SD eess.AS
Exploring the Role of Audio in Video Captioning
Northeastern University（东北大学）；ByteDance（字节跳动）
本文提出一种音视频字幕生成框架，利用原始音频信号而非ASR文本，通过模态平衡预训练损失和局部-全局融合机制，在四个数据集上显著提升性能，部分指标超越现有最优方法。
2023-06-21 cs.CV cs.SD eess.AS
Cross-Modal Watermarking for Authentic Audio Recovery and Tamper Localization in Synthesized Audiovisual Forgeries
Korea University（韩国大学）；New York University（纽约大学）
本文提出跨模态水印框架，将真实音频嵌入视觉内容中，以在合成视听伪造中实现真实音频恢复和音频篡改定位，实验验证其对语音克隆和唇形同步等操纵的有效防御能力。
2025-07-17 cs.MM cs.SD eess.AS
Deep Latent Space Learning for Cross-modal Mapping of Audio and Visual Signals
University of Insubria（因苏布里亚大学）；National University of Sciences and Technology（国立科技大学）；Information Technology University（信息技术大学）
我们提出了一种新的深度训练算法，用于音频和视觉信息的联合表示，该算法由单流网络（SSNet）和一种新的损失函数组成，用于学习多模态信息的共享深层潜在空间表示。所提出的框架的特点是共享的潜在空间，利用类中心，这有助于消除需要成对或三重监督。我们在VoxCeleb上定量和定性地评估了所提出的方法，VoxCeleb是一个基准的视听数据集，用于多项任务，包括跨模态验证，跨模态匹配和跨模态检索。在交叉模态验证和匹配上实现了最先进的性能，而在其余应用程序上观察到了类似的结果。我们的实验证明了该技术的有效性跨模态生物识别应用。
2019-09-18 cs.CV cs.SD eess.AS
Audio Difference Captioning Utilizing Similarity-Discrepancy Disentanglement
NTT Corporation（NTT公司）
本研究提出音频差异字幕生成新任务ADC，设计聚焦交叉注意力的Transformer编码器与相似性-差异性解耦方法，构建AudioDiffCaps数据集，实验验证方法可有效提取音频差异并完成字幕生成。
2023-08-23 cs.CL cs.LG cs.SD
Diffusion-Link: Diffusion Probabilistic Model for Bridging the Audio-Text Modality Gap
Korea Advanced Institute of Science and Technology, South Korea（韩国科学技术院）；University of Seoul, South Korea（首尔大学）
提出基于扩散的模态桥接模块Diffusion-Link，将音频嵌入映射至文本分布以弥合模态鸿沟，在AAC任务中显著提升多模态LLM的零样本与监督性能并达到SOTA。
2025-10-13 cs.AI cs.CL cs.LG
Modality-Independent Teachers Meet Weakly-Supervised Audio-Visual Event Parser
National Taiwan University（国立台湾大学）；Microsoft（微软）；NVIDIA（英伟达）
针对弱监督非对齐视听事件解析任务，提出VALOR方法，利用模态无关对比预训练教师模型生成模态标签，在LLP数据集及视听事件定位任务上均刷新最优性能。
2023-10-02 cs.CV cs.SD eess.AS
Audio-visual speech separation based on joint feature representation with cross-modal attention
Northwestern Polytechnical University（西北工业大学）；Nanchang University（南昌大学）
基于多模态的语音分离在多说话人噪声环境中分离目标特征方面具有独特的优势。遗憾的是，大多数现有的分离策略更喜欢基于每个单一模态的特征学习的直接融合，这远远没有充分考虑模态之间的相互关系。受注意力机制的启发，本文提出了一种新的跨模态融合策略，利用不同模态之间的语义相关性，使整个框架受益。为了进一步提高视听语音分离，嘴唇运动的密集光流被纳入，以加强视觉表示的鲁棒性。在两个公共视听语音分离基准数据集上进行了评估。性能的整体改善表明，额外的运动网络有效地增强了组合嘴唇图像和音频信号的视觉表示，以及优于基线的所有指标与建议的跨模态融合。
2022-03-05 cs.CV cs.LG cs.SD
AlignVSR: Audio-Visual Cross-Modal Alignment for Visual Speech Recognition
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）
AlignVSR通过音视频跨模态全局注意力对齐与帧级局部对齐损失，利用音频辅助信息提升视觉语音识别性能，在LRS2和CNVSRC.Single数据集上优于主流VSR方法。
2024-10-21 cs.CV cs.MM cs.SD
pyAMPACT: A Score-Audio Alignment Toolkit for Performance Data Estimation and Multi-modal Processing
pyAMPACT是一种用于表演数据估计和多模态处理的工具，通过符号与音频的对齐实现性能数据的估计及多模态分析
2026-01-05 cs.MM cs.SD eess.AS
MMCosine: Multi-Modal Cosine Loss Towards Balanced Audio-Visual Fine-Grained Learning
Renmin University of China（中国人民大学）
视听学习通过融合多种形式的实用信息，有助于全面认识世界。然而，最近的研究表明，在一个联合学习模型中的单模态编码器的不平衡优化是一个瓶颈，以提高该模型的性能。我们进一步发现，最新的不平衡缓解方法失败的一些视听细粒度的任务，有较高的要求，可区分的特征分布。在余弦损失成功构建超球面特征空间并实现较低类内角度变化的推动下，本文提出了多模态余弦损失，MMCosine。它对特征和权重执行模态方面的$L_2$规范化，以实现平衡和更好的多模态细粒度学习。我们证明，我们的方法可以减轻不平衡优化的角度来看，重量范数和充分利用的余弦度量的可辨别性。大量的实验证明了我们的方法的有效性和先进的多模态融合策略和最新的不平衡缓解方法的通用性。
2023-03-11 cs.MM cs.SD eess.AS
Dr. SHAP-AV: Decoding Relative Modality Contributions via Shapley Attribution in Audio-Visual Speech Recognition
Imperial College London, UK（伦敦帝国学院，英国）；NatWest AI Research, UK（英国NatWest人工智能研究）
本文提出Dr.SHAP-AV框架，通过Shapley值分析音频-视觉语音识别中模态贡献，揭示噪声环境下模型对视觉的依赖及音频贡献的稳定性，推动模态加权机制和Shapley归因作为标准诊断工具。
2026-06-07 cs.CV cs.SD eess.AS
COMET: Concept Space Dissection of the Modality Gap in Audio-Text Multimodal Contrastive Embeddings
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；Centre for Vision, Speech, and Signal Processing (CVSSP), University of Surrey（Surrey 大学视觉、语音和信号处理中心）
提出COMET框架，通过PLS-SVD分解揭示CLAP模型中模态间隙主要由少数共享概念轴贡献，并基于谱截断方法无训练地缓解间隙，实现零样本音频字幕接近全监督性能。
2026-05-28 cs.AI cs.CL cs.LG
Bootstrapping Audio-Visual Segmentation by Strengthening Audio Cues
USTC（中国科学技术大学）；Alibaba Group（阿里巴巴集团）
针对视听分割中视觉特征主导音频导致模态不平衡的问题，提出AVSAC方法，通过双向视听解码器和逐帧同步策略增强音频线索，实现更均衡的表示学习并达到新基准。
2024-02-06 cs.CV cs.SD eess.AS
Investigating Modality Bias in Audio Visual Video Parsing
Indian Institute of Technology, Bombay（印度理工学院孟买分校）
我们专注于视听视频解析（AVVP）的问题，涉及检测音频和视觉事件标签的时间边界。这项任务特别具有挑战性，因为它是弱监督的，只有事件标签作为每个视频的标签袋可用。AVVP的现有最先进模型使用混合注意力网络（HAN）来生成音频和视觉模态的跨模态特征，以及集中预测的音频和视觉片段级事件概率以产生视频级事件概率的注意力池化模块。我们提供了一个详细的分析，在现有的HAN架构，其中的模态是完全忽略在预测过程中的模态偏差。我们还提出了一个变种的特征聚合HAN，导致在F-分数的绝对增益约2%和1.6%的视觉和视听事件在两个段级和事件级，相比现有的HAN模型。
2022-11-11 cs.CV cs.MM cs.SD
A Unified Framework for Modality-Agnostic Deepfakes Detection
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；University at Buffalo, State University of New York（纽约州立大学布法罗分校）；RealAI Inc（RealAI公司）
针对跨模态伪造与模态缺失问题，本文提出虚假模态无关的统一音视频 deepfake 检测框架，利用 AVSR 提取跨模态语音关联并采用双标签独立检测，在三个数据集上优于现有方法。
2023-10-24 cs.MM cs.SD eess.AS
VGGSounder: Audio-Visual Evaluations for Foundation Models
Technical University of Munich, MCML（慕尼黑技术大学，MCML）；University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）；MPI for Intelligent Systems, ELLIS Institute（智能系统Max Planck研究所，ELLIS研究所）
针对VGGSound数据集在音视频基础模型评估中的标签不完整、类别重叠和模态错位等问题，提出重新标注的多标签测试集VGGSounder，并引入模态混淆指标分析模型性能退化。
2026-07-01 cs.AI cs.CV cs.MM
Learning Audio-Visual Correlations from Variational Cross-Modal Generation
Illinois Institute of Technology（伊利诺伊理工学院）；University of Technology Sydney（悉尼科技大学）；Cisco（思科）
人们可以很容易地想象潜在的声音，而看到一个事件。音频和视觉信号之间的这种自然同步揭示了它们内在的相关性。为此，我们提出了学习的视听相关性的角度跨模态生成在一个自我监督的方式，学习的相关性，然后可以很容易地应用于多个下游任务，如视听跨模态定位和检索。我们引入了一种新的变分自编码器（VAE）框架，该框架由多个编码器和一个共享解码器（MS-VAE）组成，并增加了Wasserstein距离约束来解决这个问题。大量的实验表明，所提出的MS-VAE的优化的潜在表示可以有效地学习视听相关性，并可以很容易地应用于多个视听下游任务，以实现有竞争力的性能，即使在训练过程中没有任何给定的标签信息。
2021-02-14 cs.CV cs.SD eess.AS
DESAMO: A Device for Elder-Friendly Smart Homes Powered by Embedded LLM with Audio Modality
MAUM AI Inc.（MAUM人工智能公司）；Korea Culture Technology Institute（韩国文化科技研究所）
DESAMO是一款由嵌入式音频大语言模型驱动的适老化智能家居设备，通过直接处理原始音频，解决传统语音助手对老年人模糊语音和非语音音频处理不佳的问题，实现稳健的用户意图与关键事件理解。
2025-08-26 cs.HC cs.SD eess.AS
AV-Link: Temporally-Aligned Diffusion Features for Cross-Modal Audio-Video Generation
Rice University（莱斯大学）；Snap Inc（Snap公司）
AV-Link提出统一框架，通过时序对齐自注意力融合冻结的音视频扩散模型特征，同时实现视频到音频和音频到视频生成，在同步性上超越MovieGen等基线。
2025-03-10 cs.CV cs.LG cs.SD
AV-FlowEdit: Training-Free Prompt-Driven Audio-Visual Editing with Event-Aware Spectral Trajectory Preservation
本文提出无需训练的AV-FlowEdit框架，利用源-目标流差异实现提示驱动的视听编辑，通过跨模态事件感知频谱轨迹保留抑制漂移，在提示对齐、时间一致性等方面表现出色。
2026-10-12 cs.CV cs.SD eess.AS
