Attention-based cross-modal fusion for audio-visual voice activity detection in musical video streams
Bytedance AI Lab（字节跳动人工智能实验室）
以前很多视听人声相关的作品都把重点放在语音上，忽略了互联网上越来越多的音乐视频流中的歌声。对于处理不同的音乐视频数据，语音活动检测是必要的步骤。本文试图检测语音和演唱的目标表演者的声音在音乐视频流使用视听信息。为了整合音频和视觉模态的信息，提出了一种多分支网络来学习音频和图像表示，并通过基于语义相似性的注意力融合表示，通过锚发声的概率来形成声学表示。实验结果表明，在复杂的声学环境中，该多分支网络的性能远优于纯音频模型，表明基于语义相关的跨模态信息融合是合理和成功的。
2021-06-21 cs.SD eess.AS
VIB-AVSR: Variational Information Bottleneck for Noise-Robust LLM-Based Audio-Visual Speech Recognition
Imperial College London（帝国理工学院伦敦分校）；NatWest AI Research（NatWest人工智能研究）
提出VIB-AVSR，通过在LLM骨干中插入变分信息瓶颈层来正则化表示，无需架构修改或额外数据，即可在多种噪声条件下提升AVSR鲁棒性。
2026-06-28 cs.CV cs.SD eess.AS
Audio Description from Image by Modal Translation Network
Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences（中国科学院西安光学精密机械研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Northwestern Polytechnical University（西北工业大学）
音频是视障者获取信息的主要形式。在现实中，各种视觉数据总是存在的，但音频数据在许多情况下并不存在。为了帮助视觉障碍者更好地感知周围的信息，本文提出了一种图像到音频描述（I2 AD）任务来从图像生成音频描述。为了完成这一全新的任务，提出了从视觉到听觉的模态翻译网络（MT-Net）。所提出的MT-Net包括三个渐进子网络：1）特征学习，2）跨模态映射和3）音频生成。首先，特征学习子网络旨在从图像和音频中学习语义特征，包括图像特征学习和音频特征学习。其次，跨模态映射子网络将图像特征转换为与音频特征具有相同语义概念的跨模态表示。通过这种方式，有效地挖掘了模态间数据的相关性，以缓解图像和音频之间的异构性差距。最后，设计了音频生成子网络，用于从交叉模态表示中生成音频波形。根据采样频率对生成的音频波形进行插值，得到相应的音频文件。作为探索I2 AD任务的第一次尝试，构建了三个具有大量手动音频描述的大规模数据集。实验结果验证了直接从图像中生成清晰语音的可行性和方法的有效性。
2021-03-18 cs.MM cs.SD eess.AS
Probing Cross-modal Information Hubs in Audio-Visual LLMs
Department of Electrical Engineering, Korea Advanced Institute of Science；The Graduate School of Advanced Imaging Science, Multimedia \& Film, Chung-Ang University, Seoul, Republic of Korea
本文研究了音频-视觉大语言模型中音频与视觉模态间的跨模态信息流动，发现信息主要存储在sink tokens中，并提出一种无需训练的hallucination缓解方法。
2026-05-12 cs.AI eess.AS
Audio Conditioning for Music Generation via Discrete Bottleneck Features
FAIR Meta（Meta FAIR）；IRCAM - Sorbonne Université（IRCAM-索邦大学）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Kyutai
提出用音频输入条件化语言模型音乐生成系统，采用文本反转和从头联合训练模型两种策略，并通过双重 classifier free guidance 平衡混合条件，自动与人类研究验证了其有效性。
2024-07-30 cs.SD eess.AS
From Contrast to Commonality: Audio Commonality Captioning for Enhanced Audio-Text Cross-modal Understanding in Multimodal LLMs
TMCC, College of Computer Science, Nankai University, Tianjin, China（TMCC，计算机科学学院，南开大学，天津，中国）
本文提出音频共同性描述方法，旨在增强多模态大语言模型中音频与文本的跨模态理解，通过捕捉音频片段间的共享语义以改善模型的泛化能力与任务特定性能。
2026-01-25 cs.SD eess.AS
Improving Audio-Text Retrieval via Hierarchical Cross-Modal Interaction and Auxiliary Captions
School of ECE, Peking University（北京大学电子学院）
本文提出分层跨模态交互方法，同时建模音频片段-句子、片段-短语和帧-词关系，并利用预训练字幕生成器产生的辅助字幕增强音频表示与数据增强，从而在多个数据集上稳定提升音频-文本检索性能。
2025-05-03 cs.SD eess.AS
Deep Cross-Modal Correlation Learning for Audio and Lyrics in Music Retrieval
National Institute of Informatics（国立信息学研究所）；The University of Electro-Communications（电气通信大学）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；Hong Kong University of Science and Technology（香港科技大学）
很少有研究集中在跨模态相关学习，其中考虑到不同的数据模态，如音频和歌词的时间结构。基于音乐的时间结构特点，我们有动机去了解音频和歌词之间的深层序列相关性。在这项工作中，我们提出了一个深度跨模态相关学习架构，涉及用于音频模态和文本模态（歌词）的双分支深度神经网络。不同的模态数据被转换到同一个典型空间，其中模态间典型相关分析被用作目标函数来计算时间结构的相似性。这是第一次通过深度架构来理解语言和音乐音频之间的相关性，以学习音频和歌词的配对时间相关性。使用预训练的Doc2vec模型和全连接层（全连接深度神经网络）来表示歌词。在音频分支中做出了两个重要贡献，如下：i）研究了预训练的CNN，然后是完全连接的层，用于表示音乐音频。ii）我们进一步提出了一种端到端架构，可以同时训练卷积层和全连接层，以更好地学习音乐音频的时间结构。特别是，我们的端到端深度架构包含两个属性：同时实现特征学习和跨模态相关学习，以及通过考虑时间结构来学习联合表示。实验结果，使用音频检索歌词或使用歌词检索音频，验证了所提出的深度相关学习架构在跨模态音乐检索的有效性。
2017-11-29 cs.IR cs.SD eess.AS
Learning Contextually Fused Audio-visual Representations for Audio-visual Speech Recognition
University of Science and Technology of China（中国科学技术大学）；iFlytek Research, iFlytek Co., Ltd.（科大讯飞股份有限公司讯飞研究院）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）
随着自监督学习在音频和视觉模态的进步，它已经成为可能学习一个强大的视听语音表示。这将有利于提高视听语音识别（AVSR）性能，因为多模态输入原则上包含更多有用的信息。在本文中，基于现有的自监督表示学习方法的音频模态，因此，我们提出了一个视听表示学习方法。所提出的方法探讨了视听形式的互补性和长期的上下文依赖性，使用基于变换器的融合模块和灵活的掩蔽策略。经过预训练，该模型能够提取AVSR所需的融合表示。不失一般性，它可以应用于单模态任务，例如，通过简单地屏蔽融合模块中的一个模态来进行音频/视觉语音识别。建议的预训练模型进行评估语音识别和唇读任务使用一个或两个模态，其中的优越性被揭示。
2022-07-10 cs.SD eess.AS eess.IV
Elastic Time: Dynamic Frame Rate Bottlenecks for Neural Audio Coding
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Massachusetts Institute of Technology（麻省理工学院）
提出弹性时间方法，通过轻量级潜在预测器实现动态帧率瓶颈，将固定帧率自编码器转换为动态帧率，在推理时高效选择边界，提升效率-质量权衡。
2026-06-29 cs.LG cs.SD eess.AS
Audio-Visual Speech Enhancement and Separation by Utilizing Multi-Modal Self-Supervised Embeddings
Carnegie Mellon University（卡内基梅隆大学）；National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；Edinburgh Napier University（爱丁堡龙比亚大学）
本文提出在预训练AV-HuBERT后接入SE模块并配合微调，用于AVSE和AVSS，实验证明其优于现有AVSE及纯音频SE方法。
2023-06-01 cs.SD eess.AS
Using Large Pre-Trained Models with Cross-Modal Attention for Multi-Modal Emotion Recognition
Freshworks Inc.（Freshworks公司）
最近，自监督预训练在机器学习的许多领域都有了显着的改进，包括语音和NLP。我们建议使用大型的自监督预训练模型，用于音频和文本模态，并具有跨模态注意力，用于多模态情感识别。我们使用Wav2Vec2.0 [1]作为稳健语音特征提取的音频编码器基础，使用BERT模型[2]作为文本编码器基础，以更好地表示文本的上下文。这些在大量未标记数据上训练的高容量模型包含丰富的特征表示，并提高了下游任务的性能。我们使用跨模态注意力[3]机制来学习自监督模型中音频和文本表示之间的对齐。跨模态注意也有助于提取音频和文本特征之间的交互信息。我们从帧级特征中获得话语级特征表示，使用音频和文本模态的统计池，并使用早期融合技术将它们结合起来。我们的实验表明，与IEMOCAP数据集[35]上的先前最先进的方法[3]相比，所提出的方法在准确度上获得了1.88%的绝对提高。我们还进行了音频和文本模态的单峰实验，并将它们与以前的最佳方法进行比较。
2021-08-22 cs.SD eess.AS
Cross-Modal Contrastive Representation Learning for Audio-to-Image Generation
Korea University（高丽大学）
某些信息的多种形式提供了关于该信息的各种观点，这可以改善对信息的理解。因此，从现有数据中生成不同模态的数据以增强理解可能至关重要。在本文中，我们研究了跨模态音频到图像的生成问题，并提出跨模态对比表示学习（CMCRL）提取有用的功能，从音频和使用它在生成阶段。实验结果表明，CMCRL提高了图像质量比以前的研究。
2022-07-20 cs.CV cs.GR cs.SD
Adversarial Deep Metric Learning for Cross-Modal Audio-Text Alignment in Open-Vocabulary Keyword Spotting
Samsung Research（三星研究院）
针对开放词汇关键词识别中音频与文本模态异质性问题，提出模态对抗学习与深度度量学习相结合的方法，实现音素级对齐，并在WSJ和LibriPhrase数据集上验证有效性。
2025-05-23 cs.AI eess.AS
UniAudio 1.5: Large Language Model-driven Audio Codec is A Few-shot Audio Task Learner
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出LLM-Codec将音频压缩为大语言模型可理解的token，使冻结LLM无需微调即可通过少样本上下文学习完成多种音频理解与生成任务，并开源模型。
2024-06-14 cs.SD eess.AS
Audio-to-symbolic Arrangement via Cross-modal Music Representation Learning
NYU Shanghai（上海纽约大学）；Tencent PCG（腾讯平台与内容事业群）
我们能否根据流行歌曲的音频自动推导出钢琴伴奏的乐谱？这就是我们在本文中所要解决的音频到符号的排列问题。一个好的编曲模型不仅要考虑音频内容，还要有钢琴作曲的先验知识（这样生成的作品听起来像音频，同时保持音乐性）。为此，我们贡献了一个跨模态表示学习模型，该模型1）从音频中提取和弦和旋律信息，2）从音频和损坏的地面真值排列中学习纹理表示。我们进一步引入了一个量身定制的训练策略，逐渐将纹理信息的来源从损坏的分数转移到音频。最后，基于分数的纹理后验被简化为标准的正态分布，并且仅需要音频进行推理。实验表明，我们的模型捕捉主要的音频信息，并优于基线的生成质量。
2022-02-22 cs.LG cs.SD eess.AS
Representation Learning for Semantic Alignment of Language, Audio, and Visual Modalities
Audio Research Group, Tampere University（塔尔皮莱大学音频研究组）
针对现有三模态两阶段对齐方法存在数据分布不匹配、效果次优的问题，本文提出基于对比学习的单阶段训练方法，利用AVCaps数据集联合优化多模态表示，在音频驱动视觉检索任务上实现两倍性能提升。
2025-05-20 cs.MM cs.SD eess.AS
Exploring Audio-Visual Information Fusion for Sound Event Localization and Detection In Low-Resource Realistic Scenarios
本研究针对低资源场景下的声音事件定位与检测问题，提出跨模态师生学习框架、两阶段视听融合策略及视频像素交换增强技术，在DCASE 2023挑战赛SELD任务中取得第一名。
2024-06-21 eess.AS eess.SP
BLAT: Bootstrapping Language-Audio Pre-training based on AudioSet Tag-guided Synthetic Data
Shanghai Jiao Tong University（上海交通大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
针对音频-文本预训练平行数据不足的问题，提出BLAT方法，通过AudioSet标签引导的音频字幕生成构建高质量大规模平行数据，在多数下游任务上取得SOTA零样本分类性能。
2024-03-05 cs.SD eess.AS
Audio-text Retrieval with Transformer-based Hierarchical Alignment and Disentangled Cross-modal Representation
YifeiXin（西菲·欣）；ZhihongZhu（朱之宏）；XuxinCheng（程旭鑫）；XushengYang（杨旭生）；YuexianZou（邹岳先）
本文提出基于双流Transformer与层次对齐模块的音频-文本检索框架，并引入解耦跨模态表示和置信度感知模块实现细粒度语义对齐，实验证明其有效提升检索性能。
2025-05-04 cs.SD eess.AS
AVGZSLNet: Audio-Visual Generalized Zero-Shot Learning by Reconstructing Label Features from Multi-Modal Embeddings
IIT Kanpur（印度理工学院坎普尔分校）；University of Bath（巴斯大学）
在本文中，我们提出了一种新的方法，用于多模态环境中的广义零样本学习，其中我们在测试过程中有新的音频/视频类，这些类在训练过程中看不到。我们使用文本嵌入的语义相关性作为零样本学习的手段，通过将音频和视频嵌入与相应的类标签文本特征空间对齐。我们的方法使用一个交叉模态解码器和一个复合三重损失。跨模态解码器强制执行一个约束，即类标签文本特征可以从数据点的音频和视频嵌入中重构。这有助于音频和视频嵌入更接近类标签文本嵌入。复合三元组丢失利用音频、视频和文本嵌入。它有助于在多模态设置中将来自同一个类的嵌入拉近，并将来自不同类的嵌入推开。这有助于网络在多模态零样本学习任务上表现得更好。重要的是，即使在测试时缺少模态，我们的多模态零样本学习方法也有效。我们测试我们的方法上的广义zero-shot分类和检索任务，并表明，我们的方法优于其他模型中存在的一个单一的方式，以及在存在多个方式。我们通过与以前的方法进行比较并使用各种消融来验证我们的方法。
2020-11-23 cs.CV cs.SD eess.AS
Efficient Selective Audio Masked Multimodal Bottleneck Transformer for Audio-Video Classification
本文提出了一种名为AVT的音视频识别方法，通过瓶颈Transformer降低跨模态融合复杂度，并结合自监督目标与掩码音频片段损失提升学习效率，在多个数据集上显著超越现有方法。
2024-01-08 cs.AI cs.CV cs.LG
Training Strategies to Handle Missing Modalities for Audio-Visual Expression Recognition
Amazon（亚马逊）
音频视频表情自动识别在远程医疗、VOIP通话、人机交互等通信服务中具有重要的应用价值。视听表达识别的准确性可以受益于这两种模式之间的相互作用。然而，大多数在理想条件下训练的视听表达识别系统在现实世界场景中无法推广，其中由于诸如有限的带宽、交互者的取向、呼叫者发起的静音等多种原因，音频或视觉模态可能丢失。本文研究了一个国家的最先进的Transformer的性能时，一个模态丢失。我们进行消融研究，以评估模型在没有任何形式。此外，我们提出了一种策略，在训练过程中在剪辑或帧级别随机消融视觉输入，以模仿真实世界的场景。在野外数据上进行的结果表明，在缺失线索上训练的拟议模型具有显着的泛化能力，帧级消融的增益高达17%，表明这些训练策略更好地应对了输入模式的丢失。
2020-11-30 cs.SD eess.AS eess.IV
PoolingVQ: A VQVAE Variant for Reducing Audio Redundancy and Boosting Multi-Modal Fusion in Music Emotion Analysis
Wuhan University of Science and Technology（武汉科技大学）
针对多模态音乐情感分析中音频序列冗余问题，提出结合VQVAE与空间池化的PoolingVQ压缩音频特征，搭配两阶段协同注意力融合音频与MIDI，在EMOPIA和VGMIDI数据集上实现最优性能。
2025-09-23 cs.SD eess.AS
Cross-Modal Watermarking for Authentic Audio Recovery and Tamper Localization in Synthesized Audiovisual Forgeries
Korea University（韩国大学）；New York University（纽约大学）
本文提出跨模态水印框架，将真实音频嵌入视觉内容中，以在合成视听伪造中实现真实音频恢复和音频篡改定位，实验验证其对语音克隆和唇形同步等操纵的有效防御能力。
2025-07-17 cs.MM cs.SD eess.AS
Lightweight Joint Audio-Visual Deepfake Detection via Single-Stream Multi-Modal Learning Framework
Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；Guilin University of Electronic Technology（桂林电子科技大学）；Alibaba Group（阿里巴巴集团）
针对音视频Deepfake检测中双分支模型冗余且模态关联利用不足的问题，提出单流多模态轻量框架，仅0.48M参数并在多个基准上取得更优检测性能。
2025-06-09 cs.AI cs.LG cs.SD
Audio-Visual Speech Separation via Bottleneck Iterative Network
Manning College of Information \& Computer Sciences, University of Massachusetts Amherst, Amherst, U.S.；Dolby Laboratories, San Francisco, U.S.
提出瓶颈迭代网络（BIN），通过融合令牌瓶颈化融合表示并反复经过轻量级融合块来细化特征，在音视频语音分离任务上以更少训练与推理时间超越现有基准。
2025-07-09 cs.MM cs.SD eess.AS
Deep Latent Space Learning for Cross-modal Mapping of Audio and Visual Signals
University of Insubria（因苏布里亚大学）；National University of Sciences and Technology（国立科技大学）；Information Technology University（信息技术大学）
我们提出了一种新的深度训练算法，用于音频和视觉信息的联合表示，该算法由单流网络（SSNet）和一种新的损失函数组成，用于学习多模态信息的共享深层潜在空间表示。所提出的框架的特点是共享的潜在空间，利用类中心，这有助于消除需要成对或三重监督。我们在VoxCeleb上定量和定性地评估了所提出的方法，VoxCeleb是一个基准的视听数据集，用于多项任务，包括跨模态验证，跨模态匹配和跨模态检索。在交叉模态验证和匹配上实现了最先进的性能，而在其余应用程序上观察到了类似的结果。我们的实验证明了该技术的有效性跨模态生物识别应用。
2019-09-18 cs.CV cs.SD eess.AS
Audio-visual speech separation based on joint feature representation with cross-modal attention
Northwestern Polytechnical University（西北工业大学）；Nanchang University（南昌大学）
基于多模态的语音分离在多说话人噪声环境中分离目标特征方面具有独特的优势。遗憾的是，大多数现有的分离策略更喜欢基于每个单一模态的特征学习的直接融合，这远远没有充分考虑模态之间的相互关系。受注意力机制的启发，本文提出了一种新的跨模态融合策略，利用不同模态之间的语义相关性，使整个框架受益。为了进一步提高视听语音分离，嘴唇运动的密集光流被纳入，以加强视觉表示的鲁棒性。在两个公共视听语音分离基准数据集上进行了评估。性能的整体改善表明，额外的运动网络有效地增强了组合嘴唇图像和音频信号的视觉表示，以及优于基线的所有指标与建议的跨模态融合。
2022-03-05 cs.CV cs.LG cs.SD
AlignVSR: Audio-Visual Cross-Modal Alignment for Visual Speech Recognition
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）
AlignVSR通过音视频跨模态全局注意力对齐与帧级局部对齐损失，利用音频辅助信息提升视觉语音识别性能，在LRS2和CNVSRC.Single数据集上优于主流VSR方法。
2024-10-21 cs.CV cs.MM cs.SD
Modality-Independent Teachers Meet Weakly-Supervised Audio-Visual Event Parser
National Taiwan University（国立台湾大学）；Microsoft（微软）；NVIDIA（英伟达）
针对弱监督非对齐视听事件解析任务，提出VALOR方法，利用模态无关对比预训练教师模型生成模态标签，在LLP数据集及视听事件定位任务上均刷新最优性能。
2023-10-02 cs.CV cs.SD eess.AS
Investigating Modality Bias in Audio Visual Video Parsing
Indian Institute of Technology, Bombay（印度理工学院孟买分校）
我们专注于视听视频解析（AVVP）的问题，涉及检测音频和视觉事件标签的时间边界。这项任务特别具有挑战性，因为它是弱监督的，只有事件标签作为每个视频的标签袋可用。AVVP的现有最先进模型使用混合注意力网络（HAN）来生成音频和视觉模态的跨模态特征，以及集中预测的音频和视觉片段级事件概率以产生视频级事件概率的注意力池化模块。我们提供了一个详细的分析，在现有的HAN架构，其中的模态是完全忽略在预测过程中的模态偏差。我们还提出了一个变种的特征聚合HAN，导致在F-分数的绝对增益约2%和1.6%的视觉和视听事件在两个段级和事件级，相比现有的HAN模型。
2022-11-11 cs.CV cs.MM cs.SD
pyAMPACT: A Score-Audio Alignment Toolkit for Performance Data Estimation and Multi-modal Processing
pyAMPACT是一种用于表演数据估计和多模态处理的工具，通过符号与音频的对齐实现性能数据的估计及多模态分析
2026-01-05 cs.MM cs.SD eess.AS
MMCosine: Multi-Modal Cosine Loss Towards Balanced Audio-Visual Fine-Grained Learning
Renmin University of China（中国人民大学）
视听学习通过融合多种形式的实用信息，有助于全面认识世界。然而，最近的研究表明，在一个联合学习模型中的单模态编码器的不平衡优化是一个瓶颈，以提高该模型的性能。我们进一步发现，最新的不平衡缓解方法失败的一些视听细粒度的任务，有较高的要求，可区分的特征分布。在余弦损失成功构建超球面特征空间并实现较低类内角度变化的推动下，本文提出了多模态余弦损失，MMCosine。它对特征和权重执行模态方面的$L_2$规范化，以实现平衡和更好的多模态细粒度学习。我们证明，我们的方法可以减轻不平衡优化的角度来看，重量范数和充分利用的余弦度量的可辨别性。大量的实验证明了我们的方法的有效性和先进的多模态融合策略和最新的不平衡缓解方法的通用性。
2023-03-11 cs.MM cs.SD eess.AS
Multi-modal Residual Perceptron Network for Audio-Video Emotion Recognition
Warsaw University of Technology（华沙理工大学）
音频-视频情感识别现在受到深度神经网络建模工具的攻击。在已发表的论文中，作为一项规则，作者只展示了多模态优于仅音频或仅视频模态的情况。然而，也有情况下的优势，在单峰可以found. In我们的研究中，我们假设，对于情感事件的模糊类别，模态内和模态间的噪声信息间接表示在建模神经网络的参数阻碍了更好的性能，在现有的后期融合和端到端的多模态网络的训练策略。为了利用和克服这两种解决方案中的不足，我们定义了一个多模态残差感知器网络，它从多模态网络分支执行端到端学习，从而推广更好的多模态特征表示。对于所提出的多模态残差感知器网络和用于流媒体数字电影的新颖时间增强，最先进的平均识别率对于The Ryerson Audio-Visual Database of Emotional Speech and Song数据集提高到91.4%，对于Crowd-sourced Emotional Multi-modal Actors数据集提高到83.15%。此外，多模态剩余感知器网络概念显示了其在处理信号源的多模态应用中的潜力，而不仅仅是光学和声学类型。
2021-07-30 cs.AI cs.SD eess.AS
Dr. SHAP-AV: Decoding Relative Modality Contributions via Shapley Attribution in Audio-Visual Speech Recognition
Imperial College London, UK（伦敦帝国学院，英国）；NatWest AI Research, UK（英国NatWest人工智能研究）
本文提出Dr.SHAP-AV框架，通过Shapley值分析音频-视觉语音识别中模态贡献，揭示噪声环境下模型对视觉的依赖及音频贡献的稳定性，推动模态加权机制和Shapley归因作为标准诊断工具。
2026-06-07 cs.CV cs.SD eess.AS
Learning Audio-Visual Correlations from Variational Cross-Modal Generation
Illinois Institute of Technology（伊利诺伊理工学院）；University of Technology Sydney（悉尼科技大学）；Cisco（思科）
人们可以很容易地想象潜在的声音，而看到一个事件。音频和视觉信号之间的这种自然同步揭示了它们内在的相关性。为此，我们提出了学习的视听相关性的角度跨模态生成在一个自我监督的方式，学习的相关性，然后可以很容易地应用于多个下游任务，如视听跨模态定位和检索。我们引入了一种新的变分自编码器（VAE）框架，该框架由多个编码器和一个共享解码器（MS-VAE）组成，并增加了Wasserstein距离约束来解决这个问题。大量的实验表明，所提出的MS-VAE的优化的潜在表示可以有效地学习视听相关性，并可以很容易地应用于多个视听下游任务，以实现有竞争力的性能，即使在训练过程中没有任何给定的标签信息。
2021-02-14 cs.CV cs.SD eess.AS
u-HuBERT: Unified Mixed-Modal Speech Pretraining And Zero-Shot Transfer to Unlabeled Modality
Meta AI
虽然视听语音模型与纯音频模型相比可以产生更好的性能和鲁棒性，但它们的开发和采用受到缺乏标记和未标记视听数据以及每个模态部署一个模型的成本的阻碍。在本文中，我们提出了u-HuBERT，这是一个自监督的预训练框架，可以利用多模态和单峰语音，并具有统一的掩蔽聚类预测目标。通过在预训练期间利用模态丢弃，我们证明了单个微调模型可以实现与最先进的模态特定模型相当或更好的性能。此外，我们的模型微调音频可以很好地执行视听和视觉语音输入，实现zero-shot模态泛化多个语音处理任务。特别是，我们的单一模型产生1.2%/1.4%/27.2%的语音识别字出错率的LRS 3与视听/音频/视觉输入。代码和型号可在https://github.com/facebookresearch/av_hubert上获得
2022-11-28 cs.AI cs.CL cs.CV
Bootstrapping Audio-Visual Segmentation by Strengthening Audio Cues
USTC（中国科学技术大学）；Alibaba Group（阿里巴巴集团）
针对视听分割中视觉特征主导音频导致模态不平衡的问题，提出AVSAC方法，通过双向视听解码器和逐帧同步策略增强音频线索，实现更均衡的表示学习并达到新基准。
2024-02-06 cs.CV cs.SD eess.AS
A Unified Framework for Modality-Agnostic Deepfakes Detection
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；University at Buffalo, State University of New York（纽约州立大学布法罗分校）；RealAI Inc（RealAI公司）
针对跨模态伪造与模态缺失问题，本文提出虚假模态无关的统一音视频 deepfake 检测框架，利用 AVSR 提取跨模态语音关联并采用双标签独立检测，在三个数据集上优于现有方法。
2023-10-24 cs.MM cs.SD eess.AS
AV-Link: Temporally-Aligned Diffusion Features for Cross-Modal Audio-Video Generation
Rice University（莱斯大学）；Snap Inc（Snap公司）
AV-Link提出统一框架，通过时序对齐自注意力融合冻结的音视频扩散模型特征，同时实现视频到音频和音频到视频生成，在同步性上超越MovieGen等基线。
2025-03-10 cs.CV cs.LG cs.SD
DESAMO: A Device for Elder-Friendly Smart Homes Powered by Embedded LLM with Audio Modality
MAUM AI Inc.（MAUM人工智能公司）；Korea Culture Technology Institute（韩国文化科技研究所）
DESAMO是一款由嵌入式音频大语言模型驱动的适老化智能家居设备，通过直接处理原始音频，解决传统语音助手对老年人模糊语音和非语音音频处理不佳的问题，实现稳健的用户意图与关键事件理解。
2025-08-26 cs.HC cs.SD eess.AS
Separate in the Speech Chain: Cross-Modal Conditional Audio-Visual Target Speech Extraction
Xi’an Jiaotong University（西安交通大学）
本文提出AVSepChain，将音视频目标语音提取分为语音感知与生成两阶段，通过交换音视频模态主导地位并引入对比语义匹配损失，缓解模态不平衡，在多个基准上取得优越性能。
2024-05-05 cs.CV cs.LG cs.MM
Cross-Modal learning for Audio-Visual Video Parsing
Indian Institute of Techonology, Bombay（印度理工学院孟买分校）
在本文中，我们提出了一种新的方法，视听视频解析（AVVP）的任务，划分事件从视频分别为音频和视觉形式。所提出的解析方法同时检测的时间边界的开始和结束时间，这样的事件。我们展示了AVVP如何从以下面向有效跨模态学习的技术中受益：（i）对抗训练和跳过连接（ii）全局上下文感知注意力，以及（iii）使用音频-视频基础目标进行自我监督预训练以获得跨模态音频-视频表示。我们对Look，Listen，and Parse（LLP）数据集进行了广泛的实验评估，并表明我们在为AVVP提出的所有五个指标上都优于最先进的混合注意力网络（HAN）。我们还提出了几个消融来验证预训练，全局注意力和对抗性训练的效果。
2021-06-21 cs.CV cs.LG cs.SD
Improving Noise Robust Audio-Visual Speech Recognition via Router-Gated Cross-Modal Feature Fusion
Dept. Artificial Intelligence（人工智能系）；Hanyang University（翰阳大学）
提出路由器门控跨模态融合框架，通过动态加权音频和视觉特征，在噪声下AVSR词错误率相对降低16.51%-42.67%。
2025-08-26 cs.AI cs.CV cs.MM
Cross-modal Audio-visual Co-learning for Text-independent Speaker Verification
Tianjin University（天津大学）；National Institute of Informatics（国立信息学研究所）
视觉语音（即，嘴唇运动）与听觉语音高度相关，这是由于语音产生中的共现和同步。本文研究了这种相关性，并提出了一个跨模态语音协同学习的范例。我们的跨模态协同学习方法的主要动机是通过利用另一种模态的知识来辅助对一种模态进行建模。具体来说，两个跨模态助推器的基础上，视听伪暹罗结构，学习模态转换的相关性。在每个增强器内部，提出了一个最大特征映射嵌入式Transformer变体，用于模态对齐和增强特征生成。该网络是从头开始和与预训练模型共同学习的。在LRSLip 3、GridLip、LomGridLip和VoxLip数据集上的实验结果表明，与独立训练的仅音频/仅视觉和基线融合系统相比，我们提出的方法分别实现了60%和20%的平均相对性能提高。
2023-02-22 cs.CV cs.LG cs.SD
AV-FlowEdit: Training-Free Prompt-Driven Audio-Visual Editing with Event-Aware Spectral Trajectory Preservation
本文提出无需训练的AV-FlowEdit框架，利用源-目标流差异实现提示驱动的视听编辑，通过跨模态事件感知频谱轨迹保留抑制漂移，在提示对齐、时间一致性等方面表现出色。
2026-10-12 cs.CV cs.SD eess.AS
MA-AVT: Modality Alignment for Parameter-Efficient Audio-Visual Transformers
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Carnegie Mellon University（卡内基梅隆大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出MA-AVT，一种参数高效的音视频Transformer，通过联合单模态与多模态token学习、逐块对比学习及判别性前景挖掘实现深度模态对齐，在多个基准上显著超越现有方法。
2024-06-07 cs.CV cs.MM cs.SD
Interactive Audio-text Representation for Automated Audio Captioning with Contrastive Learning
Nanyang Technological University（南洋理工大学）
自动音频字幕（AAC）是一个跨模态的任务，它生成自然语言来描述输入音频的内容。大多数先前的作品通常提取单模态声学特征，因此对于跨模态解码任务是次优的。在这项工作中，我们提出了一种新的AAC系统称为CLIP-AAC学习交互式跨模态表示与声学和文本信息。具体地说，CLIP-AAC在预训练的编码器中引入音频头和文本头来提取音频文本信息。此外，我们还应用对比学习，通过学习音频信号与其配对字幕之间的对应关系来缩小域差异。实验结果表明，所提出的CLIP-AAC方法在Clotho数据集上的NLP评估指标方面超过了最佳基线。消融研究表明，预训练模型和对比学习都有助于AAC模型的性能增益。
2022-04-12 cs.CL cs.SD eess.AS
Perfect match: Improved cross-modal embeddings for audio-visual synchronisation
Yonsei University（延世大学）；Naver Corp.（NAVER公司）
本文提出了一种新的策略，学习强大的跨模态嵌入音频到视频同步。在这里，我们将问题设置为跨模态检索，其目标是找到最相关的音频片段给定的短视频剪辑。该方法建立在跨模态自我监督学习表征的最新进展之上。本文的主要贡献如下：（1）提出了一种新的学习策略，即通过多路匹配问题学习嵌入，而不是二进制分类（匹配或非匹配）的问题，提出了最近的论文;（2）我们证明了这种方法的性能远远超过现有的同步任务的基线;（3）我们将学习的嵌入用于自我监督中的视觉语音识别，并表明性能与以完全监督的方式学习的表示端到端匹配。
2018-11-02 cs.CV cs.SD eess.AS
Robust Wake Word Spotting With Frame-Level Cross-Modal Attention Based Audio-Visual Conformer
Duke Kunshan University（昆山杜克大学）；Zhejiang Laboratory（浙江实验室）
针对噪声下唤醒词检测问题，提出帧级跨模态注意力 FLCMA 并构建端到端音视频 Conformer，结合单模态预训练微调，在远场 MISP 上达到 4.57% WWS 分数的新最优结果。
2024-03-04 cs.MM cs.SD eess.AS
Sound2Vision: Generating Diverse Visuals from Audio through Cross-Modal Latent Alignment
POSTECH（浦项科技大学）；KAIST（韩国科学技术院）；Yonsei University（延世大学）
本研究提出Sound2Vision跨模态生成方法，通过音视频模态对齐将音频特征转换到视觉潜空间以生成图像，结合声源定位提升质量，在多个数据集上表现优于现有方法且具备良好泛化性。
2024-12-09 cs.CV cs.MM cs.SD
Audio-visual Generalised Zero-shot Learning with Cross-modal Attention and Language
University of Tübingen（蒂宾根大学）；Robert Bosch GmbH（罗伯特·博世有限公司）；MPI for Informatics（马克斯·普朗克信息学研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
学习从训练数据中不包括的类别中分类视频数据，即基于视频的零样本学习，是具有挑战性的。我们推测，在视频数据中的音频和视觉模态之间的自然对齐提供了一个丰富的训练信号，学习歧视性的多模态表示。针对视听零样本学习这一相对未被充分研究的任务，我们提出了使用跨模态注意从视听数据中学习多模态表示，并利用文本标签嵌入将知识从可见类转移到不可见类。更进一步，在我们的广义视听零样本学习设置中，我们在测试时搜索空间中包括所有训练类，这些训练类充当干扰物并增加难度，同时使设置更逼真。由于在这个领域缺乏统一的基准，我们在三个不同大小和难度的视听数据集VGGSound，UCF和ActivityNet上引入了（通用的）零样本学习基准，确保看不见的测试类不会出现在用于监督训练骨干深度模型的数据集中。比较多个相关和最近的方法，我们证明了我们提出的AVCA模型在所有三个数据集上都达到了最先进的性能。代码和数据可在\url{https://github.com/ExplainableML/AVCA-GZSL}上获得。
2022-04-04 cs.CL cs.CV eess.AS
Multi-Modality in Music: Predicting Emotion in Music from High-Level Audio Features and Lyrics
University of Copenhagen（哥本哈根大学）
本文旨在测试多模态方法的音乐情感识别（MER）是否比单模态的高层次的歌曲特征和歌词。我们使用从Spotify API检索的11个歌曲特征，组合歌词特征，包括情感，TF-IDF和Anew，以预测Deezer情绪检测数据集（DMDD）（Delbouys et al.，2018），具有4种不同的回归模型。我们发现，在11个高级歌曲特征中，主要有5个对性能有贡献，多模态特征在预测效价时比单独的音频做得更好。我们使我们的代码可供使用。
2023-02-26 cs.CL cs.MM cs.SD
