pyAMPACT: A Score-Audio Alignment Toolkit for Performance Data Estimation and Multi-modal Processing
pyAMPACT是一种用于表演数据估计和多模态处理的工具，通过符号与音频的对齐实现性能数据的估计及多模态分析
2026-01-05 cs.MM cs.SD eess.AS
MMCosine: Multi-Modal Cosine Loss Towards Balanced Audio-Visual Fine-Grained Learning
Renmin University of China（中国人民大学）
视听学习通过融合多种形式的实用信息，有助于全面认识世界。然而，最近的研究表明，在一个联合学习模型中的单模态编码器的不平衡优化是一个瓶颈，以提高该模型的性能。我们进一步发现，最新的不平衡缓解方法失败的一些视听细粒度的任务，有较高的要求，可区分的特征分布。在余弦损失成功构建超球面特征空间并实现较低类内角度变化的推动下，本文提出了多模态余弦损失，MMCosine。它对特征和权重执行模态方面的$L_2$规范化，以实现平衡和更好的多模态细粒度学习。我们证明，我们的方法可以减轻不平衡优化的角度来看，重量范数和充分利用的余弦度量的可辨别性。大量的实验证明了我们的方法的有效性和先进的多模态融合策略和最新的不平衡缓解方法的通用性。
2023-03-11 cs.MM cs.SD eess.AS
A Unified Framework for Modality-Agnostic Deepfakes Detection
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；University at Buffalo, State University of New York（纽约州立大学布法罗分校）；RealAI Inc（RealAI公司）
针对跨模态伪造与模态缺失问题，本文提出虚假模态无关的统一音视频 deepfake 检测框架，利用 AVSR 提取跨模态语音关联并采用双标签独立检测，在三个数据集上优于现有方法。
2023-10-24 cs.MM cs.SD eess.AS
Robust Wake Word Spotting With Frame-Level Cross-Modal Attention Based Audio-Visual Conformer
Duke Kunshan University（昆山杜克大学）；Zhejiang Laboratory（浙江实验室）
针对噪声下唤醒词检测问题，提出帧级跨模态注意力 FLCMA 并构建端到端音视频 Conformer，结合单模态预训练微调，在远场 MISP 上达到 4.57% WWS 分数的新最优结果。
2024-03-04 cs.MM cs.SD eess.AS
On Adversarial Robustness of Large-scale Audio Visual Learning
Carnegie Mellon University（卡内基梅隆大学）
随着视听系统被部署用于安全关键任务，如监视和恶意内容过滤，其鲁棒性仍然是一个研究不足的领域。现有的鲁棒性研究要么不能扩展到大规模数据集，要么不能处理多种模式。本文旨在从鲁棒性的角度研究多模态学习的几个关键问题：1）多模态模型是否一定比单模态模型更鲁棒？2)如何有效地衡量多模态学习的鲁棒性？3)如何融合不同的模态以实现更鲁棒的多模态模型？为了理解多模态模型在大规模环境中的鲁棒性，我们提出了一个基于密度的度量和一个凸度度量来有效地测量每个模态在高维潜在空间中的分布。我们的工作提供了理论上的直觉和经验证据，表明多模态融合如何通过这些指标影响对抗鲁棒性。我们还根据我们的指标设计了一个混合策略，以提高训练模型的鲁棒性。我们在AudioSet和Kinetics-Sounds上的实验验证了我们的假设，即面对对抗性示例时，多模态模型不一定比单模态模型更鲁棒。我们还观察到，我们的混合训练方法可以实现与传统对抗训练一样多的保护，提供了一种计算成本低廉的替代方案。实施：https://github.com/lijuncheng16/AudioSetDoneRight
2022-04-21 cs.MM cs.SD eess.AS
AlignVSR: Audio-Visual Cross-Modal Alignment for Visual Speech Recognition
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）
AlignVSR通过音视频跨模态全局注意力对齐与帧级局部对齐损失，利用音频辅助信息提升视觉语音识别性能，在LRS2和CNVSRC.Single数据集上优于主流VSR方法。
2024-10-21 cs.CV cs.MM cs.SD
On Metric Learning for Audio-Text Cross-Modal Retrieval
University of Surrey（萨里大学）
音频文本检索的目的是在给定另一模态的查询的情况下从候选者池中检索目标音频片段或字幕。解决这种跨模态检索任务是具有挑战性的，因为它不仅需要学习两种模态的鲁棒特征表示，而且还需要捕获这两种模态之间的细粒度对齐。现有的跨模态检索模型大多是通过度量学习目标来优化的，因为它们都试图将数据映射到嵌入空间，在嵌入空间中，相似的数据靠得很近，不相似的数据相距很远。与其他跨模态的检索任务，如图像-文本和视频-文本检索，音频-文本检索仍然是一个未开发的任务。在这项工作中，我们的目标是研究不同的度量学习目标对音频文本检索任务的影响。我们对AudioCaps和Clotho数据集上流行的度量学习目标进行了广泛的评估。我们证明了自监督学习的NT-Xent损失在不同的数据集和训练设置中表现出稳定的性能，并且优于流行的基于三元组的损失。我们的代码可在https://github.com/XinhaoMei/audio-text_retrieval上获得。
2022-06-30 cs.SD eess.AS
MAVL: A Multilingual Audio-Video Lyrics Dataset for Animated Song Translation
Yonsei University（延世大学）；Seoul National University（首尔国立大学）
提出首个多语言多模态歌词翻译基准MAVL，并设计音节约束的音视频大语言模型SylAVL-CoT，利用音视频线索和音节约束提升歌词可唱性和翻译准确性。
2026-06-01 cs.CL cs.LG cs.MM
Leveraging Synthetic Audio Data for End-to-End Low-Resource Speech Translation
Bering Lab（贝林实验室）
本文针对低资源爱尔兰语到英语语音翻译，提出基于 Whisper 的端到端系统，利用语音反向翻译、噪声增强等合成音频数据增强方法提升翻译性能。
2024-06-27 cs.CL cs.SD eess.AS
3MDiT: Unified Tri-Modal Diffusion Transformer for Text-Driven Synchronized Audio-Video Generation
Zhejiang University（浙江大学）；Huawei（华为）；Nanyang Technological University（南洋理工大学）
3MDiT提出了一种统一三模态扩散变换器，通过联合演变流实现文本驱动的同步音频视频生成，提升多模态对齐与同步性能。
2025-11-26 cs.MM cs.SD
Attention-based cross-modal fusion for audio-visual voice activity detection in musical video streams
Bytedance AI Lab（字节跳动人工智能实验室）
以前很多视听人声相关的作品都把重点放在语音上，忽略了互联网上越来越多的音乐视频流中的歌声。对于处理不同的音乐视频数据，语音活动检测是必要的步骤。本文试图检测语音和演唱的目标表演者的声音在音乐视频流使用视听信息。为了整合音频和视觉模态的信息，提出了一种多分支网络来学习音频和图像表示，并通过基于语义相似性的注意力融合表示，通过锚发声的概率来形成声学表示。实验结果表明，在复杂的声学环境中，该多分支网络的性能远优于纯音频模型，表明基于语义相关的跨模态信息融合是合理和成功的。
2021-06-21 cs.SD eess.AS
MA-AVT: Modality Alignment for Parameter-Efficient Audio-Visual Transformers
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Carnegie Mellon University（卡内基梅隆大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出MA-AVT，一种参数高效的音视频Transformer，通过联合单模态与多模态token学习、逐块对比学习及判别性前景挖掘实现深度模态对齐，在多个基准上显著超越现有方法。
2024-06-07 cs.CV cs.MM cs.SD
Sound2Vision: Generating Diverse Visuals from Audio through Cross-Modal Latent Alignment
POSTECH（浦项科技大学）；KAIST（韩国科学技术院）；Yonsei University（延世大学）
本研究提出Sound2Vision跨模态生成方法，通过音视频模态对齐将音频特征转换到视觉潜空间以生成图像，结合声源定位提升质量，在多个数据集上表现优于现有方法且具备良好泛化性。
2024-12-09 cs.CV cs.MM cs.SD
Multi-Modality in Music: Predicting Emotion in Music from High-Level Audio Features and Lyrics
University of Copenhagen（哥本哈根大学）
本文旨在测试多模态方法的音乐情感识别（MER）是否比单模态的高层次的歌曲特征和歌词。我们使用从Spotify API检索的11个歌曲特征，组合歌词特征，包括情感，TF-IDF和Anew，以预测Deezer情绪检测数据集（DMDD）（Delbouys et al.，2018），具有4种不同的回归模型。我们发现，在11个高级歌曲特征中，主要有5个对性能有贡献，多模态特征在预测效价时比单独的音频做得更好。我们使我们的代码可供使用。
2023-02-26 cs.CL cs.MM cs.SD
UNQA: Unified No-Reference Quality Assessment for Audio, Image, Video, and Audio-Visual Content
School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
本文提出统一无参考质量评估模型UNQA，通过多模态联合训练策略和模态回归模块，实现对音频、图像、视频及视听内容的单一模型质量评估，提升了特征鲁棒性并降低了部署成本。
2024-07-29 cs.MM cs.SD eess.AS
A study on joint modeling and data augmentation of multi-modalities for audio-visual scene classification
University of Science and Technology of China（中国科学技术大学）；Tencent Corporation（腾讯公司）；Georgia Institute of Technology（佐治亚理工学院）；The Chinese University of Hong Kong（香港中文大学）；University of Enna Kore（恩纳科雷大学）
在本文中，我们提出了两种技术，即联合建模和数据增强，以提高系统性能的视听场景分类（AVSC）。我们使用仅在图像数据集上训练的预训练网络来提取视频嵌入;而对于音频嵌入模型，我们决定从头开始训练它们。我们探索不同的神经网络架构的联合建模，有效地结合视频和音频模态。此外，数据增强策略进行了研究，以增加视听训练集的大小。对于视频模态，验证了RandAugment中几个操作的有效性。为了进一步提高AVSC的性能，提出了一种音视频联合混音方案。根据TAU Urban Audio Visual Scenes 2021的开发集进行评估，我们的最终系统在提交给DCASE 2021任务1b的所有单个AVSC系统中可以达到94.2%的最佳准确度。
2022-09-01 cs.CV cs.MM cs.SD
Revisiting Pre-training in Audio-Visual Learning
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
预训练技术在提高模型在各种任务上的性能方面取得了巨大的成功，但在某些单峰情况下，它的性能比从头开始训练更差。这启发我们思考：预训练的模型在更复杂的多模态场景中是否总是有效的，特别是对于诸如音频和视觉的异构模态？我们发现答案是否定的。具体来说，我们探索了预训练模型对两种视听学习场景的影响：跨模态初始化和多模态联合学习。采用跨模态初始化方法时，由于Batchnorm参数异常而导致的“死通道”现象阻碍了模型容量的利用。因此，我们提出了自适应批量范数重新初始化（ABRi），以更好地利用目标任务的预训练模型的能力。在多模态联合学习中，我们发现一个强的预训练的单模态编码器会对另一个模态的编码器带来负面影响。为了缓解这个问题，我们引入了一个两阶段的融合调整策略，更好地利用预训练的知识，同时使单峰编码器与自适应掩蔽方法合作。实验结果表明，该方法可以进一步挖掘预训练模型的潜力，提高视听学习的性能。
2023-02-17 cs.CV cs.MM cs.SD
From Contrast to Commonality: Audio Commonality Captioning for Enhanced Audio-Text Cross-modal Understanding in Multimodal LLMs
TMCC, College of Computer Science, Nankai University, Tianjin, China（TMCC，计算机科学学院，南开大学，天津，中国）
本文提出音频共同性描述方法，旨在增强多模态大语言模型中音频与文本的跨模态理解，通过捕捉音频片段间的共享语义以改善模型的泛化能力与任务特定性能。
2026-01-25 cs.SD eess.AS
Deep Cross-Modal Correlation Learning for Audio and Lyrics in Music Retrieval
National Institute of Informatics（国立信息学研究所）；The University of Electro-Communications（电气通信大学）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；Hong Kong University of Science and Technology（香港科技大学）
很少有研究集中在跨模态相关学习，其中考虑到不同的数据模态，如音频和歌词的时间结构。基于音乐的时间结构特点，我们有动机去了解音频和歌词之间的深层序列相关性。在这项工作中，我们提出了一个深度跨模态相关学习架构，涉及用于音频模态和文本模态（歌词）的双分支深度神经网络。不同的模态数据被转换到同一个典型空间，其中模态间典型相关分析被用作目标函数来计算时间结构的相似性。这是第一次通过深度架构来理解语言和音乐音频之间的相关性，以学习音频和歌词的配对时间相关性。使用预训练的Doc2vec模型和全连接层（全连接深度神经网络）来表示歌词。在音频分支中做出了两个重要贡献，如下：i）研究了预训练的CNN，然后是完全连接的层，用于表示音乐音频。ii）我们进一步提出了一种端到端架构，可以同时训练卷积层和全连接层，以更好地学习音乐音频的时间结构。特别是，我们的端到端深度架构包含两个属性：同时实现特征学习和跨模态相关学习，以及通过考虑时间结构来学习联合表示。实验结果，使用音频检索歌词或使用歌词检索音频，验证了所提出的深度相关学习架构在跨模态音乐检索的有效性。
2017-11-29 cs.IR cs.SD eess.AS
Improving Audio-Text Retrieval via Hierarchical Cross-Modal Interaction and Auxiliary Captions
School of ECE, Peking University（北京大学电子学院）
本文提出分层跨模态交互方法，同时建模音频片段-句子、片段-短语和帧-词关系，并利用预训练字幕生成器产生的辅助字幕增强音频表示与数据增强，从而在多个数据集上稳定提升音频-文本检索性能。
2025-05-03 cs.SD eess.AS
Improving Lip-synchrony in Direct Audio-Visual Speech-to-Speech Translation
Amazon（亚马逊公司）
本研究针对音视频语音到语音翻译中唇音同步被忽视的问题，提出将唇音同步损失整合到 AVS2S 模型训练过程中，显著提升了唇音同步效果，同时保持了翻译语音的自然度与高质量。
2024-12-21 cs.CL cs.CV cs.MM
Deep Cross-Modal Audio-Visual Generation
University of Rochester（罗切斯特大学）
跨通道视听感知一直是心理学和神经学中的一个长期话题，各种研究发现人类对听觉和视觉刺激的感知具有很强的相关性。尽管在计算多模态建模的作品，跨模态视听生成的问题还没有系统地研究在文献中。在本文中，我们首次尝试利用深度生成对抗训练的力量来解决这个跨模态生成问题。具体来说，我们使用条件生成对抗网络来实现音乐表演的跨模态视听生成。我们探索不同的编码方法的音频和视频信号，并在两个场景：面向工具的生成和面向姿势的生成。作为第一个探索这个新问题，我们组成了两个新的数据集对不同乐器的音乐表演的图像和声音。我们使用分类和人类评估的实验表明，我们的模型能够生成一种模态，即，音频/视频，从其他模态，即，视觉/听觉，在很大程度上。我们对各种设计选择以及数据集的实验将促进未来在这个新问题空间的研究。
2017-04-26 cs.CV cs.MM cs.SD
Separate in the Speech Chain: Cross-Modal Conditional Audio-Visual Target Speech Extraction
Xi’an Jiaotong University（西安交通大学）
本文提出AVSepChain，将音视频目标语音提取分为语音感知与生成两阶段，通过交换音视频模态主导地位并引入对比语义匹配损失，缓解模态不平衡，在多个基准上取得优越性能。
2024-05-05 cs.CV cs.LG cs.MM
Multi-Modal Multi-Correlation Learning for Audio-Visual Speech Separation
Microsoft Research Asia（微软亚洲研究院）
在本文中，我们提出了一个多模态多相关学习框架，针对视听语音分离的任务。虽然以前的努力已经广泛地把音频和视频形式相结合，他们中的大多数仅仅采用一个简单的级联的音频和视频功能。为了利用这两种模态背后真正有用的信息，我们定义了两个关键的相关性：（1）身份相关性（音色和面部属性之间）;（2）语音相关性（音素和嘴唇运动之间）。这两种相关性共同构成了完整的信息，在分离目标说话人的语音方面显示出一定的优越性，特别是在一些困难的情况下，如性别相同或内容相似。为了实现，应用对比学习或对抗训练方法来最大化这两个相关性。这两种方法都能很好地工作，而对抗训练通过避免对比学习的一些局限性而显示出其优势。与以前的研究相比，我们的解决方案在实验指标上表现出明显的改善，而不增加复杂性。进一步的分析表明，所提出的架构的有效性和良好的潜力，为未来的扩展。
2022-07-04 cs.CV cs.MM cs.SD
Audio-Visual Speech Enhancement and Separation by Utilizing Multi-Modal Self-Supervised Embeddings
Carnegie Mellon University（卡内基梅隆大学）；National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；Edinburgh Napier University（爱丁堡龙比亚大学）
本文提出在预训练AV-HuBERT后接入SE模块并配合微调，用于AVSE和AVSS，实验证明其优于现有AVSE及纯音频SE方法。
2023-06-01 cs.SD eess.AS
Audio-to-Image Cross-Modal Generation
Warsaw University of Technology（华沙工业大学）
跨模态表示学习允许将来自不同模态的信息集成到一个表征中。与此同时，对生成模型的研究往往集中在视觉领域，而不太重视其他领域，如音频或文本，可能会错过共享表示的好处。研究成功地连接一个以上的模态生成设置是罕见的。在此背景下，我们验证了训练变分自编码器（VAE）从音频数据重建图像原型的可能性。具体来说，我们在对抗训练框架中考虑VAE，以确保生成的数据具有更多的可变性，并发现生成的图像的一致性和多样性之间存在权衡-这种权衡可以通过分别放大或缩小重建损失来控制。我们的研究结果进一步表明，即使在所生成的图像是相对不一致的（多样的）的情况下，适当的图像分类是至关重要的功能被保留。
2021-09-27 cs.LG cs.MM cs.SD
Using Large Pre-Trained Models with Cross-Modal Attention for Multi-Modal Emotion Recognition
Freshworks Inc.（Freshworks公司）
最近，自监督预训练在机器学习的许多领域都有了显着的改进，包括语音和NLP。我们建议使用大型的自监督预训练模型，用于音频和文本模态，并具有跨模态注意力，用于多模态情感识别。我们使用Wav2Vec2.0 [1]作为稳健语音特征提取的音频编码器基础，使用BERT模型[2]作为文本编码器基础，以更好地表示文本的上下文。这些在大量未标记数据上训练的高容量模型包含丰富的特征表示，并提高了下游任务的性能。我们使用跨模态注意力[3]机制来学习自监督模型中音频和文本表示之间的对齐。跨模态注意也有助于提取音频和文本特征之间的交互信息。我们从帧级特征中获得话语级特征表示，使用音频和文本模态的统计池，并使用早期融合技术将它们结合起来。我们的实验表明，与IEMOCAP数据集[35]上的先前最先进的方法[3]相比，所提出的方法在准确度上获得了1.88%的绝对提高。我们还进行了音频和文本模态的单峰实验，并将它们与以前的最佳方法进行比较。
2021-08-22 cs.SD eess.AS
Ovi: Twin Backbone Cross-Modal Fusion for Audio-Video Generation
Character AI；Yale University（耶鲁大学）
该研究提出音视频生成统一范式Ovi，通过双DiT模块分块跨模态融合实现音视频同步生成，在大规模数据上训练后可产出带自然语音和匹配音效的电影级视频片段。
2025-09-30 cs.CV cs.MM cs.SD
TransFace: Unit-Based Audio-Visual Speech Synthesizer for Talking Head Translation
Zhejiang University（浙江大学）；Huawei Cloud（华为云）
TransFace提出直接视听语音翻译模型，利用离散单元和Unit2Lip合成器，实现同步翻译并避免级联错误，显著提升同步性和速度。
2023-12-23 cs.CL cs.CV cs.SD
Cross-Modal Contrastive Representation Learning for Audio-to-Image Generation
Korea University（高丽大学）
某些信息的多种形式提供了关于该信息的各种观点，这可以改善对信息的理解。因此，从现有数据中生成不同模态的数据以增强理解可能至关重要。在本文中，我们研究了跨模态音频到图像的生成问题，并提出跨模态对比表示学习（CMCRL）提取有用的功能，从音频和使用它在生成阶段。实验结果表明，CMCRL提高了图像质量比以前的研究。
2022-07-20 cs.CV cs.GR cs.SD
Pay More Attention To Audio: Mitigating Imbalance of Cross-Modal Attention in Large Audio Language Models
1Laboratory of Cognitive Computing；Application, College of Intelligence；Computing, Tianjin University, Tianjin, China 2School of Computer Science, Shanghai Jiao Tong University, Shanghai, China 3School of Electrical \& Electronic Engineering, Nanyang Technological University, Singapore 4Huiyan Technology (Tianjin) Co., Ltd, Tianjin, China
本文提出免训练方法MATA，通过在自注意力机制中动态增强音频token权重，缓解大型音频语言模型的文本偏向，在MMAU和MMAR基准上取得持续提升，并首次使开源模型超越Gemini 2.0 Flash。
2025-09-23 cs.CL cs.MM cs.SD
Bridging Ears and Eyes: Analyzing Audio and Visual Large Language Models to Humans in Visible Sound Recognition and Reducing Their Sensory Gap via Cross-Modal Distillation
Columbia University（哥伦比亚大学）；University of Washington（华盛顿大学）
该研究对比音频、视觉与视听LLM及人类在可见声音识别中的表现，发现对应人耳与人眼差异的模态性能差距，并通过双向跨模态蒸馏显著提升挑战性类别识别能力。
2025-05-11 cs.CL cs.CV cs.MM
Music2Video: Automatic Generation of Music Video with fusion of audio and text
KAIST（韩国科学技术院）
随着在大型语料库上预训练的多模态表示模型的出现，使用生成对抗网络创建图像已被广泛应用于多模态机制。可以利用共享公共表示空间的各种模态来引导生成模型从文本甚至从音频源创建图像。不同于以往的方法，只依赖于文本或音频，我们利用这两种形式的表现力。基于文本和音频的融合，我们创建了视频，其内容与所提供的不同形式一致。一个简单的方法，自动分割成可变长度的视频间隔，并保持时间的一致性生成的视频是我们的方法的一部分。我们提出的框架生成音乐视频显示出可喜的成果，在应用程序级别，用户可以交互式地在音乐源和文本源，以创建艺术音乐视频。我们的代码可在https://github.com/joeljang/music2video上获得。
2022-06-09 cs.GR cs.MM cs.SD
CMMD: Contrastive Multi-Modal Diffusion for Video-Audio Conditional Modeling
University of California Irvine（加利福尼亚大学欧文分校）；Microsoft Research（微软研究院）
本研究提出用于视频音频双向条件生成的多模态扩散模型CMMD，通过联合对比损失和跨模态简易融合模块，在生成质量、速度及音视频对齐上优于基线。
2024-10-09 cs.CV cs.LG cs.MM
Audio-to-symbolic Arrangement via Cross-modal Music Representation Learning
NYU Shanghai（上海纽约大学）；Tencent PCG（腾讯平台与内容事业群）
我们能否根据流行歌曲的音频自动推导出钢琴伴奏的乐谱？这就是我们在本文中所要解决的音频到符号的排列问题。一个好的编曲模型不仅要考虑音频内容，还要有钢琴作曲的先验知识（这样生成的作品听起来像音频，同时保持音乐性）。为此，我们贡献了一个跨模态表示学习模型，该模型1）从音频中提取和弦和旋律信息，2）从音频和损坏的地面真值排列中学习纹理表示。我们进一步引入了一个量身定制的训练策略，逐渐将纹理信息的来源从损坏的分数转移到音频。最后，基于分数的纹理后验被简化为标准的正态分布，并且仅需要音频进行推理。实验表明，我们的模型捕捉主要的音频信息，并优于基线的生成质量。
2022-02-22 cs.LG cs.SD eess.AS
Beyond Voice Activity Detection: Hybrid Audio Segmentation for Direct Speech Translation
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；University of Trento（特伦托大学）
在直接语音翻译中，训练数据和运行时看到的数据之间的音频分割不匹配是一个主要问题。事实上，虽然系统通常是在手动分割的语料库上训练的，但在实际用例中，它们通常会呈现需要自动（和次优）分割的连续音频。在比较了现有的技术（基于VAD的，固定长度和混合分割方法），在本文中，我们提出了增强的混合解决方案，以产生更好的结果，而不牺牲延迟。通过对不同领域和语言对的实验，我们表明我们的方法优于所有其他技术，将传统的基于VAD的方法和最佳手动分割之间的差距缩小了至少30%。
2021-10-14 cs.CL cs.SD eess.AS
BLAT: Bootstrapping Language-Audio Pre-training based on AudioSet Tag-guided Synthetic Data
Shanghai Jiao Tong University（上海交通大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
针对音频-文本预训练平行数据不足的问题，提出BLAT方法，通过AudioSet标签引导的音频字幕生成构建高质量大规模平行数据，在多数下游任务上取得SOTA零样本分类性能。
2024-03-05 cs.SD eess.AS
AVGZSLNet: Audio-Visual Generalized Zero-Shot Learning by Reconstructing Label Features from Multi-Modal Embeddings
IIT Kanpur（印度理工学院坎普尔分校）；University of Bath（巴斯大学）
在本文中，我们提出了一种新的方法，用于多模态环境中的广义零样本学习，其中我们在测试过程中有新的音频/视频类，这些类在训练过程中看不到。我们使用文本嵌入的语义相关性作为零样本学习的手段，通过将音频和视频嵌入与相应的类标签文本特征空间对齐。我们的方法使用一个交叉模态解码器和一个复合三重损失。跨模态解码器强制执行一个约束，即类标签文本特征可以从数据点的音频和视频嵌入中重构。这有助于音频和视频嵌入更接近类标签文本嵌入。复合三元组丢失利用音频、视频和文本嵌入。它有助于在多模态设置中将来自同一个类的嵌入拉近，并将来自不同类的嵌入推开。这有助于网络在多模态零样本学习任务上表现得更好。重要的是，即使在测试时缺少模态，我们的多模态零样本学习方法也有效。我们测试我们的方法上的广义zero-shot分类和检索任务，并表明，我们的方法优于其他模型中存在的一个单一的方式，以及在存在多个方式。我们通过与以前的方法进行比较并使用各种消融来验证我们的方法。
2020-11-23 cs.CV cs.SD eess.AS
Audio-text Retrieval with Transformer-based Hierarchical Alignment and Disentangled Cross-modal Representation
YifeiXin（西菲·欣）；ZhihongZhu（朱之宏）；XuxinCheng（程旭鑫）；XushengYang（杨旭生）；YuexianZou（邹岳先）
本文提出基于双流Transformer与层次对齐模块的音频-文本检索框架，并引入解耦跨模态表示和置信度感知模块实现细粒度语义对齐，实验证明其有效提升检索性能。
2025-05-04 cs.SD eess.AS
Contextual Cross-Modal Attention for Audio-Visual Deepfake Detection and Localization
University of North Texas at Denton（北得克萨斯大学登顿分校）
本文提出一种基于循环神经网络的上下文跨模态注意力框架，通过融合音视频多序列表示提升深度伪造检测与定位性能，并在多个数据集上取得最先进结果。
2024-08-06 cs.AI cs.CV cs.MM
PoolingVQ: A VQVAE Variant for Reducing Audio Redundancy and Boosting Multi-Modal Fusion in Music Emotion Analysis
Wuhan University of Science and Technology（武汉科技大学）
针对多模态音乐情感分析中音频序列冗余问题，提出结合VQVAE与空间池化的PoolingVQ压缩音频特征，搭配两阶段协同注意力融合音频与MIDI，在EMOPIA和VGMIDI数据集上实现最优性能。
2025-09-23 cs.SD eess.AS
Looking Similar, Sounding Different: Leveraging Counterfactual Cross-Modal Pairs for Audiovisual Representation Learning
Massachusetts Institute of Technology（麻省理工学院）；Netflix（网飞公司）
本文提出利用电影电视配音版本构造仅在语音上不同的反事实视听配对来增强对比学习，实验证明该方法能提升多种下游听觉与视听任务性能，同时基本不影响语言任务表现。
2024-06-08 cs.CV cs.LG cs.MM
AVRT: Audio-Visual Reasoning Transfer through Single-Modality Teachers
University of Tübingen, Germany（图宾根大学）；MIT, Cambridge MA, USA（麻省理工学院）；IBM Research, USA（IBM研究院）；MIT-IBM Watson AI Lab, USA（麻省理工-IBM沃森人工智能实验室）；Tuebingen AI Center, Germany（图宾根人工智能中心）
本文提出AVRT框架，通过单模态教师模型生成高质量音频-视觉推理轨迹，并利用LLM合并模型整合轨迹，从而在多模态设置中实现推理迁移，取得音视频和音频任务的最优效果。
2026-04-17 cs.CV cs.MM cs.SD
Deep Latent Space Learning for Cross-modal Mapping of Audio and Visual Signals
University of Insubria（因苏布里亚大学）；National University of Sciences and Technology（国立科技大学）；Information Technology University（信息技术大学）
我们提出了一种新的深度训练算法，用于音频和视觉信息的联合表示，该算法由单流网络（SSNet）和一种新的损失函数组成，用于学习多模态信息的共享深层潜在空间表示。所提出的框架的特点是共享的潜在空间，利用类中心，这有助于消除需要成对或三重监督。我们在VoxCeleb上定量和定性地评估了所提出的方法，VoxCeleb是一个基准的视听数据集，用于多项任务，包括跨模态验证，跨模态匹配和跨模态检索。在交叉模态验证和匹配上实现了最先进的性能，而在其余应用程序上观察到了类似的结果。我们的实验证明了该技术的有效性跨模态生物识别应用。
2019-09-18 cs.CV cs.SD eess.AS
Lightweight Joint Audio-Visual Deepfake Detection via Single-Stream Multi-Modal Learning Framework
Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；Guilin University of Electronic Technology（桂林电子科技大学）；Alibaba Group（阿里巴巴集团）
针对音视频Deepfake检测中双分支模型冗余且模态关联利用不足的问题，提出单流多模态轻量框架，仅0.48M参数并在多个基准上取得更优检测性能。
2025-06-09 cs.AI cs.LG cs.SD
Audio-visual speech separation based on joint feature representation with cross-modal attention
Northwestern Polytechnical University（西北工业大学）；Nanchang University（南昌大学）
基于多模态的语音分离在多说话人噪声环境中分离目标特征方面具有独特的优势。遗憾的是，大多数现有的分离策略更喜欢基于每个单一模态的特征学习的直接融合，这远远没有充分考虑模态之间的相互关系。受注意力机制的启发，本文提出了一种新的跨模态融合策略，利用不同模态之间的语义相关性，使整个框架受益。为了进一步提高视听语音分离，嘴唇运动的密集光流被纳入，以加强视觉表示的鲁棒性。在两个公共视听语音分离基准数据集上进行了评估。性能的整体改善表明，额外的运动网络有效地增强了组合嘴唇图像和音频信号的视觉表示，以及优于基线的所有指标与建议的跨模态融合。
2022-03-05 cs.CV cs.LG cs.SD
MMDisCo: Multi-Modal Discriminator-Guided Cooperative Diffusion for Joint Audio and Video Generation
Sony AI（索尼人工智能研究院）；Sony Group Corporation（索尼集团公司）
提出MMDisCo方法，利用预训练单模态扩散模型，通过训练轻量级判别器引导模块，以最小成本实现音频与视频的联合生成，提升跨模态对齐与单模态保真度。
2025-02-25 cs.CV cs.LG cs.MM
Bootstrapping Audio-Visual Segmentation by Strengthening Audio Cues
USTC（中国科学技术大学）；Alibaba Group（阿里巴巴集团）
针对视听分割中视觉特征主导音频导致模态不平衡的问题，提出AVSAC方法，通过双向视听解码器和逐帧同步策略增强音频线索，实现更均衡的表示学习并达到新基准。
2024-02-06 cs.CV cs.SD eess.AS
Learning Audio-Visual Correlations from Variational Cross-Modal Generation
Illinois Institute of Technology（伊利诺伊理工学院）；University of Technology Sydney（悉尼科技大学）；Cisco（思科）
人们可以很容易地想象潜在的声音，而看到一个事件。音频和视觉信号之间的这种自然同步揭示了它们内在的相关性。为此，我们提出了学习的视听相关性的角度跨模态生成在一个自我监督的方式，学习的相关性，然后可以很容易地应用于多个下游任务，如视听跨模态定位和检索。我们引入了一种新的变分自编码器（VAE）框架，该框架由多个编码器和一个共享解码器（MS-VAE）组成，并增加了Wasserstein距离约束来解决这个问题。大量的实验表明，所提出的MS-VAE的优化的潜在表示可以有效地学习视听相关性，并可以很容易地应用于多个视听下游任务，以实现有竞争力的性能，即使在训练过程中没有任何给定的标签信息。
2021-02-14 cs.CV cs.SD eess.AS
Multi-modal Residual Perceptron Network for Audio-Video Emotion Recognition
Warsaw University of Technology（华沙理工大学）
音频-视频情感识别现在受到深度神经网络建模工具的攻击。在已发表的论文中，作为一项规则，作者只展示了多模态优于仅音频或仅视频模态的情况。然而，也有情况下的优势，在单峰可以found. In我们的研究中，我们假设，对于情感事件的模糊类别，模态内和模态间的噪声信息间接表示在建模神经网络的参数阻碍了更好的性能，在现有的后期融合和端到端的多模态网络的训练策略。为了利用和克服这两种解决方案中的不足，我们定义了一个多模态残差感知器网络，它从多模态网络分支执行端到端学习，从而推广更好的多模态特征表示。对于所提出的多模态残差感知器网络和用于流媒体数字电影的新颖时间增强，最先进的平均识别率对于The Ryerson Audio-Visual Database of Emotional Speech and Song数据集提高到91.4%，对于Crowd-sourced Emotional Multi-modal Actors数据集提高到83.15%。此外，多模态剩余感知器网络概念显示了其在处理信号源的多模态应用中的潜力，而不仅仅是光学和声学类型。
2021-07-30 cs.AI cs.SD eess.AS
Lightweight Audio Segmentation for Long-form Speech Translation
NAVER Cloud（NAVER云）；KAIST（韩国科学技术院）
本文提出面向长语音翻译的轻量级音频分割模型，通过带标点 ASR 预训练并与底层 ST 系统适当集成，以更小模型规模提升翻译质量。
2024-06-15 cs.CL cs.SD eess.AS
AV-Link: Temporally-Aligned Diffusion Features for Cross-Modal Audio-Video Generation
Rice University（莱斯大学）；Snap Inc（Snap公司）
AV-Link提出统一框架，通过时序对齐自注意力融合冻结的音视频扩散模型特征，同时实现视频到音频和音频到视频生成，在同步性上超越MovieGen等基线。
2025-03-10 cs.CV cs.LG cs.SD
AV-FlowEdit: Training-Free Prompt-Driven Audio-Visual Editing with Event-Aware Spectral Trajectory Preservation
本文提出无需训练的AV-FlowEdit框架，利用源-目标流差异实现提示驱动的视听编辑，通过跨模态事件感知频谱轨迹保留抑制漂移，在提示对齐、时间一致性等方面表现出色。
2026-10-12 cs.CV cs.SD eess.AS
u-HuBERT: Unified Mixed-Modal Speech Pretraining And Zero-Shot Transfer to Unlabeled Modality
Meta AI
虽然视听语音模型与纯音频模型相比可以产生更好的性能和鲁棒性，但它们的开发和采用受到缺乏标记和未标记视听数据以及每个模态部署一个模型的成本的阻碍。在本文中，我们提出了u-HuBERT，这是一个自监督的预训练框架，可以利用多模态和单峰语音，并具有统一的掩蔽聚类预测目标。通过在预训练期间利用模态丢弃，我们证明了单个微调模型可以实现与最先进的模态特定模型相当或更好的性能。此外，我们的模型微调音频可以很好地执行视听和视觉语音输入，实现zero-shot模态泛化多个语音处理任务。特别是，我们的单一模型产生1.2%/1.4%/27.2%的语音识别字出错率的LRS 3与视听/音频/视觉输入。代码和型号可在https://github.com/facebookresearch/av_hubert上获得
2022-11-28 cs.AI cs.CL cs.CV
