Delayed Bidirectional Alignment via Disentangled Audio Semantics for Audio-Visual Segmentation
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Peking University（北京大学）
本文提出DDAVS方法，通过解耦音频语义和延迟双向对齐解决音频视觉分割中的多源纠缠和视听错位问题，实验表明其在多种场景下均取得最优性能。
2026-06-29 cs.CV cs.SD eess.AS
MERIT: Learning Disentangled Music Representations for Audio Similarity
MERIT: Learning Disentangled Music Representations for Audio Similarity（MERIT：学习解耦音乐表示以实现音频相似性）
针对现有音乐相似性模型将旋律、节奏和音色等维度纠缠在一起的问题，提出MERIT框架，通过条件音频生成和源分离茎的训练策略学习解耦的因子特定表示，实现各维度独立响应。
2026-05-26 cs.SD
SAIL: Spatial Audio Intelligence with Large Language Models via Disentangled Acoustic-Spatial Encoding and Dual-Stream Q-Former
Nanyang Technological University（南洋理工大学）；Singapore Management University（新加坡管理大学）；Tencent Hy Frontier Lab（腾讯Hy前沿实验室）；Beijing Institute of Technology（北京理工大学）；University of Surrey（萨里大学）
SAIL提出解耦声学-空间编码与双流Q-Former，保持源级对应，提升多声源空间理解与推理性能。
2026-09-29 cs.AI cs.SD eess.AS
MEDIC: Zero-shot Music Editing with Disentangled Inversion Control
HKUST（香港科技大学）；Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）；ByteDance Inc.（字节跳动公司）
针对零样本音乐编辑中DDIM反转累积误差及复杂编辑难以兼顾保真度与内容完整性的问题，提出MEDIC系统。其核心方法DIC通过三分支解耦反转纠正路径偏差，并结合调和注意力控制生成所需和声与旋律，同时引入ZoME-Bench基准，在编辑保真度和内容保留上优于现有技术。
2025-11-05 cs.SD eess.AS
Harmonic-Percussive Disentangled Neural Audio Codec for Bandwidth Extension
LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI、巴黎电信学院、巴黎理工学院）
本文提出一种基于谐波- percussive 分离的神经音频编码器，通过将带宽扩展视为音频令牌预测问题，提升音频信号的高频重构质量。
2026-10-01 cs.SD
Enhancing Low-Quality Voice Recordings Using Disentangled Channel Factor and Neural Waveform Model
National Institute of Informatics（国立信息学研究所）；SOKENDAI（综合研究大学院大学）；University of Science and Technology of China（中国科学技术大学）
高质量的语音语料库是大多数语音应用的重要基础。然而，由于这些语音数据是在专业记录环境中收集的，因此它们是昂贵且有限的。在这项工作中，我们提出了一个编码器-解码器神经网络，可以自动将低质量的录音增强为专业的高质量录音。为了解决通道可变性，我们首先使用具有对抗训练的编码器网络从原始输入音频中过滤掉通道特征。接下来，我们从参考音频中解开通道因子。以该因子为条件，然后使用自回归解码器来预测目标-环境Mel谱图。最后，我们应用一个类神经声码器来合成语音波形。实验结果表明，该系统在以高质量音频为参考的情况下，能够生成专业的高质量语音波形。与几种最先进的基线系统相比，它还提高了语音增强性能。
2020-11-10 cs.SD eess.AS
DIVINE: Coordinating Multimodal Disentangled Representations for Oro-Facial Neurological Disorder Assessment
Veer Bahadur Singh Purvanchal University（韦尔·巴哈杜尔·辛格·普瓦兰恰尔大学）；UPES（UPES大学）；Ulster University（乌斯特大学）
DIVINE通过多模态解耦和多任务学习，实现对口面部神经系统疾病的高精度评估，达到98.26%的准确率。
2026-01-11 cs.SD eess.AS
Disentangled Feature Learning for Real-Time Neural Speech Coding
Microsoft Research Asia（微软亚洲研究院）
最近，端到端神经音频/语音编码已经显示出其优于传统的基于信号分析的音频编解码器的巨大潜力。这主要是通过遵循VQ-VAE范式来实现的，其中盲特征被学习、矢量量化和编码。在本文中，而不是盲目的端到端的学习，我们提出学习解纠缠的功能，实时的【形】神经语音编码。具体而言，更全球化的扬声器身份和本地内容特征与解纠缠表示语音学习。这种紧凑的特征分解不仅通过利用不同特征之间的比特分配来实现更好的编码效率，而且还提供了在嵌入空间中进行音频编辑的灵活性，例如实时的【形】通信中的语音转换。主观和客观的结果都证明了它的编码效率，我们发现学习的解纠缠特征在任何到任何语音转换上表现出与现代自监督语音表示学习模型相当的性能，具有更少的参数和低延迟，显示了我们的神经编码框架的潜力。
2023-02-25 cs.LG cs.SD eess.AS
Towards Disentangled Speech Representations
New York University（纽约大学）；Google Inc.（谷歌公司）
音频表示的精心构建已经成为许多语音任务设计方法的主要特征。越来越多地，这样的方法强调“解纠缠”，其中表示仅包含与转录相关的部分语音信号，同时丢弃不相关的信息。在本文中，我们构建了一个表示学习任务的基础上，联合建模的ASR和TTS，并寻求学习的音频表示，解开的那部分语音信号，这是相关的转录从那部分，这不是。我们提出的经验证据表明，成功地找到这样的表示是与训练中固有的随机性。然后，我们观察到，这些理想的，解开的解决方案的优化问题具有独特的统计特性。最后，我们表明，在训练过程中强制执行这些属性可以使我们的联合建模任务的WER平均提高24.5%。这些观察激发了一种新的方法来学习有效的音频表示。
2022-08-28 cs.AI cs.SD eess.AS
DeCodec: Rethinking Audio Codecs as Universal Disentangled Representation Learners
Jiutian Artificial Intelligence Research Institute, China Mobile, China State Key Laboratory of Multimedia Information Processing, Peking University, China（九天人工智能研究院，中国移动，国家多媒体信息处理重点实验室，北京大学）
DeCodec通过正交子空间投影和表示交换训练，将音频编解码器转化为通用解耦表示学习器，实现语音与背景声音及语义与副语言的分层解耦，支持灵活特征选择，在语音增强、声音转换、ASR和TTS中展现新能力。
2025-09-11 cs.SD
Fine-grained Disentangled Representation Learning for Multimodal Emotion Recognition
Nankai University（南开大学）；Lingxi (Beijing) Technology Co., Ltd.（灵犀（北京）科技有限公司）
针对多模态情感识别中的模态异质性问题，提出细粒度解缠表示学习框架，通过共享与私有子空间分离及对齐、差异、预测组件，在IEMOCAP上取得WAR 78.34%和UAR 79.44%的领先性能。
2023-12-21 cs.MM cs.SD eess.AS
Multi-target Voice Conversion without Parallel Data by Adversarially Learning Disentangled Audio Representations
National Taiwan University（台湾大学）
最近，周期一致性对抗网络（Cycle-GAN）已成功应用于语音转换到不同的扬声器，而无需并行数据，尽管在这些方法中，每个目标扬声器都需要一个单独的模型。在本文中，我们提出了一个用于语音转换的对抗性学习框架，通过将说话者特征与语音信号中的语言内容分离，可以训练单个模型将语音转换为许多不同的说话者，所有这些都没有并行数据。首先训练一个自动编码器，分别提取说话人独立的潜在表示和说话人嵌入，使用另一个辅助说话人分类器来正则化潜在表示。然后，解码器将说话者无关潜在表示和目标说话者嵌入作为输入，以生成具有源话语的语言内容的目标说话者的语音。解码器输出的质量通过与由另一对发生器和ADC产生的残余信号进行修补而进一步提高。在初步实验中测试了20个目标说话人集的大小，并且获得了非常好的语音质量。报告常规语音转换度量。我们还表明，说话人的信息已被适当减少的潜在表示。
2018-06-24 cs.CL cs.SD eess.AS
Hierarchical disentangled representation learning for singing voice conversion
Sony（索尼）
由于数据的高维性，传统的歌唱声转换（SVC）方法通常在高分辨率音频中操作。在本文中，我们提出了一个分层的表示学习，使独立的多分辨率的解纠缠表示的学习。利用学习到的解纠缠表示，所提出的方法从低到高分辨率逐步执行SVC。实验结果表明，所提出的方法优于基线操作与一个单一的分辨率方面的平均意见得分（MOS），相似性得分，和音高准确性。
2021-04-26 cs.LG cs.SD eess.AS
On Metric Learning for Audio-Text Cross-Modal Retrieval
University of Surrey（萨里大学）
音频文本检索的目的是在给定另一模态的查询的情况下从候选者池中检索目标音频片段或字幕。解决这种跨模态检索任务是具有挑战性的，因为它不仅需要学习两种模态的鲁棒特征表示，而且还需要捕获这两种模态之间的细粒度对齐。现有的跨模态检索模型大多是通过度量学习目标来优化的，因为它们都试图将数据映射到嵌入空间，在嵌入空间中，相似的数据靠得很近，不相似的数据相距很远。与其他跨模态的检索任务，如图像-文本和视频-文本检索，音频-文本检索仍然是一个未开发的任务。在这项工作中，我们的目标是研究不同的度量学习目标对音频文本检索任务的影响。我们对AudioCaps和Clotho数据集上流行的度量学习目标进行了广泛的评估。我们证明了自监督学习的NT-Xent损失在不同的数据集和训练设置中表现出稳定的性能，并且优于流行的基于三元组的损失。我们的代码可在https://github.com/XinhaoMei/audio-text_retrieval上获得。
2022-06-30 cs.SD eess.AS
Attention-based cross-modal fusion for audio-visual voice activity detection in musical video streams
Bytedance AI Lab（字节跳动人工智能实验室）
以前很多视听人声相关的作品都把重点放在语音上，忽略了互联网上越来越多的音乐视频流中的歌声。对于处理不同的音乐视频数据，语音活动检测是必要的步骤。本文试图检测语音和演唱的目标表演者的声音在音乐视频流使用视听信息。为了整合音频和视觉模态的信息，提出了一种多分支网络来学习音频和图像表示，并通过基于语义相似性的注意力融合表示，通过锚发声的概率来形成声学表示。实验结果表明，在复杂的声学环境中，该多分支网络的性能远优于纯音频模型，表明基于语义相关的跨模态信息融合是合理和成功的。
2021-06-21 cs.SD eess.AS
Disentangled Speech Embeddings using Cross-modal Self-supervision
University of Oxford（牛津大学）；Naver Corporation（Naver公司）
本文的目的是在不访问手动注释数据的情况下学习说话者身份的表示。为此，我们开发了一个自监督学习目标，该目标利用了视频中人脸和音频之间的自然跨模态同步。我们的方法背后的关键思想是梳理分开-没有注释-语言内容和说话者身份的表征。我们构建了一个双流体系结构：（1）共享两种表示共有的低级特征;（2）提供了一种自然的机制，用于明确地解开这些因素，为内容和身份的新组合提供更大的概括潜力，并最终产生更强大的扬声器身份表示。我们训练我们的方法在一个大规模的音频-视频数据集说话的头“在野外”，并证明其有效性，通过评估标准的说话人识别性能的发言人表示。
2020-05-04 cs.CV cs.SD eess.AS
Soft Disentanglement in Frequency Bands for Neural Audio Codecs
European Research Council（欧洲研究理事会）
针对现有音频特征解耦方法依赖数据或任务假设的问题，提出基于频谱分解与多分支编解码器的可泛化解耦方法，在重构、感知性能上优于SOTA基线，且在补全任务有潜力。
2025-10-04 cs.SD
From Contrast to Commonality: Audio Commonality Captioning for Enhanced Audio-Text Cross-modal Understanding in Multimodal LLMs
TMCC, College of Computer Science, Nankai University, Tianjin, China（TMCC，计算机科学学院，南开大学，天津，中国）
本文提出音频共同性描述方法，旨在增强多模态大语言模型中音频与文本的跨模态理解，通过捕捉音频片段间的共享语义以改善模型的泛化能力与任务特定性能。
2026-01-25 cs.SD eess.AS
Non-Parallel Sequence-to-Sequence Voice Conversion with Disentangled Linguistic and Speaker Representations
University of Science and Technology of China（中国科学技术大学）
本文提出了一种使用非并行训练数据的序列到序列（seq2seq）语音转换方法。在该方法中，从声学特征中提取分离的语言和说话人表示，并通过保留源话语的语言表示而用目标话语替换说话人表示来实现语音转换。我们的模型是建立在编码器-解码器神经网络的框架下。设计了一个识别编码器，通过两种策略来学习解纠缠的语言表示。首先，介绍了训练数据的音素转换，为学习音频信号的语言表示提供参考。其次，采用对抗性训练策略进一步消除语言表征中的说话人信息。同时，通过扬声器编码器从音频信号中提取扬声器表示。通过两阶段训练来估计模型参数，包括使用多说话者数据集的预训练阶段和使用特定转换对的数据集的微调阶段。由于用于恢复声学特征的识别编码器和解码器都是seq2seq神经网络，因此在我们提出的方法中没有帧对齐和逐帧转换的约束。实验结果表明，我们的方法比2018年语音转换挑战赛中最好的非并行语音转换方法获得了更高的相似度和自然度。此外，我们提出的方法的性能接近最先进的并行seq2seq语音转换方法。
2019-12-13 cs.SD eess.AS
Improving Audio-Text Retrieval via Hierarchical Cross-Modal Interaction and Auxiliary Captions
School of ECE, Peking University（北京大学电子学院）
本文提出分层跨模态交互方法，同时建模音频片段-句子、片段-短语和帧-词关系，并利用预训练字幕生成器产生的辅助字幕增强音频表示与数据增强，从而在多个数据集上稳定提升音频-文本检索性能。
2025-05-03 cs.SD eess.AS
Audio-Visual Speech Enhancement and Separation by Utilizing Multi-Modal Self-Supervised Embeddings
Carnegie Mellon University（卡内基梅隆大学）；National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；Edinburgh Napier University（爱丁堡龙比亚大学）
本文提出在预训练AV-HuBERT后接入SE模块并配合微调，用于AVSE和AVSS，实验证明其优于现有AVSE及纯音频SE方法。
2023-06-01 cs.SD eess.AS
Using Large Pre-Trained Models with Cross-Modal Attention for Multi-Modal Emotion Recognition
Freshworks Inc.（Freshworks公司）
最近，自监督预训练在机器学习的许多领域都有了显着的改进，包括语音和NLP。我们建议使用大型的自监督预训练模型，用于音频和文本模态，并具有跨模态注意力，用于多模态情感识别。我们使用Wav2Vec2.0 [1]作为稳健语音特征提取的音频编码器基础，使用BERT模型[2]作为文本编码器基础，以更好地表示文本的上下文。这些在大量未标记数据上训练的高容量模型包含丰富的特征表示，并提高了下游任务的性能。我们使用跨模态注意力[3]机制来学习自监督模型中音频和文本表示之间的对齐。跨模态注意也有助于提取音频和文本特征之间的交互信息。我们从帧级特征中获得话语级特征表示，使用音频和文本模态的统计池，并使用早期融合技术将它们结合起来。我们的实验表明，与IEMOCAP数据集[35]上的先前最先进的方法[3]相比，所提出的方法在准确度上获得了1.88%的绝对提高。我们还进行了音频和文本模态的单峰实验，并将它们与以前的最佳方法进行比较。
2021-08-22 cs.SD eess.AS
On Negative Sampling for Contrastive Audio-Text Retrieval
Tampere University（坦佩雷大学）
本文研究了音频文本检索中的对比学习中的负采样问题。负采样的策略是指从正音频-文本对的候选池中选择负（音频片段或文本描述）。我们通过模型估计的音频和文本样本的模态内和跨模态相关性分数探索采样策略。在文献[1]的检索系统上，我们研究了八种抽样策略，包括硬和半硬负抽样。实验结果表明，不同策略的检索性能差异很大.特别地，通过选择具有跨模态分数的半硬否定，检索系统在文本到音频和音频到文本检索中获得改进的性能。此外，我们发现，功能崩溃时发生采样硬否定与跨模态分数。
2023-02-17 cs.SD eess.AS
Disentangled Global-Local Feature Learning with E-Branchformer for Audio Deepfake Detection
National University of Singapore（新加坡国立大学）；Hanoi University of Science and Technology（河内理工大学）
提出基于E-Branchformer的并行双分支架构，利用自监督语音表示，通过多头自注意力和卷积捕获全局与局部特征，集成深度卷积和压缩-激励模块增强分类令牌，在ASVspoof 2021等数据集上取得最优性能。
2026-09-09 cs.SD
Audio Description from Image by Modal Translation Network
Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences（中国科学院西安光学精密机械研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Northwestern Polytechnical University（西北工业大学）
音频是视障者获取信息的主要形式。在现实中，各种视觉数据总是存在的，但音频数据在许多情况下并不存在。为了帮助视觉障碍者更好地感知周围的信息，本文提出了一种图像到音频描述（I2 AD）任务来从图像生成音频描述。为了完成这一全新的任务，提出了从视觉到听觉的模态翻译网络（MT-Net）。所提出的MT-Net包括三个渐进子网络：1）特征学习，2）跨模态映射和3）音频生成。首先，特征学习子网络旨在从图像和音频中学习语义特征，包括图像特征学习和音频特征学习。其次，跨模态映射子网络将图像特征转换为与音频特征具有相同语义概念的跨模态表示。通过这种方式，有效地挖掘了模态间数据的相关性，以缓解图像和音频之间的异构性差距。最后，设计了音频生成子网络，用于从交叉模态表示中生成音频波形。根据采样频率对生成的音频波形进行插值，得到相应的音频文件。作为探索I2 AD任务的第一次尝试，构建了三个具有大量手动音频描述的大规模数据集。实验结果验证了直接从图像中生成清晰语音的可行性和方法的有效性。
2021-03-18 cs.MM cs.SD eess.AS
Deep Cross-Modal Correlation Learning for Audio and Lyrics in Music Retrieval
National Institute of Informatics（国立信息学研究所）；The University of Electro-Communications（电气通信大学）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；Hong Kong University of Science and Technology（香港科技大学）
很少有研究集中在跨模态相关学习，其中考虑到不同的数据模态，如音频和歌词的时间结构。基于音乐的时间结构特点，我们有动机去了解音频和歌词之间的深层序列相关性。在这项工作中，我们提出了一个深度跨模态相关学习架构，涉及用于音频模态和文本模态（歌词）的双分支深度神经网络。不同的模态数据被转换到同一个典型空间，其中模态间典型相关分析被用作目标函数来计算时间结构的相似性。这是第一次通过深度架构来理解语言和音乐音频之间的相关性，以学习音频和歌词的配对时间相关性。使用预训练的Doc2vec模型和全连接层（全连接深度神经网络）来表示歌词。在音频分支中做出了两个重要贡献，如下：i）研究了预训练的CNN，然后是完全连接的层，用于表示音乐音频。ii）我们进一步提出了一种端到端架构，可以同时训练卷积层和全连接层，以更好地学习音乐音频的时间结构。特别是，我们的端到端深度架构包含两个属性：同时实现特征学习和跨模态相关学习，以及通过考虑时间结构来学习联合表示。实验结果，使用音频检索歌词或使用歌词检索音频，验证了所提出的深度相关学习架构在跨模态音乐检索的有效性。
2017-11-29 cs.IR cs.SD eess.AS
Learning Contextually Fused Audio-visual Representations for Audio-visual Speech Recognition
University of Science and Technology of China（中国科学技术大学）；iFlytek Research, iFlytek Co., Ltd.（科大讯飞股份有限公司讯飞研究院）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）
随着自监督学习在音频和视觉模态的进步，它已经成为可能学习一个强大的视听语音表示。这将有利于提高视听语音识别（AVSR）性能，因为多模态输入原则上包含更多有用的信息。在本文中，基于现有的自监督表示学习方法的音频模态，因此，我们提出了一个视听表示学习方法。所提出的方法探讨了视听形式的互补性和长期的上下文依赖性，使用基于变换器的融合模块和灵活的掩蔽策略。经过预训练，该模型能够提取AVSR所需的融合表示。不失一般性，它可以应用于单模态任务，例如，通过简单地屏蔽融合模块中的一个模态来进行音频/视觉语音识别。建议的预训练模型进行评估语音识别和唇读任务使用一个或两个模态，其中的优越性被揭示。
2022-07-10 cs.SD eess.AS eess.IV
Disentangled Dual-Branch Graph Learning for Conversational Emotion Recognition
College of Computer and Mathematics（计算机与数学学院）；Central South University of Forestry and Technology（林业科技大学）；Changsha Hospital for Maternal and Child Health Care（长沙妇幼保健医院）；Department of Computer Science, State University of New York（纽约州立大学计算机科学系）
本文提出解耦双分支图学习框架，通过分离模态不变和特定特征，结合傅里叶图神经网络和说话人感知超图，提升对话情感识别性能。
2026-04-03 cs.AI cs.SD eess.AS
Audio-to-symbolic Arrangement via Cross-modal Music Representation Learning
NYU Shanghai（上海纽约大学）；Tencent PCG（腾讯平台与内容事业群）
我们能否根据流行歌曲的音频自动推导出钢琴伴奏的乐谱？这就是我们在本文中所要解决的音频到符号的排列问题。一个好的编曲模型不仅要考虑音频内容，还要有钢琴作曲的先验知识（这样生成的作品听起来像音频，同时保持音乐性）。为此，我们贡献了一个跨模态表示学习模型，该模型1）从音频中提取和弦和旋律信息，2）从音频和损坏的地面真值排列中学习纹理表示。我们进一步引入了一个量身定制的训练策略，逐渐将纹理信息的来源从损坏的分数转移到音频。最后，基于分数的纹理后验被简化为标准的正态分布，并且仅需要音频进行推理。实验表明，我们的模型捕捉主要的音频信息，并优于基线的生成质量。
2022-02-22 cs.LG cs.SD eess.AS
Representation Learning for Semantic Alignment of Language, Audio, and Visual Modalities
Audio Research Group, Tampere University（塔尔皮莱大学音频研究组）
针对现有三模态两阶段对齐方法存在数据分布不匹配、效果次优的问题，本文提出基于对比学习的单阶段训练方法，利用AVCaps数据集联合优化多模态表示，在音频驱动视觉检索任务上实现两倍性能提升。
2025-05-20 cs.MM cs.SD eess.AS
AVGZSLNet: Audio-Visual Generalized Zero-Shot Learning by Reconstructing Label Features from Multi-Modal Embeddings
IIT Kanpur（印度理工学院坎普尔分校）；University of Bath（巴斯大学）
在本文中，我们提出了一种新的方法，用于多模态环境中的广义零样本学习，其中我们在测试过程中有新的音频/视频类，这些类在训练过程中看不到。我们使用文本嵌入的语义相关性作为零样本学习的手段，通过将音频和视频嵌入与相应的类标签文本特征空间对齐。我们的方法使用一个交叉模态解码器和一个复合三重损失。跨模态解码器强制执行一个约束，即类标签文本特征可以从数据点的音频和视频嵌入中重构。这有助于音频和视频嵌入更接近类标签文本嵌入。复合三元组丢失利用音频、视频和文本嵌入。它有助于在多模态设置中将来自同一个类的嵌入拉近，并将来自不同类的嵌入推开。这有助于网络在多模态零样本学习任务上表现得更好。重要的是，即使在测试时缺少模态，我们的多模态零样本学习方法也有效。我们测试我们的方法上的广义zero-shot分类和检索任务，并表明，我们的方法优于其他模型中存在的一个单一的方式，以及在存在多个方式。我们通过与以前的方法进行比较并使用各种消融来验证我们的方法。
2020-11-23 cs.CV cs.SD eess.AS
Prosody-Enhanced Acoustic Pre-training and Acoustic-Disentangled Prosody Adapting for Movie Dubbing
Hangzhou Dianzi University（杭州电子科技大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Adelaide（阿德莱德大学）；Macquarie University（麦考瑞大学）
针对电影配音数据有限和噪声问题，提出声学-韵律解耦的两阶段方法，通过韵律增强预训练、冻结声学系统并适配韵律与风格，结合领域内情感分析提升对齐效果。
2025-03-18 cs.CV cs.SD eess.AS
Exploring the Role of Audio in Video Captioning
Northeastern University（东北大学）；ByteDance（字节跳动）
本文提出一种音视频字幕生成框架，利用原始音频信号而非ASR文本，通过模态平衡预训练损失和局部-全局融合机制，在四个数据集上显著提升性能，部分指标超越现有最优方法。
2023-06-21 cs.CV cs.SD eess.AS
Cross-Modal Watermarking for Authentic Audio Recovery and Tamper Localization in Synthesized Audiovisual Forgeries
Korea University（韩国大学）；New York University（纽约大学）
本文提出跨模态水印框架，将真实音频嵌入视觉内容中，以在合成视听伪造中实现真实音频恢复和音频篡改定位，实验验证其对语音克隆和唇形同步等操纵的有效防御能力。
2025-07-17 cs.MM cs.SD eess.AS
Deep Latent Space Learning for Cross-modal Mapping of Audio and Visual Signals
University of Insubria（因苏布里亚大学）；National University of Sciences and Technology（国立科技大学）；Information Technology University（信息技术大学）
我们提出了一种新的深度训练算法，用于音频和视觉信息的联合表示，该算法由单流网络（SSNet）和一种新的损失函数组成，用于学习多模态信息的共享深层潜在空间表示。所提出的框架的特点是共享的潜在空间，利用类中心，这有助于消除需要成对或三重监督。我们在VoxCeleb上定量和定性地评估了所提出的方法，VoxCeleb是一个基准的视听数据集，用于多项任务，包括跨模态验证，跨模态匹配和跨模态检索。在交叉模态验证和匹配上实现了最先进的性能，而在其余应用程序上观察到了类似的结果。我们的实验证明了该技术的有效性跨模态生物识别应用。
2019-09-18 cs.CV cs.SD eess.AS
Toward Improving Synthetic Audio Spoofing Detection Robustness via Meta-Learning and Disentangled Training With Adversarial Examples
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Center for Robust Speech Systems (CRSS)（鲁棒语音系统中心）
针对未见合成欺骗攻击导致ASV系统性能下降的问题，提出加权加性角度间隔损失、元学习损失、对抗样本数据增强及辅助BN和注意力模块，在ASVspoof 2019 LA上实现0.87% EER，有效提升检测鲁棒性。
2024-08-23 cs.AI cs.SD eess.AS
Cross-Modal Contrastive Representation Learning for Audio-to-Image Generation
Korea University（高丽大学）
某些信息的多种形式提供了关于该信息的各种观点，这可以改善对信息的理解。因此，从现有数据中生成不同模态的数据以增强理解可能至关重要。在本文中，我们研究了跨模态音频到图像的生成问题，并提出跨模态对比表示学习（CMCRL）提取有用的功能，从音频和使用它在生成阶段。实验结果表明，CMCRL提高了图像质量比以前的研究。
2022-07-20 cs.CV cs.GR cs.SD
Evaluating Disentangled Representations for Controllable Music Generation
本文评估了音乐生成中解耦表示的有效性，发现现有方法在可控生成中存在语义不一致问题，需重新审视解耦策略。
2026-02-15 cs.LG cs.SD eess.AS
pyAMPACT: A Score-Audio Alignment Toolkit for Performance Data Estimation and Multi-modal Processing
pyAMPACT是一种用于表演数据估计和多模态处理的工具，通过符号与音频的对齐实现性能数据的估计及多模态分析
2026-01-05 cs.MM cs.SD eess.AS
MMCosine: Multi-Modal Cosine Loss Towards Balanced Audio-Visual Fine-Grained Learning
Renmin University of China（中国人民大学）
视听学习通过融合多种形式的实用信息，有助于全面认识世界。然而，最近的研究表明，在一个联合学习模型中的单模态编码器的不平衡优化是一个瓶颈，以提高该模型的性能。我们进一步发现，最新的不平衡缓解方法失败的一些视听细粒度的任务，有较高的要求，可区分的特征分布。在余弦损失成功构建超球面特征空间并实现较低类内角度变化的推动下，本文提出了多模态余弦损失，MMCosine。它对特征和权重执行模态方面的$L_2$规范化，以实现平衡和更好的多模态细粒度学习。我们证明，我们的方法可以减轻不平衡优化的角度来看，重量范数和充分利用的余弦度量的可辨别性。大量的实验证明了我们的方法的有效性和先进的多模态融合策略和最新的不平衡缓解方法的通用性。
2023-03-11 cs.MM cs.SD eess.AS
Bootstrapping Audio-Visual Segmentation by Strengthening Audio Cues
USTC（中国科学技术大学）；Alibaba Group（阿里巴巴集团）
针对视听分割中视觉特征主导音频导致模态不平衡的问题，提出AVSAC方法，通过双向视听解码器和逐帧同步策略增强音频线索，实现更均衡的表示学习并达到新基准。
2024-02-06 cs.CV cs.SD eess.AS
A Unified Framework for Modality-Agnostic Deepfakes Detection
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；University at Buffalo, State University of New York（纽约州立大学布法罗分校）；RealAI Inc（RealAI公司）
针对跨模态伪造与模态缺失问题，本文提出虚假模态无关的统一音视频 deepfake 检测框架，利用 AVSR 提取跨模态语音关联并采用双标签独立检测，在三个数据集上优于现有方法。
2023-10-24 cs.MM cs.SD eess.AS
DMP-TTS: Disentangled multi-modal Prompting for Controllable Text-to-Speech with Chained Guidance
University of Science and Technology of China（科学技术大学）
DMP-TTS通过解耦多模态提示和链式引导技术，实现了更强的文本到语音风格可控性，同时保持良好的可懂度和自然度。
2025-12-10 cs.SD
Lightweight Joint Audio-Visual Deepfake Detection via Single-Stream Multi-Modal Learning Framework
Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；Guilin University of Electronic Technology（桂林电子科技大学）；Alibaba Group（阿里巴巴集团）
针对音视频Deepfake检测中双分支模型冗余且模态关联利用不足的问题，提出单流多模态轻量框架，仅0.48M参数并在多个基准上取得更优检测性能。
2025-06-09 cs.AI cs.LG cs.SD
Audio-visual speech separation based on joint feature representation with cross-modal attention
Northwestern Polytechnical University（西北工业大学）；Nanchang University（南昌大学）
基于多模态的语音分离在多说话人噪声环境中分离目标特征方面具有独特的优势。遗憾的是，大多数现有的分离策略更喜欢基于每个单一模态的特征学习的直接融合，这远远没有充分考虑模态之间的相互关系。受注意力机制的启发，本文提出了一种新的跨模态融合策略，利用不同模态之间的语义相关性，使整个框架受益。为了进一步提高视听语音分离，嘴唇运动的密集光流被纳入，以加强视觉表示的鲁棒性。在两个公共视听语音分离基准数据集上进行了评估。性能的整体改善表明，额外的运动网络有效地增强了组合嘴唇图像和音频信号的视觉表示，以及优于基线的所有指标与建议的跨模态融合。
2022-03-05 cs.CV cs.LG cs.SD
AlignVSR: Audio-Visual Cross-Modal Alignment for Visual Speech Recognition
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）
AlignVSR通过音视频跨模态全局注意力对齐与帧级局部对齐损失，利用音频辅助信息提升视觉语音识别性能，在LRS2和CNVSRC.Single数据集上优于主流VSR方法。
2024-10-21 cs.CV cs.MM cs.SD
Learning Audio-Visual Correlations from Variational Cross-Modal Generation
Illinois Institute of Technology（伊利诺伊理工学院）；University of Technology Sydney（悉尼科技大学）；Cisco（思科）
人们可以很容易地想象潜在的声音，而看到一个事件。音频和视觉信号之间的这种自然同步揭示了它们内在的相关性。为此，我们提出了学习的视听相关性的角度跨模态生成在一个自我监督的方式，学习的相关性，然后可以很容易地应用于多个下游任务，如视听跨模态定位和检索。我们引入了一种新的变分自编码器（VAE）框架，该框架由多个编码器和一个共享解码器（MS-VAE）组成，并增加了Wasserstein距离约束来解决这个问题。大量的实验表明，所提出的MS-VAE的优化的潜在表示可以有效地学习视听相关性，并可以很容易地应用于多个视听下游任务，以实现有竞争力的性能，即使在训练过程中没有任何给定的标签信息。
2021-02-14 cs.CV cs.SD eess.AS
AV-Link: Temporally-Aligned Diffusion Features for Cross-Modal Audio-Video Generation
Rice University（莱斯大学）；Snap Inc（Snap公司）
AV-Link提出统一框架，通过时序对齐自注意力融合冻结的音视频扩散模型特征，同时实现视频到音频和音频到视频生成，在同步性上超越MovieGen等基线。
2025-03-10 cs.CV cs.LG cs.SD
MA-AVT: Modality Alignment for Parameter-Efficient Audio-Visual Transformers
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Carnegie Mellon University（卡内基梅隆大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出MA-AVT，一种参数高效的音视频Transformer，通过联合单模态与多模态token学习、逐块对比学习及判别性前景挖掘实现深度模态对齐，在多个基准上显著超越现有方法。
2024-06-07 cs.CV cs.MM cs.SD
Investigating Modality Bias in Audio Visual Video Parsing
Indian Institute of Technology, Bombay（印度理工学院孟买分校）
我们专注于视听视频解析（AVVP）的问题，涉及检测音频和视觉事件标签的时间边界。这项任务特别具有挑战性，因为它是弱监督的，只有事件标签作为每个视频的标签袋可用。AVVP的现有最先进模型使用混合注意力网络（HAN）来生成音频和视觉模态的跨模态特征，以及集中预测的音频和视觉片段级事件概率以产生视频级事件概率的注意力池化模块。我们提供了一个详细的分析，在现有的HAN架构，其中的模态是完全忽略在预测过程中的模态偏差。我们还提出了一个变种的特征聚合HAN，导致在F-分数的绝对增益约2%和1.6%的视觉和视听事件在两个段级和事件级，相比现有的HAN模型。
2022-11-11 cs.CV cs.MM cs.SD
Multi-modal Residual Perceptron Network for Audio-Video Emotion Recognition
Warsaw University of Technology（华沙理工大学）
音频-视频情感识别现在受到深度神经网络建模工具的攻击。在已发表的论文中，作为一项规则，作者只展示了多模态优于仅音频或仅视频模态的情况。然而，也有情况下的优势，在单峰可以found. In我们的研究中，我们假设，对于情感事件的模糊类别，模态内和模态间的噪声信息间接表示在建模神经网络的参数阻碍了更好的性能，在现有的后期融合和端到端的多模态网络的训练策略。为了利用和克服这两种解决方案中的不足，我们定义了一个多模态残差感知器网络，它从多模态网络分支执行端到端学习，从而推广更好的多模态特征表示。对于所提出的多模态残差感知器网络和用于流媒体数字电影的新颖时间增强，最先进的平均识别率对于The Ryerson Audio-Visual Database of Emotional Speech and Song数据集提高到91.4%，对于Crowd-sourced Emotional Multi-modal Actors数据集提高到83.15%。此外，多模态剩余感知器网络概念显示了其在处理信号源的多模态应用中的潜力，而不仅仅是光学和声学类型。
2021-07-30 cs.AI cs.SD eess.AS
Sound2Vision: Generating Diverse Visuals from Audio through Cross-Modal Latent Alignment
POSTECH（浦项科技大学）；KAIST（韩国科学技术院）；Yonsei University（延世大学）
本研究提出Sound2Vision跨模态生成方法，通过音视频模态对齐将音频特征转换到视觉潜空间以生成图像，结合声源定位提升质量，在多个数据集上表现优于现有方法且具备良好泛化性。
2024-12-09 cs.CV cs.MM cs.SD
Multi-Modality in Music: Predicting Emotion in Music from High-Level Audio Features and Lyrics
University of Copenhagen（哥本哈根大学）
本文旨在测试多模态方法的音乐情感识别（MER）是否比单模态的高层次的歌曲特征和歌词。我们使用从Spotify API检索的11个歌曲特征，组合歌词特征，包括情感，TF-IDF和Anew，以预测Deezer情绪检测数据集（DMDD）（Delbouys et al.，2018），具有4种不同的回归模型。我们发现，在11个高级歌曲特征中，主要有5个对性能有贡献，多模态特征在预测效价时比单独的音频做得更好。我们使我们的代码可供使用。
2023-02-26 cs.CL cs.MM cs.SD
UNQA: Unified No-Reference Quality Assessment for Audio, Image, Video, and Audio-Visual Content
School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
本文提出统一无参考质量评估模型UNQA，通过多模态联合训练策略和模态回归模块，实现对音频、图像、视频及视听内容的单一模型质量评估，提升了特征鲁棒性并降低了部署成本。
2024-07-29 cs.MM cs.SD eess.AS
