Can audio-visual integration strengthen robustness under multimodal attacks?
University of Rochester（罗切斯特大学）
在本文中，我们提出了一个系统的研究机器多感官感知攻击。我们使用视听事件识别任务对抗多模态对抗攻击作为代理来研究视听学习的鲁棒性。我们攻击音频，视觉，以及这两种形式，以探索视听整合是否仍然加强感知，以及不同的融合机制如何影响视听模型的鲁棒性。为了解释攻击下的多模态交互，我们学习了一个弱监督声源视觉定位模型来定位视频中的发声区域。为了抵御多模态攻击，我们提出了一种基于视听相异性约束和外部特征存储体的视听防御方法。大量的实验表明，视听模型易受多模态对抗攻击的影响;视听融合不仅不能增强模型的鲁棒性，反而会降低模型的鲁棒性;即使是弱监督的声源视觉定位模型也能被成功欺骗;我们的防御方法可以在不显著牺牲模型性能的情况下提高视听网络的抗毁性。
2021-04-05 cs.CR cs.CV cs.SD
EXAM2: Extending Audio Understanding in Multilingual and Multimodal Analysis
本文提出多语言多模态音频理解基准EXAM²，评估现有模型发现其存在多语言跨模态理解差距，微调的Gemma3n-EXAM²性能显著提升，推动相关研究发展。
2026-10-05 cs.AI cs.SD
CALM: Contrastive Aligned Audio-Language Multirate and Multimodal Representations
Apple（苹果公司）
获得音频和词汇输入的多模态表示是自然语言理解（NLU）的核心问题。在本文中，我们提出了对比对齐的音频语言多速率和多模态表示（CALM），一种使用音频和词汇输入中固有的对比和多速率信息来学习多模态表示的方法。该模型将声学和词汇信息对齐在预训练的仅语言上下文嵌入模型的输入嵌入空间中。通过将音频表示与预训练的语言表示对齐，并利用声学输入之间的对比信息，CALM能够在短短几个小时的训练时间内引导音频嵌入，与现有的音频表示模型竞争。在操作上，通过频谱Transformer（SpecTran）使用线性化补丁来处理音频频谱图，频谱transformer（SpecTran）使用对比音频语言预训练目标来训练，以将来自类似查询的音频和语言对齐。随后，所导出的声学和词汇标记表示被输入到多模态Transformer中以并入话语级上下文并导出所提出的CALM表示。我们表明，这些预训练的嵌入随后可以用于多模态监督任务，并证明了所提出的预训练步骤在两个嵌入空间的对齐和预训练的多速率性质方面的好处。我们的系统表现出10- 25%的改进，现有的情感识别系统，包括国家的最先进的三模态系统在各种评价目标。
2022-02-08 cs.SD eess.AS eess.SP
Enhancing Retrieval-Augmented Audio Captioning with Generation-Assisted Multimodal Querying and Progressive Learning
Interdisciplinary Program in Artificial Intelligence（人工智能交叉学科项目）；Department of Intelligence and Information（智能与信息系）
针对音频字幕检索仅用单模态音频查询的局限，提出生成辅助多模态查询与渐进式交错音频-文本对学习策略，在多个基准上达到最先进性能。
2025-06-10 cs.AI cs.SD eess.AS
Adaptive Discovery of Interpretable Audio Attributes with Multimodal LLMs for Low-Resource Classification
Kyoto University（京都大学）
本文提出利用多模态大语言模型自适应发现可解释音频属性，提升低资源音频分类的效率和准确性。
2026-03-07 cs.LG cs.SD
From Contrast to Commonality: Audio Commonality Captioning for Enhanced Audio-Text Cross-modal Understanding in Multimodal LLMs
TMCC, College of Computer Science, Nankai University, Tianjin, China（TMCC，计算机科学学院，南开大学，天津，中国）
本文提出音频共同性描述方法，旨在增强多模态大语言模型中音频与文本的跨模态理解，通过捕捉音频片段间的共享语义以改善模型的泛化能力与任务特定性能。
2026-01-25 cs.SD eess.AS
Multimodal Self-Supervised Learning of General Audio Representations
DeepMind（深度思维）
我们提出了一个多模态框架，从视频中学习一般的音频表示。现有的对比音频表示学习方法主要集中在训练过程中单独使用音频模态。在这项工作中，我们表明，视频中包含的额外信息可以用来大大提高学习功能。首先，我们证明了我们的对比框架不需要高分辨率的图像来学习良好的音频特征。这使我们能够扩大训练批次的大小，同时将额外视频模态引起的计算负载保持在合理的水平。其次，我们使用混合不同样本的增强。我们表明，这是有效的，使代理任务更难，从而导致大量的性能提高时，增加批量大小。因此，我们的音频模型在AudioSet分类下游任务上实现了最先进的42.4 mAP，缩小了在同一数据集上训练的监督和自监督方法之间的差距。此外，我们表明，我们的方法在广泛的非语义音频任务，包括说话人辨识，关键字定位，语言识别和乐器分类是有利的。
2021-04-28 cs.SD eess.AS
ModalityMirror: Improving Audio Classification in Modality Heterogeneity Federated Learning with Multimodal Distillation
University of Southern California（南加利福尼亚大学）
针对多模态联邦学习中客户端模态异构导致音频等次要模态性能不佳的问题，提出ModalityMirror框架，通过模态级FL聚合与多模态客户端上的联邦知识蒸馏两阶段训练，显著提升了视频缺失场景下的音频分类性能。
2024-08-28 cs.AI cs.SD eess.AS
A Light-Weight Multimodal Framework for Improved Environmental Audio Tagging
Robert Bosch LLC（罗伯特·博世有限责任公司）；Carnegie Mellon University（卡内基梅隆大学）
强标签的缺乏严重限制了最先进的全监督音频标记系统扩展到更大的数据集。同时，基于未标记视频的视听学习模型已经成功地应用于音频标记，但它们不可避免地需要很长的训练时间和资源。在这项工作中，我们提出了一个轻量级的，多模式的环境音频标记框架。该框架的音频分支是基于多实例学习（MIL）的卷积和递归神经网络（CRNN）。它使用大量弱标记YouTube视频摘录的音频轨道进行训练;视频分支使用预先训练的最先进的图像识别网络和词嵌入从视频轨道中提取信息，并将视觉对象映射到声音事件。在DCASE 2017挑战的音频标记任务上的实验表明，视频信息的并入在$F_1$分数方面将强基线音频标记系统绝对提高了5.3%。整个系统可以在单个GPU上在6~小时内完成训练，并且可以很容易地转移到其他音频任务，如语音情感分析。
2018-03-01 cs.SD eess.AS
Leveraging large multimodal models for audio-video deepfake detection: a pilot study
Tencent Youtu Lab（腾讯优图实验室）；Fudan University（复旦大学）
本文提出AV-LMMDetect，利用大型多模态模型进行音频视频深度伪造检测，通过监督微调和分阶段训练，在多个数据集上达到新的性能水平。
2026-02-25 cs.CV cs.SD
HunyuanVideo-Foley: Multimodal Diffusion with Representation Alignment for High-Fidelity Foley Audio Generation
针对视频生成中同步音频缺失的问题，提出HunyuanVideo-Foley端到端框架，通过100k小时数据集、表示对齐策略及多模态扩散transformer，实现高保真且与视觉动态和语义对齐的拟音音频生成，性能达SOTA。
2025-08-23 cs.CV cs.SD eess.AS
MeanFlow-Accelerated Multimodal Video-to-Audio Synthesis via One-Step Generation
School of Electronic Information, Wuhan University, Wuhan, China（武汉大学电子信息学院）；MiLM Plus, Xiaomi Inc., Wuhan, China（小米公司MiLM Plus团队）
本文提出MeanFlow加速模型，利用平均速度实现一步生成，在保持音频质量的同时显著提升视频到音频及文本到音频合成的推理效率。
2025-09-08 cs.AI cs.SD
Audio Is the Achilles' Heel: Red Teaming Audio Large Multimodal Models
Monash University（莫纳什大学）
本研究针对音频大语言多模态模型的安全盲区，通过三类场景的红队测试发现多款模型存在显著安全漏洞，并分析了安全错位的潜在原因。
2024-10-31 cs.CL cs.MM cs.SD
Efficient Selective Audio Masked Multimodal Bottleneck Transformer for Audio-Video Classification
本文提出了一种名为AVT的音视频识别方法，通过瓶颈Transformer降低跨模态融合复杂度，并结合自监督目标与掩码音频片段损失提升学习效率，在多个数据集上显著超越现有方法。
2024-01-08 cs.AI cs.CV cs.LG
AudioX: A Unified Framework for Anything-to-Audio Generation
Hong Kong University of Science and Technology（香港科技大学）；Independent Researcher（独立研究者）
本文提出AudioX框架，整合多种模态条件，通过多模态自适应融合模块提升生成质量，并构建大规模高质量数据集IF-caps，验证了其在文本到音频和文本到音乐生成中的优越性能。
2026-04-15 cs.CV cs.LG cs.MM
Audio Retrieval for Multimodal Design Documents: A New Dataset and Algorithms
Adobe Research（奥多比研究院）
我们考虑并提出了一个新的问题，检索音频文件相关的多模态设计文档输入，包括文本元素和视觉图像，例如，生日/贺卡除了增强用户体验之外，集成与这些输入的主题/风格相匹配的音频还有助于提高这些文档的可访问性（例如，视力受损的人可以听音频代替）。虽然最近在音频检索方面的工作存在，但这些方法和数据集明确针对自然图像。然而，我们的问题认为多模态设计文档（由用户使用创意软件创建）与自然点击的照片有很大不同。为此，我们的第一个贡献是收集和策划一个名为Melodic-Design（或MELON）的新的大规模数据集，包括代表各种风格，主题，模板，插图等的设计文档，与音乐音频配对。鉴于我们配对的图像-文本-音频数据集，我们的下一个贡献是一种新的多模态交叉注意音频检索（MMCAR）算法，该算法能够训练神经网络学习跨图像，文本和音频维度的公共共享特征空间。我们使用这些学习到的特征来证明我们的方法优于现有的最先进的方法，并为我们的新数据集上的研究社区提供了一个新的参考基准。
2023-02-28 cs.IR cs.MM cs.SD
PhaseCoder: Microphone Geometry-Agnostic Spatial Audio Understanding for Multimodal LLMs
Google DeepMind（谷歌DeepMind）；Media Lab, MIT（媒体实验室，麻省理工学院）；Google AR（谷歌AR）
PhaseCoder是一种无需麦克风几何结构的Transformer空间音频编码器，能够生成空间嵌入并使LLM实现复杂空间推理和转录任务。
2026-08-07 cs.AI cs.SD eess.AS
Interpretable Audio Editing Evaluation via Chain-of-Thought Difference-Commonality Reasoning with Multimodal LLMs
College of Computer Science, Nankai University, Tianjin, China（南开大学计算机科学学院，天津，中国）；Academy for Advanced Interdisciplinary Studies, Nankai University, Tianjin, China（南开大学先进跨学科研究学院，天津，中国）
提出首个基于自然语言的音频编辑自动评估框架，利用Qwen2-Audio和链式思维推理策略，实现可解释且与人类判断高度一致的评估。
2026-06-16 cs.SD eess.AS
Omni-Embed-Audio: Leveraging Multimodal LLMs for Robust Audio-Text Retrieval
Sogang University（首尔大学）
提出Omni-Embed-Audio（OEA）检索编码器，利用多模态大语言模型原生理解音频，并通过用户意图查询（UIQ）和硬负样本挖掘，在文本到音频检索中达到与M2D-CLAP相当的性能，同时在文本到文本检索和硬负样本判别上显著优于现有方法。
2026-10-15 cs.CL cs.SD
Integrating Audio Narrations to Strengthen Domain Generalization in Multimodal First-Person Action Recognition
University of Pittsburgh（匹兹堡大学）
针对第一人称活动识别的域偏移问题，提出整合运动、音频、外观特征的多模态框架，通过音频旁白增强音文对齐等策略，在ARGO1M数据集上实现SOTA性能，提升跨场景泛化能力。
2024-09-15 cs.AI cs.CV cs.LG
Evaluation of an Audio-Video Multimodal Deepfake Dataset using Unimodal and Multimodal Detectors
Sungkyunkwan University（成均馆大学）
Deepfake生成方面取得的重大进展导致了安全和隐私问题。攻击者可以很容易地在图像中冒充一个人的身份，方法是将他的脸替换为目标人物的脸。此外，使用深度学习技术克隆人类声音的新领域也正在出现。现在，攻击者可以使用目标人物的几秒钟音频生成逼真的克隆人声音。随着deepfake可能造成的潜在危害的威胁不断出现，研究人员提出了deepfake检测方法。然而，它们仅关注于检测单个模态，即，视频或音频。另一方面，为了开发一个好的deepfake检测器，可以应对deepfake生成的最新进展，我们需要一个检测器，可以检测多种形式的deepfake，即，视频和音频。为了构建这样的检测器，我们需要一个包含视频和相应音频deepfake的数据集。我们能够找到最新的deepfake数据集，音频-视频多模态Deepfake检测数据集（FakeAVCeleb），它不仅包含deepfake视频，还包含合成的假音频。我们使用了这个多模态deepfake数据集，并使用最先进的单峰，基于集合的和多模态检测方法进行了详细的基线实验来评估它。通过详细的实验，我们得出结论，与基于集合的方法相比，单峰，仅处理单一模态，视频或音频，表现不佳。而纯粹基于多模态的基线提供最差的性能。
2021-09-07 cs.CV cs.MM cs.SD
Multimodal Assessment of Speech Impairment in ALS Using Audio-Visual and Machine Learning Approaches
KITE Research Institute, University Health Network（大学健康网络KITE研究所）
本研究结合视听分析与机器学习预测ALS患者言语障碍，使用多模态特征训练回归模型，发现极端提升机回归器预测效果最佳，为延髓功能障碍的早期检测和监测提供了客观工具。
2025-05-27 cs.SD eess.AS
Thinking with Sound: Audio Chain-of-Thought Enables Multimodal Reasoning in Large Audio-Language Models
University of Southern California（南加州大学）；University of Queensland（昆士兰大学）；University of California, San Diego（加州大学圣地亚哥分校）；University of Buffalo（布法罗大学）；University of California, Merced（加州大学默塞德分校）
针对大型音频语言模型在复杂声学场景下推理能力不足的问题，提出Thinking-with-Sound框架，通过结合语言推理与实时音频分析实现音频思维链，在MELD-Hard1k基准上显著提升鲁棒性，无需重新训练即可大幅提高准确率。
2025-09-26 cs.CL cs.SD
Semantically consistent Video-to-Audio Generation using Multimodal Language Large Model
School of Computer Science and Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院）
针对视频缺乏音效和背景音乐影响沉浸感的问题，提出SVA框架，利用多模态大语言模型理解关键帧语义生成音频方案，作为提示词驱动文本到音频模型，实现语义一致的视频到音频生成。
2024-04-26 cs.MM cs.SD eess.AS
Foley-Omni: A Unified Multimodal Generation Model from Task-Level Audio Synthesis to Complete Video Soundtrack Generation
School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）；Video Rebirth；Shanghai Jiao Tong University（上海交通大学）；Beijing Jiaotong University（北京交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
提出Foley-Omni统一多模态音频生成模型，通过共享潜变量生成过程联合建模语音、音效和音乐，实现从孤立任务级合成到完整视频配乐生成，并构建V2ST-Bench基准进行综合评估。
2026-06-02 cs.MM cs.SD
WAVE: Learning Unified & Versatile Audio-Visual Embeddings with Multimodal LLM
Tsinghua University（清华大学）；WeChat Vision, Tencent Inc.（腾讯公司）
WAVE通过联合多模态多任务训练方法，实现了统一且多功能的音频-视觉嵌入，显著提升了跨模态检索和问答性能。
2026-02-23 cs.CV cs.SD
A Toolchain for Comprehensive Audio/Video Analysis Using Deep Learning Based Multimodal Approach (A use case of riot or violent context detection)
Austrian Institute of Technology（奥地利技术研究院）；HCM University of Technology（胡志明市理工大学）；FPT University（FPT大学）
本文提出一个基于深度学习的多模态音视频分析工具链，集成语音转文本、声学场景分类、声学事件检测、视觉目标检测、图像描述和视频描述等任务，支持音视频聚类、综合摘要及骚乱或暴力场景检测等应用。
2024-05-02 cs.AI cs.SD eess.AS
FoleyGRAM: Video-to-Audio Generation with GRAM-Aligned Multimodal Encoders
Dept. Information Engineering, Electronics and Telecommunications (DIET), Sapienza University of Rome（信息工程、电子与电信系（DIET），罗马萨皮恩扎大学）
FoleyGRAM提出一种基于GRAM对齐多模态编码器的视频到音频生成方法，利用扩散模型和波形包络实现语义与时间对齐，在Greatest Hits基准上提升生成音频与视频的语义一致性。
2025-10-07 cs.CV cs.LG cs.MM
AV-Edit: Multimodal Generative Sound Effect Editing via Audio-Visual Semantic Joint Control
AV-Edit通过联合利用视觉、音频和文本语义，实现多模态生成式声音效果编辑，提升音频编辑的精度和质量。
2025-11-26 cs.CV cs.MM cs.SD
Multimodal Deep Learning for Mental Disorders Prediction from Audio Speech Samples
Dalhousie University（达尔豪斯大学）；Kinaxis Inc.（Kinaxis公司）
精神疾病的主要特征反映在言语中。我们的研究重点是设计一种多模态深度学习结构，该结构可以从记录的语音样本中自动提取显著特征，用于预测各种精神障碍，包括抑郁症，躁郁症和精神分裂症。我们采用各种预训练模型来从音频和文本片段中提取嵌入。我们使用了几种最先进的嵌入技术，包括用于文本表示学习的BERT、FastText和Doc 2 VecC，以及用于音频编码的WaveNet和VGG-ish模型。我们还利用巨大的辅助情感标记的文本和音频语料库来训练特定于情感的嵌入，并使用迁移学习来解决可用的注释多模态数据不足的问题。所有这些嵌入，然后组合成一个联合表示在一个多模态融合层，最后一个递归神经网络被用来预测的精神障碍。我们的研究结果表明，精神障碍可以通过临床访谈的多模态分析预测可接受的准确性。
2020-04-13 cs.LG cs.SD eess.AS
AudioX-Turbo: A Unified Framework for Efficient Anything-to-Audio Generation
The Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）；Noiz AI；Independent Researcher（独立研究员）
提出AudioX-Turbo，基于教师-学生范式的统一高效框架，通过多模态扩散Transformer和分布匹配蒸馏实现文本、视频、音频到音频的生成，仅需4步采样，NFE减少约25倍。
2026-07-07 cs.CV cs.MM cs.SD
Joint Multimodal Contrastive Learning for Robust Spoken Term Detection and Keyword Spotting
Electrical Engineering（电子工程）；Artificial Intelligence（人工智能）
本文提出一种联合多模态对比学习框架，通过统一音频和跨模态监督提升语音术语检测和关键词 spotting 的鲁棒性。
2025-12-16 cs.LG cs.SD
AudioGen-Omni: A Unified Multimodal Diffusion Transformer for Video-Synchronized Audio, Speech, and Song Generation
China University of Mining and Technology（中国矿业大学）；Kuaishou Technology（快手科技）
AudioGen-Omni提出统一多模态扩散Transformer，通过联合训练与PAAPI机制实现视频同步的高保真音频、语音和歌曲生成，在多项任务上达到最先进水平并显著提升效率。
2025-08-07 cs.CV cs.MM cs.SD
Self-Supervised Audio-Visual Speech Representations Learning By Multimodal Self-Distillation
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Research, iFLYTEK Co. Ltd.（科大讯飞股份有限公司讯飞研究院）
在这项工作中，我们提出了一种新的方法，名为AV 2 vec，学习视听语音表示多模态自蒸馏。AV 2 vec有一个学生和一个教师模块，其中学生使用教师在线生成的多模态目标特征执行掩蔽的潜在特征回归任务。教师模型的参数是学生的动量更新。由于我们的目标特征是在线生成的，AV 2 vec不需要像AV-HuBERT那样的迭代步骤，总训练时间成本减少到不到五分之一。在这项研究中，我们进一步提出了AV 2 vec-MLM，它使用多任务学习通过掩蔽语言模型（MLM）风格的损失来增强AV 2 vec。我们的实验结果表明，AV 2 vec实现了与AV-HuBERT基线相当的性能。当与MLM类型的损失相结合时，AV 2 vec-MLM的性能优于基线，并在下游任务上实现了最佳性能。
2022-12-06 cs.SD eess.AS
Toward Multimodal Industrial Fault Analysis: A Single-Speed Chain Conveyor Dataset with Audio and Vibration Signals
Digital Innovation Research Center, Duke Kunshan University（杜克昆山大学数字创新研究中心）；School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）人工智能学院）；School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院）；School of Computer Science, Wuhan University（武汉大学计算机学院）
本文提出一个包含音频和振动信号的单速链式输送机数据集，用于多模态工业故障分析，提供标准化评估协议和统一基准以支持通道级分析和多模态融合研究。
2026-03-07 cs.SD eess.AS
Contrastive Regularization for Multimodal Emotion Recognition Using Audio and Text
Harbin Institute of Technology（哈尔滨工业大学）
语音情感识别是一个挑战，也是迈向更自然的人机交互（HCI）的重要一步。流行的方法是基于模型级融合的多模态情感识别，这意味着可以对多模态信号进行编码以获得嵌入，然后将嵌入连接在一起以进行最终分类。然而，由于噪声或其他因素的影响，每种模态并不总是倾向于相同的情感类别，这影响了模型的泛化。在本文中，我们提出了一种新的正则化方法，通过对比学习的多模态情感识别使用音频和文本。通过引入一种区分相同情感对和不同情感对的特征码，明确地限制每种模态的潜码包含相同的情感信息，从而减少噪声干扰，得到更有区别的表示。在标准IEMOCAP数据集上进行了4类情感识别的实验。结果表明，与基线系统相比，加权精度（WA）和非加权精度（UA）分别提高了1.44%和1.53%。
2022-11-20 cs.SD eess.AS
Leveraging Topics and Audio Features with Multimodal Attention for Audio Visual Scene-Aware Dialog
Intel Labs（英特尔研究院）
随着人工智能（AI）、智能虚拟助理（IVA）（如Alexa、Google Home等）的最新进展，已经成为许多家庭中无处不在的一部分。目前，这样的IVA大多是基于音频的，但展望未来，我们正在目睹视觉，语音和对话系统技术的融合，这些技术使IVA能够学习话语的视听基础。这将使代理能够与用户进行有关其周围的对象，活动和事件的对话。在这项工作中，我们提出了三个主要的架构探索的视听场景感知对话（AVSD）：1）调查“主题”的对话作为一个重要的上下文特征的对话，2）探索多模态注意力机制在响应生成过程中，3）将端到端的音频分类ConvNet，AclNet，到我们的架构。我们讨论了详细的分析实验结果，并表明我们的模型变化优于基线系统的AVSD任务。
2019-12-20 cs.CL cs.MM cs.SD
Multimodal Emergency Vehicle Classification via Audio-Visual Transformers and Knowledge Distillation
Lawrence Technological University（劳伦斯理工大学）
针对自动驾驶中应急车辆检测的模态退化问题，提出AVNet多模态音视频Transformer，通过时间对齐交叉注意力融合和知识蒸馏，在AudioSet上达66.6%准确率，显著优于单模态。
2026-09-16 cs.MM cs.SD
MAVERIX: Multimodal Audio-Visual Evaluation and Recognition IndeX
MAVERIX是一个用于评估多模态模型音频视觉整合能力的统一基准，通过精心设计的问题展示模型在跨模态理解上的性能，揭示了与人类水平的显著差距。
2025-12-06 cs.AI cs.CV cs.MM
FusionAudio-1.2M: Towards Fine-grained Audio Captioning with Multimodal Contextual Fusion
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出两阶段多模态融合流程，构建含120万条细粒度描述和600万问答对的FusionAudio数据集，并据此训练出对齐与指令跟随能力更强的CLAP音频编码器。
2025-06-01 cs.AI cs.SD eess.AS
WavCaps: A ChatGPT-Assisted Weakly-Labelled Audio Captioning Dataset for Audio-Language Multimodal Research
University of Surrey（萨里大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；The Chinese University of Hong Kong（香港中文大学）；ByteDance（字节跳动）；Peking University（北京大学）
为解决音频-语言多模态数据稀缺问题，我们提出WavCaps，一个含约40万弱标注音频片段的大规模数据集，利用ChatGPT辅助三阶段流程过滤噪声并生成高质量字幕，显著提升下游任务性能。
2024-07-18 cs.CL cs.MM cs.SD
Omni-Customizer: End-to-End MultiModal Customization for Joint Audio-Video Generation
Shanghai Jiao Tong University（上海交通大学）；Zhejiang University（浙江大学）；University of Electronic Science and Technology of China（电子科技大学）
本文提出Omni-Customizer，一种端到端多模态定制框架，旨在实现精确的多模态身份信息绑定和无缝融合，通过引入Omni-Context Fusion模块和Masked TTS Cross-Attention机制，提升多模态定制生成的性能。
2026-05-17 cs.CV cs.MM cs.SD
Temporally Heterogeneous Graph Contrastive Learning for Multimodal Acoustic event Classification
Harbin University of Science（哈尔滨理工大学）；Technology The University of Melbourne（技术墨尔本大学）
本文提出时序异构图对比学习框架THGCL，通过高斯过程、Hawkes过程和对比学习区分模态内与模态间时序依赖，在AudioSet上实现多模态声学事件分类的最优性能。
2025-09-18 cs.SD eess.AS
CoAVT: A Cognition-Inspired Unified Audio-Visual-Text Pre-Training Model for Multimodal Processing
ByteDance（字节跳动）
本文提出受认知启发的CoAVT模型，通过联合音频-视觉编码器、文本编码器和查询编码器，结合三模态对齐与双模态对齐，在多模态预训练中取得AudioCaps、AudioSet和VGGSound等任务上的最先进性能。
2024-02-21 cs.MM cs.SD eess.AS
Coordinated Joint Multimodal Embeddings for Generalized Audio-Visual Zeroshot Classification and Retrieval of Videos
IIT Kanpur（印度理工学院坎普尔分校）；University of Warwick（华威大学）；NEC Labs America（NEC美国实验室）
我们提出了一种视听多模态方法的零拍学习（ZEROSHOT LEARNING）的分类和检索的视频任务。近年来，人们已经对视觉感知进行了广泛的研究，但主要局限于视觉模态和图像。我们证明，音频和视觉方式都是重要的，为视频的OWL。由于目前还没有研究该任务的数据集，因此我们还从现有的大规模音频事件数据集构建了一个包含33个类别的多模态数据集，其中包含156，416个视频。我们的经验表明，通过添加音频模态的zeroshot分类和检索的任务，使用嵌入式学习方法的多模态扩展时，性能提高。我们还提出了一种新的方法来预测“占主导地位的”模态使用共同学习的模态注意力网络。我们在半监督环境中学习注意力，因此不需要对模态进行任何额外的明确标记。我们提供了定性验证的方式具体的注意力，这也成功地推广到看不见的测试类。
2019-10-19 cs.CV cs.MM cs.SD
MMED: A Multimodal Micro-Expression Dataset based on Audio-Visual Fusion
College of Communication Engineering, Jilin University（吉林大学通信工程学院）
本文提出首个同步采集自发声音与微表情的多模态数据集 MMED，并设计非对称交叉注意力融合网络 AMF-Net，通过 LOSO-CV 实验证明音频对微表情识别具有关键消歧作用。
2025-09-18 cs.MM cs.SD
Learning Audio-Visual Speech Representation by Masked Multimodal Cluster Prediction
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Meta AI
语音的视频记录包含相关的音频和视觉信息，为从说话者的嘴唇运动和产生的声音学习语音表示提供强信号。我们介绍了视听隐藏单元BERT（AV-HuBERT），一个自监督的表示学习框架的视听语音，掩盖多流视频输入和预测自动发现和迭代细化的多模态隐藏单元。AV-HuBERT学习强大的视听语音表示，同时受益于唇读和自动语音识别。在最大的公共唇读基准测试LRS 3（433小时）中，AV-HuBERT仅用30小时的标记数据就实现了32.5%的WER，优于之前用1000倍的转录视频数据（31 K小时）训练的最先进的方法（33.6%）。当使用来自LRS 3的所有433小时标记数据并结合自我训练时，唇读WER进一步降低到26.9%。使用我们的音频-视频表示在相同的基准上进行纯音频语音识别，导致相对于最先进的性能（1.3%vs 2.3%）的40%的相对WER降低。我们的代码和模型可在https://github.com/facebookresearch/av_hubert上获得
2022-03-13 cs.CV cs.SD eess.AS
Leveraging Unimodal Self-Supervised Learning for Multimodal Audio-Visual Speech Recognition
Shanghai Jiao Tong University（上海交通大学）；Horizon Robotics（地平线机器人）
训练基于transformer的模型需要大量的数据，而在多模态中获得对齐和标记的数据是相当昂贵的，特别是对于视听语音识别（AVSR）。因此，使用未标记的单峰数据非常有意义。另一方面，尽管大规模自监督学习的有效性在音频和视觉模式中都得到了很好的证实，但如何将这些预先训练的模型集成到多模式场景中仍然没有得到充分的探索。在这项工作中，我们成功地利用单峰自监督学习，以促进多模态AVSR。特别是，音频和视觉前端在大规模单峰数据集上进行训练，然后我们将两个前端的组件集成到一个更大的多模态框架中，该框架通过CTC和seq2seq解码的组合学习将并行视听数据识别为字符。我们发现，这两个组件继承自单峰自监督学习合作良好，从而导致多模态框架产生竞争力的结果，通过微调。我们的模型是实验验证的单词级和单词级的任务。特别是，即使没有一个外部的语言模型，我们提出的模型提高了国家的最先进的性能上广泛接受的唇读句子2（LRS 2）数据集的大幅度，相对提高了30%。
2022-03-26 cs.AI cs.CL cs.CV
A Multimodal Prototypical Approach for Unsupervised Sound Classification
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；New York University（纽约大学）
针对零样本音频分类性能受限问题，提出利用局部音频-文本嵌入构建质心原型的无监督多模态方法，并在三个基准上平均提升12%。
2023-08-17 cs.SD eess.AS
HyDiscGAN: A Hybrid Distributed cGAN for Audio-Visual Privacy Preservation in Multimodal Sentiment Analysis
Tongji University（同济大学）；DeepBlue Academy of Sciences（深蓝科学院）；Beijing Institute of Technology（北京理工大学）；University of Oxford（牛津大学）
针对多模态情感分析中音频和视觉模态的隐私泄露风险，提出混合分布式条件生成对抗网络HyDiscGAN，利用去标识化文本生成虚假音视频特征，在保护隐私的同时保持或提升性能。
2024-04-18 cs.DC cs.MM cs.SD
An Audio-Video Deep and Transfer Learning Framework for Multimodal Emotion Recognition in the wild
Ulm University（乌尔姆大学）；ITMO University（圣彼得堡国立信息技术机械与光学大学）；St. Petersburg Federal Research Center of the Russian Academy of Sciences（俄罗斯科学院圣彼得堡联邦研究中心）；Utrecht University（乌得勒支大学）
在本文中，我们提出了我们的贡献ABAW面部表情的挑战。我们报告了拟议的系统和遵守挑战协议的正式挑战结果。使用端到端深度学习并受益于迁移学习方法，我们达到了42.10%的测试集挑战性能指标。
2020-11-02 cs.LG cs.SD eess.AS
MuseAgent-1: Interactive Grounded Multimodal Understanding of Music Scores and Performance Audio
Nanyang Technological University（南洋理工大学）；Beijing University of Chemical Technology（北京化工大学）；Microsoft（微软公司）；University of Chicago（芝加哥大学）
MuseAgent-1 是一个专注于音乐的多模态代理，通过结构化符号表示和多步骤推理，提升对音乐谱面和表演音频的交互式理解能力。
2026-01-17 cs.MM cs.SD eess.AS
Multimodal Self-Attention Network with Temporal Alignment for Audio-Visual Emotion Recognition
本文提出基于Transformer的多模态自注意力网络，通过时间对齐旋转位置嵌入和跨时间匹配损失，解决音频-视觉情感识别中的跨模态帧率不匹配问题，提升时间线索保留和跨模态融合效果。
2026-03-11 cs.MM cs.SD eess.SP
Kling-Foley: Multimodal Diffusion Transformer for High-Quality Video-to-Audio Generation
Kuaishou Technology（快手科技）
本文提出大规模多模态视频到音频生成模型Kling-Foley，通过引入多模态扩散Transformer结合视觉语义与视听同步模块，并采用通用潜在音频编解码器与立体声渲染，在多项指标上达到公开模型SOTA性能。
2025-06-24 cs.AI cs.CL cs.SD
