Exploring the Role of Audio in Multimodal Misinformation Detection
本文构建了一个综合多模态虚假信息检测框架,探索音频模态的重要性,发现音视频信息错位会严重损害模型性能。
2024-08-22 cs.MM
Interpreting Multimodal Communication at Scale in Short-Form Video: Visual, Audio, and Textual Mental Health Discourse on TikTok
Program in Quantitative Social Science, Dartmouth College(达特茅斯学院定量社会科学项目)
本研究提出了一种结合自动多模态特征提取与Shapley值的框架,分析TikTok上关于社交焦虑障碍的视频中视觉、音频和文本如何共同影响观众参与度,揭示了跨模态协同效应的阈值依赖性。
2026-01-21 cs.MM
Cross-Modality and Within-Modality Regularization for Audio-Visual DeepFake Detection
本文针对音视频深度伪造检测中模态表示混淆问题,提出跨模态与模态内正则化方法,在FakeAVCeleb数据集上验证了其有效性。
2024-01-11 cs.MM
Proof-Carrying Multimodal Timelines: Finite-Trace Modal Certificates for Video-Audio Consistency
Bahcesehir University(巴赫塞希尔大学)
研究视频-音频一致性问题,核心方法是将其作为有限轨迹模态监测,通过公式库规定多种一致性,证书记录关键信息,工件进行视频解码等操作,贡献是提供可重现见证及相关处理流程。
2026-07-20 cs.MM
real-time audio translation module between iax and rsw
在过去的几年里,多媒体通信已经得到了迅速的发展和改进,以使用户能够通过互联网彼此通信。多媒体通信通常包括音频和视频通信。然而,本研究仅集中于音频会议。协议间的音频转换是一个非常关键的问题,因为它解决了任何两个协议之间的通信问题。因此,它使世界各地的人们能够相互交谈,即使他们使用不同的协议。在本研究中,我们完成了一个实时的音频转换模块。这两个协议是:InterAsterisk交换协议(IAX)和实时的交换控制协议(RSW),它们被广泛用于提供双向音频传输功能。这里的解决方案是提供两种协议之间的互通,这两种协议具有不同的媒体传输、音频编解码器、报头格式和用于音频传输的不同传输协议。这种转换将通过提供IAX和RSW两个音频流之间的互通能力来帮助弥合两个协议之间的差距。已经做了一些相关的工作来提供IAX和RSW控制信令消息之间的转换。而本文的研究对象是依赖于媒介转换的翻译。在不同的情况下对拟议的翻译模块进行了测试和评估,以检查其性能。所获得的结果表明,实时的音频翻译模块产生的数据包延迟和抖动率低于上述性能指标的接受值。
2014-06-11 cs.MM
The Multimodal Information based Speech Processing (MISP) 2022 Challenge: Audio-Visual Diarization and Recognition
多模态基于信息的语音处理(MISP)挑战赛旨在通过促进唤醒词、说话人日志化、语音识别等技术的研究,扩展信号处理技术在特定场景中的应用。MISP 2022挑战赛有两个轨道:1)视听扬声器日记(AVSD),旨在使用音频和视频数据解决“谁在什么时候说话”; 2)一个新的视听日记和识别(AVDR)任务,重点是解决“谁在什么时候说了什么”与视听扬声器日记结果。两首曲目都专注于中文,并在真实的家庭电视场景中使用远场音频和视频:2-6人在电视噪音的背景下相互交流。本文介绍了MISP 2022挑战赛的数据集、赛道设置和基线。我们对实验和实例的分析表明,AVDR基线系统具有良好的性能,但由于以下原因,远场视频质量、背景中存在TV噪声以及无法区分的扬声器。
2023-03-11 cs.MM
Audio-Visual Cross-Modal Compression for Generative Face Video Coding
Bytedance Inc.(字节跳动);Peking University(北京大学)
本文提出AVCC框架,通过联合压缩音频和视频流,提升生成式面部视频编码的率-失真性能。
2025-12-17 cs.MM eess.IV
Trends and Perspectives for Signal Processing in Consumer Audio
Beats Electronics, LLC(Beats Electronics 有限责任公司)
流媒体和便携式媒体消费的趋势为音频和声学中的信号处理提供了新的挑战和机遇。这一趋势最重要的体现是,大多数音乐消费现在都发生在旅途中,这导致了耳机和小型便携式扬声器的销售爆炸式增长。特别是,高端耳机为年轻一代提供了体验高品质声音的途径。此外,通过整合头部相关传输功能的技术,耳机还可以在游戏、增强现实和环绕声收听方面提供独特的新体验。家庭音频也已经过渡到以条形音箱形式的更小的音响系统。这种扬声器配置为传统上使用五个扬声器环绕听众的环绕声再现提供了许多令人兴奋的挑战。此外,现代家庭娱乐系统提供的不仅仅是内容交付;用户现在期望无线和连接的智能设备具有视频会议,游戏和其他交互功能。这就带来了在远距离和苛刻条件下进行语音交互的挑战,例如,在内容回放期间,以及基于环境和用户生物识别的感知的新的智能交互体验的机会。
2014-05-19 cs.MM cs.SD
MPN: Multimodal Parallel Network for Audio-Visual Event Localization
Fudan University(复旦大学)
视听事件定位的目标是定位在野外既可听又可见的事件,这是针对不受约束的视频的广泛的视听景物分析任务。为了解决这个问题,我们提出了一个多模态并行网络(MPN),它可以感知全局语义和非混合的本地信息的语义。具体来说,我们的MPN框架包括一个分类子网络来预测事件类别和一个本地化子网络来预测事件边界。分类子网络由多模态共注意模块(MCM)构建,并获得全局上下文。本地化子网络由多模态瓶颈注意模块(MBAM)组成,该模块旨在提取细粒度的片段级内容。大量的实验表明,我们的框架在视听事件(AVE)数据集上的完全监督和弱监督设置下都达到了最先进的性能。
2021-04-07 cs.AI cs.CV cs.MM
QMAVIS: Long Video-Audio Understanding using Fusion of Large Multimodal Models
National University of Singapore(新加坡国立大学);Nanyang Technological University, Singapore(南洋理工大学)
QMAVIS通过融合大型多模态模型、大型语言模型和语音识别模型,实现了长视频音频理解,展示了在VideoMME数据集上38.75%的性能提升,并在其他数据集上表现出竞争力。
2026-01-10 cs.AI cs.MM
DF-TransFusion: Multimodal Deepfake Detection via Lip-Audio Cross-Attention and Facial Self-Attention
Purdue University(普渡大学)
提出DF-TransFusion多模态音视频深度伪造检测框架,利用唇音交叉注意力、微调VGG-16及transformer面部自注意力提取特征,在F-1和每视频AUC指标上优于现有技术。
2023-09-12 cs.CV cs.MM
Foley-Omni: A Unified Multimodal Generation Model from Task-Level Audio Synthesis to Complete Video Soundtrack Generation
School of Intelligence Science and Technology, Nanjing University(南京大学智能科学与技术学院);Video Rebirth;Shanghai Jiao Tong University(上海交通大学);Beijing Jiaotong University(北京交通大学);Shanghai AI Laboratory(上海人工智能实验室)
提出Foley-Omni统一多模态音频生成模型,通过共享潜变量生成过程联合建模语音、音效和音乐,实现从孤立任务级合成到完整视频配乐生成,并构建V2ST-Bench基准进行综合评估。
2026-06-02 cs.MM cs.SD
Audio Is the Achilles' Heel: Red Teaming Audio Large Multimodal Models
Monash University(莫纳什大学)
本研究针对音频大语言多模态模型的安全盲区,通过三类场景的红队测试发现多款模型存在显著安全漏洞,并分析了安全错位的潜在原因。
2024-10-31 cs.CL cs.MM cs.SD
Audio Retrieval for Multimodal Design Documents: A New Dataset and Algorithms
Adobe Research(奥多比研究院)
我们考虑并提出了一个新的问题,检索音频文件相关的多模态设计文档输入,包括文本元素和视觉图像,例如,生日/贺卡除了增强用户体验之外,集成与这些输入的主题/风格相匹配的音频还有助于提高这些文档的可访问性(例如,视力受损的人可以听音频代替)。虽然最近在音频检索方面的工作存在,但这些方法和数据集明确针对自然图像。然而,我们的问题认为多模态设计文档(由用户使用创意软件创建)与自然点击的照片有很大不同。为此,我们的第一个贡献是收集和策划一个名为Melodic-Design(或MELON)的新的大规模数据集,包括代表各种风格,主题,模板,插图等的设计文档,与音乐音频配对。鉴于我们配对的图像-文本-音频数据集,我们的下一个贡献是一种新的多模态交叉注意音频检索(MMCAR)算法,该算法能够训练神经网络学习跨图像,文本和音频维度的公共共享特征空间。我们使用这些学习到的特征来证明我们的方法优于现有的最先进的方法,并为我们的新数据集上的研究社区提供了一个新的参考基准。
2023-02-28 cs.IR cs.MM cs.SD
AudioX: A Unified Framework for Anything-to-Audio Generation
Hong Kong University of Science and Technology(香港科技大学);Independent Researcher(独立研究者)
本文提出AudioX框架,整合多种模态条件,通过多模态自适应融合模块提升生成质量,并构建大规模高质量数据集IF-caps,验证了其在文本到音频和文本到音乐生成中的优越性能。
2026-04-15 cs.CV cs.LG cs.MM
Efficient Selective Audio Masked Multimodal Bottleneck Transformer for Audio-Video Classification
本文提出了一种名为AVT的音视频识别方法,通过瓶颈Transformer降低跨模态融合复杂度,并结合自监督目标与掩码音频片段损失提升学习效率,在多个数据集上显著超越现有方法。
2024-01-08 cs.AI cs.CV cs.LG
Semantically consistent Video-to-Audio Generation using Multimodal Language Large Model
School of Computer Science and Technology, Beijing Jiaotong University(北京交通大学计算机科学与技术学院)
针对视频缺乏音效和背景音乐影响沉浸感的问题,提出SVA框架,利用多模态大语言模型理解关键帧语义生成音频方案,作为提示词驱动文本到音频模型,实现语义一致的视频到音频生成。
2024-04-26 cs.MM cs.SD eess.AS
Evaluation of an Audio-Video Multimodal Deepfake Dataset using Unimodal and Multimodal Detectors
Sungkyunkwan University(成均馆大学)
Deepfake生成方面取得的重大进展导致了安全和隐私问题。攻击者可以很容易地在图像中冒充一个人的身份,方法是将他的脸替换为目标人物的脸。此外,使用深度学习技术克隆人类声音的新领域也正在出现。现在,攻击者可以使用目标人物的几秒钟音频生成逼真的克隆人声音。随着deepfake可能造成的潜在危害的威胁不断出现,研究人员提出了deepfake检测方法。然而,它们仅关注于检测单个模态,即,视频或音频。另一方面,为了开发一个好的deepfake检测器,可以应对deepfake生成的最新进展,我们需要一个检测器,可以检测多种形式的deepfake,即,视频和音频。为了构建这样的检测器,我们需要一个包含视频和相应音频deepfake的数据集。我们能够找到最新的deepfake数据集,音频-视频多模态Deepfake检测数据集(FakeAVCeleb),它不仅包含deepfake视频,还包含合成的假音频。我们使用了这个多模态deepfake数据集,并使用最先进的单峰,基于集合的和多模态检测方法进行了详细的基线实验来评估它。通过详细的实验,我们得出结论,与基于集合的方法相比,单峰,仅处理单一模态,视频或音频,表现不佳。而纯粹基于多模态的基线提供最差的性能。
2021-09-07 cs.CV cs.MM cs.SD
Multimodal Emergency Vehicle Classification via Audio-Visual Transformers and Knowledge Distillation
Lawrence Technological University(劳伦斯理工大学)
针对自动驾驶中应急车辆检测的模态退化问题,提出AVNet多模态音视频Transformer,通过时间对齐交叉注意力融合和知识蒸馏,在AudioSet上达66.6%准确率,显著优于单模态。
2026-09-16 cs.MM cs.SD
AV-Edit: Multimodal Generative Sound Effect Editing via Audio-Visual Semantic Joint Control
AV-Edit通过联合利用视觉、音频和文本语义,实现多模态生成式声音效果编辑,提升音频编辑的精度和质量。
2025-11-26 cs.CV cs.MM cs.SD
AudioX-Turbo: A Unified Framework for Efficient Anything-to-Audio Generation
The Hong Kong University of Science and Technology(香港科技大学);Tsinghua University(清华大学);Noiz AI;Independent Researcher(独立研究员)
提出AudioX-Turbo,基于教师-学生范式的统一高效框架,通过多模态扩散Transformer和分布匹配蒸馏实现文本、视频、音频到音频的生成,仅需4步采样,NFE减少约25倍。
2026-07-07 cs.CV cs.MM cs.SD
MMED: A Multimodal Micro-Expression Dataset based on Audio-Visual Fusion
College of Communication Engineering, Jilin University(吉林大学通信工程学院)
本文提出首个同步采集自发声音与微表情的多模态数据集 MMED,并设计非对称交叉注意力融合网络 AMF-Net,通过 LOSO-CV 实验证明音频对微表情识别具有关键消歧作用。
2025-09-18 cs.MM cs.SD
FoleyGRAM: Video-to-Audio Generation with GRAM-Aligned Multimodal Encoders
Dept. Information Engineering, Electronics and Telecommunications (DIET), Sapienza University of Rome(信息工程、电子与电信系(DIET),罗马萨皮恩扎大学)
FoleyGRAM提出一种基于GRAM对齐多模态编码器的视频到音频生成方法,利用扩散模型和波形包络实现语义与时间对齐,在Greatest Hits基准上提升生成音频与视频的语义一致性。
2025-10-07 cs.CV cs.LG cs.MM
Beyond Text: Multimodal Jailbreaking of Vision-Language and Audio Models through Perceptually Simple Transformations
Enkrypt AI
本研究系统评估了针对视觉-语言和音频模型的多模态越狱攻击,发现简单感知变换可使高安全文本模型攻击成功率超75%,揭示当前安全机制无法泛化至跨模态威胁。
2025-10-23 cs.CR cs.MM
Multi-source Multimodal Progressive Domain Adaption for Audio-Visual Deception Detection
Sun Yat-Sen University(中山大学);Nanyang Technological University(南洋理工大学);South China Normal University(华南师范大学)
本文提出多源多模态渐进域自适应框架MMPDA,通过特征层和决策层逐步对齐源域与目标域,解决音视频欺骗检测中的域偏移问题,并在MMDD挑战赛中获得第二名。
2025-08-18 cs.CV cs.MM
AudioGen-Omni: A Unified Multimodal Diffusion Transformer for Video-Synchronized Audio, Speech, and Song Generation
China University of Mining and Technology(中国矿业大学);Kuaishou Technology(快手科技)
AudioGen-Omni提出统一多模态扩散Transformer,通过联合训练与PAAPI机制实现视频同步的高保真音频、语音和歌曲生成,在多项任务上达到最先进水平并显著提升效率。
2025-08-07 cs.CV cs.MM cs.SD
Omni-Customizer: End-to-End MultiModal Customization for Joint Audio-Video Generation
Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学);University of Electronic Science and Technology of China(电子科技大学)
本文提出Omni-Customizer,一种端到端多模态定制框架,旨在实现精确的多模态身份信息绑定和无缝融合,通过引入Omni-Context Fusion模块和Masked TTS Cross-Attention机制,提升多模态定制生成的性能。
2026-05-17 cs.CV cs.MM cs.SD
Leveraging Topics and Audio Features with Multimodal Attention for Audio Visual Scene-Aware Dialog
Intel Labs(英特尔研究院)
随着人工智能(AI)、智能虚拟助理(IVA)(如Alexa、Google Home等)的最新进展,已经成为许多家庭中无处不在的一部分。目前,这样的IVA大多是基于音频的,但展望未来,我们正在目睹视觉,语音和对话系统技术的融合,这些技术使IVA能够学习话语的视听基础。这将使代理能够与用户进行有关其周围的对象,活动和事件的对话。在这项工作中,我们提出了三个主要的架构探索的视听场景感知对话(AVSD):1)调查“主题”的对话作为一个重要的上下文特征的对话,2)探索多模态注意力机制在响应生成过程中,3)将端到端的音频分类ConvNet,AclNet,到我们的架构。我们讨论了详细的分析实验结果,并表明我们的模型变化优于基线系统的AVSD任务。
2019-12-20 cs.CL cs.MM cs.SD
WavCaps: A ChatGPT-Assisted Weakly-Labelled Audio Captioning Dataset for Audio-Language Multimodal Research
University of Surrey(萨里大学);Johns Hopkins University(约翰斯·霍普金斯大学);The Chinese University of Hong Kong(香港中文大学);ByteDance(字节跳动);Peking University(北京大学)
为解决音频-语言多模态数据稀缺问题,我们提出WavCaps,一个含约40万弱标注音频片段的大规模数据集,利用ChatGPT辅助三阶段流程过滤噪声并生成高质量字幕,显著提升下游任务性能。
2024-07-18 cs.CL cs.MM cs.SD
CoAVT: A Cognition-Inspired Unified Audio-Visual-Text Pre-Training Model for Multimodal Processing
ByteDance(字节跳动)
本文提出受认知启发的CoAVT模型,通过联合音频-视觉编码器、文本编码器和查询编码器,结合三模态对齐与双模态对齐,在多模态预训练中取得AudioCaps、AudioSet和VGGSound等任务上的最先进性能。
2024-02-21 cs.MM cs.SD eess.AS
MAVERIX: Multimodal Audio-Visual Evaluation and Recognition IndeX
MAVERIX是一个用于评估多模态模型音频视觉整合能力的统一基准,通过精心设计的问题展示模型在跨模态理解上的性能,揭示了与人类水平的显著差距。
2025-12-06 cs.AI cs.CV cs.MM
Coordinated Joint Multimodal Embeddings for Generalized Audio-Visual Zeroshot Classification and Retrieval of Videos
IIT Kanpur(印度理工学院坎普尔分校);University of Warwick(华威大学);NEC Labs America(NEC美国实验室)
我们提出了一种视听多模态方法的零拍学习(ZEROSHOT LEARNING)的分类和检索的视频任务。近年来,人们已经对视觉感知进行了广泛的研究,但主要局限于视觉模态和图像。我们证明,音频和视觉方式都是重要的,为视频的OWL。由于目前还没有研究该任务的数据集,因此我们还从现有的大规模音频事件数据集构建了一个包含33个类别的多模态数据集,其中包含156,416个视频。我们的经验表明,通过添加音频模态的zeroshot分类和检索的任务,使用嵌入式学习方法的多模态扩展时,性能提高。我们还提出了一种新的方法来预测“占主导地位的”模态使用共同学习的模态注意力网络。我们在半监督环境中学习注意力,因此不需要对模态进行任何额外的明确标记。我们提供了定性验证的方式具体的注意力,这也成功地推广到看不见的测试类。
2019-10-19 cs.CV cs.MM cs.SD
MuseAgent-1: Interactive Grounded Multimodal Understanding of Music Scores and Performance Audio
Nanyang Technological University(南洋理工大学);Beijing University of Chemical Technology(北京化工大学);Microsoft(微软公司);University of Chicago(芝加哥大学)
MuseAgent-1 是一个专注于音乐的多模态代理,通过结构化符号表示和多步骤推理,提升对音乐谱面和表演音频的交互式理解能力。
2026-01-17 cs.MM cs.SD eess.AS
Multimodal Self-Attention Network with Temporal Alignment for Audio-Visual Emotion Recognition
本文提出基于Transformer的多模态自注意力网络,通过时间对齐旋转位置嵌入和跨时间匹配损失,解决音频-视觉情感识别中的跨模态帧率不匹配问题,提升时间线索保留和跨模态融合效果。
2026-03-11 cs.MM cs.SD eess.SP
Audio-Visual Speech Enhancement Using Multimodal Deep Convolutional Neural Networks
语音增强的目的是降低语音信号中的噪声。大多数SE技术仅关注于寻址音频信息。在这项工作中,受多模态学习的启发,它利用来自不同模态的数据,以及卷积神经网络(CNN)最近在SE中的成功,我们提出了一个视听深度CNN(AVDCNN)SE模型,它将音频和视频流合并到一个统一的网络模型中。我们还提出了一个多任务学习框架,用于在输出层重建音频和视频信号。准确地说,所提出的AVDCNN模型被构造为视听编码器-解码器网络,其中音频和视频数据首先使用单独的CNN进行处理,然后融合到联合网络中,以在输出层生成增强的语音(主要任务)和重建的图像(次要任务)。该模型以端到端的方式进行训练,并通过反向传播联合学习参数。我们使用五个工具标准来评估增强的语音。结果表明,AVDCNN模型产生了显着优越的性能相比,仅基于音频CNN的SE模型和两个传统的SE方法,确认视觉信息集成到SE过程的有效性。此外,AVDCNN模型也优于现有的视听SE模型,证实了其在SE中有效结合视听信息的能力。
2018-01-24 cs.MM cs.SD stat.ML
HyDiscGAN: A Hybrid Distributed cGAN for Audio-Visual Privacy Preservation in Multimodal Sentiment Analysis
Tongji University(同济大学);DeepBlue Academy of Sciences(深蓝科学院);Beijing Institute of Technology(北京理工大学);University of Oxford(牛津大学)
针对多模态情感分析中音频和视觉模态的隐私泄露风险,提出混合分布式条件生成对抗网络HyDiscGAN,利用去标识化文本生成虚假音视频特征,在保护隐私的同时保持或提升性能。
2024-04-18 cs.DC cs.MM cs.SD
FakeAVCeleb: A Novel Audio-Video Multimodal Deepfake Dataset
Sungkyunkwan University(成均馆大学)
虽然使用深度学习技术在生成deepfake方面取得了重大进展,但其滥用现在是一个众所周知的问题。Deepfakes可能会导致严重的安全和隐私问题,因为它们可以通过将他/她的脸替换为另一个人的脸来在视频中冒充一个人的身份。最近,一个新的问题是生成一个人的合成人声,其中基于AI的深度学习模型可以合成任何人的声音,只需要几秒钟的音频。随着使用deepfake音频和视频的模仿攻击的威胁不断出现,需要新一代的deepfake检测器来集中关注视频和音频。为了开发一个合格的deepfake检测器,通常需要大量的高质量数据来捕获真实世界(或实际)的场景。现有的deepfake数据集包含deepfake视频或音频,这些都是有种族偏见的。因此,开发一个高质量的视频和音频deepfake数据集至关重要,该数据集可用于同时检测音频和视频deepfake。为了填补这一空白,我们提出了一个新的音频-视频Deepfake数据集FakeAVCeleb,它不仅包含deepfake视频,还包含相应的合成假唱假音频。我们使用最流行的deepfake生成方法生成此数据集。我们选择了具有四个种族背景的名人的真实YouTube视频,以开发一个更现实的多模态数据集,以解决种族偏见问题,并进一步帮助开发多模态deepfake检测器。我们使用最先进的检测方法进行了几次实验,以评估我们的deepfake数据集,并展示了我们的多模式音…
2022-03-01 cs.CV cs.MM cs.SD
Pilot-guided Multimodal Semantic Communication for Audio-Visual Event Localization
针对现有多模态语义通信依赖恒定信道假设、难处理动态信道与多模态流任务的问题,提出导频引导的音视频事件定位多模态语义通信框架,通过数字导频适配动态信道、设计时频感知的Euler编解码,在SNR上优于基准方法。
2024-12-09 cs.CV cs.MM cs.SD
Investigating Vulnerabilities and Defenses Against Audio-Visual Attacks: A Comprehensive Survey Emphasizing Multimodal Models
Jilin University(吉林大学);Shanghai Jiao Tong University(上海交通大学);Nanyang Technological University(南洋理工大学);Northeastern University(东北大学)
本文针对现有视听攻击综述覆盖类型不全、未涉及最新视听多模态大语言模型攻击的问题,系统综述了对抗、后门、越狱三类视听攻击及相关MLLMs攻击,并提出未来研究的挑战与趋势。
2025-06-13 cs.AI cs.CR cs.MM
On Attention Modules for Audio-Visual Synchronization
Center for Research in Computer Vision (CRCV)(计算机视觉研究中心(CRCV));University of Central Florida(中佛罗里达大学);Netflix, Inc(奈飞公司)
随着媒体和网络技术的发展,从电影院设置中的特征呈现到视频点播到交互式视频会议的多媒体应用的需求很大。音频和视频模态之间的良好同步是定义多媒体演示质量的关键因素。多媒体演示的音频和视频信号通常由独立的工作流程管理-它们通常单独创作,处理,存储甚至交付给播放系统。这打开了两种模态之间的时间错位的可能性-这种趋势在制作内容(例如电影)的情况下通常更明显。为了判断多媒体演示的音频和视频信号是否同步,我们作为人类经常密切关注视频的有区别的时空块(例如,使嘴唇运动与话语同步,或者使弹跳球在其撞击地面的时刻的声音同步)。同时,我们忽略了视频中不存在区别性声音的大部分(例如电影中播放的背景音乐)。受此观察的启发,我们研究利用注意力模块自动检测视听同步。我们提出了基于神经网络的注意力模块,能够根据视频的不同部分(时空块)各自的区分能力对其进行加权。我们的实验表明,将注意力模块产生最先进的结果的视听同步分类问题。
2018-12-14 cs.CV cs.LG cs.MM
MAiVAR-T: Multimodal Audio-image and Video Action Recognizer using Transformers
Edith Cowan University(伊迪丝·考恩大学);The University of Western Australia(西澳大学)
本文提出MAiVAR-T模型,通过将音频表示转换到图像域并与视频模态融合,提升多模态人类动作识别性能,实验证明其优于仅用单一模态的现有方法。
2023-08-01 cs.AI cs.CV cs.LG
Audio-Visual Speech Enhancement Using Multimodal Deep Convolutional Neural Networks
Academia Sinica(中央研究院);National Taiwan University(台湾大学);Mackay Medical College(马偕医学院)
语音增强的目的是降低语音信号中的噪声。大多数SE技术仅关注于寻址音频信息。在这项工作中,受多模态学习的启发,它利用来自不同模态的数据,以及卷积神经网络(CNN)最近在SE中的成功,我们提出了一个视听深度CNN(AVDCNN)SE模型,它将音频和视频流合并到一个统一的网络模型中。我们还提出了一个多任务学习框架,用于在输出层重建音频和视频信号。准确地说,所提出的AVDCNN模型被构造为视听编码器-解码器网络,其中音频和视频数据首先使用单独的CNN进行处理,然后融合到联合网络中,以在输出层生成增强的语音(主要任务)和重建的图像(次要任务)。该模型以端到端的方式进行训练,并通过反向传播联合学习参数。我们使用五个工具标准来评估增强的语音。结果表明,AVDCNN模型产生了显着优越的性能相比,仅基于音频CNN的SE模型和两个传统的SE方法,确认视觉信息集成到SE过程的有效性。此外,AVDCNN模型也优于现有的视听SE模型,证实了其在SE中有效结合视听信息的能力。
2022-04-18 cs.MM cs.SD eess.AS
AudioGenie: A Training-Free Multi-Agent Framework for Diverse Multimodality-to-Multiaudio Generation
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));Tencent AI Lab(腾讯人工智能实验室)
提出免训练多智能体框架AudioGenie,通过生成与监督双层架构解决多模态到多音频生成中的理解不足、模型单一和缺乏自纠问题,并构建首个基准MA-Bench,在8任务9指标上达到SOTA或相当性能。
2025-08-05 cs.MA cs.MM cs.SD
Multimodal Confidence Modeling in Audio-Visual Quality Assessment
Texas State University Department of Computer Science(德克萨斯州立大学计算机科学系)
本文提出MCM-AVQA框架,通过多模态置信度感知方法提升音频视频质量评估的准确性与可解释性,特别在处理不对称退化时表现更优。
2026-05-02 cs.CV cs.MM cs.SD
Node-Based Editing for Multimodal Generation of Text, Audio, Image, and Video
Massachusetts Institute of Technology(麻省理工学院);Microsoft Research(微软研究院)
本文提出一种基于节点的多模态叙事生成系统,通过节点图编辑、自然语言提示和任务选择智能体,支持文本、图像、音频和视频的迭代生成与结构控制,并报告了定量与定性实验结果。
2025-11-06 cs.AI cs.HC cs.MM
VATT: Transformers for Multimodal Self-Supervised Learning from Raw Video, Audio and Text
Columbia University(哥伦比亚大学);Google(谷歌);Cornell University(康奈尔大学)
我们提出了一个框架,学习多模态表示从未标记的数据使用卷积自由Transformer架构。具体来说,我们的视频-音频-文本Transformer(VATT)将原始信号作为输入,并提取多模态表示,这些表示足够丰富,可以使各种下游任务受益。我们使用多模态对比损失从头开始训练VATT端到端,并通过视频动作识别、音频事件分类、图像分类和文本到视频检索等下游任务来评估其性能。此外,我们研究了一个模态不可知的,单骨干Transformer共享三个模态之间的权重。我们证明了无卷积VATT在下游任务中的性能优于最先进的基于ConvNet的架构。特别是,VATT的视觉Transformer在Kinetics-400上达到了82.1%的顶级准确率,在Kinetics-600上达到了83.6%,在Kinetics-700上达到了72.7%,在Moments in Time上达到了41.1%,这些都是新的记录,同时避免了监督式的预训练。转移到图像分类导致ImageNet上的top-1准确率为78.7%,而从头开始训练相同的Transformer的准确率为64.7%,这表明尽管视频和图像之间存在领域差距,但我们的模型具有普遍性。VATT的音频Transformer还在基于波形的音频事件识别方面创造了新纪录,在AudioSet上实现了39.4%的mAP,而无需任何监督的预训练。VATT的源代码是公开的。
2021-12-07 cs.AI cs.CV cs.LG
Adaptive Audio-Visual Speech Recognition via Matryoshka-Based Multimodal LLMs
Imperial College London(伦敦帝国学院)
本文提出Llama-MTSK,首个基于套娃式表示学习的多模态大语言模型,用于音视频语音识别,通过灵活调整令牌分配适应不同计算约束,在主要数据集上达到或超越固定压缩模型的性能。
2025-08-06 cs.CV cs.MM cs.SD
Music Audio-Visual Question Answering Requires Specialized Multimodal Designs
University of Waterloo(滑铁卢大学);Dartmouth College(达特茅斯学院);UC Irvine(加州大学尔湾分校);New York University(纽约大学)
本文探讨了音乐音频视觉问答任务中多模态设计的必要性,指出需专门的输入处理、空间时间架构和音乐特定建模策略以应对连续密集的音频视觉内容和复杂时间动态。
2026-04-09 cs.CV cs.MM cs.SD
MMS-LLaMA: Efficient LLM-based Audio-Visual Speech Recognition with Minimal Multimodal Speech Tokens
Integrated Vision and Language Lab, KAIST, South Korea(集成视觉与语言实验室,韩国科学技术院)
本文提出MMS-LLaMA高效多模态语音LLM框架,通过早期音视频融合、动态令牌分配和语速预测器,在LRS3上以每秒仅3.5个令牌实现0.72% WER,令牌使用量减少86%,FLOPs降低35.7%。
2025-06-05 cs.CV cs.MM cs.SD
Multimodal Unlearning Across Vision, Language, Video, and Audio: Survey of Methods, Datasets, and Benchmarks
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);University of Notre Dame(圣母大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
综述跨视觉、语言、音频和视频的多模态遗忘,基于相关进展等提供统一视角,通过分类法系统比较模型架构和模态,阐明权衡,强调开放问题与实际考虑,支持未来研究与部署,并发布存储库。
2026-07-10 cs.AI cs.CL cs.CR
Early Joint Learning of Emotion Information Makes MultiModal Model Understand You Better
BOSS ZhiPin(BOSS直聘)
本文针对MER2024多模态情感识别中的模态竞争、数据不足和类别不平衡问题,提出基于大语言模型的音频-文本早期联合学习与晚期融合方法,并结合多模型投票数据挖掘和语音源分离预处理,在两个子挑战中均获第二名。
2024-09-12 cs.AI cs.MM cs.SD
A Multimodal Approach towards Emotion Recognition of Music using Audio and Lyrical Content
NIT Warangal(瓦朗加尔国家理工学院)
我们提出了MoodNet -一个基于深度卷积神经网络的架构,可以有效地预测与音乐片段相关的情感,因为它的音频和歌词内容。我们评估了不同的架构,包括不同数量的二维卷积和子采样层,然后是密集层。我们使用Mel-Spectrograms来表示音频内容和单词嵌入-特别是100维单词向量,来表示歌词所代表的文本内容。我们将来自两种模态的输入数据馈送到我们的MoodNet架构。然后将来自两种模态的输出融合为一个完全连接的层,并使用softmax classfier来预测情感类别。使用F1-score作为我们的度量标准,我们的结果显示MoodNet在我们实验的两个数据集上表现出色-MIREX Multimodal数据集和Million Song数据集。我们的实验反映了一个假设,即越复杂的模型在训练数据越多的情况下表现越好。我们还观察到歌词作为更好的表达模态优于音频,并得出结论,与使用单一模态作为输入相比,组合和使用来自多个模态的特征用于预测任务导致更好的性能。
2018-10-10 cs.CL cs.CV cs.MM
MuChoMusic: Evaluating Music Understanding in Multimodal Audio-Language Models
Universitat Pompeu Fabra(庞培法布拉大学);Queen Mary University of London(伦敦玛丽女王大学);Universal Music Group(环球音乐集团)
本文提出MuChoMusic基准,通过1187道人工验证的多选题评估多模态音频-语言模型的音乐理解能力,并揭示现有开源模型过度依赖语言模态的问题。
2024-08-02 cs.CL cs.LG cs.MM
Watch or Listen: Robust Audio-Visual Speech Recognition with Visual Corruption Modeling and Reliability Scoring
KAIST(韩国科学技术院)
本文研究了多模态输入失真情况下的音视频语音识别(AVSR)问题,即音频输入和视觉输入都受到干扰的情况,这在以往的研究方向中没有得到很好的解决。以往的研究主要集中在如何用干净的视觉输入来补充损坏的音频输入,假设干净的视觉输入是可用的。然而,在现实生活中,干净的视觉输入并不总是可访问的,甚至可能被遮挡的嘴唇区域或噪声破坏。因此,我们首先分析,以前的AVSR模型是不是真的强大的多模态输入流,音频和视觉输入的腐败,相比,单模态模型。然后,我们设计了多模态输入腐败建模开发鲁棒AVSR模型。最后,我们提出了一种新的AVSR框架,即视听可靠性评分模块(AV-RelScore),这是强大的损坏的多模态输入。AV-RelScore可以确定哪个输入模态流对于预测是可靠的或不可靠的,并且还可以在预测中利用更可靠的流。该方法的有效性进行了评估与流行的基准数据库,LRS 2和LRS 3的综合实验。我们还表明,通过AV-RelScore获得的可靠性分数很好地反映了腐败的程度,使所提出的模型专注于可靠的多模态表示。
2023-03-20 cs.CV cs.LG cs.MM