Learning Relationships between Text, Audio, and Video via Deep Canonical Correlation for Multimodal Language Analysis
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Curai(Curai公司)
多模态语言分析通常考虑基于文本的特征与基于声学和视觉特性的特征之间的关系。文本特征通常在情感分析或情感识别任务中优于非文本特征,部分原因是文本特征源自在海量数据源上训练的高级语言模型或词嵌入,而音频和视频特征是人工设计的并且相对不发达。考虑到文本、音频和视频以不同的方式描述相同的话语,我们假设可以通过学习(隐藏)从文本和音频的外积(我们称之为基于文本的音频)和类似的基于文本的视频中提取的特征之间的相关性来改进多模态情感分析和情感识别。本文提出了一种新的模型,交互典型相关网络(ICCN),学习这样的多模态嵌入。ICCN通过深度典型相关分析(DCCA)学习所有三种模式之间的相关性,然后在几个基准数据集上测试所提出的嵌入,并与其他最先进的多模态嵌入算法进行比较。经验结果和消融研究证实了ICCN在从所有三个视图捕获有用信息方面的有效性。
2019-11-30 cs.LG stat.ML
MIS-AVoiDD: Modality Invariant and Specific Representation for Audio-Visual Deepfake Detection
University of North Texas(北德克萨斯大学)
提出MIS-AVoiDD方法,通过联合模态不变与特定表示解决音视频深度伪造检测中模态差距问题,在FakeAVCeleb和KoDF数据集上分别超越SOTA达17.8%和18.4%的准确率提升。
2023-10-13 cs.AI cs.CV cs.LG
Multimodal Unlearning Across Vision, Language, Video, and Audio: Survey of Methods, Datasets, and Benchmarks
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);University of Notre Dame(圣母大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
综述跨视觉、语言、音频和视频的多模态遗忘,基于相关进展等提供统一视角,通过分类法系统比较模型架构和模态,阐明权衡,强调开放问题与实际考虑,支持未来研究与部署,并发布存储库。
2026-07-10 cs.AI cs.CL cs.CR
Vision-Guided Chunking Is All You Need: Enhancing RAG with Multimodal Document Understanding
针对传统文本分块在复杂文档结构上的不足,提出利用大型多模态模型进行视觉引导的文档分块方法,通过跨批次上下文保留准确处理多页表格等元素,显著提升了分块质量与下游RAG性能。
2025-07-13 cs.AI cs.IR cs.LG
Document Haystack: A Long Context Multimodal Image/Document Understanding Vision LLM Benchmark
Amazon AGI(亚马逊人工智能研究院)
针对长文档理解缺乏基准的问题,提出Document Haystack基准,含5至200页文档及插入的文本/图像“针”,共400变体、8250问题,用于评估VLM检索能力,并展示结果与未来方向。
2025-08-04 cs.AI cs.CL cs.CV
Multimodal Transfer Deep Learning with Applications in Audio-Visual Recognition
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个转移深度学习(TDL)框架,可以将从单模态神经网络获得的知识转移到具有不同模态的网络。具体来说,我们证明了我们可以利用语音数据来微调为视频识别训练的网络,给定一组相同语义的音频-视频并行数据集。我们的方法首先学习从每个网络的中间层学习的抽象表示之间的类比保留嵌入,允许源和目标模态之间的语义级传输。然后,我们应用我们的神经网络操作,该操作使用从源网络传输的额外知识微调目标网络,同时保持目标网络的拓扑结构不变。虽然我们提出了一个视听识别任务作为我们方法的应用,但我们的框架是灵活的,因此可以与任何多模态数据集或任何现有的共享共同底层语义的深度网络一起工作。在这份工作进展报告中,我们的目标是提供全面的结果,不同的配置所提出的方法在两个广泛使用的视听数据集,我们讨论了潜在的应用所提出的方法。
2016-02-18 cs.LG cs.NE
See, Hear, and Understand: Benchmarking Audiovisual Human Speech Understanding in Multimodal Large Language Models
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Kookmin University(国民大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出AV-SpeakerBench基准测试,通过3212道多选题评估多模态大语言模型在真实视频中对语音的细粒度理解能力,发现Gemini 2.5 Pro在音频视觉融合方面表现最佳。
2026-04-10 cs.AI cs.CV cs.LG
Semantically consistent Video-to-Audio Generation using Multimodal Language Large Model
School of Computer Science and Technology, Beijing Jiaotong University(北京交通大学计算机科学与技术学院)
针对视频缺乏音效和背景音乐影响沉浸感的问题,提出SVA框架,利用多模态大语言模型理解关键帧语义生成音频方案,作为提示词驱动文本到音频模型,实现语义一致的视频到音频生成。
2024-04-26 cs.MM cs.SD eess.AS
Audio Is the Achilles' Heel: Red Teaming Audio Large Multimodal Models
Monash University(莫纳什大学)
本研究针对音频大语言多模态模型的安全盲区,通过三类场景的红队测试发现多款模型存在显著安全漏洞,并分析了安全错位的潜在原因。
2024-10-31 cs.CL cs.MM cs.SD
Evaluation of an Audio-Video Multimodal Deepfake Dataset using Unimodal and Multimodal Detectors
Sungkyunkwan University(成均馆大学)
Deepfake生成方面取得的重大进展导致了安全和隐私问题。攻击者可以很容易地在图像中冒充一个人的身份,方法是将他的脸替换为目标人物的脸。此外,使用深度学习技术克隆人类声音的新领域也正在出现。现在,攻击者可以使用目标人物的几秒钟音频生成逼真的克隆人声音。随着deepfake可能造成的潜在危害的威胁不断出现,研究人员提出了deepfake检测方法。然而,它们仅关注于检测单个模态,即,视频或音频。另一方面,为了开发一个好的deepfake检测器,可以应对deepfake生成的最新进展,我们需要一个检测器,可以检测多种形式的deepfake,即,视频和音频。为了构建这样的检测器,我们需要一个包含视频和相应音频deepfake的数据集。我们能够找到最新的deepfake数据集,音频-视频多模态Deepfake检测数据集(FakeAVCeleb),它不仅包含deepfake视频,还包含合成的假音频。我们使用了这个多模态deepfake数据集,并使用最先进的单峰,基于集合的和多模态检测方法进行了详细的基线实验来评估它。通过详细的实验,我们得出结论,与基于集合的方法相比,单峰,仅处理单一模态,视频或音频,表现不佳。而纯粹基于多模态的基线提供最差的性能。
2021-09-07 cs.CV cs.MM cs.SD
AudioGen-Omni: A Unified Multimodal Diffusion Transformer for Video-Synchronized Audio, Speech, and Song Generation
China University of Mining and Technology(中国矿业大学);Kuaishou Technology(快手科技)
AudioGen-Omni提出统一多模态扩散Transformer,通过联合训练与PAAPI机制实现视频同步的高保真音频、语音和歌曲生成,在多项任务上达到最先进水平并显著提升效率。
2025-08-07 cs.CV cs.MM cs.SD
FoleyGRAM: Video-to-Audio Generation with GRAM-Aligned Multimodal Encoders
Dept. Information Engineering, Electronics and Telecommunications (DIET), Sapienza University of Rome(信息工程、电子与电信系(DIET),罗马萨皮恩扎大学)
FoleyGRAM提出一种基于GRAM对齐多模态编码器的视频到音频生成方法,利用扩散模型和波形包络实现语义与时间对齐,在Greatest Hits基准上提升生成音频与视频的语义一致性。
2025-10-07 cs.CV cs.LG cs.MM
Leveraging Topics and Audio Features with Multimodal Attention for Audio Visual Scene-Aware Dialog
Intel Labs(英特尔研究院)
随着人工智能(AI)、智能虚拟助理(IVA)(如Alexa、Google Home等)的最新进展,已经成为许多家庭中无处不在的一部分。目前,这样的IVA大多是基于音频的,但展望未来,我们正在目睹视觉,语音和对话系统技术的融合,这些技术使IVA能够学习话语的视听基础。这将使代理能够与用户进行有关其周围的对象,活动和事件的对话。在这项工作中,我们提出了三个主要的架构探索的视听场景感知对话(AVSD):1)调查“主题”的对话作为一个重要的上下文特征的对话,2)探索多模态注意力机制在响应生成过程中,3)将端到端的音频分类ConvNet,AclNet,到我们的架构。我们讨论了详细的分析实验结果,并表明我们的模型变化优于基线系统的AVSD任务。
2019-12-20 cs.CL cs.MM cs.SD
MuseAgent-1: Interactive Grounded Multimodal Understanding of Music Scores and Performance Audio
Nanyang Technological University(南洋理工大学);Beijing University of Chemical Technology(北京化工大学);Microsoft(微软公司);University of Chicago(芝加哥大学)
MuseAgent-1 是一个专注于音乐的多模态代理,通过结构化符号表示和多步骤推理,提升对音乐谱面和表演音频的交互式理解能力。
2026-01-17 cs.MM cs.SD eess.AS
WavCaps: A ChatGPT-Assisted Weakly-Labelled Audio Captioning Dataset for Audio-Language Multimodal Research
University of Surrey(萨里大学);Johns Hopkins University(约翰斯·霍普金斯大学);The Chinese University of Hong Kong(香港中文大学);ByteDance(字节跳动);Peking University(北京大学)
为解决音频-语言多模态数据稀缺问题,我们提出WavCaps,一个含约40万弱标注音频片段的大规模数据集,利用ChatGPT辅助三阶段流程过滤噪声并生成高质量字幕,显著提升下游任务性能。
2024-07-18 cs.CL cs.MM cs.SD
CoAVT: A Cognition-Inspired Unified Audio-Visual-Text Pre-Training Model for Multimodal Processing
ByteDance(字节跳动)
本文提出受认知启发的CoAVT模型,通过联合音频-视觉编码器、文本编码器和查询编码器,结合三模态对齐与双模态对齐,在多模态预训练中取得AudioCaps、AudioSet和VGGSound等任务上的最先进性能。
2024-02-21 cs.MM cs.SD eess.AS
Coordinated Joint Multimodal Embeddings for Generalized Audio-Visual Zeroshot Classification and Retrieval of Videos
IIT Kanpur(印度理工学院坎普尔分校);University of Warwick(华威大学);NEC Labs America(NEC美国实验室)
我们提出了一种视听多模态方法的零拍学习(ZEROSHOT LEARNING)的分类和检索的视频任务。近年来,人们已经对视觉感知进行了广泛的研究,但主要局限于视觉模态和图像。我们证明,音频和视觉方式都是重要的,为视频的OWL。由于目前还没有研究该任务的数据集,因此我们还从现有的大规模音频事件数据集构建了一个包含33个类别的多模态数据集,其中包含156,416个视频。我们的经验表明,通过添加音频模态的zeroshot分类和检索的任务,使用嵌入式学习方法的多模态扩展时,性能提高。我们还提出了一种新的方法来预测“占主导地位的”模态使用共同学习的模态注意力网络。我们在半监督环境中学习注意力,因此不需要对模态进行任何额外的明确标记。我们提供了定性验证的方式具体的注意力,这也成功地推广到看不见的测试类。
2019-10-19 cs.CV cs.MM cs.SD
MAVERIX: Multimodal Audio-Visual Evaluation and Recognition IndeX
MAVERIX是一个用于评估多模态模型音频视觉整合能力的统一基准,通过精心设计的问题展示模型在跨模态理解上的性能,揭示了与人类水平的显著差距。
2025-12-06 cs.AI cs.CV cs.MM
HyDiscGAN: A Hybrid Distributed cGAN for Audio-Visual Privacy Preservation in Multimodal Sentiment Analysis
Tongji University(同济大学);DeepBlue Academy of Sciences(深蓝科学院);Beijing Institute of Technology(北京理工大学);University of Oxford(牛津大学)
针对多模态情感分析中音频和视觉模态的隐私泄露风险,提出混合分布式条件生成对抗网络HyDiscGAN,利用去标识化文本生成虚假音视频特征,在保护隐私的同时保持或提升性能。
2024-04-18 cs.DC cs.MM cs.SD
Pilot-guided Multimodal Semantic Communication for Audio-Visual Event Localization
针对现有多模态语义通信依赖恒定信道假设、难处理动态信道与多模态流任务的问题,提出导频引导的音视频事件定位多模态语义通信框架,通过数字导频适配动态信道、设计时频感知的Euler编解码,在SNR上优于基准方法。
2024-12-09 cs.CV cs.MM cs.SD
Late multimodal fusion for image and audio music transcription
Instituto Universitario de Investigación Informática(信息学大学研究所);University of Alicante(阿利坎特大学)
音乐转录是音乐信息检索的一个关键问题,它将音乐源转换成结构化的数字格式。在计算方面解决这一挑战时,MIR社区遵循两条研究路线:音乐文档,这是光学音乐识别(OMR)的情况,或音频记录,这是自动音乐转录(AMT)的情况。上述输入数据的不同性质决定了这些领域必须发展特定模式的框架。然而,他们最近的定义序列标签任务导致一个共同的输出表示,这使得研究的组合范式。在这方面,多模态图像和音频音乐转录包括有效地组合由图像和音频模态传达的信息的挑战。在这项工作中,我们探讨这个问题在后期融合水平:我们研究了四种组合方法,以合并,第一次,关于端到端的OMR和AMT系统的假设,在基于格的搜索空间。从一系列性能场景中获得的结果--其中相应的单模态模型产生不同的出错率--显示了这些方法的有趣好处。此外,所考虑的四种策略中有两种显著改善了相应的单峰标准识别框架。
2022-08-26 cs.CV cs.IR cs.MM
Exploring the Role of Audio in Multimodal Misinformation Detection
本文构建了一个综合多模态虚假信息检测框架,探索音频模态的重要性,发现音视频信息错位会严重损害模型性能。
2024-08-22 cs.MM
Audio-Visual Speech Enhancement Using Multimodal Deep Convolutional Neural Networks
Academia Sinica(中央研究院);National Taiwan University(台湾大学);Mackay Medical College(马偕医学院)
语音增强的目的是降低语音信号中的噪声。大多数SE技术仅关注于寻址音频信息。在这项工作中,受多模态学习的启发,它利用来自不同模态的数据,以及卷积神经网络(CNN)最近在SE中的成功,我们提出了一个视听深度CNN(AVDCNN)SE模型,它将音频和视频流合并到一个统一的网络模型中。我们还提出了一个多任务学习框架,用于在输出层重建音频和视频信号。准确地说,所提出的AVDCNN模型被构造为视听编码器-解码器网络,其中音频和视频数据首先使用单独的CNN进行处理,然后融合到联合网络中,以在输出层生成增强的语音(主要任务)和重建的图像(次要任务)。该模型以端到端的方式进行训练,并通过反向传播联合学习参数。我们使用五个工具标准来评估增强的语音。结果表明,AVDCNN模型产生了显着优越的性能相比,仅基于音频CNN的SE模型和两个传统的SE方法,确认视觉信息集成到SE过程的有效性。此外,AVDCNN模型也优于现有的视听SE模型,证实了其在SE中有效结合视听信息的能力。
2022-04-18 cs.MM cs.SD eess.AS
Adaptive Audio-Visual Speech Recognition via Matryoshka-Based Multimodal LLMs
Imperial College London(伦敦帝国学院)
本文提出Llama-MTSK,首个基于套娃式表示学习的多模态大语言模型,用于音视频语音识别,通过灵活调整令牌分配适应不同计算约束,在主要数据集上达到或超越固定压缩模型的性能。
2025-08-06 cs.CV cs.MM cs.SD
AV-Edit: Multimodal Generative Sound Effect Editing via Audio-Visual Semantic Joint Control
AV-Edit通过联合利用视觉、音频和文本语义,实现多模态生成式声音效果编辑,提升音频编辑的精度和质量。
2025-11-26 cs.CV cs.MM cs.SD
AudioX-Turbo: A Unified Framework for Efficient Anything-to-Audio Generation
The Hong Kong University of Science and Technology(香港科技大学);Tsinghua University(清华大学);Noiz AI;Independent Researcher(独立研究员)
提出AudioX-Turbo,基于教师-学生范式的统一高效框架,通过多模态扩散Transformer和分布匹配蒸馏实现文本、视频、音频到音频的生成,仅需4步采样,NFE减少约25倍。
2026-07-07 cs.CV cs.MM cs.SD
Music Audio-Visual Question Answering Requires Specialized Multimodal Designs
University of Waterloo(滑铁卢大学);Dartmouth College(达特茅斯学院);UC Irvine(加州大学尔湾分校);New York University(纽约大学)
本文探讨了音乐音频视觉问答任务中多模态设计的必要性,指出需专门的输入处理、空间时间架构和音乐特定建模策略以应对连续密集的音频视觉内容和复杂时间动态。
2026-04-09 cs.CV cs.MM cs.SD
MMS-LLaMA: Efficient LLM-based Audio-Visual Speech Recognition with Minimal Multimodal Speech Tokens
Integrated Vision and Language Lab, KAIST, South Korea(集成视觉与语言实验室,韩国科学技术院)
本文提出MMS-LLaMA高效多模态语音LLM框架,通过早期音视频融合、动态令牌分配和语速预测器,在LRS3上以每秒仅3.5个令牌实现0.72% WER,令牌使用量减少86%,FLOPs降低35.7%。
2025-06-05 cs.CV cs.MM cs.SD
Foley-Omni: A Unified Multimodal Generation Model from Task-Level Audio Synthesis to Complete Video Soundtrack Generation
School of Intelligence Science and Technology, Nanjing University(南京大学智能科学与技术学院);Video Rebirth;Shanghai Jiao Tong University(上海交通大学);Beijing Jiaotong University(北京交通大学);Shanghai AI Laboratory(上海人工智能实验室)
提出Foley-Omni统一多模态音频生成模型,通过共享潜变量生成过程联合建模语音、音效和音乐,实现从孤立任务级合成到完整视频配乐生成,并构建V2ST-Bench基准进行综合评估。
2026-06-02 cs.MM cs.SD
Omni-Customizer: End-to-End MultiModal Customization for Joint Audio-Video Generation
Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学);University of Electronic Science and Technology of China(电子科技大学)
本文提出Omni-Customizer,一种端到端多模态定制框架,旨在实现精确的多模态身份信息绑定和无缝融合,通过引入Omni-Context Fusion模块和Masked TTS Cross-Attention机制,提升多模态定制生成的性能。
2026-05-17 cs.CV cs.MM cs.SD
Early Joint Learning of Emotion Information Makes MultiModal Model Understand You Better
BOSS ZhiPin(BOSS直聘)
本文针对MER2024多模态情感识别中的模态竞争、数据不足和类别不平衡问题,提出基于大语言模型的音频-文本早期联合学习与晚期融合方法,并结合多模型投票数据挖掘和语音源分离预处理,在两个子挑战中均获第二名。
2024-09-12 cs.AI cs.MM cs.SD
MPN: Multimodal Parallel Network for Audio-Visual Event Localization
Fudan University(复旦大学)
视听事件定位的目标是定位在野外既可听又可见的事件,这是针对不受约束的视频的广泛的视听景物分析任务。为了解决这个问题,我们提出了一个多模态并行网络(MPN),它可以感知全局语义和非混合的本地信息的语义。具体来说,我们的MPN框架包括一个分类子网络来预测事件类别和一个本地化子网络来预测事件边界。分类子网络由多模态共注意模块(MCM)构建,并获得全局上下文。本地化子网络由多模态瓶颈注意模块(MBAM)组成,该模块旨在提取细粒度的片段级内容。大量的实验表明,我们的框架在视听事件(AVE)数据集上的完全监督和弱监督设置下都达到了最先进的性能。
2021-04-07 cs.AI cs.CV cs.MM
A Multimodal Approach towards Emotion Recognition of Music using Audio and Lyrical Content
NIT Warangal(瓦朗加尔国家理工学院)
我们提出了MoodNet -一个基于深度卷积神经网络的架构,可以有效地预测与音乐片段相关的情感,因为它的音频和歌词内容。我们评估了不同的架构,包括不同数量的二维卷积和子采样层,然后是密集层。我们使用Mel-Spectrograms来表示音频内容和单词嵌入-特别是100维单词向量,来表示歌词所代表的文本内容。我们将来自两种模态的输入数据馈送到我们的MoodNet架构。然后将来自两种模态的输出融合为一个完全连接的层,并使用softmax classfier来预测情感类别。使用F1-score作为我们的度量标准,我们的结果显示MoodNet在我们实验的两个数据集上表现出色-MIREX Multimodal数据集和Million Song数据集。我们的实验反映了一个假设,即越复杂的模型在训练数据越多的情况下表现越好。我们还观察到歌词作为更好的表达模态优于音频,并得出结论,与使用单一模态作为输入相比,组合和使用来自多个模态的特征用于预测任务导致更好的性能。
2018-10-10 cs.CL cs.CV cs.MM
Multimodal Emergency Vehicle Classification via Audio-Visual Transformers and Knowledge Distillation
Lawrence Technological University(劳伦斯理工大学)
针对自动驾驶中应急车辆检测的模态退化问题,提出AVNet多模态音视频Transformer,通过时间对齐交叉注意力融合和知识蒸馏,在AudioSet上达66.6%准确率,显著优于单模态。
2026-09-16 cs.MM cs.SD
Multimodal Self-Attention Network with Temporal Alignment for Audio-Visual Emotion Recognition
本文提出基于Transformer的多模态自注意力网络,通过时间对齐旋转位置嵌入和跨时间匹配损失,解决音频-视觉情感识别中的跨模态帧率不匹配问题,提升时间线索保留和跨模态融合效果。
2026-03-11 cs.MM cs.SD eess.SP
Audio-Visual Speech Enhancement Using Multimodal Deep Convolutional Neural Networks
语音增强的目的是降低语音信号中的噪声。大多数SE技术仅关注于寻址音频信息。在这项工作中,受多模态学习的启发,它利用来自不同模态的数据,以及卷积神经网络(CNN)最近在SE中的成功,我们提出了一个视听深度CNN(AVDCNN)SE模型,它将音频和视频流合并到一个统一的网络模型中。我们还提出了一个多任务学习框架,用于在输出层重建音频和视频信号。准确地说,所提出的AVDCNN模型被构造为视听编码器-解码器网络,其中音频和视频数据首先使用单独的CNN进行处理,然后融合到联合网络中,以在输出层生成增强的语音(主要任务)和重建的图像(次要任务)。该模型以端到端的方式进行训练,并通过反向传播联合学习参数。我们使用五个工具标准来评估增强的语音。结果表明,AVDCNN模型产生了显着优越的性能相比,仅基于音频CNN的SE模型和两个传统的SE方法,确认视觉信息集成到SE过程的有效性。此外,AVDCNN模型也优于现有的视听SE模型,证实了其在SE中有效结合视听信息的能力。
2018-01-24 cs.MM cs.SD stat.ML
Watch or Listen: Robust Audio-Visual Speech Recognition with Visual Corruption Modeling and Reliability Scoring
KAIST(韩国科学技术院)
本文研究了多模态输入失真情况下的音视频语音识别(AVSR)问题,即音频输入和视觉输入都受到干扰的情况,这在以往的研究方向中没有得到很好的解决。以往的研究主要集中在如何用干净的视觉输入来补充损坏的音频输入,假设干净的视觉输入是可用的。然而,在现实生活中,干净的视觉输入并不总是可访问的,甚至可能被遮挡的嘴唇区域或噪声破坏。因此,我们首先分析,以前的AVSR模型是不是真的强大的多模态输入流,音频和视觉输入的腐败,相比,单模态模型。然后,我们设计了多模态输入腐败建模开发鲁棒AVSR模型。最后,我们提出了一种新的AVSR框架,即视听可靠性评分模块(AV-RelScore),这是强大的损坏的多模态输入。AV-RelScore可以确定哪个输入模态流对于预测是可靠的或不可靠的,并且还可以在预测中利用更可靠的流。该方法的有效性进行了评估与流行的基准数据库,LRS 2和LRS 3的综合实验。我们还表明,通过AV-RelScore获得的可靠性分数很好地反映了腐败的程度,使所提出的模型专注于可靠的多模态表示。
2023-03-20 cs.CV cs.LG cs.MM
MMED: A Multimodal Micro-Expression Dataset based on Audio-Visual Fusion
College of Communication Engineering, Jilin University(吉林大学通信工程学院)
本文提出首个同步采集自发声音与微表情的多模态数据集 MMED,并设计非对称交叉注意力融合网络 AMF-Net,通过 LOSO-CV 实验证明音频对微表情识别具有关键消歧作用。
2025-09-18 cs.MM cs.SD
Interpreting Multimodal Communication at Scale in Short-Form Video: Visual, Audio, and Textual Mental Health Discourse on TikTok
Program in Quantitative Social Science, Dartmouth College(达特茅斯学院定量社会科学项目)
本研究提出了一种结合自动多模态特征提取与Shapley值的框架,分析TikTok上关于社交焦虑障碍的视频中视觉、音频和文本如何共同影响观众参与度,揭示了跨模态协同效应的阈值依赖性。
2026-01-21 cs.MM
SyncFusion: Multimodal Onset-synchronized Video-to-Audio Foley Synthesis
Queen Mary University of London(伦敦玛丽女王大学);Sapienza University of Rome(罗马第一大学)
提出SyncFusion系统,通过提取视频动作起始点并结合音频或文本嵌入条件化扩散模型,生成与视频同步的音效音轨,在保留创作控制权的同时消除手动同步负担。
2023-10-23 cs.CV cs.LG cs.MM
Efficient Multiscale Multimodal Bottleneck Transformer for Audio-Video Classification
本文提出多尺度多模态Transformer(MMT),结合多尺度音频与视频Transformer及对比损失实现高效音视频分类,在多个基准上显著提升准确率并降低计算开销。
2024-01-08 cs.AI cs.CV cs.LG
Multimodal Confidence Modeling in Audio-Visual Quality Assessment
Texas State University Department of Computer Science(德克萨斯州立大学计算机科学系)
本文提出MCM-AVQA框架,通过多模态置信度感知方法提升音频视频质量评估的准确性与可解释性,特别在处理不对称退化时表现更优。
2026-05-02 cs.CV cs.MM cs.SD
Multimodal Emotion Recognition using Audio-Video Transformer Fusion with Cross Attention
School of Computer Science and Engineering, Vellore Institute of Technology (VIT) University(计算机科学与工程学院,维洛雷理工学院(VIT大学))
本文提出AVT-CA模型,通过音频-视频Transformer融合与交叉注意力机制,提升多模态情感识别的准确率和F1分数。
2026-01-20 cs.CL cs.CV cs.LG
Cross-Modality and Within-Modality Regularization for Audio-Visual DeepFake Detection
本文针对音视频深度伪造检测中模态表示混淆问题,提出跨模态与模态内正则化方法,在FakeAVCeleb数据集上验证了其有效性。
2024-01-11 cs.MM
Multimodal Semantic Communication for Generative Audio-Driven Video Conferencing
提出 Wav2Vid 多模态语义通信框架,利用全时长音频与短视频语义及 GAN 生成说话人头部视频,在保持感知质量的同时将传输数据量最高减少 83%。
2024-10-29 cs.MM
Proof-Carrying Multimodal Timelines: Finite-Trace Modal Certificates for Video-Audio Consistency
Bahcesehir University(巴赫塞希尔大学)
研究视频-音频一致性问题,核心方法是将其作为有限轨迹模态监测,通过公式库规定多种一致性,证书记录关键信息,工件进行视频解码等操作,贡献是提供可重现见证及相关处理流程。
2026-07-20 cs.MM
AV-Odyssey Bench: Can Your Multimodal LLMs Really Understand Audio-Visual Information?
CUHK MMLab(香港中文大学多媒体实验室);CUHK (SZ)(香港中文大学(深圳));Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校);Yale University(耶鲁大学)
本文提出含4555道三模态选择题的AV-Odyssey Bench,用于评估MLLM是否真正理解音视频信息,并揭示现有模型在基础声音属性判断上的缺陷。
2024-12-03 cs.AI cs.CL cs.CV
AVRT: Audio-Visual Reasoning Transfer through Single-Modality Teachers
University of Tübingen, Germany(图宾根大学);MIT, Cambridge MA, USA(麻省理工学院);IBM Research, USA(IBM研究院);MIT-IBM Watson AI Lab, USA(麻省理工-IBM沃森人工智能实验室);Tuebingen AI Center, Germany(图宾根人工智能中心)
本文提出AVRT框架,通过单模态教师模型生成高质量音频-视觉推理轨迹,并利用LLM合并模型整合轨迹,从而在多模态设置中实现推理迁移,取得音视频和音频任务的最优效果。
2026-04-17 cs.CV cs.MM cs.SD
QMAVIS: Long Video-Audio Understanding using Fusion of Large Multimodal Models
National University of Singapore(新加坡国立大学);Nanyang Technological University, Singapore(南洋理工大学)
QMAVIS通过融合大型多模态模型、大型语言模型和语音识别模型,实现了长视频音频理解,展示了在VideoMME数据集上38.75%的性能提升,并在其他数据集上表现出竞争力。
2026-01-10 cs.AI cs.MM
DF-TransFusion: Multimodal Deepfake Detection via Lip-Audio Cross-Attention and Facial Self-Attention
Purdue University(普渡大学)
提出DF-TransFusion多模态音视频深度伪造检测框架,利用唇音交叉注意力、微调VGG-16及transformer面部自注意力提取特征,在F-1和每视频AUC指标上优于现有技术。
2023-09-12 cs.CV cs.MM
MAiVAR-T: Multimodal Audio-image and Video Action Recognizer using Transformers
Edith Cowan University(伊迪丝·考恩大学);The University of Western Australia(西澳大学)
本文提出MAiVAR-T模型,通过将音频表示转换到图像域并与视频模态融合,提升多模态人类动作识别性能,实验证明其优于仅用单一模态的现有方法。
2023-08-01 cs.AI cs.CV cs.LG
VATT: Transformers for Multimodal Self-Supervised Learning from Raw Video, Audio and Text
Columbia University(哥伦比亚大学);Google(谷歌);Cornell University(康奈尔大学)
我们提出了一个框架,学习多模态表示从未标记的数据使用卷积自由Transformer架构。具体来说,我们的视频-音频-文本Transformer(VATT)将原始信号作为输入,并提取多模态表示,这些表示足够丰富,可以使各种下游任务受益。我们使用多模态对比损失从头开始训练VATT端到端,并通过视频动作识别、音频事件分类、图像分类和文本到视频检索等下游任务来评估其性能。此外,我们研究了一个模态不可知的,单骨干Transformer共享三个模态之间的权重。我们证明了无卷积VATT在下游任务中的性能优于最先进的基于ConvNet的架构。特别是,VATT的视觉Transformer在Kinetics-400上达到了82.1%的顶级准确率,在Kinetics-600上达到了83.6%,在Kinetics-700上达到了72.7%,在Moments in Time上达到了41.1%,这些都是新的记录,同时避免了监督式的预训练。转移到图像分类导致ImageNet上的top-1准确率为78.7%,而从头开始训练相同的Transformer的准确率为64.7%,这表明尽管视频和图像之间存在领域差距,但我们的模型具有普遍性。VATT的音频Transformer还在基于波形的音频事件识别方面创造了新纪录,在AudioSet上实现了39.4%的mAP,而无需任何监督的预训练。VATT的源代码是公开的。
2021-12-07 cs.AI cs.CV cs.LG
On Design and Implementation of the Distributed Modular Audio Recognition Framework: Requirements and Specification Design Document
Concordia University(康考迪亚大学)
我们提出的要求和设计规范的开源分布式模块化音频识别框架(DMARF),MARF的分布式扩展。分布式版本将许多分布式技术(例如Java RMI,CORBA,Web Services)聚集在一个可插入和模块化的模型中,并提供高级分布式系统算法。我们概述了在设计和实施过程中所遇到的相关挑战,以及项目的总体规格及其优点和局限性。
2009-07-26 cs.CV cs.DC cs.MM
The Multimodal Information based Speech Processing (MISP) 2022 Challenge: Audio-Visual Diarization and Recognition
多模态基于信息的语音处理(MISP)挑战赛旨在通过促进唤醒词、说话人日志化、语音识别等技术的研究,扩展信号处理技术在特定场景中的应用。MISP 2022挑战赛有两个轨道:1)视听扬声器日记(AVSD),旨在使用音频和视频数据解决“谁在什么时候说话”; 2)一个新的视听日记和识别(AVDR)任务,重点是解决“谁在什么时候说了什么”与视听扬声器日记结果。两首曲目都专注于中文,并在真实的家庭电视场景中使用远场音频和视频:2-6人在电视噪音的背景下相互交流。本文介绍了MISP 2022挑战赛的数据集、赛道设置和基线。我们对实验和实例的分析表明,AVDR基线系统具有良好的性能,但由于以下原因,远场视频质量、背景中存在TV噪声以及无法区分的扬声器。
2023-03-11 cs.MM