A Survey on Audio Synthesis and Audio-Visual Multimodal Processing
University of Electronic Science and Technology of China(电子科技大学)
随着深度学习和人工智能的发展,音频合成在机器学习领域有着举足轻重的地位,在行业中显示出很强的适用性。与此同时,研究者们也致力于处理多模态任务,如视听多模态处理。在本文中,我们进行了调查,音频合成和视听多模态处理,这有助于了解当前的研究和未来的趋势。本文综述了文本转语音(TTS),音乐生成和一些结合视觉和听觉信息的任务。对相应的技术方法进行了全面的分类介绍,并展望了其未来的发展趋势。本文的研究成果可为音频合成、视听多模态处理等领域的研究者提供一定的指导。
2021-08-01 cs.SD eess.AS
From Contrast to Commonality: Audio Commonality Captioning for Enhanced Audio-Text Cross-modal Understanding in Multimodal LLMs
TMCC, College of Computer Science, Nankai University, Tianjin, China(TMCC,计算机科学学院,南开大学,天津,中国)
本文提出音频共同性描述方法,旨在增强多模态大语言模型中音频与文本的跨模态理解,通过捕捉音频片段间的共享语义以改善模型的泛化能力与任务特定性能。
2026-01-25 cs.SD eess.AS
A Light-Weight Multimodal Framework for Improved Environmental Audio Tagging
Robert Bosch LLC(罗伯特·博世有限责任公司);Carnegie Mellon University(卡内基梅隆大学)
强标签的缺乏严重限制了最先进的全监督音频标记系统扩展到更大的数据集。同时,基于未标记视频的视听学习模型已经成功地应用于音频标记,但它们不可避免地需要很长的训练时间和资源。在这项工作中,我们提出了一个轻量级的,多模式的环境音频标记框架。该框架的音频分支是基于多实例学习(MIL)的卷积和递归神经网络(CRNN)。它使用大量弱标记YouTube视频摘录的音频轨道进行训练;视频分支使用预先训练的最先进的图像识别网络和词嵌入从视频轨道中提取信息,并将视觉对象映射到声音事件。在DCASE 2017挑战的音频标记任务上的实验表明,视频信息的并入在$F_1$分数方面将强基线音频标记系统绝对提高了5.3%。整个系统可以在单个GPU上在6~小时内完成训练,并且可以很容易地转移到其他音频任务,如语音情感分析。
2018-03-01 cs.SD eess.AS
CALM: Contrastive Aligned Audio-Language Multirate and Multimodal Representations
Apple(苹果公司)
获得音频和词汇输入的多模态表示是自然语言理解(NLU)的核心问题。在本文中,我们提出了对比对齐的音频语言多速率和多模态表示(CALM),一种使用音频和词汇输入中固有的对比和多速率信息来学习多模态表示的方法。该模型将声学和词汇信息对齐在预训练的仅语言上下文嵌入模型的输入嵌入空间中。通过将音频表示与预训练的语言表示对齐,并利用声学输入之间的对比信息,CALM能够在短短几个小时的训练时间内引导音频嵌入,与现有的音频表示模型竞争。在操作上,通过频谱Transformer(SpecTran)使用线性化补丁来处理音频频谱图,频谱transformer(SpecTran)使用对比音频语言预训练目标来训练,以将来自类似查询的音频和语言对齐。随后,所导出的声学和词汇标记表示被输入到多模态Transformer中以并入话语级上下文并导出所提出的CALM表示。我们表明,这些预训练的嵌入随后可以用于多模态监督任务,并证明了所提出的预训练步骤在两个嵌入空间的对齐和预训练的多速率性质方面的好处。我们的系统表现出10- 25%的改进,现有的情感识别系统,包括国家的最先进的三模态系统在各种评价目标。
2022-02-08 cs.SD eess.AS eess.SP
Can audio-visual integration strengthen robustness under multimodal attacks?
University of Rochester(罗切斯特大学)
在本文中,我们提出了一个系统的研究机器多感官感知攻击。我们使用视听事件识别任务对抗多模态对抗攻击作为代理来研究视听学习的鲁棒性。我们攻击音频,视觉,以及这两种形式,以探索视听整合是否仍然加强感知,以及不同的融合机制如何影响视听模型的鲁棒性。为了解释攻击下的多模态交互,我们学习了一个弱监督声源视觉定位模型来定位视频中的发声区域。为了抵御多模态攻击,我们提出了一种基于视听相异性约束和外部特征存储体的视听防御方法。大量的实验表明,视听模型易受多模态对抗攻击的影响;视听融合不仅不能增强模型的鲁棒性,反而会降低模型的鲁棒性;即使是弱监督的声源视觉定位模型也能被成功欺骗;我们的防御方法可以在不显著牺牲模型性能的情况下提高视听网络的抗毁性。
2021-04-05 cs.CR cs.CV cs.SD
Interpretable Audio Editing Evaluation via Chain-of-Thought Difference-Commonality Reasoning with Multimodal LLMs
College of Computer Science, Nankai University, Tianjin, China(南开大学计算机科学学院,天津,中国);Academy for Advanced Interdisciplinary Studies, Nankai University, Tianjin, China(南开大学先进跨学科研究学院,天津,中国)
提出首个基于自然语言的音频编辑自动评估框架,利用Qwen2-Audio和链式思维推理策略,实现可解释且与人类判断高度一致的评估。
2026-06-16 cs.SD eess.AS
Multimodal Assessment of Speech Impairment in ALS Using Audio-Visual and Machine Learning Approaches
KITE Research Institute, University Health Network(大学健康网络KITE研究所)
本研究结合视听分析与机器学习预测ALS患者言语障碍,使用多模态特征训练回归模型,发现极端提升机回归器预测效果最佳,为延髓功能障碍的早期检测和监测提供了客观工具。
2025-05-27 cs.SD eess.AS
Leveraging Self-supervised Audio Representations for Data-Efficient Acoustic Scene Classification
Xi'an Jiaotong-Liverpool University(西交利物浦大学);Nanjing University of Posts and Telecommunications(南京邮电大学)
本文提出一种数据高效且低复杂度的声学场景分类系统,利用BEATs自监督预训练模型提取通用音频表示,并通过集成不同微调策略与知识蒸馏技术,在有限标注数据下实现了56.7%的平均准确率。
2024-08-27 cs.SD eess.AS
Enhancing Retrieval-Augmented Audio Captioning with Generation-Assisted Multimodal Querying and Progressive Learning
Interdisciplinary Program in Artificial Intelligence(人工智能交叉学科项目);Department of Intelligence and Information(智能与信息系)
针对音频字幕检索仅用单模态音频查询的局限,提出生成辅助多模态查询与渐进式交错音频-文本对学习策略,在多个基准上达到最先进性能。
2025-06-10 cs.AI cs.SD eess.AS
Masked Spectrogram Prediction For Self-Supervised Audio Pre-Training
Peking University, Shenzhen, China(北京大学深圳);Zhejiang University, Hangzhou, China(浙江大学杭州)
基于transformer的模型在足够的数据量上训练时可以获得出色的结果和良好的泛化能力。然而,受音频域中可用的有限数据的约束,大多数用于音频任务的基于变换器的模型都是从其他域(例如图像)中的预训练模型进行微调的,这与音频域有显著的差距。其他方法直接在音频域中探索自监督学习方法,但目前在下游任务中表现不佳。在本文中,我们提出了一种新的自监督学习方法,用于基于变换的音频模型,称为掩蔽谱图预测(MaskSpec),从未标记的音频数据(本文中使用的AudioSet)中学习强大的音频表示。我们的方法屏蔽输入频谱图的随机补丁,并使用编码器-解码器架构重建被屏蔽的区域。在不使用额外的模型权重或监督的情况下,多个下游数据集上的实验结果表明,MaskSpec相对于监督方法实现了显着的性能提升,并且优于以前的预训练模型。特别是,我们的最佳模型在AudioSet上达到了0.471(mAP),在OpenMIC 2018上达到了0.854(mAP),在ESC-50上达到了0.982(准确度),在SCV 2上达到了0.976(准确度),在DCASE 2019 Task 1A上达到了0.823(准确度)。
2022-04-27 cs.SD eess.AS
AxLSTMs: learning self-supervised audio representations with xLSTMs
Department of Electronic Systems(电子系统系);Department of Informatics and Telecommunications(信息与电信系)
本文提出AxLSTM方法,利用xLSTM架构从掩码频谱图块中自监督学习音频表示,在AudioSet预训练后于十个下游任务上以最多减少45%的参数量实现比SSAST基线最高25%的相对性能提升。
2025-08-19 cs.SD eess.AS
ModalityMirror: Improving Audio Classification in Modality Heterogeneity Federated Learning with Multimodal Distillation
University of Southern California(南加利福尼亚大学)
针对多模态联邦学习中客户端模态异构导致音频等次要模态性能不佳的问题,提出ModalityMirror框架,通过模态级FL聚合与多模态客户端上的联邦知识蒸馏两阶段训练,显著提升了视频缺失场景下的音频分类性能。
2024-08-28 cs.AI cs.SD eess.AS
Improving Self-Supervised Learning for Audio Representations by Feature Diversity and Decorrelation
Sony Europe B.V.(索尼欧洲有限公司)
自监督学习(SSL)最近在缩小监督学习和无监督学习之间的差距方面取得了显着的成果。其思想是学习对输入数据的失真不变的鲁棒特征。尽管它取得了成功,但这个想法可能会遇到一个崩溃的问题,即网络产生恒定的表示。为此,我们引入SELFIE,一种新的自监督学习方法,通过特征多样性和去相关性的音频表示。SELFIE通过确保表示(i)保持嵌入之间的高度多样性和(ii)解相关维度之间的依赖关系来避免崩溃问题。SELFIE在大规模AudioSet数据集上进行了预训练,其嵌入在九个音频下游任务上进行了验证,包括语音、音乐和声音事件识别。实验结果表明,SELFIE优于现有的SSL方法在几个任务。
2023-03-07 cs.SD eess.AS
Self-Supervised Audio-Visual Speech Representations Learning By Multimodal Self-Distillation
University of Science and Technology of China(中国科学技术大学);iFLYTEK Research, iFLYTEK Co. Ltd.(科大讯飞股份有限公司讯飞研究院)
在这项工作中,我们提出了一种新的方法,名为AV 2 vec,学习视听语音表示多模态自蒸馏。AV 2 vec有一个学生和一个教师模块,其中学生使用教师在线生成的多模态目标特征执行掩蔽的潜在特征回归任务。教师模型的参数是学生的动量更新。由于我们的目标特征是在线生成的,AV 2 vec不需要像AV-HuBERT那样的迭代步骤,总训练时间成本减少到不到五分之一。在这项研究中,我们进一步提出了AV 2 vec-MLM,它使用多任务学习通过掩蔽语言模型(MLM)风格的损失来增强AV 2 vec。我们的实验结果表明,AV 2 vec实现了与AV-HuBERT基线相当的性能。当与MLM类型的损失相结合时,AV 2 vec-MLM的性能优于基线,并在下游任务上实现了最佳性能。
2022-12-06 cs.SD eess.AS
Toward Multimodal Industrial Fault Analysis: A Single-Speed Chain Conveyor Dataset with Audio and Vibration Signals
Digital Innovation Research Center, Duke Kunshan University(杜克昆山大学数字创新研究中心);School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)人工智能学院);School of Artificial Intelligence, Wuhan University(武汉大学人工智能学院);School of Computer Science, Wuhan University(武汉大学计算机学院)
本文提出一个包含音频和振动信号的单速链式输送机数据集,用于多模态工业故障分析,提供标准化评估协议和统一基准以支持通道级分析和多模态融合研究。
2026-03-07 cs.SD eess.AS
Contrastive Regularization for Multimodal Emotion Recognition Using Audio and Text
Harbin Institute of Technology(哈尔滨工业大学)
语音情感识别是一个挑战,也是迈向更自然的人机交互(HCI)的重要一步。流行的方法是基于模型级融合的多模态情感识别,这意味着可以对多模态信号进行编码以获得嵌入,然后将嵌入连接在一起以进行最终分类。然而,由于噪声或其他因素的影响,每种模态并不总是倾向于相同的情感类别,这影响了模型的泛化。在本文中,我们提出了一种新的正则化方法,通过对比学习的多模态情感识别使用音频和文本。通过引入一种区分相同情感对和不同情感对的特征码,明确地限制每种模态的潜码包含相同的情感信息,从而减少噪声干扰,得到更有区别的表示。在标准IEMOCAP数据集上进行了4类情感识别的实验。结果表明,与基线系统相比,加权精度(WA)和非加权精度(UA)分别提高了1.44%和1.53%。
2022-11-20 cs.SD eess.AS
Self-supervised Learning of Audio Representations from Audio-Visual Data using Spatial Alignment
Tampere University(坦佩雷大学)
从视听数据中学习提供了许多可能性来表达音频和视觉内容之间的对应关系,类似于将听觉和视觉信息联系起来的人类感知。在这项工作中,我们提出了一种基于视听空间对齐(AVSA)的自监督表示学习方法,这是一种比视听对应(AVC)更复杂的对齐任务。除了对应关系之外,AVSA还从声学和视觉内容的空间位置中学习。基于360 $^\text{o}$视频和Ambisonics音频,我们提出了使用对象检测来选择视觉对象,并将音频信号波束成形到检测到的对象,尝试学习对象和它们产生的声音之间的空间对准。我们研究了使用空间音频特征来表示音频输入以及不同的音频格式:高保真度立体声、单声道和立体声。实验结果表明,与对数梅尔频谱图特征相比,一阶立体混响强度向量(FOA-IV)的AVSA提高了10 $\%$;添加面向对象的作物也为人类动作识别下游任务带来了显着的性能提高。设计了许多仅音频的下游任务,用于测试学习的音频特征表示的有效性,获得与来自立体混响和双耳音频的声学场景分类的最新方法相当的性能。
2022-06-02 cs.SD eess.AS
HunyuanVideo-Foley: Multimodal Diffusion with Representation Alignment for High-Fidelity Foley Audio Generation
针对视频生成中同步音频缺失的问题,提出HunyuanVideo-Foley端到端框架,通过100k小时数据集、表示对齐策略及多模态扩散transformer,实现高保真且与视觉动态和语义对齐的拟音音频生成,性能达SOTA。
2025-08-23 cs.CV cs.SD eess.AS
Audio Barlow Twins: Self-Supervised Audio Representation Learning
Imperial College London(伦敦帝国理工学院);University of Augsburg(奥格斯堡大学)
Barlow Twins自监督学习目标既不需要负样本也不需要非对称学习更新,其结果与计算机视觉的当前最先进水平相当。因此,我们提出了音频巴洛双胞胎,一种新的自我监督的音频表示学习方法,适应巴洛双胞胎的音频域。我们在大规模音频数据集AudioSet上进行了预训练,并评估了HEAR 2021挑战赛中18个任务的学习表示的质量,取得了优于或与当前最先进的音频表示自监督学习方法相媲美的结果。代码请访问https://github.com/jonahanton/SSL_audio。
2022-09-28 cs.LG cs.SD eess.AS
Self-Supervised Multi-View Learning for Disentangled Music Audio Representations
New York University(纽约大学)
针对音乐音频自监督学习中的表示纠缠问题,提出一种多视角学习框架,通过分离私有与共享表示空间,在受控实验中验证了其解纠缠有效性。
2024-11-05 cs.SD eess.AS
Temporally Heterogeneous Graph Contrastive Learning for Multimodal Acoustic event Classification
Harbin University of Science(哈尔滨理工大学);Technology The University of Melbourne(技术墨尔本大学)
本文提出时序异构图对比学习框架THGCL,通过高斯过程、Hawkes过程和对比学习区分模态内与模态间时序依赖,在AudioSet上实现多模态声学事件分类的最优性能。
2025-09-18 cs.SD eess.AS
Weakly Supervised Audio Source Separation via Spectrum Energy Preserved Wasserstein Learning
IBM Research – China(IBM中国研究院);Shanghai Jiao Tong University(上海交通大学)
将音频混合分离成单独的乐器轨道一直是一项长期存在的挑战性任务。提出了一种基于深度对抗学习的弱监督音频声源分离方法。具体来说,我们的损失函数采用Wasserstein距离,直接测量分离的源和每个单独的源的真实源之间的分布距离。此外,增加了一个全局正则化项,以满足谱能量保持性质,而不管分离。与通常涉及故意设计的约束或仔细的模型选择的最新弱监督模型不同,我们的方法几乎不需要对数据进行先验模型规范,并且可以以端到端的方式直接学习。我们表明,所提出的方法在公共基准上对最先进的弱监督方法具有竞争力。
2018-05-17 cs.SD eess.AS
Pseudo strong labels for large scale weakly supervised audio tagging
Xiaomi Corporation(小米公司)
大规模的音频标记数据集不可避免地包含不完美的标签,例如由于高手动标记成本而没有精确的开和偏移的剪辑式注释(时间上弱)标签。这项工作提出了伪强标签(PSL),一个简单的标签增强框架,提高了大规模弱监督音频标记的监督质量。机器注释器首先在大型弱监督数据集上进行训练,然后为学生模型提供更精细的监督。使用PSL,我们使用MobileNetV2后端实现了Audioset的35.95平衡训练子集的mAP,显著优于没有PSL的方法。提供的分析显示,PSL减轻了标签缺失。最后,我们证明了用PSL训练的模型在推广到Freesound数据集(FSD)方面也优于弱训练的模型。
2022-04-28 cs.SD eess.AS
BYOL for Audio: Self-Supervised Learning for General-Purpose Audio Representation
NTT Corporation(日本电信电话公司)
受计算机视觉自监督学习的最新进展的启发,我们探索了一种新的通用音频表示学习方法。我们建议从单个音频段学习通用音频表示,而不期望音频样本的不同时间段之间的关系。为了实现这一原则,我们引入了Bootstrap Your Own Latent(BYOL)for Audio(BYOL-A,发音为“viola”),这是一种基于BYOL的音频自监督学习方法,用于学习通用音频表示。与依赖于附近音频段的一致性或远程音频段的不一致性的大多数先前的音频自监督学习方法不同,BYOL-A在从单个音频段导出的增强音频段对中创建对比。通过标准化和增强技术的结合,BYOL-A在各种下游任务中实现了最先进的结果。广泛的消融研究也阐明了每个组件及其组合的贡献。
2021-04-21 cs.LG cs.SD eess.AS
A Multimodal Prototypical Approach for Unsupervised Sound Classification
Courant Institute of Mathematical Sciences, New York University(纽约大学柯朗数学科学研究所);New York University(纽约大学)
针对零样本音频分类性能受限问题,提出利用局部音频-文本嵌入构建质心原型的无监督多模态方法,并在三个基准上平均提升12%。
2023-08-17 cs.SD eess.AS
PhaseCoder: Microphone Geometry-Agnostic Spatial Audio Understanding for Multimodal LLMs
Google DeepMind(谷歌DeepMind);Media Lab, MIT(媒体实验室,麻省理工学院);Google AR(谷歌AR)
PhaseCoder是一种无需麦克风几何结构的Transformer空间音频编码器,能够生成空间嵌入并使LLM实现复杂空间推理和转录任务。
2026-08-07 cs.AI cs.SD eess.AS
Semantically consistent Video-to-Audio Generation using Multimodal Language Large Model
School of Computer Science and Technology, Beijing Jiaotong University(北京交通大学计算机科学与技术学院)
针对视频缺乏音效和背景音乐影响沉浸感的问题,提出SVA框架,利用多模态大语言模型理解关键帧语义生成音频方案,作为提示词驱动文本到音频模型,实现语义一致的视频到音频生成。
2024-04-26 cs.MM cs.SD eess.AS
A Toolchain for Comprehensive Audio/Video Analysis Using Deep Learning Based Multimodal Approach (A use case of riot or violent context detection)
Austrian Institute of Technology(奥地利技术研究院);HCM University of Technology(胡志明市理工大学);FPT University(FPT大学)
本文提出一个基于深度学习的多模态音视频分析工具链,集成语音转文本、声学场景分类、声学事件检测、视觉目标检测、图像描述和视频描述等任务,支持音视频聚类、综合摘要及骚乱或暴力场景检测等应用。
2024-05-02 cs.AI cs.SD eess.AS
Audio Is the Achilles' Heel: Red Teaming Audio Large Multimodal Models
Monash University(莫纳什大学)
本研究针对音频大语言多模态模型的安全盲区,通过三类场景的红队测试发现多款模型存在显著安全漏洞,并分析了安全错位的潜在原因。
2024-10-31 cs.CL cs.MM cs.SD
Audio Retrieval for Multimodal Design Documents: A New Dataset and Algorithms
Adobe Research(奥多比研究院)
我们考虑并提出了一个新的问题,检索音频文件相关的多模态设计文档输入,包括文本元素和视觉图像,例如,生日/贺卡除了增强用户体验之外,集成与这些输入的主题/风格相匹配的音频还有助于提高这些文档的可访问性(例如,视力受损的人可以听音频代替)。虽然最近在音频检索方面的工作存在,但这些方法和数据集明确针对自然图像。然而,我们的问题认为多模态设计文档(由用户使用创意软件创建)与自然点击的照片有很大不同。为此,我们的第一个贡献是收集和策划一个名为Melodic-Design(或MELON)的新的大规模数据集,包括代表各种风格,主题,模板,插图等的设计文档,与音乐音频配对。鉴于我们配对的图像-文本-音频数据集,我们的下一个贡献是一种新的多模态交叉注意音频检索(MMCAR)算法,该算法能够训练神经网络学习跨图像,文本和音频维度的公共共享特征空间。我们使用这些学习到的特征来证明我们的方法优于现有的最先进的方法,并为我们的新数据集上的研究社区提供了一个新的参考基准。
2023-02-28 cs.IR cs.MM cs.SD
A Benchmark for Audio Reasoning Capabilities of Multimodal Large Language Models
Adam Mickiewicz University(亚当·密克维茨大学);Samsung R&D Institute Poland(三星波兰研发中心)
本文提出Audio Reasoning Tasks基准测试,用于评估多模态模型在结合不同音频任务进行推理方面的能力。
2026-01-27 cs.AI cs.SD
Audio Mamba: Selective State Spaces for Self-Supervised Audio Representations
Aalborg University(奥尔堡大学);Pioneer Center for AI(先锋人工智能中心)
本文提出Audio Mamba,一种基于选择性状态空间模型的自监督音频表示学习方法,在AudioSet预训练后于多个音频任务上显著优于SSAST基线。
2024-06-07 cs.AI cs.SD eess.AS
AudioX: A Unified Framework for Anything-to-Audio Generation
Hong Kong University of Science and Technology(香港科技大学);Independent Researcher(独立研究者)
本文提出AudioX框架,整合多种模态条件,通过多模态自适应融合模块提升生成质量,并构建大规模高质量数据集IF-caps,验证了其在文本到音频和文本到音乐生成中的优越性能。
2026-04-15 cs.CV cs.LG cs.MM
Conformer-Based Self-Supervised Learning for Non-Speech Audio Tasks
Facebook(脸书)
从未标记数据中进行表示学习一直是人工智能研究的热点。虽然自监督语音表示学习已经在语音研究界流行,但很少有作品全面分析非语音音频任务的音频表示学习。在本文中,我们提出了一种自监督的音频表示学习方法,并将其应用于各种下游的非语音音频任务。我们结合了著名的wav2vec 2.0框架,它已经成功地在自监督学习的语音任务,参数高效的构象架构。我们的自我监督预训练可以将对标记数据的需求减少三分之二。在AudioSet基准测试中,我们实现了0.415的平均精度(mAP)得分,这是通过仅音频自监督学习在该数据集上的最新技术水平。我们的微调构象也超过或匹配以前的系统在几个下游任务的监督方式预训练的性能。我们进一步讨论了预训练和微调的重要设计考虑因素。
2022-01-07 cs.LG cs.SD eess.AS
FusionAudio-1.2M: Towards Fine-grained Audio Captioning with Multimodal Contextual Fusion
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出两阶段多模态融合流程,构建含120万条细粒度描述和600万问答对的FusionAudio数据集,并据此训练出对齐与指令跟随能力更强的CLAP音频编码器。
2025-06-01 cs.AI cs.SD eess.AS
Integrating Audio Narrations to Strengthen Domain Generalization in Multimodal First-Person Action Recognition
University of Pittsburgh(匹兹堡大学)
针对第一人称活动识别的域偏移问题,提出整合运动、音频、外观特征的多模态框架,通过音频旁白增强音文对齐等策略,在ARGO1M数据集上实现SOTA性能,提升跨场景泛化能力。
2024-09-15 cs.AI cs.CV cs.LG
Learning Audio-Visual Speech Representation by Masked Multimodal Cluster Prediction
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Meta AI
语音的视频记录包含相关的音频和视觉信息,为从说话者的嘴唇运动和产生的声音学习语音表示提供强信号。我们介绍了视听隐藏单元BERT(AV-HuBERT),一个自监督的表示学习框架的视听语音,掩盖多流视频输入和预测自动发现和迭代细化的多模态隐藏单元。AV-HuBERT学习强大的视听语音表示,同时受益于唇读和自动语音识别。在最大的公共唇读基准测试LRS 3(433小时)中,AV-HuBERT仅用30小时的标记数据就实现了32.5%的WER,优于之前用1000倍的转录视频数据(31 K小时)训练的最先进的方法(33.6%)。当使用来自LRS 3的所有433小时标记数据并结合自我训练时,唇读WER进一步降低到26.9%。使用我们的音频-视频表示在相同的基准上进行纯音频语音识别,导致相对于最先进的性能(1.3%vs 2.3%)的40%的相对WER降低。我们的代码和模型可在https://github.com/facebookresearch/av_hubert上获得
2022-03-13 cs.CV cs.SD eess.AS
Evaluation of an Audio-Video Multimodal Deepfake Dataset using Unimodal and Multimodal Detectors
Sungkyunkwan University(成均馆大学)
Deepfake生成方面取得的重大进展导致了安全和隐私问题。攻击者可以很容易地在图像中冒充一个人的身份,方法是将他的脸替换为目标人物的脸。此外,使用深度学习技术克隆人类声音的新领域也正在出现。现在,攻击者可以使用目标人物的几秒钟音频生成逼真的克隆人声音。随着deepfake可能造成的潜在危害的威胁不断出现,研究人员提出了deepfake检测方法。然而,它们仅关注于检测单个模态,即,视频或音频。另一方面,为了开发一个好的deepfake检测器,可以应对deepfake生成的最新进展,我们需要一个检测器,可以检测多种形式的deepfake,即,视频和音频。为了构建这样的检测器,我们需要一个包含视频和相应音频deepfake的数据集。我们能够找到最新的deepfake数据集,音频-视频多模态Deepfake检测数据集(FakeAVCeleb),它不仅包含deepfake视频,还包含合成的假音频。我们使用了这个多模态deepfake数据集,并使用最先进的单峰,基于集合的和多模态检测方法进行了详细的基线实验来评估它。通过详细的实验,我们得出结论,与基于集合的方法相比,单峰,仅处理单一模态,视频或音频,表现不佳。而纯粹基于多模态的基线提供最差的性能。
2021-09-07 cs.CV cs.MM cs.SD
Efficient Selective Audio Masked Multimodal Bottleneck Transformer for Audio-Video Classification
本文提出了一种名为AVT的音视频识别方法,通过瓶颈Transformer降低跨模态融合复杂度,并结合自监督目标与掩码音频片段损失提升学习效率,在多个数据集上显著超越现有方法。
2024-01-08 cs.AI cs.CV cs.LG
Multimodal Deep Learning for Mental Disorders Prediction from Audio Speech Samples
Dalhousie University(达尔豪斯大学);Kinaxis Inc.(Kinaxis公司)
精神疾病的主要特征反映在言语中。我们的研究重点是设计一种多模态深度学习结构,该结构可以从记录的语音样本中自动提取显著特征,用于预测各种精神障碍,包括抑郁症,躁郁症和精神分裂症。我们采用各种预训练模型来从音频和文本片段中提取嵌入。我们使用了几种最先进的嵌入技术,包括用于文本表示学习的BERT、FastText和Doc 2 VecC,以及用于音频编码的WaveNet和VGG-ish模型。我们还利用巨大的辅助情感标记的文本和音频语料库来训练特定于情感的嵌入,并使用迁移学习来解决可用的注释多模态数据不足的问题。所有这些嵌入,然后组合成一个联合表示在一个多模态融合层,最后一个递归神经网络被用来预测的精神障碍。我们的研究结果表明,精神障碍可以通过临床访谈的多模态分析预测可接受的准确性。
2020-04-13 cs.LG cs.SD eess.AS
An Audio-Video Deep and Transfer Learning Framework for Multimodal Emotion Recognition in the wild
Ulm University(乌尔姆大学);ITMO University(圣彼得堡国立信息技术机械与光学大学);St. Petersburg Federal Research Center of the Russian Academy of Sciences(俄罗斯科学院圣彼得堡联邦研究中心);Utrecht University(乌得勒支大学)
在本文中,我们提出了我们的贡献ABAW面部表情的挑战。我们报告了拟议的系统和遵守挑战协议的正式挑战结果。使用端到端深度学习并受益于迁移学习方法,我们达到了42.10%的测试集挑战性能指标。
2020-11-02 cs.LG cs.SD eess.AS
MuseAgent-1: Interactive Grounded Multimodal Understanding of Music Scores and Performance Audio
Nanyang Technological University(南洋理工大学);Beijing University of Chemical Technology(北京化工大学);Microsoft(微软公司);University of Chicago(芝加哥大学)
MuseAgent-1 是一个专注于音乐的多模态代理,通过结构化符号表示和多步骤推理,提升对音乐谱面和表演音频的交互式理解能力。
2026-01-17 cs.MM cs.SD eess.AS
AudioGen-Omni: A Unified Multimodal Diffusion Transformer for Video-Synchronized Audio, Speech, and Song Generation
China University of Mining and Technology(中国矿业大学);Kuaishou Technology(快手科技)
AudioGen-Omni提出统一多模态扩散Transformer,通过联合训练与PAAPI机制实现视频同步的高保真音频、语音和歌曲生成,在多项任务上达到最先进水平并显著提升效率。
2025-08-07 cs.CV cs.MM cs.SD
FoleyGRAM: Video-to-Audio Generation with GRAM-Aligned Multimodal Encoders
Dept. Information Engineering, Electronics and Telecommunications (DIET), Sapienza University of Rome(信息工程、电子与电信系(DIET),罗马萨皮恩扎大学)
FoleyGRAM提出一种基于GRAM对齐多模态编码器的视频到音频生成方法,利用扩散模型和波形包络实现语义与时间对齐,在Greatest Hits基准上提升生成音频与视频的语义一致性。
2025-10-07 cs.CV cs.LG cs.MM
Leveraging Topics and Audio Features with Multimodal Attention for Audio Visual Scene-Aware Dialog
Intel Labs(英特尔研究院)
随着人工智能(AI)、智能虚拟助理(IVA)(如Alexa、Google Home等)的最新进展,已经成为许多家庭中无处不在的一部分。目前,这样的IVA大多是基于音频的,但展望未来,我们正在目睹视觉,语音和对话系统技术的融合,这些技术使IVA能够学习话语的视听基础。这将使代理能够与用户进行有关其周围的对象,活动和事件的对话。在这项工作中,我们提出了三个主要的架构探索的视听场景感知对话(AVSD):1)调查“主题”的对话作为一个重要的上下文特征的对话,2)探索多模态注意力机制在响应生成过程中,3)将端到端的音频分类ConvNet,AclNet,到我们的架构。我们讨论了详细的分析实验结果,并表明我们的模型变化优于基线系统的AVSD任务。
2019-12-20 cs.CL cs.MM cs.SD
WavCaps: A ChatGPT-Assisted Weakly-Labelled Audio Captioning Dataset for Audio-Language Multimodal Research
University of Surrey(萨里大学);Johns Hopkins University(约翰斯·霍普金斯大学);The Chinese University of Hong Kong(香港中文大学);ByteDance(字节跳动);Peking University(北京大学)
为解决音频-语言多模态数据稀缺问题,我们提出WavCaps,一个含约40万弱标注音频片段的大规模数据集,利用ChatGPT辅助三阶段流程过滤噪声并生成高质量字幕,显著提升下游任务性能。
2024-07-18 cs.CL cs.MM cs.SD
Augmented Contrastive Self-Supervised Learning for Audio Invariant Representations
Microsoft(微软)
由于标记数据的稀缺性,提高泛化能力是音频分类的主要挑战。自监督学习(SSL)方法通过利用未标记的数据来学习下游分类任务的有用特征来解决这个问题。在这项工作中,我们提出了一个增强的对比SSL框架,学习不变表示从未标记的数据。我们的方法将各种扰动应用于未标记的输入数据,并利用对比学习来学习对这种扰动具有鲁棒性的表示。在Audioset和DESED数据集上的实验结果表明,我们的框架在声音/事件分类任务上的性能明显优于最先进的SSL和监督学习方法。
2021-12-21 cs.LG cs.SD eess.AS
CoAVT: A Cognition-Inspired Unified Audio-Visual-Text Pre-Training Model for Multimodal Processing
ByteDance(字节跳动)
本文提出受认知启发的CoAVT模型,通过联合音频-视觉编码器、文本编码器和查询编码器,结合三模态对齐与双模态对齐,在多模态预训练中取得AudioCaps、AudioSet和VGGSound等任务上的最先进性能。
2024-02-21 cs.MM cs.SD eess.AS
Coordinated Joint Multimodal Embeddings for Generalized Audio-Visual Zeroshot Classification and Retrieval of Videos
IIT Kanpur(印度理工学院坎普尔分校);University of Warwick(华威大学);NEC Labs America(NEC美国实验室)
我们提出了一种视听多模态方法的零拍学习(ZEROSHOT LEARNING)的分类和检索的视频任务。近年来,人们已经对视觉感知进行了广泛的研究,但主要局限于视觉模态和图像。我们证明,音频和视觉方式都是重要的,为视频的OWL。由于目前还没有研究该任务的数据集,因此我们还从现有的大规模音频事件数据集构建了一个包含33个类别的多模态数据集,其中包含156,416个视频。我们的经验表明,通过添加音频模态的zeroshot分类和检索的任务,使用嵌入式学习方法的多模态扩展时,性能提高。我们还提出了一种新的方法来预测“占主导地位的”模态使用共同学习的模态注意力网络。我们在半监督环境中学习注意力,因此不需要对模态进行任何额外的明确标记。我们提供了定性验证的方式具体的注意力,这也成功地推广到看不见的测试类。
2019-10-19 cs.CV cs.MM cs.SD
Training-Free Multimodal Guidance for Video to Audio Generation
Dept. of Information Engineering, Electronics, and Telecomm., Sapienza University of Rome, Italy(信息工程、电子与电信系,罗马大学萨皮恩扎)
本文提出无需训练的多模态引导机制,用于视频到音频扩散生成,通过模态嵌入跨度强制视频、音频和文本的一致对齐,提升生成质量与多模态对齐效果。
2025-09-29 cs.LG cs.SD
SSAVSV: Towards Unified Model for Self-Supervised Audio-Visual Speaker Verification
Computer Research Institute of Montreal (CRIM), Canada(蒙特利尔计算机研究院(CRIM))
本文提出SSAVSV,一个基于对比学习与共享视觉变换器骨干的统一自监督音视频说话人验证框架,无需标注数据,降低计算成本并实现竞争性能。
2025-06-21 cs.CV cs.SD eess.AS
MAVERIX: Multimodal Audio-Visual Evaluation and Recognition IndeX
MAVERIX是一个用于评估多模态模型音频视觉整合能力的统一基准,通过精心设计的问题展示模型在跨模态理解上的性能,揭示了与人类水平的显著差距。
2025-12-06 cs.AI cs.CV cs.MM
ThinkSound: Chain-of-Thought Reasoning in Multimodal Large Language Models for Audio Generation and Editing
Hong Kong University of Science and Technology (HKUST)(香港理工大学);Tongyi Fun Team, Alibaba Group(阿里云团队);Zhejiang University(浙江大学)
ThinkSound利用思维链推理将视频音频生成分解为拟音生成、对象交互细化和自然语言编辑三阶段,并引入AudioCoT数据集,在多项指标上达到最先进性能。
2025-11-05 cs.CV cs.SD eess.AS
EXAM2: Extending Audio Understanding in Multilingual and Multimodal Analysis
本文提出多语言多模态音频理解基准EXAM²,评估现有模型发现其存在多语言跨模态理解差距,微调的Gemma3n-EXAM²性能显著提升,推动相关研究发展。
2026-10-05 cs.AI cs.SD