Exploring Audio Cues for Enhanced Test-Time Video Model Adaptation
Artificial Intelligence Research Institute, Shenzhen MSU-BIT University and Guangdong-Hong Kong-Macao Joint Laboratory for Emotional Intelligence and Pervasive Computing（人工智能研究院、深圳MSU-BIT大学及粤港澳大湾区情感智能与普适计算联合实验室）；School of Software Engineering, South China University of Technology（华南理工大学软件学院）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）
针对现有视频测试时自适应方法忽略音频信息的问题，提出利用音频生成辅助伪标签并结合灵活自适应循环的方法，在多个数据集上验证了其对不同视频分类模型自适应性能的提升作用。
2025-06-14 cs.CV cs.LG cs.SD
VinTAGe: Joint Video and Text Conditioning for Holistic Audio Generation
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
提出VinTAGe，一种基于流的Transformer模型，联合视频和文本条件生成整体音频（画面内外声音），通过视觉-文本编码器和联合VT-SiT模型减少模态偏差，并在新基准VinTAGe-Bench和VGGSound上取得最先进结果。
2024-12-14 cs.CV cs.MM cs.SD
SAVGBench: Benchmarking Spatially Aligned Audio-Video Generation
Sony AI（索尼人工智能）；Sony Group Corporation（索尼集团）
SAVGBench提出了一种新的基准测试方法，用于评估空间对齐音频视频生成任务的性能，通过引入专门的数据集和对齐度量标准，评估不同生成模型的对齐效果。
2026-02-04 cs.MM cs.SD eess.AS
Cross-Modal learning for Audio-Visual Video Parsing
Indian Institute of Techonology, Bombay（印度理工学院孟买分校）
在本文中，我们提出了一种新的方法，视听视频解析（AVVP）的任务，划分事件从视频分别为音频和视觉形式。所提出的解析方法同时检测的时间边界的开始和结束时间，这样的事件。我们展示了AVVP如何从以下面向有效跨模态学习的技术中受益：（i）对抗训练和跳过连接（ii）全局上下文感知注意力，以及（iii）使用音频-视频基础目标进行自我监督预训练以获得跨模态音频-视频表示。我们对Look，Listen，and Parse（LLP）数据集进行了广泛的实验评估，并表明我们在为AVVP提出的所有五个指标上都优于最先进的混合注意力网络（HAN）。我们还提出了几个消融来验证预训练，全局注意力和对抗性训练的效果。
2021-06-21 cs.CV cs.LG cs.SD
Geometry-Aware Multi-Task Learning for Binaural Audio Generation from Video
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Stanford University（斯坦福大学）；Facebook AI Research（Facebook 人工智能研究院）
双耳音频为人类听众提供沉浸式空间声音体验，但大多数现有视频缺乏双耳音频记录。我们提出了一种音频空间化方法，利用视频中的视觉信息将其单声道（单通道）音频转换为双耳音频。而现有的方法利用直接从视频帧中提取的视觉特征，我们的方法明确地解开存在于视觉流中的几何线索，以指导学习过程。特别是，我们开发了一个多任务框架，通过考虑底层房间脉冲响应，视觉流与声源位置的一致性，以及随着时间的推移发声对象的几何形状的一致性，来学习双耳音频生成的几何感知特征。此外，我们引入了一个新的大型视频数据集与现实的双耳音频模拟现实世界的扫描环境。在两个数据集上，我们证明了我们的方法的有效性，达到了最先进的结果。
2021-11-21 cs.CV cs.SD eess.AS
Audio Match Cutting: Finding and Creating Matching Audio Transitions in Movies and Videos
Dolby Laboratories（杜比实验室）
本文提出一种自监督音频表示和从粗到细的匹配流程，用于自动查找并创建电影和视频中的音频匹配剪辑，并标注数据集、评估多种表示与混合方法，实现平滑音频转场。
2024-08-20 cs.LG cs.SD eess.AS
MAVL: A Multilingual Audio-Video Lyrics Dataset for Animated Song Translation
Yonsei University（延世大学）；Seoul National University（首尔国立大学）
提出首个多语言多模态歌词翻译基准MAVL，并设计音节约束的音视频大语言模型SylAVL-CoT，利用音视频线索和音节约束提升歌词可唱性和翻译准确性。
2026-06-01 cs.CL cs.LG cs.MM
OmniAudio: Generating Spatial Audio from 360-Degree Video
Hong Kong University of Science and Technology（香港科技大学）；Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室）；Zhejiang University（浙江大学）；FAIR, Meta（Meta FAIR）；Nanyang Technological University（南洋理工大学）
本文提出OmniAudio框架，通过自监督预训练和双分支结构从360度视频生成一阶Ambisonics空间音频，并构建Sphere360数据集，在客观与主观指标上均达到最先进性能。
2025-06-03 cs.CV cs.SD eess.AS
Collaborative Learning to Generate Audio-Video Jointly
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；University of Bath（巴斯大学）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
已经有许多技术证明了使用GANs一次为一种模态生成多媒体数据，例如生成图像、视频和音频的能力。然而，到目前为止，多模态数据生成的任务，特别是音频和视频，还没有得到充分的探索。为此，我们提出了一种方法，表明我们能够生成自然的视频和音频数据的样本的联合相关的生成的音频和视频模态。所提出的方法使用多个鉴别器来确保音频、视频和联合输出也与真实世界的样本无法区分。我们提出了一个数据集，这项任务，并表明我们能够生成现实的样本。该方法使用各种标准指标进行验证，例如Inception Score，Frechet Inception Distance（FID）和人工评估。
2021-04-01 cs.AI cs.CV cs.GR
Self-supervised Audio Spatialization with Correspondence Classifier
University of California at Merced（加州大学默塞德分校）
空间音频是观众获得3D视觉和听觉体验的重要媒介。然而，记录设备和技术是昂贵的或公众无法获得的。在这项工作中，我们提出了一个自我监督的音频空间化网络，可以生成相应的视频和单声道音频的空间音频。为了增强空间化性能，我们使用辅助分类器来分类地面实况视频和左右声道交换的音频视频。我们收集了一个大规模的视频数据集与空间音频验证所提出的方法。实验结果表明，该模型的音频空间化任务的有效性。
2019-05-14 cs.CV cs.LG cs.SD
Foley Control: Aligning a Frozen Latent Text-to-Audio Model to Video
Stability AI
Foley Control通过冻结预训练模型并仅学习小型交叉注意力桥接，实现视频引导的拟音生成，以少量参数达到竞争性的时序与语义对齐，并保持模块化与可控性。
2025-10-24 cs.CV cs.SD
STELLA: Continual Audio-Video Pre-training with Spatio-Temporal Localized Alignment
KAIST（韩国科学技术院）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；NAVER AI Lab（NAVER AI实验室）；DeepAuto
提出STELLA持续音频-视频预训练方法，通过局部补丁重要性评分和重放引导相关性评估，实现有效学习，在零样本检索中相对提升3.69%，内存减少约45%。
2024-05-28 cs.CV cs.LG
Audio Mamba: Selective State Spaces for Self-Supervised Audio Representations
Aalborg University（奥尔堡大学）；Pioneer Center for AI（先锋人工智能中心）
本文提出Audio Mamba，一种基于选择性状态空间模型的自监督音频表示学习方法，在AudioSet预训练后于多个音频任务上显著优于SSAST基线。
2024-06-07 cs.AI cs.SD eess.AS
AxLSTMs: learning self-supervised audio representations with xLSTMs
Department of Electronic Systems（电子系统系）；Department of Informatics and Telecommunications（信息与电信系）
本文提出AxLSTM方法，利用xLSTM架构从掩码频谱图块中自监督学习音频表示，在AudioSet预训练后于十个下游任务上以最多减少45%的参数量实现比SSAST基线最高25%的相对性能提升。
2025-08-19 cs.SD eess.AS
ACAV100M: Automatic Curation of Large-Scale Datasets for Audio-Visual Video Representation Learning
Seoul National University（首尔大学）；NVIDIA Research（英伟达研究院）；Microsoft Research（微软研究院）
视觉观察与其对应的声音之间的自然关联为学习视频表示提供了强大的自我监督信号，这使得不断增长的在线视频数量成为有吸引力的训练数据来源。然而，由于编辑/配音音频，大部分在线视频包含不相关的视听信号，并且在这种未经策划的视频上训练的模型已经显示出学习次优表示。因此，现有的方法几乎完全依赖于具有预定分类的语义概念的数据集，其中存在很高的视听对应的机会。不幸的是，构建这样的数据集需要劳动密集型的手动注释和/或验证，这严重限制了在线视频用于大规模学习的实用性。在这项工作中，我们提出了一个自动数据集策展方法的基础上子集优化的目标是最大限度地提高视频中的音频和视觉通道之间的互信息。我们证明了我们的方法可以找到具有高视听对应性的视频，并表明与在现有手动管理的数据集上训练的模型相比，在我们的数据上训练的自监督模型具有竞争力的性能。我们的方法最重要的好处是可扩展性：我们发布的ACAV 100 M包含1亿个具有高视听对应性的视频，非常适合自监督视频表示学习。
2021-08-17 cs.CV
APES: Audiovisual Person Search in Untrimmed Video
Universidad de los Andes（安第斯大学）；Adobe Research（Adobe研究院）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
人类可以说是视频流中最重要的主体之一，许多现实世界的应用，如视频摘要或视频编辑工作流，通常需要自动搜索和检索感兴趣的人。尽管在人的重新识别和检索领域做出了巨大的努力，但很少有作品开发了视听搜索策略。在本文中，我们提出了视听人员搜索数据集（APES），一个新的数据集组成的未修剪的视频，其音频（声音）和视觉（面部）流密集注释。APES包含超过1.9K个标识，标记了36小时的视频，使其成为可用于未经修剪的视听人员搜索的最大数据集。APES的一个关键属性是它包括将面部链接到相同身份的语音片段的密集时间注释。为了展示我们新数据集的潜力，我们提出了一个用于人员检索的视听基线和基准。我们的研究表明，模拟视听线索有利于人们的身份识别。为了实现可重复性并促进未来的研究，数据集注释和基线代码可在https://github.com/fuankarion/audiovisual-person-search上获得
2021-06-03 cs.CV
MVAD: A Benchmark Dataset for Multimodal AI-Generated Video-Audio Detection
University of Science and Technology of China（中国科学技术大学）
针对现有数据集缺乏多模态真实性的问题，提出MVAD数据集，包含三种伪造模式、高质量样本及多样化的视觉风格和内容类别，用于检测AI生成的视频-音频内容。
2026-06-15 cs.CV
Cooperative Learning of Audio and Video Models from Self-Supervised Synchronization
Dartmouth College（达特茅斯学院）；Facebook Research（脸书研究院）
视频的视觉和听觉元素之间存在自然的相关性。在这项工作中，我们利用这种连接来学习一般和有效的模型，从自我监督的时间同步的音频和视频分析。我们证明了一个校准的课程学习计划，仔细选择的负面例子，并使用对比损失的关键成分，以获得强大的多感官表示模型优化，以辨别时间同步的音频-视频对。无需进一步微调，所产生的音频特征在已建立的音频分类基准（DCASE 2014和ESC-50）上实现优于或相当于最先进的性能。与此同时，我们的视觉子网提供了一个非常有效的初始化，以提高基于视频的动作识别模型的准确性：与从头开始学习相比，我们的自我监督预训练在UCF 101上的动作识别准确性显著提高了+19.9%，在HMDB 51上提高了+17.7%。
2018-11-09 cs.CV
MUGEN: A Playground for Video-Audio-Text Multimodal Understanding and GENeration
Meta AI Research（元人工智能研究院）；University of Rochester（罗切斯特大学）；University of Maryland（马里兰大学）
多模态视频-音频-文本理解和生成可以从狭窄但丰富的数据集中受益。这种狭窄性允许研究界在微小的挑战上取得进展。这种丰富性确保我们在核心挑战上取得进展。为此，我们提出了一个大规模的视频-音频-文本数据集MUGEN，使用开源平台游戏CoinRun [11]收集。我们做了大量的修改，通过引入音频和启用新的交互来使游戏更加丰富。我们训练了具有不同目标的RL代理来导航游戏并与13个对象和角色进行交互。这使我们能够自动提取大量不同的视频和相关的音频。我们对375 K视频片段（每个3.2秒）进行了采样，并从人类注释者那里收集了文本描述。每个视频都有额外的注释，这些注释是从游戏引擎中自动提取的，例如每个帧的准确语义映射和模板化的文本描述。总之，MUGEN可以帮助多模态理解和生成方面的许多任务的研究进展。我们基准的任务，涉及视频音频文本检索和生成的代表性方法。我们的数据集和代码发布在：https://mugen-org.github.io/。
2022-04-28 cs.AI cs.CV
CoVA: Text-Guided Composed Video Retrieval for Audio-Visual Content
CoVA通过整合视频、音频和文本特征，解决音频视觉内容检索中的跨模态变化问题，提出AVT复合融合方法并构建AV-Comp基准。
2026-01-30 cs.CV
QuerYD: A video dataset with high-quality text and audio narrations
Visual Geometry Group, University of Oxford（牛津大学视觉几何组）
我们介绍了QuerYD，一个新的大规模数据集的检索和事件定位的视频。我们的数据集的一个独特功能是每个视频都有两个音轨：原始音频和视觉内容的高质量口头描述。该数据集基于YouDescribe，这是一个志愿者项目，通过将语音叙述附加到现有的YouTube视频来帮助视障人士。这个不断增长的视频集合包含高度详细的，时间对齐的音频和文本注释。内容描述比对话更相关，并且比先前的描述尝试更详细，可以观察到包含许多肤浅或无信息的描述。为了证明实用的QuerYD数据集，我们表明，它可以用来训练和基准强大的模型检索和事件本地化。数据、代码和模型都是公开的，我们希望QuerYD能激发人们对使用书面和口头自然语言理解视频理解的进一步研究。
2021-02-17 cs.CV
Role of Audio in Audio-Visual Video Summarization
KUIS-AI Laboratory（KUIS人工智能实验室）
视频摘要吸引了人们的注意力，有效的视频表示，检索和浏览，以缓解量和流量激增的问题。虽然视频摘要大多使用视觉通道进行压缩，但最近的文献中出现了视听建模的好处。来自音频通道的信息可以是视频内容中的视听相关的结果。在这项研究中，我们提出了一个新的视听视频摘要框架集成四种方式的视听信息融合与基于GRU和基于注意力的网络。此外，我们研究了一种新的可解释性方法，使用视听典型相关分析（CCA），以更好地理解和解释音频在视频摘要任务中的作用。在TVSum数据集上的实验评估获得了视听视频摘要的F1分数和Kendall-tau分数的改进。此外，基于视听CCA将TVSum和COGNIMUSE数据集上的视频内容拆分为正相关和负相关视频，与仅音频和视听视频摘要的正相关视频相比，性能得到了很大的提高。
2022-12-02 cs.CV cs.MM cs.SD
FoleyGRAM: Video-to-Audio Generation with GRAM-Aligned Multimodal Encoders
Dept. Information Engineering, Electronics and Telecommunications (DIET), Sapienza University of Rome（信息工程、电子与电信系（DIET），罗马萨皮恩扎大学）
FoleyGRAM提出一种基于GRAM对齐多模态编码器的视频到音频生成方法，利用扩散模型和波形包络实现语义与时间对齐，在Greatest Hits基准上提升生成音频与视频的语义一致性。
2025-10-07 cs.CV cs.LG cs.MM
SyncFusion: Multimodal Onset-synchronized Video-to-Audio Foley Synthesis
Queen Mary University of London（伦敦玛丽女王大学）；Sapienza University of Rome（罗马第一大学）
提出SyncFusion系统，通过提取视频动作起始点并结合音频或文本嵌入条件化扩散模型，生成与视频同步的音效音轨，在保留创作控制权的同时消除手动同步负担。
2023-10-23 cs.CV cs.LG cs.MM
Audio-visual video-to-speech synthesis with synthesized input audio
Imperial College London（帝国理工学院）；University of Athens（雅典大学）
本文研究视频转语音中训练与推理均利用音频输入的效果，提出用预训练模型合成语音并与无声视频共同训练视听合成模型，在波形和梅尔频谱图目标上均有效。
2023-07-31 cs.CV cs.LG cs.SD
AV-Link: Temporally-Aligned Diffusion Features for Cross-Modal Audio-Video Generation
Rice University（莱斯大学）；Snap Inc（Snap公司）
AV-Link提出统一框架，通过时序对齐自注意力融合冻结的音视频扩散模型特征，同时实现视频到音频和音频到视频生成，在同步性上超越MovieGen等基线。
2025-03-10 cs.CV cs.LG cs.SD
AVTok: 1D Unified Tokenization for Holistic Audio-Video Generation
The Hong Kong University of Science and Technology（香港科技大学）
提出AVTok统一分词器，采用双流Transformer架构和分层训练策略，将音视频对编码为紧凑的一维潜在表示，在音视频重建及下游生成任务中表现优异。
2026-07-01 cs.CV cs.MM cs.SD
Detection of Audio-Video Synchronization Errors Via Event Detection
Amazon（亚马逊）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了一种新的方法和一个大规模的数据库来检测音频视频同步（A/V同步）错误的网球视频。训练深度网络以检测视频流中被球拍击打的网球的视觉签名。另一个深度网络被训练来检测音频流中相同事件的听觉签名。在评估期间，音频网络在音频流中搜索球被击中的音频事件。如果在音频中发现事件，则在视频中的相邻间隔中搜索对应的视觉签名。如果在视频流中未发现事件，但在音频流中发现了事件，则会标记A/V同步错误。我们从6小时的网球比赛视频中开发了一个包含504，300帧的大型数据库，模拟了A/V同步错误，并发现我们的方法在任务中达到了很高的准确性。
2021-04-20 cs.CV cs.MM cs.SD
EgoSonics: Generating Synchronized Audio for Silent Egocentric Videos
Brown University（布朗大学）
EgoSonics利用潜在扩散模型和SyncroNet为无声自我中心视频生成语义同步音频，在质量和同步性上优于现有方法，并支持视频摘要等应用。
2024-12-14 cs.CV cs.MM cs.SD
Learning Audio-Video Modalities from Image Captions
Google Research（谷歌研究院）
文本-视频和文本-音频检索的一个主要挑战是缺乏大规模的训练数据。这与图像字幕不同，其中数据集是数百万个样本的数量级。为了缩小这一差距，我们提出了一个新的视频挖掘管道，涉及到从图像描述数据集的字幕传输到视频剪辑，没有额外的手动工作。使用这个管道，我们创建了一个新的大规模，弱标记的音频-视频描述数据集，由数百万配对的剪辑和字幕组成。我们表明，在此数据上训练基于多模态转换的模型在视频检索和视频描述方面具有竞争力的性能，匹配甚至优于HowTo 100 M预训练，剪辑减少了20倍。我们还表明，我们挖掘的剪辑是适合文本音频预训练，并实现最先进的音频检索任务的结果。
2022-04-01 cs.CV cs.MM cs.SD
Tell What You Hear From What You See -- Video to Audio Generation Through Text
University of Washington（华盛顿大学）
提出多模态生成框架VATT，通过文本提示和音频字幕实现可控的视频到音频生成，在客观和主观评估中均表现出色。
2025-04-04 cs.AI cs.CV cs.LG
Audio-based Near-Duplicate Video Retrieval with Audio Similarity Learning
Information Technologies Institute, CERTH（希腊研究与技术基金会信息技术研究所）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
在这项工作中，我们解决了基于音频的近重复视频检索的问题。我们提出了音频相似性学习（AuSiL）的方法，有效地捕捉视频对之间的音频相似性的时间模式。对于两个视频之间的鲁棒相似性计算，我们首先通过利用基于在大规模音频事件数据集上训练的卷积神经网络（CNN）的迁移学习来提取代表性的基于音频的视频描述符，然后我们计算从这些描述符的成对相似性导出的相似性矩阵。相似性矩阵随后被馈送到CNN网络，该网络捕获其内容中存在的时间结构。我们按照三元组生成过程和优化三元组损失函数来训练我们的网络。为了评估所提出的方法的有效性，我们手动注释两个公开的视频数据集的基础上，他们的视频之间的音频重复。所提出的方法实现了非常有竞争力的结果相比，三个国家的最先进的方法。此外，与竞争的方法，它是非常强大的速度转换生成的音频副本的检索。
2021-01-11 cs.IR cs.LG cs.MM
Coherent Audio-Visual Editing via Conditional Audio Generation Following Video Edits
Sony AI（索尼人工智能）；Sony Group Corporation（索尼集团）
本文提出一种联合音频视觉编辑 pipeline，通过条件音频生成实现视频编辑与音频的协调一致，实验表明其在保持音频视觉一致性方面优于现有方法。
2026-03-16 cs.LG cs.MM cs.SD
Weakly-Supervised Audio-Visual Segmentation
CMU（卡内基梅隆大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对音视频分割中像素级掩码标注成本高的问题，提出弱监督框架WS-AVS，通过多尺度多实例对比学习实现多尺度音视频对齐，在AVSBench上验证了单源和多源场景下的有效性。
2023-11-25 cs.AI cs.CV cs.LG
Step-by-Step Video-to-Audio Synthesis via Negative Audio Guidance
Sony AI, Tokyo, Japan（索尼人工智能（东京，日本））；Sony Group Corporation, Tokyo, Japan（索尼集团公司（东京，日本））
提出逐步视频到音频生成方法，通过负音频引导避免重复生成，增强声音分离性和最终音频质量，优于现有基线。
2026-07-01 cs.CV cs.LG cs.SD
MMAudioSep: Taming Video-to-Audio Generative Model Towards Video/Text-Queried Sound Separation
Sony Group Corporation, Japan（日本索尼集团公司）；Sony AI, USA（美国索尼人工智能）
MMAudioSep基于预训练视频到音频模型，通过利用视频/文本与音频的关系实现更高效的声学分离，优于现有方法并保留原始视频到音频生成能力。
2026-04-17 cs.CV cs.LG cs.SD
Diff-Foley: Synchronized Video-to-Audio Synthesis with Latent Diffusion Models
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
提出Diff-Foley，一种基于潜在扩散模型和对比视听预训练的同步视频到音频合成方法，通过双重引导显著提升生成质量，在大规模数据集上达到最先进性能。
2023-06-29 cs.CV cs.LG cs.SD
Audio-Assisted Face Video Restoration with Temporal and Identity Complementary Learning
提出通用音频辅助人脸视频修复网络GAVN，利用时间与身份互补学习，结合音频和关键点，在压缩伪影去除、去模糊和超分辨率上超越现有方法。
2025-08-06 cs.CV cs.MM cs.SD
Learning to Separate Object Sounds by Watching Unlabeled Video
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；IBM Research（IBM研究院）；Facebook AI Research（Facebook人工智能研究院）
最充分地感知一个场景需要所有的感官。然而，建模对象的外观和声音是具有挑战性的：大多数自然场景和事件包含多个对象，并且音轨将所有声源混合在一起。我们提出从未标记的视频中学习视听对象模型，然后利用视觉上下文来执行新视频中的音频声源分离。我们的方法依赖于一个深度的多实例多标签学习框架来解开映射到单个视觉对象的音频基础，即使没有孤立地观察/听到这些对象。我们展示了如何恢复解开基地可以用来指导音频声源分离，以获得更好的分离，对象级的声音。我们的工作是第一个学习音频声源分离从大规模的“在野外”的视频包含多个音频源，每个视频。我们获得了视觉辅助音频声源分离和音频去噪的最先进的结果。我们的视频结果：http://vision.cs.utexas.edu/projects/separating_object_sounds/
2018-07-26 cs.CV cs.MM cs.SD
Rhythmic Foley: A Framework For Seamless Audio-Visual Alignment In Video-to-Audio Synthesis
Tsinghua University（清华大学）；Tencent AI Lab（腾讯AI实验室）
本研究提出Rhythmic Foley视频转音频合成框架，通过语义对齐与时间同步双适配器及对比音视频预训练编码器，解决音视频不同步和语义丢失问题，提升生成音频质量与可控性，实验验证了其音视频无缝对齐的有效性。
2024-09-13 cs.MM cs.SD eess.AS
Audio Barlow Twins: Self-Supervised Audio Representation Learning
Imperial College London（伦敦帝国理工学院）；University of Augsburg（奥格斯堡大学）
Barlow Twins自监督学习目标既不需要负样本也不需要非对称学习更新，其结果与计算机视觉的当前最先进水平相当。因此，我们提出了音频巴洛双胞胎，一种新的自我监督的音频表示学习方法，适应巴洛双胞胎的音频域。我们在大规模音频数据集AudioSet上进行了预训练，并评估了HEAR 2021挑战赛中18个任务的学习表示的质量，取得了优于或与当前最先进的音频表示自监督学习方法相媲美的结果。代码请访问https://github.com/jonahanton/SSL_audio。
2022-09-28 cs.LG cs.SD eess.AS
Ovi: Twin Backbone Cross-Modal Fusion for Audio-Video Generation
Character AI；Yale University（耶鲁大学）
该研究提出音视频生成统一范式Ovi，通过双DiT模块分块跨模态融合实现音视频同步生成，在大规模数据上训练后可产出带自然语音和匹配音效的电影级视频片段。
2025-09-30 cs.CV cs.MM cs.SD
Foley-Flow: Coordinated Video-to-Audio Generation with Masked Audio-Visual Alignment and Dynamic Conditional Flows
CMU / MBZUAI DAMO Academy, Alibaba Group（卡内基梅隆大学 / MBZUAI 大学 DAMO 院，阿里巴巴集团）；DAMO Academy, Alibaba Group（DAMO 院，阿里巴巴集团）；Hupan Laboratory（虎盘实验室）
FoleyFlow通过掩码建模和动态条件流实现视频到音频的协调生成，提升语义与节奏一致性。
2026-03-09 cs.AI cs.CV cs.LG
Unified Video-Language Pre-training with Synchronized Audio
CMU（卡内基梅隆大学）；Xiaohongshu（小红书）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对现有视频-语言预训练未利用音频与其他模态同步性的问题，提出带同步音频的三模态预训练框架VLSA，通过局部块掩码建模与全局音频匹配学习特征，在0.9M数据预训练下跨模态检索效果优于SOTA基线。
2024-05-12 cs.AI cs.CV cs.LG
VAInpaint: Zero-Shot Video-Audio inpainting framework with LLMs-driven Module
The Hong Kong University of Science and Technology（香港科学与技术大学）
本文提出VAInpaint框架，通过分割引导视频修复并结合LLM生成的文本查询驱动音频分离，实现零样本音视频联合修复，性能与现有基准相当。
2025-09-21 cs.CV cs.MM cs.SD
SyncFlow: Toward Temporally Aligned Joint Audio-Video Generation from Text
Meta；University of Surrey（萨里大学）
本文提出SyncFlow系统，通过双扩散Transformer架构和多阶段训练策略，从文本同时生成时间同步的音视频，显著提升了输出相关性、音频质量及视听对应关系，并具备零样本音视频生成和分辨率适应能力。
2024-12-03 cs.MM cs.SD eess.AS
Unified Multisensory Perception: Weakly-Supervised Audio-Visual Video Parsing
University of Rochester（罗切斯特大学）；Adobe Research（Adobe研究院）
在本文中，我们引入了一个新的问题，命名为视听视频解析，其目的是将视频解析成时间事件片段，并将它们标记为可听，可见或两者兼而有之。这样的问题对于完整理解视频中描绘的场景至关重要。为了便于探索，我们收集了一个看，听，和解析（LLP）数据集调查视听视频解析在弱监督的方式。这个任务可以自然地表述为多模态多实例学习（MMIL）问题。具体而言，我们提出了一种新的混合注意力网络，同时探索单峰和跨模态的时间背景。我们开发了一个细心的MMIL池化方法，从不同的时间范围和方式自适应地探索有用的音频和视频内容。此外，我们发现和减轻模态偏见和嘈杂的标签问题与个人指导的学习机制和标签平滑技术，分别。实验结果表明，具有挑战性的视听视频解析，即使只有视频级的弱标签可以实现。我们提出的框架可以有效地利用单模态和跨模态的时间上下文，并减轻模态偏见和嘈杂的标签问题。
2020-07-21 cs.CV cs.MM cs.SD
On the Audio Hallucinations in Large Audio-Video Language Models
LY Corporation
本文构建并标注1,000条音频问答句子以分析大型音频-视频语言模型的音频幻觉，并利用预训练音频-文本模型在零样本与微调设置下完成幻觉分类，微调F1达87.9%。
2024-01-18 cs.CL cs.CV cs.MM
Audio Input Generates Continuous Frames to Synthesize Facial Video Using Generative Adiversarial Networks
School of Information Technology and Electrical Engineering（信息技术与电气工程学院）；The University of Queensland（昆士兰大学）
本文提出了一种基于音频的语音视频生成的简单方法：给定一段音频，我们可以生成一个视频的目标人脸说这个音频。本文提出了一种生成对抗网络（GAN），它以剪切语音音频输入为条件，在生成器和搜索器中使用卷积门递归单元（GRU）。我们的模型通过利用短音频和此持续时间内的帧来训练。为了训练，我们剪切音频并在相应的帧中提取人脸。我们设计了一个简单的编码器，并比较了使用GAN和不使用GRU生成的帧。我们使用GRU的时间相干帧和结果表明，短音频可以产生相对真实的输出结果。
2022-07-18 cs.CV cs.GR cs.LG
MAViL: Masked Audio-Video Learners
Meta AI；FAIR（脸书人工智能研究院）
本文提出 MAViL，融合掩码重建、带掩码的模态内/间对比学习及联合特征自训练，学习音视频表示，并在 AudioSet 与 VGGSound 上首次以自监督超越外部监督模型。
2023-07-17 cs.CV cs.MM cs.SD
Text-to-Audio Generation Synchronized with Videos
Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（奥多比研究院）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对现有文本到音频生成与视频不同步的问题，本文提出T2AV-Bench基准和T2AV模型，通过视觉对齐文本嵌入、时间多头注意力和音频-视觉ControlNet实现视频对齐的音频生成。
2024-03-08 cs.AI cs.CV cs.LG
BYOL for Audio: Self-Supervised Learning for General-Purpose Audio Representation
NTT Corporation（日本电信电话公司）
受计算机视觉自监督学习的最新进展的启发，我们探索了一种新的通用音频表示学习方法。我们建议从单个音频段学习通用音频表示，而不期望音频样本的不同时间段之间的关系。为了实现这一原则，我们引入了Bootstrap Your Own Latent（BYOL）for Audio（BYOL-A，发音为“viola”），这是一种基于BYOL的音频自监督学习方法，用于学习通用音频表示。与依赖于附近音频段的一致性或远程音频段的不一致性的大多数先前的音频自监督学习方法不同，BYOL-A在从单个音频段导出的增强音频段对中创建对比。通过标准化和增强技术的结合，BYOL-A在各种下游任务中实现了最先进的结果。广泛的消融研究也阐明了每个组件及其组合的贡献。
2021-04-21 cs.LG cs.SD eess.AS
AVLnet: Learning Audio-Visual Language Representations from Instructional Videos
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；UT Austin（得克萨斯大学奥斯汀分校）；Columbia University（哥伦比亚大学）；IBM Research AI（IBM人工智能研究院）；Google（谷歌）；NYU（纽约大学）
用于从视频学习视觉基础语言的当前方法通常依赖于文本注释，诸如人类生成的字幕或机器生成的自动语音识别（ASR）转录。在这项工作中，我们介绍了音频视频语言网络（AVLnet），这是一种自监督网络，可以直接从原始视频输入中学习共享的视听嵌入空间。为了避免文本注释的需要，我们从随机分割的视频片段及其原始音频波形中学习视听表示。我们训练AVLnet上HowTo100 M，一个大型的语料库的公开可用的教学视频，并评估图像检索和视频检索任务，达到最先进的性能。我们对AVLnet的学习表示进行了分析，表明我们的模型利用语音和自然声音来学习视听概念。此外，我们提出了一个三模态模型，联合处理原始音频，视频和文本字幕从视频学习多模态语义嵌入空间有用的文本视频检索。我们的代码、数据和训练模型将在avlnet.csail.mit.edu上发布
2021-06-29 cs.CL cs.CV cs.MM
MMAudio: Taming Multimodal Joint Training for High-Quality Video-to-Audio Synthesis
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Sony AI（索尼人工智能公司）；Sony Group Corporation（索尼集团公司）
MMAudio 提出多模态联合训练框架，结合大规模文本-音频数据与帧级条件同步模块，以流匹配目标在视频到音频合成中实现高质量、语义对齐和音视频同步的新 state-of-the-art，同时保持低推理时间和较少参数量。
2025-04-07 cs.CV cs.LG cs.SD
