Taming Visually Guided Sound Generation
Tampere University(坦佩雷大学)
视觉诱导音频生成的最新进展是基于对短、低保真度和一类声音的采样。此外,从最先进的模型中采样1秒音频在高端GPU上需要几分钟。在这项工作中,我们提出了一个单一的模型,能够生成视觉相关的,高保真的声音提示与一组帧从开放域的视频在更短的时间比它需要在一个单一的GPU上播放。我们训练一个Transformer,从预先训练的频谱图码本中采样一个新的频谱图,给定一组视频特征。使用VQGAN的变体获得码本,该变体被训练以产生具有新颖的基于频谱的感知损失的紧凑采样空间。使用基于窗口的GAN将生成的频谱图转换为波形,从而显著加快生成速度。考虑到缺乏自动评估生成的频谱图的指标,我们还建立了一个家庭的指标,称为FID和MKL。这些指标是基于一种新的声音分类器,称为Melception,旨在评估开放域样本的保真度和相关性。对小型和大型数据集进行定性和定量研究,以评估所生成样本的保真度和相关性。我们还将我们的模型与最先进的模型进行了比较,并观察到在质量、大小和计算时间方面都有了实质性的改进。代码、演示和示例:v-iashin.github.io/SpecVQGAN
2021-10-17 cs.AI cs.CV cs.LG
SonoVision: A Computer Vision Approach for Helping Visually Challenged Individuals Locate Objects with the Help of Sound Cues
Department of Computer Science and Engineering(计算机科学与工程系);BRAC University(布拉克大学)
SonoVision通过声音线索帮助视障人士独立定位物体,采用Flutter开发并使用Efficientdet-D2模型实现离线功能。
2025-12-27 cs.CV
High-Quality Sound Separation Across Diverse Categories via Visually-Guided Generative Modeling
Meta Reality Labs Research(Meta现实实验室)
本文提出 DAVIS 生成式音视觉分离框架,在 Separation U-Net 中结合 DDPM 或 Flow Matching,由混合音频与视觉条件直接生成目标频谱图,并在 AVE、MUSIC 上取得优于现有方法的分离质量。
2025-09-26 cs.CV cs.SD
Visually Guided Sound Source Separation using Cascaded Opponent Filter Network
Tampere University(坦佩雷大学)
本文的目的是恢复原始分量信号的混合音频与声源的视觉线索的帮助下。这样的任务通常被称为视觉引导的声音声源分离。提出的级联对手过滤器(COF)框架由多个阶段组成,这些阶段递归地细化声源分离。COF中的一个关键元素是一个新的对手过滤器模块,识别和重新定位源之间的残留成分。该系统是由源的外观和运动,并为此目的,我们研究了不同的表示基于视频帧,光流,动态图像,以及它们的组合。最后,我们提出了一种声源位置掩蔽(SSLM)技术,它与COF一起产生源位置的像素级掩模。整个系统使用大量未标记的视频进行端到端训练。我们将COF与最近的基线进行比较,并在三个具有挑战性的数据集(MUSIC,A-MUSIC和A-NATURAL)中获得最先进的性能。项目页面:https://ly-zhu.github.io/cof-net。
2020-07-14 cs.CV
Co-Separating Sounds of Visual Objects
UT Austin(德克萨斯大学奥斯汀分校);Facebook AI Research(脸书人工智能研究院)
从视频中学习对象的声音是具有挑战性的,因为它们通常在单个音频通道中严重重叠。当前的视觉引导音频声源分离方法通过使用人工混合的视频片段进行训练来回避这个问题,但这对训练数据收集造成了不便的限制,甚至可能阻止学习“真实”混合声音的属性。我们引入了一个协同分离训练范式,允许从未标记的多源视频中学习对象级别的声音。我们的新训练目标要求深度神经网络对相似对象的分离音频是一致可识别的,同时为每个源训练对再现准确的视频级音轨。我们的方法在真实的测试视频中解开声音,即使在训练过程中没有单独观察对象的情况下。我们获得了MUSIC、AudioSet和AV-Bench数据集的视觉引导音频声源分离和音频去噪的最新结果。
2019-08-20 cs.CV cs.MM cs.SD
Weakly-supervised Audio-visual Sound Source Detection and Separation
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(Vector人工智能研究所)
学习如何在视频的音频通道中定位和分离各个对象声音是一项艰巨的任务。目前最先进的方法从人工混合的频谱图预测音频掩码,称为混合和分离框架。我们提出了一种视听联合分割,其中网络从仅标记有对象标签的视频中学习单个对象的外观和声音。与其他最近的视觉引导音频声源分离框架不同,我们的架构可以以端到端的方式学习,并且不需要额外的监督或限界框建议。具体来说,我们在声音分离的背景下引入弱监督对象分割。我们还制定了声谱图掩模预测使用一组学习的掩模基地,结合使用对象分割的输出,一个设计,有利于分离的条件下的系数。在MUSIC数据集上的大量实验表明,我们提出的方法在视觉引导的声音声源分离和声音去噪方面优于最先进的方法。
2021-03-25 cs.CV cs.SD eess.AS
PairWise Image Finder: An Open-source Tool for Finding Visually Aligned Street-Level Image Pairs for Urban Perception Studies
Digital Geography Lab, Department of Geosciences and Geography, University of Helsinki(赫尔辛基大学地球科学与地理系数字地理实验室)
提出PairWise图像查找工具,集成特征检测与匹配及语义分割掩码,量化不同时期图像的视觉对齐度,输出匹配特征比例、距离、覆盖率和语义掩码对齐度,支持过滤高质量图像对,用于纵向变化研究和减少人工工作量。
2026-06-07 cs.CV
Visually Guided Sound Source Separation and Localization using Self-Supervised Motion Representations
Tampere University(坦佩雷大学)
本文的目的是进行视听声声源分离,即~以基于声源的视频从混合物中分离分量音频。此外,我们的目标是查明输入视频序列中的源位置。最近的工作已经显示出令人印象深刻的视听分离结果时,使用源类型(例如人类演奏乐器)和预先训练的运动检测器(例如关键点或光流)的先验知识。然而,同时,这些模型也局限于某一特定的应用领域。在本文中,我们解决了这些限制,并作出以下贡献:i)我们提出了一个两阶段的架构,称为外观和运动网络(AMnet),其中的阶段专门用于外观和运动线索,分别。整个系统以自监督的方式进行训练:ii)引入音频-运动嵌入(AME)框架来显式地表示与声音相关的运动:iii)提出音频-运动Transformer结构,用于音频和运动特征的融合; iv)我们在两个具有挑战性的数据集上展示了最先进的性能(MUSIC-21和AVE),尽管我们不使用任何预先训练的关键点检测器或光流估计器。项目页面:https://ly-zhu.github.io/self-supervised-motion-representations
2021-04-17 cs.CV
AdVerb: Visually Guided Audio Dereverberation
University of Maryland, College Park(马里兰大学帕克分校);Mila(米拉魁北克人工智能研究院);Université de Montréal(蒙特利尔大学)
该研究提出音视频去混响框架AdVerb,借助几何感知跨模态Transformer利用环境视觉信息生成掩模实现去混响,在多个下游任务及数据集上效果显著优于基线方法。
2023-08-23 cs.CV cs.MM cs.SD
Visually Aligned Word Embeddings for Improving Zero-shot Learning
零样本学习(Zero-shot learning,简称ZRL)高度依赖于一个良好的语义嵌入来连接可见类和不可见类。最近,从大型文本语料库中预训练的分布式词嵌入(DWE)已成为绘制这种连接的流行选择。与人类定义的属性相比,DWE具有更好的可扩展性和更容易获得。然而,它们被设计为反映语义相似性而不是视觉相似性,因此在CNOL中使用它们通常会导致较差的性能。为了克服这种视觉语义差异,这项工作提出了一个目标函数,通过学习神经网络将其映射到一个新的表示,称为视觉对齐的词嵌入(VAWE)的视觉信息重新对齐的分布式词嵌入。因此,VAWE的邻域结构变得类似于视觉域中的邻域结构。请注意,在这项工作中,我们没有设计一个将视觉特征和语义嵌入投影到共享空间上的方法,而只是对映射的词嵌入的结构提出了要求。该策略允许学习的VAWE推广到各种可编程语言方法和视觉特征。在四个基准数据集上通过四种最先进的VAWE方法进行评估,VAWE表现出一致的性能改善。
2017-07-18 cs.CV
D-Fusion: Direct Preference Optimization for Aligning Diffusion Models with Visually Consistent Samples
Zijing Hu(Hu Zijing);Fengda Zhang(Zhang Fengda);Kun Kuang(Kuang Kun)
本文提出D-Fusion方法,通过掩码引导自注意力融合构建视觉一致且保留去噪轨迹的样本,有效解决了扩散模型DPO对齐中的视觉不一致问题,显著提升了提示与图像的对齐效果。
2025-05-28 cs.CV
The Sound of Motions
MIT(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
声音来源于物体的运动和周围空气的振动。受人类能够从物体如何在视觉上移动来解释声源这一事实的启发,我们提出了一种新的系统,该系统可以明确地捕获声音定位和分离任务的运动线索。我们的系统是由一个端到端的可学习模型称为深密集轨迹(DDT),和一个课程学习计划。它利用了来自大量未标记视频的视听信号的固有一致性。定量和定性的评价表明,与以前的模型,依赖于视觉外观线索,我们的运动为基础的系统提高了分离乐器的声音的性能。此外,它将声音成分与同类乐器的二重奏分开,这是一个以前没有解决过的具有挑战性的问题。
2019-04-11 cs.CV cs.SD eess.AS
Seeing Through Noise: Visually Driven Speaker Separation and Enhancement
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
当视频在嘈杂的环境中拍摄时,隔离特定人的声音,同时过滤掉其他声音或背景噪音是一项挑战。我们提出了视听方法来隔离单个扬声器的声音,并消除不相关的声音。首先,在视频中捕获的面部运动被用来估计扬声器的声音,通过一个基于视频到语音的神经网络模型传递无声的视频帧。然后将语音预测作为滤波器应用于有噪声的输入音频。这种方法避免了在学习过程中使用声音的混合,因为这种可能的混合的数量是巨大的,并且不可避免地会使训练的模型产生偏差。我们在两个视听数据集,GRID和TCD-TIMIT上评估了我们的方法,并表明我们的方法在原始视频到语音的预测和一个著名的仅音频方法上获得了显着的SDR和PESQ改进。
2018-02-09 cs.CV cs.SD
Video-RAG: Visually-aligned Retrieval-Augmented Long Video Comprehension
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University(中国教育部多媒体可信感知与高效计算重点实验室,厦门大学);Nanjing University(南京大学);University of Rochester(罗切斯特大学)
Video-RAG通过视觉对齐的辅助文本提升长视频理解性能,无需训练且兼容性强,显著优于专有模型。
2025-11-23 cs.AI cs.CV
DocTrack: A Visually-Rich Document Dataset Really Aligned with Human Eye Movement for Machine Reading
Shanghai University(上海大学);Kyoto University(京都大学);Shanghai Jiao Tong University(上海交通大学)
本文提出了 DocTrack 数据集,通过眼动追踪技术实现视觉富文档与人类眼动信息的真正对齐,并验证了人类阅读顺序对文档理解任务的影响,指出了 Document AI 模型在阅读能力上与人类的差距。
2023-10-23 cs.CV cs.HC cs.IR
See, Hear, and Read: Deep Aligned Representations
Massachusetts Institute of Technology(麻省理工学院)
我们利用大量随时可用的同步数据来学习三种主要自然形态(视觉,声音和语言)共享的深度判别表示。通过利用一年多的视频声音和数百万个与图像配对的句子,我们联合训练了一个深度卷积网络,用于对齐的表示学习。我们的实验表明,这种表示是有用的几个任务,如跨模态检索或模态之间转移分类器。此外,虽然我们的网络只使用图像+文本和图像+声音对进行训练,但它也可以在文本和声音之间进行传输,这是网络在训练过程中从未观察到的传输。我们的表征的可视化显示了许多隐藏的单元,这些单元自动出现以检测概念,独立于模态。
2017-06-03 cs.CV
An accurate and revised version of optical character recognition-based speech synthesis using LabVIEW
Birla Institute of Technology(比尔拉理工学院)
针对视障人士获取书籍受限的问题,本文提出并实现了一种基于OCR和LabVIEW的精确、可靠、低成本且易用的语音合成系统,以语音输出替代文本阅读。
2025-06-18 cs.CL cs.CV cs.SD
A Visual Domain Transfer Learning Approach for Heartbeat Sound Classification
Liverpool John Moores University(利物浦约翰摩尔斯大学);Purdue University(普渡大学)
心脏病是导致人类死亡的最常见原因,占全世界死亡人数的近三分之一。早期发现疾病可以增加患者的生存机会,并且有几种方法可以早期发现心脏病的迹象。本研究提出将净化和标准化的心音转换为视觉梅尔尺度谱图,然后使用视觉域迁移学习方法自动提取特征并在心音之间进行分类。先前的一些研究发现,各种类型的心音的频谱图是人眼视觉上可区分的,这促使本研究对用于自动心音分类的视觉域分类方法进行实验。它将使用基于卷积神经网络的架构,即ResNet,MobileNetV2等作为频谱图的自动特征提取器。这些在图像域中被广泛接受的模型显示出学习从具有不同幅度和噪声水平的不同环境中收集的心音的广义特征表示。使用的模型评估标准是分类准确性,精确度,召回率和AUROC,因为所选数据集是不平衡的。所提出的方法已在PASCAL心音集合的数据集A和B上实施,两组的分类准确度均达到约90%,AUROC均达到约0.97。
2021-10-04 cs.CV cs.SD eess.AS
Learning Adaptive and Visually Aligned Conditions for Generative Zero-Shot Learning
School of Computer Science and Engineering, Southeast University, Nanjing, China(东南大学计算机科学与工程学院);Qilu University of Technology (Shandong Academy of Sciences), Jinan, China(齐鲁工业大学(山东省科学院))
ADiVA通过属性分布建模和语义-视觉对齐方法,解决生成式零样本学习中的类-实例差距和语义-视觉领域差距问题,提升模型性能。
2026-10-01 cs.CV
AMAVA: Adaptive Motion-Aware Video-to-Audio Framework for Visually-Impaired Assistance
Department of Computer Science, San Francisco State University(计算机科学系,旧金山州立大学);Department of Mathematics, San Francisco State University(数学系,旧金山州立大学);Department of Computer Engineering, San Francisco State University(计算机工程系,旧金山州立大学)
AMAVA通过将移动设备视频转换为相关声音效果或语音描述,帮助视障人士更高效地感知环境,提升导航安全性和信心。
2026-04-26 cs.CV
Dense 2D-3D Indoor Prediction with Sound via Aligned Cross-Modal Distillation
Seoul National University(首尔国立大学)
本文提出SAM蒸馏框架,通过匹配实现视觉到音频的空间对齐,首次在DAPS基准上利用声音完成2D和3D密集室内预测,并在深度估计、语义分割和3D重建任务中取得最优性能。
2023-09-20 cs.CV
Linguistically-Aligned and Visually-Grounded Preference Optimization for Clinically-Augmented Medical Report Generation
Huazhong University of Science and Technology(华中科技大学)
针对现有医疗报告生成方法的临床事实错误与视觉-语言对齐不足问题,提出DPO-Clin框架,通过ECD模块、M²DPO及反事实偏好数据构建提升模型可靠性,在多医学数据集上取得优异性能。
2026-08-12 cs.CV
Learning to Separate Object Sounds by Watching Unlabeled Video
The University of Texas at Austin(德克萨斯大学奥斯汀分校);IBM Research(IBM研究院);Facebook AI Research(Facebook人工智能研究院)
最充分地感知一个场景需要所有的感官。然而,建模对象的外观和声音是具有挑战性的:大多数自然场景和事件包含多个对象,并且音轨将所有声源混合在一起。我们提出从未标记的视频中学习视听对象模型,然后利用视觉上下文来执行新视频中的音频声源分离。我们的方法依赖于一个深度的多实例多标签学习框架来解开映射到单个视觉对象的音频基础,即使没有孤立地观察/听到这些对象。我们展示了如何恢复解开基地可以用来指导音频声源分离,以获得更好的分离,对象级的声音。我们的工作是第一个学习音频声源分离从大规模的“在野外”的视频包含多个音频源,每个视频。我们获得了视觉辅助音频声源分离和音频去噪的最先进的结果。我们的视频结果:http://vision.cs.utexas.edu/projects/separating_object_sounds/
2018-07-26 cs.CV cs.MM cs.SD
iQuery: Instruments as Queries for Audio-Visual Sound Separation
UC San Diego(加州大学圣地亚哥分校);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学);National University of Singapore(新加坡国立大学);ShanghaiTech University(上海科技大学);University of Pennsylvania(宾夕法尼亚大学)
当前的视听分离方法共享标准架构设计,其中音频编码器-解码器网络在编码器瓶颈处与视觉编码特征融合。该设计混淆了多模态特征编码的学习与用于音频分离的鲁棒声音解码。推广到一种新乐器:必须为所有乐器微调整个视觉和音频网络。我们重新制定视听分离的任务,并提出了一个灵活的查询扩展机制的查询(iQuery)的仪器。我们的方法确保了跨模态的一致性和跨仪器的解纠缠。我们利用“视觉命名”查询启动学习的音频查询,并使用跨模态的注意力,以消除潜在的声源干扰估计波形。为了推广到新的仪器或事件类,从文本提示设计中汲取灵感,我们插入一个额外的查询作为音频提示,同时冻结注意力机制。三个基准测试的实验结果表明,我们的iQuery提高视听声音声源分离性能。
2022-12-08 cs.CV cs.MM cs.SD
Sound-Guided Semantic Image Manipulation
Korea University(高丽大学);NVIDIA Corporation(英伟达公司);KAIST(韩国科学技术院)
最近生成模型的成功表明,利用多模态嵌入空间可以使用文本信息操纵图像。然而,由于源的动态特性,利用其他源而不是文本(诸如声音)来操纵图像是不容易的。特别是声音可以传达真实世界的生动情感和动态表情。在这里,我们提出了一个框架,直接将声音编码到多模态(图像-文本)嵌入空间,并从空间中操纵图像。我们的音频编码器经过训练,从音频输入中产生一个潜在的表示,该表示被迫与多模态嵌入空间中的图像和文本表示对齐。我们使用一个直接潜在的优化方法的基础上对齐嵌入的声音引导图像操作。我们还表明,我们的方法可以混合文本和音频形式,丰富了各种图像修改。我们验证了我们的声音引导图像处理的有效性定量和定性。我们还表明,我们的方法可以混合不同的方式,即,文本和音频,丰富了图像修改的多样性。在zero-shot音频分类和语义级图像分类上的实验表明,我们提出的模型优于其他文本和声音引导的最先进的方法。
2021-11-30 cs.CV cs.GR cs.LG
CounterFlow: A Two-Phase Inference-Time Sampling for Counterfactual Video Foley Generation
Kim Jaechul Graduate School of AI, KAIST(金 Jaechul人工智能研究生院,韩国科学技术院)
提出CounterFlow,一种两阶段推理时采样方案,用于预训练的流匹配VT2A模型,以生成与视觉证据矛盾但时间同步的反事实视频拟音,并通过新指标评估替换质量。
2026-05-25 cs.AI cs.CV cs.MM
Multiple Sound Sources Localization from Coarse to Fine
Shanghai Jiao Tong University(上海交通大学);Baidu Research(百度研究院);Adobe Research(奥多比研究院)
如何在无约束的视频中视觉定位多个声源是一个棘手的问题,特别是当缺乏成对的声音对象注释时。为了解决这个问题,我们开发了一个两阶段的视听学习框架,从复杂的场景中解开不同类别的音频和视觉表示,然后以粗到细的方式进行跨模态特征对齐。我们的模型在公共定位数据集上取得了最先进的结果,在复杂场景中的多源声音定位上也取得了相当好的性能。然后,我们采用本地化的结果进行声音分离,并获得与现有方法相当的性能。这些结果证明了我们的模型能够有效地将声音与特定的视觉源对齐。代码可在https://github.com/shvdiwnkozbw/Multi-Source-Sound-Localization上获得
2020-07-14 cs.CV
Visually Informed Binaural Audio Generation without Binaural Audios
The Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学)
立体声音频,特别是双耳音频,在沉浸式观看环境中起着至关重要的作用。最近的研究已经探索了生成由多声道音频集合监督的视觉引导的立体声音频。然而,由于专业记录设备的要求,现有的数据集在规模和种类上受到限制,这阻碍了监督方法在真实世界场景中的推广。在这项工作中,我们提出了伪双耳,一个有效的管道,是免费的双耳录音。关键的洞察力是用单声道数据仔细构建伪视觉立体声对进行训练。具体来说,我们利用球谐分解和头部相关脉冲响应(HRIR)来识别空间位置和接收到的双耳音频之间的关系。然后在视觉模态中,单声道数据的对应视觉线索被手动放置在声源位置处以形成对。与完全监督的范例相比,我们的无双耳记录管道在跨数据集评估中表现出很大的稳定性,并在主观偏好下实现了相当的性能。此外,结合双耳录音,我们的方法能够进一步提高监督设置下的双耳音频生成的性能。
2021-04-13 cs.CV cs.MM cs.SD
Sep-Stereo: Visually Guided Stereophonic Audio Generation by Associating Source Separation
The Chinese University of Hong Kong(香港中文大学)
立体声音频是增强人类听觉体验不可或缺的组成部分。最近的研究已经探索了使用视觉信息作为指导来从具有立体声监督的单声道音频生成双耳或立体混响音频。然而,这种完全监督的范例具有固有的缺点:立体声音频的记录通常需要精密的设备,这些设备对于广泛的可访问性来说是昂贵的。为了克服这一挑战,我们建议利用大量可用的单声道数据来促进立体声音频的生成。我们的关键观察是,视觉指示音频分离的任务也将独立的音频映射到其相应的视觉位置,这与立体声音频生成具有类似的目标。我们将立体声生成和声源分离集成到一个统一的框架中,Sep-Stereo,通过将声源分离视为一种特定类型的音频空间化。具体而言,一种新的联想金字塔网络架构,精心设计的视听功能融合。大量的实验表明,我们的框架可以提高立体声音频生成的结果,同时执行准确的声音分离与共享骨干。
2020-07-20 cs.CV cs.MM cs.SD
What to Edit Next: Visually Aligned Image-Editing Follow-Up Suggestions in Conversational Systems
Qwen Business Unit of Alibaba(阿里巴巴通义千问业务单元);Southeast University(东南大学)
该研究针对对话系统的图像创作场景,提出三阶段多模态推荐框架,经测试可降低视觉不一致率并显著提升推荐相关指标。
2026-08-19 cs.AI cs.CV
SoundSpaces: Audio-Visual Navigation in 3D Environments
UT Austin(德克萨斯大学奥斯汀分校);UIUC(伊利诺伊大学厄巴纳-香槟分校);Facebook Reality Labs(Facebook 现实实验室);Facebook AI Research(Facebook 人工智能研究院)
在世界上四处移动自然是一种多感官体验,但今天的实体代理是聋子-仅限于他们对环境的视觉感知。我们为复杂的、声学上和视觉上逼真的3D环境引入了视听导航。通过视觉和听觉,智能体必须学会导航到发声物体。我们提出了一种多模态深度强化学习方法,用于从以自我为中心的视听观察流中端到端地训练导航策略,允许代理(1)发现由混响音频指示的物理空间的几何元素,以及(2)检测和跟踪发声目标。我们进一步介绍SoundSpaces:这是首个基于两组公开可用的3D环境(Matterport 3D和Matterport)的几何声学模拟的音频渲染数据集,我们为Habitat提供仪器以支持新的传感器,从而可以在真实世界的扫描环境阵列中插入任意声源。我们的研究结果表明,音频极大地有利于3D空间中的嵌入式视觉导航,我们的工作为具有视听感知的嵌入式AI的新研究奠定了基础。
2020-08-21 cs.CV cs.HC cs.SD
Visually Dehallucinative Instruction Generation
Vision AI Lab., NC Research, NCSOFT Corporation(NCSOFT公司NC Research视觉AI实验室)
本文提出CAP2QA方法,通过将生成范围严格约束为仅限图像内容,有效减少生成式语言模型在视觉指令中的幻觉问题,并构建了图像对齐的指令式问答数据集CAP2QA-COCO,实验证明该方法在显著降低视觉幻觉的同时提升了视觉识别能力与表达能力。
2024-02-13 cs.CV
Audible World Models: Spatially Aware Sound Generation for 3D Worlds
Georgia Institute of Technology(佐治亚理工学院);Dolby Laboratories(杜比实验室)
本文提出可听世界模型,一种无需训练的框架,通过语义分层、几何锚定和声学传播,为3D世界生成随听者位置变化的空间音频,显著提升空间一致性。
2026-10-01 cs.CV cs.SD
STARSS23: An Audio-Visual Dataset of Spatial Recordings of Real Scenes with Spatiotemporal Annotations of Sound Events
Sony AI(索尼人工智能);Tampere University(坦佩雷大学);Sony Group Corporation(索尼集团公司)
本文提出视听声音事件定位与检测任务,并介绍STARSS23数据集,该数据集包含多通道音频、视频及时空标注,实验表明利用视觉对象位置可提升SELD性能。
2023-11-14 cs.CV cs.MM cs.SD
When Eyes and Ears Disagree: Can MLLMs Discern Audio-Visual Confusion?
针对MLLMs因视觉主导推理难以识别视觉存在但听觉缺失的混淆对象问题,本文提出AV-ConfuseBench基准和RL-CoMM模型,通过引入LALM参考与置信度优化,在有限数据下将准确率提升10~30%。
2025-11-13 cs.CV
Localizing Visual Sounds the Easy Way
Carnegie Mellon University(卡内基梅隆大学)
无监督音视频源定位的目标是定位视频中的可见声源,而不依赖于地面实况定位进行训练。以前的作品往往寻求高视听相似性的可能积极(发声)的地区和低相似性的可能消极的地区。然而,在没有手动注释的情况下,准确区分发声区域和非发声区域是具有挑战性的。在这项工作中,我们提出了一种简单而有效的方法,即EZ-VSL,而不依赖于建设的积极和/或消极的地区在训练过程中。相反,我们通过寻找在关联图像的至少一个位置对齐的视听表示来对齐音频和视觉空间,而在任何位置都不匹配其他图像。我们还引入了一种新的对象引导定位方案在推理时间,以提高精度。我们简单而有效的框架在两个流行的基准测试中实现了最先进的性能,Flickr SoundNet和VGG-Sound Source。特别是,我们将Flickr SoundNet测试集的CIoU从76.80%提高到83.94%,并将VGG-Sound Source数据集的CIoU从34.60%提高到38.85%。该代码可在https://github.com/stoneMo/EZ-VSL上获得。
2022-03-29 cs.CV cs.LG cs.MM
Hearing and Seeing Through CLIP: A Framework for Self-Supervised Sound Source Localization
School of Electrical Engineering, KAIST, South Korea(韩国延世大学电气工程学院);ETRI, South Korea(韩国电子技术研究院)
本文提出一种基于CLIP的自监督声源定位框架,通过将音频映射为CLIP兼容嵌入并与视觉特征对比对齐,无需文本输入即可实现更完整紧凑的定位,并在多个任务和零样本场景中优于现有方法。
2025-05-08 cs.CV cs.SD eess.AS
AV-Edit: Multimodal Generative Sound Effect Editing via Audio-Visual Semantic Joint Control
AV-Edit通过联合利用视觉、音频和文本语义,实现多模态生成式声音效果编辑,提升音频编辑的精度和质量。
2025-11-26 cs.CV cs.MM cs.SD
Continual Audio-Visual Sound Separation
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Brown University(布朗大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出持续视听声音分离任务及ContAV-Sep方法,通过跨模态相似性蒸馏约束缓解灾难性遗忘,实现新类声源持续分离并保持旧类性能。
2024-11-05 cs.CV cs.LG cs.MM
Separating the "Chirp" from the "Chat": Self-supervised Visual Grounding of Sound and Language
MIT(麻省理工学院);Microsoft(微软公司);Oxford(牛津大学);Google(谷歌公司)
本文提出DenseAV双编码器架构,通过自监督对比学习实现词语含义与声音位置的自动发现和区分,并在语音与声音提示的语义分割及跨模态检索上显著超越现有方法。
2024-06-09 cs.CL cs.CV cs.IR
Binaural Audio-Visual Instance Segmentation
本文提出双耳视听实例分割(BiAVIS)任务,利用双耳音频的空间线索和查询级视听融合,解决单耳AVS中同类实例难以区分的问题,并在新基准上显著提升性能。
2026-10-21 cs.CV cs.SD eess.AS
Step-by-Step Video-to-Audio Synthesis via Negative Audio Guidance
Sony AI, Tokyo, Japan(索尼人工智能(东京,日本));Sony Group Corporation, Tokyo, Japan(索尼集团公司(东京,日本))
提出逐步视频到音频生成方法,通过负音频引导避免重复生成,增强声音分离性和最终音频质量,优于现有基线。
2026-07-01 cs.CV cs.LG cs.SD
FoleyCrafter: Bring Silent Videos to Life with Lifelike and Synchronized Sounds
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出FoleyCrafter框架,通过语义适配器和时间控制器解决神经拟音中音效质量与音视频同步难题,并支持文本提示实现可控多样的视频到音频生成。
2024-07-01 cs.CV cs.SD eess.AS
Object-aware Sound Source Localization via Audio-Visual Scene Understanding
Kyung Hee University(庆熙大学);KAIST AI(韩国科学技术院人工智能研究所);Sungkyunkwan University(成均馆大学)
提出基于多模态大语言模型的对象感知声音源定位框架,通过生成详细上下文区分发声与静音对象,并引入OCA和ORI损失,在MUSIC和VGGSound上显著优于现有方法。
2025-06-24 cs.CV
Seeing Sound: Assembling Sounds from Visuals for Audio-to-Image Generation
Indiana University Bloomington(印第安纳大学布卢明顿分校);Netflix(网飞公司)
提出可扩展的图像声化框架,利用视觉语言模型检索并人工配对高质量单模态图像与音频,训练出竞争力强的音频到图像生成模型。
2025-01-09 cs.CV cs.GR cs.SD
Visual Scene Graphs for Audio Source Separation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
用于视觉引导的音频声源分离的现有技术方法通常假定具有特征声音的源,诸如乐器。这些方法通常忽略这些声源的视觉背景,或者避免对可能有助于更好地表征声源的对象交互进行建模,特别是当相同的对象类可能从不同的交互产生不同的声音时。为了解决这个具有挑战性的问题,我们提出了视听场景图分割器(AVSGS),这是一种新型的深度学习模型,它将场景的视觉结构嵌入为图,并将该图分割成子图,每个子图与通过共同分割音频频谱图获得的唯一声音相关联。在其核心,AVSGS使用递归神经网络,使用多头注意力发出视觉图的相互正交的子图嵌入。这些嵌入用于调节音频编码器-解码器朝向声源分离。我们的管道通过一个自我监督的任务进行端到端的训练,该任务包括使用视觉图将音频源与人工混合的声音分离。在本文中,我们还介绍了一个“在野外”的视频数据集的声音声源分离,其中包含多个非音乐源,我们称之为音频分离在野外(ASIW)。该数据集改编自AudioCaps数据集,为声源分离提供了一个具有挑战性的、自然的日常环境。在所提出的ASIW和标准MUSIC数据集上进行的彻底实验表明,我们的方法与最近的现有方法相比具有最先进的声音分离性能。
2021-09-24 cs.AI cs.CV cs.LG
Novel-View Acoustic Synthesis
University of Texas at Austin(德克萨斯大学奥斯汀分校);FAIR, Meta AI(Meta AI 基础人工智能研究团队);Reality Labs Research at Meta(Meta 现实实验室研究部)
提出新视角声学合成任务及ViGAS网络,通过分析视听线索合成目标视点声音,并构建大规模数据集验证有效性,推动多模态新视角合成研究。
2023-10-24 cs.CV cs.SD eess.AS
Autoencoding sensory substitution
School of Science(理学院)
数千万人失明,而且人数还在不断增加。视觉到听觉的感觉替代(SS)包括一系列廉价的通用解决方案,通过声音传递视觉信息来帮助视力受损者。所需的党卫军培训是漫长的:需要几个月的努力才能达到实际的适应水平。训练过程繁琐的原因有两个:拉长的替代音频信号和忽视人类听觉系统的压缩特性。为了克服这些障碍,我们开发了一类新的SS方法,通过训练深度递归自编码器进行图像到声音的转换。我们成功地在不同的数据集上训练了深度学习模型,以执行视觉到听觉刺激的转换。通过限制视觉空间,我们证明了缩短的替代音频信号的可行性,同时提出了一些机制,如计算听力模型的整合,以最佳方式传达替代刺激中的视觉特征作为感知可辨别的听觉成分。我们在两个不同的案例中测试了我们的方法。在第一个实验中,作者被蒙住眼睛5天,同时进行手姿势辨别的SS训练。第二个实验评估了向桌子上的物体移动的准确性。在这两个测试案例中,经过几个小时的训练后,都达到了高于偶然水平的准确性。我们新颖的SS架构拓宽了为视障人士设计的康复方法的视野。对所提出的模型的进一步改进将加速盲人的康复,并因此更广泛地适应SS设备。
2019-07-14 cs.CV cs.LG cs.SD
Sat2Sound: A Unified Framework for Zero-Shot Soundscape Mapping
Washington University in St. Louis(圣路易斯华盛顿大学);Taylor Geospatial(泰勒地理空间);Saint Louis University(圣路易斯大学)
Sat2Sound通过融合多模态数据,实现地球表面声音分布的零样本映射,通过对比学习和代码本对齐学习发现跨模态的'声音景观概念',在GeoSound和SoundingEarth基准上取得最佳性能。
2026-04-11 cs.AI cs.CV cs.SD
Egocentric Audio-Visual Object Localization
University of Rochester(罗切斯特大学);Meta Reality Labs Research(Meta现实实验室)
人类自然地通过第一人称视角统一声音和视觉来感知周围的场景。同样地,机器通过从自我中心的角度学习多感官输入来接近人类智能。在本文中,我们探讨了具有挑战性的自我中心的视听对象定位任务,并观察到:1)自我运动普遍存在于第一人称录音,即使在很短的时间内; 2)视图外的声音成分可以创建,而佩戴者转移他们的注意力。为了解决第一个问题,我们提出了一个几何感知的时间聚合模块来处理egomotion明确。通过估计时间几何变换并利用它来更新视觉表示来减轻自运动的影响。此外,我们提出了一个级联的特征增强模块来解决第二个问题。它通过解开视觉指示的音频表示来提高跨模态定位的鲁棒性。在训练过程中,我们利用自然可用的视听时间同步作为“免费”的自我监督,以避免昂贵的标签。我们还为评估目的注释和创建Epic Sounding Object数据集。大量的实验表明,我们的方法实现了最先进的定位性能在自我中心的视频,并可以推广到不同的视听场景。
2023-03-23 cs.CV cs.MM cs.SD
ReelWave: Multi-Agentic Movie Sound Generation through Multimodal LLM Conversation
The Hong Kong University of Science and Technology(香港科学与技术大学);Dartmouth College(达特茅斯学院)
ReelWave提出多智能体电影声音生成框架,由Sound Director通过多模态LLM协调Foley Artist、Composer和Voice Actor智能体,利用响度、音高和音色等时变控制信号,实现画内与画外声音的协同生成。
2025-06-02 cs.CV cs.SD
Audio-Visual Camera Pose Estimation with Passive Scene Sounds and In-the-Wild Video
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出一种结合方向到达谱和双耳嵌入的音频-视觉框架,用于真实世界视频中的相机姿态估计,在视觉信息受损时表现出鲁棒性。
2026-07-02 cs.CV
SyncReward: Human-Aligned Synchronization Reward for Audio-Visual Generation
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);WeChat, Tencent Inc.(腾讯公司微信业务)
针对视听生成的同步难题,研究构建了含80K评分的SyncReward-Data-80K与1K片段的SyncReward-Bench,开发的SyncReward奖励模型与人类评分一致性最强,可提升生成的视听同步效果。
2026-10-14 cs.CV cs.SD
WorldSonus: Bringing Sound to Worlds
The Hong Kong University of Science and Technology(香港科技大学);Noiz AI;MetaX;Shanghai Jiao Tong University(上海交通大学)
WorldSonus提出交互式视频到音频框架,通过流式因果自回归扩散架构实现低RTF实时生成,支持交互控制与空间对齐,在开放域基准上达到或超越最先进模型。
2026-10-07 cs.AI cs.CV cs.SD