Localizing Visual Sounds the Easy Way
Carnegie Mellon University（卡内基梅隆大学）
无监督音视频源定位的目标是定位视频中的可见声源，而不依赖于地面实况定位进行训练。以前的作品往往寻求高视听相似性的可能积极（发声）的地区和低相似性的可能消极的地区。然而，在没有手动注释的情况下，准确区分发声区域和非发声区域是具有挑战性的。在这项工作中，我们提出了一种简单而有效的方法，即EZ-VSL，而不依赖于建设的积极和/或消极的地区在训练过程中。相反，我们通过寻找在关联图像的至少一个位置对齐的视听表示来对齐音频和视觉空间，而在任何位置都不匹配其他图像。我们还引入了一种新的对象引导定位方案在推理时间，以提高精度。我们简单而有效的框架在两个流行的基准测试中实现了最先进的性能，Flickr SoundNet和VGG-Sound Source。特别是，我们将Flickr SoundNet测试集的CIoU从76.80%提高到83.94%，并将VGG-Sound Source数据集的CIoU从34.60%提高到38.85%。该代码可在https://github.com/stoneMo/EZ-VSL上获得。
2022-03-29 cs.CV cs.LG cs.MM
What's Making That Sound Right Now? Video-centric Audio-Visual Localization
Seoul National University（首尔国立大学）
针对现有视听定位忽略时间动态和简化场景的问题，提出视频中心基准AVATAR和模型TAVLO，通过高分辨率时间建模实现稳健精确的视听对齐，确立新标准。
2025-07-08 cs.AI cs.CV cs.MM
Supervising Sound Localization by In-the-wild Egomotion
Tsinghua University（清华大学）；University of Michigan（密歇根大学）；Shanghai Qi Zhi Institute（上海期智研究院）
提出利用自我运动作为监督信号学习双耳声音定位，结合传统双耳线索，在真实世界数据集上验证了模型的有效性。
2026-10-02 cs.AI cs.CV cs.MM
Seeing Sound, Hearing Sight: Uncovering Modality Bias and Conflict of AI models in Sound Localization
Nanyang Technological University, Singapore（南洋理工大学）；Peking University, China（北京大学）；Shenzhen University, China（深圳大学）
本研究系统考察AI声音定位中的模态偏差，发现人类优于AI，并提出受神经科学启发的EchoPin模型，其超越现有基准并呈现类似人类的水平定位偏差。
2025-10-24 cs.AI cs.CV cs.MM
Resnet-conformer network with shared weights and attention mechanism for sound event localization, detection, and distance estimation
Drexel University, College of Engineering Electrical（德雷塞尔大学工程学院电气工程系）
面向DCASE 2024任务3A纯音频SELD，提出融合对数梅尔频谱、强度向量、数据增强及共享权重注意力的EINV2 Resnet-conformer网络，并新增距离估计，取得更优指标。
2025-07-23 cs.SD eess.AS
A Closer Look at Weakly-Supervised Audio-Visual Source Localization
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
音视频源定位是一项具有挑战性的任务，旨在预测视频中视觉声源的位置。由于收集探测对象的地面实况注释可能成本高昂，近年来已经提出了大量的弱监督定位方法，这些方法可以通过利用音频和视觉信号的自然共现来从没有边界框注释的数据集中学习。尽管有很大的兴趣，流行的评估协议有两个主要缺陷。首先，它们允许使用完全注释的数据集来执行早期停止，从而显著增加了训练所需的注释工作。第二，当前的评估度量假设声源在任何时候都存在。这当然是一个不切实际的假设，因此需要更好的度量来捕获模型在没有可见声源的（负）样本上的性能。为了实现这一目标，我们扩展了流行的基准测试集，Flickr SoundNet和VGG-Sound Sources，以包括负样本，并使用平衡定位准确性和召回率的指标来衡量性能。使用新的协议，我们对现有的方法进行了广泛的评估，发现大多数现有的工作都无法识别阴性，并且存在严重的过拟合问题（严重依赖于早期停止以获得最佳结果）。我们还提出了一种新的方法，解决这两个问题的视觉声源定位。特别是，我们发现，通过极端的视觉辍学和使用动量编码器，所提出的方法有效地打击过拟合，并建立了一个新的国家的最先进的性能在Flickr SoundNet和VGG-Sound Source。代码和预训练模型可在https://github.com/stoneMo/SLAVC上获得。
2022-08-30 cs.CV cs.LG cs.MM
Do We Need Sound for Sound Source Localization?
Waseda University（早稻田大学）
在使用视觉和听觉信息进行声源定位的过程中，目前仍不清楚图像或声音模态对结果的贡献有多大，即我们是否需要图像和声音来进行声源定位？为了解决这个问题，我们开发了一个无监督学习系统，该系统通过将该任务分解为两个步骤来解决声源定位：（i）“潜在声源定位”，一个仅使用视觉信息定位可能声源的步骤（ii）“对象选择”，一个使用听觉信息识别哪些对象实际发声的步骤。我们的整个系统在声源定位方面实现了最先进的性能，更重要的是，我们发现，尽管对可用信息有约束，但（i）的结果实现了类似的性能。从这个观察和进一步的实验，我们表明，视觉信息是占主导地位的“声音”源定位时，目前采用的基准数据集进行评估。此外，我们表明，在这个数据集中的样本内的大多数声音产生的对象可以固有地识别仅使用视觉信息，因此，该数据集是不足以评估系统的能力，利用听觉信息。作为一种替代方案，我们提出了一个评估协议，强制执行视觉和听觉信息被利用，并通过几个实验验证此属性。
2020-07-11 cs.CV cs.SD eess.AS
Unsupervised Sound Localization via Iterative Contrastive Learning
National Yang Ming Chiao Tung University（国立阳明交通大学）；University of California Merced（加州大学默塞德分校）；Snap Inc.（Snap公司）；Google Research（谷歌研究院）
声音定位的目的是在视觉场景中找到音频信号的来源。然而，注释从音频和视觉模态采样的信号之间的相关性是劳动密集型的，因此很难监督机器学习这项任务。在这项工作中，我们提出了一个迭代的对比学习框架，不需要数据注释。在每次迭代时，所提出的方法将1）在先前迭代中预测的图像中的定位结果，以及2）从音频信号推断的语义关系作为伪标签。然后，我们使用伪标签来学习从同一视频中采样的视觉和音频信号之间的相关性（帧内采样）以及跨视频提取的视觉和音频信号之间的关联性（帧间关系）。我们的迭代策略逐渐鼓励发声对象的本地化，并减少非发声区域和参考音频之间的相关性。定量和定性的实验结果表明，该框架表现良好，对现有的无监督和弱监督的声音定位任务的方法。
2021-04-01 cs.CV cs.SD eess.AS
Aligning Sight and Sound: Advanced Sound Source Localization Through Audio-Visual Alignment
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）；Department of Electrical Engineering, POSTECH（浦项工科大学电气工程系）；School of Engineering and Applied Sciences at Harvard University（哈佛大学工程与应用科学学院）
针对声源定位中跨模态交互被忽视的问题，提出新合成基准、新评估指标及跨模态对齐学习框架，显著提升定位性能并全面评估交互能力。
2024-07-18 cs.CV cs.MM cs.SD
Sound Source Localization is All about Cross-Modal Alignment
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Harvard University（哈佛大学）；POSTECH（浦项科技大学）；Yonsei University（延世大学）
本文提出将跨模态对齐与声源定位联合训练，以增强音视频语义理解能力，在声源定位和跨模态检索任务上均超越现有最先进方法。
2023-09-19 cs.AI cs.CV cs.MM
Visual Sound Localization in the Wild by Cross-Modal Interference Erasing
The Chinese University of Hong Kong（香港中文大学）；Zhejiang University（浙江大学）；Shanghai Jiao Tong University（上海交通大学）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；S-Lab, Nanyang Technological University（南洋理工大学S-Lab）
视听声源定位的任务已经得到了很好的研究，在受约束的场景，其中的音频记录是干净的。然而，在现实世界中，音频通常会受到屏幕外声音和背景噪音的污染。它们将干扰识别所需来源和建立视听联系的过程，使以前的研究不适用。在这项工作中，我们提出了干扰擦除器（IEr）框架，它解决了在野外的视听声源定位的问题。其关键思想是通过重新定义和雕刻有区别的音频表示来消除干扰。具体来说，我们观察到，由于音频信号的加性，以前只学习单个音频表示的做法是不够的。因此，我们用我们的音频实例标识符模块扩展了音频表示，当不同音量的音频信号不均匀混合时，该模块可以清楚地区分发声实例。然后，我们通过一个具有跨模态提取功能的跨模态引用模块来消除屏幕外的声音和无声的可见物体的影响。定量和定性的评估表明，我们提出的框架取得了优异的成绩，声音定位任务，特别是在现实世界的情况下。代码可在https://github.com/alvinliu0/Visual-Sound-Localization-in-the-Wild上获得。
2022-02-13 cs.CV cs.SD eess.AS
Long-term Visual Localization using Semantically Segmented Images
Chalmers University of Technology（查尔姆斯理工大学）；Zenuity（Zenuity（泽努蒂））
鲁棒跨季节定位是自动驾驶车辆长期视觉导航的主要挑战之一。在本文中，我们利用最近的进展，语义分割的图像，即，其中每个像素被分配与其表示的对象的类型相关的标签，以解决长期视觉定位的问题。我们表明，语义标记的3-D点地图的环境，连同语义分割的图像，可以有效地用于车辆定位，而不需要详细的特征描述符（SIFT，SURF等）。因此，我们依赖于图像分割器的训练，而不是依赖于手工制作的特征描述符。与传统的基于描述符的映射相比，所得到的映射占用的存储空间少得多。一个基于粒子滤波器的语义定位解决方案相比，一个基于SIFT功能，即使有很大的季节性变化，在一年中，我们的表现与更大的和更具描述性的SIFT功能，并能够本地化的错误低于1米的大部分时间。
2018-03-02 cs.CV
Sound Source Localization in a Multipath Environment Using Convolutional Neural Networks
Australian Centre for Field Robotics（澳大利亚野外机器人中心）；Computing and Audio Research Laboratory（计算与音频研究实验室）；The University of Sydney（悉尼大学）
声在浅水环境中的传播的特征在于来自海面和海底的边界反射。这些反射导致多个（间接）声音传播路径，这会降低被动声源定位方法的性能。本文提出了使用卷积神经网络（CNN）的宽带声辐射噪声源（如机动船）在浅水多径环境中的定位。结果表明，CNN倒谱图和广义交叉相关图输入操作能够更可靠地估计瞬时范围和轴承的过境机动船舶时，传统的被动测距方法的源定位性能下降。随后的改进，在源定位性能证明使用在海上实验中收集的真实数据。
2017-10-27 cs.CV cs.SD eess.AS
Sound Localization by Self-Supervised Time Delay Estimation
University of Michigan（密歇根大学）
声音到达立体声对中的一个麦克风比另一个更快，导致两耳间的时间延迟，从而传达它们的方向。估计声音的时间延迟需要找到每个麦克风记录的信号之间的对应关系。我们建议通过自我监督来学习这些对应关系，借鉴视觉跟踪的最新技术。我们采用Jabri等人的对比随机游走，从未标记的立体声中学习周期一致的表示，从而产生一个模型，该模型与“野外”互联网录音的监督方法不相上下。我们还提出了一个多模态对比学习模型，解决了视觉引导的定位任务：估计时间延迟为一个特定的人在多扬声器混合，给定的视觉表示他们的脸。项目网址：https://ificl.github.io/stereocrw/
2023-01-28 cs.CV cs.SD eess.AS
FlowGrad: Using Motion for Visual Sound Source Localization
Universitat Pompeu Fabra（庞培法布拉大学）；New York University（纽约大学）
本文提出FlowGrad，通过光流引入时间运动信息，改进城市交通等复杂场景下的视觉声源定位性能，并分析了该方法的优势与不足。
2023-04-14 cs.CV cs.MM cs.SD
MarginNCE: Robust Sound Localization with a Negative Margin
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Electronics and Telecommunications Research Institute（韩国电子通信研究院）
这项工作的目标是本地化的声源在视觉场景中的自我监督的方法。在声源定位的背景下的对比学习利用音频和视觉信号之间的自然对应关系，其中来自相同源的视听对被假设为正，而随机选择的对是负。然而，这种方法带来了噪声对应;例如，可能彼此不相关的正音频和视觉对信号，或者可能包含与正音频和视觉对信号语义相似的样本的负音频和视觉对信号。我们在这项工作中的主要贡献是表明，在对比学习中使用不太严格的决策边界可以减轻噪声对应在声源定位中的影响。我们提出了一个简单而有效的方法，通过稍微修改对比损失与负的保证金。大量的实验结果表明，我们的方法提供了同等或更好的性能比国家的最先进的方法。此外，我们证明了引入一个负的利润率现有的方法的结果在性能的一致改善。
2022-11-03 cs.CV cs.MM cs.SD
T-VSL: Text-Guided Visual Sound Source Localization in Mixtures
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出T-VSL框架，通过引入文本模态作为中间引导，利用三模态AudioCLIP嵌入解耦多源混合中的音视频源对应关系，实现灵活数量声源的定位并具备零样本迁移能力，在多个数据集上显著超越现有方法。
2024-07-07 cs.CV cs.SD eess.AS
Multiple Sound Sources Localization from Coarse to Fine
Shanghai Jiao Tong University（上海交通大学）；Baidu Research（百度研究院）；Adobe Research（奥多比研究院）
如何在无约束的视频中视觉定位多个声源是一个棘手的问题，特别是当缺乏成对的声音对象注释时。为了解决这个问题，我们开发了一个两阶段的视听学习框架，从复杂的场景中解开不同类别的音频和视觉表示，然后以粗到细的方式进行跨模态特征对齐。我们的模型在公共定位数据集上取得了最先进的结果，在复杂场景中的多源声音定位上也取得了相当好的性能。然后，我们采用本地化的结果进行声音分离，并获得与现有方法相当的性能。这些结果证明了我们的模型能够有效地将声音与特定的视觉源对齐。代码可在https://github.com/shvdiwnkozbw/Multi-Source-Sound-Localization上获得
2020-07-14 cs.CV
A Critical Assessment of Visual Sound Source Localization Models Including Negative Audio
Universitat Pompeu Fabra（庞培法布拉大学）；MARL-IDM, New York University（纽约大学MARL-IDM）
该研究针对现有视觉声源定位模型评估的三大缺陷，构建含三类负样本音频的测试集与指标，发现多数SOTA模型未有效利用音频、判别力不足，无法适配无先验信息的真实场景定位。
2025-01-10 cs.CV cs.SD eess.AS
Hear The Flow: Optical Flow-Based Self-Supervised Visual Sound Source Localization
University at Buffalo（布法罗大学）
学习在没有明确注释的情况下定位视频中的声源是视听研究的一个新领域。这一领域的现有工作集中在创建注意力地图，以捕捉两种模式之间的相关性，以定位声音的来源。在视频中，通常，表现出运动的对象是产生声音的对象。在这项工作中，我们捕捉到这个特性，通过建模的光流在视频中作为一个更好的援助之前，在本地化的声源。我们进一步证明，流为基础的注意力的增加，大大提高了视觉声源定位。最后，我们在标准声源定位数据集上对我们的方法进行了基准测试，并在Soundnet Flickr和VGG声源数据集上实现了最先进的性能。代码：https://github.com/denfed/heartheflow.
2022-11-06 cs.CV
Hearing and Seeing Through CLIP: A Framework for Self-Supervised Sound Source Localization
School of Electrical Engineering, KAIST, South Korea（韩国延世大学电气工程学院）；ETRI, South Korea（韩国电子技术研究院）
本文提出一种基于CLIP的自监督声源定位框架，通过将音频映射为CLIP兼容嵌入并与视觉特征对比对齐，无需文本输入即可实现更完整紧凑的定位，并在多个任务和零样本场景中优于现有方法。
2025-05-08 cs.CV cs.SD eess.AS
Space-Time Memory Network for Sounding Object Localization in Videos
University of Rochester（罗切斯特大学）
利用视觉和声音的时间同步和关联是实现探测对象鲁棒定位的重要一步。为此，我们提出了一个空间-时间记忆网络的声音在视频中的对象定位。它可以同时从音频和视觉模态中学习单模态和跨模态表示的时空注意力。我们将时空学习本地化视听对象的有效性进行了定量和定性分析。我们证明，我们的方法概括了各种复杂的视听场景，并优于最近的最先进的方法。
2021-11-10 cs.CV
Learning to Visually Localize Sound Sources from Mixtures without Prior Source Knowledge
Kyung Hee University（庆熙大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对多声源定位依赖声源数量先验的问题，提出含 IOI 模块与 OSC 损失的方法，实现未知声源数下的视觉定位，并在 MUSIC、VGGSound 上显著优于现有方法。
2024-03-26 cs.CV cs.MM cs.SD
Semantically-Aware Attentive Neural Embeddings for Image-based Visual Localization
SRI International（SRI国际）
我们提出了一种方法，结合外观和语义信息的2D图像为基础的本地化（2D-VL）跨越大的感知变化和时间滞后。与外观特征相比，场景的语义布局通常对外观变化更具有不变性。我们使用这种直觉，并提出了一种新的端到端的深度注意力为基础的框架，利用多模态线索生成强大的嵌入2D-VL。所提出的注意力模块预测共享通道注意力和特定于模态的空间注意力，以引导嵌入集中在更可靠的图像区域。我们在三个具有挑战性的本地化数据集上评估了我们的模型对最先进的（SOTA）方法的影响。我们报告了$19\%$在2D-VL方面相对于当前SOTA的平均（绝对）改善。此外，我们提出了一个广泛的研究，展示了我们的模型的每个组件的贡献，显示$8$ - $15\%$和$4\%$改进添加语义信息和我们提出的注意力模块。最后，我们展示了预测的注意力地图，为我们的模型提供了有用的见解。
2019-07-02 cs.CV
Self-Supervised Predictive Learning: A Negative-Free Method for Sound Source Localization in Visual Scenes
Center for Research on Intelligent Perception and Computing, NLPR, CASIA（中国科学院自动化研究所模式识别国家重点实验室智能感知与计算研究中心）；Centre for Artificial Intelligence and Robotics, HKISI_CAS（中国科学院香港创新研究院人工智能与机器人创新中心）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）
视觉场景中声源定位的目的是在给定的图像中定位发出声音的物体。最近的作品表现出令人印象深刻的本地化性能通常依赖于对比学习框架。然而，在这些方法中通常采用的底片的随机采样可能导致音频和视觉特征之间的不对准，从而引起定位中的歧义。在本文中，而不是遵循以前的文献，我们提出了自我监督预测学习（SSPL），通过显式的积极挖掘的声音定位的负自由的方法。具体来说，我们首先设计了一个三流网络，优雅地将声源与一个相应的视频帧的两个增强视图相关联，从而在音频和视觉特征之间产生语义上连贯的相似性。其次，我们介绍了一种新的预测编码模块的视听功能对齐。这样的模块帮助SSPL以渐进的方式专注于目标对象，并有效地降低了正对学习的难度。实验结果表明，SSPL优于国家的最先进的方法在两个标准的声音定位基准。特别是，SSPL在SoundNet-Flickr上实现了8.6%的cIoU和3.4%的AUC的显着改进，与之前的最佳结果相比。代码可从以下网址获得：https://github.com/zjsong/SSPL。
2022-03-25 cs.CV
SoundLoc3D: Invisible 3D Sound Source Localization and Classification Using a Multimodal RGB-D Acoustic Camera
University of Oxford（牛津大学）；Mitsubishi Electric Research Labs（三菱电机研究所）
SoundLoc3D利用RGB-D相机与四通道麦克风阵列构建多模态声学相机，将不可见3D声源定位与分类建模为集合预测问题，通过视听跨模态线索与物理表面约束实现高精度定位，并在模拟数据上验证了其有效性和鲁棒性。
2024-12-29 cs.CV cs.MM cs.SD
Can CLIP Help Sound Source Localization?
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Electronics and Telecommunications Research Institute（韩国电子通信研究院）
本研究将预训练图文模型CLIP拓展至声源定位任务，提出将音频转为CLIP文本编码器兼容token的框架，仅靠音视频对应关系实现更完整紧凑的定位，性能显著超越现有最优方法。
2023-11-07 cs.AI cs.CV cs.MM
Object-aware Sound Source Localization via Audio-Visual Scene Understanding
Kyung Hee University（庆熙大学）；KAIST AI（韩国科学技术院人工智能研究所）；Sungkyunkwan University（成均馆大学）
提出基于多模态大语言模型的对象感知声音源定位框架，通过生成详细上下文区分发声与静音对象，并引入OCA和ORI损失，在MUSIC和VGGSound上显著优于现有方法。
2025-06-24 cs.CV
FolAI: Synchronized Foley Sound Generation with Semantic and Temporal Alignment
Sapienza University of Rome, Italy（罗马萨皮恩扎大学）；Ca’ Foscari University of Venice, Italy（威尼斯卡弗斯卡里大学）；Queen Mary University of London, UK（伦敦女王玛丽大学）
FolAI提出两阶段生成框架，先提取视频运动时间结构，再用扩散模型结合用户语义嵌入生成音效，实现时间对齐、语义可控的高质量拟音合成。
2025-05-05 cs.CV cs.LG cs.MM
AcousticFusion: Fusing Sound Source Localization to Visual SLAM in Dynamic Environments
Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）；the Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）；The University of Edinburgh（爱丁堡大学）；The Alan Turing Institute（艾伦·图灵研究所）
环境中的动态对象，例如人和其他代理，导致现有的同时定位与地图构建（SLAM）方法面临挑战。为了处理动态环境，计算机视觉研究人员通常采用一些基于学习的目标检测器来去除这些动态目标。然而，这些对象检测器对于移动机器人板上处理来说在计算上太昂贵。在实际应用中，这些物体输出的噪声可以通过车载声源定位有效地检测到。通过声音到达方向（DoA）估计可以有效地获得声源对象的方向信息，但是深度估计是困难的。因此，在本文中，我们提出了一种新的视听融合方法，融合到RGB-D图像的声源方向，从而消除了动态障碍物的影响，多机器人SLAM系统。在不同动态环境下的多机器人SLAM实验结果表明，该方法使用非常少的计算资源，获得非常稳定的自定位结果。
2021-08-03 cs.CV cs.RO
Induction Network: Audio-Visual Modality Gap-Bridging for Self-Supervised Sound Source Localization
Northwestern Polytechnical University（西北工业大学）；Ningbo Institute of Northwestern Polytechnical University（西北工业大学宁波研究院）；Nanchang University（南昌大学）
本文提出归纳网络，通过解耦音视频梯度并利用归纳向量以自举方式学习判别性视觉表示，结合视觉加权对比损失和自适应阈值选择策略，在SoundNet-Flickr和VGG-Sound Source数据集上实现了更优的自监督声源定位性能。
2023-08-09 cs.AI cs.CV cs.MM
Joint Learning of Visual-Audio Saliency Prediction and Sound Source Localization on Multi-face Videos
Beihang University（北京航空航天大学）；National Laboratory of Pattern Recognition（模式识别国家重点实验室）；Institution of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；Primer.AI Inc.（Primer.AI公司）
视频和音频事件同时发生，两者都吸引注意力。然而，现有的显著性预测方法大多忽略了音频的影响，只考虑视觉模态。在本文中，我们提出了一个多任务学习方法的视听显着性预测和声源定位的多人脸视频，利用视觉，音频和人脸信息。具体来说，我们首先介绍了一个大规模的数据库的多人脸视频在视听条件（MVVA），包含眼睛跟踪数据和声源注释。使用这个数据库，我们发现，声音影响人类的注意，和conversly注意提供了一个线索，以确定声源的多人脸视频。在此基础上，本文提出了一种视听多任务网络（VAM-Net）来预测显著性和定位声源。VAM-Net由三个分支组成，分别对应于视觉、听觉和面部模态。视觉分支有一个双流体系结构来捕获空间和时间信息。面部和音频分支分别编码音频信号和面部。最后，一个时空多模态图（STMG）被构造来模拟多个面孔之间的交互。通过对这些分支的联合优化，利用了显著性预测和声源定位任务之间的内在相关性，使它们的性能得到了相互促进。实验表明，该方法优于12个国家的最先进的显着性预测方法，并取得了竞争力的声源定位结果。
2021-11-05 cs.CV
Audio-Visual Spatial Integration and Recursive Attention for Robust Sound Source Localization
Kyung Hee University（庆熙大学）
针对声源定位中音频空间线索利用不足的问题，提出整合视听空间线索的网络与递归注意力机制，并设计两种损失以实现更鲁棒的定位。
2023-08-18 cs.AI cs.CV cs.MM
Sound-Guided Semantic Video Generation
Korea University（高丽大学）；NVIDIA Corporation（英伟达公司）；KAIST（韩国科学技术院）
最近在StyleGAN中的成功证明了预训练的StyleGAN潜在空间对于生成逼真的视频是有用的。然而，由于难以确定StyleGAN潜在空间中的方向和幅度，视频中生成的运动通常没有语义意义。在本文中，我们提出了一个框架，利用多模态（声音-图像-文本）嵌入空间生成逼真的视频。由于声音提供了场景的时间背景，我们的框架学习生成与声音语义一致的视频。首先，我们的声音反转模块将音频直接映射到StyleGAN潜在空间。然后，我们将基于CLIP的多模态嵌入空间，以进一步提供视听关系。最后，所提出的帧生成器学习在潜在空间中找到与相应的声音相一致的轨迹，并以分层的方式生成视频。我们为声音引导视频生成任务提供了新的高分辨率景观视频数据集（视听对）。实验表明，我们的模型优于国家的最先进的方法在视频质量方面。我们进一步展示了包括图像和视频编辑在内的几个应用程序来验证我们方法的有效性。
2022-10-21 cs.AI cs.CV
Audio-Visual Grouping Network for Sound Localization from Mixtures
Carnegie Mellon University（卡内基梅隆大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
声源定位是一个典型的和具有挑战性的任务，预测声源在视频中的位置。以往的单声源定位方法主要是利用音-视关联作为线索来定位每幅图像中的发声对象。由于多个声源在原始空间中的混合属性，除了最近的一项工作使用图像和分离的声音作为节点的图中的对比随机游走之外，存在罕见的多源方法来同时定位多个源。尽管它们有很好的性能，但它们只能处理固定数量的源，并且它们不能学习单个源的紧凑类感知表示。为了克服这一缺点，在本文中，我们提出了一种新的视听分组网络，即AVGN，它可以直接从输入的音频混合和图像中学习每个源的类别语义特征，以同时定位多个源。具体来说，我们的AVGN利用可学习的视听类令牌来聚合类感知源功能。然后，每个源的聚合的语义特征可以用作定位相应视觉区域的指导。与现有的多源方法相比，我们的新框架可以本地化一个灵活的数量的源和解开类别感知的视听表示为个人的声源。我们对MUSIC，VGGSound-Instruments和VGG-Sound Sources基准进行了广泛的实验。实验结果表明，AVGN算法在单声源和多声源情况下均能获得最佳的探测目标定位性能。代码可在\url{https://github.com/stoneMo/AVGN}上获得。
2023-03-29 cs.CV cs.LG cs.MM
Generate, Analyze, and Refine: Training-Free Sound Source Localization via MLLM Meta-Reasoning
Kyung Hee University（庆熙大学）
本文提出无训练的声源定位框架，利用多模态大语言模型的推理能力，通过生成-分析-优化流程实现声源定位，实验表明在单源和多源基准上表现优异。
2026-04-08 cs.CV
Learning from Silence and Noise for Visual Sound Source Localization
Intelligent Multimodal Vision Analysis Universitat Pompeu Fabra Barcelona, Spain（智能多模态视觉分析Universitat Pompeu Fabra Barcelona）；MARL-IDM New York University, New York, USA（MARL-IDM纽约大学）
针对视觉声源定位在静默、噪声和画外音等负音频条件下性能不足及评估受限的问题，提出融合静默与噪声的自监督模型 SSL-SaN、新评估指标和 IS3+ 数据集。
2025-08-29 cs.CV cs.MM
