High-Quality Visually-Guided Sound Separation from Diverse Categories
University of Rochester（罗切斯特大学）；Meta Reality Labs Research（Meta现实实验室）
提出基于扩散的视听分离框架DAVIS，利用生成扩散模型和Separation U-Net从高斯噪声合成分离声音，在AVE和MUSIC数据集上分离质量优于现有判别式方法。
2024-10-10 cs.CV cs.SD eess.AS
Visual onoma-to-wave: environmental sound synthesis from visual onomatopoeias and sound-source images
National Institute of Technology, Tokuyama College（德山国立技术学院）；The University of Tokyo（东京大学）；Doshisha University（同志社大学）；Ritsumeikan University（立命馆大学）
我们提出了一种方法来合成环境声音从视觉上表示拟声词和声源。拟声词是一个模仿声音结构的词，即，声音的文本表示。从这个角度来看，拟声词到波已经被提出来合成环境声音从所需的拟声词文本。拟声词还有另一种表现形式：漫画、广告和虚拟现实中声音的视觉-文本表现形式。视觉拟声词（拟声词的视觉文本）包含文本中不存在的丰富信息，例如图像的长短持续时间，因此使用这种表示法有望合成不同的声音。因此，我们提出了视觉拟声到波的环境声音合成从视觉拟声。该方法可以将视觉文本和声源图像的视觉概念转换为合成声音。我们还提出了一个数据增强的方法，侧重于拟声词的重复，以提高我们的方法的性能。实验结果表明，该方法可以从视觉文本和声源图像合成不同的环境声音。
2022-10-17 cs.SD eess.AS
Generating Visually Aligned Sound from Videos
South China University of Technology（华南理工大学）；Pazhou Laboratory（琶洲实验室）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
针对自然视频生成声音易受无关声音干扰、对齐度低的问题，提出REGNET框架，通过音频前向正则化器增强训练监督，显著提升声音的时间与内容对齐效果，生成声音骗过人类的成功率达68.12%。
2020-07-14 cs.CV cs.SD eess.AS
Cyclic Co-Learning of Sounding Object Visual Grounding and Sound Separation
University of Rochester（罗切斯特大学）；Beijing Key Laboratory of Big Data Management and Analysis Methods（北京大数据管理与分析方法重点实验室）
在我们的日常生活中，存在着丰富的同步视听事件。在事件内部，音频场景与相应的视觉对象相关联;同时，发声对象可以指示并帮助分离音轨中的各个声音。基于这一观察，在本文中，我们提出了一个循环的共同学习（CCoL）的范例，可以共同学习发声对象的视觉接地和视听声音分离在一个统一的框架。具体地说，我们可以利用扎根的物体-声音关系来改善声音分离的结果。同时，利用分离出的声音所提供的判别信息，改进了探测目标接地的训练样本采样方法，为两个任务建立了一个协同学习的循环，使它们相互受益。大量的实验表明，该框架在这两个任务上都优于最近的方法，并且它们可以通过我们的循环协同学习相互受益。
2021-04-05 cs.CV cs.MM cs.SD
Self-supervised Neural Audio-Visual Sound Source Localization via Probabilistic Spatial Modeling
National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所）；Waseda University（早稻田大学）
在视觉观察范围内检测声源目标对于自主机器人理解周围环境具有重要意义。由于在我们的生活环境中，发声物体具有大量的种类和不同的外观，在实践中标记所有发声物体是不可能的。这就需要自监督学习，它不需要人工标记。大多数传统的自监督学习使用单声道音频信号和图像，并且由于音频信号中的差的空间信息而不能区分具有相似外观的声源对象。针对这一问题，提出了一种基于360°图像和多声道音频信号的自监督训练方法。通过结合多声道音频信号中的空间信息，我们的方法训练深度神经网络（DNN）来区分多个声源对象。我们用于定位图像中声源对象的系统由音频和视觉DNN组成。视觉DNN被训练以定位输入图像内的声源候选。音频DNN验证每个候选是否实际产生声音。这些DNN基于概率空间音频模型以自监督方式联合训练。模拟数据的实验结果表明，我们的方法训练的DNN定位多个扬声器。我们还证明了视觉DNN检测对象，包括说话的游客和特定的展品从真实的数据记录在科学博物馆。
2020-07-28 cs.CV cs.SD eess.AS
Visual Sound Localization in the Wild by Cross-Modal Interference Erasing
The Chinese University of Hong Kong（香港中文大学）；Zhejiang University（浙江大学）；Shanghai Jiao Tong University（上海交通大学）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；S-Lab, Nanyang Technological University（南洋理工大学S-Lab）
视听声源定位的任务已经得到了很好的研究，在受约束的场景，其中的音频记录是干净的。然而，在现实世界中，音频通常会受到屏幕外声音和背景噪音的污染。它们将干扰识别所需来源和建立视听联系的过程，使以前的研究不适用。在这项工作中，我们提出了干扰擦除器（IEr）框架，它解决了在野外的视听声源定位的问题。其关键思想是通过重新定义和雕刻有区别的音频表示来消除干扰。具体来说，我们观察到，由于音频信号的加性，以前只学习单个音频表示的做法是不够的。因此，我们用我们的音频实例标识符模块扩展了音频表示，当不同音量的音频信号不均匀混合时，该模块可以清楚地区分发声实例。然后，我们通过一个具有跨模态提取功能的跨模态引用模块来消除屏幕外的声音和无声的可见物体的影响。定量和定性的评估表明，我们提出的框架取得了优异的成绩，声音定位任务，特别是在现实世界的情况下。代码可在https://github.com/alvinliu0/Visual-Sound-Localization-in-the-Wild上获得。
2022-02-13 cs.CV cs.SD eess.AS
Do We Need Sound for Sound Source Localization?
Waseda University（早稻田大学）
在使用视觉和听觉信息进行声源定位的过程中，目前仍不清楚图像或声音模态对结果的贡献有多大，即我们是否需要图像和声音来进行声源定位？为了解决这个问题，我们开发了一个无监督学习系统，该系统通过将该任务分解为两个步骤来解决声源定位：（i）“潜在声源定位”，一个仅使用视觉信息定位可能声源的步骤（ii）“对象选择”，一个使用听觉信息识别哪些对象实际发声的步骤。我们的整个系统在声源定位方面实现了最先进的性能，更重要的是，我们发现，尽管对可用信息有约束，但（i）的结果实现了类似的性能。从这个观察和进一步的实验，我们表明，视觉信息是占主导地位的“声音”源定位时，目前采用的基准数据集进行评估。此外，我们表明，在这个数据集中的样本内的大多数声音产生的对象可以固有地识别仅使用视觉信息，因此，该数据集是不足以评估系统的能力，利用听觉信息。作为一种替代方案，我们提出了一个评估协议，强制执行视觉和听觉信息被利用，并通过几个实验验证此属性。
2020-07-11 cs.CV cs.SD eess.AS
Multi-goal Audio-visual Navigation using Sound Direction Map
Tokyo Institute of Technology（东京工业大学）
本文针对多声源作为目标的通用导航问题，提出多目标视听导航框架及声音方向图（SDM）方法，通过动态定位多声源缓解声源分离难度，显著提升多种基线方法性能。
2023-08-01 cs.CV cs.SD eess.AS
What Do I Hear? Generating Sounds for Visuals with ChatGPT
Carnegie Mellon University（卡内基梅隆大学）
针对视觉媒体音景生成仅匹配可见内容的局限，提出利用ChatGPT等大语言模型推理能力的工作流，可生成含非可见但必要声音的沉浸式音景，涵盖场景构建、声音构思与生成环节。
2023-11-09 cs.CV cs.MM cs.SD
SoundBrush: Sound as a Brush for Visual Scene Editing
POSTECH（浦项科技大学）；Inha University（仁荷大学）；Yonsei University（延世大学）
SoundBrush 提出以声音为画笔编辑视觉场景，通过将音频特征映射到 Latent Diffusion Model 的文本空间，实现声音驱动的 2D 和 3D 场景编辑，并能保留原始内容、插入发声物体。
2024-12-31 cs.CV cs.LG cs.SD
AudioScopeV2: Audio-Visual Attention Architectures for Calibrated Open-Domain On-Screen Sound Separation
Google Research（谷歌研究院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们介绍AudioScopeV2，这是一个最先进的通用视听屏幕声音分离系统，它能够通过观看野外视频来学习分离声音并将它们与屏幕上的对象相关联。我们确定了以前的工作的视听屏幕上的声音分离的几个限制，包括时空注意力的粗分辨率，音频分离模型的收敛性差，训练和评估数据的种类有限，以及未能考虑到屏幕上的声音和抑制屏幕外的声音之间的权衡。我们为所有这些问题提供解决方案。我们提出的跨模态和自注意网络架构可以随着时间的推移以更高的分辨率捕获视听依赖关系，我们还提出了高效的可分离变体，这些变体能够扩展到更长的视频，而不会牺牲太多性能。我们还发现，仅在音频上预训练分离模型可以大大提高结果。为了进行训练和评估，我们从一个大型的野外视频数据库（YFCC 100M）中收集了新的人类对声音的注释。这个新的数据集更加多样化和具有挑战性。最后，我们提出了一个校准程序，允许精确调整屏幕上的重建与屏幕外的抑制，这大大简化了不同的操作点模型之间的性能比较。总的来说，我们的实验结果表明，在更一般的条件下，屏幕上的分离性能显着改善比以前的方法，以最小的额外的计算复杂性。
2022-07-20 cs.CV cs.SD eess.AS
T-VSL: Text-Guided Visual Sound Source Localization in Mixtures
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出T-VSL框架，通过引入文本模态作为中间引导，利用三模态AudioCLIP嵌入解耦多源混合中的音视频源对应关系，实现灵活数量声源的定位并具备零样本迁移能力，在多个数据集上显著超越现有方法。
2024-07-07 cs.CV cs.SD eess.AS
Measuring Sound Symbolism in Audio-visual Models
本研究调查预训练视听模型是否表现出类似人类的语音象征现象，通过构建专用数据集并在零样本设置下评估，发现模型输出与语音象征模式显著相关，尤其在语音数据训练的模型中，揭示了模型捕捉音义联系的能力。
2024-11-11 cs.CL cs.CV cs.SD
The Sound of Motions
MIT（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
声音来源于物体的运动和周围空气的振动。受人类能够从物体如何在视觉上移动来解释声源这一事实的启发，我们提出了一种新的系统，该系统可以明确地捕获声音定位和分离任务的运动线索。我们的系统是由一个端到端的可学习模型称为深密集轨迹（DDT），和一个课程学习计划。它利用了来自大量未标记视频的视听信号的固有一致性。定量和定性的评价表明，与以前的模型，依赖于视觉外观线索，我们的运动为基础的系统提高了分离乐器的声音的性能。此外，它将声音成分与同类乐器的二重奏分开，这是一个以前没有解决过的具有挑战性的问题。
2019-04-11 cs.CV cs.SD eess.AS
Visually-Guided Sound Source Separation with Audio-Visual Predictive Coding
Xi’an Jiaotong University（西安交通大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences（中国科学院香港创新研究院）
提出视听预测编码（AVPC）方法，通过预测编码网络统一特征提取、融合和掩码预测，实现参数高效且性能更优的视觉引导声音源分离。
2023-06-19 cs.CV cs.MM cs.SD
FlowGrad: Using Motion for Visual Sound Source Localization
Universitat Pompeu Fabra（庞培法布拉大学）；New York University（纽约大学）
本文提出FlowGrad，通过光流引入时间运动信息，改进城市交通等复杂场景下的视觉声源定位性能，并分析了该方法的优势与不足。
2023-04-14 cs.CV cs.MM cs.SD
Learning Visual Styles from Audio-Visual Associations
Tsinghua University（清华大学）；University of Michigan（密歇根大学）；Shanghai Qi Zhi Institute（上海期智研究院）
从淅淅沥沥的雨声到雪的嘎吱声，我们听到的声音往往传达了场景中出现的视觉纹理。在本文中，我们提出了一种方法来学习视觉风格从未标记的视听数据。我们的模型学习操纵场景的纹理以匹配声音，我们称之为音频驱动的图像风格化。给定一个配对的视听数据集，我们学习修改输入图像，使得在操作之后，它们更有可能与给定的输入声音共同出现。在定量和定性评估中，我们基于声音的模型优于基于标签的方法。我们还表明，音频可以是一个直观的表示操纵图像，调整声音的音量或混合两个声音在一起的结果在可预测的变化，视觉风格。项目网页：https://tinglok.netlify.app/files/avstyle
2022-05-10 cs.CV cs.MM cs.SD
BirdSoundsDenoising: Deep Visual Audio Denoising for Bird Sounds
Yeshiva University（叶史瓦大学）；Cornell University（康奈尔大学）
几十年来，人们一直在使用传统方法和基于深度学习的方法来探索音频去噪。然而，这些方法仍然限于手动添加的人工噪声或较低的去噪音频质量。为了克服这些挑战，我们收集了一个大规模的自然噪声鸟声数据集。我们首次将音频去噪问题转化为图像分割问题，并提出了深度视觉音频去噪（DVAD）模型。我们开发了一个音频ImageMask工具，并建议使用Few-Shot泛化策略来标记这些图像。大量的实验结果表明，该模型达到了最先进的性能。我们还表明，我们的方法可以很容易地推广到语音去噪，音频分离，音频增强和噪声估计。
2022-10-18 cs.CV cs.SD eess.AS
A Critical Assessment of Visual Sound Source Localization Models Including Negative Audio
Universitat Pompeu Fabra（庞培法布拉大学）；MARL-IDM, New York University（纽约大学MARL-IDM）
该研究针对现有视觉声源定位模型评估的三大缺陷，构建含三类负样本音频的测试集与指标，发现多数SOTA模型未有效利用音频、判别力不足，无法适配无先验信息的真实场景定位。
2025-01-10 cs.CV cs.SD eess.AS
Multi-scale Multi-instance Visual Sound Localization and Segmentation
Carnegie Mellon University（卡内基梅隆大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Xiaohongshu（小红书）
本文提出多尺度多实例视觉声源定位框架M2VSL，通过可学习多尺度视觉特征与多尺度多实例Transformer聚合跨模态表示，在多个基准上实现发声物体定位与分割的最先进性能。
2024-08-31 cs.CV cs.LG cs.MM
iQuery: Instruments as Queries for Audio-Visual Sound Separation
UC San Diego（加州大学圣地亚哥分校）；Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；National University of Singapore（新加坡国立大学）；ShanghaiTech University（上海科技大学）；University of Pennsylvania（宾夕法尼亚大学）
当前的视听分离方法共享标准架构设计，其中音频编码器-解码器网络在编码器瓶颈处与视觉编码特征融合。该设计混淆了多模态特征编码的学习与用于音频分离的鲁棒声音解码。推广到一种新乐器：必须为所有乐器微调整个视觉和音频网络。我们重新制定视听分离的任务，并提出了一个灵活的查询扩展机制的查询（iQuery）的仪器。我们的方法确保了跨模态的一致性和跨仪器的解纠缠。我们利用“视觉命名”查询启动学习的音频查询，并使用跨模态的注意力，以消除潜在的声源干扰估计波形。为了推广到新的仪器或事件类，从文本提示设计中汲取灵感，我们插入一个额外的查询作为音频提示，同时冻结注意力机制。三个基准测试的实验结果表明，我们的iQuery提高视听声音声源分离性能。
2022-12-08 cs.CV cs.MM cs.SD
Seeing Speech and Sound: Distinguishing and Locating Audios in Visual Scenes
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本研究提出带视听对齐目标的mix-and-separate统一框架，构建新数据集，实现视觉场景中混合语音与非语音的同时定位，在多项任务中性能优于或比肩现有方法。
2025-03-24 cs.CV cs.SD eess.AS
Sound Adversarial Audio-Visual Navigation
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Xinjiang University（新疆大学）；JD Explore Academy, JD.com（京东探索研究院）
视听导航任务要求智能体通过自我中心的视听观察在现实的、未映射的3D环境中找到声源。现有的视听导航作品假设一个干净的环境，只包含目标声音，然而，这将是不适合在大多数现实世界中的应用，由于意外的声音噪声或故意干扰。在这项工作中，我们设计了一个声学复杂的环境中，除了目标声音，存在一个声音攻击者玩零和游戏的代理。更具体地说，攻击者可以移动和改变声音的音量和类别，使智能体在试图躲避攻击并在干预下导航到目标的同时难以找到发声对象。在对攻击者进行一定约束的情况下，可以提高智能体对视听导航中意外声音攻击的鲁棒性。为了更好的收敛，我们开发了一个联合训练机制，采用的财产集中的批评与分散的演员。在两个真实的3D扫描数据集上进行的实验验证了在我们设计的环境下训练的Agent在转移到干净环境或包含随机策略的声音攻击者的环境中的有效性和鲁棒性。项目：\url{https://yyf17.github.io/SAAVN}。
2022-02-22 cs.CV cs.RO cs.SD
Separating Invisible Sounds Toward Universal Audiovisual Scene-Aware Sound Separation
Michigan State University（密歇根州立大学）；University of Rochester（罗切斯特大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对现有视听声音分离方法无法处理相机视野外不可见声音的问题，提出AVSA-Sep框架，通过语义解析器和场景信息分离器，结合联合训练与跨模态对齐，成功实现可见与不可见声音的分离。
2023-10-18 cs.CV cs.SD eess.AS
Localizing Visual Sounds the Easy Way
Carnegie Mellon University（卡内基梅隆大学）
无监督音视频源定位的目标是定位视频中的可见声源，而不依赖于地面实况定位进行训练。以前的作品往往寻求高视听相似性的可能积极（发声）的地区和低相似性的可能消极的地区。然而，在没有手动注释的情况下，准确区分发声区域和非发声区域是具有挑战性的。在这项工作中，我们提出了一种简单而有效的方法，即EZ-VSL，而不依赖于建设的积极和/或消极的地区在训练过程中。相反，我们通过寻找在关联图像的至少一个位置对齐的视听表示来对齐音频和视觉空间，而在任何位置都不匹配其他图像。我们还引入了一种新的对象引导定位方案在推理时间，以提高精度。我们简单而有效的框架在两个流行的基准测试中实现了最先进的性能，Flickr SoundNet和VGG-Sound Source。特别是，我们将Flickr SoundNet测试集的CIoU从76.80%提高到83.94%，并将VGG-Sound Source数据集的CIoU从34.60%提高到38.85%。该代码可在https://github.com/stoneMo/EZ-VSL上获得。
2022-03-29 cs.CV cs.LG cs.MM
Weakly-supervised Audio-visual Sound Source Detection and Separation
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（Vector人工智能研究所）
学习如何在视频的音频通道中定位和分离各个对象声音是一项艰巨的任务。目前最先进的方法从人工混合的频谱图预测音频掩码，称为混合和分离框架。我们提出了一种视听联合分割，其中网络从仅标记有对象标签的视频中学习单个对象的外观和声音。与其他最近的视觉引导音频声源分离框架不同，我们的架构可以以端到端的方式学习，并且不需要额外的监督或限界框建议。具体来说，我们在声音分离的背景下引入弱监督对象分割。我们还制定了声谱图掩模预测使用一组学习的掩模基地，结合使用对象分割的输出，一个设计，有利于分离的条件下的系数。在MUSIC数据集上的大量实验表明，我们提出的方法在视觉引导的声音声源分离和声音去噪方面优于最先进的方法。
2021-03-25 cs.CV cs.SD eess.AS
Enhanced Sound Event Localization and Detection in Real 360-degree audio-visual soundscapes
University of Southern California（南加州大学）
本研究基于纯音频SELDnet23模型，在GRU前融合音视频信息，并结合YOLO、DETIC检测器与视听数据增强及合成框架，构建出性能优于现有基线的增强型视听SELD系统。
2024-01-29 cs.AI cs.SD eess.AS
Generating Diverse Audio-Visual 360 Soundscapes for Sound Event Localization and Detection
University of Southern California（南加州大学）；Universidad Nacional Autónoma de México（墨西哥国立自治大学）；Universidad Autónoma de Tamaulipas（塔毛利帕斯自治大学）；Queen Mary University of London（伦敦大学玛丽皇后学院）
提出SELDVisualSynth工具，结合真实背景图像生成视听空间对齐的360度合成视频，用于声事件定位与检测，显著提升模型定位召回率与误差表现。
2025-04-03 cs.SD eess.AS
Co-Separating Sounds of Visual Objects
UT Austin（德克萨斯大学奥斯汀分校）；Facebook AI Research（脸书人工智能研究院）
从视频中学习对象的声音是具有挑战性的，因为它们通常在单个音频通道中严重重叠。当前的视觉引导音频声源分离方法通过使用人工混合的视频片段进行训练来回避这个问题，但这对训练数据收集造成了不便的限制，甚至可能阻止学习“真实”混合声音的属性。我们引入了一个协同分离训练范式，允许从未标记的多源视频中学习对象级别的声音。我们的新训练目标要求深度神经网络对相似对象的分离音频是一致可识别的，同时为每个源训练对再现准确的视频级音轨。我们的方法在真实的测试视频中解开声音，即使在训练过程中没有单独观察对象的情况下。我们获得了MUSIC、AudioSet和AV-Bench数据集的视觉引导音频声源分离和音频去噪的最新结果。
2019-08-20 cs.CV cs.MM cs.SD
Multi-encoder attention-based architectures for sound recognition with partial visual assistance
KU Leuven（鲁汶大学）
大规模的声音识别数据集通常由从多媒体库获得的声学记录组成。因此，通常可以利用音频以外的模态来改进为相关任务设计的模型的输出。然而，通常情况下，并非所有内容都可用于此类集合的所有样本：例如，原始材料可能已在某个时候从源平台移除，因此，不再能够获取非听觉特征。我们证明了多编码器框架可以通过将这种方法应用于基于注意力的深度学习系统来处理这个问题，这是目前声音识别领域最先进的一部分。更具体地说，我们证明了所提出的模型扩展可以成功地用于将部分可用的视觉信息纳入此类网络的操作程序中，这些网络通常只在训练和推理过程中使用听觉特征。实验上，我们验证了所考虑的方法导致改进的预测，在一些评估方案有关的音频标记和声音事件检测。此外，我们仔细检查所提出的技术的一些属性和局限性。
2022-09-26 cs.CV cs.SD eess.AS
Learning Self-Supervised Audio-Visual Representations for Sound Recommendations
Sony Interactive Entertainment（索尼互动娱乐）
该研究提出一种基于音视频对应关系的自监督表示学习方法，通过注意力机制融合多分辨率卷积特征，结合跨模态对比学习提升了视听相关性分类与音效推荐的准确率。
2024-12-10 cs.CV cs.MM cs.SD
STARSS23: An Audio-Visual Dataset of Spatial Recordings of Real Scenes with Spatiotemporal Annotations of Sound Events
Sony AI（索尼人工智能）；Tampere University（坦佩雷大学）；Sony Group Corporation（索尼集团公司）
本文提出视听声音事件定位与检测任务，并介绍STARSS23数据集，该数据集包含多通道音频、视频及时空标注，实验表明利用视觉对象位置可提升SELD性能。
2023-11-14 cs.CV cs.MM cs.SD
Dynamical Audio-Visual Navigation: Catching Unheard Moving Sound Sources in Unmapped 3D Environments
Albert-Ludwigs-University Freiburg（弗赖堡阿尔伯特-路德维希大学）
最近的视听导航工作针对无噪声音频环境中的单一静态声音，并努力推广到听不见的声音。我们介绍了新的动态视听导航基准，其中一个具体的人工智能智能体必须抓住一个移动的声源在一个未映射的环境中存在的干扰和嘈杂的声音。我们提出了一种端到端的强化学习方法，该方法依赖于多模态架构，该架构融合了来自双耳音频信号和空间占用图的空间视听信息，以编码为我们新的复杂任务设置学习鲁棒导航策略所需的特征。我们证明，我们的方法优于当前最先进的技术，更好地推广到闻所未闻的声音和更好的鲁棒性，噪声场景上的两个具有挑战性的3D扫描的真实世界的数据集ESTA和Matterport3D，静态和动态的视听导航基准。我们的新基准将在http://dav-nav.cs.uni-freiburg.de上提供。
2022-01-12 cs.CV cs.LG cs.RO
Binaural SoundNet: Predicting Semantics, Depth and Motion with Binaural Sounds
MPI for Informatics（马克斯·普朗克信息学研究所）；ETH Zürich（苏黎世联邦理工学院）；Czech Technical University（捷克技术大学）；KU Leuven（鲁汶大学）
人类可以通过使用视觉和/或听觉线索来鲁棒地识别和定位对象。虽然机器已经能够对视觉数据做同样的事情，但对声音做的工作较少。这项工作开发了一种纯粹基于双耳声音的场景理解方法。所考虑的任务包括预测发声对象的语义掩码、发声对象的运动和场景的深度图。为此，我们提出了一种新的传感器设置，并记录了一个新的视听数据集的街道场景与八个专业的双耳麦克风和360度摄像头。视觉和听觉提示的共存被用于监督转移。特别是，我们采用了一个跨模态蒸馏框架，该框架由多个视觉教师方法和一个声音学生方法组成-学生方法经过训练，可以生成与教师方法相同的结果。这样，可以在不使用人类注释的情况下训练听觉系统。为了进一步提高性能，我们提出了另一个新的辅助任务，创造空间声音超分辨率，以提高声音的方向分辨率。然后，我们将这四个任务制定为一个端到端的可训练多任务网络，旨在提高整体性能。实验结果表明：1）我们的方法对所有四个任务都取得了良好的效果，2）这四个任务是互利的-一起训练它们可以获得最佳性能，3）麦克风的数量和方向都很重要，4）从标准频谱图中学习的特征和经典信号处理管道获得的特征对于听觉感知任务是互补的。数据和代码已发布。
2022-02-27 cs.CV cs.SD eess.AS
Telling Left from Right: Learning Spatial Correspondence of Sight and Sound
MIT（麻省理工学院）；Adobe Research（奥多比研究院）
自我监督的视听学习旨在通过利用视觉和音频输入之间的对应关系来捕获有用的视频表示。现有的方法主要集中在感官流之间的语义信息的匹配。我们提出了一种新的自我监督的任务，利用正交原则：匹配音频流中的空间信息的声音源在视觉流的位置。我们的方法简单而有效。我们训练一个模型来确定左右音频通道是否已经翻转，迫使它在视觉和音频流中推理空间定位。为了训练和评估我们的方法，我们引入了一个大规模的视频数据集，YouTube-ASMR-300 K，空间音频包括超过900小时的镜头。我们证明，理解空间对应性使模型能够在三个视听任务上表现得更好，在不利用空间音频线索的监督和自我监督基线上实现定量增益。我们还展示了如何将我们的自我监督方法扩展到具有ambisonic音频的360度视频。
2020-06-12 cs.CV cs.SD eess.AS
Sound to Visual Scene Generation by Audio-to-Visual Latent Alignment
POSTECH（浦项科技大学）；KAIST（韩国科学技术院）；University of Michigan（密歇根大学）；Yonsei University（延世大学）
音频如何描述我们周围的世界？在本文中，我们提出了一种方法，用于从声音生成一个场景的图像。我们的方法解决了处理视觉和声音之间经常存在的巨大差距的挑战。我们设计了一个模型，其工作原理是通过调度每个模型组件的学习过程来关联视听模态，尽管它们存在信息缺口。其核心思想是通过学习将音频与视觉潜在空间对齐来丰富音频特征与视觉信息。我们将输入的音频转换为视觉特征，然后使用预训练的生成器生成图像。为了进一步提高我们生成的图像的质量，我们使用声源定位来选择具有强交叉模态相关性的视听对。我们在VEGAS和VGGSound数据集上获得了比以前方法更好的结果。我们还表明，我们可以通过对输入波形或潜在空间进行简单的操作来控制模型的预测。
2023-03-30 cs.CV cs.MM cs.SD
Sound2Sight: Generating Visual Dynamics from Sound and Context
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
跨模态的学习关联对于鲁棒的多模态推理至关重要，特别是在推理过程中可能缺少模态时。在本文中，我们研究这个问题的背景下，音频条件的视觉合成-一个任务，这是很重要的，例如，在遮挡推理。具体来说，我们的目标是生成未来的视频帧和它们的运动动态条件的音频和一些过去的帧。为了解决这个问题，我们提出了Sound 2Sight，这是一个深度变分框架，它被训练来学习基于音频和过去帧的联合嵌入的每帧随机先验。这种嵌入是通过一个多头注意力为基础的视听Transformer编码器学习。然后对所学习的先验进行采样，以进一步调节视频预测模块以生成未来帧。随机先验允许模型对与所提供的音频和过去上下文一致的多个可能的未来进行采样。此外，为了提高所生成的帧的质量和一致性，我们提出了一个多模式的视频，区分合成和一个真正的视听剪辑。我们在两个新的数据集上实证评估了我们的方法，即（i）带有惊喜障碍的多模态随机移动MNIST，（ii）Youtube绘画;以及现有的Audio-Set Drums数据集。我们广泛的实验表明，Sound 2Sight在生成的视频质量方面明显优于最先进的技术，同时还能生成多样化的视频内容。
2020-07-23 cs.CV cs.LG cs.SD
Self-Supervised Audio-Visual Co-Segmentation
MIT（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
分割图像中的对象和分离音频中的声源是具有挑战性的任务，部分原因是传统方法需要大量的标记数据。在本文中，我们开发了一个神经网络模型的视觉对象分割和声音声源分离，学习自然视频通过自我监督。该模型是最近提出的将图像像素映射到声音的工作的扩展。在这里，我们引入了一种学习方法来解开神经网络中的概念，并将语义类别分配给网络特征通道，以便在视频上进行视听训练后实现独立的图像分割和声音声源分离。我们的评估表明，解开模型优于几个基线在语义分割和声音声源分离。
2019-04-18 cs.CV cs.SD eess.AS
Catch Me If You Hear Me: Audio-Visual Navigation in Complex Unmapped Environments with Moving Sounds
University of Freiburg（弗莱堡大学）
视听导航结合视觉和听觉，在未映射的环境中导航到声音发射源。虽然最近的方法已经证明了音频输入在检测和找到目标方面的好处，但它们专注于干净和静态的声源，并且难以推广到听不到的声音。在这项工作中，我们提出了一种新的动态视听导航基准，它需要在嘈杂和分散注意力的声音环境中捕捉移动声源，这带来了一系列新的挑战。我们引入了一种强化学习方法，该方法可以为这些复杂的设置学习一个强大的导航策略。为了实现这一目标，我们提出了一个架构，融合视听信息的空间特征空间学习相关的几何信息固有的本地地图和音频信号。我们证明了我们的方法在两个具有挑战性的3D扫描现实世界环境（即Matterport3D和Matterport3D）中，在移动声音、未听到的声音和嘈杂环境的所有任务中，都始终优于当前最先进的方法。该基准可在http://dav-nav.cs.uni-freiburg.de上获得。
2023-01-03 cs.CV cs.LG cs.RO
Continual Audio-Visual Sound Separation
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Brown University（布朗大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出持续视听声音分离任务及ContAV-Sep方法，通过跨模态相似性蒸馏约束缓解灾难性遗忘，实现新类声源持续分离并保持旧类性能。
2024-11-05 cs.CV cs.LG cs.MM
Audio-Visual Talker Localization in Video for Spatial Sound Reproduction
本研究提出融合视觉与多通道音频的视听方法，用于视频中说话人定位与位置元数据提取，相比传统方法显著降低了检测误差并提升了空间精度。
2024-06-01 cs.CV cs.SD eess.AS
Self-Supervised Audio-Visual Soundscape Stylization
University of California, Berkeley（加州大学伯克利分校）；FAIR, Meta（Meta FAIR研究院）；University of Michigan（密歇根大学）
提出基于自监督的视听声景风格化方法，利用latent diffusion模型和自然视频中的重复声音事件，将目标场景的声音特性迁移至输入语音，并证明视觉信号能提升声音预测能力。
2024-09-22 cs.CV cs.LG cs.MM
Seeing Sound: Assembling Sounds from Visuals for Audio-to-Image Generation
Indiana University Bloomington（印第安纳大学布卢明顿分校）；Netflix（网飞公司）
提出可扩展的图像声化框架，利用视觉语言模型检索并人工配对高质量单模态图像与音频，训练出竞争力强的音频到图像生成模型。
2025-01-09 cs.CV cs.GR cs.SD
What's Making That Sound Right Now? Video-centric Audio-Visual Localization
Seoul National University（首尔国立大学）
针对现有视听定位忽略时间动态和简化场景的问题，提出视频中心基准AVATAR和模型TAVLO，通过高分辨率时间建模实现稳健精确的视听对齐，确立新标准。
2025-07-08 cs.AI cs.CV cs.MM
Learning Sound Localization Better From Semantically Similar Samples
KAIST（韩国科学技术院）
这项工作的目标是本地化的声源在视觉场景。现有的视听作品采用对比学习，通过将来自相同源的对应视听对分配为正，而将随机不匹配的对分配为负。然而，这些否定对可能包含语义匹配的视听信息。因此，这些语义相关的对，“硬阳性”，被错误地分组为阴性。我们的主要贡献是表明，硬阳性可以给相应的对类似的响应图。我们的方法将这些硬阳性添加到一个对比学习目标的反应地图直接。我们证明了我们的方法的有效性VGG-SS和SoundNet-Flickr测试集，表现出良好的性能，最先进的方法。
2022-02-07 cs.CV cs.SD eess.AS
Aligning Sight and Sound: Advanced Sound Source Localization Through Audio-Visual Alignment
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）；Department of Electrical Engineering, POSTECH（浦项工科大学电气工程系）；School of Engineering and Applied Sciences at Harvard University（哈佛大学工程与应用科学学院）
针对声源定位中跨模态交互被忽视的问题，提出新合成基准、新评估指标及跨模态对齐学习框架，显著提升定位性能并全面评估交互能力。
2024-07-18 cs.CV cs.MM cs.SD
Induction Network: Audio-Visual Modality Gap-Bridging for Self-Supervised Sound Source Localization
Northwestern Polytechnical University（西北工业大学）；Ningbo Institute of Northwestern Polytechnical University（西北工业大学宁波研究院）；Nanchang University（南昌大学）
本文提出归纳网络，通过解耦音视频梯度并利用归纳向量以自举方式学习判别性视觉表示，结合视觉加权对比损失和自适应阈值选择策略，在SoundNet-Flickr和VGG-Sound Source数据集上实现了更优的自监督声源定位性能。
2023-08-09 cs.AI cs.CV cs.MM
Log Complex Color for Visual Pattern Recognition of Total Sound
U. Missouri-StL（密苏里大学圣路易斯分校）
虽然传统的音频可视化方法描绘了幅度强度与时间的关系，例如在时间-频率频谱图中，并且虽然一些方法可以使用复杂的相位信息来增强幅度表示，例如在重新分配的频谱图中，但是相位数据通常不以其自身的权利表示。通过将振幅强度绘制为亮度/饱和度，将相位周期绘制为色调变化，我们的复频谱图方法同时显示振幅和相位信息，使这些图像成为源波的规范视觉表示。因此，原始声音可以从图像中精确地重建（下至原始相位），只需反转我们的过程。这使人类能够应用我们高度发达的视觉模式识别技能，以新的方式完成音频数据。
2019-07-23 cs.SD eess.AS
How to Listen? Rethinking Visual Sound Localization
New York University（纽约大学）；Descript, Inc.（Descript公司）
定位视觉声音包括定位图像中发出声音的对象的位置。它是一个不断发展的研究领域，在监测自然和城市环境，如野生动物迁徙和城市交通方面具有潜在的应用。以前的工作通常使用主要具有单个主导可见对象的数据集进行评估，并且所提出的模型通常需要在训练或专用采样策略期间引入本地化模块，但目前尚不清楚这些设计选择如何在更具挑战性的场景中对这些方法的适应性发挥作用。在这项工作中，我们分析了各种模型的选择视觉声音定位和讨论他们的不同组件如何影响模型的性能，即编码器的架构，损失函数和定位策略。此外，我们通过挖掘跨越不同困难和特征的不同评估数据集，研究这些决策，模型性能和数据之间的相互作用，并讨论这些决策在实际应用中的影响。我们的代码和模型权重是开源的，可用于进一步的应用。
2022-04-11 cs.SD eess.AS
Self-supervised Moving Vehicle Tracking with Stereo Sound
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research AI（IBM研究人工智能部门）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
人类能够使用视觉和听觉线索定位环境中的物体，将来自多种模态的信息整合到一个共同的参考系中。我们介绍了一个系统，可以利用未标记的视听数据来学习本地化对象（移动车辆）在视觉参考系，纯粹使用立体声在推理时间。由于手动注释音频和对象边界框之间的对应关系是劳动密集型的，因此我们通过使用未标记视频中的视觉和音频流的共同出现作为自我监督的形式来实现这一目标，而不诉诸于收集地面实况注释。特别是，我们提出了一个框架，由一个视觉“教师”网络和立体声“学生”网络。在训练过程中，知识体现在一个完善的视觉车辆检测模型被转移到音频域使用未标记的视频作为桥梁。在测试时，立体声学生网络可以独立工作，仅使用立体声音频和摄像机元数据来执行对象定位，而无需任何视觉输入。在一个新收集的Auditory车辆跟踪数据集上的实验结果验证了我们提出的方法优于几种基线方法。我们还表明，我们的跨模态听觉定位方法可以帮助在视觉定位的移动车辆在恶劣的照明条件下。
2019-10-25 cs.CV cs.LG cs.SD
Learning to Separate Object Sounds by Watching Unlabeled Video
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；IBM Research（IBM研究院）；Facebook AI Research（Facebook人工智能研究院）
最充分地感知一个场景需要所有的感官。然而，建模对象的外观和声音是具有挑战性的：大多数自然场景和事件包含多个对象，并且音轨将所有声源混合在一起。我们提出从未标记的视频中学习视听对象模型，然后利用视觉上下文来执行新视频中的音频声源分离。我们的方法依赖于一个深度的多实例多标签学习框架来解开映射到单个视觉对象的音频基础，即使没有孤立地观察/听到这些对象。我们展示了如何恢复解开基地可以用来指导音频声源分离，以获得更好的分离，对象级的声音。我们的工作是第一个学习音频声源分离从大规模的“在野外”的视频包含多个音频源，每个视频。我们获得了视觉辅助音频声源分离和音频去噪的最先进的结果。我们的视频结果：http://vision.cs.utexas.edu/projects/separating_object_sounds/
2018-07-26 cs.CV cs.MM cs.SD
Active Audio-Visual Separation of Dynamic Sound Sources
UT Austin（德克萨斯大学奥斯汀分校）；Facebook AI Research（脸书人工智能研究院）
我们探讨了动态声源的主动视听分离，其中一个具体的代理智能移动在3D环境中不断隔离感兴趣的对象发出的随时间变化的音频流。代理听到多个音频源的混合流（例如，多个人交谈和乐队在嘈杂的聚会上演奏音乐）。在有限的时间预算下，它需要使用自我中心的视听观察在每一步准确地提取目标声音。我们提出了一个强化学习代理配备了一个新的Transformer内存，学习运动策略来控制其摄像头和麦克风恢复动态目标音频，使用自我注意力，使高质量的估计当前的时间步长，并同时提高其过去的估计。在真实世界的扫描Matterport3D环境中使用高度逼真的声学SoundSpaces模拟，我们表明我们的模型能够学习有效的行为来进行动态音频目标的连续分离。项目：https://vision.cs.utexas.edu/projects/active-av-dynamic-separation/。
2022-07-25 cs.CV cs.LG cs.SD
Towards Generating Ambisonics Using Audio-Visual Cue for Virtual Reality
Trinity College Dublin（都柏林圣三一学院）
高保真度立体声，即，全球面环绕声是典型的360度视觉内容，以提供逼真的虚拟现实（VR）体验。虽然360度视觉内容捕获最近获得了巨大的推动，但由于所需的声场麦克风或有关声源位置的信息，相应的空间声音的估计仍然具有挑战性。在本文中，我们介绍了一个新的问题，产生高保真度立体声在360度视频使用的视听线索。为了实现这一目标，首先，引入了一个新的360度视听视频数据集，其中包含265个视频，并带有注释的声源位置。其次，设计了一个自动高保真度立体声估计问题的流水线。受益于基于深度学习的视听特征嵌入和预测模块，我们的流水线估计3D声源位置，并进一步使用这些位置编码为B格式。为了对我们的数据集和管道进行基准测试，我们还提出了评估标准，以使用不同的360度输入表示来研究性能。我们的研究结果证明了所提出的管道的有效性，并为未来的调查开辟了360度视听分析的新研究领域。
2019-08-16 cs.CV cs.LG cs.MM
Bridging Ears and Eyes: Analyzing Audio and Visual Large Language Models to Humans in Visible Sound Recognition and Reducing Their Sensory Gap via Cross-Modal Distillation
Columbia University（哥伦比亚大学）；University of Washington（华盛顿大学）
该研究对比音频、视觉与视听LLM及人类在可见声音识别中的表现，发现对应人耳与人眼差异的模态性能差距，并通过双向跨模态蒸馏显著提升挑战性类别识别能力。
2025-05-11 cs.CL cs.CV cs.MM
