Dynamical Audio-Visual Navigation: Catching Unheard Moving Sound Sources in Unmapped 3D Environments
Albert-Ludwigs-University Freiburg（弗赖堡阿尔伯特-路德维希大学）
最近的视听导航工作针对无噪声音频环境中的单一静态声音，并努力推广到听不见的声音。我们介绍了新的动态视听导航基准，其中一个具体的人工智能智能体必须抓住一个移动的声源在一个未映射的环境中存在的干扰和嘈杂的声音。我们提出了一种端到端的强化学习方法，该方法依赖于多模态架构，该架构融合了来自双耳音频信号和空间占用图的空间视听信息，以编码为我们新的复杂任务设置学习鲁棒导航策略所需的特征。我们证明，我们的方法优于当前最先进的技术，更好地推广到闻所未闻的声音和更好的鲁棒性，噪声场景上的两个具有挑战性的3D扫描的真实世界的数据集ESTA和Matterport3D，静态和动态的视听导航基准。我们的新基准将在http://dav-nav.cs.uni-freiburg.de上提供。
2022-01-12 cs.CV cs.LG cs.RO
Into the Wild with AudioScope: Unsupervised Audio-Visual Separation of On-Screen Sounds
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
深度学习的最新进展使声音分离和视觉场景理解方面取得了许多进展。然而，提取自然视频中明显的声源仍然是一个悬而未决的问题。在这项工作中，我们提出了AudioScope，一种新颖的视听声音分离框架，可以在没有监督的情况下进行训练，将屏幕上的声源与真实的野外视频隔离开来。先前的视听分离工作假设了对声音类别域的人为限制（例如，语音或音乐），限制了源的数量，并需要强大的声音分离或视觉分割标签。AudioScope克服了这些限制，在开放的声音域上操作，具有可变数量的源，并且没有标签或先前的视觉分割。AudioScope的训练过程使用混合不变训练（MixIT）将合成混合物（MoM）分离为单个源，其中混合物的噪声标签由无监督的视听重合模型提供。使用嘈杂的标签，以及视频和音频特征之间的注意力，AudioScope学会识别视听相似性并抑制屏幕外的声音。我们证明了我们的方法的有效性，使用从开放域YFCC 100米视频数据中提取的视频剪辑的数据集。该数据集包含在不受约束的条件下记录的多种声音类别，使得以前的方法的应用不合适。对于评估和半监督实验，我们收集了一小部分剪辑上存在屏幕上和屏幕外声音的人类标签。
2021-05-30 cs.CV cs.SD eess.AS
High-Quality Visually-Guided Sound Separation from Diverse Categories
University of Rochester（罗切斯特大学）；Meta Reality Labs Research（Meta现实实验室）
提出基于扩散的视听分离框架DAVIS，利用生成扩散模型和Separation U-Net从高斯噪声合成分离声音，在AVE和MUSIC数据集上分离质量优于现有判别式方法。
2024-10-10 cs.CV cs.SD eess.AS
Catch Me If You Hear Me: Audio-Visual Navigation in Complex Unmapped Environments with Moving Sounds
University of Freiburg（弗莱堡大学）
视听导航结合视觉和听觉，在未映射的环境中导航到声音发射源。虽然最近的方法已经证明了音频输入在检测和找到目标方面的好处，但它们专注于干净和静态的声源，并且难以推广到听不到的声音。在这项工作中，我们提出了一种新的动态视听导航基准，它需要在嘈杂和分散注意力的声音环境中捕捉移动声源，这带来了一系列新的挑战。我们引入了一种强化学习方法，该方法可以为这些复杂的设置学习一个强大的导航策略。为了实现这一目标，我们提出了一个架构，融合视听信息的空间特征空间学习相关的几何信息固有的本地地图和音频信号。我们证明了我们的方法在两个具有挑战性的3D扫描现实世界环境（即Matterport3D和Matterport3D）中，在移动声音、未听到的声音和嘈杂环境的所有任务中，都始终优于当前最先进的方法。该基准可在http://dav-nav.cs.uni-freiburg.de上获得。
2023-01-03 cs.CV cs.LG cs.RO
Continual Audio-Visual Sound Separation
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Brown University（布朗大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出持续视听声音分离任务及ContAV-Sep方法，通过跨模态相似性蒸馏约束缓解灾难性遗忘，实现新类声源持续分离并保持旧类性能。
2024-11-05 cs.CV cs.LG cs.MM
Self-Supervised Audio-Visual Soundscape Stylization
University of California, Berkeley（加州大学伯克利分校）；FAIR, Meta（Meta FAIR研究院）；University of Michigan（密歇根大学）
提出基于自监督的视听声景风格化方法，利用latent diffusion模型和自然视频中的重复声音事件，将目标场景的声音特性迁移至输入语音，并证明视觉信号能提升声音预测能力。
2024-09-22 cs.CV cs.LG cs.MM
Generating Diverse Audio-Visual 360 Soundscapes for Sound Event Localization and Detection
University of Southern California（南加州大学）；Universidad Nacional Autónoma de México（墨西哥国立自治大学）；Universidad Autónoma de Tamaulipas（塔毛利帕斯自治大学）；Queen Mary University of London（伦敦大学玛丽皇后学院）
提出SELDVisualSynth工具，结合真实背景图像生成视听空间对齐的360度合成视频，用于声事件定位与检测，显著提升模型定位召回率与误差表现。
2025-04-03 cs.SD eess.AS
Measuring Sound Symbolism in Audio-visual Models
本研究调查预训练视听模型是否表现出类似人类的语音象征现象，通过构建专用数据集并在零样本设置下评估，发现模型输出与语音象征模式显著相关，尤其在语音数据训练的模型中，揭示了模型捕捉音义联系的能力。
2024-11-11 cs.CL cs.CV cs.SD
FoleyGAN: Visually Guided Generative Adversarial Network-Based Synchronous Sound Generation in Silent Videos
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
基于深度学习的视觉到声音生成系统本质上需要开发，特别是考虑到视觉和音频特征随时间的同步性方面。在这项研究中，我们引入了一个新的任务，指导类条件生成对抗网络的时间视觉信息的视频输入的视觉到声音生成任务适应视听模态之间的同步性特征。我们提出的FoleyGAN模型能够调节视觉事件的动作序列，从而产生视觉上对齐的逼真音轨。我们扩展了我们之前提出的自动Foley数据集，以使用FoleyGAN进行训练，并通过人类调查评估我们的合成声音，该调查显示出值得注意的（平均81%）视听同步性能。与其他基线模型和视听数据集相比，我们的方法在统计实验中也表现出色。
2021-07-20 cs.AI cs.CV cs.LG
Enhanced Sound Event Localization and Detection in Real 360-degree audio-visual soundscapes
University of Southern California（南加州大学）
本研究基于纯音频SELDnet23模型，在GRU前融合音视频信息，并结合YOLO、DETIC检测器与视听数据增强及合成框架，构建出性能优于现有基线的增强型视听SELD系统。
2024-01-29 cs.AI cs.SD eess.AS
Visually-Guided Sound Source Separation with Audio-Visual Predictive Coding
Xi’an Jiaotong University（西安交通大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences（中国科学院香港创新研究院）
提出视听预测编码（AVPC）方法，通过预测编码网络统一特征提取、融合和掩码预测，实现参数高效且性能更优的视觉引导声音源分离。
2023-06-19 cs.CV cs.MM cs.SD
Learning Visual Styles from Audio-Visual Associations
Tsinghua University（清华大学）；University of Michigan（密歇根大学）；Shanghai Qi Zhi Institute（上海期智研究院）
从淅淅沥沥的雨声到雪的嘎吱声，我们听到的声音往往传达了场景中出现的视觉纹理。在本文中，我们提出了一种方法来学习视觉风格从未标记的视听数据。我们的模型学习操纵场景的纹理以匹配声音，我们称之为音频驱动的图像风格化。给定一个配对的视听数据集，我们学习修改输入图像，使得在操作之后，它们更有可能与给定的输入声音共同出现。在定量和定性评估中，我们基于声音的模型优于基于标签的方法。我们还表明，音频可以是一个直观的表示操纵图像，调整声音的音量或混合两个声音在一起的结果在可预测的变化，视觉风格。项目网页：https://tinglok.netlify.app/files/avstyle
2022-05-10 cs.CV cs.MM cs.SD
Self-supervised Moving Vehicle Tracking with Stereo Sound
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research AI（IBM研究人工智能部门）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
人类能够使用视觉和听觉线索定位环境中的物体，将来自多种模态的信息整合到一个共同的参考系中。我们介绍了一个系统，可以利用未标记的视听数据来学习本地化对象（移动车辆）在视觉参考系，纯粹使用立体声在推理时间。由于手动注释音频和对象边界框之间的对应关系是劳动密集型的，因此我们通过使用未标记视频中的视觉和音频流的共同出现作为自我监督的形式来实现这一目标，而不诉诸于收集地面实况注释。特别是，我们提出了一个框架，由一个视觉“教师”网络和立体声“学生”网络。在训练过程中，知识体现在一个完善的视觉车辆检测模型被转移到音频域使用未标记的视频作为桥梁。在测试时，立体声学生网络可以独立工作，仅使用立体声音频和摄像机元数据来执行对象定位，而无需任何视觉输入。在一个新收集的Auditory车辆跟踪数据集上的实验结果验证了我们提出的方法优于几种基线方法。我们还表明，我们的跨模态听觉定位方法可以帮助在视觉定位的移动车辆在恶劣的照明条件下。
2019-10-25 cs.CV cs.LG cs.SD
Active Audio-Visual Separation of Dynamic Sound Sources
UT Austin（德克萨斯大学奥斯汀分校）；Facebook AI Research（脸书人工智能研究院）
我们探讨了动态声源的主动视听分离，其中一个具体的代理智能移动在3D环境中不断隔离感兴趣的对象发出的随时间变化的音频流。代理听到多个音频源的混合流（例如，多个人交谈和乐队在嘈杂的聚会上演奏音乐）。在有限的时间预算下，它需要使用自我中心的视听观察在每一步准确地提取目标声音。我们提出了一个强化学习代理配备了一个新的Transformer内存，学习运动策略来控制其摄像头和麦克风恢复动态目标音频，使用自我注意力，使高质量的估计当前的时间步长，并同时提高其过去的估计。在真实世界的扫描Matterport3D环境中使用高度逼真的声学SoundSpaces模拟，我们表明我们的模型能够学习有效的行为来进行动态音频目标的连续分离。项目：https://vision.cs.utexas.edu/projects/active-av-dynamic-separation/。
2022-07-25 cs.CV cs.LG cs.SD
Towards Generating Ambisonics Using Audio-Visual Cue for Virtual Reality
Trinity College Dublin（都柏林圣三一学院）
高保真度立体声，即，全球面环绕声是典型的360度视觉内容，以提供逼真的虚拟现实（VR）体验。虽然360度视觉内容捕获最近获得了巨大的推动，但由于所需的声场麦克风或有关声源位置的信息，相应的空间声音的估计仍然具有挑战性。在本文中，我们介绍了一个新的问题，产生高保真度立体声在360度视频使用的视听线索。为了实现这一目标，首先，引入了一个新的360度视听视频数据集，其中包含265个视频，并带有注释的声源位置。其次，设计了一个自动高保真度立体声估计问题的流水线。受益于基于深度学习的视听特征嵌入和预测模块，我们的流水线估计3D声源位置，并进一步使用这些位置编码为B格式。为了对我们的数据集和管道进行基准测试，我们还提出了评估标准，以使用不同的360度输入表示来研究性能。我们的研究结果证明了所提出的管道的有效性，并为未来的调查开辟了360度视听分析的新研究领域。
2019-08-16 cs.CV cs.LG cs.MM
Multi-goal Audio-visual Navigation using Sound Direction Map
Tokyo Institute of Technology（东京工业大学）
本文针对多声源作为目标的通用导航问题，提出多目标视听导航框架及声音方向图（SDM）方法，通过动态定位多声源缓解声源分离难度，显著提升多种基线方法性能。
2023-08-01 cs.CV cs.SD eess.AS
iQuery: Instruments as Queries for Audio-Visual Sound Separation
UC San Diego（加州大学圣地亚哥分校）；Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；National University of Singapore（新加坡国立大学）；ShanghaiTech University（上海科技大学）；University of Pennsylvania（宾夕法尼亚大学）
当前的视听分离方法共享标准架构设计，其中音频编码器-解码器网络在编码器瓶颈处与视觉编码特征融合。该设计混淆了多模态特征编码的学习与用于音频分离的鲁棒声音解码。推广到一种新乐器：必须为所有乐器微调整个视觉和音频网络。我们重新制定视听分离的任务，并提出了一个灵活的查询扩展机制的查询（iQuery）的仪器。我们的方法确保了跨模态的一致性和跨仪器的解纠缠。我们利用“视觉命名”查询启动学习的音频查询，并使用跨模态的注意力，以消除潜在的声源干扰估计波形。为了推广到新的仪器或事件类，从文本提示设计中汲取灵感，我们插入一个额外的查询作为音频提示，同时冻结注意力机制。三个基准测试的实验结果表明，我们的iQuery提高视听声音声源分离性能。
2022-12-08 cs.CV cs.MM cs.SD
Sound Adversarial Audio-Visual Navigation
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Xinjiang University（新疆大学）；JD Explore Academy, JD.com（京东探索研究院）
视听导航任务要求智能体通过自我中心的视听观察在现实的、未映射的3D环境中找到声源。现有的视听导航作品假设一个干净的环境，只包含目标声音，然而，这将是不适合在大多数现实世界中的应用，由于意外的声音噪声或故意干扰。在这项工作中，我们设计了一个声学复杂的环境中，除了目标声音，存在一个声音攻击者玩零和游戏的代理。更具体地说，攻击者可以移动和改变声音的音量和类别，使智能体在试图躲避攻击并在干预下导航到目标的同时难以找到发声对象。在对攻击者进行一定约束的情况下，可以提高智能体对视听导航中意外声音攻击的鲁棒性。为了更好的收敛，我们开发了一个联合训练机制，采用的财产集中的批评与分散的演员。在两个真实的3D扫描数据集上进行的实验验证了在我们设计的环境下训练的Agent在转移到干净环境或包含随机策略的声音攻击者的环境中的有效性和鲁棒性。项目：\url{https://yyf17.github.io/SAAVN}。
2022-02-22 cs.CV cs.RO cs.SD
STARSS23: An Audio-Visual Dataset of Spatial Recordings of Real Scenes with Spatiotemporal Annotations of Sound Events
Sony AI（索尼人工智能）；Tampere University（坦佩雷大学）；Sony Group Corporation（索尼集团公司）
本文提出视听声音事件定位与检测任务，并介绍STARSS23数据集，该数据集包含多通道音频、视频及时空标注，实验表明利用视觉对象位置可提升SELD性能。
2023-11-14 cs.CV cs.MM cs.SD
Weakly-supervised Audio-visual Sound Source Detection and Separation
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（Vector人工智能研究所）
学习如何在视频的音频通道中定位和分离各个对象声音是一项艰巨的任务。目前最先进的方法从人工混合的频谱图预测音频掩码，称为混合和分离框架。我们提出了一种视听联合分割，其中网络从仅标记有对象标签的视频中学习单个对象的外观和声音。与其他最近的视觉引导音频声源分离框架不同，我们的架构可以以端到端的方式学习，并且不需要额外的监督或限界框建议。具体来说，我们在声音分离的背景下引入弱监督对象分割。我们还制定了声谱图掩模预测使用一组学习的掩模基地，结合使用对象分割的输出，一个设计，有利于分离的条件下的系数。在MUSIC数据集上的大量实验表明，我们提出的方法在视觉引导的声音声源分离和声音去噪方面优于最先进的方法。
2021-03-25 cs.CV cs.SD eess.AS
Improving On-Screen Sound Separation for Open-Domain Videos with Audio-Visual Self-Attention
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
我们介绍了一个国家的最先进的视听屏幕上的声音分离系统，这是能够学习分离的声音，并将它们与屏幕上的对象，通过在野外的视频。我们确定了以前的工作的限制，视听屏幕上的声音分离，包括简单性和粗分辨率的时空注意力，和音频分离模型的收敛性差。我们提出的模型使用跨模态和自我注意模块来解决这些问题，这些模块可以随着时间的推移以更高的分辨率捕获视听依赖关系，并通过音频分离模型的无监督预训练来解决这些问题。这些改进使模型能够推广到更广泛的未见过视频。我们还展示了一种鲁棒的方法，通过校准我们的视听屏幕上分类器的概率来进一步提高我们模型的泛化能力，只使用少量的被标记为屏幕上存在的域内视频。为了进行评估和半监督训练，我们从一个大型的野外视频数据库（YFCC 100m）中收集了屏幕上音频的人类注释。我们的研究结果表明，在屏幕上的分离性能显着改善，在更一般的条件下比以前的方法。
2021-10-14 cs.CV cs.LG cs.SD
AudioScopeV2: Audio-Visual Attention Architectures for Calibrated Open-Domain On-Screen Sound Separation
Google Research（谷歌研究院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们介绍AudioScopeV2，这是一个最先进的通用视听屏幕声音分离系统，它能够通过观看野外视频来学习分离声音并将它们与屏幕上的对象相关联。我们确定了以前的工作的视听屏幕上的声音分离的几个限制，包括时空注意力的粗分辨率，音频分离模型的收敛性差，训练和评估数据的种类有限，以及未能考虑到屏幕上的声音和抑制屏幕外的声音之间的权衡。我们为所有这些问题提供解决方案。我们提出的跨模态和自注意网络架构可以随着时间的推移以更高的分辨率捕获视听依赖关系，我们还提出了高效的可分离变体，这些变体能够扩展到更长的视频，而不会牺牲太多性能。我们还发现，仅在音频上预训练分离模型可以大大提高结果。为了进行训练和评估，我们从一个大型的野外视频数据库（YFCC 100M）中收集了新的人类对声音的注释。这个新的数据集更加多样化和具有挑战性。最后，我们提出了一个校准程序，允许精确调整屏幕上的重建与屏幕外的抑制，这大大简化了不同的操作点模型之间的性能比较。总的来说，我们的实验结果表明，在更一般的条件下，屏幕上的分离性能显着改善比以前的方法，以最小的额外的计算复杂性。
2022-07-20 cs.CV cs.SD eess.AS
Seeing Soundscapes: Audio-Visual Generation and Separation from Soundscapes Using Audio-Visual Separator
King’s College London（伦敦国王学院）
提出AV-GAS模型，利用音视频分离器从多类别混合音频（声景）生成图像，并引入新的分离任务与评估指标，在VGGSound数据集上超越现有方法，CRS提升7%，R@2*提升4%。
2025-04-25 cs.AI cs.CV cs.MM
Visual Scene Graphs for Audio Source Separation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
用于视觉引导的音频声源分离的现有技术方法通常假定具有特征声音的源，诸如乐器。这些方法通常忽略这些声源的视觉背景，或者避免对可能有助于更好地表征声源的对象交互进行建模，特别是当相同的对象类可能从不同的交互产生不同的声音时。为了解决这个具有挑战性的问题，我们提出了视听场景图分割器（AVSGS），这是一种新型的深度学习模型，它将场景的视觉结构嵌入为图，并将该图分割成子图，每个子图与通过共同分割音频频谱图获得的唯一声音相关联。在其核心，AVSGS使用递归神经网络，使用多头注意力发出视觉图的相互正交的子图嵌入。这些嵌入用于调节音频编码器-解码器朝向声源分离。我们的管道通过一个自我监督的任务进行端到端的训练，该任务包括使用视觉图将音频源与人工混合的声音分离。在本文中，我们还介绍了一个“在野外”的视频数据集的声音声源分离，其中包含多个非音乐源，我们称之为音频分离在野外（ASIW）。该数据集改编自AudioCaps数据集，为声源分离提供了一个具有挑战性的、自然的日常环境。在所提出的ASIW和标准MUSIC数据集上进行的彻底实验表明，我们的方法与最近的现有方法相比具有最先进的声音分离性能。
2021-09-24 cs.AI cs.CV cs.LG
Learning Self-Supervised Audio-Visual Representations for Sound Recommendations
Sony Interactive Entertainment（索尼互动娱乐）
该研究提出一种基于音视频对应关系的自监督表示学习方法，通过注意力机制融合多分辨率卷积特征，结合跨模态对比学习提升了视听相关性分类与音效推荐的准确率。
2024-12-10 cs.CV cs.MM cs.SD
SoundSpaces: Audio-Visual Navigation in 3D Environments
UT Austin（德克萨斯大学奥斯汀分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Facebook Reality Labs（Facebook 现实实验室）；Facebook AI Research（Facebook 人工智能研究院）
在世界上四处移动自然是一种多感官体验，但今天的实体代理是聋子-仅限于他们对环境的视觉感知。我们为复杂的、声学上和视觉上逼真的3D环境引入了视听导航。通过视觉和听觉，智能体必须学会导航到发声物体。我们提出了一种多模态深度强化学习方法，用于从以自我为中心的视听观察流中端到端地训练导航策略，允许代理（1）发现由混响音频指示的物理空间的几何元素，以及（2）检测和跟踪发声目标。我们进一步介绍SoundSpaces：这是首个基于两组公开可用的3D环境（Matterport 3D和Matterport）的几何声学模拟的音频渲染数据集，我们为Habitat提供仪器以支持新的传感器，从而可以在真实世界的扫描环境阵列中插入任意声源。我们的研究结果表明，音频极大地有利于3D空间中的嵌入式视觉导航，我们的工作为具有视听感知的嵌入式AI的新研究奠定了基础。
2020-08-21 cs.CV cs.HC cs.SD
The Sound of Motions
MIT（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
声音来源于物体的运动和周围空气的振动。受人类能够从物体如何在视觉上移动来解释声源这一事实的启发，我们提出了一种新的系统，该系统可以明确地捕获声音定位和分离任务的运动线索。我们的系统是由一个端到端的可学习模型称为深密集轨迹（DDT），和一个课程学习计划。它利用了来自大量未标记视频的视听信号的固有一致性。定量和定性的评价表明，与以前的模型，依赖于视觉外观线索，我们的运动为基础的系统提高了分离乐器的声音的性能。此外，它将声音成分与同类乐器的二重奏分开，这是一个以前没有解决过的具有挑战性的问题。
2019-04-11 cs.CV cs.SD eess.AS
Learning Audio-Visual Dynamics Using Scene Graphs for Audio Source Separation
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mitsubishi Electric Research Labs（三菱电机研究实验室）
静态声源产生的声音和移动声源产生的声音之间存在明确的区别，特别是当声源朝向或远离麦克风移动时。在本文中，我们建议使用音频和视觉动力学之间的这种联系，同时解决两个具有挑战性的任务，即：（i）使用视觉线索从混合物中分离音频源，以及（ii）使用分离的音频预测声源的3D视觉运动。为此，我们提出了音频分离器和运动预测器（ASMP）-一个深度学习框架，它利用场景的3D结构和声源的运动来实现更好的音频声源分离。ASMP的核心是一个2.5D场景图，捕捉视频中的各种对象及其伪3D空间邻近度。该图通过将来自2D视频帧的2.5D单眼深度预测配准在一起并将2.5D场景区域与应用于这些帧的对象检测器的输出相关联来构建。ASMP任务然后被数学建模为以下联合问题：（i）递归地将2.5D场景图分割成若干子图，每个子图与输入音频混合中的组成声音（其然后被分离）相关联，以及（ii）从分离的音频预测对应声源的3D运动。为了实证评估ASMP，我们提出了两个具有挑战性的视听数据集，即音频分离在野生（ASIW）和视听事件（AVE）的实验。我们的研究结果表明，ASMP实现了声源分离质量的明显改善，优于先前的作品在两个数据集上，同时也估计的声源的运动方向比其他方法更好。
2022-10-29 cs.CV cs.LG cs.SD
Music Gesture for Visual Sound Separation
MIT（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
最近的深度学习方法在视觉声音分离任务上取得了令人印象深刻的性能。然而，这些方法大多是建立在外观和光流一样的运动特征表示，表现出有限的能力，以找到音频信号和视觉点之间的相关性，特别是当分离多个乐器的相同类型，如多个小提琴在一个场景。为了解决这个问题，我们提出了“音乐手势”，一个基于关键点的结构化表示，明确地模拟音乐家的身体和手指运动时，他们执行音乐。我们首先采用一个上下文感知的图网络来整合视觉语义上下文与身体动态，然后应用一个视听融合模型来关联身体动作与相应的音频信号。在三个音乐性能数据集上的实验结果表明：1）对异性音乐分离任务（即不同乐器）的基准指标有很大的改进; 2）钢琴，长笛和小号二重奏的有效同性音乐分离的新能力，据我们所知，这是其他方法从未实现过的。项目页面：http://music-gesture.csail.mit.edu。
2020-04-20 cs.CV cs.LG cs.MM
Audio-Visual Segmentation by Exploring Cross-Modal Mutual Semantics
University of Technology Sydney（悉尼科技大学）；The University of Queensland（昆士兰大学）；Futureverse；The Hong Kong University of Science and Technology（香港科技大学）；CSIRO DATA61（联邦科学与工业研究组织数据61研究所）；Netease Fuxi AI Lab（网易伏羲人工智能实验室）
本研究提出一种视听实例感知分割方法，通过物体分割网络定位潜在发声物体并结合无声物体感知目标与视听语义相关性，克服了数据集偏差，有效实现了不受显著物体干扰的发声物体分割。
2023-08-01 cs.CV cs.SD eess.AS
Semantic Audio-Visual Navigation
UT Austin（德克萨斯大学奥斯汀分校）；Facebook AI Research（Facebook人工智能研究院）
最近的视听导航工作假设一个不断发声的目标，并限制了音频的作用，以信号的目标的位置。我们引入语义视听导航，其中环境中的对象使声音与其语义含义一致（例如，马桶冲水、门吱吱作响）和声学事件是零星的或持续时间短的。我们提出了一个基于transformer的模型来解决这个新的语义AudioGoal任务，将一个推断的目标描述符，捕获目标的空间和语义属性。我们的模型的持久的多模态记忆使它能够达到目标，即使很长一段时间后，声学事件停止。为了支持新任务，我们还扩展了SoundSpaces音频模拟，为Matterport3D中的一系列对象提供语义上的声音。我们的方法通过学习将语义、声学和视觉线索相关联，大大优于现有的视听导航方法。
2021-04-07 cs.CV cs.LG cs.RO
Seeing Speech and Sound: Distinguishing and Locating Audios in Visual Scenes
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本研究提出带视听对齐目标的mix-and-separate统一框架，构建新数据集，实现视觉场景中混合语音与非语音的同时定位，在多项任务中性能优于或比肩现有方法。
2025-03-24 cs.CV cs.SD eess.AS
Separating Invisible Sounds Toward Universal Audiovisual Scene-Aware Sound Separation
Michigan State University（密歇根州立大学）；University of Rochester（罗切斯特大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对现有视听声音分离方法无法处理相机视野外不可见声音的问题，提出AVSA-Sep框架，通过语义解析器和场景信息分离器，结合联合训练与跨模态对齐，成功实现可见与不可见声音的分离。
2023-10-18 cs.CV cs.SD eess.AS
Prompting Segmentation with Sound Is Generalizable Audio-Visual Source Localizer
Renmin University of China（中国人民大学）；Northwest Polytechnical University（西北工业大学）；Wuhan University（武汉大学）；Zhejiang University（浙江大学）
针对零样本、少样本场景下的视听定位与分割任务，提出编码器-提示-解码器范式，通过语义感知音频提示和关联适配器，借助预训练模型知识提升泛化性，性能优于现有融合类方法。
2024-02-02 cs.CV cs.LG cs.MM
Self-Supervised Audio-Visual Co-Segmentation
MIT（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
分割图像中的对象和分离音频中的声源是具有挑战性的任务，部分原因是传统方法需要大量的标记数据。在本文中，我们开发了一个神经网络模型的视觉对象分割和声音声源分离，学习自然视频通过自我监督。该模型是最近提出的将图像像素映射到声音的工作的扩展。在这里，我们引入了一种学习方法来解开神经网络中的概念，并将语义类别分配给网络特征通道，以便在视频上进行视听训练后实现独立的图像分割和声音声源分离。我们的评估表明，解开模型优于几个基线在语义分割和声音声源分离。
2019-04-18 cs.CV cs.SD eess.AS
What's Making That Sound Right Now? Video-centric Audio-Visual Localization
Seoul National University（首尔国立大学）
针对现有视听定位忽略时间动态和简化场景的问题，提出视频中心基准AVATAR和模型TAVLO，通过高分辨率时间建模实现稳健精确的视听对齐，确立新标准。
2025-07-08 cs.AI cs.CV cs.MM
A Closer Look at Weakly-Supervised Audio-Visual Source Localization
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
音视频源定位是一项具有挑战性的任务，旨在预测视频中视觉声源的位置。由于收集探测对象的地面实况注释可能成本高昂，近年来已经提出了大量的弱监督定位方法，这些方法可以通过利用音频和视觉信号的自然共现来从没有边界框注释的数据集中学习。尽管有很大的兴趣，流行的评估协议有两个主要缺陷。首先，它们允许使用完全注释的数据集来执行早期停止，从而显著增加了训练所需的注释工作。第二，当前的评估度量假设声源在任何时候都存在。这当然是一个不切实际的假设，因此需要更好的度量来捕获模型在没有可见声源的（负）样本上的性能。为了实现这一目标，我们扩展了流行的基准测试集，Flickr SoundNet和VGG-Sound Sources，以包括负样本，并使用平衡定位准确性和召回率的指标来衡量性能。使用新的协议，我们对现有的方法进行了广泛的评估，发现大多数现有的工作都无法识别阴性，并且存在严重的过拟合问题（严重依赖于早期停止以获得最佳结果）。我们还提出了一种新的方法，解决这两个问题的视觉声源定位。特别是，我们发现，通过极端的视觉辍学和使用动量编码器，所提出的方法有效地打击过拟合，并建立了一个新的国家的最先进的性能在Flickr SoundNet和VGG-Sound Source。代码和预训练模型可在https://github.com/stoneMo/SLAVC上获得。
2022-08-30 cs.CV cs.LG cs.MM
AV-SAM: Segment Anything Model Meets Audio-Visual Localization and Segmentation
Carnegie Mellon University（卡内基梅隆大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对SAM在音频-视觉任务中探索不足的问题，提出AV-SAM框架，通过像素级音视融合聚合跨模态表征生成发声物体掩码，在相关数据集上取得有竞争力的定位与分割性能。
2023-05-03 cs.CV cs.LG cs.MM
Objects that Sound
DeepMind（深度思维）；University of Oxford（牛津大学）
在本文中，我们的目标是，第一，网络，可以嵌入音频和视觉输入到一个共同的空间，适合跨模态检索;第二，网络，可以本地化的对象，声音在图像中，给定的音频信号。我们通过仅使用视听对应（AVC）作为目标函数从未标记的视频进行训练来实现这两个目标。这是一种来自视频的跨模态自我监督形式。为此，我们设计了新的网络架构，可以训练跨模态检索和本地化的声源在图像中，通过使用AVC任务。我们做了以下贡献：（一）表明，音频和视觉嵌入可以学习，使内模式（ii）探索用于AVC任务的各种架构，包括用于摄取单个图像、或多个图像、或单个图像和多帧光流的视觉流的架构;（iii）显示在图像中发出声音的语义对象可以被定位（仅使用声音，没有运动或流动信息）;以及（iv）就如何避免在数据准备中的不期望的捷径给出警示性故事。
2018-07-25 cs.CV cs.LG cs.MM
High-Quality Sound Separation Across Diverse Categories via Visually-Guided Generative Modeling
Meta Reality Labs Research（Meta现实实验室）
本文提出 DAVIS 生成式音视觉分离框架，在 Separation U-Net 中结合 DDPM 或 Flow Matching，由混合音频与视觉条件直接生成目标频谱图，并在 AVE、MUSIC 上取得优于现有方法的分离质量。
2025-09-26 cs.CV cs.SD
Towards Generalisable Audio Representations for Audio-Visual Navigation
University of Sydney（悉尼大学）
在视听导航（AVN）中，智能体需要根据其听觉和视觉感知在复杂的3D环境中导航到不断发声的对象。虽然现有的方法试图提高导航性能与精确设计的路径规划或复杂的任务设置，没有改善的模型概括听不到的声音与任务设置不变。因此，我们提出了一个基于对比学习的方法来解决这个挑战，通过正规化的音频编码器，声音不可知的目标驱动的潜在表示可以从不同类别的各种音频信号学习。此外，我们考虑了两个数据增强策略来丰富训练声音。我们证明，我们的设计可以很容易地装备到现有的AVN框架，以获得立即的性能增益（13.4% $\uparrow$在SPL上的MP3D和12.2% $\uparrow$在SPL上的MP3D）。我们的项目可以在https://AV-GeN.github.io/上找到。
2022-06-01 cs.CV cs.LG cs.RO
Seeing Sound: Assembling Sounds from Visuals for Audio-to-Image Generation
Indiana University Bloomington（印第安纳大学布卢明顿分校）；Netflix（网飞公司）
提出可扩展的图像声化框架，利用视觉语言模型检索并人工配对高质量单模态图像与音频，训练出竞争力强的音频到图像生成模型。
2025-01-09 cs.CV cs.GR cs.SD
Learning Sound Localization Better From Semantically Similar Samples
KAIST（韩国科学技术院）
这项工作的目标是本地化的声源在视觉场景。现有的视听作品采用对比学习，通过将来自相同源的对应视听对分配为正，而将随机不匹配的对分配为负。然而，这些否定对可能包含语义匹配的视听信息。因此，这些语义相关的对，“硬阳性”，被错误地分组为阴性。我们的主要贡献是表明，硬阳性可以给相应的对类似的响应图。我们的方法将这些硬阳性添加到一个对比学习目标的反应地图直接。我们证明了我们的方法的有效性VGG-SS和SoundNet-Flickr测试集，表现出良好的性能，最先进的方法。
2022-02-07 cs.CV cs.SD eess.AS
Binaural SoundNet: Predicting Semantics, Depth and Motion with Binaural Sounds
MPI for Informatics（马克斯·普朗克信息学研究所）；ETH Zürich（苏黎世联邦理工学院）；Czech Technical University（捷克技术大学）；KU Leuven（鲁汶大学）
人类可以通过使用视觉和/或听觉线索来鲁棒地识别和定位对象。虽然机器已经能够对视觉数据做同样的事情，但对声音做的工作较少。这项工作开发了一种纯粹基于双耳声音的场景理解方法。所考虑的任务包括预测发声对象的语义掩码、发声对象的运动和场景的深度图。为此，我们提出了一种新的传感器设置，并记录了一个新的视听数据集的街道场景与八个专业的双耳麦克风和360度摄像头。视觉和听觉提示的共存被用于监督转移。特别是，我们采用了一个跨模态蒸馏框架，该框架由多个视觉教师方法和一个声音学生方法组成-学生方法经过训练，可以生成与教师方法相同的结果。这样，可以在不使用人类注释的情况下训练听觉系统。为了进一步提高性能，我们提出了另一个新的辅助任务，创造空间声音超分辨率，以提高声音的方向分辨率。然后，我们将这四个任务制定为一个端到端的可训练多任务网络，旨在提高整体性能。实验结果表明：1）我们的方法对所有四个任务都取得了良好的效果，2）这四个任务是互利的-一起训练它们可以获得最佳性能，3）麦克风的数量和方向都很重要，4）从标准频谱图中学习的特征和经典信号处理管道获得的特征对于听觉感知任务是互补的。数据和代码已发布。
2022-02-27 cs.CV cs.SD eess.AS
Objects as Audio-Visual Modal Sound Fields
University of Maryland, College Park（马里兰大学帕克分校）
本文针对现有碰撞声建模方法成本高或需大量数据的问题，提出AV-MSF表示，结合3D高斯溅射与模态参数实现少样本重建，在真实数据集上达最优渲染性能，还支持接触定位等下游应用。
2026-08-10 cs.CV cs.MM cs.SD
Do Audio-Visual Segmentation Models Truly Segment Sounding Objects?
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Tsinghua University（清华大学）
该研究针对当前视听分割模型存在的依赖视觉显著性、忽略音频线索的偏差问题，构建了含多种负向音频场景的鲁棒基准AVSBench-Robust，并提出结合负样本均衡训练与分类器引导相似度学习的方法，有效提升了模型的分割性能与鲁棒性。
2025-02-20 cs.AI cs.LG cs.MM
Semantic Grouping Network for Audio Source Separation
Carnegie Mellon University（卡内基梅隆大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出语义分组网络SGN，通过可学习类别token直接从混合音频中解耦并提取各声源语义特征，无需视觉信息即在多个声音分离基准上显著超越纯音频和音视频方法。
2024-07-04 cs.CV cs.LG cs.MM
Telling Left from Right: Learning Spatial Correspondence of Sight and Sound
MIT（麻省理工学院）；Adobe Research（奥多比研究院）
自我监督的视听学习旨在通过利用视觉和音频输入之间的对应关系来捕获有用的视频表示。现有的方法主要集中在感官流之间的语义信息的匹配。我们提出了一种新的自我监督的任务，利用正交原则：匹配音频流中的空间信息的声音源在视觉流的位置。我们的方法简单而有效。我们训练一个模型来确定左右音频通道是否已经翻转，迫使它在视觉和音频流中推理空间定位。为了训练和评估我们的方法，我们引入了一个大规模的视频数据集，YouTube-ASMR-300 K，空间音频包括超过900小时的镜头。我们证明，理解空间对应性使模型能够在三个视听任务上表现得更好，在不利用空间音频线索的监督和自我监督基线上实现定量增益。我们还展示了如何将我们的自我监督方法扩展到具有ambisonic音频的360度视频。
2020-06-12 cs.CV cs.SD eess.AS
AV-Edit: Multimodal Generative Sound Effect Editing via Audio-Visual Semantic Joint Control
AV-Edit通过联合利用视觉、音频和文本语义，实现多模态生成式声音效果编辑，提升音频编辑的精度和质量。
2025-11-26 cs.CV cs.MM cs.SD
Naturalistic audio-visual volumetric sequences dataset of sounding actions for six degree-of-freedom interaction
Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
随着视听系统越来越多地为我们的工作和休闲活动带来沉浸式和交互式功能，因此对自然主义测试材料的需求也在增长。新的体积数据集已经捕获了高质量的3D视频，但伴随的音频往往被忽视，因此很难测试集成的双峰体验。旨在涵盖不同的声音类型和功能，所提出的体积数据集是从音频和视频演播室录制的场景，产生四十个短动作序列。在技术和科学测试的潜在用途进行了讨论。
2021-05-03 cs.MM cs.SD eess.AS
Learning to Separate Object Sounds by Watching Unlabeled Video
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；IBM Research（IBM研究院）；Facebook AI Research（Facebook人工智能研究院）
最充分地感知一个场景需要所有的感官。然而，建模对象的外观和声音是具有挑战性的：大多数自然场景和事件包含多个对象，并且音轨将所有声源混合在一起。我们提出从未标记的视频中学习视听对象模型，然后利用视觉上下文来执行新视频中的音频声源分离。我们的方法依赖于一个深度的多实例多标签学习框架来解开映射到单个视觉对象的音频基础，即使没有孤立地观察/听到这些对象。我们展示了如何恢复解开基地可以用来指导音频声源分离，以获得更好的分离，对象级的声音。我们的工作是第一个学习音频声源分离从大规模的“在野外”的视频包含多个音频源，每个视频。我们获得了视觉辅助音频声源分离和音频去噪的最先进的结果。我们的视频结果：http://vision.cs.utexas.edu/projects/separating_object_sounds/
2018-07-26 cs.CV cs.MM cs.SD
DOA-Aware Audio-Visual Self-Supervised Learning for Sound Event Localization and Detection
Graduate School of Informatics, Kyoto University（京都大学情报学研究科）；National Institute of Advanced Industrial Science and Technology（独立行政法人产业技术综合研究所）；Faculty of Science and Engineering, Doshisha University（同志社大学理工学部）
针对声音事件定位与检测中标注数据不足的问题，提出DOA感知的音视频自监督预训练方法，利用无标注音视频数据通过对比学习优化音频特征，有效降低了SELD任务的误差得分。
2024-10-30 cs.AI cs.LG cs.MM
TV-AudioRemover: Joint Text-Visual Guided Sound Removal with Multi-Task Hard-Mixture Curriculum
Xiaomi Inc.（小米公司）
提出TV-AudioRemover，结合视觉编辑视频与文本指令，通过多任务训练和难混合课程实现目标声音移除，并在新基准上达到最先进性能。
2026-11-06 cs.CV cs.MM cs.SD
Audio-Visual Talker Localization in Video for Spatial Sound Reproduction
本研究提出融合视觉与多通道音频的视听方法，用于视频中说话人定位与位置元数据提取，相比传统方法显著降低了检测误差并提升了空间精度。
2024-06-01 cs.CV cs.SD eess.AS
