Dual Normalization Multitasking for Audio-Visual Sounding Object Localization
Sony Group Corporation（索尼集团公司）
虽然一些研究工作已经报道了在无约束视频中的视听声源定位，没有数据集和指标已经在文献中提出了定量评估其性能。定义声源定位的地面实况是困难的，因为产生声音的位置不限于源对象的范围，而是振动通过周围对象传播和扩散。因此，我们提出了一个新的概念，发声对象，以减少声音的视觉位置的模糊性，使之有可能注释的位置范围广泛的声源。与新提出的定量评估指标，我们制定的问题，视听探测对象定位（AVSOL）。我们还通过手动注释著名的视听事件（AVE）数据集的测试集来创建评估数据集（AVSOL-E数据集）。为了解决这个新的AVSOL问题，我们提出了一种新的多任务训练策略和架构，称为双归一化多任务（DNM），它将视听对应（AVC）任务和视频事件的分类任务聚合到一个单一的视听相似性图中。通过有效地利用DNM的两个监督，我们提出的架构显着优于基线方法。
2021-06-01 cs.CV cs.SD eess.AS
AudioMiXR: Spatial Audio Object Manipulation with 6DoF for Sound Design in Augmented Reality
Brown University（布朗大学）；University of California at Berkeley（加州大学伯克利分校）；University of Central Florida（中央佛罗里达大学）；Dolby Laboratories（杜比实验室）
AudioMiXR利用Apple Vision Pro的6DoF操控虚拟音频对象，通过两项用户研究证明其相比2D基线显著提升可用性、降低负荷并增强创造力，为AR声音设计奠定基础。
2025-08-05 cs.HC cs.SD eess.AS
Naturalistic audio-visual volumetric sequences dataset of sounding actions for six degree-of-freedom interaction
Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
随着视听系统越来越多地为我们的工作和休闲活动带来沉浸式和交互式功能，因此对自然主义测试材料的需求也在增长。新的体积数据集已经捕获了高质量的3D视频，但伴随的音频往往被忽视，因此很难测试集成的双峰体验。旨在涵盖不同的声音类型和功能，所提出的体积数据集是从音频和视频演播室录制的场景，产生四十个短动作序列。在技术和科学测试的潜在用途进行了讨论。
2021-05-03 cs.MM cs.SD eess.AS
Large Scale Audiovisual Learning of Sounds with Weakly Labeled Data
Facebook Reality Labs（Facebook现实实验室）
声音识别是计算音频场景分析和机器感知的一个关键方面。在本文中，我们主张，声音识别本质上是一个多模态的视听任务，因为它是更容易区分声音使用音频和视觉形式，而不是一个或另一个。我们提出了一个视听融合模型，学习识别弱标记的视频记录的声音。建议的融合模型利用一个注意力机制，动态地结合各个音频和视觉模型的输出。在大规模声音事件数据集AudioSet上的实验证明了该模型的有效性，其性能优于单模态模型以及最先进的融合和多模态模型。我们在Audioset上实现了46.16的平均精度（mAP），超过现有技术约+4.35 mAP（相对：10.4%）。
2020-05-29 cs.LG cs.SD eess.AS
Measuring Sound Symbolism in Audio-visual Models
本研究调查预训练视听模型是否表现出类似人类的语音象征现象，通过构建专用数据集并在零样本设置下评估，发现模型输出与语音象征模式显著相关，尤其在语音数据训练的模型中，揭示了模型捕捉音义联系的能力。
2024-11-11 cs.CL cs.CV cs.SD
Seeing Soundscapes: Audio-Visual Generation and Separation from Soundscapes Using Audio-Visual Separator
King’s College London（伦敦国王学院）
提出AV-GAS模型，利用音视频分离器从多类别混合音频（声景）生成图像，并引入新的分离任务与评估指标，在VGGSound数据集上超越现有方法，CRS提升7%，R@2*提升4%。
2025-04-25 cs.AI cs.CV cs.MM
Epic-Sounds: A Large-scale Dataset of Actions That Sound
Visual Geometry Group, Department of Engineering Science, University of Oxford, UK（牛津大学视觉几何组）；Department of Computer Science, University of Bristol, UK（布里斯托大学计算机科学系）；CIIRC, Czech Technical University in Prague, Czech Republic（布拉格捷克技术大学CIIRC）
本文介绍了大规模自我中心视频音频数据集EPIC-SOUNDS，包含78.4k分类片段，并提出标注流程识别纯音频可区分动作，评估了多种音频识别模型并分析了视听模态相关性及模型局限。
2025-07-16 cs.AI cs.LG cs.SD
Audio-Visual Segmentation by Exploring Cross-Modal Mutual Semantics
University of Technology Sydney（悉尼科技大学）；The University of Queensland（昆士兰大学）；Futureverse；The Hong Kong University of Science and Technology（香港科技大学）；CSIRO DATA61（联邦科学与工业研究组织数据61研究所）；Netease Fuxi AI Lab（网易伏羲人工智能实验室）
本研究提出一种视听实例感知分割方法，通过物体分割网络定位潜在发声物体并结合无声物体感知目标与视听语义相关性，克服了数据集偏差，有效实现了不受显著物体干扰的发声物体分割。
2023-08-01 cs.CV cs.SD eess.AS
iQuery: Instruments as Queries for Audio-Visual Sound Separation
UC San Diego（加州大学圣地亚哥分校）；Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；National University of Singapore（新加坡国立大学）；ShanghaiTech University（上海科技大学）；University of Pennsylvania（宾夕法尼亚大学）
当前的视听分离方法共享标准架构设计，其中音频编码器-解码器网络在编码器瓶颈处与视觉编码特征融合。该设计混淆了多模态特征编码的学习与用于音频分离的鲁棒声音解码。推广到一种新乐器：必须为所有乐器微调整个视觉和音频网络。我们重新制定视听分离的任务，并提出了一个灵活的查询扩展机制的查询（iQuery）的仪器。我们的方法确保了跨模态的一致性和跨仪器的解纠缠。我们利用“视觉命名”查询启动学习的音频查询，并使用跨模态的注意力，以消除潜在的声源干扰估计波形。为了推广到新的仪器或事件类，从文本提示设计中汲取灵感，我们插入一个额外的查询作为音频提示，同时冻结注意力机制。三个基准测试的实验结果表明，我们的iQuery提高视听声音声源分离性能。
2022-12-08 cs.CV cs.MM cs.SD
Seeing Speech and Sound: Distinguishing and Locating Audios in Visual Scenes
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本研究提出带视听对齐目标的mix-and-separate统一框架，构建新数据集，实现视觉场景中混合语音与非语音的同时定位，在多项任务中性能优于或比肩现有方法。
2025-03-24 cs.CV cs.SD eess.AS
Dynamical Audio-Visual Navigation: Catching Unheard Moving Sound Sources in Unmapped 3D Environments
Albert-Ludwigs-University Freiburg（弗赖堡阿尔伯特-路德维希大学）
最近的视听导航工作针对无噪声音频环境中的单一静态声音，并努力推广到听不见的声音。我们介绍了新的动态视听导航基准，其中一个具体的人工智能智能体必须抓住一个移动的声源在一个未映射的环境中存在的干扰和嘈杂的声音。我们提出了一种端到端的强化学习方法，该方法依赖于多模态架构，该架构融合了来自双耳音频信号和空间占用图的空间视听信息，以编码为我们新的复杂任务设置学习鲁棒导航策略所需的特征。我们证明，我们的方法优于当前最先进的技术，更好地推广到闻所未闻的声音和更好的鲁棒性，噪声场景上的两个具有挑战性的3D扫描的真实世界的数据集ESTA和Matterport3D，静态和动态的视听导航基准。我们的新基准将在http://dav-nav.cs.uni-freiburg.de上提供。
2022-01-12 cs.CV cs.LG cs.RO
Weakly-supervised Audio-visual Sound Source Detection and Separation
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（Vector人工智能研究所）
学习如何在视频的音频通道中定位和分离各个对象声音是一项艰巨的任务。目前最先进的方法从人工混合的频谱图预测音频掩码，称为混合和分离框架。我们提出了一种视听联合分割，其中网络从仅标记有对象标签的视频中学习单个对象的外观和声音。与其他最近的视觉引导音频声源分离框架不同，我们的架构可以以端到端的方式学习，并且不需要额外的监督或限界框建议。具体来说，我们在声音分离的背景下引入弱监督对象分割。我们还制定了声谱图掩模预测使用一组学习的掩模基地，结合使用对象分割的输出，一个设计，有利于分离的条件下的系数。在MUSIC数据集上的大量实验表明，我们提出的方法在视觉引导的声音声源分离和声音去噪方面优于最先进的方法。
2021-03-25 cs.CV cs.SD eess.AS
STARSS23: An Audio-Visual Dataset of Spatial Recordings of Real Scenes with Spatiotemporal Annotations of Sound Events
Sony AI（索尼人工智能）；Tampere University（坦佩雷大学）；Sony Group Corporation（索尼集团公司）
本文提出视听声音事件定位与检测任务，并介绍STARSS23数据集，该数据集包含多通道音频、视频及时空标注，实验表明利用视觉对象位置可提升SELD性能。
2023-11-14 cs.CV cs.MM cs.SD
Learning to Separate Object Sounds by Watching Unlabeled Video
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；IBM Research（IBM研究院）；Facebook AI Research（Facebook人工智能研究院）
最充分地感知一个场景需要所有的感官。然而，建模对象的外观和声音是具有挑战性的：大多数自然场景和事件包含多个对象，并且音轨将所有声源混合在一起。我们提出从未标记的视频中学习视听对象模型，然后利用视觉上下文来执行新视频中的音频声源分离。我们的方法依赖于一个深度的多实例多标签学习框架来解开映射到单个视觉对象的音频基础，即使没有孤立地观察/听到这些对象。我们展示了如何恢复解开基地可以用来指导音频声源分离，以获得更好的分离，对象级的声音。我们的工作是第一个学习音频声源分离从大规模的“在野外”的视频包含多个音频源，每个视频。我们获得了视觉辅助音频声源分离和音频去噪的最先进的结果。我们的视频结果：http://vision.cs.utexas.edu/projects/separating_object_sounds/
2018-07-26 cs.CV cs.MM cs.SD
Catch Me If You Hear Me: Audio-Visual Navigation in Complex Unmapped Environments with Moving Sounds
University of Freiburg（弗莱堡大学）
视听导航结合视觉和听觉，在未映射的环境中导航到声音发射源。虽然最近的方法已经证明了音频输入在检测和找到目标方面的好处，但它们专注于干净和静态的声源，并且难以推广到听不到的声音。在这项工作中，我们提出了一种新的动态视听导航基准，它需要在嘈杂和分散注意力的声音环境中捕捉移动声源，这带来了一系列新的挑战。我们引入了一种强化学习方法，该方法可以为这些复杂的设置学习一个强大的导航策略。为了实现这一目标，我们提出了一个架构，融合视听信息的空间特征空间学习相关的几何信息固有的本地地图和音频信号。我们证明了我们的方法在两个具有挑战性的3D扫描现实世界环境（即Matterport3D和Matterport3D）中，在移动声音、未听到的声音和嘈杂环境的所有任务中，都始终优于当前最先进的方法。该基准可在http://dav-nav.cs.uni-freiburg.de上获得。
2023-01-03 cs.CV cs.LG cs.RO
Telling Left from Right: Learning Spatial Correspondence of Sight and Sound
MIT（麻省理工学院）；Adobe Research（奥多比研究院）
自我监督的视听学习旨在通过利用视觉和音频输入之间的对应关系来捕获有用的视频表示。现有的方法主要集中在感官流之间的语义信息的匹配。我们提出了一种新的自我监督的任务，利用正交原则：匹配音频流中的空间信息的声音源在视觉流的位置。我们的方法简单而有效。我们训练一个模型来确定左右音频通道是否已经翻转，迫使它在视觉和音频流中推理空间定位。为了训练和评估我们的方法，我们引入了一个大规模的视频数据集，YouTube-ASMR-300 K，空间音频包括超过900小时的镜头。我们证明，理解空间对应性使模型能够在三个视听任务上表现得更好，在不利用空间音频线索的监督和自我监督基线上实现定量增益。我们还展示了如何将我们的自我监督方法扩展到具有ambisonic音频的360度视频。
2020-06-12 cs.CV cs.SD eess.AS
Learning What To Hear: Boosting Sound-Source Association For Robust Audiovisual Instance Segmentation
Yonsei University（延世大学）；School of AI and Software（人工智能与软件学院）；Korea Institute of Science and Technology（韩国科学技术院）
本文提出音频中心查询生成和声音感知顺序计数损失，以提升音频视觉实例分割的鲁棒性和准确性。
2026-01-29 cs.AI cs.MM cs.SD
Generating Realistic Images from In-the-wild Sounds
Artificial Intelligence Graduate School, UNIST（蔚山科学技术院人工智能研究生院）
本文提出一种从野外声音生成逼真图像的新方法，通过音频字幕、音频与句子注意力及CLIPscore优化，利用扩散模型生成，实验优于基线。
2023-09-05 cs.CV cs.SD eess.AS
Sound Adversarial Audio-Visual Navigation
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Xinjiang University（新疆大学）；JD Explore Academy, JD.com（京东探索研究院）
视听导航任务要求智能体通过自我中心的视听观察在现实的、未映射的3D环境中找到声源。现有的视听导航作品假设一个干净的环境，只包含目标声音，然而，这将是不适合在大多数现实世界中的应用，由于意外的声音噪声或故意干扰。在这项工作中，我们设计了一个声学复杂的环境中，除了目标声音，存在一个声音攻击者玩零和游戏的代理。更具体地说，攻击者可以移动和改变声音的音量和类别，使智能体在试图躲避攻击并在干预下导航到目标的同时难以找到发声对象。在对攻击者进行一定约束的情况下，可以提高智能体对视听导航中意外声音攻击的鲁棒性。为了更好的收敛，我们开发了一个联合训练机制，采用的财产集中的批评与分散的演员。在两个真实的3D扫描数据集上进行的实验验证了在我们设计的环境下训练的Agent在转移到干净环境或包含随机策略的声音攻击者的环境中的有效性和鲁棒性。项目：\url{https://yyf17.github.io/SAAVN}。
2022-02-22 cs.CV cs.RO cs.SD
High-Quality Visually-Guided Sound Separation from Diverse Categories
University of Rochester（罗切斯特大学）；Meta Reality Labs Research（Meta现实实验室）
提出基于扩散的视听分离框架DAVIS，利用生成扩散模型和Separation U-Net从高斯噪声合成分离声音，在AVE和MUSIC数据集上分离质量优于现有判别式方法。
2024-10-10 cs.CV cs.SD eess.AS
Learning Visual Styles from Audio-Visual Associations
Tsinghua University（清华大学）；University of Michigan（密歇根大学）；Shanghai Qi Zhi Institute（上海期智研究院）
从淅淅沥沥的雨声到雪的嘎吱声，我们听到的声音往往传达了场景中出现的视觉纹理。在本文中，我们提出了一种方法来学习视觉风格从未标记的视听数据。我们的模型学习操纵场景的纹理以匹配声音，我们称之为音频驱动的图像风格化。给定一个配对的视听数据集，我们学习修改输入图像，使得在操作之后，它们更有可能与给定的输入声音共同出现。在定量和定性评估中，我们基于声音的模型优于基于标签的方法。我们还表明，音频可以是一个直观的表示操纵图像，调整声音的音量或混合两个声音在一起的结果在可预测的变化，视觉风格。项目网页：https://tinglok.netlify.app/files/avstyle
2022-05-10 cs.CV cs.MM cs.SD
Echo-Reconstruction: Audio-Augmented 3D Scene Reconstruction
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of Maryland at College Park（马里兰大学帕克分校）
反射和无纹理表面（如窗户、镜子和墙壁）对于物体和场景重建来说是一个挑战。这些表面通常重建得很差，并且填充有深度不连续性和孔，使得难以内聚地重建包含这些平面不连续性的场景。我们提出了回声重建，这是一种视听方法，它使用声音的反射来帮助虚拟会议，远程沉浸和其他AR/VR体验的几何和音频重建。手机原型发出脉冲音频，同时记录视频，用于基于RGB的3D重建和视听分类。来自视频的反射声音和图像被输入到我们的音频（EchoCNN-A）和视听（EchoCNN-AV）卷积神经网络中，用于表面和声源检测、深度估计和材料分类。从这些分类的推论增强场景3D重建包含开放空间和反射表面的深度过滤，修补，并放置在场景中的未混合的声源。我们的原型、VR演示和来自具有挑战性表面和声音的真实世界和虚拟场景的实验结果表明，材料分类、深度估计和封闭/开放表面的成功率很高，从而大大改善了3D场景的视觉和音频效果（见图1）。
2021-10-05 cs.CV cs.SD eess.AS
SoundSpaces: Audio-Visual Navigation in 3D Environments
UT Austin（德克萨斯大学奥斯汀分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Facebook Reality Labs（Facebook 现实实验室）；Facebook AI Research（Facebook 人工智能研究院）
在世界上四处移动自然是一种多感官体验，但今天的实体代理是聋子-仅限于他们对环境的视觉感知。我们为复杂的、声学上和视觉上逼真的3D环境引入了视听导航。通过视觉和听觉，智能体必须学会导航到发声物体。我们提出了一种多模态深度强化学习方法，用于从以自我为中心的视听观察流中端到端地训练导航策略，允许代理（1）发现由混响音频指示的物理空间的几何元素，以及（2）检测和跟踪发声目标。我们进一步介绍SoundSpaces：这是首个基于两组公开可用的3D环境（Matterport 3D和Matterport）的几何声学模拟的音频渲染数据集，我们为Habitat提供仪器以支持新的传感器，从而可以在真实世界的扫描环境阵列中插入任意声源。我们的研究结果表明，音频极大地有利于3D空间中的嵌入式视觉导航，我们的工作为具有视听感知的嵌入式AI的新研究奠定了基础。
2020-08-21 cs.CV cs.HC cs.SD
Active Audio-Visual Separation of Dynamic Sound Sources
UT Austin（德克萨斯大学奥斯汀分校）；Facebook AI Research（脸书人工智能研究院）
我们探讨了动态声源的主动视听分离，其中一个具体的代理智能移动在3D环境中不断隔离感兴趣的对象发出的随时间变化的音频流。代理听到多个音频源的混合流（例如，多个人交谈和乐队在嘈杂的聚会上演奏音乐）。在有限的时间预算下，它需要使用自我中心的视听观察在每一步准确地提取目标声音。我们提出了一个强化学习代理配备了一个新的Transformer内存，学习运动策略来控制其摄像头和麦克风恢复动态目标音频，使用自我注意力，使高质量的估计当前的时间步长，并同时提高其过去的估计。在真实世界的扫描Matterport3D环境中使用高度逼真的声学SoundSpaces模拟，我们表明我们的模型能够学习有效的行为来进行动态音频目标的连续分离。项目：https://vision.cs.utexas.edu/projects/active-av-dynamic-separation/。
2022-07-25 cs.CV cs.LG cs.SD
Learning Self-Supervised Audio-Visual Representations for Sound Recommendations
Sony Interactive Entertainment（索尼互动娱乐）
该研究提出一种基于音视频对应关系的自监督表示学习方法，通过注意力机制融合多分辨率卷积特征，结合跨模态对比学习提升了视听相关性分类与音效推荐的准确率。
2024-12-10 cs.CV cs.MM cs.SD
Cyclic Co-Learning of Sounding Object Visual Grounding and Sound Separation
University of Rochester（罗切斯特大学）；Beijing Key Laboratory of Big Data Management and Analysis Methods（北京大数据管理与分析方法重点实验室）
在我们的日常生活中，存在着丰富的同步视听事件。在事件内部，音频场景与相应的视觉对象相关联;同时，发声对象可以指示并帮助分离音轨中的各个声音。基于这一观察，在本文中，我们提出了一个循环的共同学习（CCoL）的范例，可以共同学习发声对象的视觉接地和视听声音分离在一个统一的框架。具体地说，我们可以利用扎根的物体-声音关系来改善声音分离的结果。同时，利用分离出的声音所提供的判别信息，改进了探测目标接地的训练样本采样方法，为两个任务建立了一个协同学习的循环，使它们相互受益。大量的实验表明，该框架在这两个任务上都优于最近的方法，并且它们可以通过我们的循环协同学习相互受益。
2021-04-05 cs.CV cs.MM cs.SD
Soundwich: Video Generation with Layered and Controllable Audio
Simon Fraser University（西蒙弗雷泽大学）；University of Cyprus（塞浦路斯大学）；CYENS Centre of Excellence（CYENS卓越中心）；Tel Aviv University（特拉维夫大学）
Soundwich提出无需训练的框架，将冻结的联合音视频流匹配模型转化为生成多个同步、可独立编辑音频主干并与共享视频耦合的生成器，实现源级时间控制和跨模态交互，提升视听一致性、时间控制、源分离和自然度，支持灵活编辑。
2026-10-05 cs.CV cs.MM cs.SD
Seeing Sound: Assembling Sounds from Visuals for Audio-to-Image Generation
Indiana University Bloomington（印第安纳大学布卢明顿分校）；Netflix（网飞公司）
提出可扩展的图像声化框架，利用视觉语言模型检索并人工配对高质量单模态图像与音频，训练出竞争力强的音频到图像生成模型。
2025-01-09 cs.CV cs.GR cs.SD
Self-Supervised Audio-Visual Co-Segmentation
MIT（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
分割图像中的对象和分离音频中的声源是具有挑战性的任务，部分原因是传统方法需要大量的标记数据。在本文中，我们开发了一个神经网络模型的视觉对象分割和声音声源分离，学习自然视频通过自我监督。该模型是最近提出的将图像像素映射到声音的工作的扩展。在这里，我们引入了一种学习方法来解开神经网络中的概念，并将语义类别分配给网络特征通道，以便在视频上进行视听训练后实现独立的图像分割和声音声源分离。我们的评估表明，解开模型优于几个基线在语义分割和声音声源分离。
2019-04-18 cs.CV cs.SD eess.AS
Discriminative Sounding Objects Localization via Self-supervised Audiovisual Matching
Renmin University of China（中国人民大学）；Baidu Inc.（百度公司）；Shanghai Jiao Tong University（上海交通大学）
在鸡尾酒会中有区别地定位发声对象，即，混合声音场景，对于人类来说是司空见惯的，但对于机器来说仍然具有挑战性。在本文中，我们提出了一个两阶段的学习框架来执行自我监督类感知的发声对象定位。首先，我们建议通过聚合单个源场景中的候选声音定位结果来学习鲁棒的对象表示。然后，类感知的对象定位地图生成鸡尾酒会的情况下，通过参考预先学习的对象知识，并相应地选择发声对象通过匹配音频和视觉对象类别分布，其中视听一致性被视为自监督信号。在现实和合成的鸡尾酒会视频的实验结果表明，我们的模型是优越的，在过滤出沉默的对象，并指出不同类别的发声对象的位置。代码可在https://github.com/DTaoo/Discriminative-Sounding-Objects-Localization上获得。
2020-10-12 cs.CV cs.LG cs.MM
Visually-Guided Sound Source Separation with Audio-Visual Predictive Coding
Xi’an Jiaotong University（西安交通大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences（中国科学院香港创新研究院）
提出视听预测编码（AVPC）方法，通过预测编码网络统一特征提取、融合和掩码预测，实现参数高效且性能更优的视觉引导声音源分离。
2023-06-19 cs.CV cs.MM cs.SD
Semantic Grouping Network for Audio Source Separation
Carnegie Mellon University（卡内基梅隆大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出语义分组网络SGN，通过可学习类别token直接从混合音频中解耦并提取各声源语义特征，无需视觉信息即在多个声音分离基准上显著超越纯音频和音视频方法。
2024-07-04 cs.CV cs.LG cs.MM
What's Making That Sound Right Now? Video-centric Audio-Visual Localization
Seoul National University（首尔国立大学）
针对现有视听定位忽略时间动态和简化场景的问题，提出视频中心基准AVATAR和模型TAVLO，通过高分辨率时间建模实现稳健精确的视听对齐，确立新标准。
2025-07-08 cs.AI cs.CV cs.MM
Sounding Highlights: Dual-Pathway Audio Encoders for Audio-Visual Video Highlight Detection
School of Electrical Engineering（电气工程学院）；Music and Audio Research Group（音乐与音频研究组）；Seoul National University（首尔国立大学）
本文提出双路径音频编码器，通过结合语义和动态路径，提升音频-视觉视频亮点检测的性能。
2026-02-05 cs.AI cs.CV cs.MM
Learning Audio-Visual Dynamics Using Scene Graphs for Audio Source Separation
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mitsubishi Electric Research Labs（三菱电机研究实验室）
静态声源产生的声音和移动声源产生的声音之间存在明确的区别，特别是当声源朝向或远离麦克风移动时。在本文中，我们建议使用音频和视觉动力学之间的这种联系，同时解决两个具有挑战性的任务，即：（i）使用视觉线索从混合物中分离音频源，以及（ii）使用分离的音频预测声源的3D视觉运动。为此，我们提出了音频分离器和运动预测器（ASMP）-一个深度学习框架，它利用场景的3D结构和声源的运动来实现更好的音频声源分离。ASMP的核心是一个2.5D场景图，捕捉视频中的各种对象及其伪3D空间邻近度。该图通过将来自2D视频帧的2.5D单眼深度预测配准在一起并将2.5D场景区域与应用于这些帧的对象检测器的输出相关联来构建。ASMP任务然后被数学建模为以下联合问题：（i）递归地将2.5D场景图分割成若干子图，每个子图与输入音频混合中的组成声音（其然后被分离）相关联，以及（ii）从分离的音频预测对应声源的3D运动。为了实证评估ASMP，我们提出了两个具有挑战性的视听数据集，即音频分离在野生（ASIW）和视听事件（AVE）的实验。我们的研究结果表明，ASMP实现了声源分离质量的明显改善，优于先前的作品在两个数据集上，同时也估计的声源的运动方向比其他方法更好。
2022-10-29 cs.CV cs.LG cs.SD
Self-Supervised Audio-Visual Soundscape Stylization
University of California, Berkeley（加州大学伯克利分校）；FAIR, Meta（Meta FAIR研究院）；University of Michigan（密歇根大学）
提出基于自监督的视听声景风格化方法，利用latent diffusion模型和自然视频中的重复声音事件，将目标场景的声音特性迁移至输入语音，并证明视觉信号能提升声音预测能力。
2024-09-22 cs.CV cs.LG cs.MM
Sound2Sight: Generating Visual Dynamics from Sound and Context
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
跨模态的学习关联对于鲁棒的多模态推理至关重要，特别是在推理过程中可能缺少模态时。在本文中，我们研究这个问题的背景下，音频条件的视觉合成-一个任务，这是很重要的，例如，在遮挡推理。具体来说，我们的目标是生成未来的视频帧和它们的运动动态条件的音频和一些过去的帧。为了解决这个问题，我们提出了Sound 2Sight，这是一个深度变分框架，它被训练来学习基于音频和过去帧的联合嵌入的每帧随机先验。这种嵌入是通过一个多头注意力为基础的视听Transformer编码器学习。然后对所学习的先验进行采样，以进一步调节视频预测模块以生成未来帧。随机先验允许模型对与所提供的音频和过去上下文一致的多个可能的未来进行采样。此外，为了提高所生成的帧的质量和一致性，我们提出了一个多模式的视频，区分合成和一个真正的视听剪辑。我们在两个新的数据集上实证评估了我们的方法，即（i）带有惊喜障碍的多模态随机移动MNIST，（ii）Youtube绘画;以及现有的Audio-Set Drums数据集。我们广泛的实验表明，Sound 2Sight在生成的视频质量方面明显优于最先进的技术，同时还能生成多样化的视频内容。
2020-07-23 cs.CV cs.LG cs.SD
AV-Edit: Multimodal Generative Sound Effect Editing via Audio-Visual Semantic Joint Control
AV-Edit通过联合利用视觉、音频和文本语义，实现多模态生成式声音效果编辑，提升音频编辑的精度和质量。
2025-11-26 cs.CV cs.MM cs.SD
Continual Audio-Visual Sound Separation
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Brown University（布朗大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出持续视听声音分离任务及ContAV-Sep方法，通过跨模态相似性蒸馏约束缓解灾难性遗忘，实现新类声源持续分离并保持旧类性能。
2024-11-05 cs.CV cs.LG cs.MM
Looking Similar, Sounding Different: Leveraging Counterfactual Cross-Modal Pairs for Audiovisual Representation Learning
Massachusetts Institute of Technology（麻省理工学院）；Netflix（网飞公司）
本文提出利用电影电视配音版本构造仅在语音上不同的反事实视听配对来增强对比学习，实验证明该方法能提升多种下游听觉与视听任务性能，同时基本不影响语言任务表现。
2024-06-08 cs.CV cs.LG cs.MM
Towards Generalisable Audio Representations for Audio-Visual Navigation
University of Sydney（悉尼大学）
在视听导航（AVN）中，智能体需要根据其听觉和视觉感知在复杂的3D环境中导航到不断发声的对象。虽然现有的方法试图提高导航性能与精确设计的路径规划或复杂的任务设置，没有改善的模型概括听不到的声音与任务设置不变。因此，我们提出了一个基于对比学习的方法来解决这个挑战，通过正规化的音频编码器，声音不可知的目标驱动的潜在表示可以从不同类别的各种音频信号学习。此外，我们考虑了两个数据增强策略来丰富训练声音。我们证明，我们的设计可以很容易地装备到现有的AVN框架，以获得立即的性能增益（13.4% $\uparrow$在SPL上的MP3D和12.2% $\uparrow$在SPL上的MP3D）。我们的项目可以在https://AV-GeN.github.io/上找到。
2022-06-01 cs.CV cs.LG cs.RO
DOA-Aware Audio-Visual Self-Supervised Learning for Sound Event Localization and Detection
Graduate School of Informatics, Kyoto University（京都大学情报学研究科）；National Institute of Advanced Industrial Science and Technology（独立行政法人产业技术综合研究所）；Faculty of Science and Engineering, Doshisha University（同志社大学理工学部）
针对声音事件定位与检测中标注数据不足的问题，提出DOA感知的音视频自监督预训练方法，利用无标注音视频数据通过对比学习优化音频特征，有效降低了SELD任务的误差得分。
2024-10-30 cs.AI cs.LG cs.MM
Improving On-Screen Sound Separation for Open-Domain Videos with Audio-Visual Self-Attention
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
我们介绍了一个国家的最先进的视听屏幕上的声音分离系统，这是能够学习分离的声音，并将它们与屏幕上的对象，通过在野外的视频。我们确定了以前的工作的限制，视听屏幕上的声音分离，包括简单性和粗分辨率的时空注意力，和音频分离模型的收敛性差。我们提出的模型使用跨模态和自我注意模块来解决这些问题，这些模块可以随着时间的推移以更高的分辨率捕获视听依赖关系，并通过音频分离模型的无监督预训练来解决这些问题。这些改进使模型能够推广到更广泛的未见过视频。我们还展示了一种鲁棒的方法，通过校准我们的视听屏幕上分类器的概率来进一步提高我们模型的泛化能力，只使用少量的被标记为屏幕上存在的域内视频。为了进行评估和半监督训练，我们从一个大型的野外视频数据库（YFCC 100m）中收集了屏幕上音频的人类注释。我们的研究结果表明，在屏幕上的分离性能显着改善，在更一般的条件下比以前的方法。
2021-10-14 cs.CV cs.LG cs.SD
Do Audio-Visual Segmentation Models Truly Segment Sounding Objects?
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Tsinghua University（清华大学）
该研究针对当前视听分割模型存在的依赖视觉显著性、忽略音频线索的偏差问题，构建了含多种负向音频场景的鲁棒基准AVSBench-Robust，并提出结合负样本均衡训练与分类器引导相似度学习的方法，有效提升了模型的分割性能与鲁棒性。
2025-02-20 cs.AI cs.LG cs.MM
Visual Scene Graphs for Audio Source Separation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
用于视觉引导的音频声源分离的现有技术方法通常假定具有特征声音的源，诸如乐器。这些方法通常忽略这些声源的视觉背景，或者避免对可能有助于更好地表征声源的对象交互进行建模，特别是当相同的对象类可能从不同的交互产生不同的声音时。为了解决这个具有挑战性的问题，我们提出了视听场景图分割器（AVSGS），这是一种新型的深度学习模型，它将场景的视觉结构嵌入为图，并将该图分割成子图，每个子图与通过共同分割音频频谱图获得的唯一声音相关联。在其核心，AVSGS使用递归神经网络，使用多头注意力发出视觉图的相互正交的子图嵌入。这些嵌入用于调节音频编码器-解码器朝向声源分离。我们的管道通过一个自我监督的任务进行端到端的训练，该任务包括使用视觉图将音频源与人工混合的声音分离。在本文中，我们还介绍了一个“在野外”的视频数据集的声音声源分离，其中包含多个非音乐源，我们称之为音频分离在野外（ASIW）。该数据集改编自AudioCaps数据集，为声源分离提供了一个具有挑战性的、自然的日常环境。在所提出的ASIW和标准MUSIC数据集上进行的彻底实验表明，我们的方法与最近的现有方法相比具有最先进的声音分离性能。
2021-09-24 cs.AI cs.CV cs.LG
Semantic Audio-Visual Navigation
UT Austin（德克萨斯大学奥斯汀分校）；Facebook AI Research（Facebook人工智能研究院）
最近的视听导航工作假设一个不断发声的目标，并限制了音频的作用，以信号的目标的位置。我们引入语义视听导航，其中环境中的对象使声音与其语义含义一致（例如，马桶冲水、门吱吱作响）和声学事件是零星的或持续时间短的。我们提出了一个基于transformer的模型来解决这个新的语义AudioGoal任务，将一个推断的目标描述符，捕获目标的空间和语义属性。我们的模型的持久的多模态记忆使它能够达到目标，即使很长一段时间后，声学事件停止。为了支持新任务，我们还扩展了SoundSpaces音频模拟，为Matterport3D中的一系列对象提供语义上的声音。我们的方法通过学习将语义、声学和视觉线索相关联，大大优于现有的视听导航方法。
2021-04-07 cs.CV cs.LG cs.RO
AudioCapBench: Quick Evaluation on Audio Captioning across Sound, Music, and Speech
Salesforce AI Research（Salesforce人工智能研究）
AudioCapBench通过对比不同模型在环境声音、音乐和语音描述任务中的表现，评估了大模型的音频描述能力，揭示Gemini模型在整体质量上优于OpenAI模型。
2026-02-27 cs.AI cs.SD
TV-AudioRemover: Joint Text-Visual Guided Sound Removal with Multi-Task Hard-Mixture Curriculum
Xiaomi Inc.（小米公司）
提出TV-AudioRemover，结合视觉编辑视频与文本指令，通过多任务训练和难混合课程实现目标声音移除，并在新基准上达到最先进性能。
2026-11-06 cs.CV cs.MM cs.SD
Text-to-Audio Grounding: Building Correspondence Between Captions and Sound Events
Shanghai Jiao Tong University（上海交通大学）
自动音频字幕是一个跨模态的任务，生成自然语言描述来总结音频剪辑的声音事件。然而，尚未研究基于其对应的字幕将给定音频中的实际声音事件接地。本文贡献了一个AudioGrounding数据集，它提供了声音事件和Audiocaps中提供的字幕之间的对应关系，以及每个声音事件的位置（时间戳）。在此基础上，我们提出了文本到音频接地（TAG）的任务，交互地考虑音频处理和语言理解之间的关系。提供了基线方法，导致事件F1评分为28.3%，复音检测评分（PSDS）为14.7%。
2021-02-23 cs.SD eess.AS
Online Single-Channel Audio-Based Sound Speed Estimation for Robust Multi-Channel Audio Control
本文提出一种在线声音速度估计方法，利用单个麦克风在多通道音频播放中估计声音速度，以提升空间音频控制的鲁棒性。
2026-05-12 cs.SD eess.AS
Audio Captioning Using Sound Event Detection
本技术报告为DCASE 2021任务6音频字幕挑战提出了一个音频字幕系统。我们提出的模型是基于一个编码器-解码器架构与双向门控递归单元（BiGRU）使用预训练的音频功能和声音事件检测。一个预训练的神经网络（PANN）被用来提取音频特征和Word 2 Vec被选择的目的是提取词嵌入从音频字幕。为了创建语义上有意义的字幕，我们从音频片段中提取声音事件，并向编码器-解码器架构提供除了PANN功能之外的声音事件。我们在Clotho数据集上的实验表明，我们提出的方法在所有评估指标上都比挑战基线模型取得了更好的结果。
2021-10-07 cs.SD eess.AS
AudioBERTScore: Objective Evaluation of Environmental Sound Synthesis Based on Similarity of Audio embedding Sequences
本文提出AudioBERTScore指标，通过结合最大范数与p-范数计算合成与参考音频嵌入序列的相似性，以客观评价文本到音频合成质量，实验证明其与主观评价值相关性优于传统指标。
2025-07-01 cs.SD eess.AS
Enhance Temporal Relations in Audio Captioning with Sound Event Detection
Shanghai Jiao Tong University（上海交通大学）；AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院）
本文利用声音事件检测（SED）提供的时间戳信息，通过提出时间标签系统，增强音频字幕生成中的时间关系表达，实验证明显著提升了时间关系生成效果。
2024-07-18 cs.SD eess.AS
Effective Pre-Training of Audio Transformers for Sound Event Detection
Institute of Computational Perception（计算感知研究所）；LIT Artificial Intelligence Lab（LIT人工智能实验室）；Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校）
针对帧级声音事件检测任务，提出包含平衡采样器、强数据增强和集成知识蒸馏的音频Transformer预训练流程，在AudioSet及下游任务上性能显著提升并发布可直接微调的检查点。
2024-11-28 cs.SD eess.AS
