Active Audio-Visual Separation of Dynamic Sound Sources
UT Austin（德克萨斯大学奥斯汀分校）；Facebook AI Research（脸书人工智能研究院）
我们探讨了动态声源的主动视听分离，其中一个具体的代理智能移动在3D环境中不断隔离感兴趣的对象发出的随时间变化的音频流。代理听到多个音频源的混合流（例如，多个人交谈和乐队在嘈杂的聚会上演奏音乐）。在有限的时间预算下，它需要使用自我中心的视听观察在每一步准确地提取目标声音。我们提出了一个强化学习代理配备了一个新的Transformer内存，学习运动策略来控制其摄像头和麦克风恢复动态目标音频，使用自我注意力，使高质量的估计当前的时间步长，并同时提高其过去的估计。在真实世界的扫描Matterport3D环境中使用高度逼真的声学SoundSpaces模拟，我们表明我们的模型能够学习有效的行为来进行动态音频目标的连续分离。项目：https://vision.cs.utexas.edu/projects/active-av-dynamic-separation/。
2022-07-25 cs.CV cs.LG cs.SD
Gotta Hear Them All: Towards Sound Source Aware Audio Generation
针对现有音频生成方法忽略局部声源细节导致沉浸感不足的问题，提出声源感知音频生成器SS2A，通过跨模态声源流形显式建模声源并混合语义，在图像到音频等任务中达到SOTA。
2025-08-12 cs.CV cs.MM cs.SD
Enhanced Sound Event Localization and Detection in Real 360-degree audio-visual soundscapes
University of Southern California（南加州大学）
本研究基于纯音频SELDnet23模型，在GRU前融合音视频信息，并结合YOLO、DETIC检测器与视听数据增强及合成框架，构建出性能优于现有基线的增强型视听SELD系统。
2024-01-29 cs.AI cs.SD eess.AS
Large Scale Audiovisual Learning of Sounds with Weakly Labeled Data
Facebook Reality Labs（Facebook现实实验室）
声音识别是计算音频场景分析和机器感知的一个关键方面。在本文中，我们主张，声音识别本质上是一个多模态的视听任务，因为它是更容易区分声音使用音频和视觉形式，而不是一个或另一个。我们提出了一个视听融合模型，学习识别弱标记的视频记录的声音。建议的融合模型利用一个注意力机制，动态地结合各个音频和视觉模型的输出。在大规模声音事件数据集AudioSet上的实验证明了该模型的有效性，其性能优于单模态模型以及最先进的融合和多模态模型。我们在Audioset上实现了46.16的平均精度（mAP），超过现有技术约+4.35 mAP（相对：10.4%）。
2020-05-29 cs.LG cs.SD eess.AS
Measuring Sound Symbolism in Audio-visual Models
本研究调查预训练视听模型是否表现出类似人类的语音象征现象，通过构建专用数据集并在零样本设置下评估，发现模型输出与语音象征模式显著相关，尤其在语音数据训练的模型中，揭示了模型捕捉音义联系的能力。
2024-11-11 cs.CL cs.CV cs.SD
Seeing Soundscapes: Audio-Visual Generation and Separation from Soundscapes Using Audio-Visual Separator
King’s College London（伦敦国王学院）
提出AV-GAS模型，利用音视频分离器从多类别混合音频（声景）生成图像，并引入新的分离任务与评估指标，在VGGSound数据集上超越现有方法，CRS提升7%，R@2*提升4%。
2025-04-25 cs.AI cs.CV cs.MM
iQuery: Instruments as Queries for Audio-Visual Sound Separation
UC San Diego（加州大学圣地亚哥分校）；Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；National University of Singapore（新加坡国立大学）；ShanghaiTech University（上海科技大学）；University of Pennsylvania（宾夕法尼亚大学）
当前的视听分离方法共享标准架构设计，其中音频编码器-解码器网络在编码器瓶颈处与视觉编码特征融合。该设计混淆了多模态特征编码的学习与用于音频分离的鲁棒声音解码。推广到一种新乐器：必须为所有乐器微调整个视觉和音频网络。我们重新制定视听分离的任务，并提出了一个灵活的查询扩展机制的查询（iQuery）的仪器。我们的方法确保了跨模态的一致性和跨仪器的解纠缠。我们利用“视觉命名”查询启动学习的音频查询，并使用跨模态的注意力，以消除潜在的声源干扰估计波形。为了推广到新的仪器或事件类，从文本提示设计中汲取灵感，我们插入一个额外的查询作为音频提示，同时冻结注意力机制。三个基准测试的实验结果表明，我们的iQuery提高视听声音声源分离性能。
2022-12-08 cs.CV cs.MM cs.SD
Audio-Visual Segmentation by Exploring Cross-Modal Mutual Semantics
University of Technology Sydney（悉尼科技大学）；The University of Queensland（昆士兰大学）；Futureverse；The Hong Kong University of Science and Technology（香港科技大学）；CSIRO DATA61（联邦科学与工业研究组织数据61研究所）；Netease Fuxi AI Lab（网易伏羲人工智能实验室）
本研究提出一种视听实例感知分割方法，通过物体分割网络定位潜在发声物体并结合无声物体感知目标与视听语义相关性，克服了数据集偏差，有效实现了不受显著物体干扰的发声物体分割。
2023-08-01 cs.CV cs.SD eess.AS
Dynamical Audio-Visual Navigation: Catching Unheard Moving Sound Sources in Unmapped 3D Environments
Albert-Ludwigs-University Freiburg（弗赖堡阿尔伯特-路德维希大学）
最近的视听导航工作针对无噪声音频环境中的单一静态声音，并努力推广到听不见的声音。我们介绍了新的动态视听导航基准，其中一个具体的人工智能智能体必须抓住一个移动的声源在一个未映射的环境中存在的干扰和嘈杂的声音。我们提出了一种端到端的强化学习方法，该方法依赖于多模态架构，该架构融合了来自双耳音频信号和空间占用图的空间视听信息，以编码为我们新的复杂任务设置学习鲁棒导航策略所需的特征。我们证明，我们的方法优于当前最先进的技术，更好地推广到闻所未闻的声音和更好的鲁棒性，噪声场景上的两个具有挑战性的3D扫描的真实世界的数据集ESTA和Matterport3D，静态和动态的视听导航基准。我们的新基准将在http://dav-nav.cs.uni-freiburg.de上提供。
2022-01-12 cs.CV cs.LG cs.RO
Seeing Speech and Sound: Distinguishing and Locating Audios in Visual Scenes
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本研究提出带视听对齐目标的mix-and-separate统一框架，构建新数据集，实现视觉场景中混合语音与非语音的同时定位，在多项任务中性能优于或比肩现有方法。
2025-03-24 cs.CV cs.SD eess.AS
Generating Diverse Audio-Visual 360 Soundscapes for Sound Event Localization and Detection
University of Southern California（南加州大学）；Universidad Nacional Autónoma de México（墨西哥国立自治大学）；Universidad Autónoma de Tamaulipas（塔毛利帕斯自治大学）；Queen Mary University of London（伦敦大学玛丽皇后学院）
提出SELDVisualSynth工具，结合真实背景图像生成视听空间对齐的360度合成视频，用于声事件定位与检测，显著提升模型定位召回率与误差表现。
2025-04-03 cs.SD eess.AS
Learning to Separate Object Sounds by Watching Unlabeled Video
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；IBM Research（IBM研究院）；Facebook AI Research（Facebook人工智能研究院）
最充分地感知一个场景需要所有的感官。然而，建模对象的外观和声音是具有挑战性的：大多数自然场景和事件包含多个对象，并且音轨将所有声源混合在一起。我们提出从未标记的视频中学习视听对象模型，然后利用视觉上下文来执行新视频中的音频声源分离。我们的方法依赖于一个深度的多实例多标签学习框架来解开映射到单个视觉对象的音频基础，即使没有孤立地观察/听到这些对象。我们展示了如何恢复解开基地可以用来指导音频声源分离，以获得更好的分离，对象级的声音。我们的工作是第一个学习音频声源分离从大规模的“在野外”的视频包含多个音频源，每个视频。我们获得了视觉辅助音频声源分离和音频去噪的最先进的结果。我们的视频结果：http://vision.cs.utexas.edu/projects/separating_object_sounds/
2018-07-26 cs.CV cs.MM cs.SD
Catch Me If You Hear Me: Audio-Visual Navigation in Complex Unmapped Environments with Moving Sounds
University of Freiburg（弗莱堡大学）
视听导航结合视觉和听觉，在未映射的环境中导航到声音发射源。虽然最近的方法已经证明了音频输入在检测和找到目标方面的好处，但它们专注于干净和静态的声源，并且难以推广到听不到的声音。在这项工作中，我们提出了一种新的动态视听导航基准，它需要在嘈杂和分散注意力的声音环境中捕捉移动声源，这带来了一系列新的挑战。我们引入了一种强化学习方法，该方法可以为这些复杂的设置学习一个强大的导航策略。为了实现这一目标，我们提出了一个架构，融合视听信息的空间特征空间学习相关的几何信息固有的本地地图和音频信号。我们证明了我们的方法在两个具有挑战性的3D扫描现实世界环境（即Matterport3D和Matterport3D）中，在移动声音、未听到的声音和嘈杂环境的所有任务中，都始终优于当前最先进的方法。该基准可在http://dav-nav.cs.uni-freiburg.de上获得。
2023-01-03 cs.CV cs.LG cs.RO
Telling Left from Right: Learning Spatial Correspondence of Sight and Sound
MIT（麻省理工学院）；Adobe Research（奥多比研究院）
自我监督的视听学习旨在通过利用视觉和音频输入之间的对应关系来捕获有用的视频表示。现有的方法主要集中在感官流之间的语义信息的匹配。我们提出了一种新的自我监督的任务，利用正交原则：匹配音频流中的空间信息的声音源在视觉流的位置。我们的方法简单而有效。我们训练一个模型来确定左右音频通道是否已经翻转，迫使它在视觉和音频流中推理空间定位。为了训练和评估我们的方法，我们引入了一个大规模的视频数据集，YouTube-ASMR-300 K，空间音频包括超过900小时的镜头。我们证明，理解空间对应性使模型能够在三个视听任务上表现得更好，在不利用空间音频线索的监督和自我监督基线上实现定量增益。我们还展示了如何将我们的自我监督方法扩展到具有ambisonic音频的360度视频。
2020-06-12 cs.CV cs.SD eess.AS
Sound Adversarial Audio-Visual Navigation
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Xinjiang University（新疆大学）；JD Explore Academy, JD.com（京东探索研究院）
视听导航任务要求智能体通过自我中心的视听观察在现实的、未映射的3D环境中找到声源。现有的视听导航作品假设一个干净的环境，只包含目标声音，然而，这将是不适合在大多数现实世界中的应用，由于意外的声音噪声或故意干扰。在这项工作中，我们设计了一个声学复杂的环境中，除了目标声音，存在一个声音攻击者玩零和游戏的代理。更具体地说，攻击者可以移动和改变声音的音量和类别，使智能体在试图躲避攻击并在干预下导航到目标的同时难以找到发声对象。在对攻击者进行一定约束的情况下，可以提高智能体对视听导航中意外声音攻击的鲁棒性。为了更好的收敛，我们开发了一个联合训练机制，采用的财产集中的批评与分散的演员。在两个真实的3D扫描数据集上进行的实验验证了在我们设计的环境下训练的Agent在转移到干净环境或包含随机策略的声音攻击者的环境中的有效性和鲁棒性。项目：\url{https://yyf17.github.io/SAAVN}。
2022-02-22 cs.CV cs.RO cs.SD
Generating Realistic Images from In-the-wild Sounds
Artificial Intelligence Graduate School, UNIST（蔚山科学技术院人工智能研究生院）
本文提出一种从野外声音生成逼真图像的新方法，通过音频字幕、音频与句子注意力及CLIPscore优化，利用扩散模型生成，实验优于基线。
2023-09-05 cs.CV cs.SD eess.AS
ACES: Evaluating Automated Audio Captioning Models on the Semantics of Sounds
Maastricht University（马斯特里赫特大学）；Université Aix-Marseille（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）
本文提出ACES评估指标，从人类听觉语义解析角度结合语义相似度与实体标注评估自动音频字幕，并在Clotho-Eval FENSE基准上优于同类指标。
2024-03-27 cs.SD eess.AS
Learning Visual Styles from Audio-Visual Associations
Tsinghua University（清华大学）；University of Michigan（密歇根大学）；Shanghai Qi Zhi Institute（上海期智研究院）
从淅淅沥沥的雨声到雪的嘎吱声，我们听到的声音往往传达了场景中出现的视觉纹理。在本文中，我们提出了一种方法来学习视觉风格从未标记的视听数据。我们的模型学习操纵场景的纹理以匹配声音，我们称之为音频驱动的图像风格化。给定一个配对的视听数据集，我们学习修改输入图像，使得在操作之后，它们更有可能与给定的输入声音共同出现。在定量和定性评估中，我们基于声音的模型优于基于标签的方法。我们还表明，音频可以是一个直观的表示操纵图像，调整声音的音量或混合两个声音在一起的结果在可预测的变化，视觉风格。项目网页：https://tinglok.netlify.app/files/avstyle
2022-05-10 cs.CV cs.MM cs.SD
High-Quality Visually-Guided Sound Separation from Diverse Categories
University of Rochester（罗切斯特大学）；Meta Reality Labs Research（Meta现实实验室）
提出基于扩散的视听分离框架DAVIS，利用生成扩散模型和Separation U-Net从高斯噪声合成分离声音，在AVE和MUSIC数据集上分离质量优于现有判别式方法。
2024-10-10 cs.CV cs.SD eess.AS
SoundSpaces: Audio-Visual Navigation in 3D Environments
UT Austin（德克萨斯大学奥斯汀分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Facebook Reality Labs（Facebook 现实实验室）；Facebook AI Research（Facebook 人工智能研究院）
在世界上四处移动自然是一种多感官体验，但今天的实体代理是聋子-仅限于他们对环境的视觉感知。我们为复杂的、声学上和视觉上逼真的3D环境引入了视听导航。通过视觉和听觉，智能体必须学会导航到发声物体。我们提出了一种多模态深度强化学习方法，用于从以自我为中心的视听观察流中端到端地训练导航策略，允许代理（1）发现由混响音频指示的物理空间的几何元素，以及（2）检测和跟踪发声目标。我们进一步介绍SoundSpaces：这是首个基于两组公开可用的3D环境（Matterport 3D和Matterport）的几何声学模拟的音频渲染数据集，我们为Habitat提供仪器以支持新的传感器，从而可以在真实世界的扫描环境阵列中插入任意声源。我们的研究结果表明，音频极大地有利于3D空间中的嵌入式视觉导航，我们的工作为具有视听感知的嵌入式AI的新研究奠定了基础。
2020-08-21 cs.CV cs.HC cs.SD
Soundwich: Video Generation with Layered and Controllable Audio
Simon Fraser University（西蒙弗雷泽大学）；University of Cyprus（塞浦路斯大学）；CYENS Centre of Excellence（CYENS卓越中心）；Tel Aviv University（特拉维夫大学）
Soundwich提出无需训练的框架，将冻结的联合音视频流匹配模型转化为生成多个同步、可独立编辑音频主干并与共享视频耦合的生成器，实现源级时间控制和跨模态交互，提升视听一致性、时间控制、源分离和自然度，支持灵活编辑。
2026-10-05 cs.CV cs.MM cs.SD
Learning Self-Supervised Audio-Visual Representations for Sound Recommendations
Sony Interactive Entertainment（索尼互动娱乐）
该研究提出一种基于音视频对应关系的自监督表示学习方法，通过注意力机制融合多分辨率卷积特征，结合跨模态对比学习提升了视听相关性分类与音效推荐的准确率。
2024-12-10 cs.CV cs.MM cs.SD
A Detailed Audio-Text Data Simulation Pipeline using Single-Event Sounds
Shanghai Jiao Tong University（上海交通大学）
针对现有音频-文本数据集描述简单的问题，提出一种基于单事件声音的精细化音频-文本数据模拟流水线，从四维度控制音频细节并生成对应文本，验证了其助力模型学习精细化音频描述的有效性。
2024-03-07 cs.SD eess.AS
Cyclic Co-Learning of Sounding Object Visual Grounding and Sound Separation
University of Rochester（罗切斯特大学）；Beijing Key Laboratory of Big Data Management and Analysis Methods（北京大数据管理与分析方法重点实验室）
在我们的日常生活中，存在着丰富的同步视听事件。在事件内部，音频场景与相应的视觉对象相关联;同时，发声对象可以指示并帮助分离音轨中的各个声音。基于这一观察，在本文中，我们提出了一个循环的共同学习（CCoL）的范例，可以共同学习发声对象的视觉接地和视听声音分离在一个统一的框架。具体地说，我们可以利用扎根的物体-声音关系来改善声音分离的结果。同时，利用分离出的声音所提供的判别信息，改进了探测目标接地的训练样本采样方法，为两个任务建立了一个协同学习的循环，使它们相互受益。大量的实验表明，该框架在这两个任务上都优于最近的方法，并且它们可以通过我们的循环协同学习相互受益。
2021-04-05 cs.CV cs.MM cs.SD
Seeing Sound: Assembling Sounds from Visuals for Audio-to-Image Generation
Indiana University Bloomington（印第安纳大学布卢明顿分校）；Netflix（网飞公司）
提出可扩展的图像声化框架，利用视觉语言模型检索并人工配对高质量单模态图像与音频，训练出竞争力强的音频到图像生成模型。
2025-01-09 cs.CV cs.GR cs.SD
AV-Edit: Multimodal Generative Sound Effect Editing via Audio-Visual Semantic Joint Control
AV-Edit通过联合利用视觉、音频和文本语义，实现多模态生成式声音效果编辑，提升音频编辑的精度和质量。
2025-11-26 cs.CV cs.MM cs.SD
Discriminative Sounding Objects Localization via Self-supervised Audiovisual Matching
Renmin University of China（中国人民大学）；Baidu Inc.（百度公司）；Shanghai Jiao Tong University（上海交通大学）
在鸡尾酒会中有区别地定位发声对象，即，混合声音场景，对于人类来说是司空见惯的，但对于机器来说仍然具有挑战性。在本文中，我们提出了一个两阶段的学习框架来执行自我监督类感知的发声对象定位。首先，我们建议通过聚合单个源场景中的候选声音定位结果来学习鲁棒的对象表示。然后，类感知的对象定位地图生成鸡尾酒会的情况下，通过参考预先学习的对象知识，并相应地选择发声对象通过匹配音频和视觉对象类别分布，其中视听一致性被视为自监督信号。在现实和合成的鸡尾酒会视频的实验结果表明，我们的模型是优越的，在过滤出沉默的对象，并指出不同类别的发声对象的位置。代码可在https://github.com/DTaoo/Discriminative-Sounding-Objects-Localization上获得。
2020-10-12 cs.CV cs.LG cs.MM
Visually-Guided Sound Source Separation with Audio-Visual Predictive Coding
Xi’an Jiaotong University（西安交通大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences（中国科学院香港创新研究院）
提出视听预测编码（AVPC）方法，通过预测编码网络统一特征提取、融合和掩码预测，实现参数高效且性能更优的视觉引导声音源分离。
2023-06-19 cs.CV cs.MM cs.SD
Bridging Ears and Eyes: Analyzing Audio and Visual Large Language Models to Humans in Visible Sound Recognition and Reducing Their Sensory Gap via Cross-Modal Distillation
Columbia University（哥伦比亚大学）；University of Washington（华盛顿大学）
该研究对比音频、视觉与视听LLM及人类在可见声音识别中的表现，发现对应人耳与人眼差异的模态性能差距，并通过双向跨模态蒸馏显著提升挑战性类别识别能力。
2025-05-11 cs.CL cs.CV cs.MM
Semantic Grouping Network for Audio Source Separation
Carnegie Mellon University（卡内基梅隆大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出语义分组网络SGN，通过可学习类别token直接从混合音频中解耦并提取各声源语义特征，无需视觉信息即在多个声音分离基准上显著超越纯音频和音视频方法。
2024-07-04 cs.CV cs.LG cs.MM
AudioMiXR: Spatial Audio Object Manipulation with 6DoF for Sound Design in Augmented Reality
Brown University（布朗大学）；University of California at Berkeley（加州大学伯克利分校）；University of Central Florida（中央佛罗里达大学）；Dolby Laboratories（杜比实验室）
AudioMiXR利用Apple Vision Pro的6DoF操控虚拟音频对象，通过两项用户研究证明其相比2D基线显著提升可用性、降低负荷并增强创造力，为AR声音设计奠定基础。
2025-08-05 cs.HC cs.SD eess.AS
What's Making That Sound Right Now? Video-centric Audio-Visual Localization
Seoul National University（首尔国立大学）
针对现有视听定位忽略时间动态和简化场景的问题，提出视频中心基准AVATAR和模型TAVLO，通过高分辨率时间建模实现稳健精确的视听对齐，确立新标准。
2025-07-08 cs.AI cs.CV cs.MM
Sounding Highlights: Dual-Pathway Audio Encoders for Audio-Visual Video Highlight Detection
School of Electrical Engineering（电气工程学院）；Music and Audio Research Group（音乐与音频研究组）；Seoul National University（首尔国立大学）
本文提出双路径音频编码器，通过结合语义和动态路径，提升音频-视觉视频亮点检测的性能。
2026-02-05 cs.AI cs.CV cs.MM
Epic-Sounds: A Large-scale Dataset of Actions That Sound
Visual Geometry Group, Department of Engineering Science, University of Oxford, UK（牛津大学视觉几何组）；Department of Computer Science, University of Bristol, UK（布里斯托大学计算机科学系）；CIIRC, Czech Technical University in Prague, Czech Republic（布拉格捷克技术大学CIIRC）
本文介绍了大规模自我中心视频音频数据集EPIC-SOUNDS，包含78.4k分类片段，并提出标注流程识别纯音频可区分动作，评估了多种音频识别模型并分析了视听模态相关性及模型局限。
2025-07-16 cs.AI cs.LG cs.SD
Learning Audio-Visual Dynamics Using Scene Graphs for Audio Source Separation
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mitsubishi Electric Research Labs（三菱电机研究实验室）
静态声源产生的声音和移动声源产生的声音之间存在明确的区别，特别是当声源朝向或远离麦克风移动时。在本文中，我们建议使用音频和视觉动力学之间的这种联系，同时解决两个具有挑战性的任务，即：（i）使用视觉线索从混合物中分离音频源，以及（ii）使用分离的音频预测声源的3D视觉运动。为此，我们提出了音频分离器和运动预测器（ASMP）-一个深度学习框架，它利用场景的3D结构和声源的运动来实现更好的音频声源分离。ASMP的核心是一个2.5D场景图，捕捉视频中的各种对象及其伪3D空间邻近度。该图通过将来自2D视频帧的2.5D单眼深度预测配准在一起并将2.5D场景区域与应用于这些帧的对象检测器的输出相关联来构建。ASMP任务然后被数学建模为以下联合问题：（i）递归地将2.5D场景图分割成若干子图，每个子图与输入音频混合中的组成声音（其然后被分离）相关联，以及（ii）从分离的音频预测对应声源的3D运动。为了实证评估ASMP，我们提出了两个具有挑战性的视听数据集，即音频分离在野生（ASIW）和视听事件（AVE）的实验。我们的研究结果表明，ASMP实现了声源分离质量的明显改善，优于先前的作品在两个数据集上，同时也估计的声源的运动方向比其他方法更好。
2022-10-29 cs.CV cs.LG cs.SD
Self-Supervised Audio-Visual Soundscape Stylization
University of California, Berkeley（加州大学伯克利分校）；FAIR, Meta（Meta FAIR研究院）；University of Michigan（密歇根大学）
提出基于自监督的视听声景风格化方法，利用latent diffusion模型和自然视频中的重复声音事件，将目标场景的声音特性迁移至输入语音，并证明视觉信号能提升声音预测能力。
2024-09-22 cs.CV cs.LG cs.MM
Sound2Sight: Generating Visual Dynamics from Sound and Context
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
跨模态的学习关联对于鲁棒的多模态推理至关重要，特别是在推理过程中可能缺少模态时。在本文中，我们研究这个问题的背景下，音频条件的视觉合成-一个任务，这是很重要的，例如，在遮挡推理。具体来说，我们的目标是生成未来的视频帧和它们的运动动态条件的音频和一些过去的帧。为了解决这个问题，我们提出了Sound 2Sight，这是一个深度变分框架，它被训练来学习基于音频和过去帧的联合嵌入的每帧随机先验。这种嵌入是通过一个多头注意力为基础的视听Transformer编码器学习。然后对所学习的先验进行采样，以进一步调节视频预测模块以生成未来帧。随机先验允许模型对与所提供的音频和过去上下文一致的多个可能的未来进行采样。此外，为了提高所生成的帧的质量和一致性，我们提出了一个多模式的视频，区分合成和一个真正的视听剪辑。我们在两个新的数据集上实证评估了我们的方法，即（i）带有惊喜障碍的多模态随机移动MNIST，（ii）Youtube绘画;以及现有的Audio-Set Drums数据集。我们广泛的实验表明，Sound 2Sight在生成的视频质量方面明显优于最先进的技术，同时还能生成多样化的视频内容。
2020-07-23 cs.CV cs.LG cs.SD
Naturalistic audio-visual volumetric sequences dataset of sounding actions for six degree-of-freedom interaction
Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
随着视听系统越来越多地为我们的工作和休闲活动带来沉浸式和交互式功能，因此对自然主义测试材料的需求也在增长。新的体积数据集已经捕获了高质量的3D视频，但伴随的音频往往被忽视，因此很难测试集成的双峰体验。旨在涵盖不同的声音类型和功能，所提出的体积数据集是从音频和视频演播室录制的场景，产生四十个短动作序列。在技术和科学测试的潜在用途进行了讨论。
2021-05-03 cs.MM cs.SD eess.AS
CLIPSep: Learning Text-queried Sound Separation with Noisy Unlabeled Videos
Sony Group Corporation（索尼集团公司）；University of California San Diego（加州大学圣地亚哥分校）
近年来，已经看到了超越语音或音乐的特定领域的声音分离朝着任意声音的通用声音分离的进展。关于通用声音分离的现有工作已经研究了在给定文本查询的情况下从音频混合中分离出目标声音。这样的文本查询声音分离系统提供用于指定任意目标声音的自然且可缩放的接口。然而，有监督的文本查询声音分离系统需要昂贵的标记的音频文本对进行训练。此外，现有数据集中提供的音频通常是在受控环境中记录的，这导致了与野外嘈杂音频的相当大的泛化差距。在这项工作中，我们的目标是通过只使用未标记的数据来接近文本查询的通用声音分离。我们建议利用视觉模态作为桥梁，学习所需的音频文本对应。CLIPSep模型首先使用对比语言-图像预训练（CLIP）模型将输入查询编码成查询向量，然后使用查询向量调节音频分离模型以分离出目标声音。虽然模型是在从未标记的视频中提取的图像-音频对上训练的，但在测试时，我们可以在zero-shot设置中使用文本输入查询模型，这要归功于CLIP模型学习的联合语言-图像嵌入。此外，野外视频通常包含屏幕外声音和背景噪声，这可能会阻碍模型学习所需的音频-文本对应关系。为了解决这个问题，我们进一步提出了一种称为噪声不变训练的方法，用于在噪声数据上训练基于查询的声音分离模型。实验结果表明，所提出的模型成功地学习文本查询的通用声音分离只使用嘈杂的未标记的视频，甚至在某些设置中实现对监督模型的竞争性能。
2023-03-03 cs.CV cs.LG cs.MM
Continual Audio-Visual Sound Separation
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Brown University（布朗大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出持续视听声音分离任务及ContAV-Sep方法，通过跨模态相似性蒸馏约束缓解灾难性遗忘，实现新类声源持续分离并保持旧类性能。
2024-11-05 cs.CV cs.LG cs.MM
Improving On-Screen Sound Separation for Open-Domain Videos with Audio-Visual Self-Attention
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
我们介绍了一个国家的最先进的视听屏幕上的声音分离系统，这是能够学习分离的声音，并将它们与屏幕上的对象，通过在野外的视频。我们确定了以前的工作的限制，视听屏幕上的声音分离，包括简单性和粗分辨率的时空注意力，和音频分离模型的收敛性差。我们提出的模型使用跨模态和自我注意模块来解决这些问题，这些模块可以随着时间的推移以更高的分辨率捕获视听依赖关系，并通过音频分离模型的无监督预训练来解决这些问题。这些改进使模型能够推广到更广泛的未见过视频。我们还展示了一种鲁棒的方法，通过校准我们的视听屏幕上分类器的概率来进一步提高我们模型的泛化能力，只使用少量的被标记为屏幕上存在的域内视频。为了进行评估和半监督训练，我们从一个大型的野外视频数据库（YFCC 100m）中收集了屏幕上音频的人类注释。我们的研究结果表明，在屏幕上的分离性能显着改善，在更一般的条件下比以前的方法。
2021-10-14 cs.CV cs.LG cs.SD
Looking Similar, Sounding Different: Leveraging Counterfactual Cross-Modal Pairs for Audiovisual Representation Learning
Massachusetts Institute of Technology（麻省理工学院）；Netflix（网飞公司）
本文提出利用电影电视配音版本构造仅在语音上不同的反事实视听配对来增强对比学习，实验证明该方法能提升多种下游听觉与视听任务性能，同时基本不影响语言任务表现。
2024-06-08 cs.CV cs.LG cs.MM
Towards Generalisable Audio Representations for Audio-Visual Navigation
University of Sydney（悉尼大学）
在视听导航（AVN）中，智能体需要根据其听觉和视觉感知在复杂的3D环境中导航到不断发声的对象。虽然现有的方法试图提高导航性能与精确设计的路径规划或复杂的任务设置，没有改善的模型概括听不到的声音与任务设置不变。因此，我们提出了一个基于对比学习的方法来解决这个挑战，通过正规化的音频编码器，声音不可知的目标驱动的潜在表示可以从不同类别的各种音频信号学习。此外，我们考虑了两个数据增强策略来丰富训练声音。我们证明，我们的设计可以很容易地装备到现有的AVN框架，以获得立即的性能增益（13.4% $\uparrow$在SPL上的MP3D和12.2% $\uparrow$在SPL上的MP3D）。我们的项目可以在https://AV-GeN.github.io/上找到。
2022-06-01 cs.CV cs.LG cs.RO
Learning What To Hear: Boosting Sound-Source Association For Robust Audiovisual Instance Segmentation
Yonsei University（延世大学）；School of AI and Software（人工智能与软件学院）；Korea Institute of Science and Technology（韩国科学技术院）
本文提出音频中心查询生成和声音感知顺序计数损失，以提升音频视觉实例分割的鲁棒性和准确性。
2026-01-29 cs.AI cs.MM cs.SD
Visual Scene Graphs for Audio Source Separation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
用于视觉引导的音频声源分离的现有技术方法通常假定具有特征声音的源，诸如乐器。这些方法通常忽略这些声源的视觉背景，或者避免对可能有助于更好地表征声源的对象交互进行建模，特别是当相同的对象类可能从不同的交互产生不同的声音时。为了解决这个具有挑战性的问题，我们提出了视听场景图分割器（AVSGS），这是一种新型的深度学习模型，它将场景的视觉结构嵌入为图，并将该图分割成子图，每个子图与通过共同分割音频频谱图获得的唯一声音相关联。在其核心，AVSGS使用递归神经网络，使用多头注意力发出视觉图的相互正交的子图嵌入。这些嵌入用于调节音频编码器-解码器朝向声源分离。我们的管道通过一个自我监督的任务进行端到端的训练，该任务包括使用视觉图将音频源与人工混合的声音分离。在本文中，我们还介绍了一个“在野外”的视频数据集的声音声源分离，其中包含多个非音乐源，我们称之为音频分离在野外（ASIW）。该数据集改编自AudioCaps数据集，为声源分离提供了一个具有挑战性的、自然的日常环境。在所提出的ASIW和标准MUSIC数据集上进行的彻底实验表明，我们的方法与最近的现有方法相比具有最先进的声音分离性能。
2021-09-24 cs.AI cs.CV cs.LG
Semantic Audio-Visual Navigation
UT Austin（德克萨斯大学奥斯汀分校）；Facebook AI Research（Facebook人工智能研究院）
最近的视听导航工作假设一个不断发声的目标，并限制了音频的作用，以信号的目标的位置。我们引入语义视听导航，其中环境中的对象使声音与其语义含义一致（例如，马桶冲水、门吱吱作响）和声学事件是零星的或持续时间短的。我们提出了一个基于transformer的模型来解决这个新的语义AudioGoal任务，将一个推断的目标描述符，捕获目标的空间和语义属性。我们的模型的持久的多模态记忆使它能够达到目标，即使很长一段时间后，声学事件停止。为了支持新任务，我们还扩展了SoundSpaces音频模拟，为Matterport3D中的一系列对象提供语义上的声音。我们的方法通过学习将语义、声学和视觉线索相关联，大大优于现有的视听导航方法。
2021-04-07 cs.CV cs.LG cs.RO
Audio-Visual Spatial Integration and Recursive Attention for Robust Sound Source Localization
Kyung Hee University（庆熙大学）
针对声源定位中音频空间线索利用不足的问题，提出整合视听空间线索的网络与递归注意力机制，并设计两种损失以实现更鲁棒的定位。
2023-08-18 cs.AI cs.CV cs.MM
Weakly-Supervised Audio-Visual Segmentation
CMU（卡内基梅隆大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对音视频分割中像素级掩码标注成本高的问题，提出弱监督框架WS-AVS，通过多尺度多实例对比学习实现多尺度音视频对齐，在AVSBench上验证了单源和多源场景下的有效性。
2023-11-25 cs.AI cs.CV cs.LG
TV-AudioRemover: Joint Text-Visual Guided Sound Removal with Multi-Task Hard-Mixture Curriculum
Xiaomi Inc.（小米公司）
提出TV-AudioRemover，结合视觉编辑视频与文本指令，通过多任务训练和难混合课程实现目标声音移除，并在新基准上达到最先进性能。
2026-11-06 cs.CV cs.MM cs.SD
DOA-Aware Audio-Visual Self-Supervised Learning for Sound Event Localization and Detection
Graduate School of Informatics, Kyoto University（京都大学情报学研究科）；National Institute of Advanced Industrial Science and Technology（独立行政法人产业技术综合研究所）；Faculty of Science and Engineering, Doshisha University（同志社大学理工学部）
针对声音事件定位与检测中标注数据不足的问题，提出DOA感知的音视频自监督预训练方法，利用无标注音视频数据通过对比学习优化音频特征，有效降低了SELD任务的误差得分。
2024-10-30 cs.AI cs.LG cs.MM
Do Audio-Visual Segmentation Models Truly Segment Sounding Objects?
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Tsinghua University（清华大学）
该研究针对当前视听分割模型存在的依赖视觉显著性、忽略音频线索的偏差问题，构建了含多种负向音频场景的鲁棒基准AVSBench-Robust，并提出结合负样本均衡训练与分类器引导相似度学习的方法，有效提升了模型的分割性能与鲁棒性。
2025-02-20 cs.AI cs.LG cs.MM
AudioCapBench: Quick Evaluation on Audio Captioning across Sound, Music, and Speech
Salesforce AI Research（Salesforce人工智能研究）
AudioCapBench通过对比不同模型在环境声音、音乐和语音描述任务中的表现，评估了大模型的音频描述能力，揭示Gemini模型在整体质量上优于OpenAI模型。
2026-02-27 cs.AI cs.SD
Self-supervised Neural Audio-Visual Sound Source Localization via Probabilistic Spatial Modeling
National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所）；Waseda University（早稻田大学）
在视觉观察范围内检测声源目标对于自主机器人理解周围环境具有重要意义。由于在我们的生活环境中，发声物体具有大量的种类和不同的外观，在实践中标记所有发声物体是不可能的。这就需要自监督学习，它不需要人工标记。大多数传统的自监督学习使用单声道音频信号和图像，并且由于音频信号中的差的空间信息而不能区分具有相似外观的声源对象。针对这一问题，提出了一种基于360°图像和多声道音频信号的自监督训练方法。通过结合多声道音频信号中的空间信息，我们的方法训练深度神经网络（DNN）来区分多个声源对象。我们用于定位图像中声源对象的系统由音频和视觉DNN组成。视觉DNN被训练以定位输入图像内的声源候选。音频DNN验证每个候选是否实际产生声音。这些DNN基于概率空间音频模型以自监督方式联合训练。模拟数据的实验结果表明，我们的方法训练的DNN定位多个扬声器。我们还证明了视觉DNN检测对象，包括说话的游客和特定的展品从真实的数据记录在科学博物馆。
2020-07-28 cs.CV cs.SD eess.AS
BirdSoundsDenoising: Deep Visual Audio Denoising for Bird Sounds
Yeshiva University（叶史瓦大学）；Cornell University（康奈尔大学）
几十年来，人们一直在使用传统方法和基于深度学习的方法来探索音频去噪。然而，这些方法仍然限于手动添加的人工噪声或较低的去噪音频质量。为了克服这些挑战，我们收集了一个大规模的自然噪声鸟声数据集。我们首次将音频去噪问题转化为图像分割问题，并提出了深度视觉音频去噪（DVAD）模型。我们开发了一个音频ImageMask工具，并建议使用Few-Shot泛化策略来标记这些图像。大量的实验结果表明，该模型达到了最先进的性能。我们还表明，我们的方法可以很容易地推广到语音去噪，音频分离，音频增强和噪声估计。
2022-10-18 cs.CV cs.SD eess.AS
