Visual Scene Graphs for Audio Source Separation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
用于视觉引导的音频声源分离的现有技术方法通常假定具有特征声音的源，诸如乐器。这些方法通常忽略这些声源的视觉背景，或者避免对可能有助于更好地表征声源的对象交互进行建模，特别是当相同的对象类可能从不同的交互产生不同的声音时。为了解决这个具有挑战性的问题，我们提出了视听场景图分割器（AVSGS），这是一种新型的深度学习模型，它将场景的视觉结构嵌入为图，并将该图分割成子图，每个子图与通过共同分割音频频谱图获得的唯一声音相关联。在其核心，AVSGS使用递归神经网络，使用多头注意力发出视觉图的相互正交的子图嵌入。这些嵌入用于调节音频编码器-解码器朝向声源分离。我们的管道通过一个自我监督的任务进行端到端的训练，该任务包括使用视觉图将音频源与人工混合的声音分离。在本文中，我们还介绍了一个“在野外”的视频数据集的声音声源分离，其中包含多个非音乐源，我们称之为音频分离在野外（ASIW）。该数据集改编自AudioCaps数据集，为声源分离提供了一个具有挑战性的、自然的日常环境。在所提出的ASIW和标准MUSIC数据集上进行的彻底实验表明，我们的方法与最近的现有方法相比具有最先进的声音分离性能。
2021-09-24 cs.AI cs.CV cs.LG
WildDESED: An LLM-Powered Dataset for Wild Domestic Environment Sound Event Detection System
Fortemedia Singapore（新加坡富迪科技）
本研究提出由LLM驱动的家庭场景声音事件检测数据集WildDESED，通过课程学习提升模型抗噪性能，为噪声鲁棒的SED研究提供新基准。
2024-10-30 cs.SD eess.AS
Bridging High-Quality Audio and Video via Language for Sound Effects Retrieval from Visual Queries
New York University（纽约大学）；Adobe Research（奥多比研究院）
针对视频帧检索高质量音效缺乏高质量训练数据的问题，本文提出用LLM与视觉-语言模型自动构建HQ音视频对，并训练对比学习检索系统，显著提升跨域泛化与用户偏好。
2023-08-17 cs.CV cs.IR cs.MM
Learning to Separate Object Sounds by Watching Unlabeled Video
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；IBM Research（IBM研究院）；Facebook AI Research（Facebook人工智能研究院）
最充分地感知一个场景需要所有的感官。然而，建模对象的外观和声音是具有挑战性的：大多数自然场景和事件包含多个对象，并且音轨将所有声源混合在一起。我们提出从未标记的视频中学习视听对象模型，然后利用视觉上下文来执行新视频中的音频声源分离。我们的方法依赖于一个深度的多实例多标签学习框架来解开映射到单个视觉对象的音频基础，即使没有孤立地观察/听到这些对象。我们展示了如何恢复解开基地可以用来指导音频声源分离，以获得更好的分离，对象级的声音。我们的工作是第一个学习音频声源分离从大规模的“在野外”的视频包含多个音频源，每个视频。我们获得了视觉辅助音频声源分离和音频去噪的最先进的结果。我们的视频结果：http://vision.cs.utexas.edu/projects/separating_object_sounds/
2018-07-26 cs.CV cs.MM cs.SD
Self-Supervised Audio-Visual Soundscape Stylization
University of California, Berkeley（加州大学伯克利分校）；FAIR, Meta（Meta FAIR研究院）；University of Michigan（密歇根大学）
提出基于自监督的视听声景风格化方法，利用latent diffusion模型和自然视频中的重复声音事件，将目标场景的声音特性迁移至输入语音，并证明视觉信号能提升声音预测能力。
2024-09-22 cs.CV cs.LG cs.MM
Seeing Sound: Assembling Sounds from Visuals for Audio-to-Image Generation
Indiana University Bloomington（印第安纳大学布卢明顿分校）；Netflix（网飞公司）
提出可扩展的图像声化框架，利用视觉语言模型检索并人工配对高质量单模态图像与音频，训练出竞争力强的音频到图像生成模型。
2025-01-09 cs.CV cs.GR cs.SD
Weakly-Supervised Classification and Detection of Bird Sounds in the Wild. A BirdCLEF 2021 Solution
Universidad de Valladolid（巴利亚多利德大学）；Jio Saavn
听鸟比看鸟更容易，然而，它们仍然在自然界中发挥着重要作用，它们是环境质量和污染恶化的良好指标。机器学习和卷积神经网络的最新进展使我们能够检测和分类鸟类的声音，通过这样做，我们可以帮助研究人员监测生态系统中鸟类种群和生物多样性的状态和趋势。我们提出了一个声音检测和分类管道，用于分析复杂的音景记录，并识别背景中的鸟鸣。我们的管道从弱标签中学习，对野外细粒度的鸟类发声进行分类，并且对背景声音（例如，飞机、雨等）。我们的解决方案在Kaggle举办的BirdCLEF 2021挑战赛中获得了816支球队的第10名。
2021-07-10 cs.MM cs.SD eess.AS
Visual Sound Localization in the Wild by Cross-Modal Interference Erasing
The Chinese University of Hong Kong（香港中文大学）；Zhejiang University（浙江大学）；Shanghai Jiao Tong University（上海交通大学）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；S-Lab, Nanyang Technological University（南洋理工大学S-Lab）
视听声源定位的任务已经得到了很好的研究，在受约束的场景，其中的音频记录是干净的。然而，在现实世界中，音频通常会受到屏幕外声音和背景噪音的污染。它们将干扰识别所需来源和建立视听联系的过程，使以前的研究不适用。在这项工作中，我们提出了干扰擦除器（IEr）框架，它解决了在野外的视听声源定位的问题。其关键思想是通过重新定义和雕刻有区别的音频表示来消除干扰。具体来说，我们观察到，由于音频信号的加性，以前只学习单个音频表示的做法是不够的。因此，我们用我们的音频实例标识符模块扩展了音频表示，当不同音量的音频信号不均匀混合时，该模块可以清楚地区分发声实例。然后，我们通过一个具有跨模态提取功能的跨模态引用模块来消除屏幕外的声音和无声的可见物体的影响。定量和定性的评估表明，我们提出的框架取得了优异的成绩，声音定位任务，特别是在现实世界的情况下。代码可在https://github.com/alvinliu0/Visual-Sound-Localization-in-the-Wild上获得。
2022-02-13 cs.CV cs.SD eess.AS
LipVoicer: Generating Speech from Silent Videos Guided by Lip Reading
Bar-Ilan University（巴伊兰大学）；Faculty of Electrical Engineering（工程学院）
LipVoicer通过结合唇读预测文本与分类器引导扩散模型，从无声视频生成高可懂度、自然同步的语音，在LRS2和LRS3上显著优于现有方法。
2024-03-28 cs.SD eess.AS
The Sound of Water: Inferring Physical Properties from Pouring Liquids
University of Oxford（牛津大学）；IIIT Hyderabad（印度信息技术研究所海得拉巴分校）；University of Amsterdam（阿姆斯特丹大学）
该研究仅通过倾倒液体的声音推断液位、容器参数等物理属性，从理论证明基频的作用，结合模拟与视觉数据训练音高检测模型，构建真实倾倒数据集，验证了模型的推断能力与泛化性，为机器人多感官感知提供支持。
2025-01-13 cs.CV cs.MM cs.SD
Voice activity detection in the wild via weakly supervised sound event detection
Shanghai Jiao Tong University（上海交通大学）
传统的有监督语音活动检测（VAD）方法在干净和受控的场景中工作良好，在现实世界的应用中性能严重下降。一个可能的瓶颈是，语音在野外包含不可预测的噪声类型，因此帧级标签预测是困难的，这是传统的监督VAD训练所需要的。相比之下，我们提出了一个通用的VAD（GPVAD）框架，它可以很容易地从噪声数据中以弱监督的方式进行训练，只需要剪辑级别的标签。我们提出了两个GPVAD模型，一个是完整的（GPV-F），在527个Audioset声音事件上训练，另一个是二进制的（GPV-B），只区分语音和噪声。我们评估两个GPV模型对CRNN为基础的标准VAD模型（VAD-C）的三个不同的评估协议（干净，合成噪声，真实数据）。结果表明，与传统的VAD-C相比，我们提出的GPV-F在清洁和合成场景中表现出具有竞争力的性能。此外，在现实世界的评估中，GPV-F在帧级评估指标和片段级评估指标方面大大优于VAD-C。由于对帧标记数据的要求低得多，朴素二进制剪辑级GPV-B模型在现实场景中仍然可以实现与VAD-C相当的性能。
2020-08-16 cs.SD eess.AS
AudioMiXR: Spatial Audio Object Manipulation with 6DoF for Sound Design in Augmented Reality
Brown University（布朗大学）；University of California at Berkeley（加州大学伯克利分校）；University of Central Florida（中央佛罗里达大学）；Dolby Laboratories（杜比实验室）
AudioMiXR利用Apple Vision Pro的6DoF操控虚拟音频对象，通过两项用户研究证明其相比2D基线显著提升可用性、降低负荷并增强创造力，为AR声音设计奠定基础。
2025-08-05 cs.HC cs.SD eess.AS
Learning Audio-Visual Dynamics Using Scene Graphs for Audio Source Separation
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mitsubishi Electric Research Labs（三菱电机研究实验室）
静态声源产生的声音和移动声源产生的声音之间存在明确的区别，特别是当声源朝向或远离麦克风移动时。在本文中，我们建议使用音频和视觉动力学之间的这种联系，同时解决两个具有挑战性的任务，即：（i）使用视觉线索从混合物中分离音频源，以及（ii）使用分离的音频预测声源的3D视觉运动。为此，我们提出了音频分离器和运动预测器（ASMP）-一个深度学习框架，它利用场景的3D结构和声源的运动来实现更好的音频声源分离。ASMP的核心是一个2.5D场景图，捕捉视频中的各种对象及其伪3D空间邻近度。该图通过将来自2D视频帧的2.5D单眼深度预测配准在一起并将2.5D场景区域与应用于这些帧的对象检测器的输出相关联来构建。ASMP任务然后被数学建模为以下联合问题：（i）递归地将2.5D场景图分割成若干子图，每个子图与输入音频混合中的组成声音（其然后被分离）相关联，以及（ii）从分离的音频预测对应声源的3D运动。为了实证评估ASMP，我们提出了两个具有挑战性的视听数据集，即音频分离在野生（ASIW）和视听事件（AVE）的实验。我们的研究结果表明，ASMP实现了声源分离质量的明显改善，优于先前的作品在两个数据集上，同时也估计的声源的运动方向比其他方法更好。
2022-10-29 cs.CV cs.LG cs.SD
Cinematic Audio Source Separation Using Visual Cues
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）；Graduate School of Artificial Intelligence, UNIST（蔚山科学技术院人工智能研究生院）
本文提出首个结合视觉信息的电影音频源分离框架AV-CASS，通过条件流匹配实现多模态音频分离，并设计专用视觉编码器提升分离质量。
2026-03-27 cs.MM cs.SD eess.AS
Sparse, Efficient, and Semantic Mixture Invariant Training: Taming In-the-Wild Unsupervised Sound Separation
Google Research（谷歌研究院）
有监督的神经网络训练在单通道声音分离方面取得了重大进展。这种方法依赖于地面实况孤立源，这排除了扩展到广泛可用的混合数据，并限制了开放域任务的进展。最近的混合不变训练（MixIT）方法可以在野外数据上进行训练;然而，它存在两个突出的问题。首先，它产生的模型往往过度分离，产生的输出源多于输入源。其次，MixIT损失的指数计算复杂度限制了可行输出源的数量。在本文中，我们解决这两个问题。为了对抗过度分离，我们引入了新的损失：稀疏性损失，有利于更少的输出源和协方差损失，不鼓励相关的输出。我们还通过预测每个混合物的弱类标签来实验语义分类损失。为了处理大量的源，我们引入了一个有效的近似使用快速最小二乘解决方案，投影到MixIT约束集。我们的实验表明，建议的损失削减过分离，提高整体性能。最佳性能是通过使用大量输出源实现的，这得益于我们高效的MixIT损耗，以及稀疏性损耗，以防止过度分离。在FUSS测试集上，我们实现了多源SI-SNR改善超过13 dB，同时将单源重建SI-SNR提高超过17 dB。
2021-10-16 cs.SD eess.AS
Exploring the User Experience of AI-Assisted Sound Searching Systems for Creative Workflows
Centre for Vision, Speech and Signal Processing, University of Surrey（视觉、语音和信号处理中心，萨里大学）；Research and Development, British Broadcasting Corporation（英国广播公司研发部）
本研究探索了基于CLAP模型的无人工标注声音搜索系统CLAP-UI，通过与BBC音效库对比实验，证明其能显著提升生产力并减少挫败感，为AI辅助声音搜索设计提供见解。
2025-04-22 cs.SD eess.AS
Impact of annotation modality on label quality and model performance in the automatic assessment of laughter in-the-wild
TU Delft（代尔夫特理工大学）；Instituto Tecnologico de Costa Rica（哥斯达黎加技术学院）
笑被认为是快乐的最明显的信号之一。笑声被公认为是一种多模态现象，但最常见的是通过感知笑声来检测。目前还不清楚当通过笑声的身体动作从视频等其他形式注释时，笑声的感知和注释有何不同。在本文中，我们在这个方向上迈出了第一步，询问是否以及如何可以注释笑声时，只有音频，只有视频（包含全身运动信息）或视听形式可供注释。我们询问笑的注释是否在模态之间是一致的，并比较标记模态对机器学习模型性能的影响。我们比较注释和模型的笑声检测，强度估计和分割，在以前的研究中常见的三个任务的笑声。我们的4000多个注释从48个注释者获得的分析揭示了证据的不一致的看法笑，其强度之间的方式。进一步分析注释对统一的视听参考注释显示，召回是较低的平均视频相比，音频条件下，但往往会增加与强度的笑声样本。我们的机器学习实验比较了最先进的单峰（基于音频、基于视频和基于加速度）和多模态模型在输入模态、训练标签模态和测试标签模态的不同组合下的性能。无论训练标签模式如何，具有视频和加速度输入的模型都具有类似的性能，这表明使用视频获取的标签来训练模型用于从身体运动中检测笑声可能是完全合适的，尽管它们的评分者间一致性较低。
2022-11-02 cs.CV cs.CY cs.LG
First-Shot Unsupervised Anomalous Sound Detection With Unknown Anomalies Estimated by Metadata-Assisted Audio Generation
University of Technology Sydney（悉尼科技大学）；University of Surrey（萨里大学）
针对DCASE 2023挑战赛任务2的首次无监督异常声音检测难题，提出元数据辅助音频生成估计未知异常、结合TWFR-GMM主干的FS-TWFR-GMM方法，以极少参数取得顶尖性能。
2024-03-11 cs.SD eess.AS
Indian EmoSpeech Command Dataset: A dataset for emotion based speech recognition in the wild
Bharati Vidyapeeth’s College of Engineering（巴拉蒂维迪亚佩思工程学院）；Indian Institute of Information Technology, Sri City（斯里城印度信息技术学院）
语音情感分析是一项重要的任务，它进一步实现了几个应用用例。言语中的非言语声音在言语情感分析中也起着关键作用。由于智能手机的广泛使用，通过利用设备上的机器学习模型来分析使用麦克风捕获的语音命令以用于情感理解变得可行。非语言信息包括描述周围环境的类型、当前情况和正在进行的活动的环境背景声音。在这项工作中，我们认为口头（语音命令）和非口头的声音（背景噪音）在现实生活中的情况下的情绪分析的话语。我们为这项任务创建了一个本地数据集，即“印度语语音命令数据集”。它包含具有不同情感和背景声音的关键字，旨在探索音频分析中的新挑战。我们详尽地比较了语音命令的几个性能指标的情感分析与各种基线模型。我们证明，我们实现了一个显着的平均增益为3.3%的前一个分数超过一个子集的语音命令数据集的关键字定位。
2019-10-18 cs.MM cs.SD eess.AS
Action2Sound: Ambient-Aware Generation of Action Sounds from Egocentric Videos
University of Texas at Austin（得克萨斯大学奥斯汀分校）；FAIR, Meta（Meta FAIR研究院）
针对视频与音频弱对应导致生成不受控环境音或幻觉的问题，提出环境感知音频生成模型AV-LDM，通过解耦前景动作音与环境音并利用检索增强生成，在Ego4D等数据集上实现了与视觉内容语义和时间匹配的可控音频生成。
2024-07-25 cs.AI cs.CV cs.SD
An Attention-Assisted AI Model for Real-Time Underwater Sound Speed Estimation Leveraging Remote Sensing Sea Surface Temperature Data
Faculty of Information Science and Engineering, Ocean University of China（中国海洋大学信息科学与工程学部）；School of Environmental Science and Engineering, Ocean University of China（中国海洋大学环境科学与工程学院）
本文提出一种结合注意力机制的多模态数据融合卷积神经网络，用于实时估计水下声速剖面，通过提取远程感应海面温度数据与历史声速剖面特征之间的关系，提升估计精度和鲁棒性。
2026-08-31 cs.SD eess.SP
Assisted Sound Sample Generation with Musical Conditioning in Adversarial Auto-Encoders
Institut de Recherche et Coordination Acoustique-Musique (IRCAM)（声学与音乐研究协作研究所（IRCAM））；CNRS（法国国家科学研究中心）；UPMC - Sorbonne Universite（巴黎第六大学-索邦大学）
生成模型在计算机视觉中蓬勃发展，实现了前所未有的图像处理。然而，音频方面的成果仍然不那么先进。我们的项目目标是从一组精简的高级参数中进行实时声音合成，包括可以适应不同声音库和特定标签的语义控制。这些生成变量应该允许目标音乐品质的表达调制，并不断混合成新的风格。在这个程度上，我们训练AE的管弦乐数据库的个人注意到样本，以及他们的内在属性：注意类，音色域和扩展的演奏技术。我们调节解码器以控制渲染的音符属性，并使用潜在的对抗训练来学习最终可以混合的表达风格参数。我们评估生成性能和潜在的代表性。我们的消融研究证明了音乐条件反射机制的有效性。该模型从任何概率潜在代码样本中生成音符作为幅度谱图，并对管弦乐音色和演奏风格进行表达控制。其训练数据子集可以直接在3D潜在表示中可视化。波形渲染可以用GLA离线完成。为了允许实时交互，我们使用预训练的MCNN微调解码器，并将完整的波形生成管道嵌入插件中。此外，编码器可以用于处理新的输入样本，在操纵它们的潜在属性表示之后，解码器可以像音频效果那样生成样本变化。我们的解决方案仍然是相当快的训练，它可以直接应用于其他声音领域，包括用户的库与自定义的声音标签，可以映射到特定的生成控制。因此，它促进了创造力和直观的音频风格实验。
2019-06-22 cs.LG cs.SD eess.AS
DiveSound: LLM-Assisted Automatic Taxonomy Construction for Diverse Audio Generation
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）
针对音频生成缺乏多样性评估的问题，提出DiveSound框架，利用大语言模型和多模态对比表示自动构建具有类内多样分类体系的数据集，实验证明视觉信息引导可显著提升生成多样性。
2024-07-18 cs.SD eess.AS
CLIPSep: Learning Text-queried Sound Separation with Noisy Unlabeled Videos
Sony Group Corporation（索尼集团公司）；University of California San Diego（加州大学圣地亚哥分校）
近年来，已经看到了超越语音或音乐的特定领域的声音分离朝着任意声音的通用声音分离的进展。关于通用声音分离的现有工作已经研究了在给定文本查询的情况下从音频混合中分离出目标声音。这样的文本查询声音分离系统提供用于指定任意目标声音的自然且可缩放的接口。然而，有监督的文本查询声音分离系统需要昂贵的标记的音频文本对进行训练。此外，现有数据集中提供的音频通常是在受控环境中记录的，这导致了与野外嘈杂音频的相当大的泛化差距。在这项工作中，我们的目标是通过只使用未标记的数据来接近文本查询的通用声音分离。我们建议利用视觉模态作为桥梁，学习所需的音频文本对应。CLIPSep模型首先使用对比语言-图像预训练（CLIP）模型将输入查询编码成查询向量，然后使用查询向量调节音频分离模型以分离出目标声音。虽然模型是在从未标记的视频中提取的图像-音频对上训练的，但在测试时，我们可以在zero-shot设置中使用文本输入查询模型，这要归功于CLIP模型学习的联合语言-图像嵌入。此外，野外视频通常包含屏幕外声音和背景噪声，这可能会阻碍模型学习所需的音频-文本对应关系。为了解决这个问题，我们进一步提出了一种称为噪声不变训练的方法，用于在噪声数据上训练基于查询的声音分离模型。实验结果表明，所提出的模型成功地学习文本查询的通用声音分离只使用嘈杂的未标记的视频，甚至在某些设置中实现对监督模型的竞争性能。
2023-03-03 cs.CV cs.LG cs.MM
Sound Localization by Self-Supervised Time Delay Estimation
University of Michigan（密歇根大学）
声音到达立体声对中的一个麦克风比另一个更快，导致两耳间的时间延迟，从而传达它们的方向。估计声音的时间延迟需要找到每个麦克风记录的信号之间的对应关系。我们建议通过自我监督来学习这些对应关系，借鉴视觉跟踪的最新技术。我们采用Jabri等人的对比随机游走，从未标记的立体声中学习周期一致的表示，从而产生一个模型，该模型与“野外”互联网录音的监督方法不相上下。我们还提出了一个多模态对比学习模型，解决了视觉引导的定位任务：估计时间延迟为一个特定的人在多扬声器混合，给定的视觉表示他们的脸。项目网址：https://ificl.github.io/stereocrw/
2023-01-28 cs.CV cs.SD eess.AS
SoundNet: Learning Sound Representations from Unlabeled Video
MIT（麻省理工学院）
我们通过利用在野外收集的大量未标记的声音数据来学习丰富的自然声音表示。我们利用视觉和声音之间的自然同步，使用200万个未标记的视频来学习声学表示。未标记的视频的优势在于它可以大规模经济地获取，但包含有关自然声音的有用信号。我们提出了一个学生-教师的培训过程，将歧视性的视觉知识从建立良好的视觉识别模型转换为声音模态，使用未标记的视频作为桥梁。我们的声音表示产生了显着的性能改进的声学场景/对象分类的标准基准上的最先进的结果。可视化表明，一些高级语义自动出现在声音网络中，即使它是在没有地面真值标签的情况下训练的。
2016-10-27 cs.CV cs.LG cs.SD
A Multimodal Prototypical Approach for Unsupervised Sound Classification
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；New York University（纽约大学）
针对零样本音频分类性能受限问题，提出利用局部音频-文本嵌入构建质心原型的无监督多模态方法，并在三个基准上平均提升12%。
2023-08-17 cs.SD eess.AS
Towards computer-assisted understanding of dynamics in symphonic music
Johannes Kepler University（约翰内斯·开普勒大学）；Austrian Research Institute for Artificial Intelligence（奥地利人工智能研究所）
许多人喜欢古典交响乐。其多样化的乐器带来了丰富的聆听体验。这种多样性增加了指挥家根据自己的想象塑造声音的表达自由。因此，同一件作品可能听起来完全不同，从一个指挥到另一个。对于听者来说，理解上的差异可能是主观上明显的，但有时很难确定，大概是因为声音的声学复杂性。我们描述了一个计算模型，解释动力学-表现响度变化的表现-在乐谱方面，突出表现同一件作品之间的差异。我们通过实验证明，该模型具有预测能力，并给出了使用该模型作为解释工具发现的导体ideosyncrasies的例子。虽然目前的模式仍处于积极的发展，它可能铺平了道路，以消费者为导向的同伴互动古典音乐的理解。
2016-12-13 cs.MM cs.SD
WildMix Dataset and Spectro-Temporal Transformer Model for Monoaural Audio Source Separation
Carnegie Mellon University（卡内基梅隆大学）；Singapore University of Technology and Design（新加坡科技设计大学）
单声道音频声源分离是机器学习中具有挑战性的研究领域。在这方面，一个混合包含多个音频源，并期望一个模型来解开的混合成孤立的原子源。在本文中，我们首先介绍了一个具有挑战性的新数据集的单声道声源分离称为WildMix。WildMix的设计目标是将声源分离的边界扩展到该领域以前的数据集所允许的范围之外。它包含来自25个不同声音类别的各种野外录音，使用任意合成策略相互组合。声源分离通常需要在时域和谱域中对长程相关性进行建模。为此，我们引入了一种新的transnformer为基础的模型称为频谱时间Transformer（STT）。STT使用一个专门的编码器，称为频谱时间编码器（STE）。STE突出时间和频谱成分的混合物内的来源，使用自我注意机制。它随后以等级的方式解开它们。在我们的实验中，STT在具有挑战性的WildMix数据集上迅速优于单耳声源分离的各种先前基线。
2019-11-21 cs.LG cs.SD eess.AS
How to Listen? Rethinking Visual Sound Localization
New York University（纽约大学）；Descript, Inc.（Descript公司）
定位视觉声音包括定位图像中发出声音的对象的位置。它是一个不断发展的研究领域，在监测自然和城市环境，如野生动物迁徙和城市交通方面具有潜在的应用。以前的工作通常使用主要具有单个主导可见对象的数据集进行评估，并且所提出的模型通常需要在训练或专用采样策略期间引入本地化模块，但目前尚不清楚这些设计选择如何在更具挑战性的场景中对这些方法的适应性发挥作用。在这项工作中，我们分析了各种模型的选择视觉声音定位和讨论他们的不同组件如何影响模型的性能，即编码器的架构，损失函数和定位策略。此外，我们通过挖掘跨越不同困难和特征的不同评估数据集，研究这些决策，模型性能和数据之间的相互作用，并讨论这些决策在实际应用中的影响。我们的代码和模型权重是开源的，可用于进一步的应用。
2022-04-11 cs.SD eess.AS
A dataset for Audio-Visual Sound Event Detection in Movies
University of Southern California（南加州大学）
音频事件检测是一项被广泛研究的音频处理任务，其应用范围从自动驾驶汽车到医疗保健。Audioset等野外数据集推动了这一领域的研究。然而，许多努力通常涉及手动注释和验证，这对于大规模执行来说是昂贵的。电影描绘了各种现实生活和虚构的场景，这使得它们成为挖掘各种音频事件的丰富资源。在这项工作中，我们提出了一个数据集的音频事件称为字幕对齐的电影声音（SAM-S）。我们使用公开的封闭字幕转录自动挖掘超过110 K音频事件从430部电影。我们确定了三个维度来对音频事件进行分类：声音，来源，质量，并提出了产生245种声音的最终分类所涉及的步骤。我们讨论了生成分类法所涉及的选择，并强调了我们数据集中声音的以人为本的性质。我们建立了一个基线性能为34.76%的平均平均精度的音频声音分类，并表明，将视觉信息可以进一步提高性能约5%。数据和代码可在https://github.com/usc-sail/mica-subtitle-aligned-movie-sounds上进行研究
2023-02-14 cs.LG cs.SD eess.AS
SoundBrush: Sound as a Brush for Visual Scene Editing
POSTECH（浦项科技大学）；Inha University（仁荷大学）；Yonsei University（延世大学）
SoundBrush 提出以声音为画笔编辑视觉场景，通过将音频特征映射到 Latent Diffusion Model 的文本空间，实现声音驱动的 2D 和 3D 场景编辑，并能保留原始内容、插入发声物体。
2024-12-31 cs.CV cs.LG cs.SD
Bioacoustic Geolocation: Species Sounds as Geographic Signals
University of Massachusetts, Amherst（马萨诸塞大学阿姆赫斯特分校）
本文研究仅通过声音进行全球尺度地理定位，利用生物声学信号中的物种地理分布线索，提出结合物种范围预测与检索的地理定位方法，并验证多模态融合的潜力。
2026-06-19 cs.LG cs.SD eess.AS
BAT: Learning to Reason about Spatial Sounds with Large Language Models
Shanghai Jiao Tong University（上海交通大学）
该研究提出结合Spatial-AST与LLaMA-2 7B的BAT模型，通过合成数据集训练，实现了超越SELD任务的空间声音感知与推理，展现了LLM在空间音频领域的应用潜力。
2026-08-17 cs.AI cs.CL cs.SD
CineDub: Scaling End-to-End Video Dubbing to Multi-Speaker Dialogues with Coherent Sound Effects
Monash University（莫纳什大学）；University of Chinese Academy of Sciences（中国科学院大学）；Tsinghua University（清华大学）
本研究提出基于扩散模型的统一架构CineDub，无需人脸裁剪或说话人分割即可实现精准多说话人对话配音，还引入两项训练策略并发布两个野外基准，在相关任务中取得最优性能。
2026-08-18 cs.MM cs.SD eess.AS
ReCLAP: Improving Zero Shot Audio Classification by Describing Sounds
University of Maryland（马里兰大学）；Adobe Research（奥多比研究院）
本研究提出ReCLAP模型与提示增强方法，通过用声音描述性特征替代抽象标签的提示方式，显著提升零样本音频分类及多模态检索性能。
2024-09-13 cs.CL cs.SD eess.AS
Unsupervised Sound Separation Using Mixture Invariant Training
Google Research（谷歌研究院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
近年来，使用深度神经网络的监督训练在单通道声音分离问题上取得了快速进展。在这种监督方法中，模型被训练以从通过将孤立的地面实况源相加而创建的合成混合物中预测分量源。依赖这种合成训练数据是有问题的，因为良好的性能取决于训练数据与真实世界音频之间的匹配程度，特别是在声学条件和源分布方面。声学特性可能难以准确模拟，并且声音类型的分布可能难以复制。在本文中，我们提出了一种完全无监督的方法，混合不变训练（MixIT），它只需要单通道声学混合。在MixIT中，通过将现有混合物混合在一起来构建训练示例，并且模型将它们分离成可变数量的潜在源，以便可以重新混合分离的源以近似原始混合物。我们表明，MixIT可以实现有竞争力的性能相比，监督的语音分离方法。在半监督学习设置中使用MixIT可以实现无监督域自适应和从大量真实数据中学习，而无需地面真实源波形。特别是，我们显着提高混响语音分离性能，通过将混响混合物，训练的语音增强系统从嘈杂的混合物，并提高通用的声音分离，通过将大量的野生数据。
2020-10-24 cs.LG cs.SD eess.AS
A Semantically Consistent Dataset for Data-Efficient Query-Based Universal Sound Separation
Department of Computer Science and Technology, Institute for AI, BNRist, Tsinghua University, Beijing, China（计算机科学与技术系，人工智能研究所，BNRist，清华大学，北京，中国）；Shanda AI Research Tokyo（莎莎人工智能研究东京）；IDG/McGovern Institute for Brain Research, Tsinghua University, Beijing, China（IDG/麦戈文脑研究 institute，清华大学，北京，中国）；Johns Hopkins University（约翰霍普金斯大学）；Chinese Institute for Brain Research (CIBR), Beijing, China（中国脑研究 institute（CIBR），北京，中国）
提出自动管道通过语义一致合成协议消除事件共现，构建高质量合成数据集Hive，使模型在数据量极小的情况下达到与大规模训练模型相当的分离精度和泛化能力。
2026-06-02 cs.HC cs.SD
Speaker Placement Agnosticism: Improving the Distance-based Amplitude Panning Algorithm
University of California, San Diego（加利福尼亚大学圣迭戈分校）
洛修斯等al介绍了基于距离的幅度平移算法（DBAP），以实现艺术和科学背景下扬声器放置的灵活性。该算法允许2D平面中的任意扬声器位置，使得虚拟声源可以导航2D空间。每个扬声器的增益计算为源到每个扬声器的距离的函数，从而创建声场。这给听众的印象是一个源移动通过扬声器的领域。本文介绍了一个开发的DBAP强大的变化，纠正错误的假设，在实施Lossius。具体而言，本文开发了一种方法，用于扬声器领域外的声源，其中Lossius版本产生失真的听觉印象和各种扬声器的增益中的空间不连续性引起的剧烈波动的幅度。在平滑虚拟源的空间印象中，我们还能够完全消除凸包的计算，这是原始实现的必要组成部分。这大大简化和减少了二维或三维空间所需的计算。
2021-09-17 cs.SD eess.AS
FOLEY-VAE: Generación de efectos de audio para cine con inteligencia artificial
Universidad Politécnica de Madrid（马德里理工大学）
本研究提出基于变分自编码器的FOLEY-VAE接口，利用自然声音训练实现实时拟音效果生成与潜变量交互修改，并成功应用于首部AI辅助音效的西班牙短片创作，展现了该技术在电影行业的变革潜力。
2023-10-24 cs.SD eess.AS
Sound2Vision: Generating Diverse Visuals from Audio through Cross-Modal Latent Alignment
POSTECH（浦项科技大学）；KAIST（韩国科学技术院）；Yonsei University（延世大学）
本研究提出Sound2Vision跨模态生成方法，通过音视频模态对齐将音频特征转换到视觉潜空间以生成图像，结合声源定位提升质量，在多个数据集上表现优于现有方法且具备良好泛化性。
2024-12-09 cs.CV cs.MM cs.SD
Self-Supervised Generation of Spatial Audio for 360 Video
UC San Diego（加州大学圣地亚哥分校）；Adobe Research（奥多比研究院）
我们介绍了一种方法来转换单声道音频记录的360视频摄像机到空间音频，在整个观看范围内的声音分布的表示。空间音频是沉浸式360视频观看的重要组成部分，但空间音频麦克风在当前360视频制作中仍然很少见。我们的系统由端到端可训练的神经网络组成，该网络将单个声源分离并将其定位在观看范围内，以音频和360视频帧的多模态分析为条件。我们介绍了几个数据集，其中一个是我们自己拍摄的，另一个是从YouTube上收集的，由360个上传有空间音频的视频组成。在训练过程中，地面实况空间音频作为自我监督，混合的单声道形成了我们网络的输入。使用我们的方法，我们表明，它是可以推断的声源的空间位置仅基于360视频和单声道音轨。
2018-09-07 cs.CV cs.LG cs.MM
In-the-wild Audio Spatialization with Flexible Text-guided Localization
State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）
本文提出文本引导的音频空间化框架TAS，并构建包含37.6万样本的SpatialTAS数据集，通过文本提示实现对双耳音频空间位置的灵活交互式控制，在模拟与真实数据上均优于现有方法。
2025-06-01 cs.AI cs.SD eess.AS
TAU: A Benchmark for Cultural Sound Understanding Beyond Semantics
National Taiwan University（国立台湾大学）；University of Toronto（多伦多大学）
针对现有音频语言模型评估忽略文化独特声音的问题，本文提出收录台湾日常声音地标的TAU基准，构建了仅靠转录无法解答的问答数据，实验发现先进模型表现远低于本地人，凸显本地化基准对公平评估的价值。
2025-09-30 cs.CL cs.LG cs.SD
Reference-Driven Multi-Speaker Audio Scene Generation from In-the-Wild Priors
Lightricks；Tel Aviv University（特拉维夫大学）
提出ScenA方法，利用预训练的文本到音频流匹配基础模型，通过多参考声音和自然语言提示生成多说话人音频场景，并采用高噪声偏置时间步分布解决参考捷径问题，在CoVoMix2-Dialogue基准上优于现有系统。
2026-06-18 cs.AI cs.CV cs.SD
