Visual Scene Graphs for Audio Source Separation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
用于视觉引导的音频声源分离的现有技术方法通常假定具有特征声音的源，诸如乐器。这些方法通常忽略这些声源的视觉背景，或者避免对可能有助于更好地表征声源的对象交互进行建模，特别是当相同的对象类可能从不同的交互产生不同的声音时。为了解决这个具有挑战性的问题，我们提出了视听场景图分割器（AVSGS），这是一种新型的深度学习模型，它将场景的视觉结构嵌入为图，并将该图分割成子图，每个子图与通过共同分割音频频谱图获得的唯一声音相关联。在其核心，AVSGS使用递归神经网络，使用多头注意力发出视觉图的相互正交的子图嵌入。这些嵌入用于调节音频编码器-解码器朝向声源分离。我们的管道通过一个自我监督的任务进行端到端的训练，该任务包括使用视觉图将音频源与人工混合的声音分离。在本文中，我们还介绍了一个“在野外”的视频数据集的声音声源分离，其中包含多个非音乐源，我们称之为音频分离在野外（ASIW）。该数据集改编自AudioCaps数据集，为声源分离提供了一个具有挑战性的、自然的日常环境。在所提出的ASIW和标准MUSIC数据集上进行的彻底实验表明，我们的方法与最近的现有方法相比具有最先进的声音分离性能。
2021-09-24 cs.AI cs.CV cs.LG
Text Prompt is Not Enough: Sound Event Enhanced Prompt Adapter for Target Style Audio Generation
SDU-ANU Joint Science College, Shandong University（山东大学SDU-ANU联合科学学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tsinghua University（清华大学）；AI Lab, Tencent（腾讯AI实验室）
针对现有文本提示音频生成方法难以捕捉多风格细节的问题，提出声音事件增强提示适配器，通过交叉注意力提取风格嵌入并结合自适应层归一化实现风格控制，构建SERST数据集，性能超越多个主流模型。
2024-09-14 cs.AI cs.SD eess.AS
An Enhanced Audio Feature Tailored for Anomalous Sound Detection Based on Pre-trained Models
University of Science and Technology of China（科学技术大学）；National Intelligent Voice Innovation Center（国家智能语音创新中心）；iFLYTEK Research（iFLYTEK研究院）
本文针对机器异常声音检测中异常位置不确定和冗余信息干扰问题，提出均匀间隔滤波器组特征及基于预训练模型的无参数特征增强方法，并在DCASE 2024数据集上显著提升ASD性能。
2025-08-21 cs.LG cs.SD eess.AS
Soundata: A Python library for reproducible use of audio datasets
New York University（纽约大学）；Adobe Research（奥多比研究院）；Universitat Pompeu Fabra（庞培法布拉大学）
Soundata是一个Python库，用于以标准化的方式加载和处理音频数据集，消除了在每个项目中编写自定义加载器的需要，并通过提供工具来验证数据的可重复性。它通过允许用户快速下载数据集，以标准化和可复制的方式将其加载到内存中，验证数据集的完整性和正确性等来加快研究流程。Soundata基于mirdata并受到其启发，通过与环境声音，生物声学和语音数据集等合作来补充mirdata。Soundata的创建是为了易于使用，易于贡献，并以灵活的方式提高声音数据集的可重复性和标准化使用。
2021-10-04 cs.DB cs.LG cs.SD
Audio Flamingo Sound-CoT Technical Report: Improving Chain-of-Thought Reasoning in Sound Understanding
NVIDIA（英伟达）
本文提出声音思维链基准 AF-Reasoning-Eval 和含 124 万样本的训练集 AF-CoT-Train，通过微调 Audio Flamingo 系列模型验证思维链推理能显著提升声音理解能力。
2025-08-15 cs.LG cs.SD
What's Making That Sound Right Now? Video-centric Audio-Visual Localization
Seoul National University（首尔国立大学）
针对现有视听定位忽略时间动态和简化场景的问题，提出视频中心基准AVATAR和模型TAVLO，通过高分辨率时间建模实现稳健精确的视听对齐，确立新标准。
2025-07-08 cs.AI cs.CV cs.MM
AudioScape-TTA: A Structured Soundscape Benchmark for Fine-Grained Text-to-Audio Evaluation
针对现有TTA评估基准缺乏细粒度语义洞察的问题，提出AudioScape-TTA基准及基于评分标准的评估框架，通过2258个音频-文本对等数据验证TTA模型的多项局限，其评估更贴合人类判断。
2026-08-06 cs.AI cs.SD
Spatio-Temporal Audio Language Modeling for Dynamic Sound Sources
POSTECH（浦项科技大学）；Sony AI（索尼AI）；Sony Group Corporation（索尼集团）；Sungkyunkwan University（成均馆大学）；KAIST（韩国科学技术院）
提出ST-AudioLM模型，通过时空音频编码器联合学习事件语义与源轨迹，在ST-AudioQA基准上提升动态声源问答的语义-定位权衡。
2026-10-28 cs.AI cs.CL cs.SD
Learning Sound Event Classifiers from Web Audio with Noisy Labels
Universitat Pompeu Fabra（庞培法布拉大学）；Google, Inc.（谷歌公司）
随着声音事件分类向更大的数据集发展，标签噪声问题变得不可避免。网站可以提供大量的用户贡献的音频和元数据，但是从这些元数据中推断标签会引入错误，这是由于不可靠的输入和映射中的限制。然而，很少有人研究这些错误的影响。为了促进对声音事件分类中标签噪声的研究，我们提出了FSDnoisy18k，这是一个包含20个声音类别的42.5小时音频的数据集，包括少量手动标记的数据和大量真实世界的噪声数据。我们根据经验表征标签噪声，并提供了一个CNN基线系统。实验表明，使用大量噪声数据进行训练可以胜过使用少量仔细标记数据进行训练。我们还表明，噪声鲁棒的损失函数可以有效地提高性能，在存在损坏的标签。
2019-03-07 cs.LG cs.SD eess.AS
CLIPSep: Learning Text-queried Sound Separation with Noisy Unlabeled Videos
Sony Group Corporation（索尼集团公司）；University of California San Diego（加州大学圣地亚哥分校）
近年来，已经看到了超越语音或音乐的特定领域的声音分离朝着任意声音的通用声音分离的进展。关于通用声音分离的现有工作已经研究了在给定文本查询的情况下从音频混合中分离出目标声音。这样的文本查询声音分离系统提供用于指定任意目标声音的自然且可缩放的接口。然而，有监督的文本查询声音分离系统需要昂贵的标记的音频文本对进行训练。此外，现有数据集中提供的音频通常是在受控环境中记录的，这导致了与野外嘈杂音频的相当大的泛化差距。在这项工作中，我们的目标是通过只使用未标记的数据来接近文本查询的通用声音分离。我们建议利用视觉模态作为桥梁，学习所需的音频文本对应。CLIPSep模型首先使用对比语言-图像预训练（CLIP）模型将输入查询编码成查询向量，然后使用查询向量调节音频分离模型以分离出目标声音。虽然模型是在从未标记的视频中提取的图像-音频对上训练的，但在测试时，我们可以在zero-shot设置中使用文本输入查询模型，这要归功于CLIP模型学习的联合语言-图像嵌入。此外，野外视频通常包含屏幕外声音和背景噪声，这可能会阻碍模型学习所需的音频-文本对应关系。为了解决这个问题，我们进一步提出了一种称为噪声不变训练的方法，用于在噪声数据上训练基于查询的声音分离模型。实验结果表明，所提出的模型成功地学习文本查询的通用声音分离只使用嘈杂的未标记的视频，甚至在某些设置中实现对监督模型的竞争性能。
2023-03-03 cs.CV cs.LG cs.MM
Learning Audio-Visual Dynamics Using Scene Graphs for Audio Source Separation
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mitsubishi Electric Research Labs（三菱电机研究实验室）
静态声源产生的声音和移动声源产生的声音之间存在明确的区别，特别是当声源朝向或远离麦克风移动时。在本文中，我们建议使用音频和视觉动力学之间的这种联系，同时解决两个具有挑战性的任务，即：（i）使用视觉线索从混合物中分离音频源，以及（ii）使用分离的音频预测声源的3D视觉运动。为此，我们提出了音频分离器和运动预测器（ASMP）-一个深度学习框架，它利用场景的3D结构和声源的运动来实现更好的音频声源分离。ASMP的核心是一个2.5D场景图，捕捉视频中的各种对象及其伪3D空间邻近度。该图通过将来自2D视频帧的2.5D单眼深度预测配准在一起并将2.5D场景区域与应用于这些帧的对象检测器的输出相关联来构建。ASMP任务然后被数学建模为以下联合问题：（i）递归地将2.5D场景图分割成若干子图，每个子图与输入音频混合中的组成声音（其然后被分离）相关联，以及（ii）从分离的音频预测对应声源的3D运动。为了实证评估ASMP，我们提出了两个具有挑战性的视听数据集，即音频分离在野生（ASIW）和视听事件（AVE）的实验。我们的研究结果表明，ASMP实现了声源分离质量的明显改善，优于先前的作品在两个数据集上，同时也估计的声源的运动方向比其他方法更好。
2022-10-29 cs.CV cs.LG cs.SD
Region-Specific Audio Tagging for Spatial Sound
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey, UK（视觉、语音和信号处理中心（CVSSP），英国萨里大学）；Tencent AI Lab, Bellevue, WA, USA（腾讯AI实验室，美国西雅图）；Department of Computer Science and Technology, University of Science and Technology Beijing, China（北京科技大学计算机科学与技术系）；The Chinese University of Hong Kong (CUHK)（香港中文大学）
本文提出区域特定音频标记任务，为空间音频中指定区域标注声学事件，并扩展PANNs和AST等系统，实验验证了其可行性和方向特征的有效性。
2025-09-11 cs.SD eess.AS
RaDur: A Reference-aware and Duration-robust Network for Target Sound Detection
Peking University（北京大学）；University of Surrey（萨里大学）
目标声音检测（TSD）的目的是从给定参考信息的混合音频中检测出目标声音。以前的方法使用条件网络从参考音频中提取声音区分嵌入，然后使用它从混合音频中检测目标声音。然而，当使用不同的参考音频时，网络的表现差异很大（例如，对于有噪声和短持续时间的参考音频表现不佳），并且倾向于对瞬态事件（即，短于$1$秒）做出错误的决定。为了克服这些问题，在本文中，我们提出了一个参考感知和持续时间鲁棒网络（RaDur）的TSD。更具体地说，为了使网络更好地了解参考信息，我们提出了一个嵌入增强模块，在生成嵌入时考虑混合音频，并应用注意力池来增强目标声音相关帧的特征，削弱噪声帧的特征。此外，提出了一个持续时间鲁棒的焦点损失，以帮助模型不同的持续时间的事件。为了评估我们的方法，我们建立了两个基于UrbanSound和Audioset的TSD数据集。大量的实验表明了我们的方法的有效性。
2022-04-05 cs.SD eess.AS
Multi-label Open-set Audio Classification
New Jersey Institute of Technology（新泽西理工学院）
本研究针对多音轨音频中声音事件重叠的场景，通过创建包含不同未知类别分布的数据集并评估基线方法，确立了多标签开集音频分类问题。
2023-10-20 cs.SD eess.AS
DnR-nonverbal: Cinematic Audio Source Separation Dataset Containing Non-Verbal Sounds
LY Corporation（LY公司）
针对电影音频源分离中笑声、尖叫等非语言人声被误分为音效的问题，本文构建 DnR-nonverbal 数据集，并验证其可提升合成与真实电影音频中的分离效果。
2025-06-09 cs.SD eess.AS
Sound Model Factory: An Integrated System Architecture for Generative Audio Modelling
National University of Singapore（新加坡国立大学）
我们介绍了一种新的数据驱动音频声音模型设计系统，该系统围绕两种不同的神经网络架构构建，即生成对抗网络（GAN）和递归神经网络（RNN），该系统利用每种网络的独特特性来实现系统目标，而这两种网络都无法单独解决。该系统的目标是生成交互式可控的声音模型，给定（a）模型应该能够合成的声音范围，以及（b）用于导航该声音空间的参数控制的规范。声音的范围由设计者提供的数据集定义，而导航手段由数据标签的组合和从GAN学习的潜在空间中选择的子流形定义。我们提出的系统利用了GAN丰富的潜在空间，该空间由声音组成，这些声音填补了”真实数据“声音之间的空间。然后，来自GAN的这种增强数据用于训练RNN，以使其能够立即并连续地响应参数变化，并在无限的时间段内生成音频。此外，我们开发了一种自组织映射技术，用于“平滑”GAN的潜在空间，从而在音频音色之间实现感知上平滑的插值。我们通过用户研究来验证这个过程。该系统对生成声音模型设计的现有技术做出了贡献，该生成声音模型设计包括系统配置和组件，用于改进插值以及将音频建模能力扩展到音高和乐器声音之外到更复杂的音频纹理空间。
2022-06-27 cs.NE cs.SD eess.AS
SoundCollage: Automated Discovery of New Classes in Audio Datasets
KAIST（韩国科学技术院）；Nokia Bell Labs（诺基亚贝尔实验室）；University of Glasgow（格拉斯哥大学）
SoundCollage框架通过音频预处理和自动注释机制在音频数据集中发现新类别，并引入清晰度度量评估类别连贯性，使下游分类准确率提升高达34.7%。
2025-01-20 cs.SD eess.AS
The Cocktail Fork Problem: Three-Stem Audio Separation for Real-World Soundtracks
MERL（三菱电机研究实验室）
鸡尾酒会问题旨在分离复杂声学场景中的任何感兴趣的源，并且长期以来一直激发音频源分离研究。最近的努力主要集中在从噪声中分离语音，从语音中分离语音，将乐器彼此分离，或将声音事件彼此分离。然而，分离音频混合（例如，电影原声带）分为语音、音乐和声音效果（理解为包括环境噪声和自然声音事件）这三大类，尽管有广泛的潜在应用，但在很大程度上还没有被探索。本文将此任务形式化为鸡尾酒叉子问题，并提出了Divide and Remaster（DnR）数据集以促进对该主题的研究。DnR是由三个成熟的音频数据集（LibriSpeech，FMA，FSD 50 k）构建的，在源重叠和相对响度方面，注意再现类似于专业制作内容的条件，并以CD质量提供。我们基准的标准源分离算法的DnR，并进一步引入一个新的多分辨率模型，以更好地解决各种声学特性的三种源类型。我们最好的模型产生的SI-SDR的改善超过11.0 dB的音乐，11.2 dB的语音和10.8 dB的声音效果的混合。
2022-03-24 cs.SD eess.AS
A SOUND APPROACH: Using Large Language Models to generate audio descriptions for egocentric text-audio retrieval
University of Oxford（牛津大学）；University of Cambridge（剑桥大学）；University of Tübingen（蒂宾根大学）
本文提出利用LLM从视频-文本数据生成以音频为中心的描述，并构建三个自我中心文本-音频检索基准，显著提升零样本检索性能。
2024-02-29 cs.IR cs.SD eess.AS
Audio-Visual Spatial Integration and Recursive Attention for Robust Sound Source Localization
Kyung Hee University（庆熙大学）
针对声源定位中音频空间线索利用不足的问题，提出整合视听空间线索的网络与递归注意力机制，并设计两种损失以实现更鲁棒的定位。
2023-08-18 cs.AI cs.CV cs.MM
AudioCapBench: Quick Evaluation on Audio Captioning across Sound, Music, and Speech
Salesforce AI Research（Salesforce人工智能研究）
AudioCapBench通过对比不同模型在环境声音、音乐和语音描述任务中的表现，评估了大模型的音频描述能力，揭示Gemini模型在整体质量上优于OpenAI模型。
2026-02-27 cs.AI cs.SD
6KSFx Synth Dataset
Centre for Digital Music（数字音乐中心）；Queen Mary University of London（伦敦玛丽女王大学）
本文提出包含6000个合成音频样本的6KSFx Synth Dataset，覆盖30个声音类别，旨在填补程序化音频领域公开数据集的空白，支持评估框架创建并推动数字声音设计研究。
2025-01-27 cs.SD eess.AS physics.data-an
DualDub: Video-to-Soundtrack Generation via Joint Speech and Background Audio Synthesis
Northwestern Polytechnical University（西北工业大学）；Centre for Vision Speech and Signal Processing, University of Surrey（视觉语音与信号处理中心，萨里大学）；AI Lab, Giant Network（巨人网络人工智能实验室）
本文提出视频到原声带（V2ST）生成新任务及统一框架DualDub，通过多模态语言模型联合生成同步的背景音频与语音，并引入DualBench基准，实现了最先进的性能。
2025-07-14 cs.MM cs.SD eess.AS
Sound of Story: Multi-modal Storytelling with Audio
Ulsan National Institute of Science and Technology（蔚山国立科学技术院）
本文提出带背景声音的故事讲述数据集SoS及跨模态检索与音频生成基准任务，以推动从声音角度理解多模态故事讲述。
2023-10-30 cs.MM cs.SD eess.AS
Enhanced Sound Event Localization and Detection in Real 360-degree audio-visual soundscapes
University of Southern California（南加州大学）
本研究基于纯音频SELDnet23模型，在GRU前融合音视频信息，并结合YOLO、DETIC检测器与视听数据增强及合成框架，构建出性能优于现有基线的增强型视听SELD系统。
2024-01-29 cs.AI cs.SD eess.AS
A General Framework for Learning Procedural Audio Models of Environmental Sounds
New Jersey Institute of Technology（新泽西理工学院）
本文介绍了程序（音频）变分自编码器（ProVE）框架作为一种通用的方法来学习程序音频PA模型的环境声音与改进的现实主义的合成，同时保持提供控制所产生的声音通过可调参数。该框架包括两个阶段：（i）音频类表示，其中通过训练音频自动编码器来定义潜在表示空间，以及（ii）控制映射，其中从音频和均匀噪声的随机样本导出的静态/时间控制变量的联合函数被学习以替换音频编码器。我们通过在各种表面上的脚步声效果的例子来演示ProVE的使用。我们的研究结果表明，ProVE模型在声音保真度方面优于经典PA模型和基于对抗的方法，如Fréchet音频距离（FAD），最大平均离散度（MMD）和主观评价所测量的，使它们成为声音设计工作流程的可行工具。
2023-03-04 cs.AI cs.SD eess.AS
Text-to-Audio Grounding: Building Correspondence Between Captions and Sound Events
Shanghai Jiao Tong University（上海交通大学）
自动音频字幕是一个跨模态的任务，生成自然语言描述来总结音频剪辑的声音事件。然而，尚未研究基于其对应的字幕将给定音频中的实际声音事件接地。本文贡献了一个AudioGrounding数据集，它提供了声音事件和Audiocaps中提供的字幕之间的对应关系，以及每个声音事件的位置（时间戳）。在此基础上，我们提出了文本到音频接地（TAG）的任务，交互地考虑音频处理和语言理解之间的关系。提供了基线方法，导致事件F1评分为28.3%，复音检测评分（PSDS）为14.7%。
2021-02-23 cs.SD eess.AS
SoundStorm: Efficient Parallel Audio Generation
Google Research（谷歌研究院）
提出 SoundStorm，一种非自回归音频生成模型，通过双向注意力和并行解码生成神经音频编解码器标记，比 AudioLM 快两个数量级且质量相同，能高效合成高质量自然对话片段。
2023-05-16 cs.LG cs.SD eess.AS
Contrastive Environmental Sound Representation Learning
University of Cambridge（剑桥大学）；Jomo Kenyatta University of Agriculture and Technology（乔莫·肯雅塔农业技术大学）
环境声音的机器听觉是音频识别领域的重要课题之一。它使机器能够区分不同的输入声音，指导其决策。在这项工作中，我们利用自监督对比技术和浅层1D CNN来提取独特的音频特征（音频表示），而不使用任何显式的annotations.We生成的表示一个给定的音频使用其原始音频波形和频谱图和评估，如果建议的学习者是不可知的类型的音频输入。我们进一步使用典型相关分析（CCA）融合表示从给定的音频的两种类型的输入，并证明了融合的全局特征的结果在鲁棒的表示的音频信号相比，单独的表示。在ESC-50和UrbanSound 8 K上对所提出的技术进行了评估。实验结果表明，该方法能够提取环境音频的大部分特征，在ESC-50和UrbanSound 8 K数据集上分别提高了12.8%和0.9%。
2022-07-18 cs.AI cs.LG cs.SD
Audiovisual transfer learning for audio tagging and sound event detection
KU Leuven（鲁汶大学）
我们研究了两个声音识别问题的迁移学习的优点，即，音频标记和声音事件检测。采用特征融合，我们调整了一个仅利用频谱声学输入的基线系统，以利用预训练的听觉和视觉特征，这些特征是从为不同任务构建的网络中提取的，并使用外部数据进行训练。我们用这些修改后的模型在视听多标签数据集上进行实验，其中训练分区包含大量未标记的样本和少量具有弱注释的剪辑，指示剪辑级存在10个声音类别，而不指定活动听觉事件的时间边界。对于基于剪辑的音频标记，这种迁移学习方法给予显着的改进。在这种情况下，在音频之上添加视觉模态也被证明是有利的。当涉及到生成音频记录的传输时，预训练特征的好处取决于所需的时间分辨率：对于粗粒度的声音事件检测，它们的实用性仍然值得注意。但是，当需要更细粒度的预测时，由于手头的问题与获得预训练向量的模型目标之间的不匹配，性能增益会大大降低。
2021-06-09 cs.LG cs.SD eess.AS
Large Scale Audiovisual Learning of Sounds with Weakly Labeled Data
Facebook Reality Labs（Facebook现实实验室）
声音识别是计算音频场景分析和机器感知的一个关键方面。在本文中，我们主张，声音识别本质上是一个多模态的视听任务，因为它是更容易区分声音使用音频和视觉形式，而不是一个或另一个。我们提出了一个视听融合模型，学习识别弱标记的视频记录的声音。建议的融合模型利用一个注意力机制，动态地结合各个音频和视觉模型的输出。在大规模声音事件数据集AudioSet上的实验证明了该模型的有效性，其性能优于单模态模型以及最先进的融合和多模态模型。我们在Audioset上实现了46.16的平均精度（mAP），超过现有技术约+4.35 mAP（相对：10.4%）。
2020-05-29 cs.LG cs.SD eess.AS
Audio representations for deep learning in sound synthesis: A review
Technological University of Dublin（都柏林理工大学）
深度学习算法的兴起导致许多研究人员放弃使用经典的信号处理方法来生成声音。深度学习模型已经实现了富有表现力的语音合成、逼真的声音纹理和来自虚拟乐器的音符。然而，最合适的深度学习架构仍在研究中。架构的选择与音频表示紧密耦合。声音的原始波形可能过于密集和丰富，以至于深度学习模型无法有效处理-复杂性增加了训练时间和计算成本。此外，它并不代表声音的方式，它被认为是。因此，在许多情况下，原始音频已经使用上采样、特征提取或甚至通过采用波形的更高级别的图示而被转换为压缩且更有意义的形式。此外，有条件的形式选择，额外的条件表示，不同的模型架构，和众多的指标，用于评估重建的声音进行了研究。本文概述了使用深度学习应用于声音合成的音频表示。此外，它还介绍了使用深度学习模型开发和评估声音合成架构的最重要方法，这些方法始终取决于音频表示。
2022-01-07 cs.LG cs.SD eess.AS
Do sound event representations generalize to other audio tasks? A case study in audio transfer learning
Facebook Reality Labs Research（Facebook Reality Labs 研究院）；Facebook Applied AI Research（Facebook 应用人工智能研究院）
迁移学习对于跨多个相关学习问题的有效信息迁移至关重要。一种简单而有效的迁移学习方法利用在大规模任务上训练的深度神经网络进行特征提取。然后，这些表示用于学习相关的下游任务。在本文中，我们研究了迁移学习能力的音频表示从神经网络训练的大规模声音事件检测数据集。我们通过一个简单的线性分类器传输机制，在广泛的其他音频任务中构建和评估这些表示。我们表明，这种简单的线性传输已经足够强大，可以在下游任务上实现高性能。我们还提供了见解的属性，使这种有效的信息传输的声音事件表示。
2021-06-21 cs.AI cs.SD eess.AS
Online Single-Channel Audio-Based Sound Speed Estimation for Robust Multi-Channel Audio Control
本文提出一种在线声音速度估计方法，利用单个麦克风在多通道音频播放中估计声音速度，以提升空间音频控制的鲁棒性。
2026-05-12 cs.SD eess.AS
Audio Captioning Using Sound Event Detection
本技术报告为DCASE 2021任务6音频字幕挑战提出了一个音频字幕系统。我们提出的模型是基于一个编码器-解码器架构与双向门控递归单元（BiGRU）使用预训练的音频功能和声音事件检测。一个预训练的神经网络（PANN）被用来提取音频特征和Word 2 Vec被选择的目的是提取词嵌入从音频字幕。为了创建语义上有意义的字幕，我们从音频片段中提取声音事件，并向编码器-解码器架构提供除了PANN功能之外的声音事件。我们在Clotho数据集上的实验表明，我们提出的方法在所有评估指标上都比挑战基线模型取得了更好的结果。
2021-10-07 cs.SD eess.AS
Learning Source Disentanglement in Neural Audio Codec
LTCI, Télécom Paris, Institut Polytechnique de Paris（法国巴黎综合理工学院 Telecom Paris 理工学院 LTCI 实验室）；CVSSP, University of Surrey（萨里大学 CVSSP 实验室）
针对现有神经音频编解码器忽略不同声音域差异导致建模复杂和生成可控性差的问题，提出结合编码与分离的SD-Codec，实现不同源的码本解耦，在保持重合成质量的同时增强可解释性与生成可控性。
2025-02-11 cs.AI cs.LG cs.SD
E-PANNs: Sound Recognition Using Efficient Pre-trained Audio Neural Networks
University of Surrey（萨里大学）
本文针对PANNs模型计算复杂度和存储需求高的问题，提出剪枝方法得到E-PANNs模型，在减少36%计算量和70%内存的同时略微提升音频标记性能。
2023-05-30 cs.AI cs.SD eess.AS
Into the Wild with AudioScope: Unsupervised Audio-Visual Separation of On-Screen Sounds
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
深度学习的最新进展使声音分离和视觉场景理解方面取得了许多进展。然而，提取自然视频中明显的声源仍然是一个悬而未决的问题。在这项工作中，我们提出了AudioScope，一种新颖的视听声音分离框架，可以在没有监督的情况下进行训练，将屏幕上的声源与真实的野外视频隔离开来。先前的视听分离工作假设了对声音类别域的人为限制（例如，语音或音乐），限制了源的数量，并需要强大的声音分离或视觉分割标签。AudioScope克服了这些限制，在开放的声音域上操作，具有可变数量的源，并且没有标签或先前的视觉分割。AudioScope的训练过程使用混合不变训练（MixIT）将合成混合物（MoM）分离为单个源，其中混合物的噪声标签由无监督的视听重合模型提供。使用嘈杂的标签，以及视频和音频特征之间的注意力，AudioScope学会识别视听相似性并抑制屏幕外的声音。我们证明了我们的方法的有效性，使用从开放域YFCC 100米视频数据中提取的视频剪辑的数据集。该数据集包含在不受约束的条件下记录的多种声音类别，使得以前的方法的应用不合适。对于评估和半监督实验，我们收集了一小部分剪辑上存在屏幕上和屏幕外声音的人类标签。
2021-05-30 cs.CV cs.SD eess.AS
Dynamical Audio-Visual Navigation: Catching Unheard Moving Sound Sources in Unmapped 3D Environments
Albert-Ludwigs-University Freiburg（弗赖堡阿尔伯特-路德维希大学）
最近的视听导航工作针对无噪声音频环境中的单一静态声音，并努力推广到听不见的声音。我们介绍了新的动态视听导航基准，其中一个具体的人工智能智能体必须抓住一个移动的声源在一个未映射的环境中存在的干扰和嘈杂的声音。我们提出了一种端到端的强化学习方法，该方法依赖于多模态架构，该架构融合了来自双耳音频信号和空间占用图的空间视听信息，以编码为我们新的复杂任务设置学习鲁棒导航策略所需的特征。我们证明，我们的方法优于当前最先进的技术，更好地推广到闻所未闻的声音和更好的鲁棒性，噪声场景上的两个具有挑战性的3D扫描的真实世界的数据集ESTA和Matterport3D，静态和动态的视听导航基准。我们的新基准将在http://dav-nav.cs.uni-freiburg.de上提供。
2022-01-12 cs.CV cs.LG cs.RO
CRASH: Raw Audio Score-based Generative Modeling for Controllable High-resolution Drum Sound Synthesis
Sony CSL（索尼计算机科学实验室）；CentraleSupélec（巴黎中央理工-高等电力学院）
在本文中，我们提出了一种新的无条件原始音频合成的分数为基础的生成模型。我们的建议建立在扩散过程建模与随机微分方程的最新发展，这已经证明了有前途的结果图像生成。我们激励新的扩散过程更适合音频生成的选择，并考虑使用一个有条件的U-网近似的分数函数。虽然以前的方法对音频的扩散模型主要是设计为语音声码器在中等分辨率，我们的方法被称为CRASH（可控的原始音频合成与高分辨率）允许我们以可控的方式产生短的44.1kHz的混响声音。通过大量的实验，我们展示了鼓的声音生成任务的众多采样方案提供了我们的方法（无条件生成，确定性生成，修复，插值，变化，类条件采样），并提出了类混合采样，一种新的方式来生成“混合”的声音。我们提出的方法缩小了与基于GAN的方法在原始音频上的差距，同时提供了更灵活的生成功能，具有更轻和更小的训练模型。
2021-06-14 cs.LG cs.SD eess.AS
Sounding Bodies: Modeling 3D Spatial Sound of Humans Using Body Pose and Audio
Shanghai AI Laboratory（上海人工智能实验室）；Meta Reality Labs Research（Meta现实实验室）
本文提出一种利用身体姿态和音频生成人体三维空间声场的模型，并构建了首个多模态数据集，实验证明其能精确生成身体诱发声场。
2023-11-01 cs.CV cs.LG cs.SD
Separating Invisible Sounds Toward Universal Audiovisual Scene-Aware Sound Separation
Michigan State University（密歇根州立大学）；University of Rochester（罗切斯特大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对现有视听声音分离方法无法处理相机视野外不可见声音的问题，提出AVSA-Sep框架，通过语义解析器和场景信息分离器，结合联合训练与跨模态对齐，成功实现可见与不可见声音的分离。
2023-10-18 cs.CV cs.SD eess.AS
Audiocards: Structured Metadata Improves Audio Language Models For Sound Design
New Jersey Institute of Technology（新泽西理工学院）；Adobe Research（Adobe研究）
Audiocards通过结构化元数据提升音频语言模型在声音设计中的性能，改进文本-音频检索和描述生成。
2026-02-14 cs.SD
Synthetic training set generation using text-to-audio models for environmental sound classification
Politecnico di Milano（米兰理工大学）
本文研究利用文本到音频模型生成合成数据训练环境声音分类系统，比较数据增强、混合训练和纯合成训练三种场景，发现文本到音频模型适合数据增强，但完全依赖合成音频会导致识别性能下降。
2024-07-07 cs.SD eess.AS eess.SP
Catch Me If You Hear Me: Audio-Visual Navigation in Complex Unmapped Environments with Moving Sounds
University of Freiburg（弗莱堡大学）
视听导航结合视觉和听觉，在未映射的环境中导航到声音发射源。虽然最近的方法已经证明了音频输入在检测和找到目标方面的好处，但它们专注于干净和静态的声源，并且难以推广到听不到的声音。在这项工作中，我们提出了一种新的动态视听导航基准，它需要在嘈杂和分散注意力的声音环境中捕捉移动声源，这带来了一系列新的挑战。我们引入了一种强化学习方法，该方法可以为这些复杂的设置学习一个强大的导航策略。为了实现这一目标，我们提出了一个架构，融合视听信息的空间特征空间学习相关的几何信息固有的本地地图和音频信号。我们证明了我们的方法在两个具有挑战性的3D扫描现实世界环境（即Matterport3D和Matterport3D）中，在移动声音、未听到的声音和嘈杂环境的所有任务中，都始终优于当前最先进的方法。该基准可在http://dav-nav.cs.uni-freiburg.de上获得。
2023-01-03 cs.CV cs.LG cs.RO
Sound Event Detection in Multichannel Audio Using Spatial and Harmonic Features
Tampere University of Technology（坦佩雷理工大学）
在本文中，我们提出了使用空间和谐波特征结合长短期记忆（LSTM）递归神经网络（RNN）的自动声音事件检测（SED）任务。现实生活中的录音通常有许多重叠的声音事件，使得很难仅用单声道音频来识别。人类听众已经成功地使用音高线索识别重叠声音事件的混合，并利用在他们的耳朵处可用的立体声（多通道）音频信号来空间定位这些事件。传统上，SED系统仅使用单声道音频，出于人类听众的动机，我们建议将其扩展为使用多声道音频。在TUT声音事件检测2016数据库的开发子集上，将所提出的SED系统与最先进的单声道方法进行比较。空间和谐波特征的使用被证明可以提高SED的性能。
2017-06-07 cs.LG cs.SD
AudioBERTScore: Objective Evaluation of Environmental Sound Synthesis Based on Similarity of Audio embedding Sequences
本文提出AudioBERTScore指标，通过结合最大范数与p-范数计算合成与参考音频嵌入序列的相似性，以客观评价文本到音频合成质量，实验证明其与主观评价值相关性优于传统指标。
2025-07-01 cs.SD eess.AS
Generating Diverse Audio-Visual 360 Soundscapes for Sound Event Localization and Detection
University of Southern California（南加州大学）；Universidad Nacional Autónoma de México（墨西哥国立自治大学）；Universidad Autónoma de Tamaulipas（塔毛利帕斯自治大学）；Queen Mary University of London（伦敦大学玛丽皇后学院）
提出SELDVisualSynth工具，结合真实背景图像生成视听空间对齐的360度合成视频，用于声事件定位与检测，显著提升模型定位召回率与误差表现。
2025-04-03 cs.SD eess.AS
DOA-Aware Audio-Visual Self-Supervised Learning for Sound Event Localization and Detection
Graduate School of Informatics, Kyoto University（京都大学情报学研究科）；National Institute of Advanced Industrial Science and Technology（独立行政法人产业技术综合研究所）；Faculty of Science and Engineering, Doshisha University（同志社大学理工学部）
针对声音事件定位与检测中标注数据不足的问题，提出DOA感知的音视频自监督预训练方法，利用无标注音视频数据通过对比学习优化音频特征，有效降低了SELD任务的误差得分。
2024-10-30 cs.AI cs.LG cs.MM
A sound description: Exploring prompt templates and class descriptions to enhance zero-shot audio classification
本文探索了零样本音频分类中的提示模板与类别描述，发现格式正确的类别标签即具竞争力，并利用大型语言模型生成音频中心描述，实现无需训练的最先进性能。
2024-09-19 cs.AI cs.SD eess.AS
Gotta Hear Them All: Towards Sound Source Aware Audio Generation
针对现有音频生成方法忽略局部声源细节导致沉浸感不足的问题，提出声源感知音频生成器SS2A，通过跨模态声源流形显式建模声源并混合语义，在图像到音频等任务中达到SOTA。
2025-08-12 cs.CV cs.MM cs.SD
Audio Simulation for Sound Source Localization in Virtual Evironment
Home Team Science and Technology Agency（内政团队科技局）
提出结合物理声音传播仿真与机器学习的虚拟环境声源定位方法，利用音频 transformer 频谱图缓解数据不足问题，F1 分数达 0.786±0.0136。
2024-04-02 cs.LG cs.SD eess.AS
Active Audio-Visual Separation of Dynamic Sound Sources
UT Austin（德克萨斯大学奥斯汀分校）；Facebook AI Research（脸书人工智能研究院）
我们探讨了动态声源的主动视听分离，其中一个具体的代理智能移动在3D环境中不断隔离感兴趣的对象发出的随时间变化的音频流。代理听到多个音频源的混合流（例如，多个人交谈和乐队在嘈杂的聚会上演奏音乐）。在有限的时间预算下，它需要使用自我中心的视听观察在每一步准确地提取目标声音。我们提出了一个强化学习代理配备了一个新的Transformer内存，学习运动策略来控制其摄像头和麦克风恢复动态目标音频，使用自我注意力，使高质量的估计当前的时间步长，并同时提高其过去的估计。在真实世界的扫描Matterport3D环境中使用高度逼真的声学SoundSpaces模拟，我们表明我们的模型能够学习有效的行为来进行动态音频目标的连续分离。项目：https://vision.cs.utexas.edu/projects/active-av-dynamic-separation/。
2022-07-25 cs.CV cs.LG cs.SD
MMAudioSep: Taming Video-to-Audio Generative Model Towards Video/Text-Queried Sound Separation
Sony Group Corporation, Japan（日本索尼集团公司）；Sony AI, USA（美国索尼人工智能）
MMAudioSep基于预训练视频到音频模型，通过利用视频/文本与音频的关系实现更高效的声学分离，优于现有方法并保留原始视频到音频生成能力。
2026-04-17 cs.CV cs.LG cs.SD
