Online Single-Channel Audio-Based Sound Speed Estimation for Robust Multi-Channel Audio Control
本文提出一种在线声音速度估计方法，利用单个麦克风在多通道音频播放中估计声音速度，以提升空间音频控制的鲁棒性。
2026-05-12 cs.SD eess.AS
Audio Captioning Using Sound Event Detection
本技术报告为DCASE 2021任务6音频字幕挑战提出了一个音频字幕系统。我们提出的模型是基于一个编码器-解码器架构与双向门控递归单元（BiGRU）使用预训练的音频功能和声音事件检测。一个预训练的神经网络（PANN）被用来提取音频特征和Word 2 Vec被选择的目的是提取词嵌入从音频字幕。为了创建语义上有意义的字幕，我们从音频片段中提取声音事件，并向编码器-解码器架构提供除了PANN功能之外的声音事件。我们在Clotho数据集上的实验表明，我们提出的方法在所有评估指标上都比挑战基线模型取得了更好的结果。
2021-10-07 cs.SD eess.AS
Enhanced Sound Event Localization and Detection in Real 360-degree audio-visual soundscapes
University of Southern California（南加州大学）
本研究基于纯音频SELDnet23模型，在GRU前融合音视频信息，并结合YOLO、DETIC检测器与视听数据增强及合成框架，构建出性能优于现有基线的增强型视听SELD系统。
2024-01-29 cs.AI cs.SD eess.AS
Unsupervised Audio-Caption Aligning Learns Correspondences between Individual Sound Events and Textual Phrases
我们研究了无监督学习的声音事件和文本短语之间的对应关系，通过对齐音频剪辑与描述整个音频剪辑的内容的文本标题。我们通过对音频帧和单词之间的相似性进行评分来对齐原始未对齐和未注释的音频片段及其标题，这些相似性由特定于模态的编码器编码，并使用排名损失标准来优化模型。训练后，我们通过平均帧-词相似度来获得剪辑-字幕相似度，并通过计算帧-短语相似度来估计事件-短语对应关系。我们评估的方法与两个跨模态的任务：音频字幕检索，和基于短语的声音事件检测（SED）。实验结果表明，该方法可以全局关联的音频片段与字幕，以及本地学习个人的声音事件和文本短语之间的对应关系，在一个无监督的方式。
2022-02-21 eess.AS eess.SP
AudioBERTScore: Objective Evaluation of Environmental Sound Synthesis Based on Similarity of Audio embedding Sequences
本文提出AudioBERTScore指标，通过结合最大范数与p-范数计算合成与参考音频嵌入序列的相似性，以客观评价文本到音频合成质量，实验证明其与主观评价值相关性优于传统指标。
2025-07-01 cs.SD eess.AS
Generating Diverse Audio-Visual 360 Soundscapes for Sound Event Localization and Detection
University of Southern California（南加州大学）；Universidad Nacional Autónoma de México（墨西哥国立自治大学）；Universidad Autónoma de Tamaulipas（塔毛利帕斯自治大学）；Queen Mary University of London（伦敦大学玛丽皇后学院）
提出SELDVisualSynth工具，结合真实背景图像生成视听空间对齐的360度合成视频，用于声事件定位与检测，显著提升模型定位召回率与误差表现。
2025-04-03 cs.SD eess.AS
Into the Wild with AudioScope: Unsupervised Audio-Visual Separation of On-Screen Sounds
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
深度学习的最新进展使声音分离和视觉场景理解方面取得了许多进展。然而，提取自然视频中明显的声源仍然是一个悬而未决的问题。在这项工作中，我们提出了AudioScope，一种新颖的视听声音分离框架，可以在没有监督的情况下进行训练，将屏幕上的声源与真实的野外视频隔离开来。先前的视听分离工作假设了对声音类别域的人为限制（例如，语音或音乐），限制了源的数量，并需要强大的声音分离或视觉分割标签。AudioScope克服了这些限制，在开放的声音域上操作，具有可变数量的源，并且没有标签或先前的视觉分割。AudioScope的训练过程使用混合不变训练（MixIT）将合成混合物（MoM）分离为单个源，其中混合物的噪声标签由无监督的视听重合模型提供。使用嘈杂的标签，以及视频和音频特征之间的注意力，AudioScope学会识别视听相似性并抑制屏幕外的声音。我们证明了我们的方法的有效性，使用从开放域YFCC 100米视频数据中提取的视频剪辑的数据集。该数据集包含在不受约束的条件下记录的多种声音类别，使得以前的方法的应用不合适。对于评估和半监督实验，我们收集了一小部分剪辑上存在屏幕上和屏幕外声音的人类标签。
2021-05-30 cs.CV cs.SD eess.AS
ACES: Evaluating Automated Audio Captioning Models on the Semantics of Sounds
Maastricht University（马斯特里赫特大学）；Université Aix-Marseille（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）
本文提出ACES评估指标，从人类听觉语义解析角度结合语义相似度与实体标注评估自动音频字幕，并在Clotho-Eval FENSE基准上优于同类指标。
2024-03-27 cs.SD eess.AS
A General Framework for Learning Procedural Audio Models of Environmental Sounds
New Jersey Institute of Technology（新泽西理工学院）
本文介绍了程序（音频）变分自编码器（ProVE）框架作为一种通用的方法来学习程序音频PA模型的环境声音与改进的现实主义的合成，同时保持提供控制所产生的声音通过可调参数。该框架包括两个阶段：（i）音频类表示，其中通过训练音频自动编码器来定义潜在表示空间，以及（ii）控制映射，其中从音频和均匀噪声的随机样本导出的静态/时间控制变量的联合函数被学习以替换音频编码器。我们通过在各种表面上的脚步声效果的例子来演示ProVE的使用。我们的研究结果表明，ProVE模型在声音保真度方面优于经典PA模型和基于对抗的方法，如Fréchet音频距离（FAD），最大平均离散度（MMD）和主观评价所测量的，使它们成为声音设计工作流程的可行工具。
2023-03-04 cs.AI cs.SD eess.AS
Separating Invisible Sounds Toward Universal Audiovisual Scene-Aware Sound Separation
Michigan State University（密歇根州立大学）；University of Rochester（罗切斯特大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对现有视听声音分离方法无法处理相机视野外不可见声音的问题，提出AVSA-Sep框架，通过语义解析器和场景信息分离器，结合联合训练与跨模态对齐，成功实现可见与不可见声音的分离。
2023-10-18 cs.CV cs.SD eess.AS
A Detailed Audio-Text Data Simulation Pipeline using Single-Event Sounds
Shanghai Jiao Tong University（上海交通大学）
针对现有音频-文本数据集描述简单的问题，提出一种基于单事件声音的精细化音频-文本数据模拟流水线，从四维度控制音频细节并生成对应文本，验证了其助力模型学习精细化音频描述的有效性。
2024-03-07 cs.SD eess.AS
A dataset for Audio-Visual Sound Event Detection in Movies
University of Southern California（南加州大学）
音频事件检测是一项被广泛研究的音频处理任务，其应用范围从自动驾驶汽车到医疗保健。Audioset等野外数据集推动了这一领域的研究。然而，许多努力通常涉及手动注释和验证，这对于大规模执行来说是昂贵的。电影描绘了各种现实生活和虚构的场景，这使得它们成为挖掘各种音频事件的丰富资源。在这项工作中，我们提出了一个数据集的音频事件称为字幕对齐的电影声音（SAM-S）。我们使用公开的封闭字幕转录自动挖掘超过110 K音频事件从430部电影。我们确定了三个维度来对音频事件进行分类：声音，来源，质量，并提出了产生245种声音的最终分类所涉及的步骤。我们讨论了生成分类法所涉及的选择，并强调了我们数据集中声音的以人为本的性质。我们建立了一个基线性能为34.76%的平均平均精度的音频声音分类，并表明，将视觉信息可以进一步提高性能约5%。数据和代码可在https://github.com/usc-sail/mica-subtitle-aligned-movie-sounds上进行研究
2023-02-14 cs.LG cs.SD eess.AS
Enhance Temporal Relations in Audio Captioning with Sound Event Detection
Shanghai Jiao Tong University（上海交通大学）；AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院）
本文利用声音事件检测（SED）提供的时间戳信息，通过提出时间标签系统，增强音频字幕生成中的时间关系表达，实验证明显著提升了时间关系生成效果。
2024-07-18 cs.SD eess.AS
Effective Pre-Training of Audio Transformers for Sound Event Detection
Institute of Computational Perception（计算感知研究所）；LIT Artificial Intelligence Lab（LIT人工智能实验室）；Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校）
针对帧级声音事件检测任务，提出包含平衡采样器、强数据增强和集成知识蒸馏的音频Transformer预训练流程，在AudioSet及下游任务上性能显著提升并发布可直接微调的检查点。
2024-11-28 cs.SD eess.AS
SoloAudio: Target Sound Extraction with Language-oriented Audio Diffusion Transformer
Johns Hopkins University（约翰斯·霍普金斯大学）
SoloAudio提出一种基于潜在扩散Transformer的目标声音提取模型，利用CLAP支持音频和语言导向提取，并通过合成音频训练实现强泛化，在FSD Kaggle 2018和AudioSet上取得最先进结果。
2025-01-02 cs.SD eess.AS
Data Augmentation for Instrument Classification Robust to Audio Effects
Universitat Pompeu Fabra（庞培法布拉大学）
重复使用录制的声音（采样）是电子音乐制作（EMP）的一个关键组成部分，它从早期就存在了，并且是嘻哈或丛林等流派的核心。商业和非商业服务允许用户获得声音的集合（样本包），以在他们的作品中重复使用。单次乐器声音的自动分类允许对这些集合中包含的声音进行自动分类，从而允许更容易的导航和更好的表征。自动乐器分类主要针对未处理的孤立乐器声音的分类或检测混合音乐曲目中的主要乐器。为了使这种分类在EMP的音频数据库中有用，它必须对应用于未处理声音的音频效果具有鲁棒性。在本文中，我们评估了在对使用音频效果处理的乐器进行分类时，使用一次性乐器声音的大型数据集训练的最新模型的表现。为了评估模型的鲁棒性，我们使用带有音频效果的数据增强，并评估每个效果如何影响分类精度。
2019-07-19 cs.SD eess.AS
Gotta Hear Them All: Towards Sound Source Aware Audio Generation
针对现有音频生成方法忽略局部声源细节导致沉浸感不足的问题，提出声源感知音频生成器SS2A，通过跨模态声源流形显式建模声源并混合语义，在图像到音频等任务中达到SOTA。
2025-08-12 cs.CV cs.MM cs.SD
Text2Move: Text-to-moving sound generation via trajectory prediction and temporal alignment
本文提出Text2Move框架，通过文本到轨迹预测与时间对齐生成可控的移动空间声音，并构建双耳合成数据集验证其空间理解能力。
2025-09-26 cs.SD eess.AS
Cross-task learning for audio tagging, sound event detection and spatial localization: DCASE 2019 baseline systems
University of Surrey（萨里大学）；Tencent AI Lab（腾讯人工智能实验室）；Fictional University（虚构大学）；University of the Imagination（想象大学）
声学场景和事件的检测和分类（DCASE）2019挑战赛侧重于音频标记，声音事件检测和空间定位。DCASE 2019由五个任务组成：1）声学场景分类，2）带有噪声标签和最小监督的音频标记，3）声音事件定位和检测，4）家庭环境中的声音事件检测，以及5）城市声音标记。在本文中，我们提出了基于卷积神经网络（CNN）的通用跨任务基线系统。其动机是调查各种模型在几个音频识别任务中的性能，而不利用任务的具体特征。我们研究了5层、9层和13层的CNN，发现最佳架构是依赖于任务的。对于我们考虑的系统，我们发现在卷积层之后具有平均池化的9层CNN是大多数DCASE 2019任务的良好模型。
2019-06-09 cs.SD eess.AS
AudioScopeV2: Audio-Visual Attention Architectures for Calibrated Open-Domain On-Screen Sound Separation
Google Research（谷歌研究院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们介绍AudioScopeV2，这是一个最先进的通用视听屏幕声音分离系统，它能够通过观看野外视频来学习分离声音并将它们与屏幕上的对象相关联。我们确定了以前的工作的视听屏幕上的声音分离的几个限制，包括时空注意力的粗分辨率，音频分离模型的收敛性差，训练和评估数据的种类有限，以及未能考虑到屏幕上的声音和抑制屏幕外的声音之间的权衡。我们为所有这些问题提供解决方案。我们提出的跨模态和自注意网络架构可以随着时间的推移以更高的分辨率捕获视听依赖关系，我们还提出了高效的可分离变体，这些变体能够扩展到更长的视频，而不会牺牲太多性能。我们还发现，仅在音频上预训练分离模型可以大大提高结果。为了进行训练和评估，我们从一个大型的野外视频数据库（YFCC 100M）中收集了新的人类对声音的注释。这个新的数据集更加多样化和具有挑战性。最后，我们提出了一个校准程序，允许精确调整屏幕上的重建与屏幕外的抑制，这大大简化了不同的操作点模型之间的性能比较。总的来说，我们的实验结果表明，在更一般的条件下，屏幕上的分离性能显着改善比以前的方法，以最小的额外的计算复杂性。
2022-07-20 cs.CV cs.SD eess.AS
Large Scale Audiovisual Learning of Sounds with Weakly Labeled Data
Facebook Reality Labs（Facebook现实实验室）
声音识别是计算音频场景分析和机器感知的一个关键方面。在本文中，我们主张，声音识别本质上是一个多模态的视听任务，因为它是更容易区分声音使用音频和视觉形式，而不是一个或另一个。我们提出了一个视听融合模型，学习识别弱标记的视频记录的声音。建议的融合模型利用一个注意力机制，动态地结合各个音频和视觉模型的输出。在大规模声音事件数据集AudioSet上的实验证明了该模型的有效性，其性能优于单模态模型以及最先进的融合和多模态模型。我们在Audioset上实现了46.16的平均精度（mAP），超过现有技术约+4.35 mAP（相对：10.4%）。
2020-05-29 cs.LG cs.SD eess.AS
Impact of temporal resolution on convolutional recurrent networks for audio tagging and sound event detection
KU Leuven（鲁汶大学）
用于音频标记和声音事件检测的许多最先进的系统采用卷积递归神经架构。通常，他们在平均教师设置中接受训练，以处理可用数据的异构注释。在这项工作中，我们对改变这些卷积递归神经网络的时间分辨率（可以通过简单地调整其池化操作来完成）如何影响其性能进行了全面的分析。通过使用各种评估指标，我们调查的影响，适应这个设计参数下的几个声音识别的情况下，涉及不同的需求，在时间定位。
2022-09-27 cs.SD eess.AS
Dual Normalization Multitasking for Audio-Visual Sounding Object Localization
Sony Group Corporation（索尼集团公司）
虽然一些研究工作已经报道了在无约束视频中的视听声源定位，没有数据集和指标已经在文献中提出了定量评估其性能。定义声源定位的地面实况是困难的，因为产生声音的位置不限于源对象的范围，而是振动通过周围对象传播和扩散。因此，我们提出了一个新的概念，发声对象，以减少声音的视觉位置的模糊性，使之有可能注释的位置范围广泛的声源。与新提出的定量评估指标，我们制定的问题，视听探测对象定位（AVSOL）。我们还通过手动注释著名的视听事件（AVE）数据集的测试集来创建评估数据集（AVSOL-E数据集）。为了解决这个新的AVSOL问题，我们提出了一种新的多任务训练策略和架构，称为双归一化多任务（DNM），它将视听对应（AVC）任务和视频事件的分类任务聚合到一个单一的视听相似性图中。通过有效地利用DNM的两个监督，我们提出的架构显着优于基线方法。
2021-06-01 cs.CV cs.SD eess.AS
Self-supervised Neural Audio-Visual Sound Source Localization via Probabilistic Spatial Modeling
National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所）；Waseda University（早稻田大学）
在视觉观察范围内检测声源目标对于自主机器人理解周围环境具有重要意义。由于在我们的生活环境中，发声物体具有大量的种类和不同的外观，在实践中标记所有发声物体是不可能的。这就需要自监督学习，它不需要人工标记。大多数传统的自监督学习使用单声道音频信号和图像，并且由于音频信号中的差的空间信息而不能区分具有相似外观的声源对象。针对这一问题，提出了一种基于360°图像和多声道音频信号的自监督训练方法。通过结合多声道音频信号中的空间信息，我们的方法训练深度神经网络（DNN）来区分多个声源对象。我们用于定位图像中声源对象的系统由音频和视觉DNN组成。视觉DNN被训练以定位输入图像内的声源候选。音频DNN验证每个候选是否实际产生声音。这些DNN基于概率空间音频模型以自监督方式联合训练。模拟数据的实验结果表明，我们的方法训练的DNN定位多个扬声器。我们还证明了视觉DNN检测对象，包括说话的游客和特定的展品从真实的数据记录在科学博物馆。
2020-07-28 cs.CV cs.SD eess.AS
Sound2Hap: Learning Audio-to-Vibrotactile Haptic Generation from Human Ratings
School of Computing and Augmented Intelligence（计算与增强智能学院）；Arizona State University（亚利桑那州立大学）
Sound2Hap通过人类评分数据驱动的方法，实现了从多样化声音生成感知有意义的触觉振动，提升了音频到触觉的翻译效果。
2026-01-26 cs.HC cs.SD eess.AS
Audiovisual transfer learning for audio tagging and sound event detection
KU Leuven（鲁汶大学）
我们研究了两个声音识别问题的迁移学习的优点，即，音频标记和声音事件检测。采用特征融合，我们调整了一个仅利用频谱声学输入的基线系统，以利用预训练的听觉和视觉特征，这些特征是从为不同任务构建的网络中提取的，并使用外部数据进行训练。我们用这些修改后的模型在视听多标签数据集上进行实验，其中训练分区包含大量未标记的样本和少量具有弱注释的剪辑，指示剪辑级存在10个声音类别，而不指定活动听觉事件的时间边界。对于基于剪辑的音频标记，这种迁移学习方法给予显着的改进。在这种情况下，在音频之上添加视觉模态也被证明是有利的。当涉及到生成音频记录的传输时，预训练特征的好处取决于所需的时间分辨率：对于粗粒度的声音事件检测，它们的实用性仍然值得注意。但是，当需要更细粒度的预测时，由于手头的问题与获得预训练向量的模型目标之间的不匹配，性能增益会大大降低。
2021-06-09 cs.LG cs.SD eess.AS
Text-Driven Separation of Arbitrary Sounds
Google Research（谷歌研究院）
我们提出了一种方法，从一个单一的通道混合分离所需的声源，基于文本描述或目标源的短音频样本。这是通过结合两种不同的模式来实现的。第一个模型SoundWords被训练为将音频片段及其文本描述联合嵌入到共享表示中的相同嵌入中。第二个模型SoundFilter将混合源音频片段作为输入，并基于条件向量将其与SoundWords定义的共享文本音频表示分离，使模型与条件模态无关。在多个数据集上进行评估，我们表明，我们的方法可以实现9.1 dB的SI-SDR的两个任意的声音的混合物时，以文本为条件，10.1 dB时，以音频为条件。我们还表明，SoundWords在学习共嵌入方面是有效的，我们的多模态训练方法提高了SoundFilter的性能。
2022-04-12 cs.SD eess.AS
SoundBeam meets M2D: Target Sound Extraction with Audio Foundation Model
NTT Corporation（NTT公司）
本文提出将M2D音频基础模型集成到SoundBeam系统中，以提升目标声音提取性能，尤其在利用注册线索时效果显著。
2024-09-19 cs.SD eess.AS
BirdSoundsDenoising: Deep Visual Audio Denoising for Bird Sounds
Yeshiva University（叶史瓦大学）；Cornell University（康奈尔大学）
几十年来，人们一直在使用传统方法和基于深度学习的方法来探索音频去噪。然而，这些方法仍然限于手动添加的人工噪声或较低的去噪音频质量。为了克服这些挑战，我们收集了一个大规模的自然噪声鸟声数据集。我们首次将音频去噪问题转化为图像分割问题，并提出了深度视觉音频去噪（DVAD）模型。我们开发了一个音频ImageMask工具，并建议使用Few-Shot泛化策略来标记这些图像。大量的实验结果表明，该模型达到了最先进的性能。我们还表明，我们的方法可以很容易地推广到语音去噪，音频分离，音频增强和噪声估计。
2022-10-18 cs.CV cs.SD eess.AS
Region-Specific Audio Tagging for Spatial Sound
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey, UK（视觉、语音和信号处理中心（CVSSP），英国萨里大学）；Tencent AI Lab, Bellevue, WA, USA（腾讯AI实验室，美国西雅图）；Department of Computer Science and Technology, University of Science and Technology Beijing, China（北京科技大学计算机科学与技术系）；The Chinese University of Hong Kong (CUHK)（香港中文大学）
本文提出区域特定音频标记任务，为空间音频中指定区域标注声学事件，并扩展PANNs和AST等系统，实验验证了其可行性和方向特征的有效性。
2025-09-11 cs.SD eess.AS
RaDur: A Reference-aware and Duration-robust Network for Target Sound Detection
Peking University（北京大学）；University of Surrey（萨里大学）
目标声音检测（TSD）的目的是从给定参考信息的混合音频中检测出目标声音。以前的方法使用条件网络从参考音频中提取声音区分嵌入，然后使用它从混合音频中检测目标声音。然而，当使用不同的参考音频时，网络的表现差异很大（例如，对于有噪声和短持续时间的参考音频表现不佳），并且倾向于对瞬态事件（即，短于$1$秒）做出错误的决定。为了克服这些问题，在本文中，我们提出了一个参考感知和持续时间鲁棒网络（RaDur）的TSD。更具体地说，为了使网络更好地了解参考信息，我们提出了一个嵌入增强模块，在生成嵌入时考虑混合音频，并应用注意力池来增强目标声音相关帧的特征，削弱噪声帧的特征。此外，提出了一个持续时间鲁棒的焦点损失，以帮助模型不同的持续时间的事件。为了评估我们的方法，我们建立了两个基于UrbanSound和Audioset的TSD数据集。大量的实验表明了我们的方法的有效性。
2022-04-05 cs.SD eess.AS
Enhancing Zero-shot Audio Classification using Sound Attribute Knowledge from Large Language Models
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）
本文提出利用大语言模型生成声音属性描述，结合对比学习增强零样本音频分类，在VGGSound和AudioSet上显著提升准确率。
2024-07-19 cs.SD eess.AS
Cross-task learning for audio tagging, sound event detection spatial localization: DCASE 2019 baseline systems
声学场景和事件的检测和分类（DCASE）2019挑战赛侧重于音频标记，声音事件检测和空间定位。DCASE 2019由五个任务组成：1）声学场景分类，2）带有噪声标签和最小监督的音频标记，3）声音事件定位和检测，4）家庭环境中的声音事件检测，以及5）城市声音标记。在本文中，我们提出了基于卷积神经网络（CNN）的通用跨任务基线系统。其动机是调查在几个任务中的各种模型的性能，而不利用任务的具体特征。我们研究了5层、9层和13层的CNN，发现最佳架构是依赖于任务的。对于我们考虑的系统，我们发现具有平均池化的9层CNN是大多数DCASE 2019任务的良好模型。
2019-04-14 cs.SD eess.AS
Audio representations for deep learning in sound synthesis: A review
Technological University of Dublin（都柏林理工大学）
深度学习算法的兴起导致许多研究人员放弃使用经典的信号处理方法来生成声音。深度学习模型已经实现了富有表现力的语音合成、逼真的声音纹理和来自虚拟乐器的音符。然而，最合适的深度学习架构仍在研究中。架构的选择与音频表示紧密耦合。声音的原始波形可能过于密集和丰富，以至于深度学习模型无法有效处理-复杂性增加了训练时间和计算成本。此外，它并不代表声音的方式，它被认为是。因此，在许多情况下，原始音频已经使用上采样、特征提取或甚至通过采用波形的更高级别的图示而被转换为压缩且更有意义的形式。此外，有条件的形式选择，额外的条件表示，不同的模型架构，和众多的指标，用于评估重建的声音进行了研究。本文概述了使用深度学习应用于声音合成的音频表示。此外，它还介绍了使用深度学习模型开发和评估声音合成架构的最重要方法，这些方法始终取决于音频表示。
2022-01-07 cs.LG cs.SD eess.AS
Do sound event representations generalize to other audio tasks? A case study in audio transfer learning
Facebook Reality Labs Research（Facebook Reality Labs 研究院）；Facebook Applied AI Research（Facebook 应用人工智能研究院）
迁移学习对于跨多个相关学习问题的有效信息迁移至关重要。一种简单而有效的迁移学习方法利用在大规模任务上训练的深度神经网络进行特征提取。然后，这些表示用于学习相关的下游任务。在本文中，我们研究了迁移学习能力的音频表示从神经网络训练的大规模声音事件检测数据集。我们通过一个简单的线性分类器传输机制，在广泛的其他音频任务中构建和评估这些表示。我们表明，这种简单的线性传输已经足够强大，可以在下游任务上实现高性能。我们还提供了见解的属性，使这种有效的信息传输的声音事件表示。
2021-06-21 cs.AI cs.SD eess.AS
The Sounds of Home: A Speech-Removed Residential Audio Dataset for Sound Event Detection
University of Surrey（萨里大学）；Centre for Vision, Speech and Signal Processing（视觉、语音与信号处理中心）
本文构建了一个面向老年人智能家居的住宅音频数据集，通过级联预训练音频神经网络自动去除语音片段以保护隐私，同时保留其他声音事件，为家庭场景声音事件检测模型的开发与评测提供基础。
2024-10-04 cs.AI cs.SD eess.AS
AudioMiXR: Spatial Audio Object Manipulation with 6DoF for Sound Design in Augmented Reality
Brown University（布朗大学）；University of California at Berkeley（加州大学伯克利分校）；University of Central Florida（中央佛罗里达大学）；Dolby Laboratories（杜比实验室）
AudioMiXR利用Apple Vision Pro的6DoF操控虚拟音频对象，通过两项用户研究证明其相比2D基线显著提升可用性、降低负荷并增强创造力，为AR声音设计奠定基础。
2025-08-05 cs.HC cs.SD eess.AS
Multi-label Open-set Audio Classification
New Jersey Institute of Technology（新泽西理工学院）
本研究针对多音轨音频中声音事件重叠的场景，通过创建包含不同未知类别分布的数据集并评估基线方法，确立了多标签开集音频分类问题。
2023-10-20 cs.SD eess.AS
A Multimodal Prototypical Approach for Unsupervised Sound Classification
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；New York University（纽约大学）
针对零样本音频分类性能受限问题，提出利用局部音频-文本嵌入构建质心原型的无监督多模态方法，并在三个基准上平均提升12%。
2023-08-17 cs.SD eess.AS
DnR-nonverbal: Cinematic Audio Source Separation Dataset Containing Non-Verbal Sounds
LY Corporation（LY公司）
针对电影音频源分离中笑声、尖叫等非语言人声被误分为音效的问题，本文构建 DnR-nonverbal 数据集，并验证其可提升合成与真实电影音频中的分离效果。
2025-06-09 cs.SD eess.AS
AudSemThinker: Enhancing Audio-Language Models through Reasoning over Semantics of Sound
Maastricht University（马斯特里赫特大学）
提出受人类认知启发的 AudSemThinker 与 AudSem 数据集，通过语义描述符推理增强音频-语言模型，并在多种训练设置下取得优于 SOTA 的表现。
2025-09-30 cs.SD eess.AS
Visual Sound Localization in the Wild by Cross-Modal Interference Erasing
The Chinese University of Hong Kong（香港中文大学）；Zhejiang University（浙江大学）；Shanghai Jiao Tong University（上海交通大学）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；S-Lab, Nanyang Technological University（南洋理工大学S-Lab）
视听声源定位的任务已经得到了很好的研究，在受约束的场景，其中的音频记录是干净的。然而，在现实世界中，音频通常会受到屏幕外声音和背景噪音的污染。它们将干扰识别所需来源和建立视听联系的过程，使以前的研究不适用。在这项工作中，我们提出了干扰擦除器（IEr）框架，它解决了在野外的视听声源定位的问题。其关键思想是通过重新定义和雕刻有区别的音频表示来消除干扰。具体来说，我们观察到，由于音频信号的加性，以前只学习单个音频表示的做法是不够的。因此，我们用我们的音频实例标识符模块扩展了音频表示，当不同音量的音频信号不均匀混合时，该模块可以清楚地区分发声实例。然后，我们通过一个具有跨模态提取功能的跨模态引用模块来消除屏幕外的声音和无声的可见物体的影响。定量和定性的评估表明，我们提出的框架取得了优异的成绩，声音定位任务，特别是在现实世界的情况下。代码可在https://github.com/alvinliu0/Visual-Sound-Localization-in-the-Wild上获得。
2022-02-13 cs.CV cs.SD eess.AS
Dynamical Audio-Visual Navigation: Catching Unheard Moving Sound Sources in Unmapped 3D Environments
Albert-Ludwigs-University Freiburg（弗赖堡阿尔伯特-路德维希大学）
最近的视听导航工作针对无噪声音频环境中的单一静态声音，并努力推广到听不见的声音。我们介绍了新的动态视听导航基准，其中一个具体的人工智能智能体必须抓住一个移动的声源在一个未映射的环境中存在的干扰和嘈杂的声音。我们提出了一种端到端的强化学习方法，该方法依赖于多模态架构，该架构融合了来自双耳音频信号和空间占用图的空间视听信息，以编码为我们新的复杂任务设置学习鲁棒导航策略所需的特征。我们证明，我们的方法优于当前最先进的技术，更好地推广到闻所未闻的声音和更好的鲁棒性，噪声场景上的两个具有挑战性的3D扫描的真实世界的数据集ESTA和Matterport3D，静态和动态的视听导航基准。我们的新基准将在http://dav-nav.cs.uni-freiburg.de上提供。
2022-01-12 cs.CV cs.LG cs.RO
Measuring Sound Symbolism in Audio-visual Models
本研究调查预训练视听模型是否表现出类似人类的语音象征现象，通过构建专用数据集并在零样本设置下评估，发现模型输出与语音象征模式显著相关，尤其在语音数据训练的模型中，揭示了模型捕捉音义联系的能力。
2024-11-11 cs.CL cs.CV cs.SD
AudioSpa: Spatializing Sound Events with Text
School of Marine Science and Technology, Northwestern Polytechnical University（西北工业大学海洋科学与技术学院）；Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院（TeleAI））；Research and Development Institute of Northwestern Polytechnical University in Shenzhen（西北工业大学深圳研究院）
本文提出 AudioSpa，利用大语言模型与融合多头注意力，将单声道参考音频中的声音事件按文本指定方向空间化为双耳音频，并通过定位模型和数据增强验证其效果。
2025-02-16 cs.SD eess.AS
The Cocktail Fork Problem: Three-Stem Audio Separation for Real-World Soundtracks
MERL（三菱电机研究实验室）
鸡尾酒会问题旨在分离复杂声学场景中的任何感兴趣的源，并且长期以来一直激发音频源分离研究。最近的努力主要集中在从噪声中分离语音，从语音中分离语音，将乐器彼此分离，或将声音事件彼此分离。然而，分离音频混合（例如，电影原声带）分为语音、音乐和声音效果（理解为包括环境噪声和自然声音事件）这三大类，尽管有广泛的潜在应用，但在很大程度上还没有被探索。本文将此任务形式化为鸡尾酒叉子问题，并提出了Divide and Remaster（DnR）数据集以促进对该主题的研究。DnR是由三个成熟的音频数据集（LibriSpeech，FMA，FSD 50 k）构建的，在源重叠和相对响度方面，注意再现类似于专业制作内容的条件，并以CD质量提供。我们基准的标准源分离算法的DnR，并进一步引入一个新的多分辨率模型，以更好地解决各种声学特性的三种源类型。我们最好的模型产生的SI-SDR的改善超过11.0 dB的音乐，11.2 dB的语音和10.8 dB的声音效果的混合。
2022-03-24 cs.SD eess.AS
Epic-Sounds: A Large-scale Dataset of Actions That Sound
Visual Geometry Group, Department of Engineering Science, University of Oxford, UK（牛津大学视觉几何组）；Department of Computer Science, University of Bristol, UK（布里斯托大学计算机科学系）；CIIRC, Czech Technical University in Prague, Czech Republic（布拉格捷克技术大学CIIRC）
本文介绍了大规模自我中心视频音频数据集EPIC-SOUNDS，包含78.4k分类片段，并提出标注流程识别纯音频可区分动作，评估了多种音频识别模型并分析了视听模态相关性及模型局限。
2025-07-16 cs.AI cs.LG cs.SD
SoundBeam: Target sound extraction conditioned on sound-class labels and enrollment clues for increased performance and continuous learning
NTT Corporation（日本电报电话公司）
在许多情况下，我们希望听到所需的声音事件（SE），同时能够忽略干扰。目标声音提取（TSE）通过估计声音混合中的目标SE类的声音的音频信号同时抑制所有其它声音来解决这个问题。我们可以通过一个神经网络来实现这一点，该神经网络通过对代表目标SE类的线索进行调节来提取目标SE。已经提出了两种类型的线索，即，目标SE类别标签和登记音频样本（或音频查询），其是来自目标SE类别的声音的预先记录的音频样本。基于SE类标签的系统可以直接优化表示SE类的嵌入向量，从而获得高提取性能。然而，扩展这些系统以提取在训练期间未遇到的新SE类并不容易。基于登记的方法通过在混合物中找到与登记音频样本共享相似特性的声音来提取SE。这些方法不显式依赖于SE类定义，因此可以处理新的SE类。在本文中，我们介绍了一个TSE框架，SoundBeam，它结合了这两种方法的优点。我们还使用合成和真实混合物对不同的TSE方案进行了广泛的评估，这表明了SoundBeam的潜力。
2022-11-02 cs.SD eess.AS
iQuery: Instruments as Queries for Audio-Visual Sound Separation
UC San Diego（加州大学圣地亚哥分校）；Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；National University of Singapore（新加坡国立大学）；ShanghaiTech University（上海科技大学）；University of Pennsylvania（宾夕法尼亚大学）
当前的视听分离方法共享标准架构设计，其中音频编码器-解码器网络在编码器瓶颈处与视觉编码特征融合。该设计混淆了多模态特征编码的学习与用于音频分离的鲁棒声音解码。推广到一种新乐器：必须为所有乐器微调整个视觉和音频网络。我们重新制定视听分离的任务，并提出了一个灵活的查询扩展机制的查询（iQuery）的仪器。我们的方法确保了跨模态的一致性和跨仪器的解纠缠。我们利用“视觉命名”查询启动学习的音频查询，并使用跨模态的注意力，以消除潜在的声源干扰估计波形。为了推广到新的仪器或事件类，从文本提示设计中汲取灵感，我们插入一个额外的查询作为音频提示，同时冻结注意力机制。三个基准测试的实验结果表明，我们的iQuery提高视听声音声源分离性能。
2022-12-08 cs.CV cs.MM cs.SD
STARSS23: An Audio-Visual Dataset of Spatial Recordings of Real Scenes with Spatiotemporal Annotations of Sound Events
Sony AI（索尼人工智能）；Tampere University（坦佩雷大学）；Sony Group Corporation（索尼集团公司）
本文提出视听声音事件定位与检测任务，并介绍STARSS23数据集，该数据集包含多通道音频、视频及时空标注，实验表明利用视觉对象位置可提升SELD性能。
2023-11-14 cs.CV cs.MM cs.SD
A joint separation-classification model for sound event detection of weakly labelled data
University of Surrey（萨里大学）
声源分离（SS）旨在从音频记录中分离各个源。声音事件检测（SED）旨在从音频记录中检测声音事件。我们提出了一个联合分离分类（JSC）模型，只训练弱标记的音频数据，也就是说，只有音频记录的标签是已知的，但事件的时间是未知的。首先，我们提出了一个分离映射的时间-频率（T-F）表示的音频的T-F分割掩模的音频事件。其次，从每个T-F分割掩码到每个音频事件的存在概率建立分类映射。在声源分离阶段，可以从T-F分割掩模获得音频事件的源和声音事件的时间。所提出的方法在SED中实现了0.14的等出错率（EER），优于0.29的深度神经网络基线。通过使用全局加权秩池（GWRP）作为概率映射，获得了8.08 dB的声源分离SDR，优于基于全局最大池（GMP）的概率映射，给出了0.03 dB的SDR。我们工作的源代码已经发布。
2018-02-07 cs.SD eess.AS
Leveraging Pre-trained AudioLDM for Sound Generation: A Benchmark Study
University of Surrey（萨里大学）；Queen Mary University of London（伦敦玛丽女王大学）
本文首次以预训练AudioLDM为骨干网络，研究预训练在声音生成中的优势，特别是在数据稀缺场景下缓解过拟合的效果，并在多个常用数据集上构建基准以促进后续研究。
2024-07-29 cs.AI cs.MM cs.SD
ICGAN: An implicit conditioning method for interpretable feature control of neural audio synthesis
University of Sydney（悉尼大学）
针对神经音频合成依赖离散标签、难以细微控制声音的问题，本文提出基于GAN的隐式条件化方法ICGAN，构建连续条件空间实现无显式标签的可解释音色操控，并用新指标验证其域内与跨域音效控制效果。
2024-06-11 cs.SD eess.AS
VCNAC: A Variable-Channel Neural Audio Codec for Mono, Stereo, and Surround Sound
Amazon AGI, ETH Zürich（亚马逊人工智能研究院、苏黎世联邦理工学院）；Amazon AGI（亚马逊人工智能研究院）
VCNAC是一种可变通道神经音频编解码器，通过单一参数化编码器和解码器实现多通道音频的高质量重建与灵活推理。
2026-01-21 cs.SD eess.AS
