Into the Wild with AudioScope: Unsupervised Audio-Visual Separation of On-Screen Sounds
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院)
深度学习的最新进展使声音分离和视觉场景理解方面取得了许多进展。然而,提取自然视频中明显的声源仍然是一个悬而未决的问题。在这项工作中,我们提出了AudioScope,一种新颖的视听声音分离框架,可以在没有监督的情况下进行训练,将屏幕上的声源与真实的野外视频隔离开来。先前的视听分离工作假设了对声音类别域的人为限制(例如,语音或音乐),限制了源的数量,并需要强大的声音分离或视觉分割标签。AudioScope克服了这些限制,在开放的声音域上操作,具有可变数量的源,并且没有标签或先前的视觉分割。AudioScope的训练过程使用混合不变训练(MixIT)将合成混合物(MoM)分离为单个源,其中混合物的噪声标签由无监督的视听重合模型提供。使用嘈杂的标签,以及视频和音频特征之间的注意力,AudioScope学会识别视听相似性并抑制屏幕外的声音。我们证明了我们的方法的有效性,使用从开放域YFCC 100米视频数据中提取的视频剪辑的数据集。该数据集包含在不受约束的条件下记录的多种声音类别,使得以前的方法的应用不合适。对于评估和半监督实验,我们收集了一小部分剪辑上存在屏幕上和屏幕外声音的人类标签。
2021-05-30 cs.CV cs.SD eess.AS
A General Framework for Learning Procedural Audio Models of Environmental Sounds
New Jersey Institute of Technology(新泽西理工学院)
本文介绍了程序(音频)变分自编码器(ProVE)框架作为一种通用的方法来学习程序音频PA模型的环境声音与改进的现实主义的合成,同时保持提供控制所产生的声音通过可调参数。该框架包括两个阶段:(i)音频类表示,其中通过训练音频自动编码器来定义潜在表示空间,以及(ii)控制映射,其中从音频和均匀噪声的随机样本导出的静态/时间控制变量的联合函数被学习以替换音频编码器。我们通过在各种表面上的脚步声效果的例子来演示ProVE的使用。我们的研究结果表明,ProVE模型在声音保真度方面优于经典PA模型和基于对抗的方法,如Fréchet音频距离(FAD),最大平均离散度(MMD)和主观评价所测量的,使它们成为声音设计工作流程的可行工具。
2023-03-04 cs.AI cs.SD eess.AS
Separating Invisible Sounds Toward Universal Audiovisual Scene-Aware Sound Separation
Michigan State University(密歇根州立大学);University of Rochester(罗切斯特大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对现有视听声音分离方法无法处理相机视野外不可见声音的问题,提出AVSA-Sep框架,通过语义解析器和场景信息分离器,结合联合训练与跨模态对齐,成功实现可见与不可见声音的分离。
2023-10-18 cs.CV cs.SD eess.AS
MorphFader: Enabling Fine-grained Controllable Morphing with Text-to-Audio Models
针对文本转音频模型难以细粒度控制声音语义以实现变声的问题,提出MorphFader方法,通过插值扩散过程中交叉注意力层组件实现不同提示声音的平滑变声,经客观指标和听测验证了其细粒度语义控制与平滑变声能力。
2024-08-14 eess.AS
AudioBERTScore: Objective Evaluation of Environmental Sound Synthesis Based on Similarity of Audio embedding Sequences
本文提出AudioBERTScore指标,通过结合最大范数与p-范数计算合成与参考音频嵌入序列的相似性,以客观评价文本到音频合成质量,实验证明其与主观评价值相关性优于传统指标。
2025-07-01 cs.SD eess.AS
Generating Diverse Audio-Visual 360 Soundscapes for Sound Event Localization and Detection
University of Southern California(南加州大学);Universidad Nacional Autónoma de México(墨西哥国立自治大学);Universidad Autónoma de Tamaulipas(塔毛利帕斯自治大学);Queen Mary University of London(伦敦大学玛丽皇后学院)
提出SELDVisualSynth工具,结合真实背景图像生成视听空间对齐的360度合成视频,用于声事件定位与检测,显著提升模型定位召回率与误差表现。
2025-04-03 cs.SD eess.AS
A Knowledge-Driven Approach to Target Speech Extraction in the Presence of Background Sound Effects for Cinematic Audio Source Separation (CASS)
Georgia Institute of Technology(佐治亚理工学院);University of Palermo(巴勒莫大学);Dolby Laboratory(杜比实验室)
本文提出一种基于知识的语音提取方法,利用语音帧中检测到的发音方式形成知识向量,提升语音分离效果,尤其在复杂背景声音中表现更优。
2026-07-09 eess.AS
One Billion Audio Sounds from GPU-enabled Modular Synthesis
Spooky Audio;University of Victoria(维多利亚大学);McGill University(麦吉尔大学)
我们发布了一个多模态音频语料库,由10亿个4秒合成声音组成,并与用于生成它们的合成参数配对。该数据集比文献中的任何音频数据集都大100倍。我们还介绍了torchsynth,这是一个开源的模块化合成器,它在单个GPU上以比实时(714MHz)快16200倍的速度动态生成1B1样本。最后,我们发布了两个新的音频数据集:FM合成音色和减法合成音高。使用这些数据集,我们展示了新的基于排名的评估标准,现有的音频表示。最后,我们提出了一种新的综合器超参数优化方法。
2021-07-20 cs.AI cs.LG cs.SD
A dataset for Audio-Visual Sound Event Detection in Movies
University of Southern California(南加州大学)
音频事件检测是一项被广泛研究的音频处理任务,其应用范围从自动驾驶汽车到医疗保健。Audioset等野外数据集推动了这一领域的研究。然而,许多努力通常涉及手动注释和验证,这对于大规模执行来说是昂贵的。电影描绘了各种现实生活和虚构的场景,这使得它们成为挖掘各种音频事件的丰富资源。在这项工作中,我们提出了一个数据集的音频事件称为字幕对齐的电影声音(SAM-S)。我们使用公开的封闭字幕转录自动挖掘超过110 K音频事件从430部电影。我们确定了三个维度来对音频事件进行分类:声音,来源,质量,并提出了产生245种声音的最终分类所涉及的步骤。我们讨论了生成分类法所涉及的选择,并强调了我们数据集中声音的以人为本的性质。我们建立了一个基线性能为34.76%的平均平均精度的音频声音分类,并表明,将视觉信息可以进一步提高性能约5%。数据和代码可在https://github.com/usc-sail/mica-subtitle-aligned-movie-sounds上进行研究
2023-02-14 cs.LG cs.SD eess.AS
Gotta Hear Them All: Towards Sound Source Aware Audio Generation
针对现有音频生成方法忽略局部声源细节导致沉浸感不足的问题,提出声源感知音频生成器SS2A,通过跨模态声源流形显式建模声源并混合语义,在图像到音频等任务中达到SOTA。
2025-08-12 cs.CV cs.MM cs.SD
Large Scale Audiovisual Learning of Sounds with Weakly Labeled Data
Facebook Reality Labs(Facebook现实实验室)
声音识别是计算音频场景分析和机器感知的一个关键方面。在本文中,我们主张,声音识别本质上是一个多模态的视听任务,因为它是更容易区分声音使用音频和视觉形式,而不是一个或另一个。我们提出了一个视听融合模型,学习识别弱标记的视频记录的声音。建议的融合模型利用一个注意力机制,动态地结合各个音频和视觉模型的输出。在大规模声音事件数据集AudioSet上的实验证明了该模型的有效性,其性能优于单模态模型以及最先进的融合和多模态模型。我们在Audioset上实现了46.16的平均精度(mAP),超过现有技术约+4.35 mAP(相对:10.4%)。
2020-05-29 cs.LG cs.SD eess.AS
ACES: Evaluating Automated Audio Captioning Models on the Semantics of Sounds
Maastricht University(马斯特里赫特大学);Université Aix-Marseille(艾克斯-马赛大学);CNRS(法国国家科学研究中心)
本文提出ACES评估指标,从人类听觉语义解析角度结合语义相似度与实体标注评估自动音频字幕,并在Clotho-Eval FENSE基准上优于同类指标。
2024-03-27 cs.SD eess.AS
Isolation performance metrics for personal sound zone reproduction systems
本文提出区间隔离(IZI)和节目间隔离(IPI)两种指标,用于评估个人声区系统,分别量化声区与节目隔离,适用于不同场景,并通过仿真验证其应用。
2022-09-22 eess.AS
Signal-Adaptive and Perceptually Optimized Sound Zones with Variable Span Trade-Off Filters
创建声音区域一直是一个活跃的研究领域,因为这个想法是第一次提出。到目前为止,大多数声音区域控制方法依赖于物理度量(诸如声学对比度和信号失真)的优化或期望声场的模式分解。通过使用这些类型的方法,在实际设置中已经报告了目标区域中的再现声场与其到其它区域的泄漏之间的大约15dB的声学对比度,但是这通常不足以满足区域内的人。在本文中,我们提出了一个健全的区域控制方法成形泄漏错误,使他们尽可能听不见给定的声学对比度。当计算扬声器控制滤波器时,通过考虑时变输入信号特性和人类听觉系统来执行泄漏误差的整形。我们展示了如何使用可变跨度权衡滤波器进行这种整形,我们从理论上展示了这些滤波器如何用于在目标区域进行声学对比度的交易信号失真。所提出的方法进行评估的基础上的物理指标,如声学对比度和感知指标,如STOI。不同的系统设置所提出的方法的计算复杂度和处理时间也进行了研究。最后,报告了MUSHRA听力测试的结果。测试结果表明,该方法提供了超过20%的感知改善相比,现有的声音区域控制方法。
2020-08-04 eess.AS
Latent CLAP Loss for Better Foley Sound Synthesis
本文提出 Latent CLAP 损失,通过在共享 CLAP 嵌入空间中对齐潜在扩散输出与真实音频,提升 AudioLDM 拟音生成质量,降低 FAD 分数并消除后处理需求。
2024-03-18 eess.AS
Audio Diarization: A New Paradigm for Exploring Audio Recordings with Unknown Event Classes
Paderborn University(帕德博恩大学)
针对未知环境中声音事件类别未知的情况,提出音频分割任务,先定位声音事件,再分类。介绍了如何调整说话者分割系统用于音频分割及评估设置,该系统能检测新声音,与封闭集检测系统性能相似。
2026-07-15 eess.AS
AudioScopeV2: Audio-Visual Attention Architectures for Calibrated Open-Domain On-Screen Sound Separation
Google Research(谷歌研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们介绍AudioScopeV2,这是一个最先进的通用视听屏幕声音分离系统,它能够通过观看野外视频来学习分离声音并将它们与屏幕上的对象相关联。我们确定了以前的工作的视听屏幕上的声音分离的几个限制,包括时空注意力的粗分辨率,音频分离模型的收敛性差,训练和评估数据的种类有限,以及未能考虑到屏幕上的声音和抑制屏幕外的声音之间的权衡。我们为所有这些问题提供解决方案。我们提出的跨模态和自注意网络架构可以随着时间的推移以更高的分辨率捕获视听依赖关系,我们还提出了高效的可分离变体,这些变体能够扩展到更长的视频,而不会牺牲太多性能。我们还发现,仅在音频上预训练分离模型可以大大提高结果。为了进行训练和评估,我们从一个大型的野外视频数据库(YFCC 100M)中收集了新的人类对声音的注释。这个新的数据集更加多样化和具有挑战性。最后,我们提出了一个校准程序,允许精确调整屏幕上的重建与屏幕外的抑制,这大大简化了不同的操作点模型之间的性能比较。总的来说,我们的实验结果表明,在更一般的条件下,屏幕上的分离性能显着改善比以前的方法,以最小的额外的计算复杂性。
2022-07-20 cs.CV cs.SD eess.AS
Audio-Image Cross-Modal Retrieval with Onomatopoeic Images
Kyoto University(京都大学);Doshisha University(立命馆大学)
本文提出了一种双向检索框架,用于将拟声图像与对应声音片段进行跨模态检索,通过训练模态特定的投影头来重新对齐视觉拟声和声音的嵌入表示,并构建了包含50种声音事件类别的多模态图像-音频拟声数据集MIAO,实验结果表明该方法在两个方向上的检索效果均优于基于预训练CLIP和CLAP嵌入的零样本基线。
2026-05-17 eess.AS
Dual Normalization Multitasking for Audio-Visual Sounding Object Localization
Sony Group Corporation(索尼集团公司)
虽然一些研究工作已经报道了在无约束视频中的视听声源定位,没有数据集和指标已经在文献中提出了定量评估其性能。定义声源定位的地面实况是困难的,因为产生声音的位置不限于源对象的范围,而是振动通过周围对象传播和扩散。因此,我们提出了一个新的概念,发声对象,以减少声音的视觉位置的模糊性,使之有可能注释的位置范围广泛的声源。与新提出的定量评估指标,我们制定的问题,视听探测对象定位(AVSOL)。我们还通过手动注释著名的视听事件(AVE)数据集的测试集来创建评估数据集(AVSOL-E数据集)。为了解决这个新的AVSOL问题,我们提出了一种新的多任务训练策略和架构,称为双归一化多任务(DNM),它将视听对应(AVC)任务和视频事件的分类任务聚合到一个单一的视听相似性图中。通过有效地利用DNM的两个监督,我们提出的架构显着优于基线方法。
2021-06-01 cs.CV cs.SD eess.AS
Self-supervised Neural Audio-Visual Sound Source Localization via Probabilistic Spatial Modeling
National Institute of Advanced Industrial Science and Technology(日本产业技术综合研究所);Waseda University(早稻田大学)
在视觉观察范围内检测声源目标对于自主机器人理解周围环境具有重要意义。由于在我们的生活环境中,发声物体具有大量的种类和不同的外观,在实践中标记所有发声物体是不可能的。这就需要自监督学习,它不需要人工标记。大多数传统的自监督学习使用单声道音频信号和图像,并且由于音频信号中的差的空间信息而不能区分具有相似外观的声源对象。针对这一问题,提出了一种基于360°图像和多声道音频信号的自监督训练方法。通过结合多声道音频信号中的空间信息,我们的方法训练深度神经网络(DNN)来区分多个声源对象。我们用于定位图像中声源对象的系统由音频和视觉DNN组成。视觉DNN被训练以定位输入图像内的声源候选。音频DNN验证每个候选是否实际产生声音。这些DNN基于概率空间音频模型以自监督方式联合训练。模拟数据的实验结果表明,我们的方法训练的DNN定位多个扬声器。我们还证明了视觉DNN检测对象,包括说话的游客和特定的展品从真实的数据记录在科学博物馆。
2020-07-28 cs.CV cs.SD eess.AS
A Detailed Audio-Text Data Simulation Pipeline using Single-Event Sounds
Shanghai Jiao Tong University(上海交通大学)
针对现有音频-文本数据集描述简单的问题,提出一种基于单事件声音的精细化音频-文本数据模拟流水线,从四维度控制音频细节并生成对应文本,验证了其助力模型学习精细化音频描述的有效性。
2024-03-07 cs.SD eess.AS
Sound2Hap: Learning Audio-to-Vibrotactile Haptic Generation from Human Ratings
School of Computing and Augmented Intelligence(计算与增强智能学院);Arizona State University(亚利桑那州立大学)
Sound2Hap通过人类评分数据驱动的方法,实现了从多样化声音生成感知有意义的触觉振动,提升了音频到触觉的翻译效果。
2026-01-26 cs.HC cs.SD eess.AS
Enhance Temporal Relations in Audio Captioning with Sound Event Detection
Shanghai Jiao Tong University(上海交通大学);AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院)
本文利用声音事件检测(SED)提供的时间戳信息,通过提出时间标签系统,增强音频字幕生成中的时间关系表达,实验证明显著提升了时间关系生成效果。
2024-07-18 cs.SD eess.AS
Audiovisual transfer learning for audio tagging and sound event detection
KU Leuven(鲁汶大学)
我们研究了两个声音识别问题的迁移学习的优点,即,音频标记和声音事件检测。采用特征融合,我们调整了一个仅利用频谱声学输入的基线系统,以利用预训练的听觉和视觉特征,这些特征是从为不同任务构建的网络中提取的,并使用外部数据进行训练。我们用这些修改后的模型在视听多标签数据集上进行实验,其中训练分区包含大量未标记的样本和少量具有弱注释的剪辑,指示剪辑级存在10个声音类别,而不指定活动听觉事件的时间边界。对于基于剪辑的音频标记,这种迁移学习方法给予显着的改进。在这种情况下,在音频之上添加视觉模态也被证明是有利的。当涉及到生成音频记录的传输时,预训练特征的好处取决于所需的时间分辨率:对于粗粒度的声音事件检测,它们的实用性仍然值得注意。但是,当需要更细粒度的预测时,由于手头的问题与获得预训练向量的模型目标之间的不匹配,性能增益会大大降低。
2021-06-09 cs.LG cs.SD eess.AS
Dynamical Audio-Visual Navigation: Catching Unheard Moving Sound Sources in Unmapped 3D Environments
Albert-Ludwigs-University Freiburg(弗赖堡阿尔伯特-路德维希大学)
最近的视听导航工作针对无噪声音频环境中的单一静态声音,并努力推广到听不见的声音。我们介绍了新的动态视听导航基准,其中一个具体的人工智能智能体必须抓住一个移动的声源在一个未映射的环境中存在的干扰和嘈杂的声音。我们提出了一种端到端的强化学习方法,该方法依赖于多模态架构,该架构融合了来自双耳音频信号和空间占用图的空间视听信息,以编码为我们新的复杂任务设置学习鲁棒导航策略所需的特征。我们证明,我们的方法优于当前最先进的技术,更好地推广到闻所未闻的声音和更好的鲁棒性,噪声场景上的两个具有挑战性的3D扫描的真实世界的数据集ESTA和Matterport3D,静态和动态的视听导航基准。我们的新基准将在http://dav-nav.cs.uni-freiburg.de上提供。
2022-01-12 cs.CV cs.LG cs.RO
BirdSoundsDenoising: Deep Visual Audio Denoising for Bird Sounds
Yeshiva University(叶史瓦大学);Cornell University(康奈尔大学)
几十年来,人们一直在使用传统方法和基于深度学习的方法来探索音频去噪。然而,这些方法仍然限于手动添加的人工噪声或较低的去噪音频质量。为了克服这些挑战,我们收集了一个大规模的自然噪声鸟声数据集。我们首次将音频去噪问题转化为图像分割问题,并提出了深度视觉音频去噪(DVAD)模型。我们开发了一个音频ImageMask工具,并建议使用Few-Shot泛化策略来标记这些图像。大量的实验结果表明,该模型达到了最先进的性能。我们还表明,我们的方法可以很容易地推广到语音去噪,音频分离,音频增强和噪声估计。
2022-10-18 cs.CV cs.SD eess.AS
Effective Pre-Training of Audio Transformers for Sound Event Detection
Institute of Computational Perception(计算感知研究所);LIT Artificial Intelligence Lab(LIT人工智能实验室);Johannes Kepler University Linz(约翰内斯·开普勒大学林茨分校)
针对帧级声音事件检测任务,提出包含平衡采样器、强数据增强和集成知识蒸馏的音频Transformer预训练流程,在AudioSet及下游任务上性能显著提升并发布可直接微调的检查点。
2024-11-28 cs.SD eess.AS
SoloAudio: Target Sound Extraction with Language-oriented Audio Diffusion Transformer
Johns Hopkins University(约翰斯·霍普金斯大学)
SoloAudio提出一种基于潜在扩散Transformer的目标声音提取模型,利用CLAP支持音频和语言导向提取,并通过合成音频训练实现强泛化,在FSD Kaggle 2018和AudioSet上取得最先进结果。
2025-01-02 cs.SD eess.AS
One-shot conditional audio filtering of arbitrary sounds
我们考虑的问题,从一个单一的通道混合分离一个特定的声源,仅基于一个短样本的目标源。使用SoundFilter,一种波到波神经网络架构,我们可以训练一个模型,而不使用任何声音类标签。使用与源分离网络联合学习的调节编码器模型,训练的模型可以被“配置”为过滤任意声源,甚至是在训练期间没有看到的声源。在FSD 50 k数据集上进行评估,我们的模型对于两种声音的混合物获得了9.6 dB的SI-SDR改进。在Libripeech上训练时,我们的模型在从两个说话者的混合物中分离出一个声音时,实现了14.0 dB的SI-SDR改进。此外,我们表明,由条件编码器学习的表示在嵌入空间中将声学上相似的声音聚集在一起,即使它是在不使用任何标签的情况下训练的。
2020-11-04 eess.AS
Audio representations for deep learning in sound synthesis: A review
Technological University of Dublin(都柏林理工大学)
深度学习算法的兴起导致许多研究人员放弃使用经典的信号处理方法来生成声音。深度学习模型已经实现了富有表现力的语音合成、逼真的声音纹理和来自虚拟乐器的音符。然而,最合适的深度学习架构仍在研究中。架构的选择与音频表示紧密耦合。声音的原始波形可能过于密集和丰富,以至于深度学习模型无法有效处理-复杂性增加了训练时间和计算成本。此外,它并不代表声音的方式,它被认为是。因此,在许多情况下,原始音频已经使用上采样、特征提取或甚至通过采用波形的更高级别的图示而被转换为压缩且更有意义的形式。此外,有条件的形式选择,额外的条件表示,不同的模型架构,和众多的指标,用于评估重建的声音进行了研究。本文概述了使用深度学习应用于声音合成的音频表示。此外,它还介绍了使用深度学习模型开发和评估声音合成架构的最重要方法,这些方法始终取决于音频表示。
2022-01-07 cs.LG cs.SD eess.AS
Do sound event representations generalize to other audio tasks? A case study in audio transfer learning
Facebook Reality Labs Research(Facebook Reality Labs 研究院);Facebook Applied AI Research(Facebook 应用人工智能研究院)
迁移学习对于跨多个相关学习问题的有效信息迁移至关重要。一种简单而有效的迁移学习方法利用在大规模任务上训练的深度神经网络进行特征提取。然后,这些表示用于学习相关的下游任务。在本文中,我们研究了迁移学习能力的音频表示从神经网络训练的大规模声音事件检测数据集。我们通过一个简单的线性分类器传输机制,在广泛的其他音频任务中构建和评估这些表示。我们表明,这种简单的线性传输已经足够强大,可以在下游任务上实现高性能。我们还提供了见解的属性,使这种有效的信息传输的声音事件表示。
2021-06-21 cs.AI cs.SD eess.AS
Measuring Sound Symbolism in Audio-visual Models
本研究调查预训练视听模型是否表现出类似人类的语音象征现象,通过构建专用数据集并在零样本设置下评估,发现模型输出与语音象征模式显著相关,尤其在语音数据训练的模型中,揭示了模型捕捉音义联系的能力。
2024-11-11 cs.CL cs.CV cs.SD
E-PANNs: Sound Recognition Using Efficient Pre-trained Audio Neural Networks
University of Surrey(萨里大学)
本文针对PANNs模型计算复杂度和存储需求高的问题,提出剪枝方法得到E-PANNs模型,在减少36%计算量和70%内存的同时略微提升音频标记性能。
2023-05-30 cs.AI cs.SD eess.AS
The Sounds of Home: A Speech-Removed Residential Audio Dataset for Sound Event Detection
University of Surrey(萨里大学);Centre for Vision, Speech and Signal Processing(视觉、语音与信号处理中心)
本文构建了一个面向老年人智能家居的住宅音频数据集,通过级联预训练音频神经网络自动去除语音片段以保护隐私,同时保留其他声音事件,为家庭场景声音事件检测模型的开发与评测提供基础。
2024-10-04 cs.AI cs.SD eess.AS
STARSS23: An Audio-Visual Dataset of Spatial Recordings of Real Scenes with Spatiotemporal Annotations of Sound Events
Sony AI(索尼人工智能);Tampere University(坦佩雷大学);Sony Group Corporation(索尼集团公司)
本文提出视听声音事件定位与检测任务,并介绍STARSS23数据集,该数据集包含多通道音频、视频及时空标注,实验表明利用视觉对象位置可提升SELD性能。
2023-11-14 cs.CV cs.MM cs.SD
Data Augmentation for Instrument Classification Robust to Audio Effects
Universitat Pompeu Fabra(庞培法布拉大学)
重复使用录制的声音(采样)是电子音乐制作(EMP)的一个关键组成部分,它从早期就存在了,并且是嘻哈或丛林等流派的核心。商业和非商业服务允许用户获得声音的集合(样本包),以在他们的作品中重复使用。单次乐器声音的自动分类允许对这些集合中包含的声音进行自动分类,从而允许更容易的导航和更好的表征。自动乐器分类主要针对未处理的孤立乐器声音的分类或检测混合音乐曲目中的主要乐器。为了使这种分类在EMP的音频数据库中有用,它必须对应用于未处理声音的音频效果具有鲁棒性。在本文中,我们评估了在对使用音频效果处理的乐器进行分类时,使用一次性乐器声音的大型数据集训练的最新模型的表现。为了评估模型的鲁棒性,我们使用带有音频效果的数据增强,并评估每个效果如何影响分类精度。
2019-07-19 cs.SD eess.AS
AudioMiXR: Spatial Audio Object Manipulation with 6DoF for Sound Design in Augmented Reality
Brown University(布朗大学);University of California at Berkeley(加州大学伯克利分校);University of Central Florida(中央佛罗里达大学);Dolby Laboratories(杜比实验室)
AudioMiXR利用Apple Vision Pro的6DoF操控虚拟音频对象,通过两项用户研究证明其相比2D基线显著提升可用性、降低负荷并增强创造力,为AR声音设计奠定基础。
2025-08-05 cs.HC cs.SD eess.AS
Zones of quiet in a broadband diffuse sound field
本研究基于宽带扩散声场时空相关性的最新成果,构建了预测宽带扩散声场静区扩展的理论框架,推导了次级声源近远场静区,并通过仿真验证了低通噪声静区与中心频率纯音静区近似相当的结论,可用于分析局部有源声控的声学限制。
2023-10-06 eess.AS
Epic-Sounds: A Large-scale Dataset of Actions That Sound
Visual Geometry Group, Department of Engineering Science, University of Oxford, UK(牛津大学视觉几何组);Department of Computer Science, University of Bristol, UK(布里斯托大学计算机科学系);CIIRC, Czech Technical University in Prague, Czech Republic(布拉格捷克技术大学CIIRC)
本文介绍了大规模自我中心视频音频数据集EPIC-SOUNDS,包含78.4k分类片段,并提出标注流程识别纯音频可区分动作,评估了多种音频识别模型并分析了视听模态相关性及模型局限。
2025-07-16 cs.AI cs.LG cs.SD
Visual Sound Localization in the Wild by Cross-Modal Interference Erasing
The Chinese University of Hong Kong(香港中文大学);Zhejiang University(浙江大学);Shanghai Jiao Tong University(上海交通大学);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);S-Lab, Nanyang Technological University(南洋理工大学S-Lab)
视听声源定位的任务已经得到了很好的研究,在受约束的场景,其中的音频记录是干净的。然而,在现实世界中,音频通常会受到屏幕外声音和背景噪音的污染。它们将干扰识别所需来源和建立视听联系的过程,使以前的研究不适用。在这项工作中,我们提出了干扰擦除器(IEr)框架,它解决了在野外的视听声源定位的问题。其关键思想是通过重新定义和雕刻有区别的音频表示来消除干扰。具体来说,我们观察到,由于音频信号的加性,以前只学习单个音频表示的做法是不够的。因此,我们用我们的音频实例标识符模块扩展了音频表示,当不同音量的音频信号不均匀混合时,该模块可以清楚地区分发声实例。然后,我们通过一个具有跨模态提取功能的跨模态引用模块来消除屏幕外的声音和无声的可见物体的影响。定量和定性的评估表明,我们提出的框架取得了优异的成绩,声音定位任务,特别是在现实世界的情况下。代码可在https://github.com/alvinliu0/Visual-Sound-Localization-in-the-Wild上获得。
2022-02-13 cs.CV cs.SD eess.AS
iQuery: Instruments as Queries for Audio-Visual Sound Separation
UC San Diego(加州大学圣地亚哥分校);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学);National University of Singapore(新加坡国立大学);ShanghaiTech University(上海科技大学);University of Pennsylvania(宾夕法尼亚大学)
当前的视听分离方法共享标准架构设计,其中音频编码器-解码器网络在编码器瓶颈处与视觉编码特征融合。该设计混淆了多模态特征编码的学习与用于音频分离的鲁棒声音解码。推广到一种新乐器:必须为所有乐器微调整个视觉和音频网络。我们重新制定视听分离的任务,并提出了一个灵活的查询扩展机制的查询(iQuery)的仪器。我们的方法确保了跨模态的一致性和跨仪器的解纠缠。我们利用“视觉命名”查询启动学习的音频查询,并使用跨模态的注意力,以消除潜在的声源干扰估计波形。为了推广到新的仪器或事件类,从文本提示设计中汲取灵感,我们插入一个额外的查询作为音频提示,同时冻结注意力机制。三个基准测试的实验结果表明,我们的iQuery提高视听声音声源分离性能。
2022-12-08 cs.CV cs.MM cs.SD
Text2Move: Text-to-moving sound generation via trajectory prediction and temporal alignment
本文提出Text2Move框架,通过文本到轨迹预测与时间对齐生成可控的移动空间声音,并构建双耳合成数据集验证其空间理解能力。
2025-09-26 cs.SD eess.AS
Cross-task learning for audio tagging, sound event detection and spatial localization: DCASE 2019 baseline systems
University of Surrey(萨里大学);Tencent AI Lab(腾讯人工智能实验室);Fictional University(虚构大学);University of the Imagination(想象大学)
声学场景和事件的检测和分类(DCASE)2019挑战赛侧重于音频标记,声音事件检测和空间定位。DCASE 2019由五个任务组成:1)声学场景分类,2)带有噪声标签和最小监督的音频标记,3)声音事件定位和检测,4)家庭环境中的声音事件检测,以及5)城市声音标记。在本文中,我们提出了基于卷积神经网络(CNN)的通用跨任务基线系统。其动机是调查各种模型在几个音频识别任务中的性能,而不利用任务的具体特征。我们研究了5层、9层和13层的CNN,发现最佳架构是依赖于任务的。对于我们考虑的系统,我们发现在卷积层之后具有平均池化的9层CNN是大多数DCASE 2019任务的良好模型。
2019-06-09 cs.SD eess.AS
Impact of temporal resolution on convolutional recurrent networks for audio tagging and sound event detection
KU Leuven(鲁汶大学)
用于音频标记和声音事件检测的许多最先进的系统采用卷积递归神经架构。通常,他们在平均教师设置中接受训练,以处理可用数据的异构注释。在这项工作中,我们对改变这些卷积递归神经网络的时间分辨率(可以通过简单地调整其池化操作来完成)如何影响其性能进行了全面的分析。通过使用各种评估指标,我们调查的影响,适应这个设计参数下的几个声音识别的情况下,涉及不同的需求,在时间定位。
2022-09-27 cs.SD eess.AS
Catch Me If You Hear Me: Audio-Visual Navigation in Complex Unmapped Environments with Moving Sounds
University of Freiburg(弗莱堡大学)
视听导航结合视觉和听觉,在未映射的环境中导航到声音发射源。虽然最近的方法已经证明了音频输入在检测和找到目标方面的好处,但它们专注于干净和静态的声源,并且难以推广到听不到的声音。在这项工作中,我们提出了一种新的动态视听导航基准,它需要在嘈杂和分散注意力的声音环境中捕捉移动声源,这带来了一系列新的挑战。我们引入了一种强化学习方法,该方法可以为这些复杂的设置学习一个强大的导航策略。为了实现这一目标,我们提出了一个架构,融合视听信息的空间特征空间学习相关的几何信息固有的本地地图和音频信号。我们证明了我们的方法在两个具有挑战性的3D扫描现实世界环境(即Matterport3D和Matterport3D)中,在移动声音、未听到的声音和嘈杂环境的所有任务中,都始终优于当前最先进的方法。该基准可在http://dav-nav.cs.uni-freiburg.de上获得。
2023-01-03 cs.CV cs.LG cs.RO
Sounding Bodies: Modeling 3D Spatial Sound of Humans Using Body Pose and Audio
Shanghai AI Laboratory(上海人工智能实验室);Meta Reality Labs Research(Meta现实实验室)
本文提出一种利用身体姿态和音频生成人体三维空间声场的模型,并构建了首个多模态数据集,实验证明其能精确生成身体诱发声场。
2023-11-01 cs.CV cs.LG cs.SD
Text-Driven Separation of Arbitrary Sounds
Google Research(谷歌研究院)
我们提出了一种方法,从一个单一的通道混合分离所需的声源,基于文本描述或目标源的短音频样本。这是通过结合两种不同的模式来实现的。第一个模型SoundWords被训练为将音频片段及其文本描述联合嵌入到共享表示中的相同嵌入中。第二个模型SoundFilter将混合源音频片段作为输入,并基于条件向量将其与SoundWords定义的共享文本音频表示分离,使模型与条件模态无关。在多个数据集上进行评估,我们表明,我们的方法可以实现9.1 dB的SI-SDR的两个任意的声音的混合物时,以文本为条件,10.1 dB时,以音频为条件。我们还表明,SoundWords在学习共嵌入方面是有效的,我们的多模态训练方法提高了SoundFilter的性能。
2022-04-12 cs.SD eess.AS
SoundBeam meets M2D: Target Sound Extraction with Audio Foundation Model
NTT Corporation(NTT公司)
本文提出将M2D音频基础模型集成到SoundBeam系统中,以提升目标声音提取性能,尤其在利用注册线索时效果显著。
2024-09-19 cs.SD eess.AS
Weakly-supervised Audio-visual Sound Source Detection and Separation
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(Vector人工智能研究所)
学习如何在视频的音频通道中定位和分离各个对象声音是一项艰巨的任务。目前最先进的方法从人工混合的频谱图预测音频掩码,称为混合和分离框架。我们提出了一种视听联合分割,其中网络从仅标记有对象标签的视频中学习单个对象的外观和声音。与其他最近的视觉引导音频声源分离框架不同,我们的架构可以以端到端的方式学习,并且不需要额外的监督或限界框建议。具体来说,我们在声音分离的背景下引入弱监督对象分割。我们还制定了声谱图掩模预测使用一组学习的掩模基地,结合使用对象分割的输出,一个设计,有利于分离的条件下的系数。在MUSIC数据集上的大量实验表明,我们提出的方法在视觉引导的声音声源分离和声音去噪方面优于最先进的方法。
2021-03-25 cs.CV cs.SD eess.AS
Region-Specific Audio Tagging for Spatial Sound
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey, UK(视觉、语音和信号处理中心(CVSSP),英国萨里大学);Tencent AI Lab, Bellevue, WA, USA(腾讯AI实验室,美国西雅图);Department of Computer Science and Technology, University of Science and Technology Beijing, China(北京科技大学计算机科学与技术系);The Chinese University of Hong Kong (CUHK)(香港中文大学)
本文提出区域特定音频标记任务,为空间音频中指定区域标注声学事件,并扩展PANNs和AST等系统,实验验证了其可行性和方向特征的有效性。
2025-09-11 cs.SD eess.AS
RaDur: A Reference-aware and Duration-robust Network for Target Sound Detection
Peking University(北京大学);University of Surrey(萨里大学)
目标声音检测(TSD)的目的是从给定参考信息的混合音频中检测出目标声音。以前的方法使用条件网络从参考音频中提取声音区分嵌入,然后使用它从混合音频中检测目标声音。然而,当使用不同的参考音频时,网络的表现差异很大(例如,对于有噪声和短持续时间的参考音频表现不佳),并且倾向于对瞬态事件(即,短于$1$秒)做出错误的决定。为了克服这些问题,在本文中,我们提出了一个参考感知和持续时间鲁棒网络(RaDur)的TSD。更具体地说,为了使网络更好地了解参考信息,我们提出了一个嵌入增强模块,在生成嵌入时考虑混合音频,并应用注意力池来增强目标声音相关帧的特征,削弱噪声帧的特征。此外,提出了一个持续时间鲁棒的焦点损失,以帮助模型不同的持续时间的事件。为了评估我们的方法,我们建立了两个基于UrbanSound和Audioset的TSD数据集。大量的实验表明了我们的方法的有效性。
2022-04-05 cs.SD eess.AS
Enhancing Zero-shot Audio Classification using Sound Attribute Knowledge from Large Language Models
Shanghai Jiao Tong University(上海交通大学);Alibaba Group(阿里巴巴集团)
本文提出利用大语言模型生成声音属性描述,结合对比学习增强零样本音频分类,在VGGSound和AudioSet上显著提升准确率。
2024-07-19 cs.SD eess.AS
Cross-task learning for audio tagging, sound event detection spatial localization: DCASE 2019 baseline systems
声学场景和事件的检测和分类(DCASE)2019挑战赛侧重于音频标记,声音事件检测和空间定位。DCASE 2019由五个任务组成:1)声学场景分类,2)带有噪声标签和最小监督的音频标记,3)声音事件定位和检测,4)家庭环境中的声音事件检测,以及5)城市声音标记。在本文中,我们提出了基于卷积神经网络(CNN)的通用跨任务基线系统。其动机是调查在几个任务中的各种模型的性能,而不利用任务的具体特征。我们研究了5层、9层和13层的CNN,发现最佳架构是依赖于任务的。对于我们考虑的系统,我们发现具有平均池化的9层CNN是大多数DCASE 2019任务的良好模型。
2019-04-14 cs.SD eess.AS
Learning to Separate Object Sounds by Watching Unlabeled Video
The University of Texas at Austin(德克萨斯大学奥斯汀分校);IBM Research(IBM研究院);Facebook AI Research(Facebook人工智能研究院)
最充分地感知一个场景需要所有的感官。然而,建模对象的外观和声音是具有挑战性的:大多数自然场景和事件包含多个对象,并且音轨将所有声源混合在一起。我们提出从未标记的视频中学习视听对象模型,然后利用视觉上下文来执行新视频中的音频声源分离。我们的方法依赖于一个深度的多实例多标签学习框架来解开映射到单个视觉对象的音频基础,即使没有孤立地观察/听到这些对象。我们展示了如何恢复解开基地可以用来指导音频声源分离,以获得更好的分离,对象级的声音。我们的工作是第一个学习音频声源分离从大规模的“在野外”的视频包含多个音频源,每个视频。我们获得了视觉辅助音频声源分离和音频去噪的最先进的结果。我们的视频结果:http://vision.cs.utexas.edu/projects/separating_object_sounds/
2018-07-26 cs.CV cs.MM cs.SD