Enhance Temporal Relations in Audio Captioning with Sound Event Detection
Shanghai Jiao Tong University(上海交通大学);AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院)
本文利用声音事件检测(SED)提供的时间戳信息,通过提出时间标签系统,增强音频字幕生成中的时间关系表达,实验证明显著提升了时间关系生成效果。
2024-07-18 cs.SD eess.AS
Effective Pre-Training of Audio Transformers for Sound Event Detection
Institute of Computational Perception(计算感知研究所);LIT Artificial Intelligence Lab(LIT人工智能实验室);Johannes Kepler University Linz(约翰内斯·开普勒大学林茨分校)
针对帧级声音事件检测任务,提出包含平衡采样器、强数据增强和集成知识蒸馏的音频Transformer预训练流程,在AudioSet及下游任务上性能显著提升并发布可直接微调的检查点。
2024-11-28 cs.SD eess.AS
Cross-task learning for audio tagging, sound event detection and spatial localization: DCASE 2019 baseline systems
University of Surrey(萨里大学);Tencent AI Lab(腾讯人工智能实验室);Fictional University(虚构大学);University of the Imagination(想象大学)
声学场景和事件的检测和分类(DCASE)2019挑战赛侧重于音频标记,声音事件检测和空间定位。DCASE 2019由五个任务组成:1)声学场景分类,2)带有噪声标签和最小监督的音频标记,3)声音事件定位和检测,4)家庭环境中的声音事件检测,以及5)城市声音标记。在本文中,我们提出了基于卷积神经网络(CNN)的通用跨任务基线系统。其动机是调查各种模型在几个音频识别任务中的性能,而不利用任务的具体特征。我们研究了5层、9层和13层的CNN,发现最佳架构是依赖于任务的。对于我们考虑的系统,我们发现在卷积层之后具有平均池化的9层CNN是大多数DCASE 2019任务的良好模型。
2019-06-09 cs.SD eess.AS
Sound to Visual Scene Generation by Audio-to-Visual Latent Alignment
POSTECH(浦项科技大学);KAIST(韩国科学技术院);University of Michigan(密歇根大学);Yonsei University(延世大学)
音频如何描述我们周围的世界?在本文中,我们提出了一种方法,用于从声音生成一个场景的图像。我们的方法解决了处理视觉和声音之间经常存在的巨大差距的挑战。我们设计了一个模型,其工作原理是通过调度每个模型组件的学习过程来关联视听模态,尽管它们存在信息缺口。其核心思想是通过学习将音频与视觉潜在空间对齐来丰富音频特征与视觉信息。我们将输入的音频转换为视觉特征,然后使用预训练的生成器生成图像。为了进一步提高我们生成的图像的质量,我们使用声源定位来选择具有强交叉模态相关性的视听对。我们在VEGAS和VGGSound数据集上获得了比以前方法更好的结果。我们还表明,我们可以通过对输入波形或潜在空间进行简单的操作来控制模型的预测。
2023-03-30 cs.CV cs.MM cs.SD
Impact of temporal resolution on convolutional recurrent networks for audio tagging and sound event detection
KU Leuven(鲁汶大学)
用于音频标记和声音事件检测的许多最先进的系统采用卷积递归神经架构。通常,他们在平均教师设置中接受训练,以处理可用数据的异构注释。在这项工作中,我们对改变这些卷积递归神经网络的时间分辨率(可以通过简单地调整其池化操作来完成)如何影响其性能进行了全面的分析。通过使用各种评估指标,我们调查的影响,适应这个设计参数下的几个声音识别的情况下,涉及不同的需求,在时间定位。
2022-09-27 cs.SD eess.AS
Sound2Hap: Learning Audio-to-Vibrotactile Haptic Generation from Human Ratings
School of Computing and Augmented Intelligence(计算与增强智能学院);Arizona State University(亚利桑那州立大学)
Sound2Hap通过人类评分数据驱动的方法,实现了从多样化声音生成感知有意义的触觉振动,提升了音频到触觉的翻译效果。
2026-01-26 cs.HC cs.SD eess.AS
Audiovisual transfer learning for audio tagging and sound event detection
KU Leuven(鲁汶大学)
我们研究了两个声音识别问题的迁移学习的优点,即,音频标记和声音事件检测。采用特征融合,我们调整了一个仅利用频谱声学输入的基线系统,以利用预训练的听觉和视觉特征,这些特征是从为不同任务构建的网络中提取的,并使用外部数据进行训练。我们用这些修改后的模型在视听多标签数据集上进行实验,其中训练分区包含大量未标记的样本和少量具有弱注释的剪辑,指示剪辑级存在10个声音类别,而不指定活动听觉事件的时间边界。对于基于剪辑的音频标记,这种迁移学习方法给予显着的改进。在这种情况下,在音频之上添加视觉模态也被证明是有利的。当涉及到生成音频记录的传输时,预训练特征的好处取决于所需的时间分辨率:对于粗粒度的声音事件检测,它们的实用性仍然值得注意。但是,当需要更细粒度的预测时,由于手头的问题与获得预训练向量的模型目标之间的不匹配,性能增益会大大降低。
2021-06-09 cs.LG cs.SD eess.AS
Cross-task learning for audio tagging, sound event detection spatial localization: DCASE 2019 baseline systems
声学场景和事件的检测和分类(DCASE)2019挑战赛侧重于音频标记,声音事件检测和空间定位。DCASE 2019由五个任务组成:1)声学场景分类,2)带有噪声标签和最小监督的音频标记,3)声音事件定位和检测,4)家庭环境中的声音事件检测,以及5)城市声音标记。在本文中,我们提出了基于卷积神经网络(CNN)的通用跨任务基线系统。其动机是调查在几个任务中的各种模型的性能,而不利用任务的具体特征。我们研究了5层、9层和13层的CNN,发现最佳架构是依赖于任务的。对于我们考虑的系统,我们发现具有平均池化的9层CNN是大多数DCASE 2019任务的良好模型。
2019-04-14 cs.SD eess.AS
Do sound event representations generalize to other audio tasks? A case study in audio transfer learning
Facebook Reality Labs Research(Facebook Reality Labs 研究院);Facebook Applied AI Research(Facebook 应用人工智能研究院)
迁移学习对于跨多个相关学习问题的有效信息迁移至关重要。一种简单而有效的迁移学习方法利用在大规模任务上训练的深度神经网络进行特征提取。然后,这些表示用于学习相关的下游任务。在本文中,我们研究了迁移学习能力的音频表示从神经网络训练的大规模声音事件检测数据集。我们通过一个简单的线性分类器传输机制,在广泛的其他音频任务中构建和评估这些表示。我们表明,这种简单的线性传输已经足够强大,可以在下游任务上实现高性能。我们还提供了见解的属性,使这种有效的信息传输的声音事件表示。
2021-06-21 cs.AI cs.SD eess.AS
The Sounds of Home: A Speech-Removed Residential Audio Dataset for Sound Event Detection
University of Surrey(萨里大学);Centre for Vision, Speech and Signal Processing(视觉、语音与信号处理中心)
本文构建了一个面向老年人智能家居的住宅音频数据集,通过级联预训练音频神经网络自动去除语音片段以保护隐私,同时保留其他声音事件,为家庭场景声音事件检测模型的开发与评测提供基础。
2024-10-04 cs.AI cs.SD eess.AS
Improving Sound Source Localization with Joint Slot Attention on Image and Audio
Dept. of CSE, POSTECH(计算机科学与工程系,POSTECH)
针对声源定位中噪声和无关背景导致单嵌入对比学习次优的问题,提出图像与音频联合槽位注意力及跨模态匹配,在三个基准上取得最优性能。
2025-05-11 cs.CV cs.SD
A joint separation-classification model for sound event detection of weakly labelled data
University of Surrey(萨里大学)
声源分离(SS)旨在从音频记录中分离各个源。声音事件检测(SED)旨在从音频记录中检测声音事件。我们提出了一个联合分离分类(JSC)模型,只训练弱标记的音频数据,也就是说,只有音频记录的标签是已知的,但事件的时间是未知的。首先,我们提出了一个分离映射的时间-频率(T-F)表示的音频的T-F分割掩模的音频事件。其次,从每个T-F分割掩码到每个音频事件的存在概率建立分类映射。在声源分离阶段,可以从T-F分割掩模获得音频事件的源和声音事件的时间。所提出的方法在SED中实现了0.14的等出错率(EER),优于0.29的深度神经网络基线。通过使用全局加权秩池(GWRP)作为概率映射,获得了8.08 dB的声源分离SDR,优于基于全局最大池(GMP)的概率映射,给出了0.03 dB的SDR。我们工作的源代码已经发布。
2018-02-07 cs.SD eess.AS
Source separation with weakly labelled data: An approach to computational auditory scene analysis
University of Surrey(萨里大学)
声源分离是将音频记录分离为各个声源的任务。声源分离是计算听觉景物分析的基础。先前关于声源分离的工作集中于分离特定的声音类别,例如语音和音乐。以前的许多工作需要混合和清洁源对进行训练。在这项工作中,我们提出了一个声源分离框架训练弱标记的数据。弱标记数据只包含音频片段的标记,而不包含声音事件的发生时间。我们首先用AudioSet训练一个声音事件检测系统。经训练的声音事件检测系统用于检测最像包含目标声音事件的片段。然后,学习从两个随机选择的片段的混合到目标片段的回归,该回归以目标片段的音频标记预测为条件。我们提出的系统可以分离527种声音类从AudioSet在一个单一的系统。分离系统采用了U-Net,在AudioSet中的527个声音类别中实现了5.67 dB的平均SDR。
2020-02-06 cs.SD eess.AS
Can CLIP Help Sound Source Localization?
Korea Advanced Institute of Science and Technology(韩国科学技术院);Electronics and Telecommunications Research Institute(韩国电子通信研究院)
本研究将预训练图文模型CLIP拓展至声源定位任务,提出将音频转为CLIP文本编码器兼容token的框架,仅靠音视频对应关系实现更完整紧凑的定位,性能显著超越现有最优方法。
2023-11-07 cs.AI cs.CV cs.MM
Audio Simulation for Sound Source Localization in Virtual Evironment
Home Team Science and Technology Agency(内政团队科技局)
提出结合物理声音传播仿真与机器学习的虚拟环境声源定位方法,利用音频 transformer 频谱图缓解数据不足问题,F1 分数达 0.786±0.0136。
2024-04-02 cs.LG cs.SD eess.AS
Sound Event Detection in Multichannel Audio Using Spatial and Harmonic Features
Tampere University of Technology(坦佩雷理工大学)
在本文中,我们提出了使用空间和谐波特征结合长短期记忆(LSTM)递归神经网络(RNN)的自动声音事件检测(SED)任务。现实生活中的录音通常有许多重叠的声音事件,使得很难仅用单声道音频来识别。人类听众已经成功地使用音高线索识别重叠声音事件的混合,并利用在他们的耳朵处可用的立体声(多通道)音频信号来空间定位这些事件。传统上,SED系统仅使用单声道音频,出于人类听众的动机,我们建议将其扩展为使用多声道音频。在TUT声音事件检测2016数据库的开发子集上,将所提出的SED系统与最先进的单声道方法进行比较。空间和谐波特征的使用被证明可以提高SED的性能。
2017-06-07 cs.LG cs.SD
Soundata: A Python library for reproducible use of audio datasets
New York University(纽约大学);Adobe Research(奥多比研究院);Universitat Pompeu Fabra(庞培法布拉大学)
Soundata是一个Python库,用于以标准化的方式加载和处理音频数据集,消除了在每个项目中编写自定义加载器的需要,并通过提供工具来验证数据的可重复性。它通过允许用户快速下载数据集,以标准化和可复制的方式将其加载到内存中,验证数据集的完整性和正确性等来加快研究流程。Soundata基于mirdata并受到其启发,通过与环境声音,生物声学和语音数据集等合作来补充mirdata。Soundata的创建是为了易于使用,易于贡献,并以灵活的方式提高声音数据集的可重复性和标准化使用。
2021-10-04 cs.DB cs.LG cs.SD
Unison: Harmonizing Motion, Speech, and Sound for Human-Centric Audio-Video Generation
DeepMind;OpenAI
Unison通过显式促进运动、语音和声音模态的协调,解决音频视频生成中模态不一致的问题,提升感知质量和跨模态同步性能。
2026-06-29 cs.CV cs.GR cs.MM
Studying the Effect of Audio Filters in Pre-Trained Models for Environmental Sound Classification
University of Kalyani(卡里亚尼大学);A.K.Choudhury School of IT(A.K.乔杜里信息技术学院);University of Calcutta(加尔各答大学)
针对环境声音分类问题,提出两级分类方法并引入Audio Crop音频滤波技术,在ESC-50数据集上分别取得78.75%和98.04%的分类准确率。
2024-08-24 cs.AI cs.SD eess.AS
Domain Adaptation Method and Modality Gap Impact in Audio-Text Models for Prototypical Sound Classification
Universidad de la República(乌拉圭共和国大学);Universitat Pompeu Fabra(庞培法布拉大学);New York University(纽约大学)
本文针对背景声源导致音频-文本模型零样本声音分类性能下降的问题,提出一种无需重训练的领域自适应方法,并证明缩小音频与文本模态差距可进一步提升分类性能。
2025-06-04 cs.AI cs.SD eess.AS
Knowledge Transfer from Weakly Labeled Audio using Convolutional Neural Network for Sound Events and Scenes
Carnegie Mellon University(卡内基梅隆大学);Facebook Inc.(脸书公司)
在这项工作中,我们提出了有效地转移弱标记的网络音频数据的知识的方法。我们首先描述了一个基于卷积神经网络(CNN)的框架,用于使用弱标记的音频数据进行声音事件检测和分类。我们的模型从可变长度的音频中有效地训练;因此,它非常适合迁移学习。然后,我们提出了使用该模型学习表示的方法,该模型可以有效地用于解决目标任务。我们研究了转导和归纳迁移学习任务,显示了我们的方法对领域和任务适应的有效性。我们表明,使用所提出的CNN模型的学习表示可以很好地推广到ESC-50声音事件数据集上达到人类水平的准确性,并在该数据集上设置最先进的结果。我们进一步将它们用于声学场景分类任务,并再次表明我们提出的方法也适合这项任务。我们还表明,我们的方法是有助于捕捉语义意义和关系。此外,在这个过程中,我们还在Audioset数据集上设置了最先进的结果,依赖于平衡的训练集。
2018-09-07 cs.MM cs.SD eess.AS
Contrastive Environmental Sound Representation Learning
University of Cambridge(剑桥大学);Jomo Kenyatta University of Agriculture and Technology(乔莫·肯雅塔农业技术大学)
环境声音的机器听觉是音频识别领域的重要课题之一。它使机器能够区分不同的输入声音,指导其决策。在这项工作中,我们利用自监督对比技术和浅层1D CNN来提取独特的音频特征(音频表示),而不使用任何显式的annotations.We生成的表示一个给定的音频使用其原始音频波形和频谱图和评估,如果建议的学习者是不可知的类型的音频输入。我们进一步使用典型相关分析(CCA)融合表示从给定的音频的两种类型的输入,并证明了融合的全局特征的结果在鲁棒的表示的音频信号相比,单独的表示。在ESC-50和UrbanSound 8 K上对所提出的技术进行了评估。实验结果表明,该方法能够提取环境音频的大部分特征,在ESC-50和UrbanSound 8 K数据集上分别提高了12.8%和0.9%。
2022-07-18 cs.AI cs.LG cs.SD
Sound Event Detection in Synthetic Audio: Analysis of the DCASE 2016 Task Results
LS2N(南特数字科学实验室);CNRS(法国国家科学研究中心);Ecole Centrale de Nantes(南特中央理工学院);Queen Mary University of London(伦敦玛丽女王大学)
作为2016年声学场景和事件检测和分类公众评估挑战赛(DCASE 2016)的一部分,第二项任务侧重于使用办公室声音的合成混合物评估声音事件检测系统。该任务遵循DCASE 2013的“事件检测-办公室合成”任务,研究当面临背景噪音和复调/密度方面的受控音频复杂度水平时,测试算法的行为,并具有非常准确的额外好处地面真相。本文介绍了任务制定,评估指标,提交的系统,并提供了一个统计分析的结果,相对于各个方面的评估数据集。
2017-11-15 cs.SD eess.AS stat.ML
PC-Mix: Partial-Component Audio Spoofing Detection under Mixed Speech and Environmental Sound Conditions
研究针对部分音频欺骗检测,提出PC-Mix数据集,解决现有基准差距。构建含真实与部分欺骗环境声音组件并与语音信号混合的音频,建立评估协议与联合学习框架,实验表明匹配条件下训练检测欺骗更有效。
2026-07-14 cs.CL cs.SD
Into the Wild with AudioScope: Unsupervised Audio-Visual Separation of On-Screen Sounds
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院)
深度学习的最新进展使声音分离和视觉场景理解方面取得了许多进展。然而,提取自然视频中明显的声源仍然是一个悬而未决的问题。在这项工作中,我们提出了AudioScope,一种新颖的视听声音分离框架,可以在没有监督的情况下进行训练,将屏幕上的声源与真实的野外视频隔离开来。先前的视听分离工作假设了对声音类别域的人为限制(例如,语音或音乐),限制了源的数量,并需要强大的声音分离或视觉分割标签。AudioScope克服了这些限制,在开放的声音域上操作,具有可变数量的源,并且没有标签或先前的视觉分割。AudioScope的训练过程使用混合不变训练(MixIT)将合成混合物(MoM)分离为单个源,其中混合物的噪声标签由无监督的视听重合模型提供。使用嘈杂的标签,以及视频和音频特征之间的注意力,AudioScope学会识别视听相似性并抑制屏幕外的声音。我们证明了我们的方法的有效性,使用从开放域YFCC 100米视频数据中提取的视频剪辑的数据集。该数据集包含在不受约束的条件下记录的多种声音类别,使得以前的方法的应用不合适。对于评估和半监督实验,我们收集了一小部分剪辑上存在屏幕上和屏幕外声音的人类标签。
2021-05-30 cs.CV cs.SD eess.AS
Separating Invisible Sounds Toward Universal Audiovisual Scene-Aware Sound Separation
Michigan State University(密歇根州立大学);University of Rochester(罗切斯特大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对现有视听声音分离方法无法处理相机视野外不可见声音的问题,提出AVSA-Sep框架,通过语义解析器和场景信息分离器,结合联合训练与跨模态对齐,成功实现可见与不可见声音的分离。
2023-10-18 cs.CV cs.SD eess.AS
AudioScopeV2: Audio-Visual Attention Architectures for Calibrated Open-Domain On-Screen Sound Separation
Google Research(谷歌研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们介绍AudioScopeV2,这是一个最先进的通用视听屏幕声音分离系统,它能够通过观看野外视频来学习分离声音并将它们与屏幕上的对象相关联。我们确定了以前的工作的视听屏幕上的声音分离的几个限制,包括时空注意力的粗分辨率,音频分离模型的收敛性差,训练和评估数据的种类有限,以及未能考虑到屏幕上的声音和抑制屏幕外的声音之间的权衡。我们为所有这些问题提供解决方案。我们提出的跨模态和自注意网络架构可以随着时间的推移以更高的分辨率捕获视听依赖关系,我们还提出了高效的可分离变体,这些变体能够扩展到更长的视频,而不会牺牲太多性能。我们还发现,仅在音频上预训练分离模型可以大大提高结果。为了进行训练和评估,我们从一个大型的野外视频数据库(YFCC 100M)中收集了新的人类对声音的注释。这个新的数据集更加多样化和具有挑战性。最后,我们提出了一个校准程序,允许精确调整屏幕上的重建与屏幕外的抑制,这大大简化了不同的操作点模型之间的性能比较。总的来说,我们的实验结果表明,在更一般的条件下,屏幕上的分离性能显着改善比以前的方法,以最小的额外的计算复杂性。
2022-07-20 cs.CV cs.SD eess.AS
Dual Normalization Multitasking for Audio-Visual Sounding Object Localization
Sony Group Corporation(索尼集团公司)
虽然一些研究工作已经报道了在无约束视频中的视听声源定位,没有数据集和指标已经在文献中提出了定量评估其性能。定义声源定位的地面实况是困难的,因为产生声音的位置不限于源对象的范围,而是振动通过周围对象传播和扩散。因此,我们提出了一个新的概念,发声对象,以减少声音的视觉位置的模糊性,使之有可能注释的位置范围广泛的声源。与新提出的定量评估指标,我们制定的问题,视听探测对象定位(AVSOL)。我们还通过手动注释著名的视听事件(AVE)数据集的测试集来创建评估数据集(AVSOL-E数据集)。为了解决这个新的AVSOL问题,我们提出了一种新的多任务训练策略和架构,称为双归一化多任务(DNM),它将视听对应(AVC)任务和视频事件的分类任务聚合到一个单一的视听相似性图中。通过有效地利用DNM的两个监督,我们提出的架构显着优于基线方法。
2021-06-01 cs.CV cs.SD eess.AS
BirdSoundsDenoising: Deep Visual Audio Denoising for Bird Sounds
Yeshiva University(叶史瓦大学);Cornell University(康奈尔大学)
几十年来,人们一直在使用传统方法和基于深度学习的方法来探索音频去噪。然而,这些方法仍然限于手动添加的人工噪声或较低的去噪音频质量。为了克服这些挑战,我们收集了一个大规模的自然噪声鸟声数据集。我们首次将音频去噪问题转化为图像分割问题,并提出了深度视觉音频去噪(DVAD)模型。我们开发了一个音频ImageMask工具,并建议使用Few-Shot泛化策略来标记这些图像。大量的实验结果表明,该模型达到了最先进的性能。我们还表明,我们的方法可以很容易地推广到语音去噪,音频分离,音频增强和噪声估计。
2022-10-18 cs.CV cs.SD eess.AS
Text-to-Audio Grounding: Building Correspondence Between Captions and Sound Events
Shanghai Jiao Tong University(上海交通大学)
自动音频字幕是一个跨模态的任务,生成自然语言描述来总结音频剪辑的声音事件。然而,尚未研究基于其对应的字幕将给定音频中的实际声音事件接地。本文贡献了一个AudioGrounding数据集,它提供了声音事件和Audiocaps中提供的字幕之间的对应关系,以及每个声音事件的位置(时间戳)。在此基础上,我们提出了文本到音频接地(TAG)的任务,交互地考虑音频处理和语言理解之间的关系。提供了基线方法,导致事件F1评分为28.3%,复音检测评分(PSDS)为14.7%。
2021-02-23 cs.SD eess.AS
Gotta Hear Them All: Towards Sound Source Aware Audio Generation
针对现有音频生成方法忽略局部声源细节导致沉浸感不足的问题,提出声源感知音频生成器SS2A,通过跨模态声源流形显式建模声源并混合语义,在图像到音频等任务中达到SOTA。
2025-08-12 cs.CV cs.MM cs.SD
Online Single-Channel Audio-Based Sound Speed Estimation for Robust Multi-Channel Audio Control
本文提出一种在线声音速度估计方法,利用单个麦克风在多通道音频播放中估计声音速度,以提升空间音频控制的鲁棒性。
2026-05-12 cs.SD eess.AS
Audio-Visual Segmentation by Exploring Cross-Modal Mutual Semantics
University of Technology Sydney(悉尼科技大学);The University of Queensland(昆士兰大学);Futureverse;The Hong Kong University of Science and Technology(香港科技大学);CSIRO DATA61(联邦科学与工业研究组织数据61研究所);Netease Fuxi AI Lab(网易伏羲人工智能实验室)
本研究提出一种视听实例感知分割方法,通过物体分割网络定位潜在发声物体并结合无声物体感知目标与视听语义相关性,克服了数据集偏差,有效实现了不受显著物体干扰的发声物体分割。
2023-08-01 cs.CV cs.SD eess.AS
Seeing Speech and Sound: Distinguishing and Locating Audios in Visual Scenes
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本研究提出带视听对齐目标的mix-and-separate统一框架,构建新数据集,实现视觉场景中混合语音与非语音的同时定位,在多项任务中性能优于或比肩现有方法。
2025-03-24 cs.CV cs.SD eess.AS
Enhanced Sound Event Localization and Detection in Real 360-degree audio-visual soundscapes
University of Southern California(南加州大学)
本研究基于纯音频SELDnet23模型,在GRU前融合音视频信息,并结合YOLO、DETIC检测器与视听数据增强及合成框架,构建出性能优于现有基线的增强型视听SELD系统。
2024-01-29 cs.AI cs.SD eess.AS
Measuring Sound Symbolism in Audio-visual Models
本研究调查预训练视听模型是否表现出类似人类的语音象征现象,通过构建专用数据集并在零样本设置下评估,发现模型输出与语音象征模式显著相关,尤其在语音数据训练的模型中,揭示了模型捕捉音义联系的能力。
2024-11-11 cs.CL cs.CV cs.SD
Unsupervised Discriminative Learning of Sounds for Audio Event Classification
UC Berkeley(加州大学伯克利分校);Bosch Research North America(博世北美研究院)
基于网络的音频事件分类的最新进展已经显示了基于视觉数据(如ImageNet)的预训练模型的好处。虽然这个过程允许跨不同领域的知识转移,但在大规模视觉数据集上训练模型是非常耗时的。在几个音频事件分类基准测试中,我们展示了一种快速有效的替代方案,该方案仅在音频数据上对无监督模型进行预训练,但与ImageNet预训练的性能相当。此外,我们还证明了我们的区别性音频学习可以用于跨音频数据集传输知识,并可选地包括ImageNet预训练。
2021-05-20 cs.CV cs.SD eess.AS
Team AcieLee: Technical Report for EPIC-SOUNDS Audio-Based Interaction Recognition Challenge 2023
Southwest University(西南大学);Samsung Research China-Beijing(SRC-B)(三星中国研究院-北京);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
本报告介绍AcieLee团队参与2023年EPIC-SOUNDS基于音频的交互识别挑战赛的技术方案,通过采用学习率步长衰减等优化策略及多模型融合方法,最终获得挑战赛第三名。
2023-06-15 cs.CV cs.SD eess.AS
iQuery: Instruments as Queries for Audio-Visual Sound Separation
UC San Diego(加州大学圣地亚哥分校);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学);National University of Singapore(新加坡国立大学);ShanghaiTech University(上海科技大学);University of Pennsylvania(宾夕法尼亚大学)
当前的视听分离方法共享标准架构设计,其中音频编码器-解码器网络在编码器瓶颈处与视觉编码特征融合。该设计混淆了多模态特征编码的学习与用于音频分离的鲁棒声音解码。推广到一种新乐器:必须为所有乐器微调整个视觉和音频网络。我们重新制定视听分离的任务,并提出了一个灵活的查询扩展机制的查询(iQuery)的仪器。我们的方法确保了跨模态的一致性和跨仪器的解纠缠。我们利用“视觉命名”查询启动学习的音频查询,并使用跨模态的注意力,以消除潜在的声源干扰估计波形。为了推广到新的仪器或事件类,从文本提示设计中汲取灵感,我们插入一个额外的查询作为音频提示,同时冻结注意力机制。三个基准测试的实验结果表明,我们的iQuery提高视听声音声源分离性能。
2022-12-08 cs.CV cs.MM cs.SD
Telling Left from Right: Learning Spatial Correspondence of Sight and Sound
MIT(麻省理工学院);Adobe Research(奥多比研究院)
自我监督的视听学习旨在通过利用视觉和音频输入之间的对应关系来捕获有用的视频表示。现有的方法主要集中在感官流之间的语义信息的匹配。我们提出了一种新的自我监督的任务,利用正交原则:匹配音频流中的空间信息的声音源在视觉流的位置。我们的方法简单而有效。我们训练一个模型来确定左右音频通道是否已经翻转,迫使它在视觉和音频流中推理空间定位。为了训练和评估我们的方法,我们引入了一个大规模的视频数据集,YouTube-ASMR-300 K,空间音频包括超过900小时的镜头。我们证明,理解空间对应性使模型能够在三个视听任务上表现得更好,在不利用空间音频线索的监督和自我监督基线上实现定量增益。我们还展示了如何将我们的自我监督方法扩展到具有ambisonic音频的360度视频。
2020-06-12 cs.CV cs.SD eess.AS
Generating Realistic Images from In-the-wild Sounds
Artificial Intelligence Graduate School, UNIST(蔚山科学技术院人工智能研究生院)
本文提出一种从野外声音生成逼真图像的新方法,通过音频字幕、音频与句子注意力及CLIPscore优化,利用扩散模型生成,实验优于基线。
2023-09-05 cs.CV cs.SD eess.AS
Seeing Soundscapes: Audio-Visual Generation and Separation from Soundscapes Using Audio-Visual Separator
King’s College London(伦敦国王学院)
提出AV-GAS模型,利用音视频分离器从多类别混合音频(声景)生成图像,并引入新的分离任务与评估指标,在VGGSound数据集上超越现有方法,CRS提升7%,R@2*提升4%。
2025-04-25 cs.AI cs.CV cs.MM
Sounding Bodies: Modeling 3D Spatial Sound of Humans Using Body Pose and Audio
Shanghai AI Laboratory(上海人工智能实验室);Meta Reality Labs Research(Meta现实实验室)
本文提出一种利用身体姿态和音频生成人体三维空间声场的模型,并构建了首个多模态数据集,实验证明其能精确生成身体诱发声场。
2023-11-01 cs.CV cs.LG cs.SD
High-Quality Visually-Guided Sound Separation from Diverse Categories
University of Rochester(罗切斯特大学);Meta Reality Labs Research(Meta现实实验室)
提出基于扩散的视听分离框架DAVIS,利用生成扩散模型和Separation U-Net从高斯噪声合成分离声音,在AVE和MUSIC数据集上分离质量优于现有判别式方法。
2024-10-10 cs.CV cs.SD eess.AS
Weakly-supervised Audio-visual Sound Source Detection and Separation
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(Vector人工智能研究所)
学习如何在视频的音频通道中定位和分离各个对象声音是一项艰巨的任务。目前最先进的方法从人工混合的频谱图预测音频掩码,称为混合和分离框架。我们提出了一种视听联合分割,其中网络从仅标记有对象标签的视频中学习单个对象的外观和声音。与其他最近的视觉引导音频声源分离框架不同,我们的架构可以以端到端的方式学习,并且不需要额外的监督或限界框建议。具体来说,我们在声音分离的背景下引入弱监督对象分割。我们还制定了声谱图掩模预测使用一组学习的掩模基地,结合使用对象分割的输出,一个设计,有利于分离的条件下的系数。在MUSIC数据集上的大量实验表明,我们提出的方法在视觉引导的声音声源分离和声音去噪方面优于最先进的方法。
2021-03-25 cs.CV cs.SD eess.AS
Echo-Reconstruction: Audio-Augmented 3D Scene Reconstruction
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of Maryland at College Park(马里兰大学帕克分校)
反射和无纹理表面(如窗户、镜子和墙壁)对于物体和场景重建来说是一个挑战。这些表面通常重建得很差,并且填充有深度不连续性和孔,使得难以内聚地重建包含这些平面不连续性的场景。我们提出了回声重建,这是一种视听方法,它使用声音的反射来帮助虚拟会议,远程沉浸和其他AR/VR体验的几何和音频重建。手机原型发出脉冲音频,同时记录视频,用于基于RGB的3D重建和视听分类。来自视频的反射声音和图像被输入到我们的音频(EchoCNN-A)和视听(EchoCNN-AV)卷积神经网络中,用于表面和声源检测、深度估计和材料分类。从这些分类的推论增强场景3D重建包含开放空间和反射表面的深度过滤,修补,并放置在场景中的未混合的声源。我们的原型、VR演示和来自具有挑战性表面和声音的真实世界和虚拟场景的实验结果表明,材料分类、深度估计和封闭/开放表面的成功率很高,从而大大改善了3D场景的视觉和音频效果(见图1)。
2021-10-05 cs.CV cs.SD eess.AS
Generating Diverse Audio-Visual 360 Soundscapes for Sound Event Localization and Detection
University of Southern California(南加州大学);Universidad Nacional Autónoma de México(墨西哥国立自治大学);Universidad Autónoma de Tamaulipas(塔毛利帕斯自治大学);Queen Mary University of London(伦敦大学玛丽皇后学院)
提出SELDVisualSynth工具,结合真实背景图像生成视听空间对齐的360度合成视频,用于声事件定位与检测,显著提升模型定位召回率与误差表现。
2025-04-03 cs.SD eess.AS
Dynamical Audio-Visual Navigation: Catching Unheard Moving Sound Sources in Unmapped 3D Environments
Albert-Ludwigs-University Freiburg(弗赖堡阿尔伯特-路德维希大学)
最近的视听导航工作针对无噪声音频环境中的单一静态声音,并努力推广到听不见的声音。我们介绍了新的动态视听导航基准,其中一个具体的人工智能智能体必须抓住一个移动的声源在一个未映射的环境中存在的干扰和嘈杂的声音。我们提出了一种端到端的强化学习方法,该方法依赖于多模态架构,该架构融合了来自双耳音频信号和空间占用图的空间视听信息,以编码为我们新的复杂任务设置学习鲁棒导航策略所需的特征。我们证明,我们的方法优于当前最先进的技术,更好地推广到闻所未闻的声音和更好的鲁棒性,噪声场景上的两个具有挑战性的3D扫描的真实世界的数据集ESTA和Matterport3D,静态和动态的视听导航基准。我们的新基准将在http://dav-nav.cs.uni-freiburg.de上提供。
2022-01-12 cs.CV cs.LG cs.RO
Learning to Separate Object Sounds by Watching Unlabeled Video
The University of Texas at Austin(德克萨斯大学奥斯汀分校);IBM Research(IBM研究院);Facebook AI Research(Facebook人工智能研究院)
最充分地感知一个场景需要所有的感官。然而,建模对象的外观和声音是具有挑战性的:大多数自然场景和事件包含多个对象,并且音轨将所有声源混合在一起。我们提出从未标记的视频中学习视听对象模型,然后利用视觉上下文来执行新视频中的音频声源分离。我们的方法依赖于一个深度的多实例多标签学习框架来解开映射到单个视觉对象的音频基础,即使没有孤立地观察/听到这些对象。我们展示了如何恢复解开基地可以用来指导音频声源分离,以获得更好的分离,对象级的声音。我们的工作是第一个学习音频声源分离从大规模的“在野外”的视频包含多个音频源,每个视频。我们获得了视觉辅助音频声源分离和音频去噪的最先进的结果。我们的视频结果:http://vision.cs.utexas.edu/projects/separating_object_sounds/
2018-07-26 cs.CV cs.MM cs.SD
Co-Separating Sounds of Visual Objects
UT Austin(德克萨斯大学奥斯汀分校);Facebook AI Research(脸书人工智能研究院)
从视频中学习对象的声音是具有挑战性的,因为它们通常在单个音频通道中严重重叠。当前的视觉引导音频声源分离方法通过使用人工混合的视频片段进行训练来回避这个问题,但这对训练数据收集造成了不便的限制,甚至可能阻止学习“真实”混合声音的属性。我们引入了一个协同分离训练范式,允许从未标记的多源视频中学习对象级别的声音。我们的新训练目标要求深度神经网络对相似对象的分离音频是一致可识别的,同时为每个源训练对再现准确的视频级音轨。我们的方法在真实的测试视频中解开声音,即使在训练过程中没有单独观察对象的情况下。我们获得了MUSIC、AudioSet和AV-Bench数据集的视觉引导音频声源分离和音频去噪的最新结果。
2019-08-20 cs.CV cs.MM cs.SD
ACES: Evaluating Automated Audio Captioning Models on the Semantics of Sounds
Maastricht University(马斯特里赫特大学);Université Aix-Marseille(艾克斯-马赛大学);CNRS(法国国家科学研究中心)
本文提出ACES评估指标,从人类听觉语义解析角度结合语义相似度与实体标注评估自动音频字幕,并在Clotho-Eval FENSE基准上优于同类指标。
2024-03-27 cs.SD eess.AS
STARSS23: An Audio-Visual Dataset of Spatial Recordings of Real Scenes with Spatiotemporal Annotations of Sound Events
Sony AI(索尼人工智能);Tampere University(坦佩雷大学);Sony Group Corporation(索尼集团公司)
本文提出视听声音事件定位与检测任务,并介绍STARSS23数据集,该数据集包含多通道音频、视频及时空标注,实验表明利用视觉对象位置可提升SELD性能。
2023-11-14 cs.CV cs.MM cs.SD
Sound Adversarial Audio-Visual Navigation
Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua University(清华大学);Xinjiang University(新疆大学);JD Explore Academy, JD.com(京东探索研究院)
视听导航任务要求智能体通过自我中心的视听观察在现实的、未映射的3D环境中找到声源。现有的视听导航作品假设一个干净的环境,只包含目标声音,然而,这将是不适合在大多数现实世界中的应用,由于意外的声音噪声或故意干扰。在这项工作中,我们设计了一个声学复杂的环境中,除了目标声音,存在一个声音攻击者玩零和游戏的代理。更具体地说,攻击者可以移动和改变声音的音量和类别,使智能体在试图躲避攻击并在干预下导航到目标的同时难以找到发声对象。在对攻击者进行一定约束的情况下,可以提高智能体对视听导航中意外声音攻击的鲁棒性。为了更好的收敛,我们开发了一个联合训练机制,采用的财产集中的批评与分散的演员。在两个真实的3D扫描数据集上进行的实验验证了在我们设计的环境下训练的Agent在转移到干净环境或包含随机策略的声音攻击者的环境中的有效性和鲁棒性。项目:\url{https://yyf17.github.io/SAAVN}。
2022-02-22 cs.CV cs.RO cs.SD
MMAudioSep: Taming Video-to-Audio Generative Model Towards Video/Text-Queried Sound Separation
Sony Group Corporation, Japan(日本索尼集团公司);Sony AI, USA(美国索尼人工智能)
MMAudioSep基于预训练视频到音频模型,通过利用视频/文本与音频的关系实现更高效的声学分离,优于现有方法并保留原始视频到音频生成能力。
2026-04-17 cs.CV cs.LG cs.SD