Listen, Analyze, and Adapt to Learn New Attacks: An Exemplar-Free Class Incremental Learning Method for Audio Deepfake Source Tracing
The University of Melbourne(墨尔本大学);Fortemedia Singapore(新加坡Fortemedia)
针对音频深度伪造溯源的类别增量学习中存在的灾难性遗忘问题,提出AnaST方法,固定特征提取器并以闭式解析解单轮更新分类器,性能优于基线,兼顾隐私与内存效率。
2025-05-20 cs.SD eess.AS
TAIL: Text-Audio Incremental Learning
National University of Singapore(新加坡国立大学);Renmin University of China(中国人民大学);Zhejiang University(浙江大学)
该研究提出文本-音频增量学习任务 TAIL 及 PTAT 方法,通过提示调优、音频-文本相似度与特征蒸馏缓解灾难性遗忘,并以极少参数显著提升检索性能。
2025-07-28 cs.AI cs.CV cs.SD
Exemplar-Free Analytic Learning for Multi-Label Audio Class-Incremental Learning
The University of Melbourne(墨尔本大学)
本文提出ALMA,一种基于无样本解析学习的多标签音频类增量学习方法,通过闭式更新线性分类器并利用旧类分数估计与频率加权,在AudioSet-R基准上显著优于梯度方法且不遗忘旧类。
2026-09-25 eess.AS
Few-shot Class-incremental Audio Classification Using Stochastic Classifier
针对类别持续增加导致音频分类模型需反复重训的问题,提出由冻结嵌入提取器和增量扩展随机分类器组成的小样本类别增量方法,并在 NS-100、LS-100 上优于四个基线。
2023-06-03 eess.AS
Fully Few-shot Class-incremental Audio Classification Using Multi-level Embedding Extractor and Ridge Regression Classifier
针对基类和增量类样本均稀少的完全少样本类增量音频分类问题,提出解耦的多级嵌入提取器与岭回归分类器方法,在三个数据集上准确率领先且复杂度占优。
2025-06-23 eess.AS
Few-Shot Class-Incremental Audio Classification Using Pseudo-Incrementally Trained Embedding Learner and Continually Updated Stochastic Classifier
研究少样本类别增量音频分类问题,提出将模型解耦为伪增量训练的嵌入学习器和持续更新的随机分类器,能在识别增量类别的同时不忘基础类,经实验验证该方法准确率高且复杂度低。
2026-07-08 eess.AS
Cross Domain Few-Shot Class-Incremental Audio Classification Via Adversarial Contrastive Learning
School of Electronic and Information Engineering, South China University of Technology(华南理工大学电子与信息工程学院)
针对基类与增量类样本存在域偏移的跨域小样本增量音频分类问题,提出对抗对比训练策略,编码器在基会话训练后冻结,分类器持续更新,在六组跨域数据集上平均准确率超越现有方法。
2026-07-03 eess.AS
Few-shot Class-incremental Audio Classification Using Dynamically Expanded Classifier with Self-attention Modified Prototypes
本文提出一种少样本类增量音频分类方法,通过冻结的 ResNet 嵌入提取器与基于原型自适应网络动态扩展的分类器解耦构建,利用少量新类样本持续学习新音频类别而不遗忘旧类,并在三个音频数据集上验证了其在准确率、性能下降率及资源开销方面的优势。
2023-05-31 eess.AS
FastICARL: Fast Incremental Classifier and Representation Learning with Efficient Budget Allocation in Audio Sensing Applications
University of Cambridge(剑桥大学);University of Southampton(南安普顿大学)
已经提出了各种增量学习(IL)方法来帮助深度学习模型连续地学习新的任务/类,而不会忘记先前学习的内容(即,避免灾难性遗忘)。随着部署的音频感测应用的数量不断增加,这些应用需要动态地整合新任务并改变来自用户的输入分布,设备上的IL能力对于效率和用户隐私变得至关重要。然而,现有的工作遭受高的计算成本和存储需求,这阻碍了IL在设备上的部署。在这项工作中,为了克服这些限制,我们开发了一个端到端和设备上的IL框架,FastICARL,它结合了基于示例的IL和量化的背景下,基于音频的应用程序。我们首先使用k-最近邻来减少IL的延迟。然后,我们共同利用量化技术,以减少IL的存储需求。我们在两种类型的移动设备上实现了FastICARL,并证明FastICARL在不牺牲其性能的情况下显著降低了IL时间高达78-92%和2-4倍的存储需求。FastICARL支持完整的设备上IL,确保用户隐私,因为用户数据不需要离开设备。
2021-06-24 cs.LG cs.SD eess.AS
Few-shot Class-incremental Audio Classification Using Adaptively-refined Prototypes
South China University of Technology(华南理工大学);Tampere University(坦佩雷大学)
针对少样本类增量音频分类问题,提出基于随机情景训练和动态关系投影模块的自适应精化原型方法,在两个音频数据集上取得优于现有方法的平均准确率和性能下降率。
2023-05-29 cs.MM cs.SD eess.AS
UCIL: An Unsupervised Class Incremental Learning Approach for Sound Event Detection
Fortemedia Singapore(富特美迪亚新加坡公司)
本研究针对声音事件检测的类别增量学习需求,提出结合蒸馏损失、样本选择与平衡更新机制的无监督UCIL方法,在DCASE 2023 Task 4数据集上验证了其在真实动态音频场景的应用价值与研究方向。
2025-01-11 cs.SD eess.AS
Incremental learning for audio classification with Hebbian Deep Neural Networks
Signal Processing Research Centre, Tampere University, Tampere, Finland(塔尔库大学信号处理研究中心,芬兰塔尔库);Department of Electronics, Information and Bioengineering (DEIB), Politecnico di Milano, Italy(米兰理工学院电子、信息与生物工程系)
本文提出基于Hebbian学习的核可塑性方法,用于音频分类增量学习,通过选择性调节网络核实现新信息学习与旧知识保留,实验显示在ESC-50数据集上准确率提升且稳定性更优。
2026-04-20 cs.LG eess.AS
Incremental Text to Speech for Neural Sequence-to-Sequence Models using Reinforcement Learning
Papercup Technologies Ltd.(Papercup科技有限公司)
文本转语音的现代方法要求在合成任何音频之前处理整个输入字符序列。这种延迟限制了这种模型对同声传译等时间敏感任务的适用性。将读取字符的动作与合成音频的动作交错减少了这种延迟。然而,这种交错动作序列的顺序在句子中是不同的,这就提出了如何选择动作的问题。我们提出了一个基于强化学习的框架来训练代理做出这个决定。我们比较我们的性能对确定性,基于规则的系统。我们的研究结果表明,我们的代理成功地平衡了音频生成的延迟和合成音频的质量之间的权衡。更广泛地说,我们表明,神经序列到序列模型可以适应以增量方式运行。
2020-08-07 cs.LG cs.SD eess.AS
Domain-incremental audio classification using domain-specific experts and prototype classifier
针对DCASE 2026挑战赛任务7,提出将域增量学习视为冻结特征重放问题,训练多个紧凑专家模型并冻结,最终用原型分类器聚合特征,通过生成式重放和跨阶段回归插补避免灾难性遗忘,在开发集上达到78.15%微观/77.03%宏观准确率。
2026-06-23 cs.LG eess.AS
The Benefit Of Temporally-Strong Labels In Audio Event Classification
Google Research(谷歌研究院)
为了揭示地面实况音频事件标签中时间精度的重要性,我们为AudioSet数据集的一部分收集了精确(~0.1秒分辨率)的“强”标签。我们设计了一个时间上强的评估集(包括不同难度的显式否定)和一个67 k剪辑的小的强标记训练子集(与原始数据集的1.8M剪辑相比,以10秒的分辨率标记)。我们表明,微调与弱和强标记的数据的混合可以大大提高分类器的性能,即使只使用原来的弱标签进行评估。对于ResNet 50架构,包括显式否定的强评估数据的d'从1.13提高到1.41。新标签可作为AudioSet的更新提供。
2021-05-14 cs.SD eess.AS
Parameter isolation with domain-specific experts for incremental audio classification
Hanwha Vision Co. Ltd.(韩华视觉有限公司)
本文提出一种领域特定参数隔离架构,通过全阶循环更新、无数据生成重放和跨领域特征生成,在音频分类的域增量学习中缓解灾难性遗忘,并在DCASE 2026挑战赛任务7上分别将微观和宏观准确率提升至78.4%和78.9%。
2026-09-15 cs.LG cs.SD eess.AS
Few-shot Class-variable Incremental Audio Classification via Prototype Adaptation and Pseudo Class-variable Training
School of Electronic and Information Engineering, South China University of Technology(华南理工大学电子与信息学院)
针对实际中类别数量增减的少样本类变量增量音频分类问题,提出一种结合原型适应网络和伪类变量训练策略的方法,在三个公开数据集上平均准确率超过现有方法。
2026-06-16 cs.AI cs.LG eess.AS
Leveraging Pre-Trained Models for Multimodal Class-Incremental Learning under Adaptive Fusion
University of Electronic Science and Technology of China(电子科学与技术大学)
针对三模态多模态类别增量学习的信息整合与灾难性遗忘问题,提出基于预训练模型、含自适应融合模块与专属损失的方法,经多数据集验证有效。
2025-02-07 cs.LG cs.MM cs.SD
Pseudo strong labels for large scale weakly supervised audio tagging
Xiaomi Corporation(小米公司)
大规模的音频标记数据集不可避免地包含不完美的标签,例如由于高手动标记成本而没有精确的开和偏移的剪辑式注释(时间上弱)标签。这项工作提出了伪强标签(PSL),一个简单的标签增强框架,提高了大规模弱监督音频标记的监督质量。机器注释器首先在大型弱监督数据集上进行训练,然后为学生模型提供更精细的监督。使用PSL,我们使用MobileNetV2后端实现了Audioset的35.95平衡训练子集的mAP,显著优于没有PSL的方法。提供的分析显示,PSL减轻了标签缺失。最后,我们证明了用PSL训练的模型在推广到Freesound数据集(FSD)方面也优于弱训练的模型。
2022-04-28 cs.SD eess.AS
Semi-Supervised Audio Classification with Partially Labeled Data
Georgia Institute of Technology(佐治亚理工学院)
随着大规模数据集可用性的提高,音频分类取得了很大的进展。然而,这些大型数据集通常只被部分标记,因为收集完整的注释是一个繁琐而昂贵的过程。本文提出了两种能够在缺失标签的情况下学习的半监督方法,并在两个公开的部分标记数据集上对其进行了评估。第一种方法依赖于标签增强的两个阶段的师生学习过程,而第二种方法利用平均教师半监督学习算法。我们的研究结果证明了不正确处理缺失标签的影响,并比较了使用不同策略利用标签较少的数据的好处。能够使用部分标记的数据进行学习的方法有可能通过利用更大量的数据来改进音频分类模型,而无需完整的注释。
2021-11-24 cs.SD eess.AS
Incremental Text-to-Speech Synthesis with Prefix-to-Prefix Framework
Kwai Inc.(Kwai公司);Amazon(亚马逊);Baidu Research(百度研究院);Oregon State University(俄勒冈州立大学)
文本到语音合成(TTS)近年来取得了快速的发展,其中神经方法能够产生具有高自然度的音频。然而,这些努力仍然受到两种延迟的影响:(a){ \em计算延迟}(合成时间),即使采用并行方法,其也随着句子长度线性增长,以及(b)在输入文本增量生成的场景中(例如在同声翻译、对话生成和辅助技术中)的{ \em输入延迟}。为了减少这些延迟,我们设计了第一个神经增量TTS方法的基础上最近提出的前缀到前缀的框架。我们以在线方式合成语音,播放一段音频,同时生成下一段,导致$O(1)$而不是$O(n)$延迟。
2020-10-07 cs.CL cs.SD eess.AS
Weakly Labelled AudioSet Tagging with Attention Neural Networks
University of Surrey(萨里大学);Tencent AI Lab(腾讯人工智能实验室);Qingdao University of Science and Technology(青岛科技大学)
音频标记是预测音频片段中是否存在声音类别的任务。以前的音频标记工作集中在相对较小的数据集上,仅限于识别少量的声音类别。我们研究AudioSet上的音频标记,AudioSet是一个由超过200万个音频片段和527个类组成的数据集。AudioSet的标签较弱,因为每个剪辑仅知道是否存在声音类别,而开始和偏移时间未知。为了解决弱标记的音频标记问题,我们提出了注意力神经网络作为一种方式来参加音频剪辑的最显着的部分。我们的桥梁之间的联系,注意神经网络和多实例学习(MIL)的方法,并提出了决策级和特征级的注意神经网络的音频标记。我们研究了由不同函数、深度和宽度建模的注意神经网络。AudioSet上的实验表明,特征级注意力神经网络达到了最先进的平均精度(mAP)0.369,优于最佳多实例学习(MIL)方法0.317和谷歌深度神经网络基线0.314。此外,我们发现,音频标记性能的AudioSet嵌入功能有一个弱相关性的训练样本的数量和每个声音类的标签的质量。
2019-12-10 cs.SD eess.AS
SALT: Standardized Audio event Label Taxonomy
针对固定音频分类体系难以整合新声音且跨数据集兼容性差的问题,提出基于AudioSet层级结构的SALT标准化标签分类体系,覆盖24个数据集,并提供Python包实现统一映射与数据聚合。
2024-09-18 cs.SD eess.AS
Multi-label Open-set Audio Classification
New Jersey Institute of Technology(新泽西理工学院)
本研究针对多音轨音频中声音事件重叠的场景,通过创建包含不同未知类别分布的数据集并评估基线方法,确立了多标签开集音频分类问题。
2023-10-20 cs.SD eess.AS
Overcoming label noise in audio event detection using sequential labeling
Sogang University(西江大学);Naver Corporation(NAVER公司)
针对音频事件检测(AED)中的噪声标签问题,将强标签细化为去除不准确时间戳的序列标签。在AED中,强标签包含特定事件的发生及其与音频片段中事件的开始和结束相对应的时间戳。时间戳依赖于每个注释者的主观性,它们的标签噪声是不可避免的。与强标签相反,弱标签仅指示特定事件的发生。它们不具有由时间戳引起的标签噪声,但是时间信息被排除在外。为了充分利用现有的强标签和弱标签的信息,我们提出了一个AED计划,训练与顺序标签,除了给定的强标签和弱标签后,强标签转换成顺序标签。使用顺序标签始终提高了性能,特别是通过关注事件的发生,使用基于片段的F分数。在用于半监督学习的基于平均教师的方法中,除了具有顺序标签的监督学习之外还包括具有顺序预测的早期步骤,减轻了标签噪声和教师模型的不准确预测,并且在保持基于事件的F分数的同时显著提高了基于片段的F分数。
2020-07-10 cs.SD eess.AS
A Global-local Attention Framework for Weakly Labelled Audio Tagging
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室);University of Surrey(萨里大学)
弱标记的音频标记旨在预测音频片段内的声音事件的类别,其中不提供声音事件的开始和偏移时间。以前的工作使用多实例学习(MIL)框架,并利用MIL池函数的信息,整个音频片段。然而,在此框架下可能不考虑声音事件的详细信息,例如其持续时间。为了解决这个问题,我们提出了一种新的双流框架,利用全球和本地信息的声音事件的音频标记。全局流的目的是分析整个音频剪辑,以便捕获需要使用类选择模块来参与的本地剪辑。然后将这些剪辑馈送到本地流,以利用详细信息进行更好的决策。在AudioSet上的实验结果表明,该方法可以显著提高不同基线网络架构下的音频标注性能。
2021-02-03 cs.SD eess.AS
The TMU System for the XACLE Challenge: Training Large Audio Language Models with CLAP Pseudo-Labels
Tokyo Metropolitan University(东京 Metropolitan 大学)
TMU系统通过CLAP伪标签预训练,在XACLE挑战中实现0.632的SRCC成绩,优于基线系统并获得第三名。
2026-01-31 cs.SD eess.AS
Polyphonic audio tagging with sequentially labelled data using CRNN with learnable gated linear units
Beijing University of Posts and Telecommunications(北京邮电大学);University of Surrey(萨里大学)
音频标记旨在检测音频记录中发生的声音事件的类型。为了对复音音频录音进行标记,我们提出了基于一种新类型的音频标记数据:顺序标记数据(SLD),在具有可学习门控线性单元的卷积递归神经网络(CRNN)(GLU-CTC)之上使用连接主义时间分类(CTC)损失函数。在GLU-CTC中,CTC目标函数将标签的帧级概率映射到标签的剪辑级概率。为了比较GLU-CTC对声音事件的映射能力,我们训练了一个基于全局最大池的GLU CRNN(GLU-GMP)和一个基于全局平均池的GLU CRNN(GLU-GAP)。我们还比较了建议的GLU-CTC系统与基线系统,这是一个CRNN训练使用CTC损失函数没有GLU。实验表明,GLU-CTC在音频标记中实现了0.882的曲线下面积(AUC)得分,优于GLU-GMP的0.803,GLU-GAP的0.766和基线系统的0.837。也就是说,在与GLU相同的CRNN模型下,CTC映射的性能优于GMP和GAP映射。考虑到两者都基于CTC映射,具有GLU的CRNN优于不具有GLU的CRNN。
2018-11-17 cs.SD eess.AS
Semantic Proximity Alignment: Towards Human Perception-consistent Audio Tagging by Aligning with Label Text Description
Key Laboratory of Aerospace Information Security and Trusted Computing, Ministry of Education(空天信息安全与可信计算教育部重点实验室);School of Cyber Science and Engineering, Wuhan University(武汉大学网络空间安全学院)
本文提出语义邻近对齐(SPA)方法,通过将音频特征与标签文本描述对齐,把声音事件的语义层级和邻近关系注入音频编码器,使音频标记模型的预测更符合人类感知,并在OmAP指标上比仅用独热标签训练的模型提升1.8。
2024-01-16 cs.SD eess.AS
Streaming Endpointer for Spoken Dialogue using Neural Audio Codecs and Label-Delayed Training
Brno University of Technology(布拉格技术大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出利用流式低比特率神经音频编解码器特征和标签延迟训练方案,在160毫秒延迟下将端点检测截断错误降低42.7%(单流)和37.5%(双流),并集成到语音大模型中提升响应时间1200毫秒、减少截断错误35%。
2025-06-19 cs.SD eess.AS
Investigating Label Noise Sensitivity of Convolutional Neural Networks for Fine Grained Audio Signal Labelling
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学)
我们测量了在细粒度音频信号标记任务中由轻微未对齐的地面真实标签引起的少量系统和随机标签噪声的影响。我们选择演示这些效果的任务也称为逐帧复调转录或音符量化多f0估计,并将单声道音频信号转换为音符指示符标签序列。它将表明,即使是轻微的错位有明显的影响,证明了卷积神经网络的标签噪声的高度敏感性。其含义是明确的:当将卷积神经网络用于细粒度音频信号标记任务时,必须非常小心地确保注释具有精确的定时,并且尽可能地不受系统或随机误差的影响,即使是小的未对准也会产生明显的影响。
2018-05-28 cs.LG cs.SD eess.AS
Automated Audio Captioning using Audio Event Clues
音频字幕是一个重要的研究领域,旨在为音频片段生成有意义的描述。现有的大多数研究提取音频片段的声学特征作为编码器-解码器和Transformer架构的输入,以序列到序列的方式产生字幕。由于数据不足和架构的学习能力不足,需要额外的信息来生成自然语言句子以及声学特征。为了解决这些问题,提出了一种编码器-解码器架构,该架构从声学特征和提取的音频事件标签两者作为输入来学习。该模型基于预训练的声学特征和音频事件检测。各种实验使用不同的声学特征,词嵌入模型,音频事件标签提取方法和实现配置,以显示哪些组合在音频字幕任务上具有更好的性能。在多个数据集上进行的大量实验结果表明,使用具有声学特征的音频事件标签提高了识别性能,并且所提出的方法优于最先进的模型或取得了与最先进的模型竞争的结果。
2022-04-18 cs.SD eess.AS
SIGNL: A Label-Efficient Audio Deepfake Detection System via Spectral-Temporal Graph Non-Contrastive Learning
Institute of Innovation, Science and Sustainability, Federation University Australia(创新、科学与可持续性研究所,联邦大学澳大利亚)
SIGNL通过频谱-时间图非对比学习实现高效音频深度伪造检测,利用未标记数据预训练编码器并微调,实现低标签数据下的高检测性能。
2026-01-12 cs.SD eess.AS
Zero-Shot Audio Classification Based on Class Label Embeddings
Tampere University(坦佩雷大学)
提出了一种基于类别标签文本信息的零样本学习音频分类方法。我们提出了一个基于双线性模型的音频分类系统,该系统以音频特征嵌入和语义类标签嵌入为输入,并测量音频特征嵌入和类标签嵌入之间的兼容性。我们使用VGGish从音频记录中提取音频特征嵌入。我们把文本标签作为音频类的语义边信息,并使用Word 2 Vec生成类标签嵌入。在ESC-50数据集上的实验结果表明,该系统可以在较小的训练数据集上进行zero-shot音频分类。它可以实现准确性(平均26%)优于随机猜测(10%)对每个音频类别.特别地,对于自然音频类的类别,它达到高达39.7%。
2019-08-07 cs.LG cs.SD eess.AS
Audio Tagging With Connectionist Temporal Classification Model Using Sequential Labelled Data
Beijing University of Posts and Telecommunications(北京邮电大学);University of Surrey(萨里大学)
音频标记旨在预测音频片段中的一个或多个标签。许多以前的作品使用弱标记数据(WLD)进行音频标记,其中只有声音事件的存在或不存在是已知的,但声音事件的顺序是未知的。为了使用声音事件的顺序信息,我们提出了顺序标记数据(SLD),其中声音事件的存在或不存在以及顺序信息都是已知的。为了在音频标记中利用SLD,我们提出了一个卷积递归神经网络,然后是连接主义时间分类(CRNN-CTC)目标函数,以从音频片段频谱图映射到SLD。实验表明,CRNN-CTC在音频标记中获得了0.986的曲线下面积(AUC)分数,分别优于最大池化和平均池化的0.908和0.815的基线CRNN。此外,我们展示了CRNN-CTC具有预测音频片段中声音事件的顺序的能力。
2018-08-06 cs.CL cs.SD eess.AS
SemanticAC: Semantics-Assisted Framework for Audio Classification
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
在本文中,我们提出了SemanticAC,一个语义辅助框架的音频分类,以更好地利用语义信息。与传统的音频分类方法不同,将类别标签视为离散向量,我们采用语言模型从标签中提取丰富的语义,并优化音频信号及其标签之间的语义一致性。我们验证了来自标签和高级预训练模型的简单文本信息可以实现更丰富的语义监督,从而获得更好的性能。具体来说,我们设计了一个文本编码器,从标签的文本扩展中捕获语义信息。然后通过音频编码器和相似度计算模块将音频信号映射到对应的类标签的语义,以增强语义一致性。在ESC-50和US 8 K两个音频数据集上进行的大量实验表明,我们提出的方法始终优于比较的音频分类方法。
2023-02-12 cs.AI cs.SD eess.AS
Large-scale weakly supervised audio classification using gated convolutional neural network
University of Surrey(萨里大学)
在本文中,我们提出了一种用于音频分类的门控卷积神经网络和基于时间注意力的定位方法,该方法在声学场景和事件的检测和分类(DCASE)2017挑战赛的大规模弱监督声音事件检测任务中获得了第一名。该任务中的音频片段是从YouTube视频中提取的,手动标记有一个或几个音频标签,但没有音频事件的时间戳,这被称为弱标记数据。在该挑战中定义了两个子任务,包括使用该弱标记数据的音频标记和声音事件检测。提出了一种具有可学习门控线性单元(GLU)非线性的卷积递归神经网络(CRNN),用于对数梅尔谱图。此外,提出了一种时间注意力方法沿帧预测的位置,每个音频事件的块从弱标记的数据。我们在DCASE 2017挑战赛的这两个子任务中分别以F值55.6\%和Equal error 0.73排名第一和第二。
2017-10-01 cs.SD eess.AS
Multi-level Attention Model for Weakly Supervised Audio Classification
University of Stuttgart(斯图加特大学);University of Surrey(萨里大学)
在本文中,我们提出了一个多层次的注意力模型来解决弱标记的音频分类问题。音频分类的目的是预测音频片段中是否存在音频事件。最近,Google发布了一个名为Audio Set的大规模弱标记数据集,其中每个音频片段仅包含音频事件的存在或不存在,而没有音频事件的开始和偏移时间。我们的多级注意力模型是对以前提出的单级注意力模型的扩展。它由应用于中间神经网络层的几个注意力模块组成。这些注意力模块的输出被连接到一个向量,然后是一个多标签分类器,以做出每个类别的最终预测。实验表明,我们的模型达到了0.360的平均精度(mAP),优于最先进的单级注意力模型0.327和谷歌基线0.314。
2018-03-06 cs.SD eess.AS
Supervised Classifiers for Audio Impairments with Noisy Labels
Microsoft Corporation(微软公司)
由于环境和网络条件,互联网协议语音(VoIP)呼叫容易出现各种语音损伤,从而导致不良的用户体验。可靠的音频损伤分类器有助于识别音频质量差的原因。呼叫之后的用户反馈可以充当用于在大型音频数据集上训练监督分类器的地面实况标签。然而,标签是嘈杂的,因为大多数用户缺乏专业知识来精确地表达所感知的语音中的损伤。在本文中,我们分析了标签中的大量噪声在训练密集网络和卷积神经网络(CNN)中的影响,这些网络使用工程特征,频谱图和原始音频样本作为输入。我们证明了CNN可以更好地推广具有大量噪声标签的训练数据,并给出显着更高的测试性能。分类器在随机生成的标签噪声和人为错误引入的标签噪声上进行训练。我们还表明,使用噪声标签进行训练需要显著增加训练数据集的大小,这与标签中的噪声量成比例。
2019-07-03 cs.LG cs.SD eess.AS
A joint separation-classification model for sound event detection of weakly labelled data
University of Surrey(萨里大学)
声源分离(SS)旨在从音频记录中分离各个源。声音事件检测(SED)旨在从音频记录中检测声音事件。我们提出了一个联合分离分类(JSC)模型,只训练弱标记的音频数据,也就是说,只有音频记录的标签是已知的,但事件的时间是未知的。首先,我们提出了一个分离映射的时间-频率(T-F)表示的音频的T-F分割掩模的音频事件。其次,从每个T-F分割掩码到每个音频事件的存在概率建立分类映射。在声源分离阶段,可以从T-F分割掩模获得音频事件的源和声音事件的时间。所提出的方法在SED中实现了0.14的等出错率(EER),优于0.29的深度神经网络基线。通过使用全局加权秩池(GWRP)作为概率映射,获得了8.08 dB的声源分离SDR,优于基于全局最大池(GMP)的概率映射,给出了0.03 dB的SDR。我们工作的源代码已经发布。
2018-02-07 cs.SD eess.AS
ARCA23K: An audio dataset for investigating open-set label noise
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey(萨里大学视觉、语音与信号处理中心(CVSSP))
Freesound等声音共享平台上的音频数据的可用性使用户能够访问大量带注释的音频。利用这些数据进行训练正变得越来越流行,但在这些数据集中通常普遍存在的标签噪声问题需要进一步研究。本文介绍了ARCA23K,一个自动检索和策划的音频数据集,包括超过23000个标记的自由声剪辑。与FSDKaggle2018和FSDnoisy18K等过去的数据集不同,ARCA23K以更可控的方式促进了标签噪声的研究。我们描述了创建数据集的整个过程,使其完全可重现,这意味着研究人员可以毫不费力地扩展我们的工作。我们发现,ARCA23K中的大多数标签错误是由于词汇表外的音频片段,我们将这种类型的标签噪声称为开集标签噪声。实验中,我们研究了标签噪声的分类性能和表示学习方面的影响。
2022-02-27 cs.LG cs.SD eess.AS
Source separation with weakly labelled data: An approach to computational auditory scene analysis
University of Surrey(萨里大学)
声源分离是将音频记录分离为各个声源的任务。声源分离是计算听觉景物分析的基础。先前关于声源分离的工作集中于分离特定的声音类别,例如语音和音乐。以前的许多工作需要混合和清洁源对进行训练。在这项工作中,我们提出了一个声源分离框架训练弱标记的数据。弱标记数据只包含音频片段的标记,而不包含声音事件的发生时间。我们首先用AudioSet训练一个声音事件检测系统。经训练的声音事件检测系统用于检测最像包含目标声音事件的片段。然后,学习从两个随机选择的片段的混合到目标片段的回归,该回归以目标片段的音频标记预测为条件。我们提出的系统可以分离527种声音类从AudioSet在一个单一的系统。分离系统采用了U-Net,在AudioSet中的527个声音类别中实现了5.67 dB的平均SDR。
2020-02-06 cs.SD eess.AS
General-purpose Tagging of Freesound Audio with AudioSet Labels: Task Description, Dataset, and Baseline
Universitat Pompeu Fabra(庞培法布拉大学);Google, Inc.(谷歌公司)
本文描述了DCASE 2018挑战赛的任务2,题为“使用AudioSet标签对Freesound内容进行通用音频标记”。该任务在Kaggle平台上作为“Freesound通用音频标记挑战”托管。该任务的目标是建立一个音频标记系统,可以识别的音频剪辑的类别从一个子集的41个不同的类别从AudioSet本体。我们提出的任务,为竞争准备的数据集,和一个基线系统。
2018-10-07 cs.LG cs.SD eess.AS
CLAP: Learning Audio Concepts From Natural Language Supervision
Microsoft(微软)
主流音频分析模型经过训练,可以在一个类别标签到多个录音的范式下学习,专注于一项任务。在这种受限的监督下学习限制了模型的灵活性,因为它们需要标记的音频进行训练,并且只能预测预定义的类别。相反,我们建议从自然语言监督中学习音频概念。我们称我们的方法为对比存储音频预训练(CLAP),它通过使用两个编码器和一个对比学习将音频和文本描述带入一个联合多模态空间来学习连接语言和音频。我们使用128 k音频和文本对训练CLAP,并在8个领域的16个下游任务上对其进行评估,例如声音事件分类,音乐任务和语音相关任务。尽管CLAP的训练对明显少于类似的计算机视觉模型,但它为Zero-Shot性能建立了SoTA。此外,我们在监督学习设置中评估了CLAP,并在5个任务中实现SoTA。因此,CLAP的Zero-Shot功能消除了使用类标签进行训练的需要,在推理时实现了灵活的类预测,并推广到多个下游任务。
2022-06-09 cs.SD eess.AS
Segment Relevance Estimation for Audio Analysis and Weakly-Labelled Classification
University of Campinas(坎皮纳斯大学);Federal University of Technology – Paraná(巴拉那联邦理工大学)
我们提出了一种方法,量化的重要性,即相关性,在弱标记的问题分类的音频段。它的工作原理是从一组类分类器中提取信息。通过选择在每个特定分类问题中使用的分类器,相关性度量适应不同的用户定义的观点,而不需要额外的神经网络训练。该特性允许相关性度量突出快速适应用户定义的标准的音频片段。这种功能可以用于计算机辅助音频分析。此外,我们提出了一个神经网络架构,即CNET,利用弱标记的音频分类问题的相关性措施。在DCASE2018数据集中评估了CNET,并与以前的基于注意力的提案相比,取得了有竞争力的分类结果。
2019-11-12 cs.LG cs.SD eess.AS
Multi-label Zero-Shot Audio Classification with Temporal Attention
Tampere University(坦佩雷大学)
本文提出在零样本音频分类中引入时间注意力机制,通过为不同音频片段分配语义兼容性权重,解决多标签分类并泛化到未见类别的问题,在 AudioSet 子集上验证了其性能提升。
2024-08-31 cs.LG cs.SD eess.AS
Hierarchical Label Propagation: A Model-Size-Dependent Performance Booster for AudioSet Tagging
针对AudioSet标注不一致问题,提出分层标签传播(HLP)沿本体层级修正标签,提升正标签数量并增强多种模型性能,小模型获益更大,且在FSD50K上验证了泛化性。
2025-03-26 cs.LG cs.SD eess.AS
A Closer Look at Weak Label Learning for Audio Events
根据声音事件的音频内容分析是各种应用的重要研究问题。近年来,弱标记音频或声音事件检测(AED)方法的发展和大规模弱标记数据集的可用性最终为大规模AED开辟了可能性。然而,弱标签如何影响学习的声音事件的更深入的理解仍然缺乏从文献。在这项工作中,我们首先描述了一种基于CNN的方法,用于弱监督训练音频事件。该方法遵循依赖于弱标记音频的学习方法中所期望的一些基本设计原则。然后,我们描述了重要的特点,自然出现在弱监督学习的声音事件。我们展示了弱标签的这些方面如何影响模型的泛化。更具体地说,我们研究了标签密度和标签损坏等特征如何影响音频事件的弱监督训练。我们还研究了直接从Web上获得弱标记数据而无需任何手动标记的可行性,并将其与已手动标记的数据集进行比较。在未来弱标记学习方法的开发中,应该考虑这些因素的分析和理解。实验中使用了一个大规模的弱标记声音事件数据集AudioSet。
2018-04-24 cs.LG cs.MM cs.SD
Secost: Sequential co-supervision for large scale weakly labeled audio event detection
Facebook Reality Labs(Facebook现实实验室)
弱监督学习算法对于将音频事件检测扩展到数百个声音类别至关重要。这样的学习模型不仅应该用最少的类特定注释有效地消除声音事件的歧义,而且对标签噪声具有鲁棒性,这在弱标签而不是强注释的情况下更明显。在这项工作中,我们提出了一个新的框架,设计学习模型与弱监督的桥梁思想从顺序学习和知识蒸馏。我们将所提出的方法称为SeCoST(发音为Sequest)-用于训练几代学生的顺序共同监督。SeCoST通过一种新的知识转移方法逐步建立了一系列的学生-教师对。我们对Audioset(最大的弱标记数据集)的评估表明,SeCoST实现了0.383的平均精度,同时大大优于现有技术。
2020-05-04 cs.LG cs.SD eess.AS
Self-supervised Attention Model for Weakly Labeled Audio Event Classification
Northwestern University(西北大学);Bosch Research and Technology Center(博世研究与技术中心)
我们描述了一种新的弱标记的音频事件分类方法的基础上的自监督注意力模型。弱标记框架用于消除对昂贵的数据标记过程的需要,并且部署自监督注意力以帮助模型以与先前注意力模型相比更有效的方式区分弱标记音频片段的相关和不相关部分。我们还提出了一个高效的强监督注意力模型时,强标签。该模型也可以作为自监督模型的上限。具有自监督注意训练的模型的性能与使用强标签训练的强监督模型相当。我们表明,我们的自我监督的注意力方法是特别有益的短音频事件。我们实现了8.8%和17.6%的相对平均平均精度的改善,目前国家的最先进的系统SL-DCASE-17和平衡的AudioSet。
2019-08-07 cs.LG cs.SD eess.AS
Audio tagging with noisy labels and minimal supervision
Music Technology Group, Universitat Pompeu Fabra(庞培法布拉大学音乐技术组);Google, Inc.(谷歌公司)
本文介绍了DCASE 2019挑战赛的任务2,题为“带噪声标签和最小监督的音频标记”。该任务在Kaggle平台上作为“Freesound Audio Tagging 2019”托管。该任务评估系统的多标签音频标记使用一个大的噪声标记的数据集,和一个小得多的手动标记的数据集,在一个大的词汇设置的80个日常的声音类。此外,由于噪声训练集和测试集来自不同的网络音频源,因此所提出的数据集在噪声训练集和测试集之间造成声学失配问题。这可以对应于由收集大量手动标记的数据的困难给出的现实场景。我们介绍了任务设置,为这项科学评估准备的FSDKaggle2019数据集,以及由卷积神经网络组成的基线系统。所有这些资源都是免费提供的。
2020-01-20 cs.LG cs.SD eess.AS
AV-CPL: Continuous Pseudo-Labeling for Audio-Visual Speech Recognition
MIT(麻省理工学院);Apple(苹果公司)
本文提出半监督 AV-CPL 框架,利用同一视听模型在有标签和无标签视频上连续生成伪标签,在保持 ASR/AVSR 性能的同时显著提升 LRS3 上的 VSR 效果。
2023-09-29 cs.LG cs.SD eess.AS
Multi-label audio classification with a noisy zero-shot teacher
本文提出一种结合自标签校正与数据增强的训练方案,利用零样本教师模型CLAP生成标签,提升复调音频检测的准确性与适应性,且模型高效适用于移动设备。
2024-07-20 eess.AS
Audiovisual Transformer Architectures for Large-Scale Classification and Synchronization of Weakly Labeled Audio Events
KU Leuven(鲁汶大学)
我们从机器翻译中使用的Transformer神经网络架构中汲取灵感,解决了环境事件分类的任务。我们修改了这种基于注意力的前馈结构,使得到的模型可以使用音频和视频来计算声音事件预测。我们进行了广泛的实验,这些适应Transformers的视听数据集,通过将相关的视觉信息附加到现有的大规模弱标记的音频集合。所采用的多标签数据包含剪辑级注释,指示17类环境声音的存在或不存在,并且不包括时间信息。我们表明,所提出的修改后的Transformers大大提高了以前介绍的模型,实际上实现了最先进的结果。我们还提出了一个令人信服的情况下,投入更多的注意力在多模态视听分类的研究,通过证明手头的任务,即音频事件识别的视觉信息的有用性。此外,我们可视化的视听Transformers的内部注意力模式,并在这样做证明他们的潜力进行多模态同步。
2019-12-02 cs.LG cs.SD eess.AS