AudioCIL: A Python Toolbox for Audio Class-Incremental Learning with Multiple Scenes
National University of Defense Technology(国防科技大学);College of Computer Science and Technology(计算机科学与技术学院)
本文提出了AudioCIL,一个面向多场景的音频类增量学习Python工具箱,旨在解决深度学习模型在动态音频环境中增量学习新类别知识而不遗忘旧知识的问题,推动音频信号处理算法与真实场景对齐。
2024-12-18 cs.SD eess.AS
Few-shot Class-incremental Audio Classification Using Dynamically Expanded Classifier with Self-attention Modified Prototypes
本文提出一种少样本类增量音频分类方法,通过冻结的 ResNet 嵌入提取器与基于原型自适应网络动态扩展的分类器解耦构建,利用少量新类样本持续学习新音频类别而不遗忘旧类,并在三个音频数据集上验证了其在准确率、性能下降率及资源开销方面的优势。
2023-05-31 eess.AS
Audio Deepfake Detection with Self-Supervised WavLM and Multi-Fusion Attentive Classifier
本文提出结合自监督WavLM模型与新型多融合注意力(MFA)分类器进行音频深度伪造检测,首次利用WavLM提取利于欺骗检测的特征,并在ASVspoof数据集上取得领先或具竞争力的结果。
2024-01-10 eess.AS
Fully Few-shot Class-incremental Audio Classification Using Expandable Dual-embedding Extractor
South China University of Technology(华南理工大学)
本文针对所有会话训练样本均稀少的全少样本类增量音频分类问题,提出基于预训练与微调双AST嵌入提取器和原型可扩展分类器的方法,在三个数据集上显著超越七个基线。
2024-06-12 cs.SD eess.AS
Towards Robust Few-shot Class Incremental Learning in Audio Classification using Contrastive Representation
IISER Bhopal(印度博帕尔印度科学教育与研究学院)
本文针对音频分类中的少样本类增量学习问题,提出在基会话训练中引入监督对比学习以优化表示空间,从而提升判别力和泛化能力,并在多个音频数据集上取得最先进性能。
2024-08-07 cs.LG cs.SD eess.AS
Incremental learning for audio classification with Hebbian Deep Neural Networks
Signal Processing Research Centre, Tampere University, Tampere, Finland(塔尔库大学信号处理研究中心,芬兰塔尔库);Department of Electronics, Information and Bioengineering (DEIB), Politecnico di Milano, Italy(米兰理工学院电子、信息与生物工程系)
本文提出基于Hebbian学习的核可塑性方法,用于音频分类增量学习,通过选择性调节网络核实现新信息学习与旧知识保留,实验显示在ESC-50数据集上准确率提升且稳定性更优。
2026-04-20 cs.LG eess.AS
Class-Incremental Learning for Multi-Label Audio Classification
Tampere University(坦佩雷大学)
本文提出一种多标签音频分类的类增量学习方法,结合基于余弦相似度和Kullback-Leibler散度的蒸馏损失保留旧类知识,在50类数据集上平均F1分数达40.9%,性能下降仅0.7个百分点。
2024-01-09 cs.SD eess.AS
TAIL: Text-Audio Incremental Learning
National University of Singapore(新加坡国立大学);Renmin University of China(中国人民大学);Zhejiang University(浙江大学)
该研究提出文本-音频增量学习任务 TAIL 及 PTAT 方法,通过提示调优、音频-文本相似度与特征蒸馏缓解灾难性遗忘,并以极少参数显著提升检索性能。
2025-07-28 cs.AI cs.CV cs.SD
Adapter Incremental Continual Learning of Efficient Audio Spectrogram Transformers
Rapid-Rich Object Search (ROSE) Lab, Nanyang Technological University(南洋理工大学快速丰富目标搜索(ROSE)实验室);School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院);DSO National Laboratories(DSO国家实验室)
本文提出用于音频分类器任务增量持续学习的AI-CL方法,结合参数高效的卷积适配器和计算高效的频率-时间分解注意力(FTA),在大幅减少可训练参数和计算量的同时有效防止灾难性遗忘。
2024-01-02 cs.SD eess.AS
Domain-incremental audio classification using domain-specific experts and prototype classifier
针对DCASE 2026挑战赛任务7,提出将域增量学习视为冻结特征重放问题,训练多个紧凑专家模型并冻结,最终用原型分类器聚合特征,通过生成式重放和跨阶段回归插补避免灾难性遗忘,在开发集上达到78.15%微观/77.03%宏观准确率。
2026-06-23 cs.LG eess.AS
Few-shot Class-variable Incremental Audio Classification via Prototype Adaptation and Pseudo Class-variable Training
School of Electronic and Information Engineering, South China University of Technology(华南理工大学电子与信息学院)
针对实际中类别数量增减的少样本类变量增量音频分类问题,提出一种结合原型适应网络和伪类变量训练策略的方法,在三个公开数据集上平均准确率超过现有方法。
2026-06-16 cs.AI cs.LG eess.AS
Listen, Analyze, and Adapt to Learn New Attacks: An Exemplar-Free Class Incremental Learning Method for Audio Deepfake Source Tracing
The University of Melbourne(墨尔本大学);Fortemedia Singapore(新加坡Fortemedia)
针对音频深度伪造溯源的类别增量学习中存在的灾难性遗忘问题,提出AnaST方法,固定特征提取器并以闭式解析解单轮更新分类器,性能优于基线,兼顾隐私与内存效率。
2025-05-20 cs.SD eess.AS
FastICARL: Fast Incremental Classifier and Representation Learning with Efficient Budget Allocation in Audio Sensing Applications
University of Cambridge(剑桥大学);University of Southampton(南安普顿大学)
已经提出了各种增量学习(IL)方法来帮助深度学习模型连续地学习新的任务/类,而不会忘记先前学习的内容(即,避免灾难性遗忘)。随着部署的音频感测应用的数量不断增加,这些应用需要动态地整合新任务并改变来自用户的输入分布,设备上的IL能力对于效率和用户隐私变得至关重要。然而,现有的工作遭受高的计算成本和存储需求,这阻碍了IL在设备上的部署。在这项工作中,为了克服这些限制,我们开发了一个端到端和设备上的IL框架,FastICARL,它结合了基于示例的IL和量化的背景下,基于音频的应用程序。我们首先使用k-最近邻来减少IL的延迟。然后,我们共同利用量化技术,以减少IL的存储需求。我们在两种类型的移动设备上实现了FastICARL,并证明FastICARL在不牺牲其性能的情况下显著降低了IL时间高达78-92%和2-4倍的存储需求。FastICARL支持完整的设备上IL,确保用户隐私,因为用户数据不需要离开设备。
2021-06-24 cs.LG cs.SD eess.AS
Comprehensive Audio Query Handling System with Integrated Expert Models and Contextual Understanding
该研究提出集成意图分类、ACD模块、多种音频专家模型与3.8B LLM的音频查询处理系统,实验证明其在自定义任务和MMAU基准上优于大型音频模型,适合端侧部署。
2024-12-05 eess.AS
Few-shot Class-incremental Audio Classification Using Adaptively-refined Prototypes
South China University of Technology(华南理工大学);Tampere University(坦佩雷大学)
针对少样本类增量音频分类问题,提出基于随机情景训练和动态关系投影模块的自适应精化原型方法,在两个音频数据集上取得优于现有方法的平均准确率和性能下降率。
2023-05-29 cs.MM cs.SD eess.AS
Incremental Text to Speech for Neural Sequence-to-Sequence Models using Reinforcement Learning
Papercup Technologies Ltd.(Papercup科技有限公司)
文本转语音的现代方法要求在合成任何音频之前处理整个输入字符序列。这种延迟限制了这种模型对同声传译等时间敏感任务的适用性。将读取字符的动作与合成音频的动作交错减少了这种延迟。然而,这种交错动作序列的顺序在句子中是不同的,这就提出了如何选择动作的问题。我们提出了一个基于强化学习的框架来训练代理做出这个决定。我们比较我们的性能对确定性,基于规则的系统。我们的研究结果表明,我们的代理成功地平衡了音频生成的延迟和合成音频的质量之间的权衡。更广泛地说,我们表明,神经序列到序列模型可以适应以增量方式运行。
2020-08-07 cs.LG cs.SD eess.AS
Uncertainty Calibration for Deep Audio Classifiers
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);University of Science and Technology of China(中国科学技术大学)
尽管深度神经网络(DNN)在音频分类任务中取得了巨大的成功,但其不确定性校准仍处于探索阶段。一个经过良好校准的模型在确定其预测时应该是准确的,而在可能不准确时应该显示出高度的不确定性。在这项工作中,我们研究了深度音频分类器的不确定性校准。特别是,我们经验性地研究了流行的校准方法的性能:(i)Monte Carlo Dropout,(ii)合奏,(iii)焦点损失和(iv)频谱归一化高斯过程(SNGP),在音频分类数据集上。为此,我们评估(i-iv)的环境声音和音乐流派分类的任务。结果表明,未校准的深度音频分类器可能过于自信,SNGP表现最好,在本文的两个数据集上非常有效。
2022-06-27 cs.LG cs.SD eess.AS
Listenable Maps for Zero-Shot Audio Classifiers
Fondazione Bruno Kessler(布鲁诺·科塞拉基金会);Mila, Québec AI Institute(魁北克人工智能研究所);Concordia University(康科德大学);Université Laval(拉瓦尔大学)
本文提出LMAC-ZS,首个基于解码器的事后解释方法,用于零样本音频分类器,通过新颖损失函数保持决策忠实性,并在CLAP模型上验证有效性。
2025-04-21 cs.LG cs.SD eess.AS
Supervised Classifiers for Audio Impairments with Noisy Labels
Microsoft Corporation(微软公司)
由于环境和网络条件,互联网协议语音(VoIP)呼叫容易出现各种语音损伤,从而导致不良的用户体验。可靠的音频损伤分类器有助于识别音频质量差的原因。呼叫之后的用户反馈可以充当用于在大型音频数据集上训练监督分类器的地面实况标签。然而,标签是嘈杂的,因为大多数用户缺乏专业知识来精确地表达所感知的语音中的损伤。在本文中,我们分析了标签中的大量噪声在训练密集网络和卷积神经网络(CNN)中的影响,这些网络使用工程特征,频谱图和原始音频样本作为输入。我们证明了CNN可以更好地推广具有大量噪声标签的训练数据,并给出显着更高的测试性能。分类器在随机生成的标签噪声和人为错误引入的标签噪声上进行训练。我们还表明,使用噪声标签进行训练需要显著增加训练数据集的大小,这与标签中的噪声量成比例。
2019-07-03 cs.LG cs.SD eess.AS
A Deep Neural Network for Audio Classification with a Classifier Attention Mechanism
University of Ottawa(渥太华大学)
音频分类被认为是模式识别中的一个具有挑战性的问题。最近,已经提出了许多使用深度神经网络的算法。在本文中,我们介绍了一种新的基于注意力的神经网络架构,称为基于分类器注意力的卷积神经网络(CAB-CNN)。该算法使用了一个新设计的架构,包括一个简单的分类器和一个注意力机制作为一个分类器选择器的列表。这种设计大大减少了分类器所需的参数数量,从而降低了它们的复杂性。以这种方式,变得更容易训练分类器并实现高且稳定的性能。实验结果证实了我们的主张。与最先进的算法相比,我们的算法在所有选定的测试成绩上都有超过10%的改进。
2020-06-14 cs.LG cs.SD eess.AS
Leveraging Pre-Trained Models for Multimodal Class-Incremental Learning under Adaptive Fusion
University of Electronic Science and Technology of China(电子科学与技术大学)
针对三模态多模态类别增量学习的信息整合与灾难性遗忘问题,提出基于预训练模型、含自适应融合模块与专属损失的方法,经多数据集验证有效。
2025-02-07 cs.LG cs.MM cs.SD
I Guess That's Why They Call it the Blues: Causal Analysis for Audio Classifiers
King’s College London(伦敦国王学院)
本文提出利用因果推理发现音频分类器中对分类至关重要的频率特征,并通过实验展示其对模型输出的操控能力。
2026-01-23 cs.LG cs.SD eess.AS
Parameter isolation with domain-specific experts for incremental audio classification
Hanwha Vision Co. Ltd.(韩华视觉有限公司)
本文提出一种领域特定参数隔离架构,通过全阶循环更新、无数据生成重放和跨领域特征生成,在音频分类的域增量学习中缓解灾难性遗忘,并在DCASE 2026挑战赛任务7上分别将微观和宏观准确率提升至78.4%和78.9%。
2026-09-15 cs.LG cs.SD eess.AS
Exploiting Pre-trained Feature Networks for Generative Adversarial Networks in Audio-domain Loop Generation
Academia Sinica(中央研究院);National Taiwan University(国立台湾大学);Taiwan AI Labs(台湾人工智能实验室)
虽然生成对抗网络(GANs)已广泛用于音频生成的研究,但已知GAN模型的训练不稳定,耗时且数据效率低下。在改善GANs训练过程的尝试中,投影GAN的想法作为基于GAN的图像生成的有效解决方案出现,在不同的图像应用中建立了最先进的技术。其核心思想是使用一个预先训练好的分类器来约束神经网络的特征空间,以稳定和改进GAN训练。本文研究了投影GAN是否可以通过评估基于StyleGAN 2的音频域循环生成模型的性能来类似地改善音频生成,其中使用和不使用预训练的特征空间。此外,我们比较了使用一般与特定领域的分类器作为预训练的音频分类器的性能。通过对鼓循环和合成器循环生成的实验,我们证明了通用音频分类器的效果更好,并且使用投影GAN,我们的循环生成模型可以在不降低性能的情况下收敛约5倍。
2022-09-05 cs.SD eess.AS
Vision Language Models Are Few-Shot Audio Spectrogram Classifiers
Carnegie Mellon University(卡内基梅隆大学)
本文证明视觉语言模型可通过少样本提示对音频频谱图进行分类,GPT-4o在ESC-10上以59.00%准确率超越Gemini-1.5并略优于人类专家,展示了VLMs在音频理解中的潜力。
2024-11-18 cs.SD eess.AS
UCIL: An Unsupervised Class Incremental Learning Approach for Sound Event Detection
Fortemedia Singapore(富特美迪亚新加坡公司)
本研究针对声音事件检测的类别增量学习需求,提出结合蒸馏损失、样本选择与平衡更新机制的无监督UCIL方法,在DCASE 2023 Task 4数据集上验证了其在真实动态音频场景的应用价值与研究方向。
2025-01-11 cs.SD eess.AS
Incremental Text-to-Speech Synthesis with Prefix-to-Prefix Framework
Kwai Inc.(Kwai公司);Amazon(亚马逊);Baidu Research(百度研究院);Oregon State University(俄勒冈州立大学)
文本到语音合成(TTS)近年来取得了快速的发展,其中神经方法能够产生具有高自然度的音频。然而,这些努力仍然受到两种延迟的影响:(a){ \em计算延迟}(合成时间),即使采用并行方法,其也随着句子长度线性增长,以及(b)在输入文本增量生成的场景中(例如在同声翻译、对话生成和辅助技术中)的{ \em输入延迟}。为了减少这些延迟,我们设计了第一个神经增量TTS方法的基础上最近提出的前缀到前缀的框架。我们以在线方式合成语音,播放一段音频,同时生成下一段,导致$O(1)$而不是$O(n)$延迟。
2020-10-07 cs.CL cs.SD eess.AS
Evaluating Pretrained General-Purpose Audio Representations for Music Genre Classification
Indian Institute of Technology Patna(巴特那印度理工学院);Indian Institute of Technology Jammu(詹穆印度理工学院)
本文研究了自监督学习嵌入(特别是BYOL-A)与深度神经网络分类器结合在音乐流派分类中的应用,发现BYOL-A在GTZAN数据集上达到81.5%的准确率,且DNN分类器比线性分类器提升了10-16%的性能。
2026-03-14 eess.AS
Listenable Maps for Audio Classifiers
Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会);Mila-Québec AI Institute(米拉-魁北克人工智能研究所);Concordia University(康考迪亚大学);Laval University(拉瓦尔大学)
针对音频分类器解释难的问题,提出事后解释方法L-MAC,通过解码器生成二值掩码高亮音频相关部分,实验证明其解释忠实度优于现有方法且更受用户偏好。
2024-06-19 cs.LG cs.SD eess.AS
Audio-based AI classifiers show no evidence of improved COVID-19 screening over simple symptoms checkers
The Alan Turing Institute(阿兰·图灵研究所);Imperial College London(帝国理工学院);University of Oxford(牛津大学);University of Surrey(萨里大学);King’s College London(伦敦国王学院);University College London(伦敦大学学院);UK Health Security Agency(英国卫生安全局);University of Brighton(布莱顿大学)
最近的工作报告说,在录音上训练的AI分类器可以准确地预测严重急性呼吸综合征冠状病毒2(SARSCoV 2)的感染状态。在这里,我们对基于音频的深度学习分类器进行了大规模研究,作为英国政府流行病应对措施的一部分。我们收集和分析了67,842名具有相关元数据的个人的录音数据集,包括逆转录聚合酶链反应(PCR)测试结果,其中23,514人对SARS CoV 2检测呈阳性。受试者通过英国政府的国家卫生服务测试和跟踪计划和社区传播实时评估(REACT)随机监测调查招募。在对我们的数据集进行的未经调整的分析中,AI分类器预测SARS-CoV-2感染状态的准确性很高(受试者工作特征曲线下面积(ROCAUC)0.846 [0.838,0.854]),与先前研究的结果一致。然而,在匹配测量的混杂因素(如年龄,性别和自我报告的症状)后,我们的分类器性能要弱得多(ROC-AUC 0.619 [0.594,0.644])。在量化实用的音频分类器在实际环境中,我们发现他们优于简单的预测分数的基础上,用户报告的症状。
2023-03-02 cs.LG cs.SD eess.AS
Discriminating real and synthetic super-resolved audio samples using embedding-based classifiers
Tampere University(塔尔基耶大学);Nokia Technologies(诺基亚技术)
本文提出基于嵌入式分类器区分真实与合成超分辨音频的方法,揭示了感知质量与真实分布忠实性之间的差距。
2026-01-06 cs.AI cs.SD eess.AS
Training neural audio classifiers with few data
Universitat Pompeu Fabra(庞培法布拉大学)
我们研究了监督学习策略,提高了神经网络音频分类器的小注释集合的训练。特别是,我们研究(i)解空间的朴素正则化,(ii)原型网络,(iii)迁移学习,或(iv)它们的组合,是否可以促进深度学习模型,以更好地利用少量的训练样本。为此,我们评估(i-iv)的声学事件识别和声学场景分类的任务,考虑从1到100标记的例子,每一类。结果表明,在这种情况下,迁移学习是一个强大的策略,但原型网络显示出有前途的结果时,不计外部或验证数据。
2018-11-03 cs.AI cs.LG cs.SD
Clotho-AQA: A Crowdsourced Dataset for Audio Question Answering
Tampere University(坦佩雷大学)
音频问答(AQA)是多模态翻译任务,其中系统分析音频信号和自然语言问题,以生成期望的自然语言答案。在本文中,我们介绍Clotho-AQA,一个数据集的音频问答,包括1991个音频文件,每个之间的持续时间为15至30秒,从Clotho数据集选择。对于每个音频文件,我们使用Amazon Mechanical Turk通过众包收集六个不同的问题和相应的答案。问题和答案由不同的注释器生成。在每个音频的六个问题中,两个问题每个都被设计为有“是”和“否”作为答案,而剩下的两个问题有其他单字答案。对于每个问题,我们从三个不同的注释者那里收集答案。我们还提出了两个基线实验来描述我们的数据集的AQA任务的使用-基于LSTM的多模态二进制分类器的“是”或“否”类型的答案和基于LSTM的多模态多类分类器的828个单字的答案。二元分类器实现了62.7%的准确率,多类分类器实现了54.2%的前1准确率和93.7%的前5准确率。Clotho-AQA数据集可在https://zenodo.org/record/6473207在线免费获得。
2022-06-17 cs.LG cs.SD eess.AS
MuTox: Universal MUltilingual Audio-based TOXicity Dataset and Zero-shot Detector
FAIR, Meta(Meta FAIR实验室)
针对语音模态毒性检测研究有限的现状,本文提出首个高度多语言基于音频的毒性数据集 MuTox,并训练零样本检测器,在扩大十倍语言覆盖的同时性能超越现有分类器。
2024-06-27 cs.CL cs.SD eess.AS
Formal Verification of Long Short-Term Memory based Audio Classifiers: A Star based Approach
Vanderbilt University(范德堡大学);Institute for Software Integrated Systems(软件集成系统研究院)
本研究提出一种基于星集和可达性分析的形式化验证方法,专为音频分类领域的LSTM及其卷积变体设计,通过将分类过程概念化为集合操作来探索系统状态,验证了真实场景下序列音频分类的鲁棒性。
2023-11-16 cs.LG cs.SD eess.AS
LMAC-TD: Producing Time Domain Explanations for Audio Classifiers
University of Bologna(博洛尼亚大学);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会);Mila-Québec AI Institute(米拉-魁北克人工智能研究所);Concordia University(康考迪亚大学);Laval University(拉瓦尔大学)
针对神经网络黑箱问题,本文提出事后解释方法LMAC-TD,基于L-MAC并引入SepFormer架构直接生成时域音频解释,在不损失忠实度的前提下提升了解释的音频质量。
2024-09-13 cs.AI cs.LG cs.SD
Data augmentation approaches for improving animal audio classification
University of Padua(帕多瓦大学);Tampere University(坦佩雷大学)
在本文中,我们提出了一套分类器的自动动物音频分类,利用不同的数据增强技术训练卷积神经网络(CNN)。具体的动物音频分类问题是i)鸟和ii)猫的声音,其数据集是免费提供的。我们训练五个不同的CNN在原始数据集上,并在它们的版本上通过四个增强协议进行增强,处理原始音频信号或它们作为频谱图的表示。我们将我们最好的方法与最先进的方法进行了比较,结果表明,我们在相同的数据集上获得了最佳的识别率,而无需特别的参数优化。我们的研究表明,不同的CNN可以被训练用于动物音频分类的目的,并且它们的融合比独立的分类器更好。据我们所知,这是使用相同的分类器和参数集在动物音频分类音频数据集中对CNN进行数据增强的最大研究。我们的MATLAB代码可以在https://github.com/LorisNanni上找到。
2020-03-15 cs.LG cs.SD eess.AS
CURE Dataset: Ladder Networks for Audio Event Classification
Microsoft Research Labs(微软研究院);University of Texas at Dallas(德克萨斯大学达拉斯分校);Microsoft Corporation(微软公司)
音频事件分类对于监控、音频、视频和多媒体检索等应用来说是一项重要的任务。大约有300万听力损失的人无法感知周围发生的事件。本文建立了CURE数据集,其中包含与听力损失患者最相关的特定音频事件的精选集。我们提出了一个基于梯形网络的音频事件分类器,利用5S录音来自Freesound项目。我们采用了最先进的卷积神经网络(CNN)嵌入作为这项任务的音频特征。我们还研究了极端学习机(ELM)的事件分类。在这项研究中,建议的分类与支持向量机(SVM)基线进行比较。我们提出了信号和特征归一化,旨在减少不同记录场景之间的不匹配。首先,在弱标记的Audioset数据上训练CNN。接下来,采用预训练的模型作为建议CURE语料库的特征提取器。我们将ESC-50数据集作为第二个评估集。结果和讨论验证了梯形网络的优越性ELM和SVM分类器的鲁棒性和提高分类精度。虽然梯形网络对数据不匹配具有鲁棒性,但更简单的SVM和ELM分类器对这种不匹配很敏感,其中所提出的归一化技术可以发挥重要作用。ESC-50和CURE语料库的实验研究阐明了所提出的方法提供的数据集的复杂性和鲁棒性的差异。
2020-01-12 cs.LG cs.SD eess.AS
Assessment of Audio Features for Automatic Cough Detection
University of Mons(蒙斯大学);Faculty of Engineering, University of Mons(蒙斯大学工程学院)
本文讨论了仅使用音频记录进行咳嗽检测的问题,最终目标是量化和鉴定患有呼吸系统疾病(特别是粘粘病毒病)的患者的病理程度。提出了描述音频信号各个方面的大量音频特征集。这些特征分两步评估。首先,使用基于互信息的措施,他们的潜在的和冗余的评估。其次,分别采用人工神经网络、高斯混合模型和支持向量机三种分类器,验证了它们的有效性。同时研究了特征维数和分类器复杂度对分类结果的影响。
2020-01-02 cs.HC cs.SD eess.AS
Learning Sound Event Classifiers from Web Audio with Noisy Labels
Universitat Pompeu Fabra(庞培法布拉大学);Google, Inc.(谷歌公司)
随着声音事件分类向更大的数据集发展,标签噪声问题变得不可避免。网站可以提供大量的用户贡献的音频和元数据,但是从这些元数据中推断标签会引入错误,这是由于不可靠的输入和映射中的限制。然而,很少有人研究这些错误的影响。为了促进对声音事件分类中标签噪声的研究,我们提出了FSDnoisy18k,这是一个包含20个声音类别的42.5小时音频的数据集,包括少量手动标记的数据和大量真实世界的噪声数据。我们根据经验表征标签噪声,并提供了一个CNN基线系统。实验表明,使用大量噪声数据进行训练可以胜过使用少量仔细标记数据进行训练。我们还表明,噪声鲁棒的损失函数可以有效地提高性能,在存在损坏的标签。
2019-03-07 cs.LG cs.SD eess.AS
Tuning In: Analysis of Audio Classifier Performance in Clinical Settings with Limited Data
University of Toronto(多伦多大学);Sunnybrook Research Institute(桑尼布鲁克研究所);Western University(西安大略大学)
针对临床小数据音频分类,本文比较CNN、transformer及预训练音频模型,并通过中风患者数据集验证预训练、模型选择与频谱图预处理对性能的影响。
2024-04-05 cs.AI cs.LG cs.SD
Segment Relevance Estimation for Audio Analysis and Weakly-Labelled Classification
University of Campinas(坎皮纳斯大学);Federal University of Technology – Paraná(巴拉那联邦理工大学)
我们提出了一种方法,量化的重要性,即相关性,在弱标记的问题分类的音频段。它的工作原理是从一组类分类器中提取信息。通过选择在每个特定分类问题中使用的分类器,相关性度量适应不同的用户定义的观点,而不需要额外的神经网络训练。该特性允许相关性度量突出快速适应用户定义的标准的音频片段。这种功能可以用于计算机辅助音频分析。此外,我们提出了一个神经网络架构,即CNET,利用弱标记的音频分类问题的相关性措施。在DCASE2018数据集中评估了CNET,并与以前的基于注意力的提案相比,取得了有竞争力的分类结果。
2019-11-12 cs.LG cs.SD eess.AS
LearnAFE: Circuit-Algorithm Co-design Framework for Learnable Audio Analog Front-End
Nanyang Technological University(南洋理工大学);Agency for Science, Technology and Research(科技研究局);University of Michigan(密歇根大学)
本文提出LearnAFE电路-算法协同设计框架,通过SNR感知训练联合优化模拟带通滤波器组与后端分类器,在SKY130 130nm工艺下以22k参数实现10关键词分类90.5%-94.2%准确率,并降低功耗与面积。
2025-07-01 cs.AI cs.SD eess.AS
Sequence-Level Knowledge Distillation for Class-Incremental End-to-End Spoken Language Understanding
University of Trento(特伦托大学);Carnegie Mellon University(卡内基梅隆大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
本文针对持续学习环境中的口语理解问题,为 SLURP 数据集定义了类增量场景,并提出三种知识蒸馏方法以缓解序列到序列 transformer 模型的灾难性遗忘,其中序列级蒸馏显著提升所有性能指标,结合编码器蒸馏进一步降低平均 WER 并增强实体预测。
2023-07-31 cs.CL eess.AS
Studying the Effect of Audio Filters in Pre-Trained Models for Environmental Sound Classification
University of Kalyani(卡里亚尼大学);A.K.Choudhury School of IT(A.K.乔杜里信息技术学院);University of Calcutta(加尔各答大学)
针对环境声音分类问题,提出两级分类方法并引入Audio Crop音频滤波技术,在ESC-50数据集上分别取得78.75%和98.04%的分类准确率。
2024-08-24 cs.AI cs.SD eess.AS
Low-Complexity Audio Embedding Extractors
本研究通过知识蒸馏训练高效MobileNets作为通用音频嵌入提取器,降低计算成本,证明低复杂度模型能生成有竞争力的嵌入,适用于边缘设备上的多任务音频分析。
2023-06-23 cs.SD eess.AS
An Ensemble of Convolutional Neural Networks for Audio Classification
University of Padua(帕多瓦大学);Missouri State University(密苏里州立大学);Tampere University(坦佩雷大学)
在本文中,分类器的集合,利用几种数据增强技术和四种信号表示来训练卷积神经网络(CNN)进行音频分类,并在三个免费提供的音频分类数据集上进行测试:i)鸟鸣,ii)猫的声音,iii)环境声音分类数据集。性能最好的合奏相结合的数据增强技术与不同的信号表示进行了比较,并表现出优于这些数据集的文献中报道的最佳方法。本文提出的方法在广泛使用的ESC-50数据集中获得了最先进的结果。据我们所知,这是调查用于音频分类的CNN集成的最广泛的研究。结果表明,CNN不仅可以被训练用于音频分类,而且它们使用不同技术的融合比独立的分类器效果更好。
2021-04-27 cs.LG cs.SD eess.AS
Detecting Aedes Aegypti Mosquitoes through Audio Classification with Convolutional Neural Networks
Institute of Informatics (INF)(信息学研究所(INF));Universidade Federal do Rio Grande do Sul (UFRGS)(南里奥格兰德联邦大学(UFRGS))
蚊媒疾病的发病率在欠发达地区很高,主要是由于缺乏资源来实施积极的控制措施,防止蚊子繁殖。提高社区对蚊子繁殖的认识的一个潜在战略是使用智能手机应用程序和众包建立蚊子发病率的实时地图。在本文中,我们探讨了使用机器学习技术和从市售智能手机捕获的音频分析来识别埃及伊蚊的可能性。总之,我们对埃及伊蚊的翼拍记录进行了下采样,并使用它们通过监督学习来训练卷积神经网络(CNN)。作为一个功能,我们使用录音频谱图来表示蚊子翅拍频率随时间的变化。我们训练并比较了三种分类器:二进制,多类和二进制分类器的集成。在我们的评估中,二进制和集成模型分别实现了97.65%($\pm$ 0.55)和94.56%($\pm$ 0.77)的准确性,而多类的准确性为78.12%($\pm$ 2.09)。最好的敏感性,观察在集成的方法(96.82% $\pm$ 1.62),其次是多类埃及伊蚊(90.23% $\pm$ 3.83)和二元(88.49% $\pm$ 6.68)的特定情况下。二元分类器和多类分类器在精确度和召回率之间表现出最佳平衡,F1测量接近90%。尽管集成分类器的精度最低,从而损害了其F1测量值(79.95% $\pm$ 2.13),但它是检测我们数据集中埃及伊蚊的最强大分类器。
2020-08-19 cs.LG cs.SD eess.AS
Audio Attacks and Defenses against AED Systems -- A Practical Study
The University of Texas at Arlington(德克萨斯大学阿灵顿分校)
在本文中,我们评估了基于对抗性示例的支持深度学习的AED系统对规避攻击的抵抗能力。我们测试了多个安全关键AED任务的鲁棒性,这些任务被实现为CNN分类器,以及由Google制造的现有第三方Nest设备,这些设备运行自己的黑盒深度学习模型。我们的对抗性示例使用由白噪声和背景噪声组成的音频扰动。这种干扰很容易创建、执行和复制,并且可以被大量的潜在攻击者访问,甚至是不懂技术的攻击者。我们表明,对手可以专注于音频对抗输入,导致AED系统错误分类,实现高成功率,即使我们使用小级别的给定类型的噪声干扰。例如,在枪声类的情况下,当采用低至0.05的白噪声水平时,我们实现了接近100%的成功率。类似于之前关注来自图像域以及语音识别域的对抗性示例的作品所做的。然后,我们寻求通过对策来提高分类器的鲁棒性。我们采用对抗训练和音频去噪。我们表明,这些对策,当应用于音频输入,可以是成功的,无论是在隔离或组合,产生相关的增加近百分之五十的性能的分类器时,这些受到攻击。
2021-11-10 cs.LG cs.SD eess.AS
Adversarially Training for Audio Classifiers
École de Technologie Supérieure (ÉTS)(高等技术学院)
在本文中,我们研究了对抗性训练对六种高级深度神经网络抵御各种针对性和非针对性对抗性攻击的鲁棒性的潜在影响。我们首先表明,在附加tonnetz色谱图的离散小波变换的2D表示上训练的ResNet-56模型在识别精度方面优于其他模型。然后,我们展示了对抗性训练对该模型以及其他深度架构对六种类型的攻击算法(白盒和黑盒)的积极影响,其代价是识别准确性降低和对抗性扰动有限。我们在两个基准环境声音数据集上进行了实验,结果表明,在对对手的预算分配没有任何限制的情况下,对抗训练模型的欺骗率可以超过90%。换句话说,对抗性攻击存在于任何规模中,但与非对抗性训练的模型相比,它们可能需要更高的对抗性扰动。
2020-10-25 cs.LG cs.SD eess.AS
Adversarial Representation Learning for Robust Privacy Preservation in Audio
University of Helsinki(赫尔辛基大学);Tampere University(坦佩雷大学);Nokia Tech(诺基亚科技)
针对音频处理中的隐私泄露问题,提出一种对抗训练方法,通过定期替换语音分类器权重生成不变潜在表示,有效隐藏语音活动并显著降低隐私违规。
2024-01-03 cs.CR cs.LG cs.SD
Time-Frequency Audio Features for Speech-Music Classification
Indian Institute of Technology Guwahati(印度理工学院古瓦哈提分校);Indian Institute of Technology Dharwad(印度理工学院达尔瓦德分校)
在语音和音乐的声谱图中可以观察到明显的条纹图案。这促使我们提出了三个新的语音音乐分类的时频特征。这些特征分两个阶段提取。首先,从每个帧的频谱中识别预设数量的显著频谱峰值位置。从每个帧获得的这些重要峰值位置用于形成音频间隔的频谱峰值序列(SPS)。在第二阶段,这些SPS被视为频率位置的时间序列数据。所提出的特征被提取为这些谱峰序列的周期性、平均频率和统计属性。语音音乐分类是通过学习这些功能的二进制分类器。我们已经实验了高斯混合模型,支持向量机和随机森林分类器。我们的建议在四个数据集上进行了验证,并以三种基线方法为基准。实验结果证明了我们的建议的有效性。
2018-11-03 cs.SD eess.AS
Classifier-Guided Captioning Across Modalities
Tel Aviv University(特拉维夫大学);Bar-Ilan University(巴伊兰大学);NVIDIA(英伟达)
本文提出一种推理期文本分类器引导框架,利用 GPT-4 生成数据训练分类器,使冻结字幕模型适配音频等跨模态语义,并在零样本音频字幕生成上达到 SOTA。
2025-01-03 cs.AI cs.CL cs.SD
Audio-Visual Scene Classification Using A Transfer Learning Based Joint Optimization Strategy
Key Laboratory of Speech Acoustics and Content Understanding, Institute of Acoustics, CAS(中国科学院声学研究所语音声学与内容理解重点实验室);University of Chinese Academy of Sciences(中国科学院大学)
近年来,视听场景分类(AVSC)越来越受到多学科的关注。以前的研究倾向于采用管道训练策略,即使用训练有素的视觉和声学编码器提取高级表示(嵌入),然后利用它们来训练视听分类器。以这种方式,提取的嵌入非常适合单模态分类器,但不一定适合多模态分类器。在本文中,我们提出了一个联合训练框架,直接使用声学特征和原始图像作为AVSC任务的输入。具体来说,我们检索预训练图像模型的底层作为视觉编码器,并在训练期间联合优化场景分类器和基于1D-CNN的声学编码器。我们在TAU Urban Audio-Visual Scenes 2021的开发数据集上评估了该方法。实验结果表明,我们提出的方法取得了显着的改善比传统的管道训练策略。此外,我们最好的单一系统优于以前的最先进的方法,在官方测试折叠上产生0.1517的对数损失和94.59%的准确性。
2022-04-25 cs.CV cs.MM cs.SD