A Deep Neural Network for Audio Classification with a Classifier Attention Mechanism
University of Ottawa（渥太华大学）
音频分类被认为是模式识别中的一个具有挑战性的问题。最近，已经提出了许多使用深度神经网络的算法。在本文中，我们介绍了一种新的基于注意力的神经网络架构，称为基于分类器注意力的卷积神经网络（CAB-CNN）。该算法使用了一个新设计的架构，包括一个简单的分类器和一个注意力机制作为一个分类器选择器的列表。这种设计大大减少了分类器所需的参数数量，从而降低了它们的复杂性。以这种方式，变得更容易训练分类器并实现高且稳定的性能。实验结果证实了我们的主张。与最先进的算法相比，我们的算法在所有选定的测试成绩上都有超过10%的改进。
2020-06-14 cs.LG cs.SD eess.AS
Audio-based AI classifiers show no evidence of improved COVID-19 screening over simple symptoms checkers
The Alan Turing Institute（阿兰·图灵研究所）；Imperial College London（帝国理工学院）；University of Oxford（牛津大学）；University of Surrey（萨里大学）；King’s College London（伦敦国王学院）；University College London（伦敦大学学院）；UK Health Security Agency（英国卫生安全局）；University of Brighton（布莱顿大学）
最近的工作报告说，在录音上训练的AI分类器可以准确地预测严重急性呼吸综合征冠状病毒2（SARSCoV 2）的感染状态。在这里，我们对基于音频的深度学习分类器进行了大规模研究，作为英国政府流行病应对措施的一部分。我们收集和分析了67，842名具有相关元数据的个人的录音数据集，包括逆转录聚合酶链反应（PCR）测试结果，其中23，514人对SARS CoV 2检测呈阳性。受试者通过英国政府的国家卫生服务测试和跟踪计划和社区传播实时评估（REACT）随机监测调查招募。在对我们的数据集进行的未经调整的分析中，AI分类器预测SARS-CoV-2感染状态的准确性很高（受试者工作特征曲线下面积（ROCAUC）0.846 [0.838，0.854]），与先前研究的结果一致。然而，在匹配测量的混杂因素（如年龄，性别和自我报告的症状）后，我们的分类器性能要弱得多（ROC-AUC 0.619 [0.594，0.644]）。在量化实用的音频分类器在实际环境中，我们发现他们优于简单的预测分数的基础上，用户报告的症状。
2023-03-02 cs.LG cs.SD eess.AS
Clotho-AQA: A Crowdsourced Dataset for Audio Question Answering
Tampere University（坦佩雷大学）
音频问答（AQA）是多模态翻译任务，其中系统分析音频信号和自然语言问题，以生成期望的自然语言答案。在本文中，我们介绍Clotho-AQA，一个数据集的音频问答，包括1991个音频文件，每个之间的持续时间为15至30秒，从Clotho数据集选择。对于每个音频文件，我们使用Amazon Mechanical Turk通过众包收集六个不同的问题和相应的答案。问题和答案由不同的注释器生成。在每个音频的六个问题中，两个问题每个都被设计为有“是”和“否”作为答案，而剩下的两个问题有其他单字答案。对于每个问题，我们从三个不同的注释者那里收集答案。我们还提出了两个基线实验来描述我们的数据集的AQA任务的使用-基于LSTM的多模态二进制分类器的“是”或“否”类型的答案和基于LSTM的多模态多类分类器的828个单字的答案。二元分类器实现了62.7%的准确率，多类分类器实现了54.2%的前1准确率和93.7%的前5准确率。Clotho-AQA数据集可在https://zenodo.org/record/6473207在线免费获得。
2022-06-17 cs.LG cs.SD eess.AS
Discriminating real and synthetic super-resolved audio samples using embedding-based classifiers
Tampere University（塔尔基耶大学）；Nokia Technologies（诺基亚技术）
本文提出基于嵌入式分类器区分真实与合成超分辨音频的方法，揭示了感知质量与真实分布忠实性之间的差距。
2026-01-06 cs.AI cs.SD eess.AS
Training neural audio classifiers with few data
Universitat Pompeu Fabra（庞培法布拉大学）
我们研究了监督学习策略，提高了神经网络音频分类器的小注释集合的训练。特别是，我们研究（i）解空间的朴素正则化，（ii）原型网络，（iii）迁移学习，或（iv）它们的组合，是否可以促进深度学习模型，以更好地利用少量的训练样本。为此，我们评估（i-iv）的声学事件识别和声学场景分类的任务，考虑从1到100标记的例子，每一类。结果表明，在这种情况下，迁移学习是一个强大的策略，但原型网络显示出有前途的结果时，不计外部或验证数据。
2018-11-03 cs.AI cs.LG cs.SD
Formal Verification of Long Short-Term Memory based Audio Classifiers: A Star based Approach
Vanderbilt University（范德堡大学）；Institute for Software Integrated Systems（软件集成系统研究院）
本研究提出一种基于星集和可达性分析的形式化验证方法，专为音频分类领域的LSTM及其卷积变体设计，通过将分类过程概念化为集合操作来探索系统状态，验证了真实场景下序列音频分类的鲁棒性。
2023-11-16 cs.LG cs.SD eess.AS
CURE Dataset: Ladder Networks for Audio Event Classification
Microsoft Research Labs（微软研究院）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；Microsoft Corporation（微软公司）
音频事件分类对于监控、音频、视频和多媒体检索等应用来说是一项重要的任务。大约有300万听力损失的人无法感知周围发生的事件。本文建立了CURE数据集，其中包含与听力损失患者最相关的特定音频事件的精选集。我们提出了一个基于梯形网络的音频事件分类器，利用5S录音来自Freesound项目。我们采用了最先进的卷积神经网络（CNN）嵌入作为这项任务的音频特征。我们还研究了极端学习机（ELM）的事件分类。在这项研究中，建议的分类与支持向量机（SVM）基线进行比较。我们提出了信号和特征归一化，旨在减少不同记录场景之间的不匹配。首先，在弱标记的Audioset数据上训练CNN。接下来，采用预训练的模型作为建议CURE语料库的特征提取器。我们将ESC-50数据集作为第二个评估集。结果和讨论验证了梯形网络的优越性ELM和SVM分类器的鲁棒性和提高分类精度。虽然梯形网络对数据不匹配具有鲁棒性，但更简单的SVM和ELM分类器对这种不匹配很敏感，其中所提出的归一化技术可以发挥重要作用。ESC-50和CURE语料库的实验研究阐明了所提出的方法提供的数据集的复杂性和鲁棒性的差异。
2020-01-12 cs.LG cs.SD eess.AS
Self-supervised Audio Spatialization with Correspondence Classifier
University of California at Merced（加州大学默塞德分校）
空间音频是观众获得3D视觉和听觉体验的重要媒介。然而，记录设备和技术是昂贵的或公众无法获得的。在这项工作中，我们提出了一个自我监督的音频空间化网络，可以生成相应的视频和单声道音频的空间音频。为了增强空间化性能，我们使用辅助分类器来分类地面实况视频和左右声道交换的音频视频。我们收集了一个大规模的视频数据集与空间音频验证所提出的方法。实验结果表明，该模型的音频空间化任务的有效性。
2019-05-14 cs.CV cs.LG cs.SD
FastICARL: Fast Incremental Classifier and Representation Learning with Efficient Budget Allocation in Audio Sensing Applications
University of Cambridge（剑桥大学）；University of Southampton（南安普顿大学）
已经提出了各种增量学习（IL）方法来帮助深度学习模型连续地学习新的任务/类，而不会忘记先前学习的内容（即，避免灾难性遗忘）。随着部署的音频感测应用的数量不断增加，这些应用需要动态地整合新任务并改变来自用户的输入分布，设备上的IL能力对于效率和用户隐私变得至关重要。然而，现有的工作遭受高的计算成本和存储需求，这阻碍了IL在设备上的部署。在这项工作中，为了克服这些限制，我们开发了一个端到端和设备上的IL框架，FastICARL，它结合了基于示例的IL和量化的背景下，基于音频的应用程序。我们首先使用k-最近邻来减少IL的延迟。然后，我们共同利用量化技术，以减少IL的存储需求。我们在两种类型的移动设备上实现了FastICARL，并证明FastICARL在不牺牲其性能的情况下显著降低了IL时间高达78-92%和2-4倍的存储需求。FastICARL支持完整的设备上IL，确保用户隐私，因为用户数据不需要离开设备。
2021-06-24 cs.LG cs.SD eess.AS
Data augmentation approaches for improving animal audio classification
University of Padua（帕多瓦大学）；Tampere University（坦佩雷大学）
在本文中，我们提出了一套分类器的自动动物音频分类，利用不同的数据增强技术训练卷积神经网络（CNN）。具体的动物音频分类问题是i）鸟和ii）猫的声音，其数据集是免费提供的。我们训练五个不同的CNN在原始数据集上，并在它们的版本上通过四个增强协议进行增强，处理原始音频信号或它们作为频谱图的表示。我们将我们最好的方法与最先进的方法进行了比较，结果表明，我们在相同的数据集上获得了最佳的识别率，而无需特别的参数优化。我们的研究表明，不同的CNN可以被训练用于动物音频分类的目的，并且它们的融合比独立的分类器更好。据我们所知，这是使用相同的分类器和参数集在动物音频分类音频数据集中对CNN进行数据增强的最大研究。我们的MATLAB代码可以在https://github.com/LorisNanni上找到。
2020-03-15 cs.LG cs.SD eess.AS
Learning Sound Event Classifiers from Web Audio with Noisy Labels
Universitat Pompeu Fabra（庞培法布拉大学）；Google, Inc.（谷歌公司）
随着声音事件分类向更大的数据集发展，标签噪声问题变得不可避免。网站可以提供大量的用户贡献的音频和元数据，但是从这些元数据中推断标签会引入错误，这是由于不可靠的输入和映射中的限制。然而，很少有人研究这些错误的影响。为了促进对声音事件分类中标签噪声的研究，我们提出了FSDnoisy18k，这是一个包含20个声音类别的42.5小时音频的数据集，包括少量手动标记的数据和大量真实世界的噪声数据。我们根据经验表征标签噪声，并提供了一个CNN基线系统。实验表明，使用大量噪声数据进行训练可以胜过使用少量仔细标记数据进行训练。我们还表明，噪声鲁棒的损失函数可以有效地提高性能，在存在损坏的标签。
2019-03-07 cs.LG cs.SD eess.AS
Tuning In: Analysis of Audio Classifier Performance in Clinical Settings with Limited Data
University of Toronto（多伦多大学）；Sunnybrook Research Institute（桑尼布鲁克研究所）；Western University（西安大略大学）
针对临床小数据音频分类，本文比较CNN、transformer及预训练音频模型，并通过中风患者数据集验证预训练、模型选择与频谱图预处理对性能的影响。
2024-04-05 cs.AI cs.LG cs.SD
An Ensemble of Convolutional Neural Networks for Audio Classification
University of Padua（帕多瓦大学）；Missouri State University（密苏里州立大学）；Tampere University（坦佩雷大学）
在本文中，分类器的集合，利用几种数据增强技术和四种信号表示来训练卷积神经网络（CNN）进行音频分类，并在三个免费提供的音频分类数据集上进行测试：i）鸟鸣，ii）猫的声音，iii）环境声音分类数据集。性能最好的合奏相结合的数据增强技术与不同的信号表示进行了比较，并表现出优于这些数据集的文献中报道的最佳方法。本文提出的方法在广泛使用的ESC-50数据集中获得了最先进的结果。据我们所知，这是调查用于音频分类的CNN集成的最广泛的研究。结果表明，CNN不仅可以被训练用于音频分类，而且它们使用不同技术的融合比独立的分类器效果更好。
2021-04-27 cs.LG cs.SD eess.AS
Detecting Aedes Aegypti Mosquitoes through Audio Classification with Convolutional Neural Networks
Institute of Informatics (INF)（信息学研究所（INF））；Universidade Federal do Rio Grande do Sul (UFRGS)（南里奥格兰德联邦大学（UFRGS））
蚊媒疾病的发病率在欠发达地区很高，主要是由于缺乏资源来实施积极的控制措施，防止蚊子繁殖。提高社区对蚊子繁殖的认识的一个潜在战略是使用智能手机应用程序和众包建立蚊子发病率的实时地图。在本文中，我们探讨了使用机器学习技术和从市售智能手机捕获的音频分析来识别埃及伊蚊的可能性。总之，我们对埃及伊蚊的翼拍记录进行了下采样，并使用它们通过监督学习来训练卷积神经网络（CNN）。作为一个功能，我们使用录音频谱图来表示蚊子翅拍频率随时间的变化。我们训练并比较了三种分类器：二进制，多类和二进制分类器的集成。在我们的评估中，二进制和集成模型分别实现了97.65%（$\pm$ 0.55）和94.56%（$\pm$ 0.77）的准确性，而多类的准确性为78.12%（$\pm$ 2.09）。最好的敏感性，观察在集成的方法（96.82% $\pm$ 1.62），其次是多类埃及伊蚊（90.23% $\pm$ 3.83）和二元（88.49% $\pm$ 6.68）的特定情况下。二元分类器和多类分类器在精确度和召回率之间表现出最佳平衡，F1测量接近90%。尽管集成分类器的精度最低，从而损害了其F1测量值（79.95% $\pm$ 2.13），但它是检测我们数据集中埃及伊蚊的最强大分类器。
2020-08-19 cs.LG cs.SD eess.AS
Audio Attacks and Defenses against AED Systems -- A Practical Study
The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
在本文中，我们评估了基于对抗性示例的支持深度学习的AED系统对规避攻击的抵抗能力。我们测试了多个安全关键AED任务的鲁棒性，这些任务被实现为CNN分类器，以及由Google制造的现有第三方Nest设备，这些设备运行自己的黑盒深度学习模型。我们的对抗性示例使用由白噪声和背景噪声组成的音频扰动。这种干扰很容易创建、执行和复制，并且可以被大量的潜在攻击者访问，甚至是不懂技术的攻击者。我们表明，对手可以专注于音频对抗输入，导致AED系统错误分类，实现高成功率，即使我们使用小级别的给定类型的噪声干扰。例如，在枪声类的情况下，当采用低至0.05的白噪声水平时，我们实现了接近100%的成功率。类似于之前关注来自图像域以及语音识别域的对抗性示例的作品所做的。然后，我们寻求通过对策来提高分类器的鲁棒性。我们采用对抗训练和音频去噪。我们表明，这些对策，当应用于音频输入，可以是成功的，无论是在隔离或组合，产生相关的增加近百分之五十的性能的分类器时，这些受到攻击。
2021-11-10 cs.LG cs.SD eess.AS
Exploiting Pre-trained Feature Networks for Generative Adversarial Networks in Audio-domain Loop Generation
Academia Sinica（中央研究院）；National Taiwan University（国立台湾大学）；Taiwan AI Labs（台湾人工智能实验室）
虽然生成对抗网络（GANs）已广泛用于音频生成的研究，但已知GAN模型的训练不稳定，耗时且数据效率低下。在改善GANs训练过程的尝试中，投影GAN的想法作为基于GAN的图像生成的有效解决方案出现，在不同的图像应用中建立了最先进的技术。其核心思想是使用一个预先训练好的分类器来约束神经网络的特征空间，以稳定和改进GAN训练。本文研究了投影GAN是否可以通过评估基于StyleGAN 2的音频域循环生成模型的性能来类似地改善音频生成，其中使用和不使用预训练的特征空间。此外，我们比较了使用一般与特定领域的分类器作为预训练的音频分类器的性能。通过对鼓循环和合成器循环生成的实验，我们证明了通用音频分类器的效果更好，并且使用投影GAN，我们的循环生成模型可以在不降低性能的情况下收敛约5倍。
2022-09-05 cs.SD eess.AS
Vision Language Models Are Few-Shot Audio Spectrogram Classifiers
Carnegie Mellon University（卡内基梅隆大学）
本文证明视觉语言模型可通过少样本提示对音频频谱图进行分类，GPT-4o在ESC-10上以59.00%准确率超越Gemini-1.5并略优于人类专家，展示了VLMs在音频理解中的潜力。
2024-11-18 cs.SD eess.AS
Adversarially Training for Audio Classifiers
École de Technologie Supérieure (ÉTS)（高等技术学院）
在本文中，我们研究了对抗性训练对六种高级深度神经网络抵御各种针对性和非针对性对抗性攻击的鲁棒性的潜在影响。我们首先表明，在附加tonnetz色谱图的离散小波变换的2D表示上训练的ResNet-56模型在识别精度方面优于其他模型。然后，我们展示了对抗性训练对该模型以及其他深度架构对六种类型的攻击算法（白盒和黑盒）的积极影响，其代价是识别准确性降低和对抗性扰动有限。我们在两个基准环境声音数据集上进行了实验，结果表明，在对对手的预算分配没有任何限制的情况下，对抗训练模型的欺骗率可以超过90%。换句话说，对抗性攻击存在于任何规模中，但与非对抗性训练的模型相比，它们可能需要更高的对抗性扰动。
2020-10-25 cs.LG cs.SD eess.AS
Adversarial Representation Learning for Robust Privacy Preservation in Audio
University of Helsinki（赫尔辛基大学）；Tampere University（坦佩雷大学）；Nokia Tech（诺基亚科技）
针对音频处理中的隐私泄露问题，提出一种对抗训练方法，通过定期替换语音分类器权重生成不变潜在表示，有效隐藏语音活动并显著降低隐私违规。
2024-01-03 cs.CR cs.LG cs.SD
MuTox: Universal MUltilingual Audio-based TOXicity Dataset and Zero-shot Detector
FAIR, Meta（Meta FAIR实验室）
针对语音模态毒性检测研究有限的现状，本文提出首个高度多语言基于音频的毒性数据集 MuTox，并训练零样本检测器，在扩大十倍语言覆盖的同时性能超越现有分类器。
2024-06-27 cs.CL cs.SD eess.AS
Uncovering shortcut learning in audio classifiers by discovering recurring concepts in temporal explanations
Departamento de Computación, FCEyN, UBA（布宜诺斯艾利斯大学精确与自然科学学院计算系）；ICC, CONICET-UBA（阿根廷国家科学与技术研究理事会-布宜诺斯艾利斯大学跨学科研究中心）；Music and Audio Research Lab, New York University（纽约大学音乐与音频研究实验室）；Integrated Design & Media, New York University（纽约大学综合设计与媒体系）
提出流水线，通过发现时间解释中的重复概念揭示音频分类器中的捷径学习，并验证其有效性。
2026-09-29 cs.AI cs.SD
Assessment of Audio Features for Automatic Cough Detection
University of Mons（蒙斯大学）；Faculty of Engineering, University of Mons（蒙斯大学工程学院）
本文讨论了仅使用音频记录进行咳嗽检测的问题，最终目标是量化和鉴定患有呼吸系统疾病（特别是粘粘病毒病）的患者的病理程度。提出了描述音频信号各个方面的大量音频特征集。这些特征分两步评估。首先，使用基于互信息的措施，他们的潜在的和冗余的评估。其次，分别采用人工神经网络、高斯混合模型和支持向量机三种分类器，验证了它们的有效性。同时研究了特征维数和分类器复杂度对分类结果的影响。
2020-01-02 cs.HC cs.SD eess.AS
Mask-Induced Displacement in Audio XAI via Logit Trajectory Decomposition
本文通过logit轨迹分解揭示音频XAI中掩蔽填充导致的轴外位移，证明无填充声学中性且部分掩蔽下41-77%位移为轴外，并指出归因方法存在装置依赖性，残差结构可缓解。
2026-09-29 cs.LG cs.SD eess.AS
Multiple-Instance, Cascaded Classification for Keyword Spotting in Narrow-Band Audio
Voicera
针对非独立同分布窄带音频关键词识别，提出融合DNN、级联、多特征与多实例学习的模型，以级联提前终止降低功耗，实现漏报率6%且每小时误报率0.75。
2025-04-25 cs.CL cs.LG cs.SD
Look and Listen: A Multi-modality Late Fusion Approach to Scene Classification for Autonomous Machines
Aston University（阿斯顿大学）；University of Coimbra（科英布拉大学）
这项研究的新颖之处在于多模态方法来进行场景分类，其中图像和音频在深度后期融合的过程中相互补充。该方法是证明了一个困难的分类问题，包括两个同步和平衡的数据集的16,000个数据对象，包括4.4小时的视频8个环境具有不同程度的相似性。我们首先以一秒的间隔提取视频帧和伴随的音频。首先使用微调的VGG 16和进化优化的深度神经网络对图像和音频数据集进行独立分类，准确率分别为89.27%和93.72%。随后是两个神经网络的后期融合，以实现更高阶的函数，从而在具有同步视频帧和音频剪辑的该多模态分类器中实现96.81%的准确度。当两个主要网络被认为是特征生成器时，用于后期融合的第三神经网络比经典的最先进的分类器的性能高出约3%。我们表明，一个单一的模态的情况下，可能会混淆异常的数据点，现在通过一个新兴的高阶集成纠正。突出的例子包括城市中的水特征被音频分类器单独误分类为河流，以及被图像分类器单独误分类为森林的密集拥挤的街道。两者都是我们的多模态方法正确分类的例子。
2020-07-11 cs.CV cs.LG cs.SD
LearnAFE: Circuit-Algorithm Co-design Framework for Learnable Audio Analog Front-End
Nanyang Technological University（南洋理工大学）；Agency for Science, Technology and Research（科技研究局）；University of Michigan（密歇根大学）
本文提出LearnAFE电路-算法协同设计框架，通过SNR感知训练联合优化模拟带通滤波器组与后端分类器，在SKY130 130nm工艺下以22k参数实现10关键词分类90.5%-94.2%准确率，并降低功耗与面积。
2025-07-01 cs.AI cs.SD eess.AS
Koel-TTS: Enhancing LLM based Speech Generation with Preference Alignment and Classifier Free Guidance
NVIDIA Corporation（英伟达公司）
本文提出 Koel-TTS，利用 ASR 与说话人验证引导的偏好对齐及无分类器引导，增强文本到声学 token 的可控语音合成，并在小数据集训练下超越现有 TTS。
2025-07-22 cs.AI cs.LG cs.SD
Studying the Effect of Audio Filters in Pre-Trained Models for Environmental Sound Classification
University of Kalyani（卡里亚尼大学）；A.K.Choudhury School of IT（A.K.乔杜里信息技术学院）；University of Calcutta（加尔各答大学）
针对环境声音分类问题，提出两级分类方法并引入Audio Crop音频滤波技术，在ESC-50数据集上分别取得78.75%和98.04%的分类准确率。
2024-08-24 cs.AI cs.SD eess.AS
Classifier-Guided Captioning Across Modalities
Tel Aviv University（特拉维夫大学）；Bar-Ilan University（巴伊兰大学）；NVIDIA（英伟达）
本文提出一种推理期文本分类器引导框架，利用 GPT-4 生成数据训练分类器，使冻结字幕模型适配音频等跨模态语义，并在零样本音频字幕生成上达到 SOTA。
2025-01-03 cs.AI cs.CL cs.SD
Generative Extraction of Audio Classifiers for Speaker Identification
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Dalhousie University（达尔豪斯大学）
机器学习模型，特别是深度神经网络，特别容易受到攻击，这也许不再令人惊讶。模型提取是一种已经被充分研究的漏洞：攻击者试图通过训练代理模型来模仿受害者模型的决策边界，从而窃取受害者模型的现象。以前的工作已经证明了这种攻击的有效性及其破坏性后果，但这项工作主要是针对图像和文本处理任务。我们的工作是第一次尝试执行模型提取{ \em音频分类模型}。我们受到攻击者的激励，攻击者的目标是模仿受害者的模型的行为，该模型被训练来识别说话者。这在诸如生物特征认证之类的安全敏感领域中尤其成问题。我们发现，先前的模型提取技术，其中攻击者\textit{naively}使用代理数据集来攻击潜在的受害者的模型，失败。因此，我们建议使用生成模型来创建一个足够大的和多样化的合成攻击查询池。我们发现，我们的方法是能够提取一个受害者的模型训练\texttt{LibriSpeech}使用查询合成的代理数据集的基础上关闭\texttt{VoxCeleb}，我们实现了测试准确率为84.41%的预算为300万查询。
2022-07-26 cs.CR cs.SD eess.AS
Audio-replay attack detection countermeasures
ITMO University（圣彼得堡国立信息技术、机械学与光学研究型大学）；STC-innovations Ltd.（STC创新有限公司）
本文介绍了语音技术中心（STC）为2017年自动说话人验证欺骗和对策挑战赛提出的重播攻击检测系统。在这项研究中，我们专注于比较不同的欺骗检测方法。这些是基于GMM的方法，使用简单分类器和深度学习框架的高级特征提取。在挑战数据集的开发和评估部分上进行的实验证明了深度学习方法在声学条件变化的情况下的稳定效率。同时，根据融合系统的结果，具有高级别特征的SVM分类器为所得到的STC系统的效率提供了实质性的输入。
2017-05-24 cs.LG cs.SD stat.ML
Audio-Visual Scene Classification Using A Transfer Learning Based Joint Optimization Strategy
Key Laboratory of Speech Acoustics and Content Understanding, Institute of Acoustics, CAS（中国科学院声学研究所语音声学与内容理解重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，视听场景分类（AVSC）越来越受到多学科的关注。以前的研究倾向于采用管道训练策略，即使用训练有素的视觉和声学编码器提取高级表示（嵌入），然后利用它们来训练视听分类器。以这种方式，提取的嵌入非常适合单模态分类器，但不一定适合多模态分类器。在本文中，我们提出了一个联合训练框架，直接使用声学特征和原始图像作为AVSC任务的输入。具体来说，我们检索预训练图像模型的底层作为视觉编码器，并在训练期间联合优化场景分类器和基于1D-CNN的声学编码器。我们在TAU Urban Audio-Visual Scenes 2021的开发数据集上评估了该方法。实验结果表明，我们提出的方法取得了显着的改善比传统的管道训练策略。此外，我们最好的单一系统优于以前的最先进的方法，在官方测试折叠上产生0.1517的对数损失和94.59%的准确性。
2022-04-25 cs.CV cs.MM cs.SD
Visually Exploring Multi-Purpose Audio Data
Lincoln University（林肯大学）；Queen Mary University of London（伦敦玛丽女王大学）
我们使用工具分析多用途音频，以可视化可通过无监督方法观察到的数据中的相似性。机器学习分类器的成功受到系统输入中包含的信息的影响，因此我们研究数据中的潜在模式是否可以解释此类分类器的性能限制。我们使用聚类趋势（VAT）技术的视觉评估一个众所周知的数据集，观察样本如何自然聚类，我们进行比较，用于音频地理标记和声学场景分类的标签。我们证明，增值税有助于解释和证实在以前的工作中观察到的混乱，以分类这种音频，产生更深入的了解监督分类系统的性能和局限性。虽然这种探索性分析是在我们知道“地面实况”标签的数据上进行的，但这种将数据所指示的自然分组可视化的方法导致了关于未标记数据的重要问题，这些问题可以帮助评估和现实的期望未来（包括自我监督）分类系统。
2021-10-09 cs.HC cs.SD eess.AS
Noise Flooding for Detecting Audio Adversarial Examples Against Automatic Speech Recognition
The College University of Chicago（芝加哥大学学院）；University of Colorado Colorado Springs（科罗拉多斯普林斯分校科罗拉多大学）
神经模型在各种任务中得到广泛使用，并已成为许多工业系统的关键组成部分。尽管它们有效且广受欢迎，但它们并非没有可利用的缺陷。最初应用于计算机视觉系统，对抗性示例的生成是对图像进行看似不可感知的扰动的过程，目的是诱导基于深度学习的分类器对图像进行错误分类。由于语音处理的最新趋势，这已经成为语音识别模型中的一个值得注意的问题。在2017年底，一种攻击被证明对语音命令分类模型非常有效。词汇量有限的语音分类器，如语音命令模型，在各种应用程序中使用得非常频繁，特别是在电话环境中管理自动话务员。因此，这种攻击产生的对抗性例子可能会产生现实世界的后果。虽然以前在防御这些对抗性示例方面的工作已经研究了使用音频预处理来减少或扭曲对抗性噪声，但这项工作探索了用随机噪声淹没音频信号的特定频带以检测对抗性示例的想法。这种不需要重新训练或修改模型的泛洪技术受到计算机视觉工作的启发，并建立在语音分类器对自然噪声相对鲁棒的想法之上。一种结合了5个不同频带的组合防御方法，用于用噪声淹没信号，其性能优于音频空间中其他现有的防御方法，检测对抗性示例的准确率为91.8%，召回率为93.5%。
2018-12-25 cs.CL cs.CR cs.LG
The Vicomtech Audio Deepfake Detection System based on Wav2Vec2 for the 2022 ADD Challenge
Vicomtech（Vicomtech基金会）
本文描述了我们提交的系统，以2022年ADD挑战赛的轨道1和2。我们的方法是基于预训练的wav2vec2特征提取器和下游分类器的组合来检测欺骗音频。该方法利用不同Transformer层的上下文化语音表示来完全捕获区分信息。此外，分类模型是适应不同的数据增强技术的应用场景。我们在ASVspoof 2021和2022 ADD挑战中评估了我们的音频合成检测系统，显示了其在现实挑战环境中的鲁棒性和良好性能，如电话和音频编解码器系统，嘈杂的音频和部分deepfake。
2022-03-03 cs.SD eess.AS
What Makes Audio Event Detection Harder than Classification?
University of Kent（肯特大学）
有一个共同的观察，音频事件分类比检测更容易处理。到目前为止，这一观察被认为是一个事实，我们缺乏仔细的分析。在本文中，我们推理这一事实背后的基本原理，更重要的是，利用它们来帮助音频事件检测任务。我们提出了一种改进的检测流水线，其中的验证步骤被附加到增强检测系统。该步骤采用高质量的事件分类器对检测系统输出的良性事件假设进行后处理，并拒绝误报。为了证明所提出的管道的有效性，我们实现和配对不同的事件检测器的基础上最常见的检测方案和各种事件分类器，从标准的词袋模型的国家的最先进的银行的回归。在ITC-Irst数据集上的实验结果表明，检测性能得到了显着改善。更重要的是，这些改进对于所有检测器-分类器组合是一致的。
2018-05-17 cs.SD
The Orchive : Data mining a massive bioacoustic archive
University of Victoria（维多利亚大学）；OrcaLab（虎鲸实验室）
Orchive收集了超过20，000小时的录音，来自位于温哥华岛北端的OrcaLab研究设施。它包含了从1980年到现在记录的虎鲸发声，是世界上最大的生物声学数据资源之一。我们开发了一个基于Web的界面，允许研究人员收听这些录音，查看音频的波形和频谱表示，标记带有注释的剪辑，并查看基于自动音频特征提取的机器学习分类器的结果。在本文中，我们描述了这样的分类器，区分背景噪音，虎鲸的电话，并指出，目前在大多数的磁带。此外，我们显示分类结果的基础上，以前现有的虎鲸呼叫目录的个人电话。我们还通过实验研究了整个Orchive分类器的可扩展性。
2013-07-02 cs.DB cs.LG cs.SD
AFEN: Respiratory Disease Classification using Ensemble Learning
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文提出 AFEN 集成模型，融合多特征 CNN 与 XGBoost，并通过软投票和数据增强对呼吸音进行疾病分类，在 920 条样本上取得新的最优精确率、召回率，并减少 60% 训练时间。
2024-05-08 cs.AI cs.LG cs.SD
AudioGen: Textually Guided Audio Generation
Meta AI；The Hebrew University of Jerusalem（希伯来大学）
我们解决的问题，生成音频样本的条件下描述性的文本标题。在这项工作中，我们提出了AaudioGen，一个自回归生成模型，生成音频样本的文本输入的条件。AudioGen对学习的离散音频表示进行操作。文本到音频生成的任务提出了多个挑战。由于音频通过介质传播的方式，区分"对象“可能是一项困难的任务（例如，多人同时说话）。这由于真实世界的记录条件（例如，背景噪声、混响等）。稀少的文本注释施加了另一个约束，限制了缩放模型的能力。最后，对高保真音频进行建模需要以高采样率对音频进行编码，从而导致极长的序列。为了缓解上述挑战，我们提出了一种增强技术，可以混合不同的音频样本，驱动模型在内部学习分离多个源。我们策划了10个包含不同类型音频和文本注释的数据集，以处理文本音频数据点的稀缺性。为了更快的推理，我们探索使用多流建模，允许使用更短的序列，同时保持类似的比特率和感知质量。我们应用无分类器引导来提高对文本的遵守。与评估的基线相比，AudioGen在客观和主观指标上都优于其他指标。最后，我们探讨了所提出的方法产生音频连续条件和无条件的能力。样品：https://felixkreuk.github.io/audiogen
2023-03-05 cs.CL cs.LG cs.SD
Fast threshold optimization for multi-label audio tagging using Surrogate gradient learning
IRIT（图卢兹计算机科学研究所）；CNRS（法国国家科学研究中心）；CERCO UMR 5549（认知与脑科学联合研究单位（UMR 5549））
多标签音频标记包括将标签集分配给音频记录。在推理时，将阈值应用于由概率分类器输出的置信度分数，以决定哪些类被检测为活动的。在这项工作中，我们考虑使用一个经过训练的分类器，并根据感兴趣的性能指标自动优化决策阈值，在我们的情况下是F-测量（micro-F1）。我们提出了一种新的方法，称为SGL-Thresh的替代梯度学习的控制点，利用梯度下降。由于F1是不可微的，我们建议近似的阈值操作梯度与S形函数的梯度。我们使用最先进的预训练深度神经网络报告了三个数据集上的实验。在所有情况下，SGL-Thresh优于其他三种方法：默认阈值（defThresh），启发式搜索算法和数值估计F1梯度的方法。在AudioSet eval上达到54.9\%F1，而defThresh为50.7%。SGL-Thresh非常快速，可扩展到大量标签。为了便于再现，Pytorch中的数据和源代码可在线获得：https://github.com/topel/SGL-Thresh
2021-03-01 cs.AI cs.SD eess.AS
On The Effect Of Coding Artifacts On Acoustic Scene Classification
University of Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）；International Audio Laboratories（国际音频实验室）
以前的DCASE挑战有助于提高声学场景分类系统的性能。最先进的分类器需要大量的处理能力和内存，这对于资源受限的移动或物联网边缘设备来说是一个挑战。因此，更有可能在更强大的硬件上部署这些模型，并对先前从低功耗边缘设备上传（或流式传输）的音频记录进行分类。在这种情况下，边缘设备可以应用感知音频编码来降低传输数据速率。本文使用DCASE 2020挑战贡献[1]探索感知音频编码对分类性能的影响。我们发现，与对原始（未压缩）音频进行分类相比，分类准确性最多可降低57%。我们进一步展示了模型训练期间的有损音频压缩技术如何提高压缩音频信号的分类准确性，即使是对于训练过程中不包括的音频编解码器和编解码器比特率。
2021-12-09 cs.MM cs.SD eess.AS
Data augmentation using generative networks to identify dementia
Department of Computer Science（计算机科学系）；Sheffield Institute for Translational Neuroscience (SITraN)（谢菲尔德转化神经科学研究所（SITraN））；Department of Human Communication Sciences（人类传播科学系）；Department of Neuroscience（神经科学系）；Royal Hallamshire Hospital（皇家哈勒姆郡医院）；Academic Neurology Unit, Royal Hallamshire Hospital（皇家哈勒姆郡医院学术神经科）
本文针对医疗机器学习分类器的数据限制问题，采用生成网络进行数据增强，将变分自编码器应用于痴呆检测的语音特征，使四分类器F值提升16%。
2026-11-11 cs.AI cs.CL cs.LG
Improving Universal Sound Separation Using Sound Classification
Google（谷歌）
深度学习方法最近在音频声源分离和声音分类方面都取得了令人印象深刻的性能。大多数音频声源分离方法仅关注于分离属于诸如语音和音乐的声源类别的受限域的声源。然而，最近的工作已经证明了“通用声音分离”的可能性，其目的是将声源从开放域中分离出来，而不管它们的类别。在本文中，我们利用在大量不同声音上训练的声音分类器网络学习的语义信息来改进通用声音分离。特别是，我们表明，从声音分类器中提取的语义嵌入可用于调节分离网络，为其提供有用的附加信息。这种方法在迭代设置中特别有用，其中来自初始分离阶段的源估计及其对应的分类器导出的嵌入被馈送到第二分离网络。通过执行由一千多个实验组成的彻底的超参数搜索，我们发现来自干净源的分类器嵌入提供了近1 dB的SNR增益，并且我们最好的迭代模型实现了这个预言性能的很大一部分，为通用声音分离建立了新的最先进的技术。
2019-11-18 cs.LG cs.SD eess.AS
Exploiting Parallel Audio Recordings to Enforce Device Invariance in CNN-based Acoustic Scene Classification
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
在训练和应用时看到的数据之间的分布不匹配仍然是机器学习所有应用领域的主要挑战。我们在机器监听的背景下研究这个问题（DCASE 2019挑战赛的任务1b）。我们提出了一种新的方法来学习域不变的分类器在一个端到端的方式，通过实施平等的隐藏层表示域并行的样本，即时间对齐的记录从不同的记录设备。我们的域自适应（DA）方法不需要分类标签，这使得数据收集过程更便宜。
2019-09-04 cs.LG cs.SD eess.AS
Towards Reliable Audio Deepfake Attribution and Model Recognition: A Multi-Level Autoencoder-Based Framework
IMT School of Advanced Studies（IMT高级研究学院）；University of Catania（卡塔尼亚大学）
提出LAVA分层框架，利用仅在伪造音频上训练的卷积自编码器提取注意力增强的潜在表示，通过两个分类器实现音频深度伪造的生成技术识别和具体模型识别，在多个数据集上F1分数超过95%。
2026-06-23 cs.AI cs.CV cs.SD
Music Genre Classification Using Spectral Analysis and Sparse Representation of the Signals
本文提出了一种基于稀疏FFT的特征提取方法，该方法利用非平稳音频信号的谱分析的鉴别能力和稀疏表示分类器的能力进行特征提取，并在此基础上提出了一种稳健的音乐类型分类方法。特征提取方法组合两组特征，即短期特征（从加窗信号中提取）和长期特征（从提取的短期特征的组合中提取）。实验结果表明，所提出的特征提取方法导致了一个稀疏表示的音频信号。结果，实现了信号维度的显著降低。然后将提取的特征馈送到基于稀疏表示的分类器（SRC）中。在GTZAN数据库上的实验结果表明，该方法优于其他最先进的SRC方法。此外，该方法的计算效率优于其他压缩采样（CS）为基础的分类器。
2018-03-13 cs.SD eess.AS
Can Foundation Models Hear What Made That Sound? A Tiered Benchmark of Audio-Language Models and Traditional Classifiers for Closed-Set Sound Source Identification
Perle（珀尔）
本研究构建涵盖11种音频分类方法的分层基准，在2242个音频片段的闭集声源识别任务中评估性能，发现Gemini-3.1-Pro-Preview表现最优，还分析了Gemini模型的思维链特性并给出方法选择指导。
2026-08-04 cs.AI cs.SD
I Hear Your True Colors: Image Guided Audio Generation
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
我们提出了Im 2 Wav，一个图像引导的开放域音频生成系统。给定输入图像或图像序列，Im 2 Wav生成语义相关的声音。Im 2 Wav基于两个Transformer语言模型，其在从基于VQ-VAE的模型获得的分层离散音频表示上操作。我们首先使用语言模型产生低级音频表示。然后，我们使用附加的语言模型对音频令牌进行上采样以生成高保真音频样本。我们使用预训练的CLIP（对比图像预训练）嵌入的丰富语义作为视觉表示来调节语言模型。此外，为了将生成过程转向调节图像，我们应用了无分类器引导方法。结果表明，Im 2 Wav在保真度和相关性评估指标方面均显着优于评估基线。此外，我们提供了消融研究，以更好地评估每个方法组件对整体性能的影响。最后，为了更好地评估图像到音频模型，我们提出了一个域外图像数据集，表示为ImageHear。ImageHear可以用作评估未来图像到音频模型的基准。样本和代码可以在手稿中找到。
2023-02-27 cs.SD eess.AS
DeePen: Penetration Testing for Audio Deepfake Detection
Technical University of Cluj-Napocay（克卢日-纳波卡技术大学）；AISRC, Soongsil University（Soongsil大学人工智能研究中心）
本文提出DeePen方法，通过系统化的渗透测试评估音频深度伪造检测模型的鲁棒性，发现所有测试系统均存在漏洞，可被简单操作欺骗。
2026-05-13 cs.AI cs.CR cs.SD
Music Genre Classification using Machine Learning Techniques
University of Waterloo（滑铁卢大学）
在音乐信息检索（MIR）领域，根据音乐文件的类型对其进行分类是一项具有挑战性的任务。在这项研究中，我们比较了两类模型的性能。第一种是深度学习方法，其中端到端地训练CNN模型，以仅使用其频谱图来预测音频信号的流派标签。第二种方法利用来自时域和频域的手工制作的特征。我们用这些特征训练了四种传统的机器学习分类器，并比较了它们的性能。确定了对这种多类分类任务贡献最大的功能。音频集数据集上进行的实验，我们报告的AUC值为0.894的集成分类器，它结合了这两种方法。
2018-04-03 cs.SD eess.AS
Background-tracking Acoustic Features for Genre Identification of Broadcast Shows
University of Sheffield（谢菲尔德大学）
本文提出了一种新的方法来提取声学特征，掩盖了背景环境中的音频记录。这些特征基于将多个并行的基于背景的约束最大似然线性回归变换异步地拟合到输入音频信号的对齐的输出。通过这种设置，所产生的功能可以跟踪音频背景中的变化，如音乐、掌声或笑声的出现和消失，而与音频前景中的扬声器无关。在视听数据中提供这种类型的声学描述的能力具有许多潜在的应用，包括广播档案的自动分类或改进自动转录和字幕。本文探讨了这些特征在一组332个BBC节目的流派识别任务中的表现。建议的背景跟踪功能优于短期感知线性预测功能在这项任务中使用高斯混合模型分类器（62%对72%的准确率）。使用更复杂的分类器（隐马尔可夫模型和支持向量机），将具有新型背景跟踪特征的系统性能分别提高到79%和81%的准确度。
2015-09-16 cs.SD
Audio Contrastive-based Fine-tuning: Decoupling Representation Learning and Classification
The University of Manchester（曼彻斯特大学）；Durham University（杜伦大学）；RFAI Technology（RFAI技术）；Automated Analytics（自动化分析）
本文提出解耦表示细化与分类器训练的两阶段音频微调框架，通过对比微调改善嵌入空间，并设计双探针评估协议验证其有效性，在单标签和多标签音频分类任务上均取得优于普通微调的结果。
2025-09-22 cs.AI cs.CL cs.SD
Towards Audio to Scene Image Synthesis using Generative Adversarial Network
National Taiwan University（台湾大学）
人类可以从声音中想象出一个场景。我们希望机器通过使用条件生成对抗网络（GANs）来做到这一点。该模型采用了谱范数、投影变换和辅助分类器等技术，与朴素条件GAN相比，在主观和客观评价方面都具有更好的图像质量。近四分之三的人同意我们的模型有能力生成与声音相关的图像。通过输入相同声音的不同音量，我们的模型输出基于音量的不同尺度的变化，表明我们的模型在一定程度上真正了解声音和图像之间的关系。
2018-08-13 cs.CL cs.CV cs.SD
Pediatric Asthma Detection with Googles HeAR Model: An AI-Driven Respiratory Sound Classifier
Kent State University（肯特州立大学）；Northeastern University（东北大学）；Department of Computer Science, Cleveland State University（计算机科学系，克利夫兰州立大学）；Khoury College of Computer Science, Roux Institute at Northeastern University（计算机科学学院，东北大学罗克斯研究所）
本研究提出一种基于Google HeAR基础模型的AI诊断流水线，利用SPRSound数据集中的儿童呼吸音进行特征提取与多分类器训练，实现超91%准确率的非侵入性哮喘早期筛查，适用于偏远或医疗资源不足地区。
2025-04-28 cs.AI cs.SD
