Listenable Maps for Zero-Shot Audio Classifiers
Fondazione Bruno Kessler(布鲁诺·科塞拉基金会);Mila, Québec AI Institute(魁北克人工智能研究所);Concordia University(康科德大学);Université Laval(拉瓦尔大学)
本文提出LMAC-ZS,首个基于解码器的事后解释方法,用于零样本音频分类器,通过新颖损失函数保持决策忠实性,并在CLAP模型上验证有效性。
2025-04-21 cs.LG cs.SD eess.AS
A Deep Neural Network for Audio Classification with a Classifier Attention Mechanism
University of Ottawa(渥太华大学)
音频分类被认为是模式识别中的一个具有挑战性的问题。最近,已经提出了许多使用深度神经网络的算法。在本文中,我们介绍了一种新的基于注意力的神经网络架构,称为基于分类器注意力的卷积神经网络(CAB-CNN)。该算法使用了一个新设计的架构,包括一个简单的分类器和一个注意力机制作为一个分类器选择器的列表。这种设计大大减少了分类器所需的参数数量,从而降低了它们的复杂性。以这种方式,变得更容易训练分类器并实现高且稳定的性能。实验结果证实了我们的主张。与最先进的算法相比,我们的算法在所有选定的测试成绩上都有超过10%的改进。
2020-06-14 cs.LG cs.SD eess.AS
Bridging the Modality Gap in Long-Form Clinical Audio: A Comparative Study of Lightweight and Heavyweight End-to-End SOAP Generation
Northwestern Polytechnical University(西北工业大学)
本研究提出一种完全端到端的多模态系统,直接从长时临床音频生成SOAP笔记,通过多阶段训练和规模扩展,在BeTraC 2026挑战中超越级联ASR+LLM基线,验证了直接多模态优化的有效性。
2026-09-15 cs.AI cs.SD eess.AS
Audio-based AI classifiers show no evidence of improved COVID-19 screening over simple symptoms checkers
The Alan Turing Institute(阿兰·图灵研究所);Imperial College London(帝国理工学院);University of Oxford(牛津大学);University of Surrey(萨里大学);King’s College London(伦敦国王学院);University College London(伦敦大学学院);UK Health Security Agency(英国卫生安全局);University of Brighton(布莱顿大学)
最近的工作报告说,在录音上训练的AI分类器可以准确地预测严重急性呼吸综合征冠状病毒2(SARSCoV 2)的感染状态。在这里,我们对基于音频的深度学习分类器进行了大规模研究,作为英国政府流行病应对措施的一部分。我们收集和分析了67,842名具有相关元数据的个人的录音数据集,包括逆转录聚合酶链反应(PCR)测试结果,其中23,514人对SARS CoV 2检测呈阳性。受试者通过英国政府的国家卫生服务测试和跟踪计划和社区传播实时评估(REACT)随机监测调查招募。在对我们的数据集进行的未经调整的分析中,AI分类器预测SARS-CoV-2感染状态的准确性很高(受试者工作特征曲线下面积(ROCAUC)0.846 [0.838,0.854]),与先前研究的结果一致。然而,在匹配测量的混杂因素(如年龄,性别和自我报告的症状)后,我们的分类器性能要弱得多(ROC-AUC 0.619 [0.594,0.644])。在量化实用的音频分类器在实际环境中,我们发现他们优于简单的预测分数的基础上,用户报告的症状。
2023-03-02 cs.LG cs.SD eess.AS
Conditional Generative Data Augmentation for Clinical Audio Datasets
Technical University of Munich(慕尼黑工业大学);University of Zurich(苏黎世大学);University Hospital Balgrist(巴尔格里斯特大学医院);Balgrist University Hospital(巴尔格里斯特大学医院)
本文提出基于 cWGAN-GP 的临床音频数据增强方法,在 log-mel 频谱图上生成逼真类别条件样本,并在全髋关节置换术真实手术室音频数据集上验证,使 ResNet-18 分类器的 Macro F1 平均提升 1.70%,优于经典音频增强方法。
2022-06-24 cs.LG cs.SD eess.AS
Self-supervised Audio Spatialization with Correspondence Classifier
University of California at Merced(加州大学默塞德分校)
空间音频是观众获得3D视觉和听觉体验的重要媒介。然而,记录设备和技术是昂贵的或公众无法获得的。在这项工作中,我们提出了一个自我监督的音频空间化网络,可以生成相应的视频和单声道音频的空间音频。为了增强空间化性能,我们使用辅助分类器来分类地面实况视频和左右声道交换的音频视频。我们收集了一个大规模的视频数据集与空间音频验证所提出的方法。实验结果表明,该模型的音频空间化任务的有效性。
2019-05-14 cs.CV cs.LG cs.SD
LMAC-TD: Producing Time Domain Explanations for Audio Classifiers
University of Bologna(博洛尼亚大学);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会);Mila-Québec AI Institute(米拉-魁北克人工智能研究所);Concordia University(康考迪亚大学);Laval University(拉瓦尔大学)
针对神经网络黑箱问题,本文提出事后解释方法LMAC-TD,基于L-MAC并引入SepFormer架构直接生成时域音频解释,在不损失忠实度的前提下提升了解释的音频质量。
2024-09-13 cs.AI cs.LG cs.SD
Listenable Maps for Audio Classifiers
Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会);Mila-Québec AI Institute(米拉-魁北克人工智能研究所);Concordia University(康考迪亚大学);Laval University(拉瓦尔大学)
针对音频分类器解释难的问题,提出事后解释方法L-MAC,通过解码器生成二值掩码高亮音频相关部分,实验证明其解释忠实度优于现有方法且更受用户偏好。
2024-06-19 cs.LG cs.SD eess.AS
Discriminating real and synthetic super-resolved audio samples using embedding-based classifiers
Tampere University(塔尔基耶大学);Nokia Technologies(诺基亚技术)
本文提出基于嵌入式分类器区分真实与合成超分辨音频的方法,揭示了感知质量与真实分布忠实性之间的差距。
2026-01-06 cs.AI cs.SD eess.AS
A Novel Stochastic Transformer-based Approach for Post-Traumatic Stress Disorder Detection using Audio Recording of Clinical Interviews
LISSI Université Paris-Est Créteil (UPEC)(巴黎东部克雷泰伊大学LISSI实验室)
本文提出一种基于MFCC特征和随机Transformer的深度学习方法,利用临床访谈音频检测PTSD,在eDAIC数据集上取得RMSE 2.92的最新性能。
2024-03-28 cs.LG cs.SD eess.AS
Clotho-AQA: A Crowdsourced Dataset for Audio Question Answering
Tampere University(坦佩雷大学)
音频问答(AQA)是多模态翻译任务,其中系统分析音频信号和自然语言问题,以生成期望的自然语言答案。在本文中,我们介绍Clotho-AQA,一个数据集的音频问答,包括1991个音频文件,每个之间的持续时间为15至30秒,从Clotho数据集选择。对于每个音频文件,我们使用Amazon Mechanical Turk通过众包收集六个不同的问题和相应的答案。问题和答案由不同的注释器生成。在每个音频的六个问题中,两个问题每个都被设计为有“是”和“否”作为答案,而剩下的两个问题有其他单字答案。对于每个问题,我们从三个不同的注释者那里收集答案。我们还提出了两个基线实验来描述我们的数据集的AQA任务的使用-基于LSTM的多模态二进制分类器的“是”或“否”类型的答案和基于LSTM的多模态多类分类器的828个单字的答案。二元分类器实现了62.7%的准确率,多类分类器实现了54.2%的前1准确率和93.7%的前5准确率。Clotho-AQA数据集可在https://zenodo.org/record/6473207在线免费获得。
2022-06-17 cs.LG cs.SD eess.AS
Formal Verification of Long Short-Term Memory based Audio Classifiers: A Star based Approach
Vanderbilt University(范德堡大学);Institute for Software Integrated Systems(软件集成系统研究院)
本研究提出一种基于星集和可达性分析的形式化验证方法,专为音频分类领域的LSTM及其卷积变体设计,通过将分类过程概念化为集合操作来探索系统状态,验证了真实场景下序列音频分类的鲁棒性。
2023-11-16 cs.LG cs.SD eess.AS
Uncovering shortcut learning in audio classifiers by discovering recurring concepts in temporal explanations
Departamento de Computación, FCEyN, UBA(布宜诺斯艾利斯大学精确与自然科学学院计算系);ICC, CONICET-UBA(阿根廷国家科学与技术研究理事会-布宜诺斯艾利斯大学跨学科研究中心);Music and Audio Research Lab, New York University(纽约大学音乐与音频研究实验室);Integrated Design & Media, New York University(纽约大学综合设计与媒体系)
提出流水线,通过发现时间解释中的重复概念揭示音频分类器中的捷径学习,并验证其有效性。
2026-09-29 cs.AI cs.SD
CURE Dataset: Ladder Networks for Audio Event Classification
Microsoft Research Labs(微软研究院);University of Texas at Dallas(德克萨斯大学达拉斯分校);Microsoft Corporation(微软公司)
音频事件分类对于监控、音频、视频和多媒体检索等应用来说是一项重要的任务。大约有300万听力损失的人无法感知周围发生的事件。本文建立了CURE数据集,其中包含与听力损失患者最相关的特定音频事件的精选集。我们提出了一个基于梯形网络的音频事件分类器,利用5S录音来自Freesound项目。我们采用了最先进的卷积神经网络(CNN)嵌入作为这项任务的音频特征。我们还研究了极端学习机(ELM)的事件分类。在这项研究中,建议的分类与支持向量机(SVM)基线进行比较。我们提出了信号和特征归一化,旨在减少不同记录场景之间的不匹配。首先,在弱标记的Audioset数据上训练CNN。接下来,采用预训练的模型作为建议CURE语料库的特征提取器。我们将ESC-50数据集作为第二个评估集。结果和讨论验证了梯形网络的优越性ELM和SVM分类器的鲁棒性和提高分类精度。虽然梯形网络对数据不匹配具有鲁棒性,但更简单的SVM和ELM分类器对这种不匹配很敏感,其中所提出的归一化技术可以发挥重要作用。ESC-50和CURE语料库的实验研究阐明了所提出的方法提供的数据集的复杂性和鲁棒性的差异。
2020-01-12 cs.LG cs.SD eess.AS
Data augmentation approaches for improving animal audio classification
University of Padua(帕多瓦大学);Tampere University(坦佩雷大学)
在本文中,我们提出了一套分类器的自动动物音频分类,利用不同的数据增强技术训练卷积神经网络(CNN)。具体的动物音频分类问题是i)鸟和ii)猫的声音,其数据集是免费提供的。我们训练五个不同的CNN在原始数据集上,并在它们的版本上通过四个增强协议进行增强,处理原始音频信号或它们作为频谱图的表示。我们将我们最好的方法与最先进的方法进行了比较,结果表明,我们在相同的数据集上获得了最佳的识别率,而无需特别的参数优化。我们的研究表明,不同的CNN可以被训练用于动物音频分类的目的,并且它们的融合比独立的分类器更好。据我们所知,这是使用相同的分类器和参数集在动物音频分类音频数据集中对CNN进行数据增强的最大研究。我们的MATLAB代码可以在https://github.com/LorisNanni上找到。
2020-03-15 cs.LG cs.SD eess.AS
Learning Sound Event Classifiers from Web Audio with Noisy Labels
Universitat Pompeu Fabra(庞培法布拉大学);Google, Inc.(谷歌公司)
随着声音事件分类向更大的数据集发展,标签噪声问题变得不可避免。网站可以提供大量的用户贡献的音频和元数据,但是从这些元数据中推断标签会引入错误,这是由于不可靠的输入和映射中的限制。然而,很少有人研究这些错误的影响。为了促进对声音事件分类中标签噪声的研究,我们提出了FSDnoisy18k,这是一个包含20个声音类别的42.5小时音频的数据集,包括少量手动标记的数据和大量真实世界的噪声数据。我们根据经验表征标签噪声,并提供了一个CNN基线系统。实验表明,使用大量噪声数据进行训练可以胜过使用少量仔细标记数据进行训练。我们还表明,噪声鲁棒的损失函数可以有效地提高性能,在存在损坏的标签。
2019-03-07 cs.LG cs.SD eess.AS
Exploiting Pre-trained Feature Networks for Generative Adversarial Networks in Audio-domain Loop Generation
Academia Sinica(中央研究院);National Taiwan University(国立台湾大学);Taiwan AI Labs(台湾人工智能实验室)
虽然生成对抗网络(GANs)已广泛用于音频生成的研究,但已知GAN模型的训练不稳定,耗时且数据效率低下。在改善GANs训练过程的尝试中,投影GAN的想法作为基于GAN的图像生成的有效解决方案出现,在不同的图像应用中建立了最先进的技术。其核心思想是使用一个预先训练好的分类器来约束神经网络的特征空间,以稳定和改进GAN训练。本文研究了投影GAN是否可以通过评估基于StyleGAN 2的音频域循环生成模型的性能来类似地改善音频生成,其中使用和不使用预训练的特征空间。此外,我们比较了使用一般与特定领域的分类器作为预训练的音频分类器的性能。通过对鼓循环和合成器循环生成的实验,我们证明了通用音频分类器的效果更好,并且使用投影GAN,我们的循环生成模型可以在不降低性能的情况下收敛约5倍。
2022-09-05 cs.SD eess.AS
Vision Language Models Are Few-Shot Audio Spectrogram Classifiers
Carnegie Mellon University(卡内基梅隆大学)
本文证明视觉语言模型可通过少样本提示对音频频谱图进行分类,GPT-4o在ESC-10上以59.00%准确率超越Gemini-1.5并略优于人类专家,展示了VLMs在音频理解中的潜力。
2024-11-18 cs.SD eess.AS
Language Models as Semantic Teachers: Post-Training Alignment for Medical Audio Understanding
Eindhoven University of Technology, The Netherlands(埃因霍温理工大学,荷兰);Kyutai, France(Kyutai公司,法国);Eindhoven Artificial Intelligence Systems Institute, The Netherlands(埃因霍温人工智能系统研究所,荷兰)
本文提出AcuLa框架,通过将音频编码器与医学语言模型对齐,提升医学音频的语义理解能力,在18个心血管任务中取得最佳性能,显著提升诊断准确性。
2026-04-17 cs.AI cs.SD
FastICARL: Fast Incremental Classifier and Representation Learning with Efficient Budget Allocation in Audio Sensing Applications
University of Cambridge(剑桥大学);University of Southampton(南安普顿大学)
已经提出了各种增量学习(IL)方法来帮助深度学习模型连续地学习新的任务/类,而不会忘记先前学习的内容(即,避免灾难性遗忘)。随着部署的音频感测应用的数量不断增加,这些应用需要动态地整合新任务并改变来自用户的输入分布,设备上的IL能力对于效率和用户隐私变得至关重要。然而,现有的工作遭受高的计算成本和存储需求,这阻碍了IL在设备上的部署。在这项工作中,为了克服这些限制,我们开发了一个端到端和设备上的IL框架,FastICARL,它结合了基于示例的IL和量化的背景下,基于音频的应用程序。我们首先使用k-最近邻来减少IL的延迟。然后,我们共同利用量化技术,以减少IL的存储需求。我们在两种类型的移动设备上实现了FastICARL,并证明FastICARL在不牺牲其性能的情况下显著降低了IL时间高达78-92%和2-4倍的存储需求。FastICARL支持完整的设备上IL,确保用户隐私,因为用户数据不需要离开设备。
2021-06-24 cs.LG cs.SD eess.AS
Segment Relevance Estimation for Audio Analysis and Weakly-Labelled Classification
University of Campinas(坎皮纳斯大学);Federal University of Technology – Paraná(巴拉那联邦理工大学)
我们提出了一种方法,量化的重要性,即相关性,在弱标记的问题分类的音频段。它的工作原理是从一组类分类器中提取信息。通过选择在每个特定分类问题中使用的分类器,相关性度量适应不同的用户定义的观点,而不需要额外的神经网络训练。该特性允许相关性度量突出快速适应用户定义的标准的音频片段。这种功能可以用于计算机辅助音频分析。此外,我们提出了一个神经网络架构,即CNET,利用弱标记的音频分类问题的相关性措施。在DCASE2018数据集中评估了CNET,并与以前的基于注意力的提案相比,取得了有竞争力的分类结果。
2019-11-12 cs.LG cs.SD eess.AS
LearnAFE: Circuit-Algorithm Co-design Framework for Learnable Audio Analog Front-End
Nanyang Technological University(南洋理工大学);Agency for Science, Technology and Research(科技研究局);University of Michigan(密歇根大学)
本文提出LearnAFE电路-算法协同设计框架,通过SNR感知训练联合优化模拟带通滤波器组与后端分类器,在SKY130 130nm工艺下以22k参数实现10关键词分类90.5%-94.2%准确率,并降低功耗与面积。
2025-07-01 cs.AI cs.SD eess.AS
Studying the Effect of Audio Filters in Pre-Trained Models for Environmental Sound Classification
University of Kalyani(卡里亚尼大学);A.K.Choudhury School of IT(A.K.乔杜里信息技术学院);University of Calcutta(加尔各答大学)
针对环境声音分类问题,提出两级分类方法并引入Audio Crop音频滤波技术,在ESC-50数据集上分别取得78.75%和98.04%的分类准确率。
2024-08-24 cs.AI cs.SD eess.AS
An Ensemble of Convolutional Neural Networks for Audio Classification
University of Padua(帕多瓦大学);Missouri State University(密苏里州立大学);Tampere University(坦佩雷大学)
在本文中,分类器的集合,利用几种数据增强技术和四种信号表示来训练卷积神经网络(CNN)进行音频分类,并在三个免费提供的音频分类数据集上进行测试:i)鸟鸣,ii)猫的声音,iii)环境声音分类数据集。性能最好的合奏相结合的数据增强技术与不同的信号表示进行了比较,并表现出优于这些数据集的文献中报道的最佳方法。本文提出的方法在广泛使用的ESC-50数据集中获得了最先进的结果。据我们所知,这是调查用于音频分类的CNN集成的最广泛的研究。结果表明,CNN不仅可以被训练用于音频分类,而且它们使用不同技术的融合比独立的分类器效果更好。
2021-04-27 cs.LG cs.SD eess.AS
Detecting Aedes Aegypti Mosquitoes through Audio Classification with Convolutional Neural Networks
Institute of Informatics (INF)(信息学研究所(INF));Universidade Federal do Rio Grande do Sul (UFRGS)(南里奥格兰德联邦大学(UFRGS))
蚊媒疾病的发病率在欠发达地区很高,主要是由于缺乏资源来实施积极的控制措施,防止蚊子繁殖。提高社区对蚊子繁殖的认识的一个潜在战略是使用智能手机应用程序和众包建立蚊子发病率的实时地图。在本文中,我们探讨了使用机器学习技术和从市售智能手机捕获的音频分析来识别埃及伊蚊的可能性。总之,我们对埃及伊蚊的翼拍记录进行了下采样,并使用它们通过监督学习来训练卷积神经网络(CNN)。作为一个功能,我们使用录音频谱图来表示蚊子翅拍频率随时间的变化。我们训练并比较了三种分类器:二进制,多类和二进制分类器的集成。在我们的评估中,二进制和集成模型分别实现了97.65%($\pm$ 0.55)和94.56%($\pm$ 0.77)的准确性,而多类的准确性为78.12%($\pm$ 2.09)。最好的敏感性,观察在集成的方法(96.82% $\pm$ 1.62),其次是多类埃及伊蚊(90.23% $\pm$ 3.83)和二元(88.49% $\pm$ 6.68)的特定情况下。二元分类器和多类分类器在精确度和召回率之间表现出最佳平衡,F1测量接近90%。尽管集成分类器的精度最低,从而损害了其F1测量值(79.95% $\pm$ 2.13),但它是检测我们数据集中埃及伊蚊的最强大分类器。
2020-08-19 cs.LG cs.SD eess.AS
MuTox: Universal MUltilingual Audio-based TOXicity Dataset and Zero-shot Detector
FAIR, Meta(Meta FAIR实验室)
针对语音模态毒性检测研究有限的现状,本文提出首个高度多语言基于音频的毒性数据集 MuTox,并训练零样本检测器,在扩大十倍语言覆盖的同时性能超越现有分类器。
2024-06-27 cs.CL cs.SD eess.AS
Koel-TTS: Enhancing LLM based Speech Generation with Preference Alignment and Classifier Free Guidance
NVIDIA Corporation(英伟达公司)
本文提出 Koel-TTS,利用 ASR 与说话人验证引导的偏好对齐及无分类器引导,增强文本到声学 token 的可控语音合成,并在小数据集训练下超越现有 TTS。
2025-07-22 cs.AI cs.LG cs.SD
Audio Attacks and Defenses against AED Systems -- A Practical Study
The University of Texas at Arlington(德克萨斯大学阿灵顿分校)
在本文中,我们评估了基于对抗性示例的支持深度学习的AED系统对规避攻击的抵抗能力。我们测试了多个安全关键AED任务的鲁棒性,这些任务被实现为CNN分类器,以及由Google制造的现有第三方Nest设备,这些设备运行自己的黑盒深度学习模型。我们的对抗性示例使用由白噪声和背景噪声组成的音频扰动。这种干扰很容易创建、执行和复制,并且可以被大量的潜在攻击者访问,甚至是不懂技术的攻击者。我们表明,对手可以专注于音频对抗输入,导致AED系统错误分类,实现高成功率,即使我们使用小级别的给定类型的噪声干扰。例如,在枪声类的情况下,当采用低至0.05的白噪声水平时,我们实现了接近100%的成功率。类似于之前关注来自图像域以及语音识别域的对抗性示例的作品所做的。然后,我们寻求通过对策来提高分类器的鲁棒性。我们采用对抗训练和音频去噪。我们表明,这些对策,当应用于音频输入,可以是成功的,无论是在隔离或组合,产生相关的增加近百分之五十的性能的分类器时,这些受到攻击。
2021-11-10 cs.LG cs.SD eess.AS
Role-guided Speaker Deletion Verification in Clinical Psychiatry Speech Recordings with Audio Language Models
Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院)
本研究针对精神病学临床对话录音中按角色删除说话人的验证问题,提出双流水线方法,利用音频语言模型和大语言模型扫描残留音频,并在48个二元录音上评估,OR集成F1达0.478,凸显模型互补性。
2026-10-01 cs.LG cs.SD
Adversarially Training for Audio Classifiers
École de Technologie Supérieure (ÉTS)(高等技术学院)
在本文中,我们研究了对抗性训练对六种高级深度神经网络抵御各种针对性和非针对性对抗性攻击的鲁棒性的潜在影响。我们首先表明,在附加tonnetz色谱图的离散小波变换的2D表示上训练的ResNet-56模型在识别精度方面优于其他模型。然后,我们展示了对抗性训练对该模型以及其他深度架构对六种类型的攻击算法(白盒和黑盒)的积极影响,其代价是识别准确性降低和对抗性扰动有限。我们在两个基准环境声音数据集上进行了实验,结果表明,在对对手的预算分配没有任何限制的情况下,对抗训练模型的欺骗率可以超过90%。换句话说,对抗性攻击存在于任何规模中,但与非对抗性训练的模型相比,它们可能需要更高的对抗性扰动。
2020-10-25 cs.LG cs.SD eess.AS
Adversarial Representation Learning for Robust Privacy Preservation in Audio
University of Helsinki(赫尔辛基大学);Tampere University(坦佩雷大学);Nokia Tech(诺基亚科技)
针对音频处理中的隐私泄露问题,提出一种对抗训练方法,通过定期替换语音分类器权重生成不变潜在表示,有效隐藏语音活动并显著降低隐私违规。
2024-01-03 cs.CR cs.LG cs.SD
Virufy: Global Applicability of Crowdsourced and Clinical Datasets for AI Detection of COVID-19 from Cough
Virufy AI Research Group(Virufy AI研究组);University of Alexandria(亚历山大大学);Stanford University(斯坦福大学);Duke University(杜克大学)
快速和负担得起的COVID-19感染检测方法对于降低感染率和防止医疗设施不堪重负至关重要。目前检测COVID-19的方法需要使用昂贵的试剂盒进行亲自检测,这些试剂盒并不总是容易获得。这项研究表明,在来自世界各地的智能手机上记录和获取的众包咳嗽音频样本可用于开发基于AI的方法,该方法可准确预测COVID-19感染,ROC-AUC为77.1%(75.2%-78.3%)。此外,我们表明,我们的方法能够推广到来自拉丁美洲的众包音频样本和来自南亚的临床样本,而无需使用这些地区的特定样本进行进一步训练。随着更多的众包数据被收集,可以使用各种呼吸音频样本来实现进一步的开发,以创建用于COVID-19检测的基于咳嗽分析的机器学习(ML)解决方案,该解决方案可能在临床和非临床环境中全球推广到所有人口统计群体。
2021-01-09 cs.LG cs.SD eess.AS
Assessment of Audio Features for Automatic Cough Detection
University of Mons(蒙斯大学);Faculty of Engineering, University of Mons(蒙斯大学工程学院)
本文讨论了仅使用音频记录进行咳嗽检测的问题,最终目标是量化和鉴定患有呼吸系统疾病(特别是粘粘病毒病)的患者的病理程度。提出了描述音频信号各个方面的大量音频特征集。这些特征分两步评估。首先,使用基于互信息的措施,他们的潜在的和冗余的评估。其次,分别采用人工神经网络、高斯混合模型和支持向量机三种分类器,验证了它们的有效性。同时研究了特征维数和分类器复杂度对分类结果的影响。
2020-01-02 cs.HC cs.SD eess.AS
Classifier-Guided Captioning Across Modalities
Tel Aviv University(特拉维夫大学);Bar-Ilan University(巴伊兰大学);NVIDIA(英伟达)
本文提出一种推理期文本分类器引导框架,利用 GPT-4 生成数据训练分类器,使冻结字幕模型适配音频等跨模态语义,并在零样本音频字幕生成上达到 SOTA。
2025-01-03 cs.AI cs.CL cs.SD
Unlocking In-Context Learning in Audio-Language Models from Decentralized Medical Audio
Eindhoven University of Technology(埃因霍温理工大学);Erasmus MC(伊拉斯姆斯医学中心);Rijnstate Hospital(莱茵州医院)
提出联邦自上下文学习(FSC)框架,通过无监督聚类构建伪标签片段,结合渐进式三阶段流水线,在联邦医院客户端实现少样本临床音频诊断,准确率达71.6%。
2026-06-23 cs.LG cs.SD
Multiple-Instance, Cascaded Classification for Keyword Spotting in Narrow-Band Audio
Voicera
针对非独立同分布窄带音频关键词识别,提出融合DNN、级联、多特征与多实例学习的模型,以级联提前终止降低功耗,实现漏报率6%且每小时误报率0.75。
2025-04-25 cs.CL cs.LG cs.SD
Generalized zero-shot audio-to-intent classification
AWS AI Labs(AWS人工智能实验室)
针对仅音频口语理解系统处理未见意图能力有限的问题,提出含多模态训练策略的通用零样本音频到意图分类框架,显著提升了分类准确率。
2023-11-04 cs.AI cs.LG cs.SD
Lightly Weighted Automatic Audio Parameter Extraction for the Quality Assessment of Consensus Auditory-Perceptual Evaluation of Voice
National Taiwan University(台湾大学);Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心);National Taiwan University Hospital(台湾大学医院);National Taiwan University College of Medicine(台湾大学医学院);National Taiwan University Hospital Hsin-Chu Branch(台湾大学医院新竹分院)
针对临床嗓音评估依赖经验导致难以标准化的问题,提出一种轻量级自动音频参数提取方法,利用五个音频参数与经典机器学习,其表现媲美SOTA且优于预训练模型,提升了评估的可解释性与精确度。
2023-11-27 cs.LG cs.SD eess.AS
Look and Listen: A Multi-modality Late Fusion Approach to Scene Classification for Autonomous Machines
Aston University(阿斯顿大学);University of Coimbra(科英布拉大学)
这项研究的新颖之处在于多模态方法来进行场景分类,其中图像和音频在深度后期融合的过程中相互补充。该方法是证明了一个困难的分类问题,包括两个同步和平衡的数据集的16,000个数据对象,包括4.4小时的视频8个环境具有不同程度的相似性。我们首先以一秒的间隔提取视频帧和伴随的音频。首先使用微调的VGG 16和进化优化的深度神经网络对图像和音频数据集进行独立分类,准确率分别为89.27%和93.72%。随后是两个神经网络的后期融合,以实现更高阶的函数,从而在具有同步视频帧和音频剪辑的该多模态分类器中实现96.81%的准确度。当两个主要网络被认为是特征生成器时,用于后期融合的第三神经网络比经典的最先进的分类器的性能高出约3%。我们表明,一个单一的模态的情况下,可能会混淆异常的数据点,现在通过一个新兴的高阶集成纠正。突出的例子包括城市中的水特征被音频分类器单独误分类为河流,以及被图像分类器单独误分类为森林的密集拥挤的街道。两者都是我们的多模态方法正确分类的例子。
2020-07-11 cs.CV cs.LG cs.SD
Mask-Induced Displacement in Audio XAI via Logit Trajectory Decomposition
本文通过logit轨迹分解揭示音频XAI中掩蔽填充导致的轴外位移,证明无填充声学中性且部分掩蔽下41-77%位移为轴外,并指出归因方法存在装置依赖性,残差结构可缓解。
2026-09-29 cs.LG cs.SD eess.AS
Fast threshold optimization for multi-label audio tagging using Surrogate gradient learning
IRIT(图卢兹计算机科学研究所);CNRS(法国国家科学研究中心);CERCO UMR 5549(认知与脑科学联合研究单位(UMR 5549))
多标签音频标记包括将标签集分配给音频记录。在推理时,将阈值应用于由概率分类器输出的置信度分数,以决定哪些类被检测为活动的。在这项工作中,我们考虑使用一个经过训练的分类器,并根据感兴趣的性能指标自动优化决策阈值,在我们的情况下是F-测量(micro-F1)。我们提出了一种新的方法,称为SGL-Thresh的替代梯度学习的控制点,利用梯度下降。由于F1是不可微的,我们建议近似的阈值操作梯度与S形函数的梯度。我们使用最先进的预训练深度神经网络报告了三个数据集上的实验。在所有情况下,SGL-Thresh优于其他三种方法:默认阈值(defThresh),启发式搜索算法和数值估计F1梯度的方法。在AudioSet eval上达到54.9\%F1,而defThresh为50.7%。SGL-Thresh非常快速,可扩展到大量标签。为了便于再现,Pytorch中的数据和源代码可在线获得:https://github.com/topel/SGL-Thresh
2021-03-01 cs.AI cs.SD eess.AS
Enhance audio generation controllability through representation similarity regularization
Meta AI
本文提出在语言模型音频生成训练中引入音频-文本表示相似性正则化,尤其在无分类器引导阶段强化对齐,从而提升音频与音乐生成的客观指标和人类感知质量。
2023-09-15 cs.AI cs.LG cs.SD
Can Foundation Models Hear What Made That Sound? A Tiered Benchmark of Audio-Language Models and Traditional Classifiers for Closed-Set Sound Source Identification
Perle(珀尔)
本研究构建涵盖11种音频分类方法的分层基准,在2242个音频片段的闭集声源识别任务中评估性能,发现Gemini-3.1-Pro-Preview表现最优,还分析了Gemini模型的思维链特性并给出方法选择指导。
2026-08-04 cs.AI cs.SD
Low-Complexity Audio Embedding Extractors
本研究通过知识蒸馏训练高效MobileNets作为通用音频嵌入提取器,降低计算成本,证明低复杂度模型能生成有竞争力的嵌入,适用于边缘设备上的多任务音频分析。
2023-06-23 cs.SD eess.AS
AFEN: Respiratory Disease Classification using Ensemble Learning
University of California, Santa Cruz(加州大学圣克鲁兹分校)
本文提出 AFEN 集成模型,融合多特征 CNN 与 XGBoost,并通过软投票和数据增强对呼吸音进行疾病分类,在 920 条样本上取得新的最优精确率、召回率,并减少 60% 训练时间。
2024-05-08 cs.AI cs.LG cs.SD
Automatic Classification of OSA related Snoring Signals from Nocturnal Audio Recordings
University of Sydney(悉尼大学);Charles Perkins Centre(查尔斯·珀金斯中心);School of Biomedical Engineering(生物医学工程学院);Northern Clinical School(北部临床学院);Royal North Shore Hospital(皇家北岸医院)
在这项研究中,提出了一种自动算法的开发,以分类阻塞性睡眠呼吸暂停(OSA)患者的夜间音频记录为OSA相关打鼾,简单打鼾和其他声音。最近的研究已经表明,关于OSA相关打鼾的知识可以帮助识别气道塌陷的部位。在睡眠期间,使用天花板麦克风与整夜多导睡眠图同时记录音频信号。提取夜间音频信号的时间和频率特征,将音频信号分类为OSA相关打鼾、单纯打鼾和其他声音。基于OSA相关打鼾可以帮助识别上气道塌陷部位的假设,开发了两种算法来使用线性判别分析(LDA)分类器提取OSA相关打鼾。使用无偏嵌套留一患者交叉验证过程从全特征集中选择高性能特征集。结果表明,该算法实现了87%的准确度为识别打鼾事件从音频记录和72%的准确度为识别睡眠呼吸暂停相关打鼾事件从打鼾事件。使用多类LDA分类器提取OSA相关打鼾事件的直接方法使用特征选择算法实现了64%的准确度。我们的研究结果清楚地表明,OSA相关的打鼾事件可以从夜间录音中提取,因此可以潜在地用作从夜间录音中识别气道塌陷部位的新工具。
2021-03-02 cs.LG cs.SD eess.AS
Audio-Visual Scene Classification Using A Transfer Learning Based Joint Optimization Strategy
Key Laboratory of Speech Acoustics and Content Understanding, Institute of Acoustics, CAS(中国科学院声学研究所语音声学与内容理解重点实验室);University of Chinese Academy of Sciences(中国科学院大学)
近年来,视听场景分类(AVSC)越来越受到多学科的关注。以前的研究倾向于采用管道训练策略,即使用训练有素的视觉和声学编码器提取高级表示(嵌入),然后利用它们来训练视听分类器。以这种方式,提取的嵌入非常适合单模态分类器,但不一定适合多模态分类器。在本文中,我们提出了一个联合训练框架,直接使用声学特征和原始图像作为AVSC任务的输入。具体来说,我们检索预训练图像模型的底层作为视觉编码器,并在训练期间联合优化场景分类器和基于1D-CNN的声学编码器。我们在TAU Urban Audio-Visual Scenes 2021的开发数据集上评估了该方法。实验结果表明,我们提出的方法取得了显着的改善比传统的管道训练策略。此外,我们最好的单一系统优于以前的最先进的方法,在官方测试折叠上产生0.1517的对数损失和94.59%的准确性。
2022-04-25 cs.CV cs.MM cs.SD
Augmentation Methods on Monophonic Audio for Instrument Classification in Polyphonic Music
School of ECE, NTUA(希腊国家技术大学电气与计算机工程学院)
乐器分类是音乐信息检索中的一个研究热点。然而,其中大部分是处理单声道音乐,而对复调材料的努力主要集中在主要乐器的识别上。在本文中,我们提出了一种方法,从纯粹的单声道数据,包括执行数据增强混合不同的音频段的复调音乐中的乐器分类。探讨了各种各样的数据增强技术,侧重于不同的声音方面,如覆盖相同流派的音频片段,以及基于音高和节奏的同步。我们利用卷积神经网络进行分类任务,比较浅层和深层网络架构。我们进一步研究了上述分类器组合的使用,每个分类器都在单个增强数据集上训练。VGG类分类器的集合,分别在非增强,音高同步,节奏同步和体裁相似的摘录上训练,产生了最好的结果,在IRMAS测试集中的标签排名平均精度(LRAP)方面达到了略高于80%。
2020-03-03 cs.LG cs.SD eess.AS
Generative Extraction of Audio Classifiers for Speaker Identification
University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Dalhousie University(达尔豪斯大学)
机器学习模型,特别是深度神经网络,特别容易受到攻击,这也许不再令人惊讶。模型提取是一种已经被充分研究的漏洞:攻击者试图通过训练代理模型来模仿受害者模型的决策边界,从而窃取受害者模型的现象。以前的工作已经证明了这种攻击的有效性及其破坏性后果,但这项工作主要是针对图像和文本处理任务。我们的工作是第一次尝试执行模型提取{ \em音频分类模型}。我们受到攻击者的激励,攻击者的目标是模仿受害者的模型的行为,该模型被训练来识别说话者。这在诸如生物特征认证之类的安全敏感领域中尤其成问题。我们发现,先前的模型提取技术,其中攻击者\textit{naively}使用代理数据集来攻击潜在的受害者的模型,失败。因此,我们建议使用生成模型来创建一个足够大的和多样化的合成攻击查询池。我们发现,我们的方法是能够提取一个受害者的模型训练\texttt{LibriSpeech}使用查询合成的代理数据集的基础上关闭\texttt{VoxCeleb},我们实现了测试准确率为84.41%的预算为300万查询。
2022-07-26 cs.CR cs.SD eess.AS
Audio-replay attack detection countermeasures
ITMO University(圣彼得堡国立信息技术、机械学与光学研究型大学);STC-innovations Ltd.(STC创新有限公司)
本文介绍了语音技术中心(STC)为2017年自动说话人验证欺骗和对策挑战赛提出的重播攻击检测系统。在这项研究中,我们专注于比较不同的欺骗检测方法。这些是基于GMM的方法,使用简单分类器和深度学习框架的高级特征提取。在挑战数据集的开发和评估部分上进行的实验证明了深度学习方法在声学条件变化的情况下的稳定效率。同时,根据融合系统的结果,具有高级别特征的SVM分类器为所得到的STC系统的效率提供了实质性的输入。
2017-05-24 cs.LG cs.SD stat.ML
Visually Exploring Multi-Purpose Audio Data
Lincoln University(林肯大学);Queen Mary University of London(伦敦玛丽女王大学)
我们使用工具分析多用途音频,以可视化可通过无监督方法观察到的数据中的相似性。机器学习分类器的成功受到系统输入中包含的信息的影响,因此我们研究数据中的潜在模式是否可以解释此类分类器的性能限制。我们使用聚类趋势(VAT)技术的视觉评估一个众所周知的数据集,观察样本如何自然聚类,我们进行比较,用于音频地理标记和声学场景分类的标签。我们证明,增值税有助于解释和证实在以前的工作中观察到的混乱,以分类这种音频,产生更深入的了解监督分类系统的性能和局限性。虽然这种探索性分析是在我们知道“地面实况”标签的数据上进行的,但这种将数据所指示的自然分组可视化的方法导致了关于未标记数据的重要问题,这些问题可以帮助评估和现实的期望未来(包括自我监督)分类系统。
2021-10-09 cs.HC cs.SD eess.AS
Towards Reliable Audio Deepfake Attribution and Model Recognition: A Multi-Level Autoencoder-Based Framework
IMT School of Advanced Studies(IMT高级研究学院);University of Catania(卡塔尼亚大学)
提出LAVA分层框架,利用仅在伪造音频上训练的卷积自编码器提取注意力增强的潜在表示,通过两个分类器实现音频深度伪造的生成技术识别和具体模型识别,在多个数据集上F1分数超过95%。
2026-06-23 cs.AI cs.CV cs.SD
Time-Frequency Audio Features for Speech-Music Classification
Indian Institute of Technology Guwahati(印度理工学院古瓦哈提分校);Indian Institute of Technology Dharwad(印度理工学院达尔瓦德分校)
在语音和音乐的声谱图中可以观察到明显的条纹图案。这促使我们提出了三个新的语音音乐分类的时频特征。这些特征分两个阶段提取。首先,从每个帧的频谱中识别预设数量的显著频谱峰值位置。从每个帧获得的这些重要峰值位置用于形成音频间隔的频谱峰值序列(SPS)。在第二阶段,这些SPS被视为频率位置的时间序列数据。所提出的特征被提取为这些谱峰序列的周期性、平均频率和统计属性。语音音乐分类是通过学习这些功能的二进制分类器。我们已经实验了高斯混合模型,支持向量机和随机森林分类器。我们的建议在四个数据集上进行了验证,并以三种基线方法为基准。实验结果证明了我们的建议的有效性。
2018-11-03 cs.SD eess.AS
What Makes Audio Event Detection Harder than Classification?
University of Kent(肯特大学)
有一个共同的观察,音频事件分类比检测更容易处理。到目前为止,这一观察被认为是一个事实,我们缺乏仔细的分析。在本文中,我们推理这一事实背后的基本原理,更重要的是,利用它们来帮助音频事件检测任务。我们提出了一种改进的检测流水线,其中的验证步骤被附加到增强检测系统。该步骤采用高质量的事件分类器对检测系统输出的良性事件假设进行后处理,并拒绝误报。为了证明所提出的管道的有效性,我们实现和配对不同的事件检测器的基础上最常见的检测方案和各种事件分类器,从标准的词袋模型的国家的最先进的银行的回归。在ITC-Irst数据集上的实验结果表明,检测性能得到了显着改善。更重要的是,这些改进对于所有检测器-分类器组合是一致的。
2018-05-17 cs.SD