Cross-task pre-training for on-device acoustic scene classification
Didi Chuxing(滴滴出行)
声场景分类(ASC)和声事件检测(AED)是两个不同但又相关的任务。声学事件可以为声学场景的识别提供有用的信息。然而,大多数数据集都没有提供声学事件或场景标签。为了利用声事件信息来提高ASC任务的性能,我们提出了跨任务预训练机制,该机制利用来自预训练的AED模型的声事件信息用于ASC任务。另一方面,大多数模型都是在计算资源丰富的平台上设计和实现的,在设备上的应用有限。为了解决这个问题,我们使用模型蒸馏方法来压缩我们的跨任务模型,使设备上的声学场景分类。在本文中,跨任务模型及其学生模型在两个数据集上进行了训练和评估:TAU Urban Acoustic Scenes 2019数据集和TUT Acoustic Scenes 2017数据集。实验结果表明,跨任务预训练机制可以显著提高ASC任务的绩效。与官方基线相比,我们最好的模型在TAU Urban Acoustic Scenes 2019数据集中的性能提高了9.5%,在TUT Acoustic Scenes 2017数据集中也提高了10%。同时,学生模型的表现要比没有教师的模型好得多。
2020-10-24 cs.LG cs.SD eess.AS
Adaptive Vehicle Speed Classification via BMCNN with Reinforcement Learning-Enhanced Acoustic Processing
School of Advanced Technology(先进技术学院)
针对城市交通拥堵管理需求,提出融合双分支BMCNN与注意力增强DQN的声学车速分类框架,在两个数据集上取得高准确率,同时通过早期决策提升处理速度,实现更优的准确率-效率权衡,适用于异构城市环境的实时智能交通部署。
2025-08-31 cs.AI cs.SD eess.AS
Contribution of soundscape appropriateness to soundscape quality assessment in space: a mediating variable affecting acoustic comfort
Shenyang Jianzhu University(沈阳建筑大学);Dalian University of Technology(大连理工大学);University College London(伦敦大学学院)
本文以沈阳北陵公园为例,结合中介效应模型与多尺度地理加权回归,揭示了声景适宜性在声源类型影响声舒适度中的中介作用及其空间异质性,为城市开放空间声景优化提供依据。
2024-11-19 cs.SD eess.AS physics.class-ph
Clustering of Acoustic Environments with Variational Autoencoders for Hearing Devices
Eindhoven University of Technology(埃因霍温理工大学);NXP Semiconductors(恩智浦半导体)
本文提出利用变分自编码器对声学环境进行无监督聚类,通过改进模型结构和参数化方法,提升了在真实听觉设备场景中的聚类性能。
2026-01-21 eess.AS
DD-CNN: Depthwise Disout Convolutional Neural Network for Low-complexity Acoustic Scene Classification
Jiangnan University(江南大学);University of Surrey(萨里大学);ByteDance AI Lab(字节跳动人工智能实验室)
本文提出了一种用于城市声场景检测和分类的依赖性Disout卷积神经网络(DD-CNN)。具体来说,我们使用log-mel作为我们网络输入的声学信号的特征表示。在所提出的DD-CNN中,使用深度可分离卷积来降低网络复杂度。此外,SpecAugment和Disout用于进一步提高性能。实验结果表明,我们的DD-CNN可以从音频片段中学习有区别的声学特征,并有效地降低了网络的复杂度。我们的DD-CNN被用于DCASE 2020挑战赛的低复杂度声学场景分类任务,在验证集上达到了92.04%的准确率。
2020-07-25 cs.LG cs.SD eess.AS
A Low-Compexity Deep Learning Framework For Acoustic Scene Classification
Austrian Institute of Technology(奥地利技术研究所);Hongik University(弘益大学)
在本文中,我们提出了一个低复杂度的深度学习框架的声学场景分类(ASC)。所提出的框架可以分为三个主要步骤:前端谱图提取,后端分类和预测概率的后期融合。首先,我们使用Mel滤波器,Gammatone滤波器和常数Q转换(CQT)的原始音频信号转换成频谱图,其中的频率和时间的特征。然后,三个频谱图被馈送到三个单独的后端卷积神经网络(CNN)中,分类为十个城市场景。最后,对从三个CNN获得的三个预测概率进行后期融合,以获得最终的分类结果。为了降低我们提出的CNN网络的复杂性,我们应用了两种模型压缩技术:模型限制和分解卷积。我们在DCASE 2021(IEEE AASP Challenge on Detection and Classification of Acoustic Scenes and Events)Task 1A开发数据集上进行了大量实验,实现了一个低复杂度的基于CNN的框架,具有128 KB的可训练参数和66.7%的最佳分类准确率,将DCASE基线提高了19.0%
2021-06-12 cs.SD eess.AS
Sound Event Detection in Urban Audio With Single and Multi-Rate PCEN
New York University(纽约大学);Center for Data Science(数据科学中心)
最近的文献已经证明,使用每通道能量归一化(PCEN),具有显着的性能改善,在声学声音事件检测(SED)在多类设置与重叠事件的传统的对数缩放梅尔频谱图。然而,PCEN的参数的配置对记录环境、感兴趣的事件的类别的特性以及多个重叠事件的存在敏感。这导致了在类与类之间的改进,但是跨类性能很差。在本文中,我们使用UrbanSED数据集,实验使用PCEN频谱图作为城市音频中SED的替代方法,展示了基于参数配置的每类改进。此外,我们解决跨类性能与PCEN使用一种新的方法,多速率PCEN(MRPCEN)。我们展示了跨类SED性能与MRPCEN,展示了跨类性能的改进相比,传统的单速率PCEN。
2021-02-06 cs.LG cs.SD eess.AS
Acoustic Disturbance Sensing Level Detection for ASD Diagnosis and Intelligibility Enhancement
Laboratory of Acoustic Signal Processing, Military Institute of Engineering (IME), Rio de Janeiro, RJ 22290-270, Brazil(声学信号处理实验室,军事工程学院(IME),里约热内卢,巴西)
本文通过听辨测试揭示 ASD 的 HIN 干扰感知特征并用于辅助诊断,同时提出基于谐波中心频率和增益调节的语音增强方法,在多噪声、多信噪比条件下提升 ASD 与 NT 人群的可懂度。
2025-05-15 cs.SD eess.AS
Intelligent Acoustic Module for Autonomous Vehicles using Fast Gated Recurrent approach
RV College of Engineering(RV工程学院);Wipro Limited(威普罗有限公司)
本文阐述了一种模型,用于资源受限的边缘设备的声学单音和多音分类。所提出的模型是国家的最先进的快速准确的稳定微小门控递归神经网络。与以前的假设方法相比,该模型通过使用更少的参数以更高的效率和采用降噪算法来改善性能指标和更小的尺寸。该模型被实现为声学AI模块,专注于声音识别,定位和部署在AI系统(如自动驾驶汽车)上的应用。此外,随着未来城市和发展中国家的需求增加,包含本地化技术有可能为自动驾驶汽车中存在的多音分类器添加新的维度。
2021-12-06 cs.LG cs.SD eess.AS
Embedded Acoustic Intelligence for Automotive Systems
Volvo Car Corporation(沃尔沃汽车公司);Chalmers University of Technology(查尔姆斯理工大学)
本研究通过提取汽车轴距内麦克风的声学特征,结合深度神经网络与Open AI生态预训练模型实现道路类型分类,可支撑AD/ADAS、主动降噪及城市规划,助力下一代汽车系统发展与可持续出行。
2025-06-02 cs.AI eess.AS
Joint Feature and Output Distillation for Low-complexity Acoustic Scene Classification
Smart Nation TRANS Lab, Nanyang Technological University, Singapore(智能国家TRANS实验室,南洋理工大学,新加坡);Institute of Acoustics, Chinese Academy of Sciences, Beijing, China(声学研究所,中国科学院,北京,中国)
面向 DCASE2025 Task 1 低复杂度 ASC,提出多教师双层知识蒸馏框架,联合迁移软 logits 与中间特征,使 CP-Mobile 学生模型最高达到 59.30% 准确率。
2025-07-25 cs.SD eess.AS
TF-SepNet: An Efficient 1D Kernel Design in CNNs for Low-Complexity Acoustic Scene Classification
School of Advanced Technology Xi'an Jiaotong-Liverpool University 111 Ren'ai Road, Suzhou, China
本文提出了一种沿时间和频率维度分离处理特征的CNN架构TF-SepNet,通过采用1D卷积核降低计算成本,并在ASC任务中扩大有效感受野以捕获更多时频特征,性能优于现有同类方法。
2024-05-29 cs.SD eess.AS
Relation-guided acoustic scene classification aided with event embeddings
Ghent University(根特大学)
在现实生活中,声学场景和音频事件自然相关。人类本能地依赖于细粒度的音频事件以及整体声音特征来区分不同的声学场景。然而,大多数先前的方法将声学场景分类(ASC)和音频事件分类(AEC)视为两个独立的任务。一些关于场景和事件联合分类的研究要么使用与真实世界几乎不匹配的合成音频数据集,要么简单地使用多任务框架同时执行两个任务。这两种方法都没有充分利用细粒度事件和粗粒度场景之间的内在联系。为此,本文提出了一个关系引导的ASC(RGASC)模型,以进一步开发和协调的场景和事件识别的互惠互利的场景和事件的关系。TUT Urban Acoustic Scenes 2018数据集(TUT 2018)通过简单高效的音频相关预训练模型PANN(最先进的AEC模型之一)使用事件的伪标签进行注释。然后,先验场景-事件关系矩阵被定义为每个场景类中每个事件类型存在的平均概率。最后,双塔RGASC模型在真实数据集TUT 2018上进行联合训练,用于场景和事件分类。取得了以下成果。1)RGASC有效地协调了粗粒度场景的真实信息和细粒度事件的伪信息。2)在先验场景-事件关系的指导下从伪标签学习的事件嵌入有助于减少相似声学场景之间的混淆。3)与其他(非集成)方法相比,RGASC提高了对真实数据集的场景分类精度。
2022-05-01 cs.SD eess.AS
Domain Generalization on Efficient Acoustic Scene Classification using Residual Normalization
Qualcomm Technologies, Inc.(高通技术公司)
如何有效地设计一个单一的声学场景分类系统来处理多设备的音频输入是一个实际的研究课题。在这项工作中,我们提出了残差归一化,一种新的特征归一化方法,使用频率归一化%实例归一化与快捷路径丢弃不必要的设备特定的信息,而不会丢失有用的信息进行分类。此外,我们引入了一个有效的架构,BC-ResNet-ASC,一个修改后的版本的基线架构,有限的接受领域。BC-ResNet-ASC优于基准架构,即使它包含少量参数。通过三种模型压缩方案:剪枝、量化和知识蒸馏,我们可以进一步降低模型复杂度,同时减轻性能下降。该系统在TAU Urban Acoustic Scenes 2020 Mobile中实现了76.3%的平均测试精度,开发数据集具有315 k参数,压缩到61.0KB非零参数后的平均测试精度为75.3%。该方法在DCASE 2021挑战赛TASK 1A中获得第一名。
2021-11-12 cs.LG cs.SD eess.AS
Acoustic Scene Classification Using CNN-GRU Model Without Knowledge Distillation
Nanyang Technological University(南洋理工大学)
本报告提出一种无知识蒸馏的CNN-GRU模型,仅用TAU数据集训练,内存114.2KB,MACs 10.9M,准确率60.25%,用于DCASE 2025低复杂度声学场景分类。
2025-09-12 eess.AS
Compact recurrent neural networks for acoustic event detection on low-energy low-complexity platforms
ICT-irst Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会ICT-irst研究所);Manipal Academy of Higher Education(马尼帕尔高等教育学院)
户外声学事件检测是一个令人兴奋的研究领域,但由于需要复杂的算法和深度学习技术,通常需要许多计算,内存和能源资源,因此面临挑战。这一挑战阻碍了物联网的实施,因为物联网需要有效利用资源。然而,当前的嵌入式技术和微控制器已经在不影响能源效率的情况下提高了它们的能力。本文通过在物联网资源受限的嵌入式平台上优化深度学习技术,解决了边缘声音事件检测的应用。贡献是双重的:首先,提出了一个两阶段的学生-教师方法,使最先进的神经网络的声音事件检测适合当前的微控制器;其次,我们测试我们的方法在ARM Cortex M4上,特别是专注于与8位量化的问题。我们的嵌入式实现可以在Urbansound 8 k上实现68%的识别准确率,与最先进的性能相差不远,每秒音频流的推理时间为125 ms,仅34.3 kB RAM的功耗为5.5 mW。
2020-01-29 cs.LG cs.SD eess.AS
QTI Submission to DCASE 2021: residual normalization for device-imbalanced acoustic scene classification with efficient design
Qualcomm AI Research(高通人工智能研究院);Qualcomm Technologies, Inc.(高通技术公司)
本技术报告描述了我们提交的DCASE 2021挑战TASK 1A的详细信息。该任务的目标是设计一个音频场景分类系统的设备不平衡的数据集下的模型复杂度的约束。本报告介绍了实现这一目标的四种方法。首先,我们提出了残差归一化,这是一种新的特征归一化方法,它使用带有捷径路径的实例归一化来丢弃不必要的设备特定信息,而不会丢失有用的分类信息。其次,我们设计了一个有效的架构,BC-ResNet-Mod,一个修改后的版本的基线架构,有限的感受野。第三,我们利用从一个设备到多个设备的频谱图到频谱图转换来增加训练数据。最后,我们利用三个模型压缩方案:修剪,量化,和知识蒸馏,以减少模型的复杂性。该系统在TAU Urban Acoustic Scenes 2020 Mobile中实现了76.3%的平均测试精度,开发数据集具有315 k参数,压缩到61.0KB非零参数后的平均测试精度为75.3%。我们将这一工作推广到[1]。
2022-10-25 cs.LG cs.SD eess.AS
Data Efficient Acoustic Scene Classification using Teacher-Informed Confusing Class Instruction
Smart Nation TRANS Lab(智慧国 TRANS 实验室);School of Marine Science and Technology, Northwestern Polytechnical University(西北工业大学海洋科学与技术学院)
针对DCASE 2024数据高效声学场景分类任务,提出三个系统应对不同训练规模,通过模型简化、mixup增强、FocusNet混淆类别信息及知识蒸馏,在TAU数据集上实现最高平均测试准确率。
2024-09-18 cs.LG cs.SD eess.AS
Cross-task learning for audio tagging, sound event detection spatial localization: DCASE 2019 baseline systems
声学场景和事件的检测和分类(DCASE)2019挑战赛侧重于音频标记,声音事件检测和空间定位。DCASE 2019由五个任务组成:1)声学场景分类,2)带有噪声标签和最小监督的音频标记,3)声音事件定位和检测,4)家庭环境中的声音事件检测,以及5)城市声音标记。在本文中,我们提出了基于卷积神经网络(CNN)的通用跨任务基线系统。其动机是调查在几个任务中的各种模型的性能,而不利用任务的具体特征。我们研究了5层、9层和13层的CNN,发现最佳架构是依赖于任务的。对于我们考虑的系统,我们发现具有平均池化的9层CNN是大多数DCASE 2019任务的良好模型。
2019-04-14 cs.SD eess.AS
Acoustic Scene Classification with Squeeze-Excitation Residual Networks
Visualfy;Universitat de Valencia(瓦伦西亚大学)
声学场景分类(ASC)是与机器收听领域相关的问题,其目标是在描述场景位置(例如,音频片段)的预定义标签中对音频片段进行分类/标记。G.公园、机场等)。许多先进的ASC解决方案都采用了数据增强技术和模型集成。然而,只有通过修改卷积神经网络(CNN)的架构,才能实现相当大的改进。在这项工作中,我们提出了两个新的挤压激励块,以提高基于残留学习的基于CNN的ASC框架的准确性。挤压激励块的主要思想是独立地学习空间和通道特征图,而不是像标准CNN那样联合学习。这通常通过一些全局分组运算符、线性运算符和块的输入与其获得的关系之间的最终校准来实现。实现这种运算符的块的行为以及因此整个神经网络的行为可以根据块的输入、所建立的残差配置和所选择的非线性激活来修改。该分析是使用TAU Urban Acoustic Scenes 2019数据集(https://zenodo.org/record/2589280)进行的,该数据集在2019年版的DCASE挑战中提出。本文档中讨论的所有配置都超过了DCASE组织提出的基线性能13个百分点。反过来,在本文中提出的新的配置优于在以前的作品中提出的残留配置。
2020-06-26 cs.LG cs.SD eess.AS
Audio-Visual Scene Classification Using A Transfer Learning Based Joint Optimization Strategy
Key Laboratory of Speech Acoustics and Content Understanding, Institute of Acoustics, CAS(中国科学院声学研究所语音声学与内容理解重点实验室);University of Chinese Academy of Sciences(中国科学院大学)
近年来,视听场景分类(AVSC)越来越受到多学科的关注。以前的研究倾向于采用管道训练策略,即使用训练有素的视觉和声学编码器提取高级表示(嵌入),然后利用它们来训练视听分类器。以这种方式,提取的嵌入非常适合单模态分类器,但不一定适合多模态分类器。在本文中,我们提出了一个联合训练框架,直接使用声学特征和原始图像作为AVSC任务的输入。具体来说,我们检索预训练图像模型的底层作为视觉编码器,并在训练期间联合优化场景分类器和基于1D-CNN的声学编码器。我们在TAU Urban Audio-Visual Scenes 2021的开发数据集上评估了该方法。实验结果表明,我们提出的方法取得了显着的改善比传统的管道训练策略。此外,我们最好的单一系统优于以前的最先进的方法,在官方测试折叠上产生0.1517的对数损失和94.59%的准确性。
2022-04-25 cs.CV cs.MM cs.SD