Low-complexity CNNs for Acoustic Scene Classification
Centre for Vision, Speech and Signal Processing (CVSSP)（视觉、语音与信号处理中心（CVSSP））；University of Surrey（萨里大学）
本技术报告描述了SurreyAudioTeam22提交的DCASE 2022 ASC任务1，低复杂度声学场景分类（ASC）。该任务有两个规则，（a）ASC框架应该具有最大128K参数，以及（b）每个推理最多应该有3000万次乘法累加运算（MAC）。在这份报告中，我们提出了低复杂度的系统，遵循规则的任务。
2022-08-02 cs.LG cs.SD eess.AS
Acoustic scene classification using teacher-student learning with soft-labels
University of Seoul（首尔市立大学）
声学场景分类使用频谱信息将输入段识别为预定义类别之一。声学场景的频谱信息可能不是相互排斥的，这是由于不同类别之间的共同声学特性，例如机场和购物中心中都包括的多路重合噪声。然而，传统的基于独热标签的训练过程没有考虑不同声学场景之间的相似性。我们利用师生学习的目的，以获得软标签，考虑不同的声学场景之间的共同的声学特性。在师生学习中，教师网络产生软标签，学生网络在此基础上进行训练。我们研究了各种方法来提取软标签，更好地代表不同场景的相似性。这样的尝试包括从被定义为相同声学场景的多个音频段提取软标签。实验结果证明了我们方法的潜力，在DCASE 2018任务1验证集上显示出77.36%的分类准确率。
2019-07-17 cs.SD eess.AS
Acoustic Scene Classification by Implicitly Identifying Distinct Sound Events
Harbin Institute of Technology（哈尔滨工业大学）；Harbin Normal University（哈尔滨师范大学）
在本文中，我们提出了一种新的策略，声学场景分类（ASC），即识别声学场景通过识别不同的声音事件。这与现有的策略不同，现有的策略专注于表征音频的全局声学分布或短期音频特征的时间演变，而不分析声音事件的水平。为了识别每个场景的不同声音事件，我们在多实例学习（MIL）框架中制定ASC，其中每个音频记录被映射到一个实例包表示。在这里，实例可以被视为场景内声音事件的高级表示。我们还提出了一个MIL神经网络模型，它隐含地识别不同的实例（即，声音事件）。此外，我们提出了两个专门设计的模块，分别模拟声音事件的多时间尺度和多模态性质。实验是在DCASE2018任务1子任务B的官方开发集上进行的，我们的最佳模型在分类准确率方面比官方基线提高了9.4%（68.3% vs 58.9%）。这项研究表明，通过识别不同的声音事件来识别声学场景是有效的，并为未来的研究铺平了道路，将这种策略与以前的。
2019-04-27 cs.LG cs.SD eess.AS
A multi-device dataset for urban acoustic scene classification
Tampere University of Technology（坦佩雷理工大学）
本文介绍了DCASE 2018挑战赛的声学场景分类任务以及为该任务提供的TUT Urban Acoustic Scenes 2018数据集，并评估了任务中基线系统的性能。与前几年的挑战一样，该任务被定义为使用监督的闭集分类设置将短音频样本分类为预定义的声学场景类之一。新记录的TUT Urban Acoustic Scenes 2018数据集由十个不同的声学场景组成，并在六个欧洲大城市进行了记录，因此它具有比以前用于此任务的数据集更高的声学可变性，除了高质量的双耳录音外，它还包括使用移动设备记录的数据。我们还介绍了由卷积神经网络组成的基线系统，以及使用推荐的交叉验证设置在子任务中的性能。
2018-10-11 cs.SD eess.AS
Online Domain-Incremental Learning Approach to Classify Acoustic Scenes in All Locations
Signal Processing Research Center（信号处理研究中心）；Tampere University（坦佩雷大学）
针对声学场景分类在线域增量学习的遗忘问题，提出仅用少量样本修正模型批量归一化层统计量的方法，在11个位置的实验中准确率达48.8%，优于微调方法且无遗忘。
2024-06-19 cs.SD eess.AS
CochlScene: Acquisition of acoustic scene data using crowdsourcing
Cochl, Inc.（科克尔公司）
本文描述了一种通过众包收集声学场景数据的管道。解释了众包的详细过程，包括规划，验证标准和实际的用户界面。作为数据收集的结果，我们提出了CochlScene，一个新的数据集声学场景分类。我们的数据集包括从13个声学场景中的831名参与者收集的76k个样本。我们还提出了一个手动数据分割的训练，验证和测试集，以提高评估结果的可靠性。最后，我们为未来的研究提供了一个基线系统。
2022-11-04 cs.SD eess.AS
Binaural Signal Representations for Joint Sound Event Detection and Acoustic Scene Classification
Tampere University（坦佩雷大学）
声音事件检测和声学场景分类是两个被广泛研究的音频任务，是声景物分析研究的重要组成部分。考虑到声音事件和声学场景之间的共享信息，联合执行这两项任务是复杂机器收听系统的自然部分。在本文中，我们研究了几种空间音频特征在训练执行SED和ASC的联合深度神经网络（DNN）模型中的有用性。实验进行两个不同的数据集，包含双耳录音和同步的声音事件和声学场景标签，以分析单独或联合执行SED和ASC之间的差异。所提出的结果表明，使用特定的双耳功能，主要是广义互相关相位变换（GCC-PHAT）和正弦和余弦的相位差，导致在单独的和联合的任务相比，基线方法的基础上logmel能量只有一个更好的表现模型。
2022-09-13 cs.CV cs.LG cs.SD
Joint Analysis of Sound Events and Acoustic Scenes Using Multitask Learning
Ritsumeikan University（立命馆大学）；Doshisha University（同志社大学）
声音事件检测和声场景分类是环境声音分析中的重要研究课题。许多研究小组已经使用基于神经网络的方法来解决SED和ASC，例如卷积神经网络（CNN）、递归神经网络（RNN）和卷积递归神经网络（CRNN）。传统的方法分别解决SED和ASC，即使声音事件和声学场景彼此密切相关。例如，在声学场景“办公室”中，可能发生声音事件“鼠标点击”和“键盘键入”。因此，预计有关声音事件和声学场景的信息将对SED和ASC相互帮助。在本文中，我们提出了多任务学习的声音事件和声学场景的联合分析，其中的部分网络持有的信息，声音事件和声学场景中的共同共享。使用TUT Sound Events 2016/2017和TUT Acoustic Scenes 2016数据集获得的实验结果表明，与传统的方法相比，所提出的方法在F-score方面分别将SED和ASC的性能提高了1.31和1.80个百分点。基于CRNN的方法。
2020-10-16 cs.SD eess.AS
Lightweight and Generalizable Acoustic Scene Representations via Contrastive Fine-Tuning and Distillation
Meta Reality Labs（Meta现实实验室）；Carnegie Mellon University（卡内基梅隆大学）
ContrastASC通过对比微调和蒸馏实现轻量且通用的声学场景表示，提升少样本适应能力的同时保持闭合集性能。
2026-02-11 cs.LG cs.SD eess.AS
An Acoustic Segment Model Based Segment Unit Selection Approach to Acoustic Scene Classification with Partial Utterances
Georgia Institute of Technology（佐治亚理工学院）；University of Enna（恩纳大学）；Tencent Corporation（腾讯公司）；University of Science and Technology of China（中国科学技术大学）
在本文中，我们提出了一个子话语单元选择框架，以消除音频记录中的声学片段，进行声学场景分类（ASC）的信息很少。我们的方法是建立在一组通用的声学段单元覆盖整个声学场景空间。首先，这些单元被建模与声学段模型（ASMs）用于标记声学场景话语成序列的声学段单元。其次，与信息检索中的停用词的思想并行，自动检测停用ASMs。最后，与停止ASM相关联的声学段被阻止，因为它们在大多数声学场景的检索中的索引能力低。与用整个话语构建场景模型相比，ASM去除的子话语，即，然后，没有停止声学段的声学话语被用作AlexNet-L后端的输入，用于最终分类。在DCASE 2018数据集上，场景分类准确率从68%（整个话语）提高到72.1%（片段选择）。这表示在没有任何数据增强和/或集成策略的情况下具有竞争力的准确性。此外，我们的方法与AlexNet-L相比更受关注。
2020-07-31 cs.CL cs.SD eess.AS
Multi-dimensional Edge-based Audio Event Relational Graph Representation Learning for Acoustic Scene Classification
Ghent University（根特大学）；University of Cambridge（剑桥大学）；University of Manchester（曼彻斯特大学）；Baidu Inc.（百度公司）；University of Surrey（萨里大学）
大多数现有的基于深度学习的声学场景分类（ASC）方法直接利用从频谱图中提取的表示来识别目标场景。然而，这些方法很少关注发生在场景中的音频事件，尽管它们提供了重要的语义信息。本文进行的第一项研究，调查是否可以可靠地识别现实生活中的声学场景的基础上，描述了有限数量的音频事件的功能。为了对粗粒度声学场景和细粒度音频事件之间的任务特定关系进行建模，我们提出了一个用于ASC的事件关系图表示学习（ERGL）框架。具体而言，ERGL从输入音频中学习声学场景的图形表示，其中每个事件的嵌入被视为节点，而从每对事件嵌入中导出的关系线索由学习的多维边缘特征描述。在一个复调声学场景数据集上的实验表明，所提出的ERGL在ASC上实现了有竞争力的性能，只使用有限数量的音频事件嵌入，而没有任何数据增强。该框架的有效性证明了基于事件关系图的声学场景识别的可行性。我们的代码可以在我们的主页上找到（https：//github.com/Yuanbo2020/ERGL）。
2022-11-01 cs.SD eess.AS
Description on IEEE ICME 2024 Grand Challenge: Semi-supervised Acoustic Scene Classification under Domain Shift
School of Marine Science and Technology, Northwestern Polytechnical University（西北工业大学海洋科学与技术学院）；Xi'an Lianfeng Acoustic Technologies Co., Ltd.（西安莲峰声学科技有限公司）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Surrey（萨里大学）
本文介绍 ICME 2024 大挑战中的域偏移下半监督声学场景分类任务，推动利用未标注数据提升跨地域场景模型的鲁棒性。
2024-02-29 cs.LG cs.SD eess.AS
Low-complexity deep learning frameworks for acoustic scene classification
在本报告中，我们提出了用于声学场景分类（ASC）的低复杂度深度学习框架。所提出的框架可以分为四个主要步骤：前端谱图提取，在线数据增强，后端分类和预测概率的后期融合。特别是，我们最初将音频记录转换为Mel，Gammatone和CQT频谱图。接下来，然后应用随机裁剪、Specaugment和Mixup的数据增强方法来生成增强的频谱图，然后将其馈送到基于深度学习的分类器中。最后，为了达到最佳性能，我们融合了从三个独立的分类器中获得的概率，这些分类器是用三种类型的谱图独立训练的。我们在DCASE 2022 Task 1 Development数据集上进行的实验满足了低复杂度的要求，并达到了60.1%的最佳分类准确率，使DCASE基线提高了17.2%。
2022-06-13 cs.LG cs.SD eess.AS
Integrating the Data Augmentation Scheme with Various Classifiers for Acoustic Scene Modeling
Institute of Acoustics, CAS（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Xinjiang Technical Institute of Physics and Chemistry, CAS（中国科学院新疆理化技术研究所）
本技术报告描述了IOA团队提交的DCASE 2019挑战的TASK 1A。我们的声学场景分类（ASC）系统采用了数据增强方案，采用生成对手网络。在该方案中部署了两个主要的分类器，即集成了尺度图特征的1D深度卷积神经网络和集成了Mel滤波器组特征的2D全卷积神经网络。其他方法，如对手城市适应，基于离散余弦变换的时间模块和混合架构，已被开发用于进一步的融合。我们的实验结果表明，最终的融合系统A-D可以在官方提供的折叠1评估数据集上实现高于85%的准确度。
2019-07-15 cs.LG cs.SD eess.AS
Domain Generalization with Relaxed Instance Frequency-wise Normalization for Multi-device Acoustic Scene Classification
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
在图像处理中使用二维卷积神经网络（2D-CNNs）时，可以利用通道统计量来处理域信息，而实例归一化是一种很有前途的获得域不变特征的方法。然而，与图像处理不同，我们分析了音频特征中的域相关信息在频率统计中占主导地位，而不是信道统计。出于我们的分析，我们引入了宽松的实例频率归一化（RFN）：一个即插即用，沿频率轴的显式归一化模块，可以消除音频特征中的实例特定域差异，同时放松有用的判别信息的不必要损失。从经验上讲，简单地将RFN添加到网络中，与声学场景分类上的先前领域泛化方法相比显示出明显的裕度，并且对于多个音频设备产生改进的鲁棒性。特别是，所提出的RFN赢得了DCASE 2021挑战TASK 1A，低复杂度的声学场景分类与多个设备，具有明确的利润率，RFN是我们的技术报告的扩展工作。
2022-06-24 cs.LG cs.SD eess.AS
Unsupervised adversarial domain adaptation for acoustic scene classification
Tampere University of Technology（坦佩雷理工大学）；Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）
声场景分类中的一个普遍问题是训练数据和测试数据之间的不匹配，这会显着降低所开发的方法在分类精度上的性能。作为对策，我们提出了第一种无监督对抗域适应声学场景分类的方法。我们采用一个模型，该模型在一组条件的数据上进行了预训练，并通过使用另一组条件的数据，我们调整了模型，以便其输出不能用于对输入数据所属的条件集进行分类。我们使用DCASE 2018挑战任务1子任务B中的免费数据集，其中包含来自不匹配记录设备的数据。我们考虑的情况下，注释可用于从一个设备记录的数据，但不为其余的。我们的结果表明，我们的模型不可知的方法，我们可以实现$\sim 10\%$增加在一个看不见的和未标记的数据集的准确性，同时保持几乎相同的性能标记的数据集。
2018-08-17 cs.LG cs.SD eess.AS
Relation-guided acoustic scene classification aided with event embeddings
Ghent University（根特大学）
在现实生活中，声学场景和音频事件自然相关。人类本能地依赖于细粒度的音频事件以及整体声音特征来区分不同的声学场景。然而，大多数先前的方法将声学场景分类（ASC）和音频事件分类（AEC）视为两个独立的任务。一些关于场景和事件联合分类的研究要么使用与真实世界几乎不匹配的合成音频数据集，要么简单地使用多任务框架同时执行两个任务。这两种方法都没有充分利用细粒度事件和粗粒度场景之间的内在联系。为此，本文提出了一个关系引导的ASC（RGASC）模型，以进一步开发和协调的场景和事件识别的互惠互利的场景和事件的关系。TUT Urban Acoustic Scenes 2018数据集（TUT 2018）通过简单高效的音频相关预训练模型PANN（最先进的AEC模型之一）使用事件的伪标签进行注释。然后，先验场景-事件关系矩阵被定义为每个场景类中每个事件类型存在的平均概率。最后，双塔RGASC模型在真实数据集TUT 2018上进行联合训练，用于场景和事件分类。取得了以下成果。1)RGASC有效地协调了粗粒度场景的真实信息和细粒度事件的伪信息。2)在先验场景-事件关系的指导下从伪标签学习的事件嵌入有助于减少相似声学场景之间的混淆。3)与其他（非集成）方法相比，RGASC提高了对真实数据集的场景分类精度。
2022-05-01 cs.SD eess.AS
Unsupervised Domain Adaptation for Acoustic Scene Classification Using Band-Wise Statistics Matching
Politecnico di Milano（米兰理工大学）；International Audio Laboratories Erlangen（埃尔朗根国际音频实验室）；Friedrich-Alexander-University Erlangen-Nurnberg（弗里德里希-亚历山大-埃尔兰根-纽伦堡大学）；Fraunhofer Institute for Integrated Circuits（弗劳恩霍夫集成电路研究所）
众所周知，机器学习算法的性能会受到训练（源）和测试（目标）数据分布之间可能不匹配的负面影响。事实上，每当已经在由给定设备记录的数据上训练的声学场景分类系统被应用于在不同声学条件下获取的或由不匹配的记录设备捕获的样本时，这个问题就会出现。为了解决这个问题，我们提出了一种无监督域自适应方法，该方法包括将目标域声学场景的每个频段的一阶和二阶样本统计量与源域训练数据集的一阶和二阶样本统计量对齐。这种与模型无关的方法被设计为在将来自看不见的设备的音频样本馈送到预先训练的分类器之前对其进行调整，从而避免任何进一步的学习阶段。使用DCASE 2018任务1-B开发数据集，我们证明了所提出的方法在源域和目标域分类准确性方面优于文献中发现的最先进的无监督方法。
2020-04-30 cs.LG cs.SD eess.AS
Domain Generalization on Efficient Acoustic Scene Classification using Residual Normalization
Qualcomm Technologies, Inc.（高通技术公司）
如何有效地设计一个单一的声学场景分类系统来处理多设备的音频输入是一个实际的研究课题。在这项工作中，我们提出了残差归一化，一种新的特征归一化方法，使用频率归一化%实例归一化与快捷路径丢弃不必要的设备特定的信息，而不会丢失有用的信息进行分类。此外，我们引入了一个有效的架构，BC-ResNet-ASC，一个修改后的版本的基线架构，有限的接受领域。BC-ResNet-ASC优于基准架构，即使它包含少量参数。通过三种模型压缩方案：剪枝、量化和知识蒸馏，我们可以进一步降低模型复杂度，同时减轻性能下降。该系统在TAU Urban Acoustic Scenes 2020 Mobile中实现了76.3%的平均测试精度，开发数据集具有315 k参数，压缩到61.0KB非零参数后的平均测试精度为75.3%。该方法在DCASE 2021挑战赛TASK 1A中获得第一名。
2021-11-12 cs.LG cs.SD eess.AS
Acoustic Scene Classification Using Multichannel Observation with Partially Missing Channels
Doshisha University（同志社大学）
使用智能手机或物联网设备录制的声音通常会有部分不可靠的观测结果，这些观测结果是由削波、风噪声以及由于麦克风故障和网络数据传输中的数据包丢失而导致的完全缺失部分造成的。在本文中，我们调查的影响，部分缺失的通道上的声学场景分类的性能，使用多通道音频记录，特别是分布式麦克风阵列。观测数据缺失不仅会导致声源时频和空间信息的丢失，还会导致训练模型与评估数据之间的不匹配。因此，我们研究如何丢失的通道影响声学场景分类的性能详细。我们还提出了简单的数据增强方法，场景分类使用多通道观测与部分丢失的通道，并使用数据增强方法的场景分类性能进行评估。
2021-05-05 cs.SD eess.AS
Wider or Deeper Neural Network Architecture for Acoustic Scene Classification with Mismatched Recording Devices
Austria Institute of Technology（奥地利技术研究所）；The University of Danang（岘港大学）；University of Essex（埃塞克斯大学）；Hongik University（弘益大学）
在本文中，我们提出了一个强大的和低复杂度的系统，声学场景分类（ASC），识别现场的音频记录的任务。我们首先建立了一个ASC基线系统，其中提出了一种新的基于接收残差的网络架构来处理不匹配的记录设备问题。为了进一步提高性能，但仍然满足低复杂度模型，我们应用两种技术：多个频谱图的合奏和ASC基线系统上的通道减少。通过对基准DCASE 2020任务1A开发数据集进行广泛的实验，我们实现了准确率为69.9%的最佳模型和240万个可训练参数的低复杂度，这与最先进的ASC系统和边缘设备上的实际应用潜力具有竞争力。
2022-03-23 cs.LG cs.SD eess.AS
Joint Analysis of Acoustic Scenes and Sound Events with Weakly labeled Data
Doshisha University（同志社大学）；Tokyo Metropolitan University（东京都立大学）
考虑到声学场景和声音事件之间的紧密联系，在以前的一些论文中，提出了利用基于多任务学习（MTL）的神经网络对声学场景和声音事件进行联合分析。在传统方法中，强监督方案被应用于MTL模型中的声音事件检测，这需要模型训练中的声音事件的强标签;然而，注释强事件标签是相当耗时的。因此，在本文中，我们提出了一种方法的联合分析的声学场景和声音事件的MTL框架的基础上与弱标签的声音事件。特别是，在所提出的方法中，我们引入了多实例学习计划弱监督训练的声音事件检测和评估四个池功能，即，最大池，平均池，指数softmax池，注意力池。使用部分TUT Acoustic Scenes 2016/2017和TUT Sound Events 2016/2017数据集获得的实验结果表明，所提出的基于弱标签的MTL方法在场景分类和事件检测性能方面优于传统的基于单任务的场景分类和事件检测模型。
2022-07-10 cs.SD eess.AS
Sound Event Detection by Multitask Learning of Sound Events and Scenes with Soft Scene Labels
Ritsumeikan University（立命馆大学）；NTT Media Intelligence Laboratories（NTT媒体智能实验室）
声音事件检测和声场景分类是环境声音分析的主要任务。考虑到声音事件和场景之间的紧密联系，一些研究工作提出了基于多任务学习（MTL）的声音事件和声场景的联合分析，其中声音事件和场景的知识可以帮助它们相互估计。传统的基于MTL的方法利用单热场景标签来训练声音事件和场景之间的关系;因此，传统的方法不能对声音事件和场景相关的程度进行建模。然而，在现实环境中，常见的声音事件可能发生在某些声学场景中;另一方面，一些声音事件仅发生在有限的声学场景中。因此，在本文中，我们提出了一种新的方法SED的基础上MTL的SED和ASC使用软标签的声学场景，这使我们能够模拟的程度，声音事件和场景相关。使用TUT Sound Events 2016/2017和TUT Acoustic Scenes 2016数据集进行的实验表明，与传统的基于MTL的SED相比，所提出的方法将SED性能提高了3.80%。
2020-02-14 cs.SD eess.AS
Acoustic Scene Clustering Using Joint Optimization of Deep Embedding Learning and Clustering Iteration
针对新兴的声学场景聚类问题，提出一种联合优化深度CNN嵌入学习与AHC聚类迭代的方法，通过统一损失函数整合优化，实验显示其在归一化互信息和聚类准确率上优于现有无监督方法及主流特征。
2023-06-09 cs.SD eess.AS
Analysis Acoustic Features for Acoustic Scene Classification and Score fusion of multi-classification systems applied to DCASE 2016 challenge
Korea University（高丽大学）；Office of Naval Research（美国海军研究办公室）
本文描述了一种声学场景分类方法，该方法在2016年IEEE AASP挑战声学场景和事件的检测和分类中获得了第四名的成绩。为了完成后续的任务，本文从特征提取、特征变换和得分融合三个方面进行了研究。在特征提取部分，研究了几种有效的声场景分类特征。为了解决同一个声音在不同的地方可以听到的问题，一个特征变换应用于更好地分离分类。从这些，几个系统的基础上不同的功能集设计分类。最终的结果是通过融合各个系统来确定的。通过使用挑战数据库进行的实验证明和验证了该方法。
2018-07-13 cs.SD eess.AS
Capturing scattered discriminative information using a deep architecture in acoustic scene classification
University of Seoul（首尔大学）
在声场景分类（ASC）中，经常会出现具有许多共同声学特性的类对的误分类。为了区分这两类，分散在数据中的琐碎细节可能是重要的线索。然而，这些细节不太明显，并且使用传统的非线性激活（例如ReLU）很容易去除。此外，如果系统没有被充分地推广，那么为了强调琐碎的细节而做出的设计选择很容易导致过拟合。在这项研究中，基于对ASC任务的特点分析，我们研究了各种方法来捕获判别信息，同时减轻过拟合问题。我们采用最大特征映射方法来取代深度神经网络中的传统非线性激活，因此，我们在卷积层输出的不同滤波器之间进行了元素比较。进一步探讨了两种数据增强方法和两个深层结构模块，以减少过拟合和维持系统的鉴别能力。使用声学场景和事件2020 task 1-a数据集的检测和分类进行各种实验，以验证所提出的方法。我们的研究结果表明，所提出的系统始终优于基线，其中单个最佳性能系统的准确度为70.4%，而基线的准确度为65.1%。
2020-07-09 cs.LG cs.SD eess.AS
Data Efficient Acoustic Scene Classification using Teacher-Informed Confusing Class Instruction
Smart Nation TRANS Lab（智慧国 TRANS 实验室）；School of Marine Science and Technology, Northwestern Polytechnical University（西北工业大学海洋科学与技术学院）
针对DCASE 2024数据高效声学场景分类任务，提出三个系统应对不同训练规模，通过模型简化、mixup增强、FocusNet混淆类别信息及知识蒸馏，在TAU数据集上实现最高平均测试准确率。
2024-09-18 cs.LG cs.SD eess.AS
Task 1A DCASE 2021: Acoustic Scene Classification with mismatch-devices using squeeze-excitation technique and low-complexity constraint
声场景分类是机器听觉领域的热点问题之一。这个问题的目的是分类的音频剪辑到一个预定义的场景，只使用音频数据。多年来，这个问题在DCASE的不同版本中取得了相当大的进展。它通常有几个子任务，允许用不同的方法来解决这个问题。本报告中提出的子任务对应于ASC问题，该问题受到模型复杂性的限制，并且具有从不同设备（称为失配设备（真实和模拟））记录的音频。本报告中介绍的工作遵循了该小组前几年进行的研究路线。具体而言，提出了一种基于两个步骤的系统：使用Gamamtone滤波器组的音频的二维表示和使用挤压激励技术的卷积神经网络。所提出的系统比基线高出约17个百分点。
2021-07-30 cs.LG cs.SD eess.AS
Spectrum Correction: Acoustic Scene Classification with Mismatched Recording Devices
Samsung R\&D Institute Poland
机器学习算法在对来自有限设备集的音频记录进行训练时，可能无法很好地推广到使用具有不同频率响应的其他设备记录的样本。在这项工作中，一个相对简单的方法来解决这个问题。两种变体的方法。第一种方法需要来自多个设备的对齐示例，第二种方法满足了这一要求。该方法适用于音频记录的时域和频域表示。此外，标准化和倒谱平均减法的关系进行了分析。所提出的方法变得有效，即使很少的例子。该方法是在声学场景和事件的检测和分类（DCASE）2019挑战赛期间开发的，并以75%的准确率获得了不匹配记录设备场景的第一名。实验的源代码可以在网上找到。
2021-05-25 cs.LG cs.SD eess.AS
Joint Analysis of Acoustic Scenes and Sound Events Based on Multitask Learning with Dynamic Weight Adaptation
Doshisha University（同志社大学）
声场景分类（ASC）和声音事件检测（SED）是环境声分析中的重要课题。考虑到声学场景和声音事件之间的紧密联系，在以往的一些工作中提出了使用基于多任务学习（MTL）的神经网络对声学场景和声音事件进行联合分析。传统方法使用具有恒定权重的ASC和SED损失函数的线性组合来训练基于MTL的模型。然而，传统的基于MTL的方法的性能强烈地依赖于ASC和SED损失的权重，并且难以确定ASC和SED的MTL损失的恒定权重之间的适当平衡。因此，在本文中，我们提出了动态权重自适应方法的ASC和SED的MTL的动态权重平均和多焦点损失的基础上自动调整学习权重。使用TUT Acoustic Scenes 2016/2017和TUT Sound Events 2016/2017的部分进行了评估实验，我们表明，与传统的基于MTL的方法相比，所提出的方法提高了场景分类和事件检测的性能特征。然后，我们研究了ASC和SED任务的学习权重如何随着模型训练的进展而动态适应。
2022-06-21 cs.SD eess.AS
Domain Mismatch Robust Acoustic Scene Classification using Channel Information Conversion
Clova AI Research, Naver Corp.（NAVER公司Clova人工智能研究院）；MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
在最近的声学场景分类（ASC）研究领域中，训练和测试设备通道失配已经成为现实世界实现的问题。为了解决这个问题，本文提出了一种信道域转换使用因式分解分层变分自编码器。所提出的方法使源域和目标域都适应于预定义的特定域。与传统的方法不同，在自适应过程中不需要目标和源域之间的关系以及每个域的信息。基于IEEE检测和分类声学场景和事件2018任务1-B数据集和基线系统的实验结果，表明所提出的方法可以缓解不同记录设备的通道失配问题。
2018-12-04 cs.SD eess.AS
Enhancing Sound Texture in CNN-Based Acoustic Scene Classification
The Chinese University of Hong Kong（香港中文大学）
声学场景分类是识别从其记录音频信号的场景的任务。卷积神经网络（CNN）模型在声学场景分类中被广泛采用并取得了成功。然而，在CNN中如何感知音频场景的见解很少，正如在图像识别研究中所证明的那样。在本研究中，类激活映射（CAM）被用来分析如何对数幅度梅尔规模滤波器组（log-Mel）功能的不同声学场景中学习的CNN分类器。注意，音频信号的不同的高能量时频分量通常不对应于CAM上的强激活，而背景声音纹理在CNN中被很好地学习。为了使声音纹理更加突出，我们提出了应用高斯差分（DoG）和Sobel算子处理的log-Mel特征和增强边缘信息的时频图像。DCASE 2017 ASC挑战赛的实验结果表明，使用边缘增强的log-Mel图像作为CNN的输入特征显著提高了音频场景分类的性能。
2019-01-06 cs.LG cs.SD eess.AS
Multi-Temporal Resolution Convolutional Neural Networks for Acoustic Scene Classification
Austrian Institute of Technology（奥地利技术研究所）；Vienna University of Technology（维也纳工业大学）
在本文中，我们提出了一种用于声学场景分类任务的深度神经网络架构，该架构利用来自Mel频谱图片段的时间分辨率增加的信息。该架构由独立的并行卷积神经网络组成，该网络学习每个输入分辨率的频谱和时间表示。选择分辨率以覆盖场景的频谱纹理的细粒度特征以及其声学事件的分布。该模型比性能最好的单分辨率模型有3.56%的绝对改进，比DCASE 2017声学场景分类任务基线有12.49%的绝对改进。
2018-11-11 cs.MM cs.SD eess.AS
Audio Event-Relational Graph Representation Learning for Acoustic Scene Classification
Ghent University（根特大学）；University of Leicester（莱斯特大学）；University College London（伦敦大学学院）；University of Surrey（萨里大学）
针对现有声学场景分类方法可解释性不足的问题，提出基于音频事件关系图的表示学习框架ERGL，以事件嵌入为节点、多维边特征表征关系，仅用少量音频事件嵌入学习就在真实数据集上取得有竞争力的分类性能，同时可明确解释分类线索。
2023-10-05 cs.SD eess.AS
Impact of Acoustic Event Tagging on Scene Classification in a Multi-Task Learning Framework
University of Maryland（马里兰大学）；Amazon.com Inc（亚马逊公司）
声学事件是具有明确定义的频谱-时间特性的声音，其可以与产生它们的物理对象相关联。声学场景是没有特定时间顺序的声学事件的集合。鉴于事件和场景之间的这种自然联系，人们普遍认为，对事件进行分类的能力必须有助于对场景进行分类。这导致了尝试使用多任务网络在声学事件标记（AET）和声学场景分类（ASC）上做得很好的若干努力。然而，在这些努力中，一项任务的改进并不能保证另一项任务的改进，这表明ASC和AET之间存在紧张关系。目前尚不清楚AET的改善是否转化为ASC的改善。我们通过广泛的实证研究来探索这个难题，并表明在一定条件下，使用AET作为多任务网络中的辅助任务，可以持续提高ASC性能。此外，ASC性能随着AET数据集大小而进一步提高，并且对AET数据集中事件的选择或事件的数量不敏感。我们的结论是，这种改善在ASC性能来自正则化的效果，使用AET，而不是从网络的改进能力，以区分声事件。
2022-06-27 cs.AI cs.LG cs.SD
Instance-level loss based multiple-instance learning framework for acoustic scene classification
Hanyang University（汉阳大学）
在声学场景分类（ASC）任务中，声学场景由不同的声音组成，并通过识别其中不同属性的组合来推断。本研究的目的是使用一个改进的多实例学习（MIL）框架，有效地提取和聚类这些属性的ASC。被称为弱监督学习方法的MIL是用于从构成输入音频剪辑的帧束中提取实例并且使用这些未标记的实例来推断与输入数据相对应的场景的策略。然而，许多研究指出了MIL的低估问题。在这项研究中，我们开发了一个更适合ASC系统的MIL框架，通过定义实例级标签和损失，有效地提取和聚类实例。此外，我们设计了一个完全分离的卷积模块，这是一个轻量级的神经网络，包括逐点，频侧dependency，和时间侧dependency卷积滤波器。结果表明，与vanilla MIL相比，置信度和阳性实例的比例显着增加，克服了低估问题，并将分类准确率提高了11%。该系统在TAU城市声学场景2019年和2020年移动数据集上分别实现了81.1%和72.3%的性能，参数为139 K。特别是，它在TAU城市声学场景2019数据集上具有1M参数的系统中实现了最高性能。
2022-06-30 cs.SD eess.AS
CAA-Net: Conditional Atrous CNNs with Attention for Explainable Device-robust Acoustic Scene Classification
University of Augsburg（奥格斯堡大学）；University of Surrey（萨里大学）；ByteDance AI Lab（字节跳动人工智能实验室）；University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）
声学场景分类（ASC）的目的是对音频信号记录的环境进行分类。最近，卷积神经网络（CNN）已成功地应用于ASC。然而，用多个设备记录的音频信号的数据分布是不同的。关于在用多个设备记录的声学场景数据集上训练鲁棒神经网络以及解释神经网络的内部层的操作的研究很少。在本文中，我们专注于在多设备声学场景数据上训练和解释设备鲁棒CNN。我们提出了有条件的atrous CNN，注意多设备ASC。我们提出的系统包含一个ASC分支和一个设备分类分支，两者都由CNN建模。我们可视化和分析atrous CNN的中间层。采用时频注意力机制来分析CNN中特征图的每个时频点的贡献。在声学场景和事件的检测和分类（DCASE）2018 ASC数据集上，使用三种设备记录，我们提出的模型的性能明显优于在单设备数据上训练的CNN。
2020-11-18 cs.SD eess.AS
Acoustic Scene Classification with Squeeze-Excitation Residual Networks
Visualfy；Universitat de Valencia（瓦伦西亚大学）
声学场景分类（ASC）是与机器收听领域相关的问题，其目标是在描述场景位置（例如，音频片段）的预定义标签中对音频片段进行分类/标记。G.公园、机场等）。许多先进的ASC解决方案都采用了数据增强技术和模型集成。然而，只有通过修改卷积神经网络（CNN）的架构，才能实现相当大的改进。在这项工作中，我们提出了两个新的挤压激励块，以提高基于残留学习的基于CNN的ASC框架的准确性。挤压激励块的主要思想是独立地学习空间和通道特征图，而不是像标准CNN那样联合学习。这通常通过一些全局分组运算符、线性运算符和块的输入与其获得的关系之间的最终校准来实现。实现这种运算符的块的行为以及因此整个神经网络的行为可以根据块的输入、所建立的残差配置和所选择的非线性激活来修改。该分析是使用TAU Urban Acoustic Scenes 2019数据集（https：//zenodo.org/record/2589280）进行的，该数据集在2019年版的DCASE挑战中提出。本文档中讨论的所有配置都超过了DCASE组织提出的基线性能13个百分点。反过来，在本文中提出的新的配置优于在以前的作品中提出的残留配置。
2020-06-26 cs.LG cs.SD eess.AS
Improving Acoustic Scene Classification with City Features
IEEE Publication Technology Group（IEEE出版技术组）
针对现有声学场景分类方法忽略城市特有声学特征的问题，提出City2Scene框架，通过知识蒸馏将预训练城市分类模型的城市知识迁移到场景分类模型，在DCASE Challenge Task 1数据集上验证了其对多种轻量CNN骨干的准确率提升效果。
2025-06-13 cs.CV cs.SD eess.AS
Cross-modal Spectrum Transformation Network For Acoustic Scene classification
Microsoft（微软公司）
具有对数梅尔谱特征的卷积神经网络（CNN）在声学场景分类任务中表现出了良好的效果。然而，这些基于CNN的分类器的性能仍然缺乏，因为它们不能很好地概括未知的环境。为了解决这个问题，我们引入了一个声学频谱转换网络，传统的对数梅尔频谱转换成想象的视觉特征（IVF）。通过利用视频记录中存在的音频和视觉特征之间的关系来学习想象的视觉特征。自动编码器用于将图像编码为视觉特征，转换网络学习如何从log-mel生成想象的视觉特征。我们的模型是在一个大型的Youtube视频数据集上训练的。我们在DCASE和ESC-50的场景分类任务上测试了我们提出的方法，我们的方法优于其他光谱特征，特别是对于看不见的环境。
2021-08-13 cs.SD eess.AS
DCASE 2022: Comparative Analysis Of CNNs For Acoustic Scene Classification Under Low-Complexity Considerations
Universitat Politecnica de Valencia（瓦伦西亚理工大学）；Instituto Tecnologico de Informatica（信息技术技术研究所）
声学场景分类是一个自动收听问题，旨在根据其音频数据将音频记录分配到预定义的场景。多年来（以及在DCASE的过去版本中），这个问题通常通过称为集成的技术来解决（使用几个机器学习模型在推理阶段组合它们的预测）。虽然这些解决方案可以在准确性方面表现出性能，但它们在计算能力方面可能非常昂贵，因此无法在物联网设备中部署它们。由于这一研究领域的漂移，这项任务在模型复杂性方面有两个限制。应该注意的是，不匹配的设备也增加了复杂性（所提供的音频由不同的信息源记录）。本技术报告对两种不同的网络架构进行了比较研究：传统的CNN和Conv-mixer。虽然两个网络都超过了比赛要求的基线，但传统的CNN表现出更高的性能，超过基线8个百分点。基于Conv-mixer架构的解决方案表现出更差的性能，尽管它们是更轻的解决方案。
2022-06-16 cs.LG cs.SD eess.AS
TC-SKNet with GridMask for Low-complexity Classification of Acoustic scene
School of Software and Microelectronics, Peking University（北京大学软件与微电子学院）
卷积神经网络（CNN）在低复杂度的分类任务中具有良好的性能，例如声学场景分类（ASC）。然而，很少有研究之间的关系的目标语音的长度和卷积核的大小。本文将选择性核网络与时间卷积（TC-SKNet）相结合，通过调整卷积核的感受野来解决目标语音长度可变的问题，同时保持低复杂度。GridMask是一种数据增强策略，通过屏蔽部分原始数据或特征区域。它可以作为dropout的作用增强模型的泛化能力。在我们的实验中，GridMask带来的性能增益比ASCs中的频谱增强更强。最后，我们采用AutoML搜索TC-SKNet的最佳结构和GridMask的超参数，以提高分类性能。因此，59. 87% TC-SKNet的峰值精度与SOTA相当，但参数仅使用20.9 K。
2022-10-05 cs.LG cs.SD eess.AS
QTI Submission to DCASE 2021: residual normalization for device-imbalanced acoustic scene classification with efficient design
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
本技术报告描述了我们提交的DCASE 2021挑战TASK 1A的详细信息。该任务的目标是设计一个音频场景分类系统的设备不平衡的数据集下的模型复杂度的约束。本报告介绍了实现这一目标的四种方法。首先，我们提出了残差归一化，这是一种新的特征归一化方法，它使用带有捷径路径的实例归一化来丢弃不必要的设备特定信息，而不会丢失有用的分类信息。其次，我们设计了一个有效的架构，BC-ResNet-Mod，一个修改后的版本的基线架构，有限的感受野。第三，我们利用从一个设备到多个设备的频谱图到频谱图转换来增加训练数据。最后，我们利用三个模型压缩方案：修剪，量化，和知识蒸馏，以减少模型的复杂性。该系统在TAU Urban Acoustic Scenes 2020 Mobile中实现了76.3%的平均测试精度，开发数据集具有315 k参数，压缩到61.0KB非零参数后的平均测试精度为75.3%。我们将这一工作推广到[1]。
2022-10-25 cs.LG cs.SD eess.AS
Hierarchical learning for DNN-based acoustic scene classification
University of Surrey（萨里大学）
本文提出了一种基于深度神经网络（DNN）的声学场景分类框架。提出了两种层次学习方法，通过引入环境声音的层次分类信息来提高DNN的基线性能。首先，DNN的参数初始化所提出的分层预训练。然后采用多层目标函数对基于交叉熵的损失函数进行约束。在2016年声学场景和事件的检测和分类（DCASE）挑战的任务1上进行了一系列实验。与基于高斯混合模型（GMM）的基准系统相比，最终基于DNN的系统在四个标准折叠中的平均场景分类错误方面实现了22.9%的相对改善。
2016-08-13 cs.CV cs.LG cs.SD
1-D CNN based Acoustic Scene Classification via Reducing Layer-wise Dimensionality
IIT Mandi（印度理工学院曼迪分校）
本文提出了一种替代的表示框架，常用的时频表示的声学场景分类（ASC）。使用预训练的卷积神经网络（CNN）使用其各种中间层来表示原始音频信号。该研究假设从中间层得到的表示本质上是低维的。为了获得低维嵌入，进行主成分分析，研究分析，只有少数主成分是显着的。然而，重要成分的适当数量尚不清楚。为了解决这个问题，利用自动词典学习框架，该框架近似底层子空间。此外，低维嵌入在集成框架中以后期融合的方式聚合，以合并在各个中间层学习的分层信息。实验评估是在预训练的1-D CNN，SoundNet上对公开可用的DCASE 2017和2018 ASC数据集进行的。从经验上讲，可以观察到，较深的层比其他层显示出更大的压缩比。在不同数据集的70%压缩率下，性能与不进行任何降维的情况下获得的性能相似。所提出的框架优于基于时频表示的方法。
2022-03-31 cs.LG cs.SD eess.AS
A Lottery Ticket Hypothesis Framework for Low-Complexity Device-Robust Neural Acoustic Scene Classification
Georgia Institute of Technology（佐治亚理工学院）；University of Enna Kore（恩纳 Kore 大学）；University of Science and Technology of China（中国科学技术大学）；Tencent Media Lab, Tencent Corporation（腾讯公司腾讯媒体实验室）
我们提出了一种新的神经模型压缩策略，结合数据增强，知识转移，修剪和量化的设备鲁棒声学场景分类（ASC）。具体来说，我们解决ASC任务在低资源环境中利用最近提出的先进的神经网络修剪机制，即彩票假说（LTH），找到一个子网络神经模型与少量的非零模型参数。低复杂度声学建模的LTH的有效性进行评估，通过调查各种数据增强和压缩方案，我们报告了一个有效的联合框架，低复杂度的多设备ASC，称为\emph{Acoustic Lottery}。声学彩票可以压缩ASC模型高达$1/10^{4}$，并获得优于性能（79.4%的验证精度和0.64的Log损失）相比，其未压缩的种子模型。本工作中报告的所有结果都是基于GT-USTC-UKE-Tencent四个小组的共同努力，旨在解决DCASE 2021挑战任务1a中的“多设备低复杂度声学场景分类（ASC）”。
2022-05-01 cs.LG cs.MM cs.SD
A Simple Fusion of Deep and Shallow Learning for Acoustic Scene Classification
Universitat Pompeu Fabra（庞培法布拉大学）
在过去，声学场景分类系统已经基于手工制作输入到分类器的音频特征。如今，共同的趋势是采用数据驱动技术，例如，深度学习，从数据中学习音频表示。在本文中，我们提出了一种系统，该系统由上述类型的两种方法的简单融合组成：深度学习方法，其中对数缩放的梅尔光谱图被输入到卷积神经网络，以及特征工程方法，其中手工制作的特征集合被输入到梯度提升机器。我们首先表明，这两种方法在一定程度上提供了互补的信息。然后，我们使用一个简单的后期融合策略来结合这两种方法。我们单独报告了每种方法的分类准确性，并在TUT Acoustic Scenes 2017数据集上报告了组合系统。建议的融合系统优于每个单独的方法，并达到72.8%的分类准确率的评估集，提高了11.8%的基线系统。
2018-06-27 cs.LG cs.SD eess.AS
Acoustic Scene Classification Based on a Large-margin Factorized CNN
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
在本文中，我们提出了一个声学场景分类框架的基础上，大间隔分解卷积神经网络（CNN）。我们采用因式分解的CNN通过将2D核分解为两个独立的1D核来学习时频域中的模式。因子分解核导致学习两种模式的主要成分：长期环境和短期事件声音，这是音频场景分类的关键模式。在训练我们的模型时，我们考虑基于三重采样的损失函数，使得来自不同环境的相同音频场景样本最小化，同时不同音频场景样本最大化。利用该损失函数，将来自同一音频场景的样本独立于环境进行聚类，从而在未知环境下得到具有更好泛化能力的分类器。我们使用DCASE挑战2019 task1A的数据集评估了我们的音频场景分类框架。实验结果表明，该算法提高了基线网络的性能，并减少了三分之一的参数数量。此外，性能增益更高的未知数据，这表明该算法具有更好的泛化能力。
2019-10-14 cs.LG cs.SD eess.AS
A Low-Compexity Deep Learning Framework For Acoustic Scene Classification
Austrian Institute of Technology（奥地利技术研究所）；Hongik University（弘益大学）
在本文中，我们提出了一个低复杂度的深度学习框架的声学场景分类（ASC）。所提出的框架可以分为三个主要步骤：前端谱图提取，后端分类和预测概率的后期融合。首先，我们使用Mel滤波器，Gammatone滤波器和常数Q转换（CQT）的原始音频信号转换成频谱图，其中的频率和时间的特征。然后，三个频谱图被馈送到三个单独的后端卷积神经网络（CNN）中，分类为十个城市场景。最后，对从三个CNN获得的三个预测概率进行后期融合，以获得最终的分类结果。为了降低我们提出的CNN网络的复杂性，我们应用了两种模型压缩技术：模型限制和分解卷积。我们在DCASE 2021（IEEE AASP Challenge on Detection and Classification of Acoustic Scenes and Events）Task 1A开发数据集上进行了大量实验，实现了一个低复杂度的基于CNN的框架，具有128 KB的可训练参数和66.7%的最佳分类准确率，将DCASE基线提高了19.0%
2021-06-12 cs.SD eess.AS
Acoustic scene analysis with multi-head attention networks
Amazon Alexa（亚马逊 Alexa）
声学场景分类（ASC）是一项具有挑战性的任务，因为单个场景可能涉及包含复杂声音模式的多个事件。例如，烹饪场景可能包含几个声源，包括银器叮当声、切碎声、油炸声等。使ASC更加复杂的是，不同活动的类别可能具有重叠的声音模式（例如，烹饪和洗碗都可能具有银器叮当声）。在本文中，我们提出了一个多头注意力网络来模拟复杂的时间输入结构的ASC。该网络将音频的时频表示作为输入，并利用标准VGG和LSTM层来提取高级特征表示。此外，它采用多个注意头，总结各种模式的声音事件到固定的维度表示，为最终的场景分类的目的。整个网络通过反向传播以端到端的方式进行训练。实验结果证实，我们的模型发现有意义的声音模式，通过注意力机制，而不使用显式的监督对齐。我们使用DCASE 2018任务5数据集评估了我们提出的模型，并取得了与之前获奖者结果相当的竞争力。
2019-09-16 cs.LG cs.SD eess.AS
Creating a Good Teacher for Knowledge Distillation in Acoustic Scene Classification
LIT Artificial Intelligence Lab, Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校LIT人工智能实验室）
针对声学场景分类的知识蒸馏，本文系统研究教师架构、模型规模、设备泛化方法及集成策略对低复杂度学生性能的影响，明确了构建优秀教师模型的关键因素。
2025-03-14 cs.LG cs.SD eess.AS
ACGAN-based Data Augmentation Integrated with Long-term Scalogram for Acoustic Scene Classification
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
在声学场景分类中，声学特征在提取场景信息中起着至关重要的作用，场景信息可以存储在不同的时间尺度上。此外，数据集的有限大小可能会导致有偏见的模型，对于来自看不见的城市和令人困惑的场景类的记录性能较差。为了克服这一点，我们提出了一个长期的小波功能，需要一个较低的存储容量，可以更快，更准确地分类与经典的梅尔滤波器组系数（FBank）。该特征可以用类似于FBank的预定义小波尺度来提取。此外，一种新的数据增强方案的基础上生成的对抗性神经网络与辅助分类器（ACGANs）的ASC系统，以提高推广。该方案包含ACGAN和样本过滤器，通过分裂数据集，训练ACGAN并随后过滤样本来迭代地扩展数据库。实验是在来自声学场景和事件的检测和分类（DCASE）挑战的数据集上进行的。DCASE19数据集上的结果表明，与经典的FBank分类器相比，所提出的技术的性能有所改善。此外，所提出的融合系统在DCASE19竞赛中获得了第一名，并超过了DCASE17数据集的最高精度。
2020-05-27 cs.SD eess.AS
A Compact and Discriminative Feature Based on Auditory Summary Statistics for Acoustic Scene Classification
Harbin Institute of Technology（哈尔滨工业大学）；Harbin Normal University（哈尔滨师范大学）
声学场景分类（ASC）的最大挑战之一是找到合适的特征来更好地表示和表征环境声音。环境声音通常涉及更多的声源，同时在时间谱表示中表现出较少的结构。然而，声学场景的背景在声学特性上表现出时间均匀性，这表明它可以由分布统计而不是时间细节来表征。在这项工作中，我们研究了使用听觉摘要统计作为ASC任务的功能。灵感来自最近的一项神经科学研究，该研究表明人类听觉系统倾向于通过时间平均统计来感知声音纹理。在此基础上，我们进一步提出了利用线性判别分析来消除统计量之间的冗余，同时保留判别信息，从而为声学场景提供了一种极为紧凑的表示方法。实验结果表明，所提出的功能比传统的手工制作的功能的突出表现。
2019-04-10 cs.SD eess.AS eess.SP
Deep Space Separable Distillation for Lightweight Acoustic Scene Classification
South China University of Technology（华南理工大学）
本文针对声学场景分类模型不够轻量且性能不足的问题，提出深度空间可分离蒸馏网络，通过对数梅尔频谱高低频分解和三种轻量级可分离卷积算子，在降低参数量与计算复杂度的同时实现9.8%的性能提升。
2024-05-06 cs.AI cs.SD eess.AS
