A multi-device dataset for urban acoustic scene classification
Tampere University of Technology（坦佩雷理工大学）
本文介绍了DCASE 2018挑战赛的声学场景分类任务以及为该任务提供的TUT Urban Acoustic Scenes 2018数据集，并评估了任务中基线系统的性能。与前几年的挑战一样，该任务被定义为使用监督的闭集分类设置将短音频样本分类为预定义的声学场景类之一。新记录的TUT Urban Acoustic Scenes 2018数据集由十个不同的声学场景组成，并在六个欧洲大城市进行了记录，因此它具有比以前用于此任务的数据集更高的声学可变性，除了高质量的双耳录音外，它还包括使用移动设备记录的数据。我们还介绍了由卷积神经网络组成的基线系统，以及使用推荐的交叉验证设置在子任务中的性能。
2018-10-11 cs.SD eess.AS
Online Domain-Incremental Learning Approach to Classify Acoustic Scenes in All Locations
Signal Processing Research Center（信号处理研究中心）；Tampere University（坦佩雷大学）
针对声学场景分类在线域增量学习的遗忘问题，提出仅用少量样本修正模型批量归一化层统计量的方法，在11个位置的实验中准确率达48.8%，优于微调方法且无遗忘。
2024-06-19 cs.SD eess.AS
CochlScene: Acquisition of acoustic scene data using crowdsourcing
Cochl, Inc.（科克尔公司）
本文描述了一种通过众包收集声学场景数据的管道。解释了众包的详细过程，包括规划，验证标准和实际的用户界面。作为数据收集的结果，我们提出了CochlScene，一个新的数据集声学场景分类。我们的数据集包括从13个声学场景中的831名参与者收集的76k个样本。我们还提出了一个手动数据分割的训练，验证和测试集，以提高评估结果的可靠性。最后，我们为未来的研究提供了一个基线系统。
2022-11-04 cs.SD eess.AS
Joint Analysis of Sound Events and Acoustic Scenes Using Multitask Learning
Ritsumeikan University（立命馆大学）；Doshisha University（同志社大学）
声音事件检测和声场景分类是环境声音分析中的重要研究课题。许多研究小组已经使用基于神经网络的方法来解决SED和ASC，例如卷积神经网络（CNN）、递归神经网络（RNN）和卷积递归神经网络（CRNN）。传统的方法分别解决SED和ASC，即使声音事件和声学场景彼此密切相关。例如，在声学场景“办公室”中，可能发生声音事件“鼠标点击”和“键盘键入”。因此，预计有关声音事件和声学场景的信息将对SED和ASC相互帮助。在本文中，我们提出了多任务学习的声音事件和声学场景的联合分析，其中的部分网络持有的信息，声音事件和声学场景中的共同共享。使用TUT Sound Events 2016/2017和TUT Acoustic Scenes 2016数据集获得的实验结果表明，与传统的方法相比，所提出的方法在F-score方面分别将SED和ASC的性能提高了1.31和1.80个百分点。基于CRNN的方法。
2020-10-16 cs.SD eess.AS
Hierarchical Pooling Structure for Weakly Labeled Sound Event Detection
Department of Electronic Engineering, Tsinghua University, Beijing 100084, China（电子工程系，清华大学，北京100084，中国）
本文提出一种无需增加参数的分层池化结构，用于提升弱标注声音事件检测性能，并在DCASE 2017任务4上取得有竞争力的结果。
2019-11-28 cs.SD eess.AS
Multi-dimensional Edge-based Audio Event Relational Graph Representation Learning for Acoustic Scene Classification
Ghent University（根特大学）；University of Cambridge（剑桥大学）；University of Manchester（曼彻斯特大学）；Baidu Inc.（百度公司）；University of Surrey（萨里大学）
大多数现有的基于深度学习的声学场景分类（ASC）方法直接利用从频谱图中提取的表示来识别目标场景。然而，这些方法很少关注发生在场景中的音频事件，尽管它们提供了重要的语义信息。本文进行的第一项研究，调查是否可以可靠地识别现实生活中的声学场景的基础上，描述了有限数量的音频事件的功能。为了对粗粒度声学场景和细粒度音频事件之间的任务特定关系进行建模，我们提出了一个用于ASC的事件关系图表示学习（ERGL）框架。具体而言，ERGL从输入音频中学习声学场景的图形表示，其中每个事件的嵌入被视为节点，而从每对事件嵌入中导出的关系线索由学习的多维边缘特征描述。在一个复调声学场景数据集上的实验表明，所提出的ERGL在ASC上实现了有竞争力的性能，只使用有限数量的音频事件嵌入，而没有任何数据增强。该框架的有效性证明了基于事件关系图的声学场景识别的可行性。我们的代码可以在我们的主页上找到（https：//github.com/Yuanbo2020/ERGL）。
2022-11-01 cs.SD eess.AS
Spatio-Temporal Attention Pooling for Audio Scene Classification
University of Kent（肯特大学）；University of Oxford（牛津大学）
声学场景在其内容上是丰富和冗余的。在这项工作中，我们提出了一个时空注意力池层与卷积递归神经网络相结合，以从有区别的模式中学习，同时抑制那些与声学场景分类无关的模式。该网络中的卷积层从时频输入中学习不变特征。然后，双向递归层能够对所得卷积特征的时间动态进行编码。然后，通过从两个指定的注意力层学习的空间和时间注意力向量的外积形成二维注意力掩码，以加权并将递归输出汇集到最终的特征向量中用于分类。该网络的训练与类间数据增强产生的类间的例子。实验表明，该方法不仅优于一个强大的卷积神经网络基线，但也设置了新的国家的最先进的性能LITIS鲁昂数据集。
2019-06-28 cs.LG cs.SD eess.AS
Relation-guided acoustic scene classification aided with event embeddings
Ghent University（根特大学）
在现实生活中，声学场景和音频事件自然相关。人类本能地依赖于细粒度的音频事件以及整体声音特征来区分不同的声学场景。然而，大多数先前的方法将声学场景分类（ASC）和音频事件分类（AEC）视为两个独立的任务。一些关于场景和事件联合分类的研究要么使用与真实世界几乎不匹配的合成音频数据集，要么简单地使用多任务框架同时执行两个任务。这两种方法都没有充分利用细粒度事件和粗粒度场景之间的内在联系。为此，本文提出了一个关系引导的ASC（RGASC）模型，以进一步开发和协调的场景和事件识别的互惠互利的场景和事件的关系。TUT Urban Acoustic Scenes 2018数据集（TUT 2018）通过简单高效的音频相关预训练模型PANN（最先进的AEC模型之一）使用事件的伪标签进行注释。然后，先验场景-事件关系矩阵被定义为每个场景类中每个事件类型存在的平均概率。最后，双塔RGASC模型在真实数据集TUT 2018上进行联合训练，用于场景和事件分类。取得了以下成果。1)RGASC有效地协调了粗粒度场景的真实信息和细粒度事件的伪信息。2)在先验场景-事件关系的指导下从伪标签学习的事件嵌入有助于减少相似声学场景之间的混淆。3)与其他（非集成）方法相比，RGASC提高了对真实数据集的场景分类精度。
2022-05-01 cs.SD eess.AS
Acoustic Scene Classification Using Multichannel Observation with Partially Missing Channels
Doshisha University（同志社大学）
使用智能手机或物联网设备录制的声音通常会有部分不可靠的观测结果，这些观测结果是由削波、风噪声以及由于麦克风故障和网络数据传输中的数据包丢失而导致的完全缺失部分造成的。在本文中，我们调查的影响，部分缺失的通道上的声学场景分类的性能，使用多通道音频记录，特别是分布式麦克风阵列。观测数据缺失不仅会导致声源时频和空间信息的丢失，还会导致训练模型与评估数据之间的不匹配。因此，我们研究如何丢失的通道影响声学场景分类的性能详细。我们还提出了简单的数据增强方法，场景分类使用多通道观测与部分丢失的通道，并使用数据增强方法的场景分类性能进行评估。
2021-05-05 cs.SD eess.AS
Sound Event Detection by Multitask Learning of Sound Events and Scenes with Soft Scene Labels
Ritsumeikan University（立命馆大学）；NTT Media Intelligence Laboratories（NTT媒体智能实验室）
声音事件检测和声场景分类是环境声音分析的主要任务。考虑到声音事件和场景之间的紧密联系，一些研究工作提出了基于多任务学习（MTL）的声音事件和声场景的联合分析，其中声音事件和场景的知识可以帮助它们相互估计。传统的基于MTL的方法利用单热场景标签来训练声音事件和场景之间的关系;因此，传统的方法不能对声音事件和场景相关的程度进行建模。然而，在现实环境中，常见的声音事件可能发生在某些声学场景中;另一方面，一些声音事件仅发生在有限的声学场景中。因此，在本文中，我们提出了一种新的方法SED的基础上MTL的SED和ASC使用软标签的声学场景，这使我们能够模拟的程度，声音事件和场景相关。使用TUT Sound Events 2016/2017和TUT Acoustic Scenes 2016数据集进行的实验表明，与传统的基于MTL的SED相比，所提出的方法将SED性能提高了3.80%。
2020-02-14 cs.SD eess.AS
Acoustic Scene Clustering Using Joint Optimization of Deep Embedding Learning and Clustering Iteration
针对新兴的声学场景聚类问题，提出一种联合优化深度CNN嵌入学习与AHC聚类迭代的方法，通过统一损失函数整合优化，实验显示其在归一化互信息和聚类准确率上优于现有无监督方法及主流特征。
2023-06-09 cs.SD eess.AS
Analysis Acoustic Features for Acoustic Scene Classification and Score fusion of multi-classification systems applied to DCASE 2016 challenge
Korea University（高丽大学）；Office of Naval Research（美国海军研究办公室）
本文描述了一种声学场景分类方法，该方法在2016年IEEE AASP挑战声学场景和事件的检测和分类中获得了第四名的成绩。为了完成后续的任务，本文从特征提取、特征变换和得分融合三个方面进行了研究。在特征提取部分，研究了几种有效的声场景分类特征。为了解决同一个声音在不同的地方可以听到的问题，一个特征变换应用于更好地分离分类。从这些，几个系统的基础上不同的功能集设计分类。最终的结果是通过融合各个系统来确定的。通过使用挑战数据库进行的实验证明和验证了该方法。
2018-07-13 cs.SD eess.AS
Joint Analysis of Acoustic Scenes and Sound Events Based on Multitask Learning with Dynamic Weight Adaptation
Doshisha University（同志社大学）
声场景分类（ASC）和声音事件检测（SED）是环境声分析中的重要课题。考虑到声学场景和声音事件之间的紧密联系，在以往的一些工作中提出了使用基于多任务学习（MTL）的神经网络对声学场景和声音事件进行联合分析。传统方法使用具有恒定权重的ASC和SED损失函数的线性组合来训练基于MTL的模型。然而，传统的基于MTL的方法的性能强烈地依赖于ASC和SED损失的权重，并且难以确定ASC和SED的MTL损失的恒定权重之间的适当平衡。因此，在本文中，我们提出了动态权重自适应方法的ASC和SED的MTL的动态权重平均和多焦点损失的基础上自动调整学习权重。使用TUT Acoustic Scenes 2016/2017和TUT Sound Events 2016/2017的部分进行了评估实验，我们表明，与传统的基于MTL的方法相比，所提出的方法提高了场景分类和事件检测的性能特征。然后，我们研究了ASC和SED任务的学习权重如何随着模型训练的进展而动态适应。
2022-06-21 cs.SD eess.AS
Domain Mismatch Robust Acoustic Scene Classification using Channel Information Conversion
Clova AI Research, Naver Corp.（NAVER公司Clova人工智能研究院）；MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
在最近的声学场景分类（ASC）研究领域中，训练和测试设备通道失配已经成为现实世界实现的问题。为了解决这个问题，本文提出了一种信道域转换使用因式分解分层变分自编码器。所提出的方法使源域和目标域都适应于预定义的特定域。与传统的方法不同，在自适应过程中不需要目标和源域之间的关系以及每个域的信息。基于IEEE检测和分类声学场景和事件2018任务1-B数据集和基线系统的实验结果，表明所提出的方法可以缓解不同记录设备的通道失配问题。
2018-12-04 cs.SD eess.AS
Cross-task pre-training for on-device acoustic scene classification
Didi Chuxing（滴滴出行）
声场景分类（ASC）和声事件检测（AED）是两个不同但又相关的任务。声学事件可以为声学场景的识别提供有用的信息。然而，大多数数据集都没有提供声学事件或场景标签。为了利用声事件信息来提高ASC任务的性能，我们提出了跨任务预训练机制，该机制利用来自预训练的AED模型的声事件信息用于ASC任务。另一方面，大多数模型都是在计算资源丰富的平台上设计和实现的，在设备上的应用有限。为了解决这个问题，我们使用模型蒸馏方法来压缩我们的跨任务模型，使设备上的声学场景分类。在本文中，跨任务模型及其学生模型在两个数据集上进行了训练和评估：TAU Urban Acoustic Scenes 2019数据集和TUT Acoustic Scenes 2017数据集。实验结果表明，跨任务预训练机制可以显著提高ASC任务的绩效。与官方基线相比，我们最好的模型在TAU Urban Acoustic Scenes 2019数据集中的性能提高了9.5%，在TUT Acoustic Scenes 2017数据集中也提高了10%。同时，学生模型的表现要比没有教师的模型好得多。
2020-10-24 cs.LG cs.SD eess.AS
An Acoustic Segment Model Based Segment Unit Selection Approach to Acoustic Scene Classification with Partial Utterances
Georgia Institute of Technology（佐治亚理工学院）；University of Enna（恩纳大学）；Tencent Corporation（腾讯公司）；University of Science and Technology of China（中国科学技术大学）
在本文中，我们提出了一个子话语单元选择框架，以消除音频记录中的声学片段，进行声学场景分类（ASC）的信息很少。我们的方法是建立在一组通用的声学段单元覆盖整个声学场景空间。首先，这些单元被建模与声学段模型（ASMs）用于标记声学场景话语成序列的声学段单元。其次，与信息检索中的停用词的思想并行，自动检测停用ASMs。最后，与停止ASM相关联的声学段被阻止，因为它们在大多数声学场景的检索中的索引能力低。与用整个话语构建场景模型相比，ASM去除的子话语，即，然后，没有停止声学段的声学话语被用作AlexNet-L后端的输入，用于最终分类。在DCASE 2018数据集上，场景分类准确率从68%（整个话语）提高到72.1%（片段选择）。这表示在没有任何数据增强和/或集成策略的情况下具有竞争力的准确性。此外，我们的方法与AlexNet-L相比更受关注。
2020-07-31 cs.CL cs.SD eess.AS
Audio Event-Relational Graph Representation Learning for Acoustic Scene Classification
Ghent University（根特大学）；University of Leicester（莱斯特大学）；University College London（伦敦大学学院）；University of Surrey（萨里大学）
针对现有声学场景分类方法可解释性不足的问题，提出基于音频事件关系图的表示学习框架ERGL，以事件嵌入为节点、多维边特征表征关系，仅用少量音频事件嵌入学习就在真实数据集上取得有竞争力的分类性能，同时可明确解释分类线索。
2023-10-05 cs.SD eess.AS
Instance-level loss based multiple-instance learning framework for acoustic scene classification
Hanyang University（汉阳大学）
在声学场景分类（ASC）任务中，声学场景由不同的声音组成，并通过识别其中不同属性的组合来推断。本研究的目的是使用一个改进的多实例学习（MIL）框架，有效地提取和聚类这些属性的ASC。被称为弱监督学习方法的MIL是用于从构成输入音频剪辑的帧束中提取实例并且使用这些未标记的实例来推断与输入数据相对应的场景的策略。然而，许多研究指出了MIL的低估问题。在这项研究中，我们开发了一个更适合ASC系统的MIL框架，通过定义实例级标签和损失，有效地提取和聚类实例。此外，我们设计了一个完全分离的卷积模块，这是一个轻量级的神经网络，包括逐点，频侧dependency，和时间侧dependency卷积滤波器。结果表明，与vanilla MIL相比，置信度和阳性实例的比例显着增加，克服了低估问题，并将分类准确率提高了11%。该系统在TAU城市声学场景2019年和2020年移动数据集上分别实现了81.1%和72.3%的性能，参数为139 K。特别是，它在TAU城市声学场景2019数据集上具有1M参数的系统中实现了最高性能。
2022-06-30 cs.SD eess.AS
CAA-Net: Conditional Atrous CNNs with Attention for Explainable Device-robust Acoustic Scene Classification
University of Augsburg（奥格斯堡大学）；University of Surrey（萨里大学）；ByteDance AI Lab（字节跳动人工智能实验室）；University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）
声学场景分类（ASC）的目的是对音频信号记录的环境进行分类。最近，卷积神经网络（CNN）已成功地应用于ASC。然而，用多个设备记录的音频信号的数据分布是不同的。关于在用多个设备记录的声学场景数据集上训练鲁棒神经网络以及解释神经网络的内部层的操作的研究很少。在本文中，我们专注于在多设备声学场景数据上训练和解释设备鲁棒CNN。我们提出了有条件的atrous CNN，注意多设备ASC。我们提出的系统包含一个ASC分支和一个设备分类分支，两者都由CNN建模。我们可视化和分析atrous CNN的中间层。采用时频注意力机制来分析CNN中特征图的每个时频点的贡献。在声学场景和事件的检测和分类（DCASE）2018 ASC数据集上，使用三种设备记录，我们提出的模型的性能明显优于在单设备数据上训练的CNN。
2020-11-18 cs.SD eess.AS
Cross-modal Spectrum Transformation Network For Acoustic Scene classification
Microsoft（微软公司）
具有对数梅尔谱特征的卷积神经网络（CNN）在声学场景分类任务中表现出了良好的效果。然而，这些基于CNN的分类器的性能仍然缺乏，因为它们不能很好地概括未知的环境。为了解决这个问题，我们引入了一个声学频谱转换网络，传统的对数梅尔频谱转换成想象的视觉特征（IVF）。通过利用视频记录中存在的音频和视觉特征之间的关系来学习想象的视觉特征。自动编码器用于将图像编码为视觉特征，转换网络学习如何从log-mel生成想象的视觉特征。我们的模型是在一个大型的Youtube视频数据集上训练的。我们在DCASE和ESC-50的场景分类任务上测试了我们提出的方法，我们的方法优于其他光谱特征，特别是对于看不见的环境。
2021-08-13 cs.SD eess.AS
Characterizing dynamically varying acoustic scenes from egocentric audio recordings in workplace setting
University of Southern California（南加州大学）
能够对声学场景进行检测和分类的设备具有许多应用，诸如提供上下文感知的用户体验。在本文中，我们解决的任务，从可穿戴麦克风收集的录音在工作场所设置的声学场景的特征。声学场景，跟踪与蓝牙收发器，动态变化与时间从自我中心的角度来看，移动用户。我们的数据集包含从医院的临床提供者收集的经验采样长音频记录，他们在多个轮班期间佩戴音频徽章。为了处理长时间的自我中心记录，我们提出了一个基于时间延迟神经网络（TDNN）的分段级建模。实验表明，TDNN在声学场景分类任务中优于其他模型。我们调查的影响，主要发言人的讲话确定声学场景从音频徽章，并提供了不同的模型之间的性能比较。此外，我们探讨了用户所经历的声学场景的序列和他们的工作性质之间的关系，并发现我们的模型预测的场景序列往往具有类似的关系。初步的有希望的结果揭示了许多研究方向的声学场景分类通过可穿戴设备以及自我中心的分析，动态声学场景中遇到的用户。
2019-11-10 cs.LG cs.SD eess.AS
A Low-Compexity Deep Learning Framework For Acoustic Scene Classification
Austrian Institute of Technology（奥地利技术研究所）；Hongik University（弘益大学）
在本文中，我们提出了一个低复杂度的深度学习框架的声学场景分类（ASC）。所提出的框架可以分为三个主要步骤：前端谱图提取，后端分类和预测概率的后期融合。首先，我们使用Mel滤波器，Gammatone滤波器和常数Q转换（CQT）的原始音频信号转换成频谱图，其中的频率和时间的特征。然后，三个频谱图被馈送到三个单独的后端卷积神经网络（CNN）中，分类为十个城市场景。最后，对从三个CNN获得的三个预测概率进行后期融合，以获得最终的分类结果。为了降低我们提出的CNN网络的复杂性，我们应用了两种模型压缩技术：模型限制和分解卷积。我们在DCASE 2021（IEEE AASP Challenge on Detection and Classification of Acoustic Scenes and Events）Task 1A开发数据集上进行了大量实验，实现了一个低复杂度的基于CNN的框架，具有128 KB的可训练参数和66.7%的最佳分类准确率，将DCASE基线提高了19.0%
2021-06-12 cs.SD eess.AS
ACGAN-based Data Augmentation Integrated with Long-term Scalogram for Acoustic Scene Classification
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
在声学场景分类中，声学特征在提取场景信息中起着至关重要的作用，场景信息可以存储在不同的时间尺度上。此外，数据集的有限大小可能会导致有偏见的模型，对于来自看不见的城市和令人困惑的场景类的记录性能较差。为了克服这一点，我们提出了一个长期的小波功能，需要一个较低的存储容量，可以更快，更准确地分类与经典的梅尔滤波器组系数（FBank）。该特征可以用类似于FBank的预定义小波尺度来提取。此外，一种新的数据增强方案的基础上生成的对抗性神经网络与辅助分类器（ACGANs）的ASC系统，以提高推广。该方案包含ACGAN和样本过滤器，通过分裂数据集，训练ACGAN并随后过滤样本来迭代地扩展数据库。实验是在来自声学场景和事件的检测和分类（DCASE）挑战的数据集上进行的。DCASE19数据集上的结果表明，与经典的FBank分类器相比，所提出的技术的性能有所改善。此外，所提出的融合系统在DCASE19竞赛中获得了第一名，并超过了DCASE17数据集的最高精度。
2020-05-27 cs.SD eess.AS
Acoustic Scene Classification Using Bilinear Pooling on Time-liked and Frequency-liked Convolution Neural Network
Xylem Inc（赛莱默公司）；Newcastle University（纽卡斯尔大学）
当前处理声学场景分类（ASC）任务的方法可以描述为两个步骤，将音频波形预处理成对数梅尔频谱图，然后将其用作卷积神经网络（CNN）的输入表示。这种范式转变发生在DCASE 2016之后，该框架模型在（ESC-50）数据集上实现了ASC任务的最新结果，并实现了64.5%的准确度，比基线模型提高了20.5%，DCASE 2016数据集的准确度为90.0%（开发）和86.2%（评估），分别比基线系统提高了6.4%和9%。本文探讨了利用谐波和谐波源分离（HPSS）将音频分离为谐波音频和谐波音频的方法，该方法在音乐信息检索（MIR）领域得到了广泛的应用。虽然已经在ASC任务中使用HPSS作为CNN模型的输入表示方面做了工作，但是本文进一步研究了通过策展2个CNN来利用分离的谐波分量和谐波分量的可能性，所述2个CNN试图以其自然形式理解谐波音频和谐波音频，一个专门用于在时间偏置域中提取深度特征，另一个专门用于在频率偏置域中提取深度特征，分别然后，从这2个CNN中提取的深度特征将使用双线性池进行组合。因此，提出了一种时频双流CNN结构的声学场景分类方法。该模型正在DCASE 2019子任务1a数据集上进行评估，并在开发数据集Kaggle Leadership Private and Public Board上平均得分为65%。
2020-02-14 cs.LG cs.SD eess.AS
Unsupervised Adversarial Domain Adaptation Based On The Wasserstein Distance For Acoustic Scene Classification
Tampere University（坦佩雷大学）
基于深度学习的机器监听领域中的一个具有挑战性的问题是当使用来自不可见条件的数据时性能的下降。在本文中，我们专注于声学场景分类（ASC）任务，并提出了一种对抗性的深度学习方法，允许适应声学场景分类系统，以处理由不同记录设备捕获的数据产生的新声道。我们建立在HΔ H距离的理论模型和先前的ASC无监督领域自适应的对抗性判别深度学习方法的基础上，并提出了一种使用Wasserstein距离的基于对抗性训练的方法。我们使用TUT Acoustic Scenes数据集，将来自未知条件的数据的最先进平均准确度从32%提高到45%。
2019-11-06 cs.LG cs.SD eess.AS
SubSpectralNet - Using Sub-Spectrogram based Convolutional Neural Networks for Acoustic Scene Classification
National University of Singapore（新加坡国立大学）；Queen Mary University of London（伦敦玛丽女王大学）；The Alan Turing Institute（艾伦·图灵研究所）
声场景分类是计算声景物分析领域的核心研究问题之一。在这项工作中，我们提出了SubSpectralNet，一种新的模型，它通过将频带电平差异模型音景捕捉歧视性的功能。使用梅尔频谱图，我们提出了使用输入时频表示的逐带作物的想法，并在同一时间上训练卷积神经网络（CNN）。我们还提出了一种改进的训练方法，以更有效地学习CNN模型。我们首先给出了一个动机，使用子频谱图通过直观和统计分析，最后我们开发了一个子频谱图为基础的CNN架构ASC。该系统在为“声学场景和事件的检测和分类”（DCASE）2018挑战赛提供的公共ASC开发数据集上进行评估。我们的最佳模型在分类准确性方面比DCASE 2018基线系统提高了+14%。代码和数字可在https://github.com/ssrp/SubSpectralNet上获得
2019-02-25 cs.SD eess.AS
Multi-Temporal Resolution Convolutional Neural Networks for Acoustic Scene Classification
Austrian Institute of Technology（奥地利技术研究所）；Vienna University of Technology（维也纳工业大学）
在本文中，我们提出了一种用于声学场景分类任务的深度神经网络架构，该架构利用来自Mel频谱图片段的时间分辨率增加的信息。该架构由独立的并行卷积神经网络组成，该网络学习每个输入分辨率的频谱和时间表示。选择分辨率以覆盖场景的频谱纹理的细粒度特征以及其声学事件的分布。该模型比性能最好的单分辨率模型有3.56%的绝对改进，比DCASE 2017声学场景分类任务基线有12.49%的绝对改进。
2018-11-11 cs.MM cs.SD eess.AS
Robust Acoustic Scene Classification using a Multi-Spectrogram Encoder-Decoder Framework
University of Kent（肯特大学）；Graz University of Technology（格拉茨理工大学）；University of Lubeck（吕贝克大学）；University of Science and Technology of China（中国科学技术大学）
本文提出了一种用于声学场景分类（ASC）的编码器-解码器网络模型，ASC的任务是从音频记录的声学签名中识别出音频记录的场景。我们在前端使用多个低级频谱图特征，通过训练有素的CNN-DNN前端编码器转换为更高级别的特征。然后，高级特征及其组合（经由经训练的特征组合器）被馈送到不同的解码器模型中，用于后端分类，所述解码器模型包括随机森林回归、DNN和专家的混合专家模型。我们报告了广泛的实验来评估该框架在各种ASC数据集上的准确性，包括LITIS Rouen和IEEE AASP声学场景和事件检测和分类挑战赛（DCASE）2016年任务1，2017年任务1，2018年任务1A和1B以及2019年任务1A和1B。实验结果突出了两个主要贡献;第一个是通过新颖的C-DNN架构编码器网络从多频谱图输入中进行高级特征提取的有效方法，第二个是所提出的解码器，该解码器使框架能够在各种数据集上实现有竞争力的结果。事实上，一个单一的框架是高度竞争的几个不同的挑战是一个指标，其鲁棒性执行一般ASC任务。
2020-02-11 cs.SD eess.AS
DD-CNN: Depthwise Disout Convolutional Neural Network for Low-complexity Acoustic Scene Classification
Jiangnan University（江南大学）；University of Surrey（萨里大学）；ByteDance AI Lab（字节跳动人工智能实验室）
本文提出了一种用于城市声场景检测和分类的依赖性Disout卷积神经网络（DD-CNN）。具体来说，我们使用log-mel作为我们网络输入的声学信号的特征表示。在所提出的DD-CNN中，使用深度可分离卷积来降低网络复杂度。此外，SpecAugment和Disout用于进一步提高性能。实验结果表明，我们的DD-CNN可以从音频片段中学习有区别的声学特征，并有效地降低了网络的复杂度。我们的DD-CNN被用于DCASE 2020挑战赛的低复杂度声学场景分类任务，在验证集上达到了92.04%的准确率。
2020-07-25 cs.LG cs.SD eess.AS
Improving Acoustic Scene Classification with City Features
IEEE Publication Technology Group（IEEE出版技术组）
针对现有声学场景分类方法忽略城市特有声学特征的问题，提出City2Scene框架，通过知识蒸馏将预训练城市分类模型的城市知识迁移到场景分类模型，在DCASE Challenge Task 1数据集上验证了其对多种轻量CNN骨干的准确率提升效果。
2025-06-13 cs.CV cs.SD eess.AS
Incremental Learning of Acoustic Scenes and Sound Events
Tampere University（坦佩雷大学）
本研究针对声学场景分类与音频标注的增量学习中存在的灾难性遗忘问题，提出结合独立学习与知识蒸馏的CNN增量学习方法，在TUT 2016/2017数据集上验证了其在保留旧任务性能的同时学习新任务的有效性。
2023-08-24 cs.SD eess.AS
Towards Audio Domain Adaptation for Acoustic Scene Classification using Disentanglement Learning
Fraunhofer IDMT（弗劳恩霍夫数字媒体技术研究所）；International Audio Laboratories（国际音频实验室）
在现实生活中的应用中，机器监听算法的部署经常受到例如由不同麦克风特性引起的域偏移的阻碍。本文提出了一种基于解纠缠学习的域自适应策略。我们的目标是在分析的音频记录中解开特定于任务和特定于领域的特征。特别是，我们结合了两种策略：首先，我们将不同的二进制掩码应用于内部嵌入表示，其次，我们提出了一种新的分类交叉熵和基于方差的损失的组合。我们的研究结果证实了这两个任务在嵌入水平上的解纠缠，但在声学场景分类性能方面只有微小的改善，当可以使用来自这两个域的训练数据时。作为第二个发现，我们可以确认最先进的无监督域自适应策略的有效性，该策略在特征级别上执行跨域自适应。
2021-10-26 cs.SD eess.AS
Acoustic Scene Classification Using Fusion of Attentive Convolutional Neural Networks for DCASE2019 Challenge
Brno University of Technology（布尔诺理工大学）；IT4I Center of Excellence（IT4I卓越中心）
在本报告中，布尔诺理工大学（BUT）团队提交了DCASE-2019挑战的任务1（声学场景分类，ASC）。并对不同方法进行了分析。该方法融合了三种不同的卷积神经网络（CNN）拓扑结构。第一种是类似于VGG的二维CNN。第二个是二维CNN网络，它使用最大特征图激活，称为Light-CNN（LCNN）。第三种网络是一维CNN，主要用于说话人确认，称为x-向量拓扑。所有提出的网络使用自注意机制的统计池。作为一个功能，我们使用256维对数梅尔频谱图。我们的提交是使用不同融合策略在4倍生成的评估设置上训练的几个网络的融合。
2019-07-13 cs.SD eess.AS
Joint Analysis of Acoustic Scenes and Sound Events Based on Semi-Supervised Training of Sound Events With Partial Labels
Graduate School of Informatics, Kyoto University, Japan（信息学研究生院，京都大学，日本）
针对声音事件标注成本高的问题，提出利用声学场景信息构建部分标签的多任务联合分析框架，并结合半监督训练与自蒸馏标签精炼方法，平衡标注成本与检测性能。
2025-10-29 cs.SD eess.AS
DCASE 2017 Task 1: Acoustic Scene Classification Using Shift-Invariant Kernels and Random Features
Carnegie Mellon University（卡内基梅隆大学）
声学场景记录由不同类型的手工制作或神经网络衍生特征表示。这些特征通常具有数千个维度，在现有技术的方法中使用核机器（诸如支持向量机（SVM））来分类。然而，训练这些方法的复杂性随着这些输入特征的维数和数据集的大小而增加。一种解决方案是将输入特征映射到随机化的低维特征空间。所得到的随机特征可以用更快的线性核计算来近似非线性核。在这项工作中，我们计算了一组6，553个输入特征，并使用它们来计算随机特征，以近似三种类型的内核，高斯，拉普拉斯和柯西。我们比较了它们的性能使用SVM的背景下的DCASE任务1 -声学场景分类。实验表明，输入和随机特征的性能都比DCASE基线高出4%。此外，随机特征在性能损失最小的情况下将输入的维度减少了三倍以上，并且减少了六倍以上，并且仍然优于基线。因此，随机特征可以由现有技术的方法来计算低存储特征并执行更快的内核计算。
2018-01-08 cs.SD eess.AS
Joint Feature and Output Distillation for Low-complexity Acoustic Scene Classification
Smart Nation TRANS Lab, Nanyang Technological University, Singapore（智能国家TRANS实验室，南洋理工大学，新加坡）；Institute of Acoustics, Chinese Academy of Sciences, Beijing, China（声学研究所，中国科学院，北京，中国）
面向 DCASE2025 Task 1 低复杂度 ASC，提出多教师双层知识蒸馏框架，联合迁移软 logits 与中间特征，使 CP-Mobile 学生模型最高达到 59.30% 准确率。
2025-07-25 cs.SD eess.AS
Robust Acoustic Scene Classification in the Presence of Active Foreground Speech
Ghent University（根特大学）；imec（比利时微电子研究中心）
我们提出了一个基于iVector的声学场景分类（ASC）系统，适用于现实生活中的设置，积极的前景语音可以存在。在所提出的系统中，每个记录由固定长度的iVector表示，该iVector对记录的重要属性进行建模。使用具有类特定协方差模型的正则化高斯后端分类器从这些iVectors中提取相关的声学场景信息。为了减轻大的性能下降时，前景扬声器占主导地位的捕获的信号，我们调查使用的iVector框架梅尔频率倒谱系数（MFCC），来自噪声功率谱密度的估计。可以针对单通道记录以统计方式提取该噪声基底。我们表明，使用本底噪声特征是对多条件训练的补充，在多条件训练中，将前景语音添加到训练信号中，以减少训练和测试条件之间的不匹配。在DCASE 2016 Task 1数据集上的实验结果表明，基于本底噪声的特征和多条件训练在最不利的条件下实现了高达25个百分点（绝对值）的显著分类准确率增益。这些有前途的结果可以进一步促进ASC在资源受限的设备，如助听器的集成。
2021-08-02 cs.SD eess.AS
A Compact and Discriminative Feature Based on Auditory Summary Statistics for Acoustic Scene Classification
Harbin Institute of Technology（哈尔滨工业大学）；Harbin Normal University（哈尔滨师范大学）
声学场景分类（ASC）的最大挑战之一是找到合适的特征来更好地表示和表征环境声音。环境声音通常涉及更多的声源，同时在时间谱表示中表现出较少的结构。然而，声学场景的背景在声学特性上表现出时间均匀性，这表明它可以由分布统计而不是时间细节来表征。在这项工作中，我们研究了使用听觉摘要统计作为ASC任务的功能。灵感来自最近的一项神经科学研究，该研究表明人类听觉系统倾向于通过时间平均统计来感知声音纹理。在此基础上，我们进一步提出了利用线性判别分析来消除统计量之间的冗余，同时保留判别信息，从而为声学场景提供了一种极为紧凑的表示方法。实验结果表明，所提出的功能比传统的手工制作的功能的突出表现。
2019-04-10 cs.SD eess.AS eess.SP
Convolutional Neural Networks and x-vector Embedding for DCASE2018 Acoustic Scene Classification Challenge
Brno University of Technology（布尔诺理工大学）；IT4I Center of Excellence（IT4I卓越中心）
本文介绍了布尔诺理工大学（BUT）团队提交的DCASE-2018挑战赛任务1（声学场景分类，ASC）。此外，对不同的方法在排行榜上的设置提供了分析。该方法融合了两种不同的卷积神经网络（CNN）拓扑结构。第一种是常见的二维CNN，主要用于图像分类。第二种是一维CNN，用于提取固定长度的音频段嵌入，即所谓的x向量，其也已用于语音处理，特别是用于说话人识别。除了不同的拓扑结构，两种类型的功能进行了测试：日志梅尔频谱图和CQT功能。最后，不同系统的输出融合使用一个简单的输出平均在性能最好的系统。在ASC子任务A（task 1a）的24个团队中，我们的提交排名第三。
2018-10-01 cs.SD eess.AS
Low-complexity CNNs for Acoustic Scene Classification
Centre for Vision, Speech and Signal Processing (CVSSP)（视觉、语音与信号处理中心（CVSSP））；University of Surrey（萨里大学）
本技术报告描述了SurreyAudioTeam22提交的DCASE 2022 ASC任务1，低复杂度声学场景分类（ASC）。该任务有两个规则，（a）ASC框架应该具有最大128K参数，以及（b）每个推理最多应该有3000万次乘法累加运算（MAC）。在这份报告中，我们提出了低复杂度的系统，遵循规则的任务。
2022-08-02 cs.LG cs.SD eess.AS
Binaural Signal Representations for Joint Sound Event Detection and Acoustic Scene Classification
Tampere University（坦佩雷大学）
声音事件检测和声学场景分类是两个被广泛研究的音频任务，是声景物分析研究的重要组成部分。考虑到声音事件和声学场景之间的共享信息，联合执行这两项任务是复杂机器收听系统的自然部分。在本文中，我们研究了几种空间音频特征在训练执行SED和ASC的联合深度神经网络（DNN）模型中的有用性。实验进行两个不同的数据集，包含双耳录音和同步的声音事件和声学场景标签，以分析单独或联合执行SED和ASC之间的差异。所提出的结果表明，使用特定的双耳功能，主要是广义互相关相位变换（GCC-PHAT）和正弦和余弦的相位差，导致在单独的和联合的任务相比，基线方法的基础上logmel能量只有一个更好的表现模型。
2022-09-13 cs.CV cs.LG cs.SD
Deep Space Separable Distillation for Lightweight Acoustic Scene Classification
South China University of Technology（华南理工大学）
本文针对声学场景分类模型不够轻量且性能不足的问题，提出深度空间可分离蒸馏网络，通过对数梅尔频谱高低频分解和三种轻量级可分离卷积算子，在降低参数量与计算复杂度的同时实现9.8%的性能提升。
2024-05-06 cs.AI cs.SD eess.AS
Acoustic Scene Classification by Implicitly Identifying Distinct Sound Events
Harbin Institute of Technology（哈尔滨工业大学）；Harbin Normal University（哈尔滨师范大学）
在本文中，我们提出了一种新的策略，声学场景分类（ASC），即识别声学场景通过识别不同的声音事件。这与现有的策略不同，现有的策略专注于表征音频的全局声学分布或短期音频特征的时间演变，而不分析声音事件的水平。为了识别每个场景的不同声音事件，我们在多实例学习（MIL）框架中制定ASC，其中每个音频记录被映射到一个实例包表示。在这里，实例可以被视为场景内声音事件的高级表示。我们还提出了一个MIL神经网络模型，它隐含地识别不同的实例（即，声音事件）。此外，我们提出了两个专门设计的模块，分别模拟声音事件的多时间尺度和多模态性质。实验是在DCASE2018任务1子任务B的官方开发集上进行的，我们的最佳模型在分类准确率方面比官方基线提高了9.4%（68.3% vs 58.9%）。这项研究表明，通过识别不同的声音事件来识别声学场景是有效的，并为未来的研究铺平了道路，将这种策略与以前的。
2019-04-27 cs.LG cs.SD eess.AS
Robust, General, and Low Complexity Acoustic Scene Classification Systems and An Effective Visualization for Presenting a Sound Scene Context
Austrian Institute of Technology（奥地利技术研究所）；University of Technology, Austria（奥地利技术大学）；Da Nang University（岘港大学）；University of Technology of Compiègne（贡比涅技术大学）
在本文中，我们提出了一个全面的分析声学场景分类（ASC），识别现场的音频记录从其声学签名的任务。特别是，我们首先提出了一个基于初始和低足迹的ASC模型，称为ASC基线。然后将拟议的ASC基线与MobileNetV 1、MobileNetV 2、VGG 16、VGG 19、ResNet 50 V2、ResNet 152 V2、DenseNet 121、DenseNet 201和Xception的基准和高复杂度网络架构进行比较。接下来，我们通过提出一种新的深度神经网络架构来改进ASC基线，该架构利用了残差初始架构和多个内核。给出了新的残差初始（NRI）模型，我们进一步评估了模型复杂性和模型精度性能之间的权衡。最后，我们评估是否发生在声音场景记录的声音事件可以帮助提高ASC的准确性，然后指出如何结合声音场景和声音事件信息的声音场景上下文很好地呈现。我们对各种ASC数据集进行了广泛的实验，包括拥挤场景，IEEE AASP声学场景和事件检测和分类挑战（DCASE）2018任务1A和1B，2019任务1A和1B，2020任务1A，2021任务1A，2022任务1。几个不同的ASC挑战的实验结果突出了两个主要成就;第一个是提出鲁棒的，通用的，低复杂度的ASC系统，适用于各种边缘设备和移动设备上的实际应用;第二个是提出一种有效的可视化方法，用于全面呈现声音场景上下文。
2022-10-16 cs.AI cs.SD eess.AS
TF-SepNet: An Efficient 1D Kernel Design in CNNs for Low-Complexity Acoustic Scene Classification
School of Advanced Technology Xi'an Jiaotong-Liverpool University 111 Ren'ai Road, Suzhou, China
本文提出了一种沿时间和频率维度分离处理特征的CNN架构TF-SepNet，通过采用1D卷积核降低计算成本，并在ASC任务中扩大有效感受野以捕获更多时频特征，性能优于现有同类方法。
2024-05-29 cs.SD eess.AS
Acoustic Scene Classification with Spectrogram Processing Strategies
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
最近，卷积神经网络（CNN）在声学场景分类（ASC）任务中取得了最先进的性能。音频数据通常被转换成二维频谱图表示，然后将其馈送到神经网络。在本文中，我们研究的问题，有效地利用不同的频谱表示，通过歧视性的处理策略。有两个主要贡献。第一个贡献是探索不同阶段的多种谱图表示的组合的影响，这为有效的谱图融合提供了有意义的参考。第二个贡献是提出了多频带和多时间帧的处理策略，以充分利用单个谱图表示。所提出的谱图处理策略可以很容易地移植到任何网络结构。在DCASE 2020 Task1数据集上进行了实验，结果表明，该方法在官方提供的Task1A和Task1B的fold 1评测数据集上分别达到了81.8%（官方基线：54.1%）和92.1%（官方基线：87.3%）的准确率。
2020-07-06 cs.SD eess.AS
Lightweight and Generalizable Acoustic Scene Representations via Contrastive Fine-Tuning and Distillation
Meta Reality Labs（Meta现实实验室）；Carnegie Mellon University（卡内基梅隆大学）
ContrastASC通过对比微调和蒸馏实现轻量且通用的声学场景表示，提升少样本适应能力的同时保持闭合集性能。
2026-02-11 cs.LG cs.SD eess.AS
Ensemble Of Deep Neural Networks For Acoustic Scene Classification
Seernet Technologies, LLC（西尔内特科技有限公司）
深度神经网络（DNN）最近在许多分类任务中取得了巨大成功。DNN的集成已经被证明可以提高性能。在本文中，我们探讨了最近用于图像分类的最先进的DNN。我们修改了这些DNN，并将其应用于声学场景分类的任务。我们在TUT Acoustic Scenes 2017数据集上进行了大量实验，以经验比较这些方法。最后，我们证明了最佳模型在测试集中将DCASE-2017任务1的基线分数提高了3.1%，在开发集中提高了10%。
2017-10-03 cs.SD
Low-Complexity Acoustic Scene Classification Using Parallel Attention-Convolution Network
South China University of Technology（华南理工大学）
面向DCASE2023低复杂度声学场景分类任务，提出并行注意力-卷积网络并结合知识蒸馏等技术，以5.21千参数和144万乘加运算达到56.10%准确率。
2024-06-12 cs.SD eess.AS
SpecAugment++: A Hidden Space Data Augmentation Method for Acoustic Scene Classification
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；University of Surrey（萨里大学）
在本文中，我们提出了SpecAugment++，这是一种用于基于深度神经网络的声学场景分类（ASC）的新型数据增强方法。与其他流行的数据增强方法（如SpecAugment和mixup）仅适用于输入空间不同，SpecAugment++适用于深度神经网络的输入空间和隐藏空间，以增强输入和中间特征表示。对于中间隐藏状态，增强技术由频率通道的掩蔽块和时间帧的掩蔽块组成，其通过使模型不仅能够关注特征的最具鉴别力的部分，而且能够关注整个部分来提高泛化能力。除了使用零进行掩蔽外，我们还研究了两种基于使用小批量中其他样本的掩蔽方法，这有助于将噪声引入网络，使其对分类更具鉴别力。在DCASE 2018 Task 1数据集和DCASE 2019 Task 1数据集上的实验结果表明，我们提出的方法在没有增强的情况下（即CP-ResNet）分别可以获得3.6%和4.7%的准确率增益，并且优于其他以前的数据增强方法。
2021-06-15 cs.SD eess.AS
Relational Teacher Student Learning with Neural Label Embedding for Device Adaptation in Acoustic Scene Classification
Georgia Institute of Technology（佐治亚理工学院）；University of Enna（恩纳大学）；Tencent Corporation（腾讯公司）
在本文中，我们提出了一个域自适应框架，以解决设备不匹配的问题，在声学场景分类利用神经标签嵌入（NLE）和关系师生学习（RTSL）。考虑到声学场景类之间的结构关系，我们提出的框架捕捉这种关系，这是本质上独立于设备。在训练阶段，可迁移知识从源领域浓缩到非线性语言中。接下来在适应阶段，采用一种新的RTSL策略来学习适应的目标模型，而不使用传统教师学生学习中经常需要的配对源目标数据。在DCASE 2018 Task 1b数据集上评估了拟议的框架。基于AlexNet-L深度分类模型的实验结果证实了我们所提出的方法在不匹配情况下的有效性。单独的NLE适应与传统的设备适应和基于教师学生的适应技术相比是有利的。NLE与RTSL进一步提高了分类精度。
2020-07-31 cs.CL cs.SD eess.AS
Description on IEEE ICME 2024 Grand Challenge: Semi-supervised Acoustic Scene Classification under Domain Shift
School of Marine Science and Technology, Northwestern Polytechnical University（西北工业大学海洋科学与技术学院）；Xi'an Lianfeng Acoustic Technologies Co., Ltd.（西安莲峰声学科技有限公司）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Surrey（萨里大学）
本文介绍 ICME 2024 大挑战中的域偏移下半监督声学场景分类任务，推动利用未标注数据提升跨地域场景模型的鲁棒性。
2024-02-29 cs.LG cs.SD eess.AS
Low-complexity deep learning frameworks for acoustic scene classification
在本报告中，我们提出了用于声学场景分类（ASC）的低复杂度深度学习框架。所提出的框架可以分为四个主要步骤：前端谱图提取，在线数据增强，后端分类和预测概率的后期融合。特别是，我们最初将音频记录转换为Mel，Gammatone和CQT频谱图。接下来，然后应用随机裁剪、Specaugment和Mixup的数据增强方法来生成增强的频谱图，然后将其馈送到基于深度学习的分类器中。最后，为了达到最佳性能，我们融合了从三个独立的分类器中获得的概率，这些分类器是用三种类型的谱图独立训练的。我们在DCASE 2022 Task 1 Development数据集上进行的实验满足了低复杂度的要求，并达到了60.1%的最佳分类准确率，使DCASE基线提高了17.2%。
2022-06-13 cs.LG cs.SD eess.AS
Integrating the Data Augmentation Scheme with Various Classifiers for Acoustic Scene Modeling
Institute of Acoustics, CAS（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Xinjiang Technical Institute of Physics and Chemistry, CAS（中国科学院新疆理化技术研究所）
本技术报告描述了IOA团队提交的DCASE 2019挑战的TASK 1A。我们的声学场景分类（ASC）系统采用了数据增强方案，采用生成对手网络。在该方案中部署了两个主要的分类器，即集成了尺度图特征的1D深度卷积神经网络和集成了Mel滤波器组特征的2D全卷积神经网络。其他方法，如对手城市适应，基于离散余弦变换的时间模块和混合架构，已被开发用于进一步的融合。我们的实验结果表明，最终的融合系统A-D可以在官方提供的折叠1评估数据集上实现高于85%的准确度。
2019-07-15 cs.LG cs.SD eess.AS
