Towards joint sound scene and polyphonic sound event recognition
Queen Mary University of London（伦敦玛丽女王大学）；Technical University Munich（慕尼黑工业大学）；The Alan Turing Institute（艾伦·图灵研究所）
声场景分类（ASC）和声事件检测（SED）是计算声场景分析领域中的两个独立任务。在这项工作中，我们提出了一个新的数据集与声音场景和声音事件标签，并使用它来展示一种新的方法，用于联合分类声音场景和识别声音事件。我们表明，通过采取联合的方法，学习是更有效的，同时仍然需要改进的声音事件检测，SED结果是强大的样本分布偏向声音场景的数据集。
2019-07-01 cs.SD eess.AS
Peer Collaborative Learning for Polyphonic Sound Event Detection
1 Integrated Graduate School of Medicine, Engineering；Agricultural Sciences, University of Yamanashi, Japan
本文描述了称为对等协作学习（PCL）的半监督学习可以应用于复调声音事件检测（PSED）任务，这是声学场景和事件检测和分类（DCASE）挑战中的任务之一。人们已经研究了许多深度学习模型，以找出在给定的音频片段中什么样的声音事件发生在哪里以及持续多长时间。本文所采用的PCL的特点是将基于集成的知识提取子网络和基于学生-教师模型的知识提取相结合，可以从少量强标记数据、弱标记数据和大量未标记数据中训练出鲁棒的PSED模型。我们使用DCASE 2019 Task 4数据集评估了提出的PCL模型，与基线模型相比，F1得分提高了约10%。
2021-10-07 cs.LG cs.SD eess.AS
PolyBench: A Benchmark for Compositional Reasoning in Polyphonic Audio
Harbin University of Science and Technology（哈尔滨理工大学）；The University of Melbourne（墨尔本大学）；KAIST（韩国成均馆大学）；University of Surrey（萨里大学）
针对多声部音频中组合推理评估缺失的问题，提出PolyBench基准，包含计数、分类、检测、并发和时长估计五个子集，评估发现现有大音频语言模型在多声部场景下性能持续下降。
2026-06-18 cs.SD eess.AS
Convolutional Recurrent Neural Networks for Polyphonic Sound Event Detection
Tampere University of Technology (TUT)（坦佩雷理工大学）
声音事件通常发生在非结构化的环境中，它们在频率内容和时间结构上表现出广泛的变化。卷积神经网络（CNN）能够提取对局部光谱和时间变化不变的更高级别的特征。循环神经网络（RNN）在学习音频信号中的较长期时间上下文方面是强大的。CNN和RNN作为分类器，最近在各种声音识别任务中表现出比现有方法更好的性能。我们结合这两种方法在卷积递归神经网络（CRNN），并将其应用于复音声音事件检测任务。我们比较了所提出的CRNN方法与CNN，RNN和其他已建立的方法的性能，并观察到由日常声音事件组成的四个不同数据集的相当大的改进。
2017-02-21 cs.LG cs.SD
Eventness: Object Detection on Spectrograms for Temporal Localization of Audio Events
Bosch（博世）
在本文中，我们介绍了事件的概念，音频事件检测，它可以，在某种程度上，被认为是一个模拟对象从计算机视觉。事件性概念背后的关键观察是，音频事件在频谱图中显示为具有特定纹理和几何结构的二维时频模式。这些时频模式可以类似于自然图像中出现的对象（除了缩放和旋转不变性不适用）。考虑到这一关键的观察，我们提出的问题，检测单声道或多声道音频事件作为一个等效的视觉对象（S）检测问题下的部分遮挡和杂波的频谱图。我们采用最先进的视觉目标检测模型来评估公共数据集上的音频事件检测任务。拟议的网络具有可比的结果与国家的最先进的基线，是更强大的少数事件。提供大规模的数据集，我们希望我们提出的事件的概念模型将有利于音频信号处理社区对提高音频事件检测的性能。
2018-02-19 cs.SD eess.AS
Contrastive Loss Based Frame-wise Feature disentanglement for Polyphonic Sound Event Detection
Harbin Institute of Technology（哈尔滨工业大学）
针对重叠声音事件检测中帧级特征纠缠导致区分能力下降的问题，本文提出类别特定解耦特征学习框架，并设计帧级对比损失及半监督扩展，利用未标注数据提升多音事件检测性能。
2024-01-11 cs.SD eess.AS
Mirage Fools the Ear, Mute Hides the Truth: Precise Targeted Adversarial Attacks on Polyphonic Sound Event Detection Systems
Beijing University of Posts and Telecommunications（北京邮电大学）；National University of Singapore（新加坡国立大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61）；The University of Hong Kong（香港大学）
针对现有声音事件检测系统对抗攻击效果差、精准度不足的问题，提出M2A攻击框架与编辑精准度指标，在复音SED定向攻击中兼顾攻击效果与非目标区域保护，显著提升攻击精准性。
2025-10-02 cs.CR cs.SD
A Framework for the Robust Evaluation of Sound Event Detection
Audio Analytic - AA Labs（Audio Analytic - AA实验室）
这项工作定义了一个新的框架，性能评估的复音声事件检测（SED）系统，它克服了传统的基于衣领的事件决策，事件F-分数和事件错误率的限制。拟议的框架引入了一个定义的事件检测，是更强大的标签的主观性。它还利用复音接收器操作特性（ROC）曲线来提供比F1分数更全面的系统性能洞察，并建议将这些曲线简化为单个复音声音检测分数（PSDS），这允许系统比较独立于操作点（OP）。所提出的方法还提供了更好的洞察数据偏差和跨声音类的分类稳定性。此外，它可以调整到不同的应用程序，以匹配各种用户体验要求。通过重新评估DCASE 2019任务4中的基线和两个性能最好的系统，证明了所提出方法的好处。
2020-02-14 cs.SD eess.AS
Multi-dimensional Edge-based Audio Event Relational Graph Representation Learning for Acoustic Scene Classification
Ghent University（根特大学）；University of Cambridge（剑桥大学）；University of Manchester（曼彻斯特大学）；Baidu Inc.（百度公司）；University of Surrey（萨里大学）
大多数现有的基于深度学习的声学场景分类（ASC）方法直接利用从频谱图中提取的表示来识别目标场景。然而，这些方法很少关注发生在场景中的音频事件，尽管它们提供了重要的语义信息。本文进行的第一项研究，调查是否可以可靠地识别现实生活中的声学场景的基础上，描述了有限数量的音频事件的功能。为了对粗粒度声学场景和细粒度音频事件之间的任务特定关系进行建模，我们提出了一个用于ASC的事件关系图表示学习（ERGL）框架。具体而言，ERGL从输入音频中学习声学场景的图形表示，其中每个事件的嵌入被视为节点，而从每对事件嵌入中导出的关系线索由学习的多维边缘特征描述。在一个复调声学场景数据集上的实验表明，所提出的ERGL在ASC上实现了有竞争力的性能，只使用有限数量的音频事件嵌入，而没有任何数据增强。该框架的有效性证明了基于事件关系图的声学场景识别的可行性。我们的代码可以在我们的主页上找到（https：//github.com/Yuanbo2020/ERGL）。
2022-11-01 cs.SD eess.AS
DeFT-Mamba: Universal Multichannel Sound Separation and Polyphonic Audio Classification
Electrical Engineering Korea Advanced Institute of Science（电气工程韩国科学技术院）
本文提出DeFT-Mamba框架，结合DeFTAN与Mamba实现多声道声音分离与复调分类，引入基于分类的声源计数和分离精调，在模拟真实环境的通用数据集上大幅超越现有方法。
2024-09-19 cs.SD eess.AS
Specialized Decision Surface and Disentangled Feature for Weakly-Supervised Polyphonic Sound Event Detection
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出了一种用于弱监督声音事件检测（SED）的特殊决策面和一种用于多音SED中多标记问题的解纠缠特征（DF）。本文将系统自学习问题转化为一个多实例学习（MIL）问题，并利用一个带有池化模块的神经网络框架来解决。我们提出了一种方法来生成嵌入级方法的实例级概率，这往往比实例级方法在袋级分类方面表现得更好，但在当前的方法不能提供实例级概率。此外，我们进一步提出了一个专门的决策表面（SDS）的嵌入级注意力池。我们从高层特征空间的角度分析并解释了为什么SDS嵌入层注意力模块优于其他典型的池化模块。针对多音事件检测任务中数据集不平衡和多个类别共现的问题，提出了一种减少类别间干扰的DF方法，该方法基于类别可识别信息对高级特征空间进行分解，得到多个不同的子空间，从而优化了高级特征空间。在DCASE 2018任务4数据集上的实验表明，所提出的SDS和DF显著提高了具有注意力池模块的嵌入级MIL方法的检测性能，并在挑战中超过第一名系统6.6个百分点。
2020-04-10 cs.LG cs.SD eess.AS
AST-SED: An Effective Sound Event Detection Method Based on Audio Spectrogram Transformer
University Of Science And Technology Of China（中国科学技术大学）；Singapore Institute of Technology（新加坡理工学院）；iFLYTEK Co. Ltd（科大讯飞股份有限公司）
在本文中，我们提出了一种有效的声音事件检测（SED）方法的基础上的音频频谱图Transformer（AST）模型，预训练的大规模AudioSet音频标记（AT）任务，称为AST-SED。预训练的AST模型最近在DCASE 2022挑战任务4中显示出了希望，它们有助于缓解缺乏足够的真实注释数据的问题。然而，主要是由于AT和SED任务之间的差异，直接利用预训练的AST模型的输出是次优的。因此，所提出的AST-SED采用编码器-解码器架构，以实现有效且高效的微调，而无需重新设计或重新训练AST模型。具体而言，频率方面的Transformer编码器（FTE）由沿着频率轴具有自注意力的Transformers组成，以解决单个剪辑中的多个重叠音频事件问题。局部门控递归单元解码器（LGD）由最近邻插值（NNI）和双向门控递归单元（Bi-GRU）组成，以补偿预训练AST模型输出中的时间分辨率损失。在DCASE 2022 task 4开发集上的实验结果证明了所提出的AST-SED与FTE-LGD架构的优越性。具体来说，基于事件的F1分数（EB-F1）为59.60%，复调声音检测分数（PSDS 1）为0.5140，显著优于CRNN和其他基于AST的预训练系统。
2023-03-07 cs.SD eess.AS
End-to-End Polyphonic Sound Event Detection Using Convolutional Recurrent Neural Networks with Learned Time-Frequency Representation Input
Tampere University of Technology（坦佩雷理工大学）
声音事件检测系统通常由两个阶段组成：从原始音频波形中提取手工制作的特征，以及使用分类器学习这些特征与目标声音事件之间的映射。近来，声音事件检测研究的焦点已经大部分转移到使用诸如mel频谱图的标准特征作为诸如深度神经网络的分类器的输入的后一阶段。在这项工作中，我们利用端到端的方法，并建议将这两个阶段结合在一个单一的深度神经网络分类器。原始波形上的特征提取由前馈层块进行，其参数被初始化以提取时频表示。在训练期间更新特征提取参数，从而产生针对特定任务优化的表示。这个特征提取块之后是一个卷积递归网络（并与之联合训练），该网络最近在许多声音识别任务中给出了最先进的结果。所提出的系统并没有优于具有固定手工特征的卷积递归网络。特征提取块参数的最终幅度谱特性表明，对于给定任务最相关的信息包含在0 - 3 kHz频率范围内，并且这也得到了SED性能的经验结果的支持。
2018-05-09 cs.LG cs.SD eess.AS
Audio Event-Relational Graph Representation Learning for Acoustic Scene Classification
Ghent University（根特大学）；University of Leicester（莱斯特大学）；University College London（伦敦大学学院）；University of Surrey（萨里大学）
针对现有声学场景分类方法可解释性不足的问题，提出基于音频事件关系图的表示学习框架ERGL，以事件嵌入为节点、多维边特征表征关系，仅用少量音频事件嵌入学习就在真实数据集上取得有竞争力的分类性能，同时可明确解释分类线索。
2023-10-05 cs.SD eess.AS
Polyphonic audio tagging with sequentially labelled data using CRNN with learnable gated linear units
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Surrey（萨里大学）
音频标记旨在检测音频记录中发生的声音事件的类型。为了对复音音频录音进行标记，我们提出了基于一种新类型的音频标记数据：顺序标记数据（SLD），在具有可学习门控线性单元的卷积递归神经网络（CRNN）（GLU-CTC）之上使用连接主义时间分类（CTC）损失函数。在GLU-CTC中，CTC目标函数将标签的帧级概率映射到标签的剪辑级概率。为了比较GLU-CTC对声音事件的映射能力，我们训练了一个基于全局最大池的GLU CRNN（GLU-GMP）和一个基于全局平均池的GLU CRNN（GLU-GAP）。我们还比较了建议的GLU-CTC系统与基线系统，这是一个CRNN训练使用CTC损失函数没有GLU。实验表明，GLU-CTC在音频标记中实现了0.882的曲线下面积（AUC）得分，优于GLU-GMP的0.803，GLU-GAP的0.766和基线系统的0.837。也就是说，在与GLU相同的CRNN模型下，CTC映射的性能优于GMP和GAP映射。考虑到两者都基于CTC映射，具有GLU的CRNN优于不具有GLU的CRNN。
2018-11-17 cs.SD eess.AS
Low Resource Audio-to-Lyrics Alignment From Polyphonic Music Recordings
Queen Mary University of London（伦敦玛丽女王大学）；Doremir Music Research AB（Doremir音乐研究公司）
长音乐记录中的歌词对齐在单遍执行时可能是记忆耗尽的。在这项研究中，我们提出了一种新的方法，执行音频到歌词对齐与低内存消耗的足迹，无论音乐录制的持续时间。所提出的系统首先在音频信号中定位锚定词。对于这些锚点，记录然后被分段，并执行第二遍对齐以获得字定时。我们表明，我们的音频到歌词对齐系统执行竞争力与国家的最先进的，同时需要更少的计算资源。此外，我们利用我们的歌词对齐系统将音乐录音分割成音乐级别的块。值得注意的是，在分段录音中，我们报告了一些基准测试集上的歌词转录分数。最后，我们的实验强调了声源分离步骤对于转录和比对任务的良好性能的重要性。为了可重复性，我们与研究社区公开分享我们的代码。
2021-02-18 cs.SD eess.AS
SALT: Standardized Audio event Label Taxonomy
针对固定音频分类体系难以整合新声音且跨数据集兼容性差的问题，提出基于AudioSet层级结构的SALT标准化标签分类体系，覆盖24个数据集，并提供Python包实现统一映射与数据聚合。
2024-09-18 cs.SD eess.AS
Conditional variational autoencoder to improve neural audio synthesis for polyphonic music sound
Kyungpook National University（庆北国立大学）；Electronics and Telecommunications Research Institute（韩国电子通信研究院）
用于音频合成的深度生成模型最近得到了显着改进。然而，对原始波形进行建模的任务仍然是一个困难的问题，特别是对于音频波形和音乐信号。最近，开发了用于高质量音频波形合成的实时音频变分自编码器（RAVE）方法。RAVE方法基于变分自编码器，并采用两阶段训练策略。不幸的是，RAVE模型在再现宽音高复调音乐声音方面受到限制。因此，为了提高重建性能，我们采用基音激活数据作为RAVE模型的辅助信息。为了处理辅助信息，我们提出了一个增强的RAVE模型的条件变分自编码器结构和一个额外的全连接层。为了评估所提出的结构，我们进行了一个听力实验的基础上多个刺激测试与隐藏的参考和锚（MUSHRA）与MAESTRO。结果表明，该模型比传统的RAVE模型具有更显著的性能和稳定性的改善。
2022-11-16 cs.LG cs.SD eess.AS
Overcoming label noise in audio event detection using sequential labeling
Sogang University（西江大学）；Naver Corporation（NAVER公司）
针对音频事件检测（AED）中的噪声标签问题，将强标签细化为去除不准确时间戳的序列标签。在AED中，强标签包含特定事件的发生及其与音频片段中事件的开始和结束相对应的时间戳。时间戳依赖于每个注释者的主观性，它们的标签噪声是不可避免的。与强标签相反，弱标签仅指示特定事件的发生。它们不具有由时间戳引起的标签噪声，但是时间信息被排除在外。为了充分利用现有的强标签和弱标签的信息，我们提出了一个AED计划，训练与顺序标签，除了给定的强标签和弱标签后，强标签转换成顺序标签。使用顺序标签始终提高了性能，特别是通过关注事件的发生，使用基于片段的F分数。在用于半监督学习的基于平均教师的方法中，除了具有顺序标签的监督学习之外还包括具有顺序预测的早期步骤，减轻了标签噪声和教师模型的不准确预测，并且在保持基于事件的F分数的同时显著提高了基于片段的F分数。
2020-07-10 cs.SD eess.AS
Acoustic Modeling for Automatic Lyrics-to-Audio Alignment
National University of Singapore（新加坡国立大学）
歌词到复调音频的自动对齐是一项具有挑战性的任务，这不仅是因为人声被背景音乐破坏，而且缺乏有效的声学建模的注释复调语料库。在这项工作中，我们提出（1）使用额外的语音和音乐信息特征，以及（2）使用少量的域内数据将在大量独唱声乐上训练的声学模型调整为复调音乐。将诸如发声和听觉特征的附加信息与常规声学特征一起描述旨在针对歌唱声中增加的频谱-时间变化带来鲁棒性。通过使用少量的复调音频数据来适应声学模型，我们减少了训练数据和测试数据之间的域失配。我们进行了几个对齐实验，并提出了深入的声学特征的对齐误差分析，和模型自适应技术。结果表明，所提出的策略提供了一个显着的错误减少字边界对齐可比现有的系统，特别是更具有挑战性的复调数据与长时间的音乐插曲。
2019-06-25 cs.CL cs.SD eess.AS
Augmentation Methods on Monophonic Audio for Instrument Classification in Polyphonic Music
School of ECE, NTUA（希腊国家技术大学电气与计算机工程学院）
乐器分类是音乐信息检索中的一个研究热点。然而，其中大部分是处理单声道音乐，而对复调材料的努力主要集中在主要乐器的识别上。在本文中，我们提出了一种方法，从纯粹的单声道数据，包括执行数据增强混合不同的音频段的复调音乐中的乐器分类。探讨了各种各样的数据增强技术，侧重于不同的声音方面，如覆盖相同流派的音频片段，以及基于音高和节奏的同步。我们利用卷积神经网络进行分类任务，比较浅层和深层网络架构。我们进一步研究了上述分类器组合的使用，每个分类器都在单个增强数据集上训练。VGG类分类器的集合，分别在非增强，音高同步，节奏同步和体裁相似的摘录上训练，产生了最好的结果，在IRMAS测试集中的标签排名平均精度（LRAP）方面达到了略高于80%。
2020-03-03 cs.LG cs.SD eess.AS
Deep domain adaptation for polyphonic melody extraction
本文针对复调旋律提取中的跨领域性能下降问题，研究了多种深度领域自适应技术，发现基于元学习的自适应方法优于简单微调及现有非自适应算法。
2023-04-05 cs.SD eess.AS
Large-scale weakly supervised audio classification using gated convolutional neural network
University of Surrey（萨里大学）
在本文中，我们提出了一种用于音频分类的门控卷积神经网络和基于时间注意力的定位方法，该方法在声学场景和事件的检测和分类（DCASE）2017挑战赛的大规模弱监督声音事件检测任务中获得了第一名。该任务中的音频片段是从YouTube视频中提取的，手动标记有一个或几个音频标签，但没有音频事件的时间戳，这被称为弱标记数据。在该挑战中定义了两个子任务，包括使用该弱标记数据的音频标记和声音事件检测。提出了一种具有可学习门控线性单元（GLU）非线性的卷积递归神经网络（CRNN），用于对数梅尔谱图。此外，提出了一种时间注意力方法沿帧预测的位置，每个音频事件的块从弱标记的数据。我们在DCASE 2017挑战赛的这两个子任务中分别以F值55.6\%和Equal error 0.73排名第一和第二。
2017-10-01 cs.SD eess.AS
Student-t Networks for Melody Estimation
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
旋律估计或旋律提取是指提取旋律中的主要或基本主频率。所获得的该频率序列表示来自所记录的音乐音频信号的主旋律线的音高。音乐信号可以是单声道的或复音的。当我们开始处理复调音频数据时，从音频信号中提取旋律的问题变得复杂。这是因为在一般化的音频信号中，声音在频域和时域两者上高度相关。许多声音的这种复杂重叠使得识别主要频率具有挑战性。
2021-11-29 cs.SD eess.AS
A joint separation-classification model for sound event detection of weakly labelled data
University of Surrey（萨里大学）
声源分离（SS）旨在从音频记录中分离各个源。声音事件检测（SED）旨在从音频记录中检测声音事件。我们提出了一个联合分离分类（JSC）模型，只训练弱标记的音频数据，也就是说，只有音频记录的标签是已知的，但事件的时间是未知的。首先，我们提出了一个分离映射的时间-频率（T-F）表示的音频的T-F分割掩模的音频事件。其次，从每个T-F分割掩码到每个音频事件的存在概率建立分类映射。在声源分离阶段，可以从T-F分割掩模获得音频事件的源和声音事件的时间。所提出的方法在SED中实现了0.14的等出错率（EER），优于0.29的深度神经网络基线。通过使用全局加权秩池（GWRP）作为概率映射，获得了8.08 dB的声源分离SDR，优于基于全局最大池（GMP）的概率映射，给出了0.03 dB的SDR。我们工作的源代码已经发布。
2018-02-07 cs.SD eess.AS
Source separation with weakly labelled data: An approach to computational auditory scene analysis
University of Surrey（萨里大学）
声源分离是将音频记录分离为各个声源的任务。声源分离是计算听觉景物分析的基础。先前关于声源分离的工作集中于分离特定的声音类别，例如语音和音乐。以前的许多工作需要混合和清洁源对进行训练。在这项工作中，我们提出了一个声源分离框架训练弱标记的数据。弱标记数据只包含音频片段的标记，而不包含声音事件的发生时间。我们首先用AudioSet训练一个声音事件检测系统。经训练的声音事件检测系统用于检测最像包含目标声音事件的片段。然后，学习从两个随机选择的片段的混合到目标片段的回归，该回归以目标片段的音频标记预测为条件。我们提出的系统可以分离527种声音类从AudioSet在一个单一的系统。分离系统采用了U-Net，在AudioSet中的527个声音类别中实现了5.67 dB的平均SDR。
2020-02-06 cs.SD eess.AS
Towards Interpretable Polyphonic Transcription with Invertible Neural Networks
Austrian Research Institute for Artificial Intelligence (OFAI)（奥地利人工智能研究所）；Institute of Computational Perception, Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校计算感知研究所）
我们探索一种新的方式概念化的任务，复调音乐转录，使用所谓的可逆神经网络。可逆模型将判别和生成方面统一在一个函数中，共享一组参数。引入可逆性使从业者能够直接检查判别模型已经学习了什么，并准确地确定哪些输入导致哪些输出。对于将复调音频转录为符号形式的任务，这些模型可能特别有用，因为它们允许我们观察，例如，单音符的概念在多大程度上可以单独从复调音乐语料库中学习（这在最近的研究中被认为是一个严重的问题）。这是一种全新的音频转录方法，首先需要一些基础工作。在这篇文章中，我们从最简单的可逆转录模型开始，然后深入研究它的性质。最后，我们将迈出第一步，迈向更复杂和更有能力的版本。我们使用钢琴转录的任务，特别是MAPS数据集，作为这些调查的基础。
2019-09-04 cs.SD eess.AS
NEAL: An open-source tool for audio annotation
Trinity College Dublin（都柏林圣三一学院）
被动声监测在生态学、生物多样性和保护研究中有着广泛的应用。通过声学监测收集的数据集通常非常大，并且可以使用人工智能和机器学习模型自动处理，这些模型旨在复制领域专家的工作。作为监督学习算法的这些模型需要在专家产生的高质量注释上进行训练。由于专家通常资源有限，因此需要一个具有成本效益的音频注释过程，以最大限度地利用数据。我们提出了一个开源的交互式音频数据标注工具，NEAL（自然+能源音频标签）。该工具使用R和相关的Shiny框架构建，提供了一个反应式环境，用户可以快速注释音频文件并调整设置，自动更改用户界面的相应元素。该应用程序的设计目标是让专业观鸟者和公民科学家为声学注释项目做出贡献。R编程在生物声学中的流行性和灵活性意味着Shiny应用程序可以针对其他鸟类标签数据集进行修改，甚至可以用于通用的音频标签任务。我们通过标记从爱尔兰各地的风电场收集的数据来展示该应用程序。
2022-12-08 cs.SD eess.AS
Pseudo-Label Transfer from Frame-Level to Note-Level in a Teacher-Student Framework for Singing Transcription from Polyphonic Music
Neutune Research（Neutune研究中心）；KAIST（韩国科学技术院）
缺乏大规模音符级标注数据是复调音乐歌唱转写的主要障碍。我们解决这个问题，通过使用伪标签的音高估计模型给出未标记的数据。该方法首先通过音高和节奏量化步骤将帧级伪标签转换为音符级伪标签。然后，在师生框架下，通过自我训练进一步提高标签质量。为了验证该方法，我们进行了各种实验设置，通过调查两个音高估计模型作为伪标签生成器，两个设置的师生框架，以及自我训练的迭代次数。实验结果表明，该方法能有效利用大规模未标记音频数据，并通过带噪学生模型进行自训练，提高了性能。最后，我们证明了仅使用未标记数据训练的模型与以前的作品具有相当的性能，并且使用附加标记数据训练的模型比仅使用标记数据训练的模型具有更高的准确性。
2022-03-30 cs.SD eess.AS
A Closer Look at Weak Label Learning for Audio Events
根据声音事件的音频内容分析是各种应用的重要研究问题。近年来，弱标记音频或声音事件检测（AED）方法的发展和大规模弱标记数据集的可用性最终为大规模AED开辟了可能性。然而，弱标签如何影响学习的声音事件的更深入的理解仍然缺乏从文献。在这项工作中，我们首先描述了一种基于CNN的方法，用于弱监督训练音频事件。该方法遵循依赖于弱标记音频的学习方法中所期望的一些基本设计原则。然后，我们描述了重要的特点，自然出现在弱监督学习的声音事件。我们展示了弱标签的这些方面如何影响模型的泛化。更具体地说，我们研究了标签密度和标签损坏等特征如何影响音频事件的弱监督训练。我们还研究了直接从Web上获得弱标记数据而无需任何手动标记的可行性，并将其与已手动标记的数据集进行比较。在未来弱标记学习方法的开发中，应该考虑这些因素的分析和理解。实验中使用了一个大规模的弱标记声音事件数据集AudioSet。
2018-04-24 cs.LG cs.MM cs.SD
End-to-end Lyrics Alignment for Polyphonic Music Using an Audio-to-Character Recognition Model
Queen Mary University of London（伦敦玛丽女王大学）；Spotify（声田）
时间对齐的歌词可以通过启用卡拉OK、基于文本的歌曲检索和歌曲内导航以及其他应用来丰富音乐收听体验。与文本到语音对齐相比，歌词对齐仍然具有很大的挑战性，尽管许多尝试将包括声音分离和检测在内的许多子模块组合在一起，以解决这个问题。此外，训练需要以某种形式提供细粒度的注释。在这里，我们提出了一种新的系统的基础上修改的Wave-U-Net架构，它预测字符概率直接从原始音频使用学习的多尺度表示的各种信号分量。不存在需要优化其相互依赖性的子模块。我们的训练过程旨在处理现实世界中可用的弱行级注释。在标准数据集上的平均对齐误差为0.35s，我们的系统比最先进的系统性能高出一个数量级。
2019-02-18 cs.LG cs.SD eess.AS
Secost: Sequential co-supervision for large scale weakly labeled audio event detection
Facebook Reality Labs（Facebook现实实验室）
弱监督学习算法对于将音频事件检测扩展到数百个声音类别至关重要。这样的学习模型不仅应该用最少的类特定注释有效地消除声音事件的歧义，而且对标签噪声具有鲁棒性，这在弱标签而不是强注释的情况下更明显。在这项工作中，我们提出了一个新的框架，设计学习模型与弱监督的桥梁思想从顺序学习和知识蒸馏。我们将所提出的方法称为SeCoST（发音为Sequest）-用于训练几代学生的顺序共同监督。SeCoST通过一种新的知识转移方法逐步建立了一系列的学生-教师对。我们对Audioset（最大的弱标记数据集）的评估表明，SeCoST实现了0.383的平均精度，同时大大优于现有技术。
2020-05-04 cs.LG cs.SD eess.AS
Transfer Learning for Improving Singing-voice Detection in Polyphonic Instrumental Music
Microsoft Research Asia（微软亚洲研究院）
复调器乐中的演唱声检测是音乐信息检索的关键。为了训练鲁棒的人声检测器，在帧级标记有人声或非人声标签的大数据集是必不可少的。然而，帧级标记是耗时和劳动力昂贵的，导致很少有良好的标记数据集可用于歌唱语音检测（S-VD）。因此，我们提出了一种通过迁移学习的S-VD数据增强方法。在这项研究中，干净的语音片段与语音活动端点和单独的器乐片段被人工添加在一起，以模拟复调人声训练一个声乐/非声乐检测器。由于说话和唱歌之间的发音和发声不同，用人工数据集训练的人声检测器与人声与乐器伴奏一起唱歌的复调音乐不匹配。为了减少这种不匹配，使用迁移学习来将从人工语音加音乐训练集学到的知识迁移到小但匹配的复音数据集，即，演唱者与歌手通过转移相关知识来弥补S-VD中缺乏良好标记的训练数据，所提出的迁移学习数据增强方法可以提高S-VD的性能，F分数从89.5%提高到93.2%。
2020-08-11 cs.SD eess.AS
Knowledge Transfer from Weakly Labeled Audio using Convolutional Neural Network for Sound Events and Scenes
Carnegie Mellon University（卡内基梅隆大学）；Facebook Inc.（脸书公司）
在这项工作中，我们提出了有效地转移弱标记的网络音频数据的知识的方法。我们首先描述了一个基于卷积神经网络（CNN）的框架，用于使用弱标记的音频数据进行声音事件检测和分类。我们的模型从可变长度的音频中有效地训练;因此，它非常适合迁移学习。然后，我们提出了使用该模型学习表示的方法，该模型可以有效地用于解决目标任务。我们研究了转导和归纳迁移学习任务，显示了我们的方法对领域和任务适应的有效性。我们表明，使用所提出的CNN模型的学习表示可以很好地推广到ESC-50声音事件数据集上达到人类水平的准确性，并在该数据集上设置最先进的结果。我们进一步将它们用于声学场景分类任务，并再次表明我们提出的方法也适合这项任务。我们还表明，我们的方法是有助于捕捉语义意义和关系。此外，在这个过程中，我们还在Audioset数据集上设置了最先进的结果，依赖于平衡的训练集。
2018-09-07 cs.MM cs.SD eess.AS
Efficient bandwidth extension of musical signals using a differentiable harmonic plus noise model
Nantes Université（南特大学）；École Centrale Nantes（南特中央理工学院）；CNRS（法国国家科学研究中心）；LS2N（南特数字科学实验室）
本文提出基于可微数字信号处理（DDSP）的谐波加噪声模型，高效实现单声道与多声道音乐信号带宽扩展，在客观指标与MUSHRA听力测试中均优于高复杂度深度学习模型。
2023-11-27 cs.SD eess.AS
DDSP-based Neural Waveform Synthesis of Polyphonic Guitar Performance from String-wise MIDI Input
KTH Royal Institute of Technology（KTH皇家理工学院）；National Institute of Informatics（国立信息学研究所）；Aalto University（阿尔托大学）
本文探索从逐弦MIDI输入进行原声吉他神经合成，提出四种系统并与基线对比，发现将控制特征预测设为分类任务效果更好，且直接预测合成参数的最简系统表现最佳。
2023-09-14 cs.SD eess.AS
A holistic approach to polyphonic music transcription with neural networks
U.I. for Computing Research（计算研究所）；University of Alicante（阿利坎特大学）
我们提出了一个基于神经网络的框架，以端到端的方式直接从复调音频中提取乐谱。大多数先前的自动音乐转录（AMT）方法寻求音高的钢琴滚动表示，其可以通过结合速度估计、节拍跟踪、键估计或节奏量化来进一步转换成乐谱。与这些方法不同的是，我们的方法直接从输入音频中生成音乐符号。为此，我们使用卷积递归神经网络（CRNN）与连接主义时间分类（CTC）损失函数，它不需要注释的音频帧与分数节奏信息的对齐。我们使用海顿，莫扎特和贝多芬的弦乐四重奏和巴赫的合唱曲作为输入训练我们的模型，这些合唱曲是用不同的节奏和表现力来合成的。输出是基于 **kern格式的四声部乐谱的文本表示。虽然所提出的方法是在一个简化的情况下进行评估，结果表明，该模型可以学习直接从音频信号转录分数，打开了一个有前途的途径走向完整的AMT。
2019-10-26 cs.LG cs.SD eess.AS
Learning Sound Events From Webly Labeled Data
Carnegie Mellon University（卡内基梅隆大学）
在过去的几年里，弱标记学习已经成为音频事件检测的一种令人兴奋的方法。在这项工作中，我们介绍了网络标签学习的声音事件，其目的是消除人类的监督完全从学习过程中。我们首先开发了一种方法，从网络上获得标记的音频数据（虽然嘈杂），其中不涉及手动标记。然后，我们描述了有效地从这些网络标记的音频记录中学习的方法。在我们提出的系统WeblyNet中，两个深度神经网络相互学习，从网络标记的数据中鲁棒地学习，比基线方法相对提高了约17%。该方法还涉及迁移学习，以获得有效的表示
2019-07-14 cs.MM cs.SD eess.AS
Weakly Labeled Sound Event Detection Using Tri-training and Adversarial Learning
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
本文考虑了一个半监督学习框架，通过结合三重训练和对抗学习来解决DCASE 2019挑战任务4的弱标记复调声音事件检测问题。task 4的目标是检测单个音频片段中多个声音事件的起始和偏移。整个数据集由具有强标记（具有边界的声音事件标记）的合成数据和具有弱标记（声音事件标记）的真实数据以及未标记数据集组成。给定这个数据集，我们应用三训练，其中两个不同的分类器用于在弱标记和未标记数据集上获得伪标签，并且最终分类器使用强标记数据集和具有伪标签的弱/未标记数据集进行训练。此外，我们应用对抗学习来减少真实数据集和合成数据集之间的域差距。我们使用task 4数据集的验证集评估了我们的学习框架，在实验中，我们的学习框架显示出比基线模型有相当大的性能改进。
2019-10-14 cs.LG cs.SD eess.AS
Zero-shot Audio Source Separation through Query-based Learning from Weakly-labeled Data
Bytedance（字节跳动）
用于将音频分离成不同声源的深度学习技术面临若干挑战。标准架构需要为不同类型的音频源训练单独的模型。尽管一些通用分离器采用单一模型来针对多个源，但它们难以推广到看不见的源。在本文中，我们提出了一个三组件管道训练一个通用的音频源分离器从一个大的，但弱标记的数据集：AudioSet。首先，我们提出了一个基于变压器的声音事件检测系统处理弱标记的训练数据。其次，我们设计了一个基于查询的音频分离模型，利用这些数据进行模型训练。第三，我们设计了一个潜在的嵌入处理器来编码查询，指定音频目标分离，允许zero-shot泛化。我们的方法使用单个模型进行多个声音类型的声源分离，并且仅依赖于弱标记数据进行训练。此外，所提出的音频分离器可以在zero-shot设置中使用，学习分离在训练中从未见过的音频源类型。为了评估分离性能，我们在MUSDB 18上测试了我们的模型，同时在不相交的AudioSet上进行了训练。我们进一步验证了zero-shot性能进行另一个实验的音频源类型，是从培训。在这两种情况下，该模型都实现了与当前监督模型相当的源失真比（SDR）性能。
2022-02-12 cs.AI cs.LG cs.MM
End-to-End Real-World Polyphonic Piano Audio-to-Score Transcription with Hierarchical Decoding
Integrative Sciences and Engineering Programme, NUS Graduate School（新加坡国立大学研究生院整合科学与工程项目）；School of Computing, National University of Singapore（新加坡国立大学计算机学院）
针对钢琴音频到乐谱转录中调号/拍号检索难及仅用合成数据的问题，提出层次化解码器的Seq2Seq模型，经两阶段训练（合成预训练+真实微调）和**Kern预处理，在合成及人类录音上均验证有效。
2024-05-22 cs.AI cs.SD eess.AS
Self-supervised Graphs for Audio Representation Learning with Limited Labeled Data
University of Warwick（华威大学）；Google Research（谷歌研究院）；University of Glasgow（格拉斯哥大学）
音频领域缺乏具有高质量手动注释的大规模数据库。因此，我们探索了一种自监督图的方法来学习音频表示高度有限的标记数据。考虑到每个音频样本作为一个图节点，我们提出了一个基于子图的框架与新的自我监督任务，可以学习有效的音频表示。在训练期间，通过对可用训练数据的整个池进行采样来构造子图，以利用标记的和未标记的音频样本之间的关系。在推理过程中，我们使用随机边来减轻图构造的开销。我们评估我们的模型在三个基准音频数据库，和两个任务：声学事件检测和语音情感识别。我们的半监督模型表现得更好或与完全监督模型相当，并且优于几个有竞争力的现有模型。我们的模型是紧凑的（240k参数），并可以产生广义的音频表示，是强大的不同类型的信号噪声。
2022-07-16 cs.LG cs.SD
Unifying Isolated and Overlapping Audio Event Detection with Multi-Label Multi-Task Convolutional Recurrent Neural Networks
University of Oxford（牛津大学）；NIHR Oxford Biomedical Research Centre（英国国家健康研究所牛津生物医学研究中心）
我们提出了一个基于卷积递归神经网络的多标签多任务框架，以统一检测孤立和重叠的音频事件。该框架利用了卷积递归神经网络架构的强大功能;卷积层学习有效的特征，更高的递归层在这些特征上执行顺序建模。此外，输出层被设计为处理任意程度的事件重叠。在循环输出序列中的每个时间步，输出三元组专用于每个感兴趣的事件类别，以联合建模事件发生和时间边界。也就是说，网络通过估计每个循环时间步长处的起始和偏移位置来联合确定该类别的事件是否发生以及何时发生。然后，我们介绍了网络训练的三个连续损失：多标签分类损失，距离估计损失和置信度损失。我们在两个数据集上表现出良好的泛化能力：ITC-Irst用于孤立音频事件检测，TUT-SED-Synthetic-2016用于重叠音频事件检测。
2019-02-18 cs.LG cs.SD eess.AS
A Study on Robustness to Perturbations for Representations of Environmental Sound
The Ohio State University（俄亥俄州立大学）；New York University（纽约大学）；New Jersey Institute of Technology（新泽西理工学院）
涉及环境声音分析的音频应用越来越多地使用通用音频表示，也称为嵌入，用于迁移学习。最近，音频表示的整体评估（HEAR）评估了十九个不同任务的二十九个嵌入模型。然而，评估的有效性取决于在给定数据集中已经捕获的变化。因此，对于给定的数据域，目前还不清楚表示将如何受到由无数麦克风的范围和声学条件引起的变化的影响-通常称为信道效应。我们的目标是扩展HEAR来评估通道效应的不变性。为了实现这一点，我们通过向音频信号注入扰动来模拟通道效应，并使用三个距离度量来测量新的（扰动的）嵌入中的移位，从而使评估域相关但不依赖于任务。结合下游性能，它可以帮助我们更明智地预测嵌入对信道影响的鲁棒性。我们评估了两个嵌入- YAMNet和OpenL 3在单声道（UrbanSound 8 K）和复调（SONYC-UST）城市数据集上的应用。我们表明，一个距离测量不足以在这样的任务独立的评价。虽然Fréchet音频距离（FAD）与下游任务中性能下降的趋势最准确地相关，但我们表明，我们需要结合其他距离来研究FAD，以清楚地了解扰动的整体影响。在嵌入性能方面，我们发现OpenL 3比YAMNet更健壮，这与HEAR评估一致。
2022-07-06 cs.AI cs.LG cs.SD
VocSim: A Training-free Benchmark for Zero-shot Content Identity in Single-source Audio
University of California, Berkeley（加州大学伯克利分校）；ETH Zurich（苏黎世联邦理工学院）
提出VocSim，一个无需训练的无标签基准，通过冻结嵌入的几何对齐评估通用音频表示在零样本内容身份识别中的性能，并在多领域音频上取得强结果，同时揭示跨语言泛化差距。
2026-05-31 cs.AI cs.SD
Blind Source Separation in Polyphonic Music Recordings Using Deep Neural Networks Trained via Policy Gradients
Center for Industrial Mathematics, University of Bremen（不来梅大学工业数学中心）；Mathematics Department, Colorado State University（科罗拉多州立大学数学系）
提出了一种对音频信号中乐器声音进行盲分离的方法。我们通过一个参数模型来描述各个音调，训练一个字典来捕获谐波的相对幅度。模型参数通过U-Net进行预测，U-Net是一种深度神经网络。基于模型预测与短时傅里叶变换的各个时间帧之间的差异，在没有地面实况信息的情况下训练网络。由于一些模型参数不产生有用的反向传播梯度，我们随机建模，并采用策略梯度。为了提供相位信息并解释基于词典的表示中的不准确性，我们还让网络输出直接预测，然后我们使用它来重新合成各个乐器的音频信号。由于神经网络的灵活性，非谐波可以无缝地合并，不需要对输入光谱进行预处理。我们的算法产生高质量的分离结果，特别是低干扰的各种不同的音频样本，无论是声学和合成，提供的样本包含足够的数据的训练和乐器的频谱特性是足够稳定的字典近似。
2021-08-09 cs.LG cs.SD eess.AS
Audio Event Detection using Weakly Labeled Data
Carnegie Mellon University（卡内基梅隆大学）
声事件检测是多媒体录音内容分析和描述的基础。目前关于该主题的大多数文献都是通过采用强标记数据的全监督技术来学习检测器。然而，可用于大多数多媒体数据的标签通常是弱的，并没有提供足够的细节，这样的方法被采用。在本文中，我们提出了一个框架，学习声事件检测器使用弱标记的数据。我们首先表明，使用弱标签的音频事件检测可以用公式表示为多实例学习问题。然后，我们提出了两个框架来解决多实例学习，一个基于支持向量机，另一个基于神经网络。所提出的方法可以帮助消除手动注释数据的耗时和昂贵的过程，以促进完全监督学习。此外，它不仅可以检测记录中的事件，而且还可以提供记录中事件的时间位置。这有助于获得记录的完整描述，并且值得注意，因为在弱标记数据中，时间信息首先是未知的。
2016-07-06 cs.AI cs.MM cs.SD
PolyMap: A 64-Channel Polyphonic Guitar Pickup System
ETH Zürich（苏黎世联邦理工学院）
苏黎世联邦理工学院硕士论文提出PolyMap系统，通过64个拾音器实现琴弦多位置单独感知，为电吉他提供高分辨率感知与丰富后处理能力，系首款具备完整功能集的复音吉他拾音系统。
2026-08-31 eess.AS eess.SP
Text-to-Audio Grounding: Building Correspondence Between Captions and Sound Events
Shanghai Jiao Tong University（上海交通大学）
自动音频字幕是一个跨模态的任务，生成自然语言描述来总结音频剪辑的声音事件。然而，尚未研究基于其对应的字幕将给定音频中的实际声音事件接地。本文贡献了一个AudioGrounding数据集，它提供了声音事件和Audiocaps中提供的字幕之间的对应关系，以及每个声音事件的位置（时间戳）。在此基础上，我们提出了文本到音频接地（TAG）的任务，交互地考虑音频处理和语言理解之间的关系。提供了基线方法，导致事件F1评分为28.3%，复音检测评分（PSDS）为14.7%。
2021-02-23 cs.SD eess.AS
Polyphonic pitch detection with convolutional recurrent neural networks
DoReMIR Music Research AB（DoReMIR音乐研究公司）
自动语音识别（ASR）研究的最新方向表明，在计算机视觉中应用来自图像识别挑战的深度学习模型是有益的。由于自动音乐转录（AMT）在表面上类似于ASR，因为方法通常依赖于将频谱图转换为事件的符号序列（例如单词或音符），因此深度学习也应该使AMT受益。在这项工作中，我们概述了一个在线的和弦音高检测系统，流音频到convlstms。我们的系统在2007年MIREX多F0开发集上取得了最先进的结果，在巴松管，单簧管，长笛，圆号和双簧管合奏录音上的F测量值为83%，而不需要任何音乐语言建模或乐器音色的假设。
2022-02-04 cs.LG cs.MM cs.SD
Simultaneous Separation and Transcription of Mixtures with Multiple Polyphonic and Percussive Instruments
Illinois Institute of Technology（伊利诺伊理工学院）
我们提出了一个单一的深度学习架构，可以将音乐混合的音频记录分离为组成的单乐器记录，并同时将这些乐器转录为人类可读的格式，为这两项任务学习共享的音乐表示。这种新颖的架构，我们称之为Cerberus，通过添加第三个“头”进行转录，建立在Chimera网络的基础上，用于源分离。通过用不同的损失训练每个头，我们能够共同学习如何在我们的实验中使用单个网络分离和转录多达5种乐器。我们发现，这两个任务是高度互补的，当共同学习时，会导致Cerberus网络更好地分离和转录，并更好地推广到看不见的混合物。
2020-02-12 cs.LG cs.SD eess.AS
Polyphonic Pitch Tracking with Deep Layered Learning
本文提出了一种复调音高跟踪系统，能够提取帧和音符为基础的估计从音频。该系统在深层学习设置中使用若干人工神经网络。首先，级联网络被应用到用于逐帧基频（f0）估计的频谱图。第一个网络学习稀疏的感受野，然后将其用作整个系统的参数共享的过滤器内核。f0激活跨时间连接以提取音高轮廓。这些轮廓定义了一个框架，在该框架内，后续网络执行起始和偏移检测，同时跨时间和较小的音高波动进行操作。作为输入，网络使用，例如，来自f0估计网络的潜在表示的变化。最后，在迭代过程中，不正确的暂定笔记被一个接一个地删除，这使得网络能够在准确的上下文中对笔记进行分类。该系统在四个公共测试集上进行了评估：MAPS，Bach 10，TRIOS和MIREX Woodwind quintet，并对所有四个数据集进行了最先进的结果。它在所有子任务中都表现良好：f0，音高起始和音高偏移跟踪。
2019-03-18 cs.SD eess.AS
SoundCount: Sound Counting from Raw Audio with Dyadic Decomposition Neural Network
University of Oxford（牛津大学）；Aston University（阿斯顿大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；WAYTOUS Ltd.（WAYTOUS有限公司）
本文提出DyDecNet，一种端到端可训练的二进分解神经网络，用于从原始音频中计数不同声音，并引入多音性感知指标量化难度，实验证明其优越性及通用前端潜力。
2023-12-26 cs.SD eess.AS
CT-SAT: Contextual Transformer for Sequential Audio Tagging
Ghent University（根特大学）；KU Leuven（鲁汶大学）；Meta AI
顺序音频事件标记不仅可以提供音频事件的类型信息，还可以提供事件之间的顺序信息以及在音频片段中发生的事件的数量。大多数以前的作品音频事件序列分析依赖于连接主义的时间分类（CTC）。然而，CTC的条件独立性假设使其无法有效地学习不同音频事件之间的相关性。本文首次尝试将Transformer引入序列音频标注，因为Transformers在序列相关任务中表现良好。为了更好地利用音频事件序列的上下文信息，借鉴双向递归神经网络的思想，提出了一种具有双向解码器的上下文Transformer（cTransformer），该解码器可以利用事件序列的前向和后向信息。在实际复音音频数据集上的实验表明，与基于CTC的方法相比，cTransformer可以有效地将编码器的细粒度声学表示和粗粒度音频事件线索结合起来，利用上下文信息成功地识别和预测音频事件序列。
2022-03-22 cs.SD eess.AS
