Large-scale weakly supervised audio classification using gated convolutional neural network
University of Surrey（萨里大学）
在本文中，我们提出了一种用于音频分类的门控卷积神经网络和基于时间注意力的定位方法，该方法在声学场景和事件的检测和分类（DCASE）2017挑战赛的大规模弱监督声音事件检测任务中获得了第一名。该任务中的音频片段是从YouTube视频中提取的，手动标记有一个或几个音频标签，但没有音频事件的时间戳，这被称为弱标记数据。在该挑战中定义了两个子任务，包括使用该弱标记数据的音频标记和声音事件检测。提出了一种具有可学习门控线性单元（GLU）非线性的卷积递归神经网络（CRNN），用于对数梅尔谱图。此外，提出了一种时间注意力方法沿帧预测的位置，每个音频事件的块从弱标记的数据。我们在DCASE 2017挑战赛的这两个子任务中分别以F值55.6\%和Equal error 0.73排名第一和第二。
2017-10-01 cs.SD eess.AS
Data-driven audio recognition: a supervised dictionary approach
Laboratoire BMBI Compiègne（贡比涅BMBI实验室）；Université de Technologie de Compiègne（贡比涅技术大学）
机器听觉是一个新兴领域。出于对机器监听领域应用的原则性框架的需求，我们提出了一种通用的数据驱动的表示学习方法。为此，提出了一种新颖有效的监督式字典学习方法。实验进行计算听觉场景（东安格利亚和鲁昂）和合成音乐和弦识别数据集。获得的结果表明，我们的方法是能够达到国家的最先进的手工制作的功能，为这两个应用程序
2020-12-29 cs.SD eess.AS
Semi Supervised Learning For Few-shot Audio Classification By Episodic Triplet Mining
TCS Research（塔塔咨询服务公司研究院）
少样本学习的目标是推广在测试期间出现但在训练期间不可用的不可见类。原型网络结合了Few-Shot度量学习，通过以类内嵌入的支持点的平均向量的形式构建类原型。原型网络在极端的Few-Shot场景（如one-shot）中的性能急剧下降，主要是由于在构建原型时簇内的变化被浪费。在本文中，我们建议取代典型的原型损失函数的情节三重挖掘（ETM）技术。传统的三元组选择导致过拟合，因为在训练期间使用了所有可能的组合。我们将情节训练用于挖掘半硬正和半硬负三元组以克服过拟合。我们还提出了一种自适应方法，利用未标记的训练样本进行更好的建模。实验两个不同的音频处理任务，即说话人识别和音频事件检测，显示改进的性能，因此ETM的功效超过原型损失函数和其他元学习框架。此外，当使用未标记的训练样本时，我们表现出更好的性能。
2021-02-16 cs.LG cs.SD eess.AS
Self-supervised Neural Audio-Visual Sound Source Localization via Probabilistic Spatial Modeling
National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所）；Waseda University（早稻田大学）
在视觉观察范围内检测声源目标对于自主机器人理解周围环境具有重要意义。由于在我们的生活环境中，发声物体具有大量的种类和不同的外观，在实践中标记所有发声物体是不可能的。这就需要自监督学习，它不需要人工标记。大多数传统的自监督学习使用单声道音频信号和图像，并且由于音频信号中的差的空间信息而不能区分具有相似外观的声源对象。针对这一问题，提出了一种基于360°图像和多声道音频信号的自监督训练方法。通过结合多声道音频信号中的空间信息，我们的方法训练深度神经网络（DNN）来区分多个声源对象。我们用于定位图像中声源对象的系统由音频和视觉DNN组成。视觉DNN被训练以定位输入图像内的声源候选。音频DNN验证每个候选是否实际产生声音。这些DNN基于概率空间音频模型以自监督方式联合训练。模拟数据的实验结果表明，我们的方法训练的DNN定位多个扬声器。我们还证明了视觉DNN检测对象，包括说话的游客和特定的展品从真实的数据记录在科学博物馆。
2020-07-28 cs.CV cs.SD eess.AS
SSLAM: Enhancing Self-Supervised Models with Audio Mixtures for Polyphonic Soundscapes
Surrey Institute for People-Centred AI（萨里人本人工智能研究所）；University of Surrey（萨里大学）；Centre for Vision, Speech and Signal Processing (CVSSP)（视觉、语音与信号处理中心）
针对现有音频自监督模型在复调音频场景泛化性不足的问题，提出SSLAM方法，在保持单音数据性能的同时提升复调音频表现，在多个基准上取得SOTA结果。
2025-06-13 cs.AI cs.LG cs.SD
w2v-SELD: A Sound Event Localization and Detection Framework for Self-Supervised Spatial Audio Pre-Training
University of Campinas（坎皮纳斯大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出w2v-SELD，一种基于wav2vec 2.0的自监督声音事件定位与检测框架，通过预训练和微调利用未标记3D音频数据，在基准数据集上超越基线并达到与监督方法相当的性能。
2023-12-30 cs.SD eess.AS
Data-Efficient Weakly Supervised Learning for Low-Resource Audio Event Detection Using Deep Learning
Queen Mary University of London（伦敦玛丽女王大学）
我们提出了一种方法来执行音频事件检测的共同约束下，只有有限的训练数据是可用的。在训练深度学习系统以执行音频事件检测时，出现两个实际问题。首先，大多数数据集是“弱标记的”，只有每个记录中存在的事件列表，没有任何用于训练的时间信息。其次，深度神经网络需要非常大量的带标签的训练数据来实现良好的质量性能，然而在实践中很难为大多数感兴趣的类别收集足够的样本。在本文中，我们提出了一个数据有效的训练堆叠卷积和递归神经网络。这个神经网络是在多实例学习环境中训练的，为此我们引入了一个新的损失函数，与弱监督学习的常用方法相比，它可以改进训练。我们成功地测试了我们的方法在两个低资源的数据集，缺乏时间标签。
2018-10-26 cs.LG cs.SD eess.AS
A Joint Framework for Audio Tagging and Weakly Supervised Acoustic Event Detection Using DenseNet with Global Average Pooling
Amazon.com Inc.（亚马逊公司）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
本文提出了一种主要用于音频标记的网络架构，该架构也可用于弱监督声事件检测（AED）。建议的网络由一个修改后的DenseNet作为特征提取器，和一个全局平均池（GAP）层在推理时预测帧级标签。该架构受到Zhou等人提出的工作的启发，一个众所周知的框架，使用GAP来本地化给定图像级标签的视觉对象。虽然大多数弱监督AED的先前工作使用具有基于注意力的机制的递归层来定位声学事件，但所提出的网络使用DenseNet提取的特征图直接定位事件，而无需任何递归层。在DCASE 2017的音频标记任务中，我们的方法在绝对值方面在开发集上的F1得分中显著优于最先进的方法5.3%，在评估集上为6.0%。对于DCASE 2018中的弱监督AED任务，我们的模型通过使用数据增强和tri-training来利用未标记的数据，在绝对值方面，我们的模型在基于事件的F1中的性能优于最先进的方法8.1%，在eval集上的性能优于0.5%。
2020-08-07 cs.SD eess.AS
Self-supervised learning method using multiple sampling strategies for general-purpose audio representation
LINE Corporation（LINE公司）；Nagoya University（名古屋大学）
提出一种采用多种采样策略（片段级、帧级、任务特定）的自监督学习方法，提升通用音频表征在片段分类、声音事件检测和音高检测上的性能，分别提高25%、20%和3.6%。
2025-05-25 cs.SD eess.AS
Joint framework with deep feature distillation and adaptive focal loss for weakly supervised audio tagging and acoustic event detection
Shanghai Normal University（上海师范大学）；Unisound AI Technology Co., Ltd.（云知声人工智能科技股份有限公司）；ByteDance（字节跳动）
一个好的联合训练框架有助于同时提高弱监督音频标记和声学事件检测的性能。在这项研究中，我们提出了三种方法来改进IEEE AASP声学场景和事件检测和分类挑战赛（DCASE）2019任务4中的最佳师生框架，用于音频标记和声学事件检测任务。首先提出了一种基于帧级目标事件的深度特征提取方法，旨在利用弱监督框架中有限的强标记数据来学习更好的中间特征图。然后，我们提出了一个自适应的焦点损失和两个阶段的训练策略，使一个有效的和更准确的模型训练，其中的贡献，硬和容易的声学事件的总代价函数可以自动调整。此外，一个特定的事件后处理的设计，以提高目标事件的时间戳的预测。在公开的DCASE 2019 Task 4数据集上进行了实验，结果表明，该方法在AT（81.2% F1-score）和AED（49.8% F1-score）任务上都取得了较好的性能.
2022-02-12 cs.SD eess.AS
A Closer Look at Weak Label Learning for Audio Events
根据声音事件的音频内容分析是各种应用的重要研究问题。近年来，弱标记音频或声音事件检测（AED）方法的发展和大规模弱标记数据集的可用性最终为大规模AED开辟了可能性。然而，弱标签如何影响学习的声音事件的更深入的理解仍然缺乏从文献。在这项工作中，我们首先描述了一种基于CNN的方法，用于弱监督训练音频事件。该方法遵循依赖于弱标记音频的学习方法中所期望的一些基本设计原则。然后，我们描述了重要的特点，自然出现在弱监督学习的声音事件。我们展示了弱标签的这些方面如何影响模型的泛化。更具体地说，我们研究了标签密度和标签损坏等特征如何影响音频事件的弱监督训练。我们还研究了直接从Web上获得弱标记数据而无需任何手动标记的可行性，并将其与已手动标记的数据集进行比较。在未来弱标记学习方法的开发中，应该考虑这些因素的分析和理解。实验中使用了一个大规模的弱标记声音事件数据集AudioSet。
2018-04-24 cs.LG cs.MM cs.SD
BEST-RQ-2: Contextualize-Then-Predict, a Two-Step Approach for Self-Supervised Audio Representations
提出BEST-RQ-2，通过两步式上下文化-预测预训练方案，使用ViT编码器和轻量预测器，在保持推理计算不变下提升跨域迁移性能。
2026-07-01 cs.AI cs.LG cs.SD
AVES: Animal Vocalization Encoder based on Self-Supervision
Earth Species Project（地球物种项目）
生物声学中缺乏注释的训练数据阻碍了以监督方式训练的大规模神经网络模型的使用。为了利用大量的未注释的音频数据，我们提出了AVES（基于自我监督的动物发声编码器），一个自我监督的，基于变换的音频表示模型，用于编码动物发声。我们在一组不同的未注释的音频数据集上预训练AVES，并对它们进行微调，以用于下游的生物声学任务。一系列分类和检测任务的综合实验表明，AVES的性能优于所有强基线，甚至优于在带注释的音频分类数据集上训练的有监督的“背线”模型。结果还表明，策划与下游任务相关的小训练子集是训练高质量音频表示模型的有效方法。我们在\url{https://github.com/earthspecies/aves}上开源了我们的模型。
2022-10-26 cs.SD eess.AS
Induction Network: Audio-Visual Modality Gap-Bridging for Self-Supervised Sound Source Localization
Northwestern Polytechnical University（西北工业大学）；Ningbo Institute of Northwestern Polytechnical University（西北工业大学宁波研究院）；Nanchang University（南昌大学）
本文提出归纳网络，通过解耦音视频梯度并利用归纳向量以自举方式学习判别性视觉表示，结合视觉加权对比损失和自适应阈值选择策略，在SoundNet-Flickr和VGG-Sound Source数据集上实现了更优的自监督声源定位性能。
2023-08-09 cs.AI cs.CV cs.MM
Audio Barlow Twins: Self-Supervised Audio Representation Learning
Imperial College London（伦敦帝国理工学院）；University of Augsburg（奥格斯堡大学）
Barlow Twins自监督学习目标既不需要负样本也不需要非对称学习更新，其结果与计算机视觉的当前最先进水平相当。因此，我们提出了音频巴洛双胞胎，一种新的自我监督的音频表示学习方法，适应巴洛双胞胎的音频域。我们在大规模音频数据集AudioSet上进行了预训练，并评估了HEAR 2021挑战赛中18个任务的学习表示的质量，取得了优于或与当前最先进的音频表示自监督学习方法相媲美的结果。代码请访问https://github.com/jonahanton/SSL_audio。
2022-09-28 cs.LG cs.SD eess.AS
BYOL for Audio: Self-Supervised Learning for General-Purpose Audio Representation
NTT Corporation（日本电信电话公司）
受计算机视觉自监督学习的最新进展的启发，我们探索了一种新的通用音频表示学习方法。我们建议从单个音频段学习通用音频表示，而不期望音频样本的不同时间段之间的关系。为了实现这一原则，我们引入了Bootstrap Your Own Latent（BYOL）for Audio（BYOL-A，发音为“viola”），这是一种基于BYOL的音频自监督学习方法，用于学习通用音频表示。与依赖于附近音频段的一致性或远程音频段的不一致性的大多数先前的音频自监督学习方法不同，BYOL-A在从单个音频段导出的增强音频段对中创建对比。通过标准化和增强技术的结合，BYOL-A在各种下游任务中实现了最先进的结果。广泛的消融研究也阐明了每个组件及其组合的贡献。
2021-04-21 cs.LG cs.SD eess.AS
Conformer-Based Self-Supervised Learning for Non-Speech Audio Tasks
Facebook（脸书）
从未标记数据中进行表示学习一直是人工智能研究的热点。虽然自监督语音表示学习已经在语音研究界流行，但很少有作品全面分析非语音音频任务的音频表示学习。在本文中，我们提出了一种自监督的音频表示学习方法，并将其应用于各种下游的非语音音频任务。我们结合了著名的wav2vec 2.0框架，它已经成功地在自监督学习的语音任务，参数高效的构象架构。我们的自我监督预训练可以将对标记数据的需求减少三分之二。在AudioSet基准测试中，我们实现了0.415的平均精度（mAP）得分，这是通过仅音频自监督学习在该数据集上的最新技术水平。我们的微调构象也超过或匹配以前的系统在几个下游任务的监督方式预训练的性能。我们进一步讨论了预训练和微调的重要设计考虑因素。
2022-01-07 cs.LG cs.SD eess.AS
Augmented Contrastive Self-Supervised Learning for Audio Invariant Representations
Microsoft（微软）
由于标记数据的稀缺性，提高泛化能力是音频分类的主要挑战。自监督学习（SSL）方法通过利用未标记的数据来学习下游分类任务的有用特征来解决这个问题。在这项工作中，我们提出了一个增强的对比SSL框架，学习不变表示从未标记的数据。我们的方法将各种扰动应用于未标记的输入数据，并利用对比学习来学习对这种扰动具有鲁棒性的表示。在Audioset和DESED数据集上的实验结果表明，我们的框架在声音/事件分类任务上的性能明显优于最先进的SSL和监督学习方法。
2021-12-21 cs.LG cs.SD eess.AS
Weakly-supervised Automated Audio Captioning via text only training
本文提出一种仅利用文本数据和预训练CLAP模型的弱监督自动音频描述生成方法，通过文本嵌入重建与音频嵌入解码并弥合模态差距，在Clotho和AudioCaps上达到全监督方法约83%的相对性能。
2023-09-21 cs.LG cs.SD eess.AS
Self-supervised Attention Model for Weakly Labeled Audio Event Classification
Northwestern University（西北大学）；Bosch Research and Technology Center（博世研究与技术中心）
我们描述了一种新的弱标记的音频事件分类方法的基础上的自监督注意力模型。弱标记框架用于消除对昂贵的数据标记过程的需要，并且部署自监督注意力以帮助模型以与先前注意力模型相比更有效的方式区分弱标记音频片段的相关和不相关部分。我们还提出了一个高效的强监督注意力模型时，强标签。该模型也可以作为自监督模型的上限。具有自监督注意训练的模型的性能与使用强标签训练的强监督模型相当。我们表明，我们的自我监督的注意力方法是特别有益的短音频事件。我们实现了8.8%和17.6%的相对平均平均精度的改善，目前国家的最先进的系统SL-DCASE-17和平衡的AudioSet。
2019-08-07 cs.LG cs.SD eess.AS
An empirical study of weakly supervised audio tagging embeddings for general audio representations
Xiaomi Corporation（小米公司）
我们研究了预训练的弱监督音频标记（AT）模型作为一般音频表示的特征提取器的可用性。我们主要分析了将这些嵌入转移到语音和声音域中的其他任务的可行性。具体来说，我们将弱监督预训练模型（MobileNetV 2和EfficientNet-B 0）与现代自监督学习方法（BYOL-A）作为特征提取器进行基准测试。14个下游任务用于评估，从乐器分类到语言分类。我们的研究结果表明，AT预训练模型是音乐，事件和情感识别任务的优秀迁移学习选择。此外，微调AT模型还可以使语音相关任务受益，例如关键字识别和意图分类。
2022-09-30 cs.SD eess.AS
Robust Self-Supervised Audio-Visual Speech Recognition
Meta AI
基于音频的自动语音识别（ASR）在噪声环境中会显著降低，并且特别容易受到干扰语音的影响，因为模型无法确定要转录哪个说话者。视听语音识别（AVSR）系统通过用视觉信息补充音频流来提高鲁棒性，视觉信息对噪声是不变的，并且帮助模型聚焦于期望的说话者。然而，以前的AVSR工作只集中在监督学习设置上;因此，可用的标记数据量阻碍了进展。在这项工作中，我们提出了一个自监督AVSR框架上建立的视听休伯特（AV休伯特），一个国家的最先进的视听语音表示学习模型。在最大的AVSR基准数据集LRS 3上，我们的方法在存在串音噪声的情况下使用不到10%的标记数据（433小时与30小时），比现有技术的性能高出约50%（28.0%与14.1%），同时平均将基于音频的模型的WER降低了75%以上（25.8%与5.8%）。
2022-07-14 cs.CV cs.LG cs.SD
Supervised Classifiers for Audio Impairments with Noisy Labels
Microsoft Corporation（微软公司）
由于环境和网络条件，互联网协议语音（VoIP）呼叫容易出现各种语音损伤，从而导致不良的用户体验。可靠的音频损伤分类器有助于识别音频质量差的原因。呼叫之后的用户反馈可以充当用于在大型音频数据集上训练监督分类器的地面实况标签。然而，标签是嘈杂的，因为大多数用户缺乏专业知识来精确地表达所感知的语音中的损伤。在本文中，我们分析了标签中的大量噪声在训练密集网络和卷积神经网络（CNN）中的影响，这些网络使用工程特征，频谱图和原始音频样本作为输入。我们证明了CNN可以更好地推广具有大量噪声标签的训练数据，并给出显着更高的测试性能。分类器在随机生成的标签噪声和人为错误引入的标签噪声上进行训练。我们还表明，使用噪声标签进行训练需要显著增加训练数据集的大小，这与标签中的噪声量成比例。
2019-07-03 cs.LG cs.SD eess.AS
Learning neural audio features without supervision
University of Glasgow（格拉斯哥大学）；Google Research（谷歌研究院）
深度音频分类，传统上是以监督的方式在梅尔滤波器组之上训练深度神经网络，最近受益于两个独立的工作线。第一个探索“可学习的前端”，即，神经模块产生可学习的时间-频率表示，以克服固定特征的限制。第二种使用自监督学习来利用前所未有的预训练数据规模。在这项工作中，我们研究了结合这两种方法的可行性，即，预训练可学习前端与下游分类的主架构联合。首先，我们证明了在Audioset上预训练两个先前提出的前端（SincNet和LEAF）大大提高了固定mel滤波器组的线性探测性能，这表明可学习的时频表示可以比监督训练更有利于自监督预训练。令人惊讶的是，随机初始化的可学习滤波器组在自监督设置中优于梅尔规模的初始化，这是一个反直觉的结果，在设计可学习滤波器时质疑强先验的适当性。通过对学习到的前端组件进行探索性分析，我们发现了这些前端在监督和自监督设置中使用时的关键差异，特别是自监督过滤器的亲和力，以显着偏离梅尔尺度，从而对更广泛的频率范围进行建模。
2022-03-29 cs.LG cs.SD eess.AS
Federated Self-Training for Semi-Supervised Audio Recognition
Eindhoven University of Technology（埃因霍温理工大学）
联邦学习是一种分布式机器学习范式，处理分散和个人数据集。由于数据驻留在智能手机和虚拟助手等设备上，因此标签被委托给客户端，或者以自动化的方式提取标签。具体地，在音频数据的情况下，获取语义注释可能是极其昂贵和耗时的。因此，大量的音频数据在用户的设备上仍然未被标记和利用。大多数现有的联邦学习方法都集中在监督学习上，而没有利用未标记的数据。在这项工作中，我们研究的问题，半监督学习的音频模型，通过自我训练结合联邦学习。我们提出FedSTAR来利用大规模的设备上未标记的数据来提高音频识别模型的泛化能力。我们进一步证明，自我监督的预训练模型可以加速设备上模型的训练，显著提高收敛到更少的训练轮次。我们在不同的公共音频分类数据集上进行实验，并在不同百分比的标记和未标记数据下研究我们的模型的性能。值得注意的是，我们发现，与完全监督的联邦模型相比，只有3%的标记数据可用，FedSTAR平均可以将识别率提高13.28%。
2022-02-25 cs.DC cs.LG cs.SD
Semi-Supervised Audio Representation Learning for Modeling Beehive Strengths
X, the Moonshot Factory（X，月球工厂）；Caltech（加州理工学院）；Google（谷歌）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Washington State University（华盛顿州立大学）
蜜蜂作为授粉者，对我们的生态系统和粮食安全至关重要，占全球农业产量的35%。尽管养蜂业很重要，但它完全依赖于人类劳动和经验，同时需要频繁的人工检查以确保蜂群健康，这可能会破坏蜂群。由于气候变化、害虫和环境毒性的威胁，传粉昆虫的数量正在日益减少，这使得对它们的管理比以往任何时候都更加重要，以确保全球粮食安全的持续性。为了开始应对这一紧迫的挑战，我们开发了一个集成的硬件传感系统，用于通过音频和环境测量进行蜂箱监测，以及一个分层半监督深度学习模型，由音频建模模块和预测器组成，用于对蜂箱的强度进行建模。该模型基于人类检查在音频重建和预测损失方面进行联合训练，以便对低级音频特征和昼夜节律时间动态进行建模。我们表明，尽管标签有限，该模型仍表现良好，并且可以学习音频嵌入，这对于表征蜂箱的不同声音配置文件非常有用。这是我们所知的第一个应用基于音频的深度学习在大量蜂巢的观察环境中对蜂巢和种群规模进行建模的实例。
2021-05-21 cs.LG cs.SD eess.AS
Masked Spectrogram Prediction For Self-Supervised Audio Pre-Training
Peking University, Shenzhen, China（北京大学深圳）；Zhejiang University, Hangzhou, China（浙江大学杭州）
基于transformer的模型在足够的数据量上训练时可以获得出色的结果和良好的泛化能力。然而，受音频域中可用的有限数据的约束，大多数用于音频任务的基于变换器的模型都是从其他域（例如图像）中的预训练模型进行微调的，这与音频域有显著的差距。其他方法直接在音频域中探索自监督学习方法，但目前在下游任务中表现不佳。在本文中，我们提出了一种新的自监督学习方法，用于基于变换的音频模型，称为掩蔽谱图预测（MaskSpec），从未标记的音频数据（本文中使用的AudioSet）中学习强大的音频表示。我们的方法屏蔽输入频谱图的随机补丁，并使用编码器-解码器架构重建被屏蔽的区域。在不使用额外的模型权重或监督的情况下，多个下游数据集上的实验结果表明，MaskSpec相对于监督方法实现了显着的性能提升，并且优于以前的预训练模型。特别是，我们的最佳模型在AudioSet上达到了0.471（mAP），在OpenMIC 2018上达到了0.854（mAP），在ESC-50上达到了0.982（准确度），在SCV 2上达到了0.976（准确度），在DCASE 2019 Task 1A上达到了0.823（准确度）。
2022-04-27 cs.SD eess.AS
AxLSTMs: learning self-supervised audio representations with xLSTMs
Department of Electronic Systems（电子系统系）；Department of Informatics and Telecommunications（信息与电信系）
本文提出AxLSTM方法，利用xLSTM架构从掩码频谱图块中自监督学习音频表示，在AudioSet预训练后于十个下游任务上以最多减少45%的参数量实现比SSAST基线最高25%的相对性能提升。
2025-08-19 cs.SD eess.AS
Improving Self-Supervised Learning for Audio Representations by Feature Diversity and Decorrelation
Sony Europe B.V.（索尼欧洲有限公司）
自监督学习（SSL）最近在缩小监督学习和无监督学习之间的差距方面取得了显着的成果。其思想是学习对输入数据的失真不变的鲁棒特征。尽管它取得了成功，但这个想法可能会遇到一个崩溃的问题，即网络产生恒定的表示。为此，我们引入SELFIE，一种新的自监督学习方法，通过特征多样性和去相关性的音频表示。SELFIE通过确保表示（i）保持嵌入之间的高度多样性和（ii）解相关维度之间的依赖关系来避免崩溃问题。SELFIE在大规模AudioSet数据集上进行了预训练，其嵌入在九个音频下游任务上进行了验证，包括语音、音乐和声音事件识别。实验结果表明，SELFIE优于现有的SSL方法在几个任务。
2023-03-07 cs.SD eess.AS
Contrastive Learning of General-Purpose Audio Representations
Google（谷歌）
我们介绍COLA，一种用于学习通用音频表示的自我监督预训练方法。我们的方法是基于对比学习：它学习一种表示，该表示将高相似性分配给从同一录音中提取的音频片段，同时将较低相似性分配给来自不同录音的片段。我们基于计算机视觉对比学习和强化学习的最新进展，设计了一个轻量级的，易于实现的自监督音频模型。我们在大规模Audioset数据库上预训练嵌入，并将这些表示转移到9个不同的分类任务中，包括语音，音乐，动物声音和声学场景。我们表明，尽管它的简单性，我们的方法显着优于以前的自我监督系统。我们还进行消融研究以确定关键的设计选择，并发布一个库来预训练和微调COLA模型。
2020-10-21 cs.LG cs.SD eess.AS
Self-Supervised Learning for Audio-Based Emotion Recognition
针对音频情感识别训练标签稀缺问题，提出将自监督学习预训练应用于编码声学数据，通过掩码时间戳预训练+少量标注微调，在CMU-MOSEI数据集上全面提升性能，小样本及易分类情感提升更显著。
2023-07-23 cs.LG cs.SD eess.AS
Improving Perceptual Audio Aesthetic Assessment via Triplet Loss and Self-Supervised Embeddings
Research Center for Information Technology Innovation, Academia Sinica（学术院信息科技创新研究中心）；College of Informatics, National Chengchi University（国立成功大学资讯学院）；Institute of Information Science, Academia Sinica（学术院信息科学研究所）；Institute of Communications Engineering, National Yang Ming Chiao Tung University（国立阳明交通大学通讯工程研究所）
针对生成式音频美学评估中自然训练数据与合成评估数据的域偏移问题，结合BEATs预训练模型与多分支LSTM，采用带缓冲区采样的三元组损失构建嵌入空间，提升了嵌入可区分性与泛化能力，实现无需合成训练数据的域鲁棒音频质量评估。
2025-09-03 cs.LG cs.SD eess.AS
Audio Mamba: Selective State Spaces for Self-Supervised Audio Representations
Aalborg University（奥尔堡大学）；Pioneer Center for AI（先锋人工智能中心）
本文提出Audio Mamba，一种基于选择性状态空间模型的自监督音频表示学习方法，在AudioSet预训练后于多个音频任务上显著优于SSAST基线。
2024-06-07 cs.AI cs.SD eess.AS
Self-supervised Learning of Audio Representations from Audio-Visual Data using Spatial Alignment
Tampere University（坦佩雷大学）
从视听数据中学习提供了许多可能性来表达音频和视觉内容之间的对应关系，类似于将听觉和视觉信息联系起来的人类感知。在这项工作中，我们提出了一种基于视听空间对齐（AVSA）的自监督表示学习方法，这是一种比视听对应（AVC）更复杂的对齐任务。除了对应关系之外，AVSA还从声学和视觉内容的空间位置中学习。基于360 $^\text{o}$视频和Ambisonics音频，我们提出了使用对象检测来选择视觉对象，并将音频信号波束成形到检测到的对象，尝试学习对象和它们产生的声音之间的空间对准。我们研究了使用空间音频特征来表示音频输入以及不同的音频格式：高保真度立体声、单声道和立体声。实验结果表明，与对数梅尔频谱图特征相比，一阶立体混响强度向量（FOA-IV）的AVSA提高了10 $\%$;添加面向对象的作物也为人类动作识别下游任务带来了显着的性能提高。设计了许多仅音频的下游任务，用于测试学习的音频特征表示的有效性，获得与来自立体混响和双耳音频的声学场景分类的最新方法相当的性能。
2022-06-02 cs.SD eess.AS
Weakly-Supervised Audio-Visual Segmentation
CMU（卡内基梅隆大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对音视频分割中像素级掩码标注成本高的问题，提出弱监督框架WS-AVS，通过多尺度多实例对比学习实现多尺度音视频对齐，在AVSBench上验证了单源和多源场景下的有效性。
2023-11-25 cs.AI cs.CV cs.LG
A Framework for Generative and Contrastive Learning of Audio Representations
Stanford University（斯坦福大学）
在本文中，我们提出了一个框架，对比学习音频表示，在一个自我监督的框架工作，没有访问任何地面真理标签。自监督对比学习的核心思想是映射音频信号及其各种增强版本（代表音频的突出方面，如音高，音色等）。到一个空间，在那里它们靠近在一起，并与其他不同的信号分开。此外，我们还探索了基于最先进的Transformer架构的生成模型，用于学习音频信号的潜在空间，而无需访问任何标签。在这里，我们将较小规模的音频信号映射到离散字典元素，并训练Transformers来预测下一个字典元素。我们只使用数据作为监督的方法，而不需要标签作为训练深度神经网络的监督。然后，我们使用一个线性分类器头，以评估我们的模型的性能，为自我监督的对比和生成Transformer为基础的表示，学习。我们的系统实现了相当大的性能，相比一个完全监督的方法，与地面实况标签的访问训练的神经网络模型。这些表示方法具有大规模音频数据的可用性，在音频理解任务的各种任务中显示出希望
2021-03-16 cs.LG cs.SD eess.AS
Multimodal Self-Supervised Learning of General Audio Representations
DeepMind（深度思维）
我们提出了一个多模态框架，从视频中学习一般的音频表示。现有的对比音频表示学习方法主要集中在训练过程中单独使用音频模态。在这项工作中，我们表明，视频中包含的额外信息可以用来大大提高学习功能。首先，我们证明了我们的对比框架不需要高分辨率的图像来学习良好的音频特征。这使我们能够扩大训练批次的大小，同时将额外视频模态引起的计算负载保持在合理的水平。其次，我们使用混合不同样本的增强。我们表明，这是有效的，使代理任务更难，从而导致大量的性能提高时，增加批量大小。因此，我们的音频模型在AudioSet分类下游任务上实现了最先进的42.4 mAP，缩小了在同一数据集上训练的监督和自监督方法之间的差距。此外，我们表明，我们的方法在广泛的非语义音频任务，包括说话人辨识，关键字定位，语言识别和乐器分类是有利的。
2021-04-28 cs.SD eess.AS
Exploring Federated Self-Supervised Learning for General Purpose Audio Understanding
TCL AI Lab（TCL人工智能实验室）
本文提出联邦自监督学习框架FASSL，在非独立同分布的大规模异构客户端上学习音频特征，实现与集中式方法相当的检索性能，并助力最优全局模型聚合。
2024-02-05 cs.CV cs.LG cs.SD
Self-Supervised Multi-View Learning for Disentangled Music Audio Representations
New York University（纽约大学）
针对音乐音频自监督学习中的表示纠缠问题，提出一种多视角学习框架，通过分离私有与共享表示空间，在受控实验中验证了其解纠缠有效性。
2024-11-05 cs.SD eess.AS
Weakly Supervised Audio Source Separation via Spectrum Energy Preserved Wasserstein Learning
IBM Research – China（IBM中国研究院）；Shanghai Jiao Tong University（上海交通大学）
将音频混合分离成单独的乐器轨道一直是一项长期存在的挑战性任务。提出了一种基于深度对抗学习的弱监督音频声源分离方法。具体来说，我们的损失函数采用Wasserstein距离，直接测量分离的源和每个单独的源的真实源之间的分布距离。此外，增加了一个全局正则化项，以满足谱能量保持性质，而不管分离。与通常涉及故意设计的约束或仔细的模型选择的最新弱监督模型不同，我们的方法几乎不需要对数据进行先验模型规范，并且可以以端到端的方式直接学习。我们表明，所提出的方法在公共基准上对最先进的弱监督方法具有竞争力。
2018-05-17 cs.SD eess.AS
Pseudo strong labels for large scale weakly supervised audio tagging
Xiaomi Corporation（小米公司）
大规模的音频标记数据集不可避免地包含不完美的标签，例如由于高手动标记成本而没有精确的开和偏移的剪辑式注释（时间上弱）标签。这项工作提出了伪强标签（PSL），一个简单的标签增强框架，提高了大规模弱监督音频标记的监督质量。机器注释器首先在大型弱监督数据集上进行训练，然后为学生模型提供更精细的监督。使用PSL，我们使用MobileNetV2后端实现了Audioset的35.95平衡训练子集的mAP，显著优于没有PSL的方法。提供的分析显示，PSL减轻了标签缺失。最后，我们证明了用PSL训练的模型在推广到Freesound数据集（FSD）方面也优于弱训练的模型。
2022-04-28 cs.SD eess.AS
Self-supervised audio representation learning for mobile devices
Google Research（谷歌研究院）
我们探索了可以潜在地部署在移动设备上以学习通用音频表示的自监督模型。具体来说，我们提出了利用频谱图域中的时间上下文的方法。一种方法估计从同一音频剪辑随机提取的两个短音频片段之间的时间间隙。其他方法受到Word2Vec的启发，Word2Vec是一种用于学习单词嵌入的流行技术，旨在从过去和未来切片重建时间频谱图切片，或者从当前切片重建周围切片的上下文。我们将评估重点放在小型编码器架构上，这些架构可以在推理（在多个下游任务中重复使用公共的学习表示）和训练（在与联邦学习相结合时，捕获真实的数据分布而不会损害用户的隐私）期间在移动设备上运行。我们评估了自监督学习模型产生的嵌入的质量，并表明它们可以重新用于各种下游任务，对于某些任务，甚至接近类似大小的完全监督模型的性能。
2019-05-24 cs.LG cs.SD eess.AS
Self-Supervised Audio-and-Text Pre-training with Extremely Low-Resource Parallel Data
TAL Education Group（好未来教育集团）；Tencent（腾讯）
音频和文本的多模态预训练最近被证明是有效的，并显着提高了许多下游语音理解任务的性能。然而，这些最先进的预训练音频文本模型只有在提供大量的并行音频和文本数据时才能很好地工作，这给许多拥有丰富的单模态语料库但缺乏并行跨模态语料库的语言带来了挑战。在本文中，我们研究是否有可能预训练音频文本多模态模型与极低资源的并行数据和额外的非并行单峰数据。我们的预训练框架由以下组件组成：（1）模态内去噪自动编码（IDAE），它能够从自身的噪声版本中重建输入文本（音频）表示。(2)跨模态去噪自动编码（CDAE），预先训练以重建输入文本（音频），给定输入文本（音频）的噪声版本和相应的翻译噪声音频特征（文本嵌入）。(3)迭代去噪过程（IDP），迭代地将原始音频（文本）和从先前迭代转换的相应文本嵌入（音频特征）转换为新的噪声较小的文本嵌入（音频特征）。我们采用双交叉模态Transformer作为我们的骨干模型，它包括两个IDAE的单峰编码器和两个CDAE和IDP的交叉模态编码器。与在完全并行数据上预训练的模型相比，我们的方法在多个下游语音理解任务上实现了相当的性能，证明了所提出的方法的巨大潜力。我们的代码可从以下网址获得：\url{https://github.com/KarlYuKang/Low-Resource-Multimodal-Pre-training}。
2022-04-10 cs.LG cs.SD eess.AS
Self-supervised Audio Spatialization with Correspondence Classifier
University of California at Merced（加州大学默塞德分校）
空间音频是观众获得3D视觉和听觉体验的重要媒介。然而，记录设备和技术是昂贵的或公众无法获得的。在这项工作中，我们提出了一个自我监督的音频空间化网络，可以生成相应的视频和单声道音频的空间音频。为了增强空间化性能，我们使用辅助分类器来分类地面实况视频和左右声道交换的音频视频。我们收集了一个大规模的视频数据集与空间音频验证所提出的方法。实验结果表明，该模型的音频空间化任务的有效性。
2019-05-14 cs.CV cs.LG cs.SD
EAT: Self-Supervised Pre-Training with Efficient Audio Transformer
MoE Key Lab of Artificial Intelligence, AI Institute（教育部人工智能重点实验室，人工智能研究院）；X-LANCE Lab, Department of Computer Science and Engineering（X-LANCE实验室，计算机科学与工程系）；Shanghai Jiao Tong University（上海交通大学）
本文提出高效音频Transformer（EAT），通过bootstrap自监督训练范式和Utterance-Frame Objective（UFO）及大型逆块掩码策略，在多项音频任务上实现SOTA性能，并将预训练速度提升约15倍。
2024-01-07 cs.AI cs.CL cs.LG
Match to Win: Analysing Sequences Lengths for Efficient Self-supervised Learning in Speech and Audio
University of Cambridge（剑桥大学）；Samsung AI（三星人工智能）；Avignon University（阿维尼翁大学）
自监督学习（SSL）在语音和音频相关应用中已被证明是至关重要的。该范例在未标记的数据上训练一个通用模型，这些数据稍后可用于解决特定的下游任务。这种类型的模型对于训练来说是昂贵的，因为它需要操纵只能由强大的集中式服务器处理的长输入序列。令人惊讶的是，尽管许多尝试通过模型压缩来提高训练效率，但是还没有研究截断输入序列长度以减少计算的效果。在本文中，我们提供了针对不同指定序列长度的SSL预训练的第一个实证研究，并将其与各种下游任务联系起来。我们发现，在短序列上进行训练可以大大降低资源成本，同时为所有任务保持令人满意的性能。这种简单的一行更改将促进SSL培训从数据中心迁移到用户端边缘设备，以实现更现实和个性化的应用程序。
2022-11-22 cs.LG cs.SD eess.AS
Semi-Supervised Audio Classification with Partially Labeled Data
Georgia Institute of Technology（佐治亚理工学院）
随着大规模数据集可用性的提高，音频分类取得了很大的进展。然而，这些大型数据集通常只被部分标记，因为收集完整的注释是一个繁琐而昂贵的过程。本文提出了两种能够在缺失标签的情况下学习的半监督方法，并在两个公开的部分标记数据集上对其进行了评估。第一种方法依赖于标签增强的两个阶段的师生学习过程，而第二种方法利用平均教师半监督学习算法。我们的研究结果证明了不正确处理缺失标签的影响，并比较了使用不同策略利用标签较少的数据的好处。能够使用部分标记的数据进行学习的方法有可能通过利用更大量的数据来改进音频分类模型，而无需完整的注释。
2021-11-24 cs.SD eess.AS
Audio-Visual Speech Enhancement and Separation by Utilizing Multi-Modal Self-Supervised Embeddings
Carnegie Mellon University（卡内基梅隆大学）；National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；Edinburgh Napier University（爱丁堡龙比亚大学）
本文提出在预训练AV-HuBERT后接入SE模块并配合微调，用于AVSE和AVSS，实验证明其优于现有AVSE及纯音频SE方法。
2023-06-01 cs.SD eess.AS
Audio ALBERT: A Lite BERT for Self-supervised Learning of Audio Representation
Amazon（亚马逊）
对于自监督语音处理，使用预训练模型作为语音表示提取器至关重要。在最近的工作中，增加模型的大小已被用于声学模型训练，以实现更好的性能。在本文中，我们提出了音频ALBERT，一个精简版的自监督语音表示模型。我们使用的表示与两个下游的任务，说话人识别和音素分类。我们表明，音频ALBERT是能够实现具有竞争力的性能与这些巨大的模型在下游的任务，同时利用91%的参数少。此外，我们使用一些简单的探测模型来衡量有多少说话人和音素的信息被编码在潜在的表征。在探测实验中，我们发现潜在表征比最后一层包含了更丰富的音素和说话人信息。
2021-05-03 cs.CL cs.SD eess.AS
SSAST: Self-Supervised Audio Spectrogram Transformer
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
最近，纯粹基于自我注意力的神经网络，如视觉Transformer（ViT），在各种视觉任务上表现优于卷积神经网络（CNN）构建的深度学习模型，从而将最初为语言处理开发的Transformers的成功扩展到视觉领域。最近的一项研究表明，类似的方法也可以应用于音频领域。具体而言，音频频谱图Transformer（AST）在各种音频分类基准上实现了最先进的结果。然而，与CNN相比，纯Transformer模型往往需要更多的训练数据，并且AST的成功依赖于监督预训练，这需要大量的标记数据和复杂的训练管道，从而限制了AST的实际使用。本文重点研究音频和语音分类，旨在通过利用未标记数据的自监督学习来减少AST对大量标记数据的需求。具体来说，我们建议使用AudioSet和Libripeech中的未标记音频，通过联合判别和生成掩蔽声谱图补丁建模（MSPM）来预训练AST模型。我们在音频和语音分类任务上评估我们的预训练模型，包括音频事件分类，关键字识别，情感识别和说话人辨识。所提出的自监督框架显着提高了AST在所有任务上的性能，平均提高了60.9%，导致与监督预训练AST相似甚至更好的结果。据我们所知，它是音频和语音领域的第一个基于块的自监督学习框架，也是AST的第一个自监督学习框架。
2022-02-10 cs.AI cs.SD eess.AS
SSAVSV: Towards Unified Model for Self-Supervised Audio-Visual Speaker Verification
Computer Research Institute of Montreal (CRIM), Canada（蒙特利尔计算机研究院（CRIM））
本文提出SSAVSV，一个基于对比学习与共享视觉变换器骨干的统一自监督音视频说话人验证框架，无需标注数据，降低计算成本并实现竞争性能。
2025-06-21 cs.CV cs.SD eess.AS
Self-supervised learning for audio-visual speaker diarization
Tencent AI Lab（腾讯人工智能实验室）
说话人日志化（Speaker Diarization）是一种寻找特定说话人的语音片段的方法，在以人为中心的应用中得到了广泛的应用，如电视会议或人机交互系统。在本文中，我们提出了一个自我监督的音频视频同步学习方法来解决说话人日记化的问题，而无需大量的标记工作。我们通过引入两个新的损失函数：动态三重损失和多项式损失来改进以前的方法。我们在一个真实的人机交互系统上对它们进行了测试，结果表明我们的最佳模型产生了+8%F1分数的显着增益以及日志错误率的降低。最后，我们介绍了一个新的大规模音视频语料库，旨在填补汉语音视频数据集的空缺。
2020-02-13 cs.LG cs.MM cs.SD
Self-Supervised Speech Denoising Using Only Noisy Audio Signals
Southeast University（东南大学）；Centre de Recherche en Information Biomédicale Sino-français (CRIBs)（中法生物医学信息研究中心）；The 28th Research Institute of China Electronics Technology Group Corporation（中国电子科技集团公司第二十八研究所）；Univ Rennes（雷恩大学）
在传统的语音去噪任务中，通常使用干净的音频信号作为训练目标，但绝对干净的信号是从昂贵的录音设备或环境严格的工作室中收集的。为了克服这个缺点，我们提出了一个端到端的自监督语音去噪训练方案，只使用嘈杂的音频信号，名为Only-Noisy Training（ONT），没有额外的训练条件。该策略仅从单个噪声音频中构造训练对，包含两个模块：训练音频对生成模块和语音去噪模块。第一个模块采用随机音频子采样器对每个噪声音频生成训练对。子采样对，然后送入一个新的复值语音去噪模块。实验结果表明，该方法不仅消除了传统音频去噪任务对干净目标的高度依赖性，而且与其他训练策略相比，其性能达到或优于其他训练策略。可在https://github.com/liqingchunnnn/Only-Noisy-Training上获得可扩展性-ONT
2023-01-19 cs.SD eess.AS
Multi-level Attention Model for Weakly Supervised Audio Classification
University of Stuttgart（斯图加特大学）；University of Surrey（萨里大学）
在本文中，我们提出了一个多层次的注意力模型来解决弱标记的音频分类问题。音频分类的目的是预测音频片段中是否存在音频事件。最近，Google发布了一个名为Audio Set的大规模弱标记数据集，其中每个音频片段仅包含音频事件的存在或不存在，而没有音频事件的开始和偏移时间。我们的多级注意力模型是对以前提出的单级注意力模型的扩展。它由应用于中间神经网络层的几个注意力模块组成。这些注意力模块的输出被连接到一个向量，然后是一个多标签分类器，以做出每个类别的最终预测。实验表明，我们的模型达到了0.360的平均精度（mAP），优于最先进的单级注意力模型0.327和谷歌基线0.314。
2018-03-06 cs.SD eess.AS
