On Negative Sampling for Contrastive Audio-Text Retrieval
Tampere University（坦佩雷大学）
本文研究了音频文本检索中的对比学习中的负采样问题。负采样的策略是指从正音频-文本对的候选池中选择负（音频片段或文本描述）。我们通过模型估计的音频和文本样本的模态内和跨模态相关性分数探索采样策略。在文献[1]的检索系统上，我们研究了八种抽样策略，包括硬和半硬负抽样。实验结果表明，不同策略的检索性能差异很大.特别地，通过选择具有跨模态分数的半硬否定，检索系统在文本到音频和音频到文本检索中获得改进的性能。此外，我们发现，功能崩溃时发生采样硬否定与跨模态分数。
2023-02-17 cs.SD eess.AS
Audio Barlow Twins: Self-Supervised Audio Representation Learning
Imperial College London（伦敦帝国理工学院）；University of Augsburg（奥格斯堡大学）
Barlow Twins自监督学习目标既不需要负样本也不需要非对称学习更新，其结果与计算机视觉的当前最先进水平相当。因此，我们提出了音频巴洛双胞胎，一种新的自我监督的音频表示学习方法，适应巴洛双胞胎的音频域。我们在大规模音频数据集AudioSet上进行了预训练，并评估了HEAR 2021挑战赛中18个任务的学习表示的质量，取得了优于或与当前最先进的音频表示自监督学习方法相媲美的结果。代码请访问https://github.com/jonahanton/SSL_audio。
2022-09-28 cs.LG cs.SD eess.AS
BYOL for Audio: Self-Supervised Learning for General-Purpose Audio Representation
NTT Corporation（日本电信电话公司）
受计算机视觉自监督学习的最新进展的启发，我们探索了一种新的通用音频表示学习方法。我们建议从单个音频段学习通用音频表示，而不期望音频样本的不同时间段之间的关系。为了实现这一原则，我们引入了Bootstrap Your Own Latent（BYOL）for Audio（BYOL-A，发音为“viola”），这是一种基于BYOL的音频自监督学习方法，用于学习通用音频表示。与依赖于附近音频段的一致性或远程音频段的不一致性的大多数先前的音频自监督学习方法不同，BYOL-A在从单个音频段导出的增强音频段对中创建对比。通过标准化和增强技术的结合，BYOL-A在各种下游任务中实现了最先进的结果。广泛的消融研究也阐明了每个组件及其组合的贡献。
2021-04-21 cs.LG cs.SD eess.AS
From Objectives to Applications: Aligning Architectural Biases in Audio Self-Supervised Learning
本文通过预训练目标、架构归纳偏差与下游应用的对齐，系统分析音频自监督学习，围绕五种范式讨论不同监督信号对表征的影响，并关联到CNN、RNN、状态空间模型、Transformer及混合架构的偏差，最后解读在语音、环境声、音乐、医学及多模态等领域的应用。
2026-07-02 eess.AS
Leveraging Self-supervised Audio Representations for Data-Efficient Acoustic Scene Classification
Xi'an Jiaotong-Liverpool University（西交利物浦大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
本文提出一种数据高效且低复杂度的声学场景分类系统，利用BEATs自监督预训练模型提取通用音频表示，并通过集成不同微调策略与知识蒸馏技术，在有限标注数据下实现了56.7%的平均准确率。
2024-08-27 cs.SD eess.AS
Masked Spectrogram Prediction For Self-Supervised Audio Pre-Training
Peking University, Shenzhen, China（北京大学深圳）；Zhejiang University, Hangzhou, China（浙江大学杭州）
基于transformer的模型在足够的数据量上训练时可以获得出色的结果和良好的泛化能力。然而，受音频域中可用的有限数据的约束，大多数用于音频任务的基于变换器的模型都是从其他域（例如图像）中的预训练模型进行微调的，这与音频域有显著的差距。其他方法直接在音频域中探索自监督学习方法，但目前在下游任务中表现不佳。在本文中，我们提出了一种新的自监督学习方法，用于基于变换的音频模型，称为掩蔽谱图预测（MaskSpec），从未标记的音频数据（本文中使用的AudioSet）中学习强大的音频表示。我们的方法屏蔽输入频谱图的随机补丁，并使用编码器-解码器架构重建被屏蔽的区域。在不使用额外的模型权重或监督的情况下，多个下游数据集上的实验结果表明，MaskSpec相对于监督方法实现了显着的性能提升，并且优于以前的预训练模型。特别是，我们的最佳模型在AudioSet上达到了0.471（mAP），在OpenMIC 2018上达到了0.854（mAP），在ESC-50上达到了0.982（准确度），在SCV 2上达到了0.976（准确度），在DCASE 2019 Task 1A上达到了0.823（准确度）。
2022-04-27 cs.SD eess.AS
AxLSTMs: learning self-supervised audio representations with xLSTMs
Department of Electronic Systems（电子系统系）；Department of Informatics and Telecommunications（信息与电信系）
本文提出AxLSTM方法，利用xLSTM架构从掩码频谱图块中自监督学习音频表示，在AudioSet预训练后于十个下游任务上以最多减少45%的参数量实现比SSAST基线最高25%的相对性能提升。
2025-08-19 cs.SD eess.AS
SALMONN-2: Advancing General-Purpose Hearing Abilities with Self-Supervised Representations
University of Cambridge（剑桥大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Tsinghua University（清华大学）
研究探索自监督学习音频表示能否为音频大语言模型提供基础，提出基于统一SSL编码器的SALMONN-2，用多层特征融合适配器，还探索多模态上下文学习。实验表明通用SSL编码器性能良好，SALMONN-2达先进水平，且特定训练可获多模态上下文学习能力。
2026-07-21 eess.AS
Improving Self-Supervised Learning for Audio Representations by Feature Diversity and Decorrelation
Sony Europe B.V.（索尼欧洲有限公司）
自监督学习（SSL）最近在缩小监督学习和无监督学习之间的差距方面取得了显着的成果。其思想是学习对输入数据的失真不变的鲁棒特征。尽管它取得了成功，但这个想法可能会遇到一个崩溃的问题，即网络产生恒定的表示。为此，我们引入SELFIE，一种新的自监督学习方法，通过特征多样性和去相关性的音频表示。SELFIE通过确保表示（i）保持嵌入之间的高度多样性和（ii）解相关维度之间的依赖关系来避免崩溃问题。SELFIE在大规模AudioSet数据集上进行了预训练，其嵌入在九个音频下游任务上进行了验证，包括语音、音乐和声音事件识别。实验结果表明，SELFIE优于现有的SSL方法在几个任务。
2023-03-07 cs.SD eess.AS
NU-Wave 2: A General Neural Audio Upsampling Model for Various Sampling Rates
MINDsLab Inc.（MINDsLab公司）；Seoul National University（首尔国立大学）
传统上，音频超分辨率模型固定初始和目标采样率，这需要针对每对采样率训练模型。我们介绍了NU-Wave 2，这是一种用于神经音频上采样的扩散模型，可以使用单个模型从各种采样率的输入生成48 kHz音频信号。基于NU-Wave的架构，NU-Wave 2使用短时傅立叶卷积（STFC）来产生谐波以解决NU-Wave的主要故障模式，并结合带宽谱特征变换（BSFT）来调节频域中输入的带宽。我们的实验证明，NU-Wave 2产生高分辨率的音频，无论输入的采样率，同时需要比其他模型更少的参数。官方代码和音频样本可在https://mindslab-ai.github.io/nuwave2上获得。
2022-07-01 cs.LG eess.AS
Audio Mamba: Selective State Spaces for Self-Supervised Audio Representations
Aalborg University（奥尔堡大学）；Pioneer Center for AI（先锋人工智能中心）
本文提出Audio Mamba，一种基于选择性状态空间模型的自监督音频表示学习方法，在AudioSet预训练后于多个音频任务上显著优于SSAST基线。
2024-06-07 cs.AI cs.SD eess.AS
Self-supervised Learning of Audio Representations from Audio-Visual Data using Spatial Alignment
Tampere University（坦佩雷大学）
从视听数据中学习提供了许多可能性来表达音频和视觉内容之间的对应关系，类似于将听觉和视觉信息联系起来的人类感知。在这项工作中，我们提出了一种基于视听空间对齐（AVSA）的自监督表示学习方法，这是一种比视听对应（AVC）更复杂的对齐任务。除了对应关系之外，AVSA还从声学和视觉内容的空间位置中学习。基于360 $^\text{o}$视频和Ambisonics音频，我们提出了使用对象检测来选择视觉对象，并将音频信号波束成形到检测到的对象，尝试学习对象和它们产生的声音之间的空间对准。我们研究了使用空间音频特征来表示音频输入以及不同的音频格式：高保真度立体声、单声道和立体声。实验结果表明，与对数梅尔频谱图特征相比，一阶立体混响强度向量（FOA-IV）的AVSA提高了10 $\%$;添加面向对象的作物也为人类动作识别下游任务带来了显着的性能提高。设计了许多仅音频的下游任务，用于测试学习的音频特征表示的有效性，获得与来自立体混响和双耳音频的声学场景分类的最新方法相当的性能。
2022-06-02 cs.SD eess.AS
Conformer-Based Self-Supervised Learning for Non-Speech Audio Tasks
Facebook（脸书）
从未标记数据中进行表示学习一直是人工智能研究的热点。虽然自监督语音表示学习已经在语音研究界流行，但很少有作品全面分析非语音音频任务的音频表示学习。在本文中，我们提出了一种自监督的音频表示学习方法，并将其应用于各种下游的非语音音频任务。我们结合了著名的wav2vec 2.0框架，它已经成功地在自监督学习的语音任务，参数高效的构象架构。我们的自我监督预训练可以将对标记数据的需求减少三分之二。在AudioSet基准测试中，我们实现了0.415的平均精度（mAP）得分，这是通过仅音频自监督学习在该数据集上的最新技术水平。我们的微调构象也超过或匹配以前的系统在几个下游任务的监督方式预训练的性能。我们进一步讨论了预训练和微调的重要设计考虑因素。
2022-01-07 cs.LG cs.SD eess.AS
Multimodal Self-Supervised Learning of General Audio Representations
DeepMind（深度思维）
我们提出了一个多模态框架，从视频中学习一般的音频表示。现有的对比音频表示学习方法主要集中在训练过程中单独使用音频模态。在这项工作中，我们表明，视频中包含的额外信息可以用来大大提高学习功能。首先，我们证明了我们的对比框架不需要高分辨率的图像来学习良好的音频特征。这使我们能够扩大训练批次的大小，同时将额外视频模态引起的计算负载保持在合理的水平。其次，我们使用混合不同样本的增强。我们表明，这是有效的，使代理任务更难，从而导致大量的性能提高时，增加批量大小。因此，我们的音频模型在AudioSet分类下游任务上实现了最先进的42.4 mAP，缩小了在同一数据集上训练的监督和自监督方法之间的差距。此外，我们表明，我们的方法在广泛的非语义音频任务，包括说话人辨识，关键字定位，语言识别和乐器分类是有利的。
2021-04-28 cs.SD eess.AS
Self-Supervised Multi-View Learning for Disentangled Music Audio Representations
New York University（纽约大学）
针对音乐音频自监督学习中的表示纠缠问题，提出一种多视角学习框架，通过分离私有与共享表示空间，在受控实验中验证了其解纠缠有效性。
2024-11-05 cs.SD eess.AS
Weakly Supervised Audio Source Separation via Spectrum Energy Preserved Wasserstein Learning
IBM Research – China（IBM中国研究院）；Shanghai Jiao Tong University（上海交通大学）
将音频混合分离成单独的乐器轨道一直是一项长期存在的挑战性任务。提出了一种基于深度对抗学习的弱监督音频声源分离方法。具体来说，我们的损失函数采用Wasserstein距离，直接测量分离的源和每个单独的源的真实源之间的分布距离。此外，增加了一个全局正则化项，以满足谱能量保持性质，而不管分离。与通常涉及故意设计的约束或仔细的模型选择的最新弱监督模型不同，我们的方法几乎不需要对数据进行先验模型规范，并且可以以端到端的方式直接学习。我们表明，所提出的方法在公共基准上对最先进的弱监督方法具有竞争力。
2018-05-17 cs.SD eess.AS
Pseudo strong labels for large scale weakly supervised audio tagging
Xiaomi Corporation（小米公司）
大规模的音频标记数据集不可避免地包含不完美的标签，例如由于高手动标记成本而没有精确的开和偏移的剪辑式注释（时间上弱）标签。这项工作提出了伪强标签（PSL），一个简单的标签增强框架，提高了大规模弱监督音频标记的监督质量。机器注释器首先在大型弱监督数据集上进行训练，然后为学生模型提供更精细的监督。使用PSL，我们使用MobileNetV2后端实现了Audioset的35.95平衡训练子集的mAP，显著优于没有PSL的方法。提供的分析显示，PSL减轻了标签缺失。最后，我们证明了用PSL训练的模型在推广到Freesound数据集（FSD）方面也优于弱训练的模型。
2022-04-28 cs.SD eess.AS
SSAMBA: Self-Supervised Audio Representation Learning with Mamba State Space Model
Columbia University（哥伦比亚大学）
本文提出SSAMBA，首个基于Mamba状态空间模型的自监督音频表示学习模型，通过双向Mamba和判别-生成联合预训练框架，在音频分类等任务上超越SSAST，并显著提升推理速度和内存效率。
2025-02-04 cs.LG eess.AS
Self-supervised Attention Model for Weakly Labeled Audio Event Classification
Northwestern University（西北大学）；Bosch Research and Technology Center（博世研究与技术中心）
我们描述了一种新的弱标记的音频事件分类方法的基础上的自监督注意力模型。弱标记框架用于消除对昂贵的数据标记过程的需要，并且部署自监督注意力以帮助模型以与先前注意力模型相比更有效的方式区分弱标记音频片段的相关和不相关部分。我们还提出了一个高效的强监督注意力模型时，强标签。该模型也可以作为自监督模型的上限。具有自监督注意训练的模型的性能与使用强标签训练的强监督模型相当。我们表明，我们的自我监督的注意力方法是特别有益的短音频事件。我们实现了8.8%和17.6%的相对平均平均精度的改善，目前国家的最先进的系统SL-DCASE-17和平衡的AudioSet。
2019-08-07 cs.LG cs.SD eess.AS
Sampling-Frequency-Independent Audio Source Separation Using Convolution Layer Based on Impulse Invariant Method
The University of Tokyo（东京大学）；Waseda University（早稻田大学）；NTT Corporation（日本电信电话株式会社）
音频声源分离常被用作各种应用的预处理，其最终目标之一是构造一个能够处理多种音频信号的通用模型。由于作为音频信号种类之一的采样频率通常是特定于应用的，因此前面的音频声源分离模型应该能够处理目标应用中指定的所有采样频率的音频信号。然而，基于深度神经网络（DNN）的传统模型仅以训练数据指定的采样频率进行训练，并且不能保证它们以不可见的采样频率工作。在本文中，我们提出了一个能够通过单个DNN处理任意采样频率的卷积层。通过音乐声源分离实验，我们表明，所提出的层的引入，使传统的音频声源分离模型，即使是看不见的采样频率一致的工作。
2021-05-10 cs.LG cs.SD eess.AS
Augmented Contrastive Self-Supervised Learning for Audio Invariant Representations
Microsoft（微软）
由于标记数据的稀缺性，提高泛化能力是音频分类的主要挑战。自监督学习（SSL）方法通过利用未标记的数据来学习下游分类任务的有用特征来解决这个问题。在这项工作中，我们提出了一个增强的对比SSL框架，学习不变表示从未标记的数据。我们的方法将各种扰动应用于未标记的输入数据，并利用对比学习来学习对这种扰动具有鲁棒性的表示。在Audioset和DESED数据集上的实验结果表明，我们的框架在声音/事件分类任务上的性能明显优于最先进的SSL和监督学习方法。
2021-12-21 cs.LG cs.SD eess.AS
Semi-Supervised Audio Classification with Partially Labeled Data
Georgia Institute of Technology（佐治亚理工学院）
随着大规模数据集可用性的提高，音频分类取得了很大的进展。然而，这些大型数据集通常只被部分标记，因为收集完整的注释是一个繁琐而昂贵的过程。本文提出了两种能够在缺失标签的情况下学习的半监督方法，并在两个公开的部分标记数据集上对其进行了评估。第一种方法依赖于标签增强的两个阶段的师生学习过程，而第二种方法利用平均教师半监督学习算法。我们的研究结果证明了不正确处理缺失标签的影响，并比较了使用不同策略利用标签较少的数据的好处。能够使用部分标记的数据进行学习的方法有可能通过利用更大量的数据来改进音频分类模型，而无需完整的注释。
2021-11-24 cs.SD eess.AS
Fast Text-to-Audio Generation with One-Step Sampling via Energy-Scoring and Auxiliary Contextual Representation Distillation
National Taiwan University（国立台湾大学）；Amazon AGI（亚马逊人工智能实验室）
本文提出了一种结合能量距离训练和表示层蒸馏的一步采样框架，有效提升了文本到音频生成的速度与质量，在AudioCaps基准上优于现有方法，达到与多步采样扩散模型相当的性能。
2026-05-01 cs.SD eess.AS
Audio-Visual Speech Enhancement and Separation by Utilizing Multi-Modal Self-Supervised Embeddings
Carnegie Mellon University（卡内基梅隆大学）；National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；Edinburgh Napier University（爱丁堡龙比亚大学）
本文提出在预训练AV-HuBERT后接入SE模块并配合微调，用于AVSE和AVSS，实验证明其优于现有AVSE及纯音频SE方法。
2023-06-01 cs.SD eess.AS
Audio ALBERT: A Lite BERT for Self-supervised Learning of Audio Representation
Amazon（亚马逊）
对于自监督语音处理，使用预训练模型作为语音表示提取器至关重要。在最近的工作中，增加模型的大小已被用于声学模型训练，以实现更好的性能。在本文中，我们提出了音频ALBERT，一个精简版的自监督语音表示模型。我们使用的表示与两个下游的任务，说话人识别和音素分类。我们表明，音频ALBERT是能够实现具有竞争力的性能与这些巨大的模型在下游的任务，同时利用91%的参数少。此外，我们使用一些简单的探测模型来衡量有多少说话人和音素的信息被编码在潜在的表征。在探测实验中，我们发现潜在表征比最后一层包含了更丰富的音素和说话人信息。
2021-05-03 cs.CL cs.SD eess.AS
SSAST: Self-Supervised Audio Spectrogram Transformer
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
最近，纯粹基于自我注意力的神经网络，如视觉Transformer（ViT），在各种视觉任务上表现优于卷积神经网络（CNN）构建的深度学习模型，从而将最初为语言处理开发的Transformers的成功扩展到视觉领域。最近的一项研究表明，类似的方法也可以应用于音频领域。具体而言，音频频谱图Transformer（AST）在各种音频分类基准上实现了最先进的结果。然而，与CNN相比，纯Transformer模型往往需要更多的训练数据，并且AST的成功依赖于监督预训练，这需要大量的标记数据和复杂的训练管道，从而限制了AST的实际使用。本文重点研究音频和语音分类，旨在通过利用未标记数据的自监督学习来减少AST对大量标记数据的需求。具体来说，我们建议使用AudioSet和Libripeech中的未标记音频，通过联合判别和生成掩蔽声谱图补丁建模（MSPM）来预训练AST模型。我们在音频和语音分类任务上评估我们的预训练模型，包括音频事件分类，关键字识别，情感识别和说话人辨识。所提出的自监督框架显着提高了AST在所有任务上的性能，平均提高了60.9%，导致与监督预训练AST相似甚至更好的结果。据我们所知，它是音频和语音领域的第一个基于块的自监督学习框架，也是AST的第一个自监督学习框架。
2022-02-10 cs.AI cs.SD eess.AS
SSAVSV: Towards Unified Model for Self-Supervised Audio-Visual Speaker Verification
Computer Research Institute of Montreal (CRIM), Canada（蒙特利尔计算机研究院（CRIM））
本文提出SSAVSV，一个基于对比学习与共享视觉变换器骨干的统一自监督音视频说话人验证框架，无需标注数据，降低计算成本并实现竞争性能。
2025-06-21 cs.CV cs.SD eess.AS
Self-Supervised Speech Denoising Using Only Noisy Audio Signals
Southeast University（东南大学）；Centre de Recherche en Information Biomédicale Sino-français (CRIBs)（中法生物医学信息研究中心）；The 28th Research Institute of China Electronics Technology Group Corporation（中国电子科技集团公司第二十八研究所）；Univ Rennes（雷恩大学）
在传统的语音去噪任务中，通常使用干净的音频信号作为训练目标，但绝对干净的信号是从昂贵的录音设备或环境严格的工作室中收集的。为了克服这个缺点，我们提出了一个端到端的自监督语音去噪训练方案，只使用嘈杂的音频信号，名为Only-Noisy Training（ONT），没有额外的训练条件。该策略仅从单个噪声音频中构造训练对，包含两个模块：训练音频对生成模块和语音去噪模块。第一个模块采用随机音频子采样器对每个噪声音频生成训练对。子采样对，然后送入一个新的复值语音去噪模块。实验结果表明，该方法不仅消除了传统音频去噪任务对干净目标的高度依赖性，而且与其他训练策略相比，其性能达到或优于其他训练策略。可在https://github.com/liqingchunnnn/Only-Noisy-Training上获得可扩展性-ONT
2023-01-19 cs.SD eess.AS
Multi-level Attention Model for Weakly Supervised Audio Classification
University of Stuttgart（斯图加特大学）；University of Surrey（萨里大学）
在本文中，我们提出了一个多层次的注意力模型来解决弱标记的音频分类问题。音频分类的目的是预测音频片段中是否存在音频事件。最近，Google发布了一个名为Audio Set的大规模弱标记数据集，其中每个音频片段仅包含音频事件的存在或不存在，而没有音频事件的开始和偏移时间。我们的多级注意力模型是对以前提出的单级注意力模型的扩展。它由应用于中间神经网络层的几个注意力模块组成。这些注意力模块的输出被连接到一个向量，然后是一个多标签分类器，以做出每个类别的最终预测。实验表明，我们的模型达到了0.360的平均精度（mAP），优于最先进的单级注意力模型0.327和谷歌基线0.314。
2018-03-06 cs.SD eess.AS
Temporal Sub-sampling of Audio Feature Sequences for Automated Audio Captioning
Tampere University（坦佩雷大学）；D Media Group, Tampere University（坦佩雷大学3D媒体组）；Audio Research Group, Tampere University（坦佩雷大学音频研究组）
音频字幕是自动为一般音频信号的内容创建文本描述的任务。典型的音频字幕方法依赖于深度神经网络（DNN），其中DNN的目标是将输入音频序列映射到输出单词序列，即字幕。然而，文本描述的长度显著小于音频信号的长度，例如10个单词相对于数千个音频特征向量。这清楚地表明，一个输出单词对应于多个输入特征向量。在这项工作中，我们提出了一种方法，专注于明确利用序列之间的长度差异，通过应用时间子采样的音频输入序列。我们采用序列到序列的方法，该方法使用固定长度的向量作为编码器的输出，并且我们在编码器的RNN之间应用时间子采样。我们通过使用免费提供的数据集Clotho来评估我们的方法的好处，并评估时间子采样的不同因素的影响。我们的研究结果表明，所有考虑的指标的改善。
2020-07-06 cs.LG cs.SD eess.AS
Multiple Instance Deep Learning for Weakly Supervised Small-Footprint Audio Event Detection
Robert Bosch LLC（罗伯特·博世有限责任公司）；University of Southern California（南加州大学）；Carnegie Mellon University（卡内基梅隆大学）
现有技术的音频事件检测（AED）系统依赖于使用强标记数据的监督学习。然而，这种依赖性严重限制了大规模数据集的可扩展性，其中精细分辨率注释太昂贵而无法获得。在本文中，我们提出了一个小的足迹多实例学习（MIL）框架多类AED使用弱注释标签。所提出的MIL框架使用从预训练的卷积神经网络提取的音频嵌入作为输入特征。我们表明，通过使用音频嵌入，MIL框架可以使用一个简单的DNN实现，其性能与递归神经网络相当。我们通过使用AudioSet的一个子集训练音频标记系统来评估我们的方法，AudioSet是一个大型的弱标记YouTube视频摘录集合。结合后期融合方法，我们将基线音频标记系统的F1分数提高了17%。我们表明，音频嵌入提取的卷积神经网络显着提高所有MIL模型的性能。该框架降低了AED系统的模型复杂度，并且适用于计算资源有限的应用。
2018-03-26 cs.SD eess.AS
Weakly-supervised Automated Audio Captioning via text only training
本文提出一种仅利用文本数据和预训练CLAP模型的弱监督自动音频描述生成方法，通过文本嵌入重建与音频嵌入解码并弥合模态差距，在Clotho和AudioCaps上达到全监督方法约83%的相对性能。
2023-09-21 cs.LG cs.SD eess.AS
Weakly-Supervised Audio-Visual Segmentation
CMU（卡内基梅隆大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对音视频分割中像素级掩码标注成本高的问题，提出弱监督框架WS-AVS，通过多尺度多实例对比学习实现多尺度音视频对齐，在AVSBench上验证了单源和多源场景下的有效性。
2023-11-25 cs.AI cs.CV cs.LG
Large-scale weakly supervised audio classification using gated convolutional neural network
University of Surrey（萨里大学）
在本文中，我们提出了一种用于音频分类的门控卷积神经网络和基于时间注意力的定位方法，该方法在声学场景和事件的检测和分类（DCASE）2017挑战赛的大规模弱监督声音事件检测任务中获得了第一名。该任务中的音频片段是从YouTube视频中提取的，手动标记有一个或几个音频标签，但没有音频事件的时间戳，这被称为弱标记数据。在该挑战中定义了两个子任务，包括使用该弱标记数据的音频标记和声音事件检测。提出了一种具有可学习门控线性单元（GLU）非线性的卷积递归神经网络（CRNN），用于对数梅尔谱图。此外，提出了一种时间注意力方法沿帧预测的位置，每个音频事件的块从弱标记的数据。我们在DCASE 2017挑战赛的这两个子任务中分别以F值55.6\%和Equal error 0.73排名第一和第二。
2017-10-01 cs.SD eess.AS
ReHear: Iterative Pseudo-Label Refinement for Semi-Supervised Speech Recognition via Audio Large Language Models
Capital One, USA（Capital One公司）
ReHear通过整合音频感知大语言模型实现伪标签迭代细化，有效缓解半监督语音识别中的误差传播问题。
2026-10-30 cs.CL eess.AS
Data-driven audio recognition: a supervised dictionary approach
Laboratoire BMBI Compiègne（贡比涅BMBI实验室）；Université de Technologie de Compiègne（贡比涅技术大学）
机器听觉是一个新兴领域。出于对机器监听领域应用的原则性框架的需求，我们提出了一种通用的数据驱动的表示学习方法。为此，提出了一种新颖有效的监督式字典学习方法。实验进行计算听觉场景（东安格利亚和鲁昂）和合成音乐和弦识别数据集。获得的结果表明，我们的方法是能够达到国家的最先进的手工制作的功能，为这两个应用程序
2020-12-29 cs.SD eess.AS
Joint Training or Not: An Exploration of Pre-trained Speech Models in Audio-Visual Speaker Diarization
Northwestern Polytechnical University（西北工业大学）；Tencent Corporation（腾讯公司）
本文针对音视觉标注数据不足问题，在端到端AVSD系统中引入监督式与自监督式预训练语音模型，并联合训练音频、说话人编码器及音视觉解码器，在MISP数据集上取得优异成绩。
2023-12-07 cs.SD eess.AS
DEPA: Self-Supervised Audio Embedding for Depression Detection
Shanghai Jiao Tong University（上海交通大学）；Xiaomi Tech. Ltd.（小米科技有限公司）
抑郁症检测研究在过去的几十年里不断增加，其中一个主要的瓶颈是有限的数据可用性和表示学习。近年来，自监督学习在预训练文本嵌入方面取得了成功，并在稀疏数据的相关任务中得到了广泛应用，而基于自监督学习的预训练音频嵌入研究较少。本文提出了DEPA，一种用于抑郁症检测的自监督，预训练的抑郁症音频嵌入方法。编码器-解码器网络用于在域内抑郁数据集（DAIC和MDD）和域外（Switchboard，阿尔茨海默氏症）数据集上提取DEPA。使用DEPA作为在响应级别提取的音频嵌入，在下游任务上实现了显着的性能增益，在DAIC和大型抑郁症数据集（MDD）等稀疏数据集上进行了评估。本文不仅展示了自己作为一个新的嵌入提取方法捕捉响应水平表示抑郁症检测，但更重要的是，是一个探索自监督学习在一个特定的任务在音频处理。
2021-10-28 cs.HC cs.SD eess.AS
Audio-Visual Scene Analysis with Self-Supervised Multisensory Features
UC Berkeley（加州大学伯克利分校）
一个弹跳球的重击声，嘴唇张开时的讲话开始-当视觉和听觉事件同时发生时，它表明可能有一个共同的潜在事件产生了这两种信号。在本文中，我们认为，视频信号的视觉和音频组件应建模联合使用融合的多感官表示。我们建议通过训练神经网络来预测视频帧和音频是否在时间上对齐，以自监督的方式学习这样的表示。我们使用这种学习表示三个应用程序：（a）声源定位，即可视化的声音在视频中的源;（b）视听动作识别;和（c）上/下屏幕音频声源分离，例如从外国官员的讲话中删除屏幕外翻译的声音。代码、模型和视频结果可在我们的网页上获得：http://andrewowens.com/multisensory
2018-10-09 cs.CV cs.SD eess.AS
Cross-domain Semi-Supervised Audio Event Classification Using Contrastive Regularization
Seoul National University（首尔大学）；Artificial Intelligence Institute, Seoul National University（首尔大学人工智能研究院）
在这项研究中，我们提出了一种新的半监督训练方法，该方法使用具有与目标数据或没有目标标签的数据完全不同的类分布的未标记数据。为此，我们引入了一种对比正则化，它被设计为面向目标任务并同时进行训练。此外，我们提出了一种基于音频混合的简单增强策略，在批量样本中执行。实验结果表明，该方法有效地提高了性能，尤其是在稳定训练和泛化能力方面具有优势。
2021-09-29 cs.SD eess.AS
Self-Supervised Learning of Audio-Visual Objects from Video
University of Oxford（牛津大学）；University of Michigan（密歇根大学）；Naver Corporation（Naver 公司）
我们的目标是使用自监督学习将视频转换为一组离散的视听对象。为此，我们引入了一个模型，使用注意定位和组声源，和光流随着时间的推移聚合信息。我们证明了视听对象嵌入的有效性，我们的模型通过将它们用于四个下游面向语音的任务来学习：（a）多扬声器声音声源分离，（b）定位和跟踪扬声器，（c）校正未对齐的视听数据，以及（d）活动扬声器检测。使用我们的表示，这些任务可以完全通过在未标记的视频上进行训练来解决，而无需对象检测器的帮助。我们还证明了我们的方法的通用性，通过将其应用到非人类的扬声器，包括卡通和puppets.我们的模型显着优于其他自监督的方法，并获得性能与使用监督人脸检测的方法相竞争。
2020-08-10 cs.CV cs.SD eess.AS
Towards Weakly Supervised Text-to-Audio Grounding
本文提出短语级弱监督文本到音频定位方法，通过改进池化策略、负采样和自监督，显著超越现有最先进水平。
2024-07-17 cs.SD eess.AS
Self-supervised Neural Audio-Visual Sound Source Localization via Probabilistic Spatial Modeling
National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所）；Waseda University（早稻田大学）
在视觉观察范围内检测声源目标对于自主机器人理解周围环境具有重要意义。由于在我们的生活环境中，发声物体具有大量的种类和不同的外观，在实践中标记所有发声物体是不可能的。这就需要自监督学习，它不需要人工标记。大多数传统的自监督学习使用单声道音频信号和图像，并且由于音频信号中的差的空间信息而不能区分具有相似外观的声源对象。针对这一问题，提出了一种基于360°图像和多声道音频信号的自监督训练方法。通过结合多声道音频信号中的空间信息，我们的方法训练深度神经网络（DNN）来区分多个声源对象。我们用于定位图像中声源对象的系统由音频和视觉DNN组成。视觉DNN被训练以定位输入图像内的声源候选。音频DNN验证每个候选是否实际产生声音。这些DNN基于概率空间音频模型以自监督方式联合训练。模拟数据的实验结果表明，我们的方法训练的DNN定位多个扬声器。我们还证明了视觉DNN检测对象，包括说话的游客和特定的展品从真实的数据记录在科学博物馆。
2020-07-28 cs.CV cs.SD eess.AS
A method for analyzing sampling jitter in audio equipment
The University of Tokyo（东京大学）
提出一种基于时域过零点波动分析音频设备采样抖动的方法，可分离播放器与录音设备抖动，并利用左右声道区分抖动与噪声，适用于音频设备、信号发生器及时钟源性能评估。
2023-05-08 cs.SD eess.AS physics.ins-det
Robust Self-Supervised Audio-Visual Speech Recognition
Meta AI
基于音频的自动语音识别（ASR）在噪声环境中会显著降低，并且特别容易受到干扰语音的影响，因为模型无法确定要转录哪个说话者。视听语音识别（AVSR）系统通过用视觉信息补充音频流来提高鲁棒性，视觉信息对噪声是不变的，并且帮助模型聚焦于期望的说话者。然而，以前的AVSR工作只集中在监督学习设置上;因此，可用的标记数据量阻碍了进展。在这项工作中，我们提出了一个自监督AVSR框架上建立的视听休伯特（AV休伯特），一个国家的最先进的视听语音表示学习模型。在最大的AVSR基准数据集LRS 3上，我们的方法在存在串音噪声的情况下使用不到10%的标记数据（433小时与30小时），比现有技术的性能高出约50%（28.0%与14.1%），同时平均将基于音频的模型的WER降低了75%以上（25.8%与5.8%）。
2022-07-14 cs.CV cs.LG cs.SD
w2v-SELD: A Sound Event Localization and Detection Framework for Self-Supervised Spatial Audio Pre-Training
University of Campinas（坎皮纳斯大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出w2v-SELD，一种基于wav2vec 2.0的自监督声音事件定位与检测框架，通过预训练和微调利用未标记3D音频数据，在基准数据集上超越基线并达到与监督方法相当的性能。
2023-12-30 cs.SD eess.AS
Phone-to-audio alignment without text: A Semi-supervised Approach
University of Michigan（密歇根大学）；Radboud University（拉德堡德大学）
语音对齐在语音研究中有着广泛的应用。在这里，我们介绍了两个基于Wav 2 Vec 2的模型，用于文本相关和文本无关的电话到音频对齐。所提出的Wav 2 Vec 2-FS是一种半监督模型，通过对比学习和前向和损失直接学习语音到音频对齐，并且可以与预训练的语音识别器耦合以实现文本无关的对齐。另一个模型Wav 2 Vec 2-FC是一个在强制对齐标签上训练的帧分类模型，可以执行强制对齐和文本独立分割。评估结果表明，这两种方法，即使transmittance是不可用的，产生高度接近的结果，现有的强制对齐工具。我们的工作提出了一个全自动电话到音频对齐的神经管道。代码和预训练模型可在https://github.com/lingjzhu/charsiu上获得。
2022-02-03 cs.CL cs.SD eess.AS
Weighted-Sampling Audio Adversarial Example Attack
University of Electronic Science and Technology of China（电子科技大学）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
针对现有音频对抗样本生成方法效率与鲁棒性不足的问题，提出加权采样音频对抗样本攻击方法，通过调整失真数量与权重增强攻击，并结合损失函数去噪提升隐蔽性，实现低耗时下生成低噪声高鲁棒性的音频对抗样本。
2020-02-22 cs.SD eess.AS
Federated Self-Training for Semi-Supervised Audio Recognition
Eindhoven University of Technology（埃因霍温理工大学）
联邦学习是一种分布式机器学习范式，处理分散和个人数据集。由于数据驻留在智能手机和虚拟助手等设备上，因此标签被委托给客户端，或者以自动化的方式提取标签。具体地，在音频数据的情况下，获取语义注释可能是极其昂贵和耗时的。因此，大量的音频数据在用户的设备上仍然未被标记和利用。大多数现有的联邦学习方法都集中在监督学习上，而没有利用未标记的数据。在这项工作中，我们研究的问题，半监督学习的音频模型，通过自我训练结合联邦学习。我们提出FedSTAR来利用大规模的设备上未标记的数据来提高音频识别模型的泛化能力。我们进一步证明，自我监督的预训练模型可以加速设备上模型的训练，显著提高收敛到更少的训练轮次。我们在不同的公共音频分类数据集上进行实验，并在不同百分比的标记和未标记数据下研究我们的模型的性能。值得注意的是，我们发现，与完全监督的联邦模型相比，只有3%的标记数据可用，FedSTAR平均可以将识别率提高13.28%。
2022-02-25 cs.DC cs.LG cs.SD
Deep Audio-Visual Singing Voice Transcription based on Self-Supervised Learning Models
National University of Singapore（新加坡国立大学）
本文提出基于自监督学习的纯音频、纯视频及音视频融合歌声转写系统，并构建 N20EMv2 数据集，利用唇部视频与预训练表征提升标注效率、域外泛化和噪声鲁棒性。
2023-04-24 cs.SD eess.AS
Self-supervised learning of audio representations using angular contrastive loss
Tampere University（坦佩雷大学）
在自监督学习（SSL）中，各种借口任务被设计用于通过对比损失来学习特征表示。然而，以前的研究表明，这种损失是不太宽容的语义相似的样本，由于固有的缺陷，实例歧视目标，这可能会损害质量的学习特征嵌入在下游任务中使用。为了提高SSL中特征嵌入的鉴别能力，我们提出了一个新的损失函数，称为角度对比损失（ACL），角度裕度和对比损失的线性组合。ACL通过在SSL中的正和负增广对之间显式地添加角度余量来改进对比学习。实验结果表明，使用ACL的监督和无监督学习显着提高性能。我们使用FSDnoisy18k数据集验证了我们的新损失函数，其中我们使用监督和自监督学习分别实现了73.6%和77.1%的声音事件分类准确率。
2023-03-05 cs.SD eess.AS
Visually Guided Self Supervised Learning of Speech Representations
Samsung R&D Institute, UK（三星英国研发中心）
自我监督表示学习最近吸引了大量的研究兴趣，无论是音频和视觉模态。然而，大多数作品通常集中在一个特定的模态或功能单独和已经有非常有限的工作，研究两种模态之间的相互作用，学习自我监督表示。我们提出了一个框架，学习音频表示的视听语音的背景下，由视觉模态指导。我们采用生成音频到视频的训练方案，其中我们动画对应于一个给定的音频剪辑的静止图像，并优化生成的视频尽可能接近的语音段的真实视频。通过这个过程，音频编码器网络学习有用的语音表示，我们评估情感识别和语音识别。我们在情感识别和语音识别方面都取得了很好的效果。这表明了视觉监督学习音频表示的潜力，作为一种新的自我监督学习的方式，这在过去还没有被探索。所提出的无监督音频特征可以利用几乎无限数量的未标记视听语音的训练数据，并且具有大量潜在的有前途的应用。
2020-02-20 cs.CV cs.MM eess.AS
Weakly Supervised Representation Learning for Unsynchronized Audio-Visual Events
Technicolor（特艺集团）；LTCI, Télécom ParisTech, Université Paris–Saclay（巴黎-萨克雷大学巴黎高等电信学院LTCI实验室）
视听表示学习是从设计具有理解复杂事件能力的机器的角度来看的重要任务。为此，我们提出了一种新的多模态框架，实例化多个实例学习。我们表明，学习表示是有用的分类事件和本地化其特征的视听元素。该系统仅使用视频级事件标签进行训练，而不使用任何时序信息。我们的方法的一个重要特征是它能够从不同步的视听事件中学习。我们在弱标记音频事件视频的大规模数据集上实现了最先进的结果。局部视觉区域和音频片段的可视化证实了我们系统的功效，特别是在处理特定于模态的线索异步出现的嘈杂情况时。
2018-07-09 cs.CV cs.SD eess.AS
Audio Self-supervised Learning: A Survey
University of Augsburg（奥格斯堡大学）；Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校）；Beijing Institute of Technology（北京理工大学）；Imperial College London（帝国理工学院）
受人类概括知识和技能的认知能力的启发，自监督学习（SSL）的目标是从大规模数据中发现一般表示，而不需要人工注释，这是一项昂贵且耗时的任务。它在计算机视觉和自然语言处理领域的成功促使其最近被应用于音频和语音处理领域。目前缺少总结音频SSL知识的综合评论。为了填补这一空白，在目前的工作中，我们提供了用于音频和语音处理应用程序的SSL方法的概述。在这里，我们还总结了经验的工作，利用音频模态的多模态SSL框架，和现有的合适的基准来评估SSL的功率在计算机听觉域。最后，我们讨论了音频SSL的一些开放性问题，并指出了未来的发展方向。
2022-03-02 cs.AI cs.SD eess.AS
