Data Selection Effects on Self-Supervised Learning of Audio Representations for French Audiovisual Broadcasts
Institut National de l’Audiovisuel (INA)(法国国家视听研究院);École nationale des ponts et chaussées (ENPC)(国立桥梁道路学院);EPITA Research Laboratory (LRE)(EPITA研究实验室)
本文研究了自监督学习模型在不同预训练数据集上的表现,通过构建多样化广播音频语料库,评估了其在语音识别、语音活动检测等任务中的效果,发现多样化音频预训练能提升模型性能,并强调数据去重的重要性。
2026-04-10 eess.AS
SALMONN-2: Advancing General-Purpose Hearing Abilities with Self-Supervised Representations
University of Cambridge(剑桥大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Tsinghua University(清华大学)
研究探索自监督学习音频表示能否为音频大语言模型提供基础,提出基于统一SSL编码器的SALMONN-2,用多层特征融合适配器,还探索多模态上下文学习。实验表明通用SSL编码器性能良好,SALMONN-2达先进水平,且特定训练可获多模态上下文学习能力。
2026-07-21 eess.AS
Exploring Federated Self-Supervised Learning for General Purpose Audio Understanding
TCL AI Lab(TCL人工智能实验室)
本文提出联邦自监督学习框架FASSL,在非独立同分布的大规模异构客户端上学习音频特征,实现与集中式方法相当的检索性能,并助力最优全局模型聚合。
2024-02-05 cs.CV cs.LG cs.SD
Audio Self-supervised Learning: A Survey
University of Augsburg(奥格斯堡大学);Johannes Kepler University Linz(约翰内斯·开普勒大学林茨分校);Beijing Institute of Technology(北京理工大学);Imperial College London(帝国理工学院)
受人类概括知识和技能的认知能力的启发,自监督学习(SSL)的目标是从大规模数据中发现一般表示,而不需要人工注释,这是一项昂贵且耗时的任务。它在计算机视觉和自然语言处理领域的成功促使其最近被应用于音频和语音处理领域。目前缺少总结音频SSL知识的综合评论。为了填补这一空白,在目前的工作中,我们提供了用于音频和语音处理应用程序的SSL方法的概述。在这里,我们还总结了经验的工作,利用音频模态的多模态SSL框架,和现有的合适的基准来评估SSL的功率在计算机听觉域。最后,我们讨论了音频SSL的一些开放性问题,并指出了未来的发展方向。
2022-03-02 cs.AI cs.SD eess.AS
KLASSify to Verify: Audio-Visual Deepfake Detection Using SSL-based Audio and Handcrafted Visual Features
KLASS Engineering and Solutions Singapore(KLASS工程与解决方案新加坡)
针对AV-Deepfake1M 2025挑战赛,提出结合手工视觉特征与SSL音频图注意力网络的多模态深度伪造检测方法,在保持可解释性的同时,仅用音频即实现92.78% AUC和0.3536 IoU。
2025-08-10 cs.CV eess.AS
BEATs: Audio Pre-Training with Acoustic Tokenizers
Microsoft(微软)
在过去的几年里,自我监督学习(SSL)在语言、视觉、语音和音频领域中得到了大规模的发展。虽然离散标签预测被广泛用于其他模态,但最先进的音频SSL模型仍然采用重建损失进行预训练。与重建损失相比,语义丰富的离散标签预测鼓励SSL模型抽象高级音频语义并丢弃人类感知中的冗余细节。然而,由于音频的连续性和不可用的音素序列(如语音),用于一般音频预训练的语义丰富的声学分词器通常不是直接获得的。为了应对这一挑战,我们提出了BEAT,这是一种迭代音频预训练框架,用于从音频Transformers学习双向编码器表示,其中声学标记器和音频SSL模型通过迭代进行优化。在第一次迭代中,我们使用随机投影作为声学标记器,以掩码和标签预测的方式训练音频SSL模型。然后,我们通过从预训练或微调的音频SSL模型中提取语义知识,为下一次迭代训练声学标记器。重复迭代,希望声学标记器和音频SSL模型相互促进。实验结果表明,我们的声学标记器可以生成具有丰富音频语义的离散标签,并且我们的音频SSL模型在各种音频分类基准中实现了最先进的结果,甚至优于使用更多训练数据和模型参数的先前模型。具体来说,我们在AudioSet-2 M上为纯音频模型设置了一个新的最先进的mAP 50.6%,而不使用任何外部数据,在ESC-50上设置了98.1%的准确率。代码和预训练模型可在https://aka.ms/beats上获得。
2022-12-18 cs.AI cs.CL cs.LG
Audio-visual fine-tuning of audio-only ASR models
Google(谷歌)
本研究提出用纯音频自监督学习加视听微调的方法,替代复杂的视听自监督学习,在LRS3-TED基准上性能接近最优且预训练快12-30倍,还可将纯音频ASR模型转为视听模型并达最优水平。
2023-12-14 cs.AI cs.SD eess.AS
Comprehensive Layer-wise Analysis of SSL Models for Audio Deepfake Detection
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Technical University of Berlin(柏林工业大学);IBM Research AI(IBM研究院人工智能部门)
本文对多语言和多场景音频深度伪造检测中的自监督学习模型进行逐层分析,发现较低Transformer层最具判别力,仅用少数低层即可保持有竞争力的EER并降低计算成本。
2025-02-07 cs.SD eess.AS
From 2.1M Hours of Raw Broadcast Audio to Finnish Speech SSL: Confidence Filtering and Architectural Analysis at Scale
Aalto University(阿尔托大学);Walton Institute, South East Technological University(东南理工大学沃尔顿研究所);Finnish National Audiovisual Institute (KAVI)(芬兰国家视听研究所(KAVI))
本研究以210万小时广播音频为基础,提出用ASR置信度过滤预训练数据,在匹配参数预算下对比多种语音SSL架构,构建的芬兰语SSL模型性能优于现有基准。
2026-10-12 cs.CL cs.SD eess.AS
Detecting Audio Deepfakes on the Edge:Lightweight SSL-Based Detection in a Browser Plugin
Fraunhofer AISEC(弗劳恩霍夫应用与集成安全研究所)
提出一种在设备端运行的轻量级自监督音频深度伪造检测模型,结合截断自监督骨干网络与逻辑回归分类器,在浏览器插件中实现高效、安全的检测。
2026-07-01 cs.AI eess.AS
Leveraging Self-Supervised Audio-Visual Pretrained Models to Improve Vocoded Speech Intelligibility in Cochlear Implant Simulation
Academia Sinica(中央研究院);Edinburgh Napier University(爱丁堡纳皮尔大学);National Taiwan University(台湾大学)
针对人工耳蜗仿真中训练数据有限的视听语音增强问题,提出融合 AV-HuBERT 与 BLSTM 的 SSL-AVSE 框架,显著提升客观语音质量、可懂度及动态噪声下表现。
2025-10-04 eess.AS
What Do Neurons Listen To? A Neuron-level Dissection of a General-purpose Audio Model
Graduate School of Systems Design, Tokyo Metropolitan University(东京 Metropolitan 大学系统设计研究生院)
本文通过神经元层面分析,揭示了通用音频SSL模型中类别特定神经元的产生机制及其对分类性能的影响。
2026-02-17 cs.SD eess.AS
Augmented Contrastive Self-Supervised Learning for Audio Invariant Representations
Microsoft(微软)
由于标记数据的稀缺性,提高泛化能力是音频分类的主要挑战。自监督学习(SSL)方法通过利用未标记的数据来学习下游分类任务的有用特征来解决这个问题。在这项工作中,我们提出了一个增强的对比SSL框架,学习不变表示从未标记的数据。我们的方法将各种扰动应用于未标记的输入数据,并利用对比学习来学习对这种扰动具有鲁棒性的表示。在Audioset和DESED数据集上的实验结果表明,我们的框架在声音/事件分类任务上的性能明显优于最先进的SSL和监督学习方法。
2021-12-21 cs.LG cs.SD eess.AS
NABEATs: Noise-Aware Audio Representation Learning
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室);Nagoya University(名古屋大学)
该研究提出噪声感知音频自监督学习概念,介绍基于BEATs的NABEATs。针对音频SSL模型在噪声环境下性能不佳的问题,通过辅助参考噪声输入训练NABEATs,能在推理时考虑噪声特征,提升下游任务性能并泛化到未见噪声类型。
2026-07-21 eess.AS
Scaling up masked audio encoder learning for general audio classification
AI Lab, Xiaomi Corporation(小米公司AI实验室)
本文提出Dasheng自监督音频编码器,通过在27万余小时音频上扩展训练12亿参数模型,显著提升跨语音、音乐和环境声的通用音频分类性能。
2024-06-13 cs.SD eess.AS
From Objectives to Applications: Aligning Architectural Biases in Audio Self-Supervised Learning
本文通过预训练目标、架构归纳偏差与下游应用的对齐,系统分析音频自监督学习,围绕五种范式讨论不同监督信号对表征的影响,并关联到CNN、RNN、状态空间模型、Transformer及混合架构的偏差,最后解读在语音、环境声、音乐、医学及多模态等领域的应用。
2026-07-02 eess.AS
EAT: Self-Supervised Pre-Training with Efficient Audio Transformer
MoE Key Lab of Artificial Intelligence, AI Institute(教育部人工智能重点实验室,人工智能研究院);X-LANCE Lab, Department of Computer Science and Engineering(X-LANCE实验室,计算机科学与工程系);Shanghai Jiao Tong University(上海交通大学)
本文提出高效音频Transformer(EAT),通过bootstrap自监督训练范式和Utterance-Frame Objective(UFO)及大型逆块掩码策略,在多项音频任务上实现SOTA性能,并将预训练速度提升约15倍。
2024-01-07 cs.AI cs.CL cs.LG
Spectro-Temporal Interference Confounds Phase Encoding in Spatial Audio Foundation Models
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Jilin University(吉林大学);Hunan University(湖南大学);University of Electronic Science and Technology of China(电子科技大学)
提出基于双耳掩蔽级差的心理声学基准,评估空间自监督音频模型对微秒级耳间相位精细结构的编码能力,发现通用双耳SSL模型依赖频谱-时间干扰纹理而非真实相位计算。
2026-06-16 cs.AI cs.CL cs.SD
Neural Concatenative Singing Voice Conversion: Rethinking Concatenation-Based Approach for One-Shot Singing Voice Conversion
ARC Lab, Tencent PCG(腾讯PCG ARC实验室)
针对任意到任意歌声转换中的“音色泄漏”问题,提出NeuCoSVC框架,利用自监督学习特征替换和保留源音频谐波与响度实现一次性转换,有效解决音色泄漏并在多场景下优于传统解耦方法。
2024-01-08 cs.SD eess.AS
AV-SSAN: Audio-Visual Selective DoA Estimation through Explicit Multi-Band Semantic-Spatial Alignment
针对现有视听声源定位需空间配对数据且无法选择性定位的问题,提出AV-SSAN框架,通过多频带语义-空间对齐网络实现跨实例视觉提示下的选择性到达方向估计,在VGGSound-SSL数据集上显著优于现有方法。
2025-08-06 cs.SD eess.AS
ATST: Audio Representation Learning with Teacher-Student Transformer
Westlake Institute for Advanced Study(西湖高等研究院);Westlake University(西湖大学)
本文提出 ATST,一种基于 Transformer 的师生自监督音频表征学习模型,通过增强预训练建模能力和新的正样本对构造策略,在多数下游任务上达到最先进水平。
2022-09-23 cs.AI cs.SD eess.AS
M2D-CLAP: Exploring General-purpose Audio-Language Representations Beyond CLAP
M2D-CLAP通过结合自监督掩码建模M2D与CLAP,并利用LLM语义嵌入进行多阶段联合训练,学习高性能的通用音频与CLAP特征,实现了超越CLAP的通用音频-语言表示。
2025-09-15 eess.AS
Anomalous Sound Detection Meets Noise-Aware Self-Supervised Learning
MERL(三菱电机研究中心)
本文提出NA-SSL模型,用于NA-ASD任务,在DCASE 2026挑战赛任务2数据集上,NA-BEATs系统以70.24%的官方得分大幅领先,验证了所提方法的有效性。
2026-09-22 eess.AS
Leveraging Self-supervised Audio Representations for Data-Efficient Acoustic Scene Classification
Xi'an Jiaotong-Liverpool University(西交利物浦大学);Nanjing University of Posts and Telecommunications(南京邮电大学)
本文提出一种数据高效且低复杂度的声学场景分类系统,利用BEATs自监督预训练模型提取通用音频表示,并通过集成不同微调策略与知识蒸馏技术,在有限标注数据下实现了56.7%的平均准确率。
2024-08-27 cs.SD eess.AS
Self-supervised learning of audio representations using angular contrastive loss
Tampere University(坦佩雷大学)
在自监督学习(SSL)中,各种借口任务被设计用于通过对比损失来学习特征表示。然而,以前的研究表明,这种损失是不太宽容的语义相似的样本,由于固有的缺陷,实例歧视目标,这可能会损害质量的学习特征嵌入在下游任务中使用。为了提高SSL中特征嵌入的鉴别能力,我们提出了一个新的损失函数,称为角度对比损失(ACL),角度裕度和对比损失的线性组合。ACL通过在SSL中的正和负增广对之间显式地添加角度余量来改进对比学习。实验结果表明,使用ACL的监督和无监督学习显着提高性能。我们使用FSDnoisy18k数据集验证了我们的新损失函数,其中我们使用监督和自监督学习分别实现了73.6%和77.1%的声音事件分类准确率。
2023-03-05 cs.SD eess.AS
Analytic Study of Text-Free Speech Synthesis for Raw Audio using a Self-Supervised Learning Model
The University of Tokyo(东京大学)
本文研究利用SSL模型从无配对原始音频中提取离散符号表征进行无文本语音合成,并与文本表征对比,发现前者更擅长保留韵律、语调等声学内容。
2024-12-04 cs.CL cs.SD eess.AS
Self-Supervised Multi-View Learning for Disentangled Music Audio Representations
New York University(纽约大学)
针对音乐音频自监督学习中的表示纠缠问题,提出一种多视角学习框架,通过分离私有与共享表示空间,在受控实验中验证了其解纠缠有效性。
2024-11-05 cs.SD eess.AS
Leveraging Semantic Information for Efficient Self-Supervised Emotion Recognition with Audio-Textual Distilled Models
Universität Hamburg(汉堡大学)
本文提出一种音频-文本蒸馏的自监督情感识别框架,仅用大规模 SSL 模型约 20% 的可训练参数,在 MSP-Podcast v1.10 上三个情感维度达到与大规模模型相当的性能。
2023-05-30 cs.LG cs.SD eess.AS
TIPAA-SSL: Text Independent Phone-to-Audio Alignment based on Self-Supervised Learning and Knowledge Transfer
University of Mons(蒙斯大学)
本文提出TIPAA-SSL方法,通过微调wav2vec2进行音素识别并结合降维与帧级分类器实现文本无关音素到音频对齐,在TIMIT和SCRIBE数据集上优于charsiu。
2024-05-03 cs.AI cs.CL cs.LG
Deploying self-supervised learning in the wild for hybrid automatic speech recognition
Microsoft Corporation(微软公司)
自监督学习(SSL)方法已被证明是非常成功的自动语音识别(ASR)。这些巨大的改进主要基于高度精心策划的数据集,例如用于非流媒体端到端ASR模型的LibriSpeech。然而,SSL的关键特性是用于任何未转录的音频数据。在本文中,我们提供了一个完整的探索如何利用未经策划的音频数据在SSL从数据预处理部署一个流混合ASR模型。更具体地说,我们提出了(1)音频事件检测(AED)模型在数据预处理管道中的作用(2)分析选择优化器和学习率调度(3)比较最近开发的对比损失,(4)比较各种预训练策略,如利用域内与域外预训练数据,单语与多语言预训练数据,多头多语言SSL与单头多语言SSL以及监督预训练与SSL。实验结果表明,SSL预训练与域内未经策划的数据可以实现更好的性能相比,所有替代的域外预训练策略。
2022-05-17 cs.CL cs.SD eess.AS
PhASE-Flow: Phonetic-Conditioned Acoustic Flow Matching in SSL Representation Domain for Speech Enhancement
Nanjing University(南京大学);Horizon Robotics(地平线机器人);Samsung Electronics (China)(三星电子(中国))
提出PhASE-Flow,一种在自监督学习表示空间中直接建模的流匹配语音增强框架,通过音素条件生成干净声学表示,仅需4步采样即可达到领先性能。
2026-06-17 eess.AS
Leveraging Audio-Visual Data to Reduce the Multilingual Gap in Self-Supervised Speech Models
Tampere University Apple(塔尔库大学苹果)
本文提出在双语自监督语音模型中引入有限视觉grounding,以缩小多语言与单语模型间的性能差距,在零样本音素判别上将差距从31.5%降至8.04%。
2025-09-22 cs.CL eess.AS
Improving Self-Supervised Learning for Audio Representations by Feature Diversity and Decorrelation
Sony Europe B.V.(索尼欧洲有限公司)
自监督学习(SSL)最近在缩小监督学习和无监督学习之间的差距方面取得了显着的成果。其思想是学习对输入数据的失真不变的鲁棒特征。尽管它取得了成功,但这个想法可能会遇到一个崩溃的问题,即网络产生恒定的表示。为此,我们引入SELFIE,一种新的自监督学习方法,通过特征多样性和去相关性的音频表示。SELFIE通过确保表示(i)保持嵌入之间的高度多样性和(ii)解相关维度之间的依赖关系来避免崩溃问题。SELFIE在大规模AudioSet数据集上进行了预训练,其嵌入在九个音频下游任务上进行了验证,包括语音、音乐和声音事件识别。实验结果表明,SELFIE优于现有的SSL方法在几个任务。
2023-03-07 cs.SD eess.AS
How Should We Extract Discrete Audio Tokens from Self-Supervised Models?
Concordia University(康考迪亚大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Avignon Université(阿维尼翁大学);Telecom Paris(巴黎电信学院);Université de Montréal(蒙特利尔大学);Université Laval(拉瓦尔大学)
本文研究从自监督模型中提取离散音频令牌的最佳配置,提出跨多层SSL训练通用声码器,并利用注意力机制识别任务关键层,以提升语义令牌在判别与生成任务中的适应性和性能。
2024-06-15 cs.AI cs.CL cs.SD
Leveraging Audio-Tagging Assisted Sound Event Detection using Weakified Strong Labels and Frequency Dynamic Convolutions
提出两阶段半监督方法:用弱化强标签训练AT生成伪弱标签,再以频率动态卷积循环网络训练SED,在DESED real上较基线提升45.5%。
2023-04-25 eess.AS
Multilingual Dataset Integration Strategies for Robust Audio Deepfake Detection: A SAFE Challenge System
Electrical and Computer Engineering(电气与计算机工程系);University of Michigan(密歇根大学);University of Michigan Dearborn, USA(密歇根大学达文波特分校)
本研究针对SAFE挑战,提出基于AASIST和WavLM前端、RawBoost增强的多语言训练方法,在未修改和清洗音频检测任务中均获第二名,验证了强泛化性。
2025-10-06 cs.LG eess.AS
USAD: Universal Speech and Audio Representation via Distillation
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
USAD通过从领域特定SSL模型进行逐层蒸馏,将语音、声音和音乐统一到一个音频表示模型中,在SUPERB和HEAR等基准上以单一编码器取得接近最先进水平的性能。
2025-08-18 cs.CL cs.SD eess.AS
Match to Win: Analysing Sequences Lengths for Efficient Self-supervised Learning in Speech and Audio
University of Cambridge(剑桥大学);Samsung AI(三星人工智能);Avignon University(阿维尼翁大学)
自监督学习(SSL)在语音和音频相关应用中已被证明是至关重要的。该范例在未标记的数据上训练一个通用模型,这些数据稍后可用于解决特定的下游任务。这种类型的模型对于训练来说是昂贵的,因为它需要操纵只能由强大的集中式服务器处理的长输入序列。令人惊讶的是,尽管许多尝试通过模型压缩来提高训练效率,但是还没有研究截断输入序列长度以减少计算的效果。在本文中,我们提供了针对不同指定序列长度的SSL预训练的第一个实证研究,并将其与各种下游任务联系起来。我们发现,在短序列上进行训练可以大大降低资源成本,同时为所有任务保持令人满意的性能。这种简单的一行更改将促进SSL培训从数据中心迁移到用户端边缘设备,以实现更现实和个性化的应用程序。
2022-11-22 cs.LG cs.SD eess.AS
A SUPERB-Style Benchmark of Self-Supervised Speech Models for Audio Deepfake Detection
Electrical and Computer Engineering University of Michigan(密歇根大学电气与计算机工程系)
本文提出Spoof-SUPERB基准,评估20种自监督语音模型在音频深度伪造检测中的性能,发现大规模判别模型在多语言预训练和说话人感知目标下表现更优。
2026-03-02 cs.AI cs.LG eess.AS
The Efficacy of Self-Supervised Speech Models for Audio Representations
National Taiwan University(台湾大学)
自监督学习(Self-supervised learning,SSL)语音模型作为提取有意义语音表征的上游模型,在语音表示学习中取得了前所未有的成功。然而,它们在非语音数据集上的有效性相对较少探索。在这项工作中,我们提出了一个集成框架,集成技术的组合,融合SSL语音模型的嵌入。在语音和非语音音频数据集上进行了大量的实验,以研究我们的集成方法及其单成分模型的表示能力。消融研究进行评估不同的集成技术,如功能平均和级联的性能。所有实验均在NeurIPS 2021 HEAR Challenge期间进行,作为竞赛官员提供的标准评估管道。结果表明,SSL语音模型在各种非语音任务上具有很强的能力,但我们也注意到,它们无法处理细粒度的音乐任务,如音高分类和音符起始检测。此外,特征集成被证明在产生更全面的表示方面具有巨大的潜力,因为我们提出的框架通常超过了最先进的SSL语音/音频模型,并且与HEAR挑战赛中的其他团队相比,在各种数据集上具有优异的性能。我们的代码可在https://github.com/tony10101105/HEAR-2021-NeurIPS-Challenge-- NTU-GURA上找到。
2023-01-31 cs.AI cs.CL cs.SD
Universal Sound Separation with Self-Supervised Audio Masked Autoencoder
University of Surrey(萨里大学);The Chinese University of Hong Kong(香港中文大学)
本文提出将自监督音频掩码自编码器集成到通用声音分离系统中,通过冻结或更新其参数并结合STFT特征,在AudioSet上提升了ResUNet模型的分离性能。
2024-11-06 cs.AI cs.SD eess.AS
SSL-Net: A Synergistic Spectral and Learning-based Network for Efficient Bird Sound Classification
Department of Computer Science, University of Oxford, United Kingdom(牛津大学计算机科学系)
本研究提出SSL-Net框架,结合频谱与学习特征,实现高效准确的鸟类声音分类,在有限样本下表现优异,并提供了三种特征融合策略供选择。
2023-12-23 cs.SD eess.AS
Escaping the Linearity Trap: Manifold Detours for Black-Box Adversarial Attacks on Singing Audio Deepfake Detection
Wuhan University(武汉大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对自监督学习(SSL)歌声深度伪造检测(SVDD)的对抗攻击失败源于线性陷阱,提出MARS框架通过双层优化逃离线性陷阱,显著提升黑盒迁移攻击成功率。
2026-05-18 cs.CR cs.SD eess.AS
JASPER: Joint Audio and Speech Pre-trained Encoder Representations
LEAP Laboratory, Electrical Engineering, Indian Institute of Science(印度科学学院电气工程学院LEAP实验室)
JASPER通过向语音预训练模型添加时频目标,实现频谱-时间表示学习,在语音、音频和音乐任务上优于现有基线,验证了统一建模的有效性。
2026-09-24 eess.AS
MAP-Music2Vec: A Simple and Effective Baseline for Self-Supervised Music Audio Representation Learning
University of Sheffield(谢菲尔德大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Queen Mary University of London(伦敦玛丽女王大学);Carnegie Mellon University(卡内基梅隆大学);University of Michigan Ann Arbor(密歇根大学安娜堡分校);Peking University(北京大学);University of Tübingen(蒂宾根大学);MPI-IS(马克斯·普朗克智能系统研究所);Dartmouth College(达特茅斯学院)
深度学习社区对自监督学习(SSL)的兴趣呈指数级增长。然而,如何建立一个框架来以自我监督的方式学习原始音乐波形的有用表示仍然是未探索的。在这项工作中,我们设计了Music 2 Vec,这是一个探索不同SSL算法组件和音乐音频录制技巧的框架。我们的模型实现了与最先进的(SOTA)音乐SSL模型Juventure相当的结果,尽管后者的参数小于2%。该模型将在Huggingface上发布(请参考:https://huggingface.co/m-a-p/music2vec-v1)
2022-12-05 cs.AI cs.LG cs.MM
Towards Detecting Neural Audio Codec Synthesized Heart Sounds
UPES;NTHU;VBSPU;IIIT-Delhi;Independent Researcher(独立研究者)
提出心音合成检测任务SHAC,发布首个基准数据集CARDIOFAKE,并设计融合频谱与自监督特征的GROOT框架,实现最优检测性能。
2026-06-23 cs.SD eess.AS
Self-Supervised Convolutional Audio Models are Flexible Acoustic Feature Learners: A Domain Specificity and Transfer-Learning Study
本文通过BYOL-A自监督预训练研究卷积音频模型的领域特异性,发现无论预训练数据来自语音还是非语音,模型在多数下游任务上都能达到或超过领域专用模型,证明SSL可学习灵活的无标签音频表示并支持跨领域迁移。
2025-02-04 eess.AS
Balancing Information Preservation and Disentanglement in Self-Supervised Music Representation Learning
New York University(纽约大学)
针对自监督音乐表征学习中信息保留与解耦难以兼顾的问题,提出结合对比与重构目标的多视图SSL框架,在保证信息完整性的同时实现音乐属性解耦。
2025-07-30 cs.SD eess.AS
Can Large Language Models Understand Spatial Audio?
Tsinghua University(清华大学);Cambridge University(剑桥大学);ByteDance(字节跳动)
本文研究LLM对多声道空间音频的理解,提出统一方法处理SSL、FSR和LSE,在Spatial LibriSpeech上将SSL MAE降至2.70°,并证明空间线索可提升识别与定向语音提取。
2024-06-14 cs.SD eess.AS
Rethinking Masking Strategies for Masked Prediction-based Audio Self-supervised Learning
Tokyo Metropolitan University(东京 Metropolitan 大学);NTT Inc.(NTT公司)
本文重新设计音频表示学习中的掩码策略,提出轻量级的dispersion-weighted masking方法,提升音频事件理解性能并减少计算复杂度。
2026-03-25 cs.MM cs.SD eess.AS
ULTRAS -- Unified Learning of Transformer Representations for Audio and Speech Signals
LEAP Laboratory, Electrical Engineering, Indian Institute of Science(印度科学学院电气工程系LEAP实验室)
ULTRAS通过统一的Transformer架构,利用时频图谱进行预测建模,提升语音和音频处理性能。
2026-04-08 eess.AS
BUT Systems for Environmental Sound Deepfake Detection in the ESDD 2026 Challenge
Brno University of Technology(布尔诺理工大学);Johns Hopkins University(约翰斯·霍普金斯大学);The Hong Kong Polytechnic University(香港理工大学)
BUT系统通过集成自监督学习模型和轻量级MHFA后端,有效提升环境声音深度伪造检测的泛化能力,实验结果在多个数据集上均取得优异性能。
2025-12-09 eess.AS
DualCodec: A Low-Frame-Rate, Semantically-Enhanced Neural Audio Codec for Speech Generation
School of Data Science(数据科学学院)
针对神经音频编解码器帧率与音质的权衡问题,本研究提出双流编码的DualCodec,整合自监督与波形表示增强语义,实现低帧率下的高音质,提升语音生成效率,性能优于现有主流编解码器。
2025-10-01 cs.SD eess.AS
USAD 2.0: Scaling Representation Distillation for Universal Audio Understanding
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Amazon(亚马逊)
提出USAD 2.0通用音频编码器,通过领域感知蒸馏融合自监督和监督基础模型知识,并扩展至音乐领域,经深度缩放达到十亿参数,在探测和基于LLM的评估中取得领先性能。
2026-06-04 cs.CL cs.SD eess.AS