Contrastive Learning of Musical Representations
University of Amsterdam(阿姆斯特丹大学)
虽然深度学习在音乐的许多领域都取得了巨大的进步,但标记音乐数据集的创建仍然特别困难,昂贵且耗时。在这项工作中,我们将Simplified引入音乐领域,并贡献了一个大型的音频数据增强链,以形成一个简单的框架,用于音乐表示的自监督对比学习:CLMR。这种方法适用于原始的时域音乐数据,并且不需要标签来学习有用的表示。我们在MagnaTagATune和Million Song数据集的音乐分类下游任务中评估了CLMR,并提出了一项消融研究来测试我们在Simplified上的哪些音乐相关创新是最有效的。在所提出的表示上训练的线性分类器在MagnaTagATune数据集上实现了比监督模型更高的平均精度,并在Million Song数据集上进行了重新分类。此外,我们表明,CLMR的表示是可转让的使用域外数据集,表明我们的方法在音乐分类具有很强的通用性。最后,我们证明了所提出的方法允许在较小的标记数据集上进行数据高效学习:尽管在线性评估期间仅使用了MagnaTagATune数据集中的259首标记歌曲(占完整数据集的1%),但我们的平均精度为33.1%。为了促进音乐中自监督学习的可重复性和未来研究,我们公开了本文所有实验的预训练模型和源代码。
2021-09-24 cs.LG cs.SD eess.AS
Sketching the Expression: Flexible Rendering of Expressive Piano Performance with Self-Supervised Learning
Seoul National University(首尔大学);Krust Universe(Krust宇宙)
我们提出了一个系统,用于呈现具有灵活的音乐表现力的象征性钢琴表演。为了创造一种新的音乐表演,传达各种情感或细微差别,有必要积极地控制音乐表达。然而,以前的方法仅限于遵循作曲家的音乐表现的指导方针,或只处理音乐属性的一部分。我们的目标是使用条件VAE框架来解开钢琴演奏的整个音乐表达和结构属性。它随机地从潜在表征和给定的音符结构生成表达参数。此外,我们采用自我监督的方法,迫使潜变量代表目标属性。最后,我们利用两步编码器和解码器来学习分层依赖性,以增强输出的自然度。实验结果表明,我们的系统可以稳定地产生相关的性能参数给定的乐谱,学习解开表示,并控制音乐属性彼此独立。
2022-09-03 cs.MM cs.SD eess.AS
CVSM: Contrastive Vocal Similarity Modeling
School of Electrical and Computer Engineering, National Technical University of Athens(电气与计算机工程学院,国家技术大学雅典分校);Robotics Institute, Athena Research Center(机器人研究所,阿提卡研究中心);HERON - Hellenic Robotics Center of Excellence(HERON—希腊机器人 excellence 中心)
提出对比自监督框架 CVSM,通过人声与含相同人声的音乐混音对齐来学习音乐表征,并在下游任务和用户研究中验证其人声相似性建模效果。
2025-10-03 cs.SD eess.AS
Musical Audio Similarity with Self-supervised Convolutional Neural Networks
Epidemic Sound(流行病声音公司)
我们已经建立了一个音乐相似性搜索引擎,让视频制作人搜索的音乐摘录,作为传统的全文搜索的补充。我们的系统通过训练具有三重损失项和音乐变换的自监督卷积神经网络,在大型音乐目录中建议类似的发声轨道段。半结构化的用户访谈表明,我们可以成功地打动专业视频制作人的搜索体验的质量,并在用户测试中的查询轨道平均7.8/10感知相似性。我们相信这个搜索工具将提供更自然的搜索体验,更容易找到音乐和配乐视频。
2022-02-04 cs.IR cs.LG cs.MM
Leave-One-EquiVariant: Alleviating invariance-related information loss in contrastive music representations
School of EECS, Queen Mary University of London(伦敦大学玛丽皇后学院电子工程与计算机科学学院);Music & Audio Machine Learning Lab, Universal Music Group(环球音乐集团音乐与音频机器学习实验室)
本文提出 LOEV 框架,通过选择性保留特定增强信息来缓解对比音乐表示中不变性导致的信息损失,并进一步提出 LOEV++ 构建解耦潜在空间以支持定向检索。
2024-12-25 cs.SD eess.AS
Semi-Supervised Contrastive Learning with Generalized Contrastive Loss and Its Application to Speaker Recognition
Tokyo Institute of Technology(东京工业大学)
本文介绍了一种半监督对比学习框架及其在文本无关说话人确认中的应用。所提出的框架采用广义对比损失(GCL)。GCL统一了两种不同的学习框架,监督度量学习和无监督对比学习的损失,因此它自然决定了半监督学习的损失。在实验中,我们将所提出的框架应用于VoxCeleb数据集上的文本无关的说话人验证。我们证明了GCL能够以三种方式学习说话人嵌入,监督学习,半监督学习和无监督学习,而损失函数的定义没有任何变化。
2020-06-08 cs.SD eess.AS
Self-supervised learning of audio representations using angular contrastive loss
Tampere University(坦佩雷大学)
在自监督学习(SSL)中,各种借口任务被设计用于通过对比损失来学习特征表示。然而,以前的研究表明,这种损失是不太宽容的语义相似的样本,由于固有的缺陷,实例歧视目标,这可能会损害质量的学习特征嵌入在下游任务中使用。为了提高SSL中特征嵌入的鉴别能力,我们提出了一个新的损失函数,称为角度对比损失(ACL),角度裕度和对比损失的线性组合。ACL通过在SSL中的正和负增广对之间显式地添加角度余量来改进对比学习。实验结果表明,使用ACL的监督和无监督学习显着提高性能。我们使用FSDnoisy18k数据集验证了我们的新损失函数,其中我们使用监督和自监督学习分别实现了73.6%和77.1%的声音事件分类准确率。
2023-03-05 cs.SD eess.AS
Embedding-Based Intrusive Evaluation Metrics for Musical Source Separation Using MERT Representations
University of Music and Performing Arts Graz, Institute of Electronic Music and Acoustics (IEM)(格拉茨音乐与表演艺术大学,电子音乐与声学研究所)
本文提出基于MERT嵌入的侵入性评估指标,用于改进音乐源分离的评估方法,实验表明其在感知音频质量评分上表现优于传统BSS-Eval指标。
2026-04-22 cs.SD eess.AS
STONE: Self-supervised Tonality Estimator
Deezer Research(Deezer研究院);Nantes Université(南特大学);École Centrale Nantes(南特中央理工学院);CNRS(法国国家科学研究中心);LS2N(南特数字科学实验室)
提出首个自监督调性估计器STONE,通过ChromaNet架构预测音高移位,在减少监督时达到全监督模型准确率,并在同等监督下超越全监督模型。
2025-04-01 cs.SD eess.AS
Self-supervised Text-independent Speaker Verification using Prototypical Momentum Contrastive Learning
Tencent AI Lab(腾讯人工智能实验室)
在这项研究中,我们研究了用于说话人确认(SV)的自监督表示学习。首先,我们研究了一个简单的对比学习方法(Simplified)与动量对比(MoCo)学习框架,其中MoCo扬声器嵌入系统利用队列来维护一个大的负面例子。我们发现,更好的发言人嵌入可以通过动量对比学习。接下来,替代增强策略进行了探讨,规范化的两个随机段从同一语音话语的外在说话人变异。具体而言,波形的增强在很大程度上改善了SV任务的扬声器表示。当引入一个原型记忆库时,所提出的MoCo说话人嵌入得到进一步改进,这鼓励说话人嵌入更接近其分配的原型,并具有中间聚类步骤。此外,我们将自监督框架推广到半监督场景,其中只有一小部分数据被标记。在Voxceleb数据集上的综合实验表明,与现有技术相比,我们提出的自监督方法具有竞争力的性能,并且可以用部分标记的数据来接近完全监督的结果。
2021-02-14 cs.LG eess.AS
Experimenting with Additive Margins for Contrastive Self-Supervised Speaker Verification
Language Recognition Group (ESLR), Laboratoire de Recherche de l'EPITA, France
本文通过对称对比损失和加性边距改进自监督说话人验证,在VoxCeleb1上取得7.50% EER和0.5804 minDCF,优于现有方法。
2023-06-06 cs.LG eess.AS
Augmented Contrastive Self-Supervised Learning for Audio Invariant Representations
Microsoft(微软)
由于标记数据的稀缺性,提高泛化能力是音频分类的主要挑战。自监督学习(SSL)方法通过利用未标记的数据来学习下游分类任务的有用特征来解决这个问题。在这项工作中,我们提出了一个增强的对比SSL框架,学习不变表示从未标记的数据。我们的方法将各种扰动应用于未标记的输入数据,并利用对比学习来学习对这种扰动具有鲁棒性的表示。在Audioset和DESED数据集上的实验结果表明,我们的框架在声音/事件分类任务上的性能明显优于最先进的SSL和监督学习方法。
2021-12-21 cs.LG cs.SD eess.AS
Semi-Supervised Sound Event Detection with Conditional Mixup and Embedding-Level Contrastive Loss
提出条件混合策略与嵌入级对比损失,解决半监督声音事件检测中混合增强在伪标签学习和对比学习中的角色冲突,在DESED验证集上达到SOTA。
2026-06-29 cs.AI eess.AS
Acoustic word embeddings for zero-resource languages using self-supervised contrastive learning and multilingual adaptation
School of Data Science and Computational Thinking (SU)(数据科学与计算思维学院(南非大学))
声学词嵌入(AWE)是可变长度语音段的固定维表示。对于没有标记数据的零资源语言,一种AWE方法是使用无监督的基于自动编码器的递归模型。另一种最近的方法是使用多语言传输:在几种资源丰富的语言上训练有监督的AWE模型,然后将其应用于一种看不见的零资源语言。我们考虑如何最近的对比学习损失可以在纯粹的无监督和多语言传输设置。首先,我们证明了来自无监督术语发现系统的术语可以用于对比自我监督,从而改进了以前的无监督单语AWE模型。其次,我们考虑如何多语言AWE模型可以适应一个特定的零资源语言使用发现的条款。我们发现,自监督对比适应优于适应多语言对应自动编码器和暹罗AWE模型,在六种零资源语言的单词识别任务中获得了最佳的整体结果。
2021-03-19 cs.CL eess.AS
Non-Contrastive Self-Supervised Learning of Utterance-Level Speech Representations
Johns Hopkins University(约翰斯·霍普金斯大学)
考虑到大量的未标记语音数据和高昂的标记成本,无监督学习方法对于更好的系统开发至关重要。最成功的方法之一是对比自监督方法,它需要负采样:对替代样本进行采样,以与当前样本(锚)进行对比。然而,很难确保所有的负样本是否属于与没有标签的锚类不同的类。本文采用非对比自监督学习方法在无标注语音语料库上学习话语级嵌入。我们使用了在计算机视觉中提出的带NO标签的Distillation(DINO),并将其应用于语音领域。与对比方法不同,DINO不需要负采样。这些嵌入进行了评估,说话人确认和情感识别。在说话人验证中,无监督DINO嵌入余弦评分在VoxCeleb 1测试试验中提供了4.38%的EER。这比最好的对比自我监督方法在EER方面的相对性能高出40%。一个迭代的伪标签训练管道,不需要说话人标签,进一步提高了EER到1.89%。在情感识别方面,DINO嵌入在IEMOCAP,Crema-D和MSP-Podcast上的micro-f1得分分别为60.87,79.21和56.98%。结果表明,DINO嵌入的通用性,不同的语音应用。
2022-08-10 cs.LG eess.AS
Cross-domain Semi-Supervised Audio Event Classification Using Contrastive Regularization
Seoul National University(首尔大学);Artificial Intelligence Institute, Seoul National University(首尔大学人工智能研究院)
在这项研究中,我们提出了一种新的半监督训练方法,该方法使用具有与目标数据或没有目标标签的数据完全不同的类分布的未标记数据。为此,我们引入了一种对比正则化,它被设计为面向目标任务并同时进行训练。此外,我们提出了一种基于音频混合的简单增强策略,在批量样本中执行。实验结果表明,该方法有效地提高了性能,尤其是在稳定训练和泛化能力方面具有优势。
2021-09-29 cs.SD eess.AS
Supervised Contrastive Learning for Accented Speech Recognition
Mediatek Singapore(联发科新加坡)
基于神经网络的语音识别系统由于口音语音,特别是不熟悉的口音而遭受性能下降。在本文中,我们研究了有监督的对比学习框架的口音语音识别。为了建立不同的视图(类似的"积极"的数据样本)的对比学习,三个数据增强技术,包括噪声注入,频谱图增强和TTS相同的句子生成进一步研究。通过在Common Voice数据集上的实验,我们已经证明了对比学习有助于构建数据增强不变和发音不变的表示,这在zero-shot和full shot设置中都显着优于传统的联合训练方法。实验结果表明,对比学习比联合训练方法平均提高了3.66%(zero-shot)和3.78%(full-shot)的准确率。
2021-07-02 cs.LG cs.SD eess.AS
Self-Supervised Learning from Contrastive Mixtures for Personalized Speech Enhancement
这项工作探讨了如何自我监督学习可以普遍用于发现扬声器的特定功能,使个性化的语音增强模型。我们专门解决了Few-Shot学习场景,其中对测试时间扬声器的清洁录音的访问限于几秒钟,但扬声器的嘈杂录音是丰富的。我们开发了一个简单的对比学习过程,将丰富的噪声数据作为临时的训练目标,通过成对的噪声注入:该模型进行预训练,以最大限度地提高对不同变形的相同的话语之间的协议,并尽量减少对类似变形的不相同的话语之间的协议。我们的实验比较了所提出的预训练方法与两个基线替代方案:说话者不可知的全监督预训练,和说话者特定的自我监督预训练没有对比损失条款。在所有三种方法中,使用对比混合物的方法被发现对模型压缩(使用少85%的参数)和减少干净语音(仅需要3秒)是最鲁棒的。
2022-08-09 cs.LG cs.SD eess.AS
Clustering-based hard negative sampling for supervised contrastive speaker verification
Samsung R&D Institute Poland(三星研发院波兰分院);AGH University of Krakow(波兰克拉科夫AGH大学)
针对说话人验证中对比学习的难负样本利用问题,提出CHNS聚类式难负样本采样方法,通过聚类相似说话人嵌入并优化批次难易负样本比例,在VoxCeleb数据集上用轻量模型使相对EER和minDCF提升达18%,优于基线对比方法与最优分类方法。
2025-07-23 cs.LG cs.SD eess.AS
SCaLa: Supervised Contrastive Learning for End-to-End Speech Recognition
JD AI Research(京东人工智能研究院)
端到端自动语音识别(ASR)模型通常被训练为优化整个令牌序列的丢失,而忽略显式音素粒度监督。这可能导致由于相似音素混淆或音素减少而导致的识别错误。为了缓解这个问题,我们提出了一个新的框架,基于监督对比学习(SCaLa),以增强音素表征学习的端到端ASR系统。具体来说,我们将自监督的掩蔽对比预测编码(MCPC)扩展到完全监督的设置,其中监督以以下方式应用。首先,SCaLa根据从预先训练的声学模型中提取的给定音素强制对齐的音素边界掩蔽可变长度编码器特征;然后通过对比学习预测掩蔽的特征。强制对齐可以提供音素标签,以减轻自监督MCPC中正负对引入的噪声。阅读和自发语音数据集上的实验表明,我们提出的方法实现了2.8和1.4点字符错误率(CER)的绝对减少相比,基线,分别。
2022-06-20 cs.LG cs.SD eess.AS
Supervised Symbolic Music Style Translation Using Synthetic Data
Télécom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎综合理工学院)
对风格转移和领域翻译的研究已经清楚地证明了基于深度学习的算法在艺术风格方面操纵图像的能力。最近,已经进行了几次尝试来将这种方法扩展到音乐(符号和音频两者),以便能够以类似的方式转换音乐风格。在这项研究中,我们专注于象征性音乐,目的是改变作品的“风格”,同时保持其原有的“内容”。与目前的方法相反,由于缺乏“对齐”数据(即以多种风格演奏的同一音乐作品),这些方法本质上被限制为无监督的,我们为此任务开发了第一个完全监督的算法。我们的方法的核心在于一个合成数据生成方案,它允许我们产生几乎无限数量的对齐数据,从而避免了上述问题。鉴于这种数据生成方案,我们提出了一种编码器-解码器模型,用于在许多不同风格之间翻译符号音乐符号。我们的实验表明,尽管我们的模型完全基于合成数据进行训练,但即使对于真实的(非合成的)录音,也能够产生具有音乐意义的声音。
2019-07-04 cs.LG cs.SD eess.AS
Zero-shot Musical Stem Retrieval with Joint-Embedding Predictive Architectures
Télécom-Paris, Institut Polytechnique de Paris(巴黎综合理工学院电信学院);Sony Computer Science Laboratories - Paris(索尼计算机科学实验室(巴黎));Sony AI(索尼人工智能)
本文提出基于联合嵌入预测架构的新方法,通过条件化预测器实现零样本音乐分轨检索,并在MUSDB18和MoisesDB数据集上显著优于基线,同时验证了嵌入保留时间结构。
2025-02-24 cs.AI cs.SD eess.AS
Entropy as a Structural Prior: How a Log-Barrier on DiT Belief Space Drives Musical Diversity and Development
Sun Yat-sen University(中山大学);Datawhale(数据 whale)
提出Eisbach对数障碍,利用DiT输出空间能量分布的熵作为权重,在监督扩散训练中通过调节梯度步长促进音乐主题发展、声学区分和纹理多样性,避免模式崩溃。
2026-06-05 cs.LG cs.SD eess.AS
Towards Proper Contrastive Self-supervised Learning Strategies For Music Audio Representation
Tmap Mobility Co., Ltd(Tmap移动有限公司)
自监督学习的共同研究目标是提取一个通用的表示,任意下游任务将从中受益。在这项工作中,我们调查音乐音频表示从不同的对比自监督学习计划和经验评估的嵌入式向量的各种音乐信息检索(MIR)的任务,不同层次的音乐感知关注。本文通过对实验结果的分析,探讨了不同任务下对比学习策略的使用方向。我们发现,这些表示传达了一个全面的信息的听觉特性的音乐一般,虽然每个自我监督策略有自己的有效性,在某些方面的信息。
2022-07-10 cs.AI cs.MM cs.SD
CLAR: Contrastive Learning of Auditory Representations
Department of Computer Science The University of Western Ontario(西安大略大学计算机科学系)
使用对比自监督学习来学习丰富的视觉表示是非常成功的。然而,我们是否可以使用类似的方法来学习更好的听觉表征仍然是一个主要问题。在本文中,我们扩展了先前的工作(Simplified),以学习更好的听觉表征。我们(1)介绍了各种适用于听觉数据的数据增强,并评估了它们对预测性能的影响,(2)表明与原始信号相比,使用时频音频特征进行训练大大提高了学习表示的质量,和(3)证明与自我监督的预训练相比,同时使用监督和对比损失的训练同时提高了学习的表示。训练后进行监督微调。我们说明,通过结合所有这些方法,大大减少标记的数据,我们的框架(CLAR)实现了显着提高预测性能相比,监督的方法。此外,与自监督方法相比,我们的框架收敛速度更快,表示效果更好。
2020-10-19 cs.LG cs.SD eess.AS
A Cross-Corpus Speech Emotion Recognition Method Based on Supervised Contrastive Learning
Southeast University(东南大学)
针对语音情感识别中大规模公开数据集缺乏、跨分布数据泛化能力有限的问题,提出基于监督对比学习的两阶段微调跨语料库方法,在IEMOCAP和CASIA数据集上取得优于现有最佳结果的无加权准确率。
2024-11-25 cs.CL cs.SD eess.AS
Equivariant Self-Supervision for Musical Tempo Estimation
Universal Music Group(环球音乐集团)
近年来,自监督方法已经成为表示学习的一个有前途的途径,因为它们减轻了对标记数据集的需求,而标记数据集是稀缺且昂贵的。对比方法是音频领域中自我监督的流行选择,并且通常通过强制模型对输入的某些变换保持不变来提供学习信号。然而,这些方法需要采取负采样或某种形式的正则化等措施,以防止模型在平凡解上崩溃。在这项工作中,而不是不变性,我们建议使用等方差作为一个自我监督信号学习音频节奏表示从未标记的数据。我们推导出一个简单的损失函数,它可以防止网络在训练过程中崩溃在一个平凡的解决方案上,而不需要任何形式的正则化或负采样。我们的实验表明,它是可以学习有意义的表示节奏估计仅仅依靠等变自我监督,实现性能与监督的方法在几个基准。作为一个额外的好处,我们的方法只需要适度的计算资源,因此仍然可以访问广泛的研究社区。
2022-09-03 cs.AI cs.LG cs.SD
Self-supervised Contrastive Cross-Modality Representation Learning for Spoken Question Answering
Yale University(耶鲁大学);Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
口语问答(SQA)需要对口语文档和问题进行细粒度的理解,以获得最佳答案预测。在本文中,我们提出了新的训练计划,口语问答与自我监督的训练阶段和对比表示学习阶段。在自监督阶段,我们提出了三个辅助的自监督任务,包括话语恢复,话语插入,和问题的歧视,并共同训练模型,以捕捉语音文档之间的一致性和连贯性,而无需任何额外的数据或注释。然后,我们建议通过采用多种增强策略,包括跨度删除和跨度替换,在对比目标中学习噪声不变的话语表示。此外,我们设计了一个时间对齐注意,语义对齐的语音文本线索在学习的共同空间和效益的SQA任务。通过这种方式,训练方案可以更有效地指导生成模型预测更合适的答案。实验结果表明,我们的模型在三个SQA基准测试中取得了最先进的结果。
2021-09-08 cs.AI cs.CL cs.LG