Mental Damage: Caption Poisoning Attacks on Retrieval-Augmented Text-to-Music Generation
Clemson University(克莱姆森大学);Michigan State University(密歇根州立大学)
提出双层标题投毒策略,通过向音乐知识库注入少量恶意标题,使检索增强文本到音乐系统生成偏离用户意图的音乐,暴露了系统的完整性风险。
2026-05-18 cs.AI cs.SD eess.AS
S3T: Self-Supervised Pre-training with Swin Transformer for Music Classification
Zhejiang University(浙江大学)
在本文中,我们提出了S3 T,一个自我监督的预训练方法与Swin Transformer的音乐分类,旨在学习有意义的音乐表示,从大量的易于访问的未标记的音乐数据。S3 T引入了一种基于动量的范式MoCo,以Swin Transformer作为音乐时频域的特征提取器。为了更好地学习音乐表示,S3 T提供了一个音乐数据增强管道和两个专门设计的预处理器。据我们所知,S3 T是第一种将Swin Transformer与自监督学习方法相结合的音乐分类方法。我们评估S3 T的音乐流派分类和音乐标记任务与线性分类器训练的学习表示。实验结果表明,S3 T优于以前的自我监督方法(CLMR)的12.5倍的top-1准确率和4.8倍的PR-AUC在两个任务上,也超过了特定于任务的最先进的监督方法。此外,S3 T在标记效率方面的进步仅使用10%的标记数据,超过了在两个任务上使用100%标记数据的CLMR。
2022-02-21 cs.IR cs.SD eess.AS
Music Classification: Beyond Supervised Learning, Towards Real-world Applications
音乐分类是一项音乐信息检索(MIR)任务,用于将音乐项分类为诸如流派、情绪和乐器之类的标签。它还与音乐相似性和音乐偏好等其他概念密切相关。在本教程中,我们将重点放在两个方向上-最近的训练计划超越监督学习和音乐分类模型的成功应用。本书的目标读者是对最先进的音乐分类研究和构建现实世界应用程序感兴趣的研究人员和从业人员。我们假设观众熟悉基本的机器学习概念。在这本书中,我们提出了三个讲座如下:1。音乐分类概述:任务定义,应用,现有方法,数据集,2。Beyond supervised learning:Semi- and自监督学习for music classification.走向现实世界的应用:较少讨论,但在实践中的重要研究问题。
2021-12-03 cs.IR cs.SD eess.AS
Chord Recognition- Music and Audio Information Retrieval
音乐信息检索(MIR)是一项协作科学研究,有助于建立创新的信息研究主题,新颖的框架,并开发连接的交付机制,以及使世界上大量的音乐收藏对每个人开放。现代摇滚乐被证明很难估计节奏,和弦识别也不起作用。所有的研究结果都表明,现代摇滚和金属音乐是可以分析的,尽管它很复杂,但需要在这一领域进行进一步的研究,使其有用。使用神经网络是最简单的处理方法之一,在神经网络方法中使用了音高类轮廓向量。由于该矢量仅包含12个半音值元素,因此足以用于和弦识别。当然,还有其他方法可以实现这项工作,其中大多数依赖于音高类别分析将和弦转换为可以识别的类型,但是识别过程非常耗时,并且集中在非常复杂和内存密集的方法上。
2021-09-08 cs.IR cs.SD eess.AS
Goniometers are a Powerful Acoustic Feature for Music Information Retrieval Tasks
University of Hamburg(汉堡大学)
本文探讨了角度仪在音乐信息检索中的应用,通过自组织映射验证其在分类和聚类中的有效性,强调其因果性优势。
2023-02-02 cs.IR cs.SD eess.AS
Towards Robust and Truly Large-Scale Audio-Sheet Music Retrieval
Johannes Kepler University Linz(林茨约翰·开普勒大学)
本文系统梳理了基于深度学习的音频-乐谱跨模态检索的现状,明确真实场景中的主要挑战,总结已有改进,并提出后续解决思路,以推动稳健且大规模的统一检索方法。
2023-09-21 cs.IR cs.LG cs.SD
Multimodal Music Generation with Explicit Bridges and Retrieval Augmentation
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);University of Edinburgh(爱丁堡大学);Meitu Inc(美图公司);The Chinese University of Hong Kong(香港中文大学);Beihang University(北京航空航天大学)
针对多模态音乐生成存在的数据稀缺、跨模态对齐弱等问题,提出带文本与音乐显式桥接的VMB方法,显著提升音乐生成质量与可控性,树立该领域新标杆。
2024-12-12 cs.CV cs.MM cs.SD
CSyMR: Benchmarking Compositional Music Information Retrieval in Symbolic Music Reasoning
University of California, San Diego(加州大学圣地亚哥分校)
CSyMR-Bench通过工具增强的检索和推理框架,在符号音乐推理中实现组合音乐信息检索的准确率提升。
2026-02-27 cs.AI cs.CL cs.LG
MIRFLEX: Music Information Retrieval Feature Library for Extraction
MIRFLEX是一个可扩展的模块化音乐特征提取库,集成最先进模型,提取调性、强拍、流派等音乐元素及乐器识别等音频特征,支持潜在或后处理标签,便于集成到音乐应用并作为基准测试工具。
2024-11-01 cs.AI cs.IR cs.SD
CLaMP: Contrastive Language-Music Pre-training for Cross-Modal Symbolic Music Information Retrieval
Central Conservatory of Music(中央音乐学院);Microsoft Research Asia(微软亚洲研究院);Tsinghua University(清华大学)
CLaMP通过对比学习联合训练音乐与文本编码器,利用140万配对数据和掩码音乐建模,实现符号音乐的语义搜索与零样本分类,性能媲美需微调的先进模型。
2023-10-18 cs.IR cs.SD eess.AS
Natural Language Processing Methods for Symbolic Music Generation and Information Retrieval: a Survey
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Centrale Lille(里尔中央理工学院);Univ. Bordeaux(波尔多大学);Bordeaux INP(波尔多综合理工学院);Singapore University of Technology and Design(新加坡科技设计大学)
本综述梳理了应用于符号音乐生成与信息检索的NLP方法,涵盖符号音乐表示、适配的深度学习模型及专用机制,并讨论了技术问题与文本音乐差异,为后续适配研究指明方向。
2024-02-27 cs.AI cs.IR cs.SD
Leave-One-EquiVariant: Alleviating invariance-related information loss in contrastive music representations
School of EECS, Queen Mary University of London(伦敦大学玛丽皇后学院电子工程与计算机科学学院);Music & Audio Machine Learning Lab, Universal Music Group(环球音乐集团音乐与音频机器学习实验室)
本文提出 LOEV 框架,通过选择性保留特定增强信息来缓解对比音乐表示中不变性导致的信息损失,并进一步提出 LOEV++ 构建解耦潜在空间以支持定向检索。
2024-12-25 cs.SD eess.AS
Towards Proper Contrastive Self-supervised Learning Strategies For Music Audio Representation
Tmap Mobility Co., Ltd(Tmap移动有限公司)
自监督学习的共同研究目标是提取一个通用的表示,任意下游任务将从中受益。在这项工作中,我们调查音乐音频表示从不同的对比自监督学习计划和经验评估的嵌入式向量的各种音乐信息检索(MIR)的任务,不同层次的音乐感知关注。本文通过对实验结果的分析,探讨了不同任务下对比学习策略的使用方向。我们发现,这些表示传达了一个全面的信息的听觉特性的音乐一般,虽然每个自我监督策略有自己的有效性,在某些方面的信息。
2022-07-10 cs.AI cs.MM cs.SD
Pac-HuBERT: Self-Supervised Music Source Separation via Primitive Auditory Clustering and Hidden-Unit BERT
MERL(三菱电机研究实验室)
本文提出自监督框架Pac-HuBERT,利用无标签音乐数据的原始听觉特征进行预训练,结合Res-U-Net解码器,在数据有限时显著提升了音乐源分离的SDR性能。
2023-04-04 cs.LG cs.SD eess.AS
Identification of potential Music Information Retrieval technologies for computer-aided jingju singing training
音乐信息检索(MIR)技术在西方古典声乐训练中的应用已被证明是有效的。京剧演唱在大部分的感性维度上都不同于西方演唱,训练者采用口心法。在本文中,我们首先介绍了在专业京剧培训课堂场景中使用的培训方法,并展示了将MIR技术引入培训过程的潜在好处。本文的主体部分是对京剧演唱训练中潜在的MIR技术进行识别。针对这一意图,我们回答了这样一个问题:京剧演唱指导教师和学员是如何看待京剧音乐的每一个维度--语调、节奏、响度、音质和发音的重要性的?本研究透过(一)将课堂歌唱练习、导师的口头反馈归纳为五个维度,(二)对受训者进行问卷调查。然后,借助音乐信号分析法,对课堂练习录音实例进行了细致的考察,揭示了训练过程中的细节要素。最后,在上述分析的基础上,本文提出了几种可能的多媒体合成技术,对京剧演唱训练有一定的参考价值。
2017-11-02 cs.IR cs.SD eess.AS
Supervised Learning for Game Music Segmentation
Queen Mary University of London(伦敦玛丽女王大学)
本研究通过结合卷积神经网络和循环神经网络,利用监督学习方法在游戏音乐结构分段任务中取得与无监督学习相当的性能。
2026-01-19 cs.SD
Self-Supervised Music Source Separation Using Vector-Quantized Source Category Estimates
Queen Mary University(玛丽女王大学);Sony Computer Science Laboratories(索尼计算机科学实验室)
本文提出一种自监督音乐源分离系统,通过向量量化表示替代音频查询,在推理时无需音频查询,为不同音乐流派的源分离提供新途径。
2023-11-21 cs.SD eess.AS
Zero-shot Musical Stem Retrieval with Joint-Embedding Predictive Architectures
Télécom-Paris, Institut Polytechnique de Paris(巴黎综合理工学院电信学院);Sony Computer Science Laboratories - Paris(索尼计算机科学实验室(巴黎));Sony AI(索尼人工智能)
本文提出基于联合嵌入预测架构的新方法,通过条件化预测器实现零样本音乐分轨检索,并在MUSDB18和MoisesDB数据集上显著优于基线,同时验证了嵌入保留时间结构。
2025-02-24 cs.AI cs.SD eess.AS
Layer-wise Investigation of Large-Scale Self-Supervised Music Representation Models
NanJing UniversityChina(南京大学);Shanghai Jiao Tong UniversityChina(上海交通大学);Tencent AI Lab China(腾讯AI实验室)
本研究分析MusicFM和MuQ两个自监督音乐表示模型,验证其在多任务中的优势,探索层间信息专门化及层选择对性能的影响,揭示模型结构与应用潜力。
2025-05-22 cs.AI cs.SD eess.AS
Self-supervised Auxiliary Loss for Metric Learning in Music Similarity-based Retrieval and Auto-tagging
Sony Computer Science Laboratories, Inc(索尼计算机科学实验室公司);Koozyt, Inc(Koozyt公司)
本文提出一种结合自监督辅助损失的度量学习方法,用于提升音乐相似度检索与自动标注性能,并发现联合训练监督与自监督信号、微调阶段不使用数据增强更有效。
2023-04-15 cs.IR cs.LG cs.SD
Novel Recording Studio Features for Music Information Retrieval
Bremen Spatial Cognition Center, University of Bremen(不来梅大学不来梅空间认知中心);Faculty of Information and Communication Technology, Mahidol University(玛希隆大学信息与通信技术学院)
在录音室里,电子舞曲(EDM)的制作人花更多的时间来创作,塑造,混合和掌握声音,而不是作曲或编曲。他们通过近距离聆听和利用音频测量和音频分析工具来调整声音,直到成功地创造出所需的声音美学。EDM的DJ倾向于播放符合他们声音理想的歌曲集。因此,我们建议使用录音室的音频测量和监控工具来分析EDM,而不是依赖于传统的低级别音频功能。我们通过一个简单的分类任务来测试我们的新功能集。我们把歌曲归功于会播放特定歌曲的DJ。这套新的功能和对DJ集的关注是针对EDM的,因为它考虑到了制作人和DJ文化。通过简单的降维和机器学习,这些特征使我们能够以63%的准确率将歌曲归因于DJ。录音室中的音频测量和监测工具的特征可以用于音乐信息检索中的许多应用,例如流派、风格和时代分类以及为DJ和电子舞曲消费者推荐音乐。
2021-01-25 cs.IR cs.SD eess.AS
Learning Soft-Attention Models for Tempo-invariant Audio-Sheet Music Retrieval
Johannes Kepler University Linz(林茨约翰·开普勒大学);The Austrian Research Institute for Artificial Intelligence (OFAI)(奥地利人工智能研究所(OFAI))
长期以来,将大型数字化音频记录库与其相应的乐谱图像连接起来一直是研究人员开发新的跨模态检索系统的动机。近年来,基于深度神经网络嵌入空间学习的检索系统更接近实现这一愿景。然而,音乐记录中的全局和局部节奏偏差仍然需要仔细调整给予系统的时间上下文的量。在本文中,我们通过在音频输入上引入额外的软注意力机制来解决这个问题。合成钢琴数据的定量和定性结果表明,这种注意力通过关注基于音频节奏的输入表示的不同部分来增加检索系统的鲁棒性。受到这些结果的鼓舞,我们认为注意力模型具有作为许多MIR任务的非常通用工具的潜力。
2019-06-26 cs.CV cs.IR cs.LG
mir_ref: A Representation Evaluation Framework for Music Information Retrieval Tasks
Universitat Pompeu Fabra(庞培法布拉大学)
针对当前音乐信息检索表示评估方法碎片化、结果不一致的问题,提出本地优先的mir_ref评估框架,内置多类组件并支持自定义,通过多任务多数据集实验验证了其在嵌入模型评估方面的实用性。
2023-12-12 cs.IR cs.SD eess.AS
ReconVAT: A Semi-Supervised Automatic Music Transcription Framework for Low-Resource Real-World Data
Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)(科学、技术与研究署(A*STAR)高性能计算研究所(IHPC));Singapore University of Technology and Design(新加坡科技设计大学)
当前大多数有监督的自动音乐转录(AMT)模型缺乏泛化能力。这意味着他们很难从标记的训练数据中没有呈现的不同音乐流派中转录真实世界的音乐录音。在本文中,我们提出了一个半监督框架ReconVAT,它通过利用大量可用的未标记音乐录音来解决这个问题。建议的ReconVAT使用重建损失和虚拟对抗训练。当与现有的AMT U-net模型相结合时,ReconVAT在MAPS和MusicNet等常见基准数据集上取得了有竞争力的结果。例如,在MusicNet的字符串部分版本的Few-Shot设置中,ReconVAT分别针对音符和音符偏移度量实现了61.0%和41.6%的F1分数,这意味着与监督基线模型相比提高了22.2%和62.5%。我们提出的框架还展示了对新数据进行持续学习的潜力,这在不断提供新数据的实际应用中可能是有用的。
2021-07-29 cs.LG cs.MM cs.SD
Music Source Separation with Generative Flow
University of Rochester(罗切斯特大学);Tencent Technology (Shanghai) Co., Ltd.(腾讯科技(上海)有限公司)
用于源分离的全监督模型是在并行混合源数据上训练的,并且是目前最先进的。然而,这样的并行数据通常难以获得,并且使训练模型适应具有新源的混合物是繁琐的。相比之下,仅源监督模型只需要单个源数据进行训练。在本文中,我们首先利用基于流的生成器来训练个人音乐源先验,然后使用这些模型,以及基于可能性的目标,分离音乐混合物。我们表明,在歌声分离和音乐分离任务中,我们提出的方法与完全监督的方法相比具有竞争力。我们还证明了我们可以灵活地添加新类型的源,而完全监督的方法需要重新训练整个模型。
2022-10-16 cs.SD eess.AS eess.SP
LooPy: A Research-Friendly Mix Framework for Music Information Retrieval on Electronic Dance Music
New York University(纽约大学)
提出LooPy,一个面向电子舞曲的Python包,通过专业模板和概率旋律生成器自动生成高质量EDM音频,解决标注数据稀缺问题,实验证明混音质量媲美知名艺术家作品。
2023-05-01 cs.IR cs.LG cs.MM
MusicSem: A Semantically Rich Language--Audio Dataset of Natural Music Descriptions
University of Rochester(罗切斯特大学);National University of Singapore(新加坡国立大学);SJTU Paris Elite Institute of Technology(上海科技技术巴黎精英学院);Singapore Management University(新加坡管理学院);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
MusicSem是一个基于Reddit讨论的语义丰富的音乐描述数据集,旨在提升多模态音乐表示学习中对细粒度语义的建模能力。
2026-02-19 cs.MM cs.SD eess.AS
Musical Features for Automatic Music Transcription Evaluation
本技术报告对论文中介绍的功能进行了详细、正式的描述:Adrien Ycart、Lele Liu、Emmanouil Benetos和Marcus T.皮尔斯“调查自动钢琴音乐转录的评估模型的感知有效性”,国际音乐信息检索学会(TISMIR),接受,2020年。
2020-04-15 cs.IR cs.SD eess.AS
Visualizing and Understanding Self-attention based Music Tagging
Universitat Pompeu Fabra(庞培法布拉大学);Naver Corp.(Naver公司)
最近,我们提出了一个基于自我注意力的音乐标注模型。与音乐信息检索中的大多数传统深度架构不同,传统深度架构通过将音乐频谱图视为图像来使用堆叠的3x3滤波器,所提出的基于自我注意力的模型试图将音乐视为个体音频事件的时间序列。不仅性能,而且还可以促进更好的可解释性。在本文中,我们主要集中在可视化和理解所提出的基于自我注意力的音乐标注模型。
2019-11-11 cs.SD eess.AS
A Tutorial on Deep Learning for Music Information Retrieval
在计算机视觉和其他领域取得成功之后,深度学习技术最近被广泛应用于音乐信息检索(MIR)研究。然而,大多数作品旨在采用和评估已被证明在其他领域有效的方法,同时仍然非常需要更多的原创性研究,主要集中在音乐上,并利用音乐知识和见解。本文的目标是通过提供全面的教程和减少进入MIR深度学习的障碍来提高初学者的兴趣。我们列出了基本原则,并回顾了这一难以驾驭的领域的杰出作品。然后,我们概述了已成功的MIR问题的网络结构,并方便选择的积木手头的问题。最后,讨论了深度学习中的新任务和一些高级主题的指导方针,以激发这一迷人领域的新研究。
2018-05-03 cs.CV cs.SD
Multi-Modal Music Information Retrieval: Augmenting Audio-Analysis with Visual Computing for Improved Music Video Analysis
Vienna University of Technology(维也纳技术大学)
本论文将音频分析与计算机视觉相结合,从多模态的角度研究音乐信息检索(MIR)任务。本论文的重点是音乐视频的视觉层所提供的信息,以及如何利用它来增强和改进MIR研究领域的任务。这项工作的主要假设是基于这样一种观察,即某些表达类别,如体裁或主题,可以在视觉内容的基础上单独识别,而不需要听到声音。这导致了一个假设,即存在一种用于表达情绪或体裁的视觉语言。在进一步的结果中,可以得出结论,该视觉信息是音乐相关的,并且因此应该有益于对应的MIR任务,诸如音乐流派分类或情绪识别。本文针对视觉信息的提取及其在不同任务中的应用进行了一系列的综合实验和评价。创建自定义数据集,其适合于开发和测试能够表示音乐相关信息的视觉特征。评估范围从低级视觉特征到通过深度卷积神经网络检索的高级概念。此外,引入了新的视觉功能,捕捉有节奏的视觉模式。在所有这些实验中,基于音频的结果作为视觉和视听方法的基准。本实验针对三个MIR任务艺术家识别、音乐体裁分类和跨体裁分类进行。实验表明,利用视觉概念检测获得的高级语义信息的视听方法,优于纯音频类型分类准确率16.43%。
2020-02-01 cs.CV cs.IR cs.MM
Invariances and Data Augmentation for Supervised Music Transcription
University of Washington(华盛顿大学);Amazon(亚马逊)
本文探讨了基于帧的音乐转录的各种模型,重点是在人类录音上达到最先进水平所需的方法。本文讨论的不变性网络将传统滤波器组与卷积神经网络相结合,是2017年MIREX多基频估计评估中表现最好的模型。这类模型在对数频率域中共享参数,这利用了音乐的频率不变性来减少模型参数的数量并避免对训练数据的过拟合。本文中的所有模型都是通过来自MusicNet数据集的标记数据进行监督训练的,并通过随机标签保持音高转换进行增强。
2017-11-13 cs.LG cs.SD eess.AS
A Music Information Retrieval Approach to Classify Sub-Genres in Role Playing Games
本文提出了一种基于音乐特征分析的方法,用于角色扮演游戏子类型分类。
2026-01-05 cs.IR cs.SD
Supervised Symbolic Music Style Translation Using Synthetic Data
Télécom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎综合理工学院)
对风格转移和领域翻译的研究已经清楚地证明了基于深度学习的算法在艺术风格方面操纵图像的能力。最近,已经进行了几次尝试来将这种方法扩展到音乐(符号和音频两者),以便能够以类似的方式转换音乐风格。在这项研究中,我们专注于象征性音乐,目的是改变作品的“风格”,同时保持其原有的“内容”。与目前的方法相反,由于缺乏“对齐”数据(即以多种风格演奏的同一音乐作品),这些方法本质上被限制为无监督的,我们为此任务开发了第一个完全监督的算法。我们的方法的核心在于一个合成数据生成方案,它允许我们产生几乎无限数量的对齐数据,从而避免了上述问题。鉴于这种数据生成方案,我们提出了一种编码器-解码器模型,用于在许多不同风格之间翻译符号音乐符号。我们的实验表明,尽管我们的模型完全基于合成数据进行训练,但即使对于真实的(非合成的)录音,也能够产生具有音乐意义的声音。
2019-07-04 cs.LG cs.SD eess.AS
The Spheres Dataset: Multitrack Orchestral Recordings for Music Source Separation and Information Retrieval
Universidad de Jaén(耶鲁大学);Odratek BV(Odratek公司);Tampere University(塔尔库大学)
Spheres数据集包含交响乐录音,用于推动音乐源分离和相关MIR任务的研究,包含经典音乐领域的作品及乐器独奏片段,提供隔离音轨和房间脉冲响应,用于评估源分离模型性能。
2026-05-14 cs.LG cs.SD eess.AS
How Far Can Pretrained LLMs Go in Symbolic Music? Controlled Comparisons of Supervised and Preference-based Adaptation
Johannes Kepler University Linz(约翰·凯pler大学林茨)
本文探讨了预训练大语言模型在符号音乐生成与理解中的适应效果,通过对比监督学习与偏好导向适应方法,分析了领域适应与保留先验信息的权衡及指标行为差异。
2026-01-30 cs.AI cs.SD
CCMusic: An Open and Diverse Database for Chinese Music Information Retrieval Research
China Conservatory of Music(中国音乐学院)
本文提出CCMusic,一个开放多样的中文音乐信息检索数据库,整合多数据集并统一清洗标注,提供支持分类与检测的基准评估框架,托管于HuggingFace和ModelScope。
2025-03-24 cs.IR cs.SD
Using perceptually defined music features in music information retrieval
KTH Royal Institute of Technology(瑞典皇家理工学院);Hanover University of Music, Drama and Media(汉诺威音乐、戏剧与媒体大学)
在这项研究中,感性特征的概念被引入描述一般的音乐属性的基础上人类的感知。这是重新思考特征概念的一种尝试,以理解潜在的人类感知机制。而不是使用音乐理论的概念,如音调,音高和和弦,一组九个功能描述的音乐的整体属性被选中。他们是从心理学研究中使用的定性指标中选择的,并从生态学的角度出发。在两个听力实验中,使用两个不同的数据集所选择的感知功能进行了评级。它们是从符号(symbolic)和音频数据使用不同的计算功能集建模的。情绪表达的评级预测使用的感知功能。结果表明:(1)至少部分感知特征是可靠的估计;(2)情感评级可以通过感知特征的小组合来预测,其解释方差高达90%;(3)感知特征只能在有限的程度上使用现有的音频特征来建模。结果还清楚地表明,少量的专用功能优于使用大量通用音频功能的“蛮力”模型。
2014-03-31 cs.IR cs.SD
Helping Music Co-Creation Agents 'Listen' Well: Hierarchical Self-Supervised World Models for Understanding and Generation
Belmont University(贝尔蒙特大学)
本研究提出分层自监督世界模型,通过Swin V2编码器与条件流匹配模型构建协同音乐创作智能体,提升了和弦与调式检测准确率,可快速生成音乐建议并支持交互演示。
2026-08-06 cs.LG cs.SD eess.AS
An Open Research Dataset of the 1932 Cairo Congress of Arab Music
Zayed University(扎耶德大学)
本研究发布源自1932年开罗阿拉伯音乐大会录音的开放数据集ORD-CC32,含标注元数据与声学特征,可支撑阿拉伯音乐计算分析及跨学科文化遗产研究。
2025-06-17 cs.DL cs.SD eess.AS
Self-Supervised Hierarchical Metrical Structure Modeling
NYU Shanghai(上海纽约大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
我们提出了一种新的方法来模拟分层韵律结构的符号音乐和音频信号在一个自我监督的方式与最小的领域知识。该模型对节拍对齐的音乐信号进行训练和推理,并预测从节拍、小节到小节级别的8层分层韵律树。训练过程不需要任何层次的韵律标记,除了节拍,纯粹依靠韵律规律性和声音间一致性的本质作为归纳偏差。我们在实验中表明,该方法在符号音乐和音频信号的多个韵律结构分析任务上实现了与监督基线相当的性能。所有演示、源代码和预训练模型都可以在GitHub上公开获得。
2023-01-25 cs.LG cs.SD eess.AS
Codified audio language modeling learns useful representations for music information retrieval
Stanford University(斯坦福大学)
我们证明了语言模型在编码(离散编码)的音乐音频学习表示上进行了预训练,这对下游MIR任务很有用。具体来说,我们探索了Juventure(Dhariwal et al. 2020)的表示:一个音乐生成系统,包含一个语言模型,它是在100万首歌曲的编码音频上训练的。为了确定Juan的表示是否包含MIR的有用信息,我们使用它们作为输入功能,在几个MIR任务上训练浅模型。相对于传统的MIR模型,这些模型是预先训练的标记,我们发现,使用来自Jupiter的表示作为输入特征,在四个MIR任务中平均产生30%的性能增强:标记,流派分类,情感识别和关键检测。对于关键检测,我们观察到来自Juventure的表示比来自标记预训练的模型的表示要强得多,这表明通过编码的音频语言建模进行预训练可以解决传统方法中的盲点。我们解释的力量Jujanos的陈述证据,建模音频,而不是标签提供了更丰富的表示MIR。
2021-07-12 cs.IR cs.LG cs.MM
CoLLAP: Contrastive Long-form Language-Audio Pretraining with Musical Temporal Structure Augmentation
UC San Diego(加利福尼亚大学圣地亚哥分校);UC Los Angeles(加利福尼亚大学洛杉矶分校)
CoLLAP提出一种对比式长音频-语言预训练方法,通过音乐时间结构增强和注意力融合机制扩展音频与文本的感知窗口,并在长音频音乐文本检索及下游音乐信息检索任务中取得一致性能提升。
2024-10-03 cs.AI cs.SD eess.AS
Analyzing and reducing the synthetic-to-real transfer gap in Music Information Retrieval: the task of automatic drum transcription
Umeå university(于默奥大学);Universidad EAFIT(EAFIT大学)
本文研究自动鼓点转录中合成到真实的迁移差距问题,提出并评估了三种提高合成数据真实性的策略,构建了新数据集并验证其能有效降低迁移差距,同时揭示了无限数据训练的局限性及克服方法。
2024-07-29 cs.IR cs.LG cs.SD
Self-Supervised Beat Tracking in Musical Signals with Polyphonic Contrastive Learning
Deezer Research(Deezer研究院);CNRS(法国国家科学研究中心);Télécom ParisTech(巴黎高等电信学院);École Normale Supérieure Paris-Saclay(巴黎-萨克雷高等师范学院)
提出基于 Spleeter 源分离的复调对比学习自监督预训练任务,用于节拍与强拍跟踪,在极少样本下优于随机初始化。
2023-07-16 cs.LG cs.SD eess.AS
On the Effectiveness of Speech Self-supervised Learning for Music
Queen Mary University of London(伦敦玛丽女王大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Carnegie Mellon University(卡内基梅隆大学);University of Sheffield(谢菲尔德大学);University of Waterloo(滑铁卢大学);University of Michigan Ann Arbor(密歇根大学安娜堡分校);Dartmouth College(达特茅斯学院);New York University Shanghai(上海纽约大学);Hong Kong University of Science and Technology(香港科技大学)
本文将 data2vec1.0 与 Hubert 适配到音乐预训练,通过12个模型和13项MIR任务验证音乐数据可提升性能,并指出语音范式在复调建模上的局限。
2023-07-11 cs.AI cs.LG cs.SD
Frequency-Aware Self-Supervised Music Representation Learning
Spellbrush;Acoustic Lab, Department of Information and Communications Engineering (DICE), Aalto University(阿尔托大学信息与通信工程系声学实验室);School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院)
提出PupuJEPA,一种直接在2D频谱图上训练的视觉联合嵌入预测架构,通过预测掩码补丁的潜在嵌入学习鲁棒表示,在MARBLE基准上线性探测优于1D序列SSL模型。
2026-09-10 cs.SD
Music4All A+A: A Multimodal Dataset for Music Information Retrieval Tasks
Johannes Kepler University Linz(约翰内斯·开普勒大学林茨);Human-centered AI Group, AI Lab, Linz Institute of Technology(以人为本的人工智能小组、人工智能实验室、林茨技术研究所)
本文提出基于艺术家和专辑粒度的多模态MIR数据集Music4All A+A,覆盖6,741位艺术家和19,511张专辑,并通过流派分类实验证明图像信息更丰富且现有多模态模型跨领域泛化困难。
2025-09-18 cs.IR cs.MM cs.SD
Semi-Supervised Convolutive NMF for Automatic Piano Transcription
INSA-Lyon(里昂国立应用科学学院);UCBL(里昂第一大学);Univ Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);INSA Rennes(雷恩国立应用科学学院);UJM-Saint Etienne(圣艾蒂安大学);Inserm(法国国家健康与医学研究院)
自动音乐转录是将音乐表演的音频记录转换为符号格式,它仍然是一项困难的音乐信息检索任务。在这项工作中,重点是钢琴转录,我们提出了一个半监督的方法,使用低秩矩阵分解技术,特别是卷积非负矩阵分解。在半监督设置中,只需要对每个音符进行单次记录。我们在MAPS数据集上表明,所提出的半监督CNMF方法的性能优于最先进的低秩因子分解技术,略差于监督深度学习最先进的方法,但存在泛化问题。
2022-04-14 cs.LG cs.SD eess.AS
Emergent musical properties of a transformer under contrastive self-supervised learning
本文挑战了对比自监督学习在MIR局部任务上表现不足的假设,通过NT-Xent训练ViT-1D模型,发现其序列标记能涌现出丰富的音乐特性,在局部和全局任务中均表现优异,推进了对Transformer的音乐解释。
2025-06-30 cs.IR cs.LG cs.SD
JEPOO: Highly Accurate Joint Estimation of Pitch, Onset and Offset for Music Information Retrieval
School of Information, Renmin University of China(中国人民大学信息学院);Tsinghua University(清华大学)
提出高精度联合估计方法 JEPOO,通过新模型设计与 Pareto 调制损失优化技术,首次统一处理单音高与多音高数据,在多项真实数据集上显著超越现有方法。
2023-07-07 cs.IR cs.MM cs.SD
Deep Learning-Based Automatic Downbeat Tracking: A Brief Review
Sichuan University(四川大学)
音乐作为一种重要的多媒体形式,几乎已经充斥了每个人的生活。音乐的自动分析是满足人们对音乐检索和音乐推荐需求的重要一步。其中,强拍跟踪一直是音乐信息检索领域的一个基本而又持续的研究课题。尽管做出了重大的研究努力,但下拍跟踪仍然是一个挑战。以前的研究要么专注于特征工程(通过信号处理提取某些特征,这是半自动的解决方案);要么有一些局限性:它们只能在有限的时间签名和节奏范围内对音乐录音进行建模。近年来,深度学习已经超越传统的机器学习方法,成为特征学习的主要算法,传统方法与深度学习方法的结合也取得了更好的性能。本文首先介绍了下拍跟踪问题的背景知识。然后,我们详细讨论了以下主题:系统架构,特征提取,深度神经网络算法,数据集和评估策略。此外,我们看看从年度基准评估的结果-音乐信息检索评估交换(MIREX)-以及在软件实现的发展。虽然在自动强拍跟踪领域已经取得了很大的成就,但仍然存在一些问题。我们指出了这些问题,并得出结论,为未来的研究可能的方向和挑战。
2019-06-10 cs.IR cs.SD eess.AS
Motif-Centric Representation Learning for Symbolic Music
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Carnegie Mellon University(卡内基梅隆大学);NYU Shanghai(上海纽约大学)
本文提出基于孪生网络与预训练-微调流程的主题中心表示学习方法,结合VICReg和对比学习学习音乐主题与变体间的隐式关系,在检索任务上提升12.6%,为自动作曲和音乐信息检索奠定基础。
2023-09-19 cs.LG cs.SD eess.AS
Taste-aware music retrieval from audio embeddings
将基于内容的音乐信息检索基准形式化,通过共享多任务回归头比较四个HEAR家族的十个音频编码器,采用门控后期融合,计算绝对误差和等级相关性以评估模型有效性,预测味觉空间效果优于基线。
2026-07-07 cs.IR cs.LG cs.MM