Pre-Training Strategies Using Contrastive Learning and Playlist Information for Music Classification and Similarity
Utopia Music(乌托邦音乐公司);Music Technology Group, Universitat Pompeu Fabra(庞培法布拉大学音乐技术组)
本文提出利用播放列表共现信息结合对比学习进行音乐表征预训练,通过三种锚点-正例对构造策略,提升了音乐相似度及流派、情绪、乐器多标签分类性能。
2023-04-24 cs.SD eess.AS
Learning Separated Representations for Instrument-based Music Similarity
Graduate School of Informatics, Nagoya University(信息学研究生院,名古屋大学);Information Technology Center, Nagoya University(信息技术中心,名古屋大学)
本文提出用单一网络处理混合信号,通过条件相似度网络在共享嵌入空间中为各乐器构建分离子空间,以提升基于乐器声部的音乐相似度学习效果。
2025-07-17 cs.SD eess.AS
Learning Multidimensional Disentangled Representations of Instrumental Sounds for Musical Similarity Assessment
Nagoya University(名古屋大学)
本文提出单网络混合声音输入与条件相似性网络的解耦嵌入方法,实现按乐器维度评估音乐相似性,并验证其表示准确性、乐器特性保持能力及人类认可度。
2024-04-10 cs.SD eess.AS
Optimal Embedding Calibration for Symbolic Music Similarity
Central Conservatory of Music(中央音乐学院);Tsinghua University(清华大学)
在自然语言处理(NLP)中,语义相似性任务需要大规模、高质量的人工标注标签进行微调或评估。相比之下,在音乐相似性的情况下,这样的标签是昂贵的收集和很大程度上取决于注释者的艺术偏好。最近的研究表明,嵌入校准技术可以大大提高预训练的语言模型的语义相似度性能,而无需微调。然而,目前还不知道哪种校准方法是最好的,以及可以实现多大的性能改进。为了解决这些问题,我们建议使用作曲家的信息来构建标签自动评估音乐相似性。在这种模式下,我们发现嵌入校准的最佳组合,实现优于基线方法的指标。
2021-09-09 cs.CL cs.SD eess.AS
Disentangled Multidimensional Metric Learning for Music Similarity
Adobe Research(Adobe 研究院)
音乐相似性搜索对于各种创造性任务非常有用,例如将一个音乐录音替换为具有类似“感觉”的另一个录音,这是视频编辑中的常见任务。对于此任务,通常需要定义相似性度量以将一个记录与另一个记录进行比较。然而,音乐相似性很难定义,并且依赖于多个同时存在的相似性概念(即流派,情绪,乐器,节奏)。虽然以前的工作忽略了这个问题,我们拥抱这个想法,并引入多维相似性的概念,并统一到一个单一的,语义解开多维相似性度量的全球和专门的相似性度量。为此,我们将一种称为条件相似性网络的深度度量学习变体应用于音频域,并使用基于音轨的信息对其进行扩展,以控制我们模型的特异性。我们评估我们的方法,并表明我们的单一,多维模型优于专业的相似性空间和替代基线。我们还进行了一项用户研究,表明我们的方法也受到人类注释者的青睐。
2020-08-12 cs.LG cs.SD eess.AS
Content-based Music Similarity with Triplet Networks
Ithaca College(伊萨卡学院);Cornell University(康奈尔大学)
我们探讨了使用三元组神经网络嵌入基于内容的音乐相似性的歌曲的可行性。我们的网络使用三首歌曲进行训练,使得同一艺术家的两首歌曲比不同艺术家的第三首歌曲更接近彼此。我们比较了两个模型,它们是使用不同的方式来挑选第三首歌的:随机与基于共享的流派标签。我们的实验是使用免费音乐档案中的歌曲进行的,并使用标准的音频功能。初步结果表明,浅层暹罗网络可以用于嵌入音乐的一个简单的艺术家检索任务。
2022-12-07 cs.LG cs.SD eess.AS
Knowledge-based Multimodal Music Similarity
University of Bologna(博洛尼亚大学)
本研究提出一种结合符号与音频内容的可解释音乐相似性系统,以克服现有方法依赖符号内容或缺乏解释性的局限,增强用户对相似性判断的理解与控制。
2023-06-21 cs.AI cs.IR cs.LG
Similarity-Guided Diffusion for Long-Gap Music Inpainting
Acoustics Lab, Dept. Information(信息学院声学实验室);Communications Engineering, Aalto University, Espoo, Finland(通讯工程,阿alto大学,埃斯波,芬兰)
本文提出SimDPS方法,将相似性搜索与扩散后验采样结合,通过检索上下文相似的候选片段引导扩散过程,有效提升了长时隙音乐修复的感知合理性。
2025-09-19 cs.LG cs.SD eess.AS
Cutting Music Source Separation Some Slakh: A Dataset to Study the Impact of Training Data Quality and Quantity
MERL(三菱电机研究实验室)
近年来,随着基于深度学习的方法的出现,音乐声源分离性能得到了极大的改善。这样的方法通常需要大量的标记的训练数据,在音乐的情况下,这些训练数据由混合物和相应的乐器干组成。然而,大多数商业音乐都无法获得茎,到目前为止,只有有限的数据集向公众发布。因此,当比较各种声源分离方法时,很难得出结论,因为性能上的差异可能源于更好的数据增强技术或训练技巧,以缓解训练数据的有限可用性,以及内在更好的模型架构和目标函数。在本文中,我们提出了合成的Lakh数据集(Slakh)作为一个新的工具,音乐声源分离的研究。Slakh由高质量的仪器混合物渲染和使用专业级基于样本的虚拟仪器从Lakh数据集(LMD)生成的相应茎组成。第一个版本,Slakh 2100,专注于2100首歌曲,导致145小时的混合。虽然由于其纯粹是工具性的,因此不完全具有可比性,但该数据集包含的数据比MUSDB 18多一个数量级,MUSDB 18是该领域的{ \it de facto}标准数据集。我们表明,Slakh可用于有效地增强现有的乐器分离数据集,同时为各种数据密集型音乐信号分析任务打开大门。
2019-09-18 cs.LG cs.SD eess.AS
Self-Similarity-Based and Novelty-based loss for music structure analysis
LTCI, Télécom-Paris, Institut Polytechnique de Paris(LTCI、巴黎电信学院、巴黎理工学院)
本文提出一种监督式音乐边界检测方法,联合优化基于自相似性矩阵的SSM损失和基于新颖性分数的新颖性损失,同时学习特征与卷积核,并利用自注意力进行相对特征学习,在RWC-Pop和SALAMI数据集上验证了其有效性。
2023-09-05 cs.LG cs.SD eess.AS
CrossMuSim: A Cross-Modal Framework for Music Similarity Retrieval with LLM-Powered Text Description Sourcing and Mining
Audio Lab Hong Kong, Hong Kong Research Center, Huawei Technologies, Hong Kong SAR(香港音频实验室、香港研究中心、华为技术有限公司、香港特别行政区);Music Technology Group, Universitat Pompeu Fabra, Barcelona, Spain(音乐技术组、庞培法华大学、巴塞罗那西班牙);Munich Research Center, Huawei Technologies, Munich, Germany(慕尼黑研究中心、华为技术有限公司、慕尼黑德国)
本文提出跨模态对比学习框架CrossMuSim,利用LLM生成文本描述指导音乐相似性建模,并通过双源数据获取解决配对数据稀缺问题,在华为音乐平台验证了性能提升。
2025-05-23 cs.AI cs.SD eess.AS
Training a Perceptual Model for Evaluating Auditory Similarity in Music Adversarial Attack
Xi’an Jiaotong-Liverpool University(西安交通大学利物浦大学)
针对MIR系统易受人类无法察觉的对抗攻击且现有感知指标与人类判断相关性低的问题,提出基于心理声学条件序列对比变换器的PAMT框架,提升了感知对齐度和对抗攻击下的鲁棒准确率。
2025-09-05 cs.SD eess.AS
JVS-MuSiC: Japanese multispeaker singing-voice corpus
Graduate School of Information Science and Technology, The University of Tokyo(东京大学信息科学与技术研究生院)
由于机器学习技术的发展,合成单个歌手的高质量歌声已经成为可能。开放的多说话人歌唱语音语料库将进一步促进歌唱语音合成的研究。然而,传统的歌唱声音语料库只包括单个歌手的歌唱声音。我们设计了一个日本多说话人唱歌的声音语料库称为“JVS-MuSiC”的目的是分析和合成各种声音。该语料库由100名歌手录制的同一首歌曲Katatsumuri组成,这是一首日本儿童歌曲。它还包括另一首歌,这是不同的每个歌手。在本文中,我们描述了语料库的设计和实验分析使用JVS-MuSiC。本文探讨了歌唱声音的相似性与合唱声音知觉统一性的关系以及歌唱声音与语音相似性的关系。结果表明:(1)歌唱声相似度与一致性之间存在中等程度的正相关;(2)歌唱声相似度与语音相似度之间的相关性较弱。该语料库可在网上免费获取。
2020-01-20 cs.SD eess.AS
A Long-Tail Friendly Representation Framework for Artist and Music Similarity
ByteDance(字节跳动)
本文提出长尾友好表示框架(LTFRF),通过统一度量学习与多关系损失建模相似性,显著提升了长尾场景下艺术家与音乐表示及推荐性能。
2023-09-08 cs.IR cs.SD eess.AS
MelodySim: Measuring Melody-aware Music Similarity for Plagiarism Detection
Singapore University of Technology and Design(新加坡科技设计大学);Otto von Guericke University(奥托·冯·格里克大学)
本文提出面向音乐抄袭检测的旋律感知相似度模型与数据集MelodySim,通过增强Slakh2100构建旋律保留的变体数据集,结合MERT编码器与三元组网络实现分段相似度检测,性能优于基线模型。
2025-11-19 cs.AI cs.SD eess.AS
Textless Speech-to-Music Retrieval Using Emotion Similarity
KAIST(韩国科学技术院);ByteDance(字节跳动);Gaudio Lab(Gaudio实验室)
我们介绍了一个框架,建议基于语音的情感音乐。在内容创作和日常生活中,语音包含了人类情感的信息,音乐可以增强这些信息。我们的框架侧重于跨域检索系统,通过情感标签弥合语音和音乐之间的差距。我们探索不同的语音表征,并报告其对不同语音类型的影响,包括代理语音和唤醒词。我们还提出了一个跨领域检索任务中的情感相似性正则化项。通过将正则化项纳入训练,情感空间中的相似语音和音乐对在联合嵌入空间中更接近。综合实验结果表明,该模型在无文本语音到音乐检索中是有效的。
2023-03-19 cs.IR cs.MM cs.SD
Generating Music with Structure Using Self-Similarity as Attention
针对音乐生成长期与重复结构的挑战,提出一种基于用户提供的自相似矩阵的注意力层,并在SING系统中结合LSTM实现,显著提升了模型复制特定结构的能力及在未见测试集上的表现。
2024-06-25 cs.LG cs.SD eess.AS
Musical Audio Similarity with Self-supervised Convolutional Neural Networks
Epidemic Sound(流行病声音公司)
我们已经建立了一个音乐相似性搜索引擎,让视频制作人搜索的音乐摘录,作为传统的全文搜索的补充。我们的系统通过训练具有三重损失项和音乐变换的自监督卷积神经网络,在大型音乐目录中建议类似的发声轨道段。半结构化的用户访谈表明,我们可以成功地打动专业视频制作人的搜索体验的质量,并在用户测试中的查询轨道平均7.8/10感知相似性。我们相信这个搜索工具将提供更自然的搜索体验,更容易找到音乐和配乐视频。
2022-02-04 cs.IR cs.LG cs.MM
SSM-Net: feature learning for Music Structure Analysis using a Self-Similarity-Matrix based loss
LTCI, Télécom-Paris, IP-Paris(巴黎理工学院巴黎电信学院通信与信息处理实验室)
在本文中,我们提出了一个新的范式来学习音频特征的音乐结构分析(MSA)。我们训练深度编码器来学习特征,使得从这些特征产生的自相似矩阵(SSM)近似于地面真实SSM。这是通过最小化两个SSM之间的损耗来实现的。因为这个损失是可微的w.r.t.它的输入特性,我们可以用简单的方法训练编码器。我们使用RWC-Pop数据集上的曲线下面积ROC(AUC)成功地证明了这种训练范式的使用。
2022-11-15 cs.LG cs.SD eess.AS
Inter Genre Similarity Modelling For Automatic Music Genre Classification
The University of Nottingham(诺丁汉大学);Koç University(科奇大学)
音乐类型分类是音乐信息检索系统的重要工具,在各种媒体平台上得到了广泛的应用。音乐类型自动分类的两个重要问题是特征提取和分类器设计。本文研究了体裁间相似性建模(IGS),以提高性能的自动音乐体裁分类。跨流派的相似性信息被提取的错误分类的特征人口。一旦体裁间相似性被建模,消除体裁间相似性减少体裁间混淆,提高识别率。通过迭代IGS建模(IIGS)和IGS消除评分建模(SMIGS)进一步改进了体裁间相似性建模。实验结果与有前途的分类改进。
2009-07-18 cs.AI cs.SD stat.ML
Towards Assessing Data Replication in Music Generation with Music Similarity Metrics on Raw Audio
本文提出与模型无关的 MiRA 开放评估工具,利用多种音频相似度度量检测 AI 生成音乐对训练数据的复制,并通过受控实验验证其有效性,以推动音乐生成模型的伦理与法律合规评估。
2024-08-01 cs.AI cs.MM cs.SD
Interpretable and Perceptually-Aligned Music Similarity with Pretrained Embeddings
本研究提出了一种基于预训练嵌入和感知对齐的方法,实现可解释的音乐相似性检索,支持基于混合参考歌曲的茎级循环和样本检索。
2026-01-27 cs.SD
Computational timbre and tonal system similarity analysis of the music of Northern Myanmar-based Kachin compared to Xinjiang-based Uyghur ethnic groups
University of Hamburg(汉堡大学);Institute of Musicology(音乐学研究所)
采用音色和音高特征提取和机器学习方法,对缅北克钦族音乐与中国西部新疆维吾尔族音乐进行比较。虽然被西藏隔开,但由于克钦起源的神话以及语言上的相似性,新疆的木卡姆传统可能在克钦音乐中找到,例如,克钦语中“makan”是指音乐作品。提取是使用apollon和COMSAR(计算音乐和声音)框架进行的,人种学录音档案(ESRA)是基于这个框架,使用ESRA的人种学录音旁边的其他作品。在音高方面,使用Kohonen自组织映射(SOM)对音调系统进行了比较,该映射清晰地聚类了克钦和维吾尔音乐作品。这主要是由于新疆木卡姆音乐只出现第五和第四,而克钦乐曲往往有较高的第五和第四,其次是其他不同之处。此外,频谱质心和频谱锐度标准差的音色特征清楚地告诉维吾尔族和克钦族作品,其中维吾尔族音乐表现出更大的偏差。虽然将来会比较更多的特征,如节奏或旋律,但这些已经很强的发现可能会引入一种超越传统语言定义的民族比较方法。
2021-03-15 cs.SD eess.AS q-bio.NC
MERIT: Learning Disentangled Music Representations for Audio Similarity
MERIT: Learning Disentangled Music Representations for Audio Similarity(MERIT:学习解耦音乐表示以实现音频相似性)
针对现有音乐相似性模型将旋律、节奏和音色等维度纠缠在一起的问题,提出MERIT框架,通过条件音频生成和源分离茎的训练策略学习解耦的因子特定表示,实现各维度独立响应。
2026-05-26 cs.SD
A Dual Evaluation for Music Transcription
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
该研究针对音乐转录系统提出记谱相似度与回放相似度的双重评估框架,发现CLEWS指标相关性佳且成本低,不同评估维度偏好不同系统,新系统Rubato记谱相似度提升且回放具竞争力。
2026-08-07 cs.SD
Exploring Acoustic Similarity in Emotional Speech and Music via Self-Supervised Representations
University of Edinburgh, UK(爱丁堡大学)
本研究通过分析SSL模型在语音和音乐情感识别中的逐层行为及跨领域微调,揭示了情感语音与音乐间的声学相似性及模型情感偏差,并证明参数高效微调能提升跨域识别性能。
2025-04-30 cs.AI cs.CL cs.MM
Real-world Music Plagiarism Detection With Music Segment Transcription System
Mippia Inc.(Mippia公司)
本文提出结合多种MIR技术的音乐剽窃检测系统,通过音乐片段转录和多特征分析实现现实世界中的剽窃检测,并公开了用于音乐相似性研究的SMP数据集。
2025-09-10 cs.AI cs.SD eess.AS
A Similarity Network for Correlating Musical Structure to Military Strategy
Faculty of Science and Technology(科学与技术学院);United International College(国际大学)
本文提出一种基于MFCCs的音乐片段相关网络,用于探索音乐结构与军事战略的相似性,以促进对技术和艺术关系的理解。
2026-01-18 cs.SD
Exploring Musical Roots: Applying Audio Embeddings to Empower Influence Attribution for a Generative Music Model
Northwestern University(西北大学)
针对生成式音乐模型黑箱导致的训练数据归因不明问题,研究提出基于音频嵌入的可复现相似度识别方法,对比CLMR与CLAP在VampNet训练集上的效果并验证修改音频的影响,为自动化影响力归因奠基。
2024-01-25 cs.AI cs.SD eess.AS
Self-supervised Auxiliary Loss for Metric Learning in Music Similarity-based Retrieval and Auto-tagging
Sony Computer Science Laboratories, Inc(索尼计算机科学实验室公司);Koozyt, Inc(Koozyt公司)
本文提出一种结合自监督辅助损失的度量学习方法,用于提升音乐相似度检索与自动标注性能,并发现联合训练监督与自监督信号、微调阶段不使用数据增强更有效。
2023-04-15 cs.IR cs.LG cs.SD
Learning to rank music tracks using triplet loss
Creaminal(克里米纳尔公司)
大多数音乐流媒体服务依赖于自动推荐算法来利用其庞大的音乐目录。这些算法的目的是检索排序列表的音乐曲目的基础上,他们与目标音乐曲目的相似性。在这项工作中,我们提出了一种方法,直接推荐的基础上的音频内容,而没有明确标记的音乐曲目。为此,我们提出了几种策略,从排名列表中进行三重挖掘。我们训练一个卷积神经网络,通过三重丢失来学习相似性。这些不同的策略进行了比较,并验证了一个大规模的实验对自动标记为基础的方法。所获得的结果突出了我们系统的效率,特别是当与自动池层相关联时。
2020-05-18 cs.CV cs.IR cs.SD
Understanding Human Perception of Music Plagiarism Through a Computational Approach
本文通过计算方法研究人类感知音乐剽窃的关键标准,探讨旋律、节奏和和弦进行在音乐相似性判断中的作用。
2026-01-05 cs.IR cs.SD
Scaling and compressing melodies using geometric similarity measures
University of Seville(塞维利亚大学)
旋律相似性度量在音乐信息检索中具有重要意义。在本文中,我们使用几何匹配技术来衡量两个旋律之间的相似性。我们表示的点集或水平线段集在欧几里德平面上的音乐,并提出有效的算法优化问题的启发,在两个操作的旋律;线性缩放和音频压缩。在缩放问题中,传入的查询旋律被向前缩放,直到查询和参考旋律之间的相似性度量被最小化。压缩问题要求给定旋律的音符的子集,使得所选音符与参考旋律之间的匹配成本最小化。
2022-09-19 cs.IR cs.SD eess.AS
Barwise Music Structure Analysis with the Correlation Block-Matching Segmentation Algorithm
Univ. Rennes 1(雷恩第一大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(法国雷恩信息系统与随机过程研究所);IMT Atlantique(大西洋国立高等矿业电信学校);Lab-STICC(法国布雷斯特信息与通信科学技术实验室);CREATIS(法国里昂医学成像与信号处理研究中心);Univ Lyon(里昂大学)
本文扩展了相关性块匹配(CBM)算法,在仅需小节位置信息的条件下,通过比较三种相似度函数实现巴氏尺度的音乐结构分析,性能可与有监督最先进方法竞争。
2023-11-30 cs.IR cs.SD eess.AS
Music Recommendation Based on Audio Fingerprint
提出融合多种音频特征并经PCA降维至95%解释方差的音乐指纹方法,通过相似度矩阵进行推荐,在200首歌曲上达到89%的流派匹配准确率。
2023-10-06 cs.IR cs.SD eess.AS
Controllable Embedding Transformation for Mood-Guided Music Retrieval
SiriusXM-Pandora, USA(SiriusXM-Pandora,美国);New York University, New York, USA(纽约大学,纽约,美国)
本文提出一种可控音乐嵌入变换框架,通过情绪标签引导种子音频嵌入到目标嵌入,保留其他音乐属性,实验表明在保持流派和乐器方面优于无训练基线。
2026-10-05 cs.SD
Music Classification: Beyond Supervised Learning, Towards Real-world Applications
音乐分类是一项音乐信息检索(MIR)任务,用于将音乐项分类为诸如流派、情绪和乐器之类的标签。它还与音乐相似性和音乐偏好等其他概念密切相关。在本教程中,我们将重点放在两个方向上-最近的训练计划超越监督学习和音乐分类模型的成功应用。本书的目标读者是对最先进的音乐分类研究和构建现实世界应用程序感兴趣的研究人员和从业人员。我们假设观众熟悉基本的机器学习概念。在这本书中,我们提出了三个讲座如下:1。音乐分类概述:任务定义,应用,现有方法,数据集,2。Beyond supervised learning:Semi- and自监督学习for music classification.走向现实世界的应用:较少讨论,但在实践中的重要研究问题。
2021-12-03 cs.IR cs.SD eess.AS
Bob's Confetti: Phonetic Memorization Attacks in Music and Video Generation
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of California San Diego(加州大学圣地亚哥分校);Carnegie Mellon University(卡内基梅隆大学)
研究揭示了生成音乐和视频AI系统中语音记忆攻击的漏洞,通过同音替代词绕过版权过滤,展示语音结构对跨模态检索的关键作用。
2026-02-25 cs.AI cs.CL cs.SD
Artist Similarity with Graph Neural Networks
Pandora Media LLC.(潘多拉媒体有限责任公司)
艺术家的相似性在组织、理解和随后促进发现大量音乐收藏方面起着重要作用。在本文中,我们提出了一种混合的方法来计算艺术家之间的相似性,使用图神经网络训练与三重损失。使用图神经网络架构的新颖之处在于将艺术家连接图的拓扑结构与内容特征相结合,以将艺术家嵌入到编码相似性的向量空间中。为了评估所提出的方法,我们编译了新的OLGA数据集,其中包含来自AllMusic的艺术家相似性,以及来自AcousticBrainz的内容特征。这是迄今为止最大的包含基于内容特征的学术艺术家相似性数据集,共有17,673名艺术家。此外,我们还通过实验更大的专有数据集来展示我们方法的可扩展性。结果表明,所提出的方法优于目前国家的最先进的方法,音乐相似性。最后,我们希望OLGA数据集将促进艺术家相似性数据驱动模型的研究。
2021-07-30 cs.IR cs.LG cs.SD
Local Multimodal Music Alignment from Global Supervision
研究如何利用全局监督实现局部多模态音乐对齐,提出FuSiLi方法,通过基于Sinkhorn的软对齐操作局部特征,结合传统全局相似性微调预训练编码器,在跨模态检索和帧级对齐任务中表现出色,优于多种基线。
2026-07-27 cs.LG cs.MM cs.SD
Do we need more complex representations for structure? A comparison of note duration representation for Music Transformers
Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学);Pontifical Catholic University of Minas Gerais(米纳斯吉拉斯天主教大学)
本研究探讨了仅使用未标注MIDI信息的现成Music Transformer模型在结构相似性指标上的表现,发现对常见表示的轻微调整能带来微小但显著的改进,并指出寻找更好的未标注音乐表示比生成大量标注数据更具成本效益。
2024-10-14 cs.LG cs.SD eess.AS
Algorithmic Clustering of Music
我们提出了一个全自动的方法进行音乐分类,仅基于压缩的字符串,代表的音乐作品。该方法不使用任何关于音乐的背景知识:它是完全通用的,可以在不改变的情况下用于不同的领域,如语言分类和基因组学。它是基于一个理想的理论,在个别对象的信息内容(柯尔莫哥洛夫复杂度),信息距离,和一个普遍的相似性度量。实验表明,该方法可以很好地区分各种音乐类型,甚至可以按作曲家聚类。
2003-03-24 cs.LG cs.SD physics.data-an
Inpainting of long audio segments with similarity graphs
Swiss Data Science Center, EPFL and ETH Zürich(瑞士数据科学中心、洛桑联邦理工学院与苏黎世联邦理工学院);Acoustics Research Institute, Austrian Academy of Sciences(奥地利科学院声学研究所)
我们提出了一种新的方法,用于补偿音频信号,特别是音乐中的长时间数据丢失。这种信号缺陷的隐藏是基于一个图,该图根据时间持久的频谱相似性对信号结构进行编码。通过直观的优化方案提出用于替换丢失内容的合适的候选片段,并将其平滑地插入到间隙中,即丢失或失真的信号区域。广泛的听力测试表明,该算法提供了非常有前途的结果时,应用于各种现实世界的音乐信号。
2018-02-23 cs.AI cs.MM cs.SD
Metric Learning vs Classification for Disentangled Music Representation Learning
Graduate School of Culture Technology, KAIST(韩国科学技术院文化技术研究生院);Adobe Research(奥多比研究院)
深度表示学习为将输入数据映射到有组织的嵌入空间提供了强大的范例,并且对于许多音乐信息检索任务都很有用。表示学习的两种核心方法包括深度度量学习和分类,两者都具有相同的目标,即学习可以在任务中很好地推广的表示。随着泛化,解开表示的新兴概念也引起了极大的兴趣,其中多个语义概念(例如,体裁、情绪、乐器)是共同学习的,但在学习的表示空间中保持可分离。在本文中,我们提出了一个单一的表示学习框架,阐明了度量学习,分类,并在一个整体的方式解开之间的关系。为此,我们(1)概述了过去关于度量学习和分类之间关系的工作,(2)通过探索三种不同的学习方法及其分解版本将这种关系扩展到多标签数据,(3)评估四个任务(训练时间,相似性检索,自动标记和三重预测)的所有模型。我们发现,基于分类的模型通常在训练时间、相似性检索和自动标记方面具有优势,而深度度量学习在三元组预测方面表现出更好的性能。最后,我们表明,我们提出的方法产生的音乐自动标记的最先进的结果。
2020-08-12 cs.IR cs.LG cs.SD
Channel-Preserving Representation Alignment for EEG-to-Music Reconstruction
UC Berkeley(加州大学伯克利分校);Harvard University(哈佛大学)
针对脑电信号弱、易受噪声和通道变异影响的问题,提出通道导向设计(包括通道级标记化、多视角自蒸馏和数据增强),在编码-对齐-解码流水线中实现稳定的音乐语义空间对齐,显著提升重建性能。
2026-09-29 cs.AI cs.SD eess.AS
Graph Representation learning for Audio & Music genre Classification
Mercedes-Benz R&D India(梅赛德斯-奔驰印度研发中心)
音乐类型可以说是音乐和音频内容的最重要和最有区别性的信息之一。基于视觉表示的方法已经在用于音乐流派分类的谱图上进行了探索。然而,缺乏高质量的数据和增强技术使得很难成功地使用深度学习技术。我们讨论了图神经网络在此类任务中的应用,因为它们具有很强的归纳偏差,并表明CNN和GNN的组合能够在GTZAN和AudioSet(不平衡音乐)数据集上实现最先进的结果。我们还讨论了Siamese神经网络作为学习边缘相似性权重的GNN的类似物的作用。此外,我们还进行视觉分析,以了解我们的模型的视野到基于体裁标签的频谱图。
2019-10-23 cs.LG cs.SD stat.ML
Music Genre Classification: A Comparative Analysis of CNN and XGBoost Approaches with Mel-frequency cepstral coefficients and Mel Spectrograms
University of California, Davis(加利福尼亚大学戴维斯分校)
本研究比较了CNN、VGG16和XGBoost在30秒Mel频谱图与3秒MFCCs特征下的音乐流派分类性能,发现MFCC XGBoost模型表现最佳,且数据分割能显著提升CNN性能。
2024-01-09 cs.AI cs.SD eess.AS
A Case Study of Deep-Learned Activations via Hand-Crafted Audio Features
Pompeu Fabra University(庞培法布拉大学);European Commission - Joint Research Centre(欧盟委员会联合研究中心)
卷积神经网络(CNN)的可解释性在所有应用领域都是一项特别具有挑战性的任务,特别是在音乐和音频领域。在本文中,我们利用我们对手工制作的音频功能的知识来接近可解释性。我们的研究集中在一个定义明确的MIR任务,从用户生成的音乐录音中识别乐器。我们计算一组传统音频特征和CNN学习的表示之间的相似性。我们还提出了一种用于测量激活图和音频特征之间的相似性的技术,这些特征通常以矩阵的形式呈现,例如色度图或频谱图。我们观察到一些神经元的激活对应于众所周知的经典音频特征。特别是,对于浅层,我们发现激活和谐波和谐波分量的频谱之间的相似之处。对于更深的层,我们将色度图与高级激活图进行比较,并将响度和发病率与深度学习的嵌入进行比较。
2019-07-03 cs.LG cs.SD eess.AS
Rag Classification of Tagore Songs using Symbolic Music Notation and Novel Weighted Distance Measures
XIM University(西姆大学)
该研究针对罗宾德拉·桑吉特歌曲拉格识别难题,将其转化为监督分类问题,利用符号乐谱记谱法构建数据集,探讨多种距离度量,引入加权欧几里得距离,在k近邻框架下改进拉格分类,更好捕捉旋律特征。
2026-07-10 cs.SD
Analyzing and reducing the synthetic-to-real transfer gap in Music Information Retrieval: the task of automatic drum transcription
Umeå university(于默奥大学);Universidad EAFIT(EAFIT大学)
本文研究自动鼓点转录中合成到真实的迁移差距问题,提出并评估了三种提高合成数据真实性的策略,构建了新数据集并验证其能有效降低迁移差距,同时揭示了无限数据训练的局限性及克服方法。
2024-07-29 cs.IR cs.LG cs.SD
A Music Classification Model based on Metric Learning and Feature Extraction from MP3 Audio Files
用于从音频媒体文件学习音乐相似性和特征提取的模型的开发对于娱乐行业来说是越来越重要的任务。提出了一种基于度量学习和特征提取的MP3音频文件音乐分类模型。度量学习过程考虑采用结构化预测方法从包含若干音乐流派的MP3音频文件的集合学习参数化距离的集合。这项工作的主要目标是使学习每个客户的个性化指标成为可能。为了提取声学信息,我们使用梅尔频率倒谱系数(MFCC),并使用主成分分析进行降维。我们证明了模型的有效性,进行了一系列的实验,并比较训练和测试结果与基线算法,如K-均值和软间隔线性支持向量机(SVM)。实验表明,有希望的结果,并鼓励未来的在线版本的学习模型的发展。
2019-09-17 cs.IR cs.LG cs.SD
Project Qualia: Recovering Experiential Music Structure from Session Co-occurrence Data
DePaul University(德保罗大学);Hampton University(汉普顿大学)
Project Qualia通过分析大规模收听会话数据,训练Song2Vec模型并采用艺术家残差方法,成功从嵌入中恢复了独立于艺术家身份的体验性音乐结构,验证了该结构的可学习性。
2026-09-11 cs.IR cs.LG cs.SD