Deep Clustering and Conventional Networks for Music Separation: Stronger Together
Columbia University(哥伦比亚大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
深度聚类是处理具有相同类型的多个源和任意数量的源的一般音频分离场景的第一种方法,在与说话者无关的语音分离任务中表现出色。然而,很少有人知道它在其他具有挑战性的情况下,如音乐源分离的有效性。与直接估计源信号的传统网络相反,深度聚类为每个时频bin生成嵌入,并通过对嵌入空间中的bin进行聚类来分离源。我们发现,在匹配和不匹配的条件下,深度聚类在歌声分离任务上的表现优于传统网络,尽管传统网络具有端到端训练的优势,可以获得最佳信号近似,这可能是因为其更灵活的目标可以产生更好的正则化。由于深度聚类和传统网络架构的优势似乎是互补的,因此我们探索将它们结合在一个通过类似于多任务学习的方法训练的混合网络中。值得注意的是,该组合的表现明显优于其任何一个组成部分。
2017-06-15 cs.LG cs.SD stat.ML
Pac-HuBERT: Self-Supervised Music Source Separation via Primitive Auditory Clustering and Hidden-Unit BERT
MERL(三菱电机研究实验室)
本文提出自监督框架Pac-HuBERT,利用无标签音乐数据的原始听觉特征进行预训练,结合Res-U-Net解码器,在数据有限时显著提升了音乐源分离的SDR性能。
2023-04-04 cs.LG cs.SD eess.AS
Polyphonic Music Composition with LSTM Neural Networks and Reinforcement Learning
Indian Institute of Technology, Madras(印度理工学院马德拉斯分校)
在算法音乐作曲领域,机器学习驱动的系统消除了对精心手工制作作曲规则的需要。特别是,循环神经网络学习复杂时间模式的能力很适合音乐领域。在最近使用深度RNN进行音乐作曲的一些尝试中,已经观察到了有希望的结果。这些方法通常旨在首先训练神经网络以再现从现有歌曲中提取的连续性。随后,它们被用于在音频样本级或音符级上作曲。我们设计了一种将复调音乐分成少量单声道流的表示法。这种表示法大大降低了问题的复杂性,并消除了指数数量的可能较差的组合物。在我们的LSTM神经网络学习这种表示的音乐序列的基础上,我们构建了一个RL代理,它学习寻找歌曲的组合,这些组合的联合优势产生了令人愉快的作品。我们介绍Amadeus,一个算法音乐作曲系统,它可以创作由复杂的旋律,基本和弦,甚至偶尔对位序列组成的音乐。
2019-03-03 cs.LG cs.SD eess.AS
Towards a Deep Improviser: a prototype deep learning post-tonal free music generator
MARCS Institute for Brain, Behaviour and Development, Western Sydney University(西悉尼大学MARCS脑、行为与发展研究所);austraLYSIS;Department of Computing, Goldsmiths, University of London(伦敦大学金史密斯学院计算机系)
两个中等规模的符号语料库后音调和后公制键盘音乐已经建成,一个算法,其他即兴。每一个的深度学习模型都经过了训练,并在很大程度上得到了优化。我们的目的是获得一个模型,具有足够的泛化能力,在响应少量的单独的新鲜输入种子材料,它可以产生的输出是独特的,而不是再生的学习语料库或种子材料。这一目标已首先进行了统计评估,并通过k样本Anderson-Darling和Cramer检验判断,已经实现。音乐是使用这种方法生成的,非正式的判断将其与相关形式的算法音乐和作曲音乐大致等同。未来的工作将致力于增强该模型,使其可以在实时性能的表达,意义和效用方面进行评估。
2017-12-21 cs.LG cs.SD eess.AS
From Human Narrative to Harmonic Structure: A Human-Centered Investigation of Algorithmic Music Generation through the Chord Wheel Diagram
Faculty of Information Technology, CTU(捷克技术大学信息技术学院);University of South Bohemia in České Budějovice(捷克布杰约维采南波希米亚大学)
本研究通过比较人类作曲家与算法对六首歌曲的和声处理,揭示高旋律-和弦兼容性不保证保留人类和声决策模式,并提出叙事条件化结构作为计算音乐分析的新视角。
2026-09-29 cs.AI cs.SD
UT-AISTimprt submission for ICME 2026 Grand Challenge on Academic Text-to-Music Generation
UT-AIST
本研究针对低数据和小模型设置下的文本到音乐生成,提出基于文本或音频嵌入的聚类批量采样策略,分析模态和聚类粒度的影响,发现文本嵌入聚类在客观指标上更优,中等聚类数在客观指标最佳而大聚类数在听觉测试中结构更连贯。
2026-07-03 cs.SD
Techniques for Quantum-Computing-Aided Algorithmic Composition: Experiments in Rhythm, Timbre, Harmony, and Space
University of California, Irvine(加州大学尔湾分校);Centre for Interdisciplinary Studies (CEIS20), University of Coimbra(科英布拉大学跨学科研究中心)
本文探索量子计算在算法作曲中的应用,通过量子模拟、粒子追踪、基态旋转和测量误差等技术,控制音乐节奏、音色、和声与空间属性,并提供了算法、软件及示例。
2025-05-26 cs.ET cs.SD eess.AS
Live music programming in Haskell
我们的目标是以与多个参与者互动的方式创作算法音乐。为此,我们已经开发了一个解释器的子语言的非严格函数程序设计语言Haskell,允许修改程序在其执行过程中。我们的系统既可用于音乐现场编码,也可用于函数式编程的演示和教育。
2013-03-22 cs.PL cs.SD
Unsupervised Incremental Learning and Prediction of Music Signals
University of Sheffield(谢菲尔德大学);Aalborg Universitet København(奥尔堡大学哥本哈根校区);Universitat Pompeu Fabra(庞培法布拉大学);Berlin Institute of Technology(柏林工业大学)
提出了一种系统,其以无监督的方式对音乐音频进行分段、聚类和预测,从而针对音频输入瞬时地调整(音色)聚类的数量。序列学习算法使其结构适应动态变化的聚类树。系统流程如下:1)通过起始点检测进行分段,2)通过Mel频率倒谱系数表示每个分段的音色,3)通过增量聚类进行离散化,产生不同声音类别的树(例如,乐器),其可以在由瞬时声音事件驱动的飞行中增长或收缩,导致离散符号序列,4)使用分层N-gram和新引入的概念Boltzmann机来提取符号序列的统计特征,以及5)预测序列中的下一个声音事件。该系统的鲁棒性进行评估相对于信号的复杂性和噪声。孤立的聚类产生一个调整后的兰德指数(ARI)为82.7% / 85.7%的数据集的歌声和鼓。发作检测与聚类联合实现了81.3% / 76.3%的ARI,整个系统的预测产生了27.2% /39.2%的ARI。
2015-10-23 cs.IR cs.LG cs.SD
GANs & Reels: Creating Irish Music using a Generative Adversarial Network
Memorial University of Newfoundland(纽芬兰纪念大学);University of Waterloo(滑铁卢大学)
在本文中,我们提出了一种算法的旋律生成方法,使用生成对抗网络没有经常性的组件。音乐生成已经成功地使用递归神经网络完成,其中模型学习序列信息,可以帮助创建真实的声音旋律。在这里,我们使用具有扩张卷积和塔的DC-GAN架构来捕获序列信息作为空间图像信息,并学习固定长度旋律形式(如爱尔兰传统卷轴)的长程依赖关系。
2020-10-29 cs.LG cs.SD eess.AS
Complexity, time and music
Université Libre de Bruxelles(布鲁塞尔自由大学)
本文根据G. J. Chaitin和A. N.柯尔莫哥洛夫是重新审视音乐的动态复杂性。当音乐作品以音高变化的时间序列的形式被铸造时,动力系统理论的概念可以用于定义新的量,诸如作为音乐作品的{\em全局时间动力学}的度量的{\em维数},以及作为其{ \em局部动力学}的评估的Shanon { \em熵}。当这些数量是明确计算的序列采样的音乐文学从18世纪到20世纪,没有迹象表明系统的复杂性增加平行于历史上的西方古典音乐的演变,但分析表明,分数性质的艺术可能有一个内在的价值更普遍的意义。
2009-03-20 cs.SD physics.data-an physics.soc-ph
Disambiguating Music Artists at Scale with Audio Metric Learning
Deezer(迪泽)
我们解决的问题,通过定义一个未知的艺术家聚类任务的大规模目录消歧。我们探索使用度量学习技术直接从音频中学习艺术家嵌入,并使用专用的同音艺术家数据集,将我们的方法与最近使用艺术家分类器学习类似嵌入的方法进行比较。虽然这两个系统都有能力消除歧义的未知艺术家完全依赖于音频,我们表明,我们的系统是更合适的情况下,当足够的音频数据可用于每个艺术家的训练数据集。我们还提出了一种新的负采样方法的度量学习,利用边信息,如音乐流派在学习阶段,并显示出有前途的结果,艺术家聚类任务。
2018-10-03 cs.AI cs.IR cs.LG
Classical Music Composition Using State Space Models
Duke University(杜克大学)
音乐创作有着悠久的历史,随着强大的深度学习方法的发展,最近人们对探索算法和模型来创作艺术的兴趣越来越大。我们探索了状态空间模型的实用性,特别是隐马尔可夫模型(Himp)和变体,在创作浪漫主义时期的古典钢琴曲时,考虑模型生成听起来像是人类创作的新作品的能力。我们发现,我们探索的模型在生成具有大部分辅音和声的新作品方面相当成功,特别是在具有简单和声结构的原始作品上训练时。然而,我们的结论是,使用这些模型来生成听起来像是由人类创作的音乐的主要限制是在所创作的作品中缺乏旋律进展。我们还研究了在音乐理论的背景下模型的性能。
2018-09-28 cs.SD
Graph Representation of RaagBase: A Unique Dataset for Hindustani Music
XIM University(西姆大学)
针对北印度音乐拉格聚类未充分探索的问题,提出基于Pt. Bhatkhande作品音符序列的拉格基础数据集,用图形表示拉格结构,通过音符频率分布体现作品相似性,应用聚类技术,实验验证了数据集及表示的有效性。
2026-07-14 cs.SD
CompLex: Music Theory Lexicon Constructed by Autonomous Agents for Automatic Music Generation
Department of Computing, The Hong Kong Polytechnic University(香港理工大学计算机系);Zhejiang University-University of Illinois Urbana-Champaign Institute(浙江大学-伊利诺伊大学厄巴纳-香槟分校联合研究所)
本文提出由自主智能体从极少量人工输入自动构建含37,432条目的音乐理论词典CompLex,并通过多智能体算法抑制幻觉,在多个文本到音乐生成模型上显著提升性能。
2025-08-27 cs.AI cs.SD
Towards Cross-Cultural Analysis using Music Information Dynamics
UCSD(加州大学圣迭戈分校);Smule(Smule公司)
音乐作品既有层次的理解,从声音事件到旋律,又有顺序的理解,以重复和变化的形式。不同文化的音乐在这两个方面有着不同的风格规约,从而确立了不同的审美观。我们提出了一个框架,可以用来定量比较音乐从不同的文化,从这两个方面来看。该框架是基于音乐信息动力学模型,一个可变马尔可夫预言机(VMO),并扩展与音频的变分表示学习。训练变分自编码器(VAE)以将音频片段映射到潜在表示中。潜在表示被馈送到VMO中。然后,VMO通过一个阈值来学习潜在表示的聚类,该阈值使量化的潜在表示序列的信息率最大化。这个阈值有效地控制了预测步骤对声学变化的敏感性,这决定了框架在更长时间尺度上跟踪重复的能力。这种方法允许在每个声学灵敏度水平上表征音乐信号的整体信息内容。我们的研究结果表明,在这个框架下,微妙的声学变化的敏感性是较高的东亚音乐传统,而西方的作品表现出更长的动机结构在更高的阈值的差异,在潜在的空间。这表明,作为声学细节水平的函数分析的信息内容的概况可以作为一种可能的文化特征。
2021-11-24 cs.LG cs.SD eess.AS
Live-Musikprogrammierung in Haskell
Institut für Informatik(信息学研究所);Martin-Luther-Universität Halle-Wittenberg(哈勒-维滕贝格马丁·路德大学)
我们的目标是以互动的方式与多个参与者一起创作算法音乐。为此,我们开发了一个解释器的子语言的非严格函数程序设计语言Haskell,允许在其执行过程中修改程序。我们的系统既可用于音乐现场编码,也可用于函数式编程的演示和教育。
2012-02-20 cs.PL cs.SD
LayerIt: Towards a Framework for Time-Aligned, Composable Music Visualizations
提出LayerIt开源Python库,在共享表演时间轴上组合乐谱与信号表示,生成保留MEI结构的SVG,并通过节拍跟踪分析验证其可同时检查跟踪输出、信号和乐谱以定位错误。
2026-10-05 cs.MM cs.SD
Low-Latency Deep Clustering For Speech Separation
Tampere University of Technology(坦佩雷理工大学)
本文提出了一种低算法延迟适应的深度聚类方法,以非特定人语音分离。它包括三个部分:a)使用长短期记忆(LSTM)网络,而不是原始工作中使用的双向变体,b)使用低延迟操作所需的短合成窗口(此处为8 ms),以及c)在音频混合的开始使用缓冲器来估计与组成扬声器对应的聚类中心,然后利用该聚类中心来分离信号其余部分中的扬声器。缓冲持续时间将用作初始化阶段,在该初始化阶段之后,系统能够以8ms的算法延迟操作。我们评估我们提出的方法对两个扬声器的混合物从华尔街日报(WSJ0)语料库。我们观察到,与基线双向LSTM相比,LSTM的使用在源失真比(SDR)方面降低了约1dB的SDR。此外,与基线相比,使用8ms合成窗口而不是32ms使分离性能降低约2.1dB。最后,我们还报告了不同缓冲持续时间的分离性能,指出即使缓冲持续时间低至300 ms,也可以实现分离。
2019-02-19 cs.SD eess.AS
The Freesound Loop Dataset and Annotation Tool
Universitat Pompeu Fabra(庞培法布拉大学);TikTok;Research Center for IT Innovation, Academia Sinica(中央研究院资讯科技创新研究中心)
音乐循环是电子音乐制作中必不可少的成分,并且对各种风格的预先录制的循环有很高的需求。一些商业和社区数据库已经创建,以满足这一需求,但大多数不适合研究,由于其严格的许可。我们提出了自由声循环数据集(FSLD),一个新的大规模的音乐循环数据集由专家注释。这些循环来自Freesound,这是一个在Creative Commons许可下发布的音频记录社区数据库,因此我们数据集中的音频可能会被重新分发。注释包括乐器、速度、节拍、基调和流派标签。我们描述了用于组装和注释数据的方法,并报告在数据和注释者之间的协议的标签的分布。我们还向社区展示了我们开发的在线循环注释器工具。为了说明FSLD的有用性,我们提出了简短的案例研究,使用它来估计节奏和关键,生成音乐曲目,并评估循环分离算法。我们预计,社区将发现更多的数据用途,从自动循环特性到算法组合的应用。
2020-09-23 cs.SD eess.AS