Differential Music: Automated Music Generation Using LSTM Networks with Representation Based on Melodic and Harmonic Intervals
University of Florida(佛罗里达大学)
本文提出了一种使用LSTM网络进行自动音乐合成的生成式人工智能模型,该模型采用了一种新的方法来编码音乐信息,该方法基于音乐中的运动而不是绝对音高。旋律被编码为一系列音程而不是一系列音高,和弦被编码为每个和弦音符在每个时步与旋律一起形成的一组音程。实验结果表明,承诺,因为他们的声音音乐和音调。这种方法也有弱点,主要是成分中的过度调制,但这是从编码的性质预期的。这一问题将在本文件后面讨论,是今后工作的一个潜在专题。
2021-08-23 cs.AI cs.SD eess.AS
Evaluating Interval-based Tokenization for Pitch Representation in Symbolic Music Analysis
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Centrale Lille(里尔中央理工学院);Univ. Bordeaux(波尔多大学);Bordeaux INP(波尔多国立综合理工学院)
本文提出构建基于音程的音乐分词通用框架,并在三项音乐分析任务上验证其相较绝对 MIDI 音高表示可提升模型性能与可解释性。
2025-01-08 cs.IR cs.SD eess.AS
PiRhDy: Learning Pitch-, Rhythm-, and Dynamics-aware Embeddings for Symbolic Music
Nankai University(南开大学);National University of Singapore(新加坡国立大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Tsinghua University(清华大学)
在当今的深度学习中,连续嵌入仍然是计算音乐学对符号音乐的一个基本挑战。类似于自然语言,音乐可以被建模为一系列符号。这促使大多数现有解决方案探索利用词嵌入模型来构建音乐嵌入。然而,音乐在两个关键方面不同于自然语言:(1)音乐标记是多方面的-它包括音高,节奏和动态信息;(2)音乐上下文是二维的-每个音乐标记都依赖于旋律和和声上下文。在这项工作中,我们提供了一个全面的解决方案,提出了一个新的框架名为PiRhDy,无缝集成音高,节奏和动态信息。PiRhDy采用分层策略,可以分解为两个步骤:(1)令牌(即,音符事件)建模,其分别表示音高、节奏和动态,并将它们集成到单个标记嵌入中;以及(2)上下文建模,其利用旋律和和声知识来训练标记嵌入。深入研究了PiRhDy的各个组成部分和子策略。我们进一步验证我们的嵌入在三个下游任务-旋律完成,伴奏建议,和流派分类。结果表明,一个显着的进步的神经方法对象征性的音乐,以及PiRhDy的潜力作为一个预先训练的工具,广泛的象征性的音乐应用。
2020-10-16 cs.MM cs.SD eess.AS
A Geometric Framework for Pitch Estimation on Acoustic Musical Signals
University of Birmingham(伯明翰大学);University of Sheffield(谢菲尔德大学)
本文提出了一种几何方法的音高估计(PE)-一个重要的问题,在音乐信息检索(MIR),并在该领域的各种其他问题的先驱。虽然存在许多高精度的方法,但单音高估计和多音高估计(特别是具有未指定的复音音色)证明在计算上和概念上具有挑战性。许多当前的技术,虽然令人难以置信的有效,并不是针对引出基础的数学结构,支持由声学音乐信号表现出的复杂的音乐模式。从理论和实验的角度来处理的方法,我们提出了一个新的框架,在该领域的进一步工作的基础,和结果(虽然不是最先进的)表现出相对的功效。本文提出的框架开辟了一个全新的方式来解决PE问题,并可能使用传统的分析方法,以及在新兴的机器学习(ML)方法,目前占主导地位的文献。
2020-12-08 cs.CG cs.SD eess.AS
Methods for pitch analysis in contemporary popular music: phenomenological analysis of Primaal's commercial works
Sony Computer Science Laboratories, Paris, France(索尼计算机科学实验室,法国巴黎);Department of Architecture, Design and Media Technology, Aalborg University, Denmark(建筑、设计与媒体技术系,奥尔堡大学,丹麦);Neodrome Entertainment, Paris, France(Neodrome娱乐公司,法国巴黎)
研究以Primal商业作品为例,用现象学分析当代流行音乐音高,通过与制作人合作识别相关参数,借助信号分析等方法,揭示其音高为连续多维现象,对音乐分析等领域有贡献。
2026-07-31 cs.SD
A Data-Driven Approach to Smooth Pitch Correction for Singing Voice in Pop Music
Indiana University(印第安纳大学)
在本文中,我们提出了一种机器学习的方法来纠正语音在卡拉OK设置,其中的人声和伴奏是在单独的轨道和时间对齐的音高。该网络将两个音轨的时频表示作为输入,并预测使语音与伴奏一致所需的音高偏移量。它是训练的例子半专业歌唱。所提出的方法不同于现有的实时音高校正方法,通过取代音高跟踪和映射到一组离散的音符-例如,12类的等温和的规模-学习校正,这是连续的频率和时间直接从声乐和伴奏曲目的谐波。递归神经网络(RNN)模型提供了一个考虑上下文的校正,保留了富有表现力的音高弯曲和颤音。这种方法可以扩展到声乐表演的无监督音高校正-通常被称为自动调音。
2018-05-07 cs.SD eess.AS
Music SketchNet: Controllable Music Generation via Factorized Representations of Pitch and Rhythm
UC San Diego(加州大学圣地亚哥分校)
与自动图像完成系统进行类比,我们提出了音乐SketchNet,一个神经网络框架,允许用户指定部分音乐的想法指导自动音乐生成。我们专注于在不完整的单声道音乐作品中生成缺失的小节,以周围背景为条件,并可选地由用户指定的音高和节奏片段指导。首先,我们介绍了SketchVAE,一种新的变分自编码器,明确因式分解节奏和音高轮廓,形成我们提出的模型的基础。然后,我们介绍了两个有区别的架构,SketchInpainter和SketchConnector,结合执行指导音乐完成,填充表示为周围的上下文和用户指定的片段的条件下缺失的措施。我们评估SketchNet的爱尔兰民间音乐的标准数据集,并与最近的作品模型进行比较。当用于音乐完成时,我们的方法在客观指标和主观听力测试方面都优于最先进的方法。最后,我们证明了我们的模型可以成功地将用户指定的片段在生成过程中。
2020-08-04 cs.LG cs.MM cs.SD
ShrutiSense: Microtonal Modeling and Correction in Indian Classical Music
Lone Star College(Lone Star学院);University of Nebraska at Omaha(内布拉斯加欧马哈大学)
ShrutiSense提出针对印度古典音乐22斯鲁蒂微分音系统的符号处理框架,通过FST校正与GC-SHMM补全,在五个拉格上实现91.3%的校正准确率,并保持对噪声的稳健性。
2025-08-02 cs.AI cs.SD eess.AS
RPPNet: Perceptually-Grouped Rhythm-Pitch Primitives for Long-Term Structure Melody Generation via Boundary-Aware Modeling
本文针对现有符号音乐生成模型的问题,提出RPPNet架构,通过生成可变长度的RPP序列并解码,其分组基于音乐心理学自动得出。实验显示该模型生成的旋律在长期结构和音乐性上更优,消融研究表明性能提升源于心理表征结构正确,为音乐生成提供跨学科视角。
2026-07-23 cs.AI cs.SD
An Comparative Analysis of Different Pitch and Metrical Grid Encoding Methods in the Task of Sequential Music Generation
Queen Mary University of London(伦敦玛丽女王大学)
音高和节拍是符号音乐生成任务中的两个基本音乐特征,研究者通常根据特定的目标选择不同的编码方法。然而,不同编码方法的优点和缺点并没有经常讨论。本文综合分析了音高和节拍这两个低层特征对基于标记的顺序音乐生成模型性能的影响。首先,比较了常用的二进制数编码和较少使用的类倍频程编码。第二,密集的条内度量网格被施加到编码序列作为辅助特征。比较了不同复杂度和分辨率的度量网格。对于复杂性,比较了单标记方法和多标记方法;对于网格分辨率,比较了0(消融)、1(小节级)、4(下拍级)、12(第8个三重音符级)至64(第64个音符网格级);对于持续时间分辨率,比较了每拍4、8、12和16次细分。所有不同的编码都在单独训练的Transformer-XL模型上进行测试,以完成旋律生成任务。关于几个客观评价指标与测试数据集的分布相似性,结果表明,类八度编码在音高相关指标上明显优于想当然的编码;更细的网格和多标记网格提高了节奏质量,但在早期训练阶段也会出现过拟合。结果表明,单标记网格编码在基音嵌入空间和测试损失两个方面存在普遍的过拟合现象。从实际的角度来看,我们既证明了可行性,也提出了使用较小的网络和较低的嵌入维数的生成任务上容易过拟合问题的关注。研究结果也有助于未来的模型特征工程方面。
2023-01-31 cs.AI cs.LG cs.SD
JEPOO: Highly Accurate Joint Estimation of Pitch, Onset and Offset for Music Information Retrieval
School of Information, Renmin University of China(中国人民大学信息学院);Tsinghua University(清华大学)
提出高精度联合估计方法 JEPOO,通过新模型设计与 Pareto 调制损失优化技术,首次统一处理单音高与多音高数据,在多项真实数据集上显著超越现有方法。
2023-07-07 cs.IR cs.MM cs.SD
Expressive Singing Synthesis Using Local Style Token and Dual-path Pitch Encoder
Music and Audio Research Group (MARG), Seoul National University(首尔国立大学音乐与音频研究组(MARG));supertone Inc.(supertone公司)
本文提出了一种可控的歌声合成系统,能够通过两种新颖的方法生成富有表现力的歌声。首先,提出了从输入音高和文本序列预测帧级风格令牌的局部风格令牌模块,以允许演唱语音系统控制通常在乐谱中未指定的音乐表达(例如,呼吸和强度)。其次,我们提出了一个双路径音高编码器,可以选择两个不同的音高输入:f0轮廓或f1音高序列。因为歌唱声的初始生成通常是通过取一个小音高序列来执行的,所以可以在以后从所生成的歌唱声中提取f0轮廓,并根据需要将f0轮廓修改为更精细的水平。通过定量和定性的评价,我们证实,该模型可以控制各种音乐的表现,而不牺牲歌唱声音合成系统的音质。
2022-04-07 cs.SD eess.AS
Deep-Learning Architectures for Multi-Pitch Estimation: Towards Reliable Evaluation
LTCI(电信通信实验室);Télécom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院)
从音乐录音中提取音高信息是音乐信号处理中一个具有挑战性但又十分重要的问题。逐帧转录或多音高估计旨在检测复调音乐录音中音高的同时活动,并且最近由于深度学习技术以及各种建议的网络架构而得到了重大改进。在本文中,我们实现了基于CNN、U网结构和自注意组件的不同架构。我们提出了几个修改这些架构,包括自我注意力模块跳过连接,经常性的层,以取代自我注意力,并同时预测复调程度的多任务策略。我们比较了不同大小的这些架构的变体,用于多音高估计,重点是使用MusicNet和Schubert Winterreise数据集的钢琴独奏场景之外的西方古典音乐。我们的实验表明,大多数架构产生竞争力的结果,更大的模型变体似乎是有益的。然而,我们发现,这些结果在很大程度上取决于随机化效应和特定的选择的训练测试分裂,问题的优越性,为特定的架构只给出了很小的改进。因此,我们调查的工作周期(跨版本评估)的几个动作的存在下,数据集分裂的影响,并提出了一个最佳实践的分裂策略MusicNet,削弱了个别测试轨道的影响,并抑制过拟合特定的作品和记录条件。对混合数据集的最终评估表明,对一个特定数据集的改进不一定适用于其他场景,因此强调需要进一步的高质量多音高数据集,以便可靠地测量音乐转录任务的进展。
2022-02-18 cs.LG cs.SD eess.AS
DEEPF0: End-To-End Fundamental Frequency Estimation for Music and Speech Signals
Massey University(梅西大学)
我们提出了一种新的音高估计技术DeepF0,它利用可用的注释数据以数据驱动的方式直接从原始音频中学习。F0估计在各种语音处理和音乐信息检索应用中是重要的。现有的用于音高估计的深度学习模型由于其浅的感受野而具有相对有限的学习能力。所提出的模型通过将扩张的卷积块引入网络来扩展网络的感受野来解决这个问题。膨胀因子以指数方式增加网络感受野,而不以指数方式增加模型的参数。为了使训练过程更高效、更快,DeepF0使用带有残差连接的残差块进行了增强。我们的实证评估表明,该模型在原始音高精度和原始色度精度方面优于基线,即使使用的网络参数减少了77.4%。我们还表明,我们的模型可以捕捉相当不错的音高估计,即使在各种水平的伴奏噪声。
2021-02-11 cs.AI cs.LG cs.SD
Perceptually Motivated Alignment and Interpolation of Pitch-Aligned Time-Frequency Representations
Splice(Splice公司)
提出一种基于感知协和先验的音高对齐时频表示配准与插值框架,利用排列搜索和最优传输实现音乐结构匹配与过渡,并学习低维调式几何表示。
2026-09-29 cs.SD eess.AS eess.SP
A Unified Model for Zero-shot Music Source Separation, Transcription and Synthesis
New York University Shanghai(纽约大学上海校区);ByteDance(字节跳动)
我们提出了一个统一的模型,用于三个相互关联的任务:1)\textit{separate}从混合音乐音频的各个声源,2)\textit{transcribe}每个声源的音符,和3)到\textit{ synthesize}新的作品的音色的基础上分离的来源。该模型的灵感来自于这样一个事实,即当人类听音乐时,我们的大脑不仅可以区分不同乐器的声音,而且还可以同时感知乐谱和音色等高级表征。为了在计算上反映这种能力,我们设计了一个基于流行的声源分离的编码器-解码器神经结构的音高-音色解纠缠模块。关键的归纳偏差是矢量量化的音高表示和音高变换不变的音色表示。此外,我们采用了一种通过实例查询的方法来实现\textit{zero-shot}的学习,即,该模型能够为\textit{unseen}仪器进行声源分离、转录和合成。目前的设计重点是两个单声道乐器的音频混合。实验结果表明,我们的模型优于现有的多任务基线,转录分数作为一个强大的辅助分离任务。
2021-08-07 cs.AI cs.SD eess.AS
Cross-domain Neural Pitch and Periodicity Estimation
Northwestern University(西北大学)
本文提出改进神经音高与周期性估计的技术及基于熵的周期性提取方法,实现语音与音乐跨域最先进估计,并开源高速 penn 工具包。
2024-08-12 cs.SD eess.AS
Sequential Pitch Distributions for Raga Detection
本文提出序列音高分布(SPD)特征,从音频中提取时间信息以检测印度艺术音乐中的拉格,在印度斯坦和卡纳提克数据集上分别取得99%和88.13%的准确率,优于标准音高分布。
2023-08-31 cs.SD eess.AS
Human Voice Pitch Estimation: A Convolutional Network with Auto-Labeled and Synthetic Data
本文提出一种面向无伴奏合唱人声音高提取的卷积神经网络,通过融合合成数据与自动标注音频训练,并在多类数据集上验证其有效性。
2023-12-17 cs.LG cs.SD eess.AS
Efficient Learning of Harmonic Priors for Pitch Detection in Polyphonic Music
Centre for Digital Music(数字音乐中心);Queen Mary University of London(伦敦玛丽女王大学)
自动音乐转录(AMT)的目的是推断一段音乐(钢琴卷)的潜在符号表示,给定相应的观察到的音频记录。复调音乐(当多个音符同时演奏时)是一个具有挑战性的问题,因为和声之间存在高度结构化的重叠。我们研究是否引入物理启发的高斯过程(GP)先验到音频内容分析模型,提高了AMT所需的模式的提取。音频信号被描述为源的线性组合。每个源被分解成一个振幅包络的产品,和一个准周期分量过程。我们介绍了Matérn频谱混合(MSM)内核描述单音符的频率内容。我们考虑两种不同的回归方法。在sigmoid模型中,每个音高激活都是独立的非线性变换。在softmax模型中,几个激活GP被联合非线性变换。这引入了激活之间的互相关。我们使用变分贝叶斯近似推理。我们经验性地评估了这些模型在复调音乐的转录实践中是如何工作的。我们证明,而不是鼓励激活之间的依赖关系,什么是相关的提高音高检测是学习先验,适合的声音事件的频率内容检测。
2018-11-16 cs.SD stat.ML
Analyzing Pitch Content in Traditional Ghanaian Seperewa Songs
New York University(纽约大学);Queen Mary University of London(伦敦玛丽女王大学);University at Buffalo(布法罗大学)
本研究利用20世纪中期实地录音数据集,结合Demucs分离人声与高斯混合模型近似音阶,定量分析了传统加纳seperewa歌曲的音高内容,揭示了人声的微音音分偏差,并指出了MIR工具在非西方音乐中的应用挑战。
2024-11-12 cs.SD
A Domain-Knowledge-Inspired Music Embedding Space and a Novel Attention Mechanism for Symbolic Music Modeling
Singapore University of Technology and Design(新加坡科技设计大学)
针对现有符号音乐建模忽略相对音乐属性的问题,提出兼具绝对与相对属性表征的基础音乐嵌入FME,及结合领域知识的RIPO注意力机制,在旋律补全与生成任务上性能优于现有最优Transformer模型,解决了生成退化问题。
2022-12-02 cs.AI cs.SD eess.AS
Frame-level Instrument Recognition by Timbre and Pitch
Research Center for IT Innovation, Academia Sinica(中央研究院资讯科技创新研究中心)
乐器识别是音乐信息检索中的一项基本任务,然而,对于多乐器音乐中乐器的存在,在每个时间帧上的预测却做得很少。这个任务不仅对自动转录很重要,而且对许多检索问题也很重要。在本文中,我们使用新发布的MusicNet数据集来研究这一前沿,通过构建和评估用于进行帧级乐器预测的卷积神经网络。我们将其视为每个帧的多标签分类问题,并使用帧级注释作为训练网络的监督信号。此外,我们尝试了不同的方法将音高信息纳入我们的模型,前提是这样做可以通知模型每帧活跃的音符,并鼓励模型学习不同乐器的谐波分音中能量积累的相对速率。实验表明,显着的性能改善基线方法。我们还报告了一项分析,探讨音高信息如何帮助仪器预测任务。代码和实验细节可以在\url{https://biboamy.github.io/instrument-recognition/}上找到。
2018-06-25 cs.SD eess.AS
CREPE Notes: A new method for segmenting pitch contours into discrete notes
本文提出一种基于CREPE的后处理方法,将音高轮廓分割为离散音符,在单声道器乐数据集上达到最先进效果,并减少97%的参数。
2023-11-15 cs.MM cs.SD eess.AS
Calibration of a two-state pitch-wise HMM method for note segmentation in Automatic Music Transcription systems
Lab STIC, ENSTA-Bretagne(ENSTA-布列塔尼 STIC 实验室);Southeast China(中国东南大学);Institut d’Alembert, UPMC(UPMC 达朗贝尔研究所);LPMA, UPMC(UPMC 概率与随机模型实验室)
用于自动音乐转录的许多方法涉及估计每个音高的活动分数的多音高估计方法。第二个处理步骤,称为音符分割,必须为每个音高执行,以便识别音符演奏时的时间间隔。在这项研究中,音高两个状态开/关一阶隐马尔可夫模型(HMM)的音符分割。一个完整的参数化的HMM S形函数提出,其原始回归公式的基础上,包括一个参数α的斜率平滑和β?阈值对比度。对不同的音符分割策略进行了比较评估,根据它们是否使用固定阈值(称为“硬阈值”(HT))或基于HMM的阈值方法(称为“软阈值”(ST))进行区分。该评价是根据MIREX标准并使用MAPS数据集进行的。此外,不同的转录方案和记录性质进行了测试,使用三个单位的退化工具箱。结果表明,通过HMM软阈值与基于数据的优化的{α,β}参数对的注意分割显着提高转录性能。
2017-04-27 cs.SD stat.ME
Inspecting and Interacting with Meaningful Music Representations using VAE
NYU Shanghai(上海纽约大学);New York University(纽约大学)
变分自编码器(VAE)在图像生成方面已经取得了很大的成果,最近在音乐生成方面也取得了可喜的进展。然而,生成过程仍然是很难控制的意义上说,学习的潜在表示缺乏有意义的音乐语义。如果人们可以通过潜在表征来修改某些音乐特征,如节奏和音高轮廓,以测试不同的作曲想法,那将更加有用。在本文中,我们提出了一种新的方法来检查潜在的表征的音高和节奏的解释,我们称之为通过增强解开。基于可解释的表示,一个直观的图形用户界面的设计,为用户更好地指导音乐创作过程中,通过操纵的音高轮廓和节奏的复杂性。
2019-04-18 cs.HC cs.IR cs.LG
Partitura: A Python Package for Symbolic Music Processing
Johannes Kepler University(约翰内斯·开普勒大学)
Partitura是一个轻量级的Python包,用于处理符号音乐信息。它可以轻松访问音乐信息检索任务中常用的功能,如音符阵列(定时音高事件列表)和2D钢琴滚动矩阵,以及其他乐谱元素,如时间和键签名,演奏指令和重复结构。Partitura可以加载乐谱(MEI,MusicXML,Kern和EML格式),音乐表演和乐谱到表演的对齐。该软件包包括一些用于音乐分析的工具,例如自动音高拼写,关键签名识别和语音分离。Partitura是一个开源项目,可以在https://github.com/CPJKU/partitura/上找到。
2022-06-02 cs.DL cs.SD eess.AS
Musical Training, but not Mere Exposure to Music, Drives the Emergence of Chroma Equivalence in Artificial Neural Networks
Canadian Centre for Behavioural Neuroscience(加拿大行为神经科学中心);Department of Neuroscience(神经科学系);University of Lethbridge(莱斯布里奇大学)
音乐训练而非单纯音乐接触驱动人工神经网络中音高等价性的发展,表明音乐感知任务需要更高阶的认知计算。
2026-02-20 cs.NE cs.SD
Note-Level Singing Melody Transcription for Time-Aligned Musical Score Generation
Seoul National University(首尔大学);Institute for Industrial Systems Innovation(产业系统创新研究院)
本文扩展传统音符级转录任务,提出端到端框架整合时值、音高和时间信息识别,引入伪标签技术解决时值数据稀缺问题,实验表明模型性能更优且鲁棒性强。
2025-02-18 cs.SD eess.AS eess.SP
Automatic Transcription of Flamenco Singing from Polyphonic Music Recordings
Universitat Pompeu Fabra(庞培法布拉大学)
音符级自动转写被认为是音乐信息检索中最具挑战性的任务之一。弗拉门戈歌唱转录的具体情况构成了一个特殊的挑战,由于其复杂的旋律进展,语调不准确,使用高度的重复和吉他伴奏的存在。在这项研究中,我们探讨了现有的最先进的转录系统的情况下,弗拉门戈歌唱的局限性,并提出了一个具体的解决方案,这种类型:我们首先提取的主要旋律,并应用一种新的轮廓过滤过程,以消除节段的音高轮廓起源于吉他伴奏。我们制定了一套发病检测功能的基础上的音量和音高特征分割成离散的音符事件的音高轮廓。通过将全局音高类别概率与局部音高轮廓统计相结合,将量化音高标签分配给每个音符事件。所提出的系统优于最先进的歌唱转录系统的发声准确性,发病检测和整体性能评估时,弗拉门戈歌唱数据集。
2015-10-14 cs.IR cs.SD
FretNet: Continuous-Valued Pitch Contour Streaming for Polyphonic Guitar Tablature Transcription
Yousician(优西琴(Yousician))
本文提出了一种用于吉他谱转录(GTT)的连续值音高轮廓估计方法 FretNet,通过按弦和品对音高轮廓进行分组,显著提高了多音高估计(MPE)的分辨率,同时保持了与基线模型相竞争的谱估计性能。
2023-03-14 cs.LG cs.SD eess.AS
MIDI-RAE-JEPA: Hierarchical Representation Learning and Generation for Symbolic Music
研究针对符号音乐表示自监督方法探索不足的问题,提出MIDI-RAE-JEPA,结合音高和时间移位等方差目标、LeJEPA及Swin Transformer V2编码器学习分层表示,经实验验证该方法在多方面表现良好,为符号音乐表示提供了可行途径。
2026-07-17 cs.LG cs.SD eess.AS
Improved singing voice separation with chromagram-based pitch-aware remixing
Amazon Web Services(亚马逊云科技);Stanford University(斯坦福大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
声乐声部分离的目的是将音乐分为人声和伴奏成分。该任务的主要限制之一是具有分离人声的训练数据量有限。数据增强技术,如随机源混合,已被证明可以更好地利用现有数据,并温和地提高模型的性能。我们提出了一种新的数据增强技术,chromagram为基础的音高感知混音,音乐片段与高音调对齐混合。通过在监督和半监督设置下进行对照实验,我们证明了具有音高感知混音的训练模型显着提高了测试信号失真比(SDR)
2022-03-28 cs.LG cs.SD eess.AS
Peking Opera Synthesis via Duration Informed Attention Network
Tencent(腾讯)
大约200年前,京剧一直是中国最主要的表演艺术形式。京剧演唱者在舞台上的即兴发挥和表现力往往表现出很强的个人风格,导致实际的节奏和音高轮廓与原曲有很大的偏差。这种不一致性给从乐谱合成京剧唱腔带来了很大的挑战。在这项工作中,我们提出了处理这个问题,合成表达京剧演唱的乐谱的基础上持续时间通知注意网络(Durian)框架。为了解决节奏失配问题,利用拉格朗日乘子在给定音符时长的约束下,寻找最优的输出音素时长序列。至于音高轮廓不匹配,而不是直接从乐谱中推断,我们采用从真实歌唱中生成的伪乐谱,并在训练期间将其作为输入。实验结果表明,该系统能够合成出具有高音质、高音高和高表现力的京剧唱腔。
2020-08-07 cs.CL cs.SD eess.AS
PKSpell: Data-Driven Pitch Spelling and Key Signature Estimation
CNAM Paris(巴黎国立工艺学院)
我们提出了PKSpell:一个数据驱动的方法,用于联合估计的音高拼写和关键签名从MP3文件。这两个元素都是制作完整乐谱的基础,并促进了许多MIR任务,如谐波分析,部分识别,旋律相似性和数字音乐库中的搜索。我们设计了一个深度递归神经网络模型,它只需要在所有类型的XML文件中容易获得的信息,包括性能或其他符号编码。我们发布了一个在ASAP数据集上训练的模型。我们的系统可以使用这些预先训练的参数,并且很容易集成到MIR管道中。我们还提出了一个数据增强程序,有助于在小数据集上进行再训练。PKSpell在具有挑战性的数据集上实现了强大的密钥签名估计性能。最重要的是,该模型在MuseData音高拼写数据集上建立了一个新的最先进的性能,而无需重新训练。
2021-07-27 cs.SD eess.AS
A Transformer Based Pitch Sequence Autoencoder with MIDI Augmentation
Peking University(北京大学)
尽管深度学习自动音乐生成算法最近取得了一些成就,但很少有人提出方法来评估单曲音乐摘录是由自动机还是智人创作的。为了解决这个问题,我们应用了一个基于ALBERT的掩码语言模型进行作曲家分类。目的是获得一个模型,该模型可以建议自动生成假设下的视频剪辑可能是合成条件的概率,并且该模型仅使用AI合成的单声道视频进行训练。本文在减少参数数量的基础上,提出了两种数据增强方法,并提出了一种改进的损失函数以防止过拟合。实验结果表明,我们的模型排名$3^{rd}$在所有的$7$团队在数据挑战CSMT(2020)。此外,这种启发性的方法可以推广到其他基于小数据集的音乐信息检索任务。
2021-02-01 cs.LG cs.SD eess.AS
An Open Research Dataset of the 1932 Cairo Congress of Arab Music
Zayed University(扎耶德大学)
本研究发布源自1932年开罗阿拉伯音乐大会录音的开放数据集ORD-CC32,含标注元数据与声学特征,可支撑阿拉伯音乐计算分析及跨学科文化遗产研究。
2025-06-17 cs.DL cs.SD eess.AS
MIDI-VAE: Modeling Dynamics and Instrumentation of Music with Applications to Style Transfer
ETH Zurich(苏黎世联邦理工学院)
我们介绍MIDI-VAE,一个基于变分自编码器的神经网络模型,它能够处理具有多个乐器音轨的复调音乐,以及通过结合音符持续时间和速度来建模音乐的动态。我们表明,MIDI-VAE可以通过自动改变音乐作品的音高,动态和乐器来对符号音乐进行风格转移,例如,从古典音乐到爵士音乐我们通过训练单独的风格验证分类器来评估风格转移的有效性。我们的模型还可以在短的音乐片段之间插入,产生混合泳和创建整首歌曲的混合。插值平滑地改变音高、力度和乐器,在两首音乐作品之间建立和谐的桥梁。据我们所知,这项工作是第一次成功地尝试将神经风格转移到完整的音乐作品。
2018-09-20 cs.LG cs.SD eess.AS
Learning Transposition-Invariant Interval Features from Symbolic Music and Audio
Institute of Computational Perception, JKU Linz(林茨约翰·开普勒大学计算感知研究所);Sony Computer Science Laboratories (CSL)(索尼计算机科学实验室)
许多音乐理论结构(如音阶类型,调式,节奏和和弦类型)都是根据音高间隔-音高之间的相对距离来定义的。因此,当计算机模型用于音乐任务时,在音程表示上操作而不是在原始音乐表面上操作可能是有用的。此外,区间表示是转置不变的,对于音频对齐,翻唱歌曲检测和音乐结构分析等任务很有价值。我们采用门控自动编码器学习固定长度,可逆和换位不变的间隔表示从复调音乐中的符号域和音频。提出了一种无监督的训练方法,在音乐上合理的表示空间中产生间隔的组织。基于表示,转置不变的自相似矩阵的构建和使用,以确定重复的部分在符号音乐和音频,产生竞争力的结果在MIREX任务“发现重复的主题和部分”。
2019-02-04 cs.LG cs.SD eess.AS
Chord Recognition- Music and Audio Information Retrieval
音乐信息检索(MIR)是一项协作科学研究,有助于建立创新的信息研究主题,新颖的框架,并开发连接的交付机制,以及使世界上大量的音乐收藏对每个人开放。现代摇滚乐被证明很难估计节奏,和弦识别也不起作用。所有的研究结果都表明,现代摇滚和金属音乐是可以分析的,尽管它很复杂,但需要在这一领域进行进一步的研究,使其有用。使用神经网络是最简单的处理方法之一,在神经网络方法中使用了音高类轮廓向量。由于该矢量仅包含12个半音值元素,因此足以用于和弦识别。当然,还有其他方法可以实现这项工作,其中大多数依赖于音高类别分析将和弦转换为可以识别的类型,但是识别过程非常耗时,并且集中在非常复杂和内存密集的方法上。
2021-09-08 cs.IR cs.SD eess.AS
Timbre-Trap: A Low-Resource Framework for Instrument-Agnostic Music Transcription
Sony(索尼)
本文提出 Timbre-Trap 低资源框架,利用音高与音色的可分离性,以单个自动编码器联合完成音高显著性估计、频谱重建和转录,仅用少量标注数据即达到乐器无关转录的先进水平。
2024-01-24 cs.LG cs.SD eess.AS
AI Harmonizer: Expanding Vocal Expression with a Generative Neurosymbolic Music AI System
MIT Media Lab(MIT媒体实验室);Massachusetts Institute of Technology(麻省理工学院)
AI Harmonizer利用生成式神经符号音乐AI系统,自动为独唱旋律生成四声部和声,无需用户音乐专业知识,扩展人声表达,并已开源实现。
2025-06-22 cs.AI cs.HC cs.SD
Investigating an Overfitting and Degeneration Phenomenon in Self-Supervised Multi-Pitch Estimation
研究扩展了监督多基频估计范式,引入基于音调不变和等变属性的自监督目标,在扩大数据时发现模型过拟合监督数据且在自监督数据上退化的现象并展开调查。
2025-06-29 cs.LG cs.SD eess.AS
Masked Contrastive Pre-Training Improves Music Audio Key Detection
Department of Computer Science;Engineering, Texas A\&M University
本文通过掩码对比预训练提升音乐音频键检测性能,发现其能有效增强音高敏感性,并在监督学习中实现SOTA表现。
2026-04-11 cs.LG cs.SD
BEAT: Tokenizing and Generating Symbolic Music by Uniform Temporal Steps
South China University of Technology(南方科技大学);National University of Singapore(新加坡国立大学);Mohamed bin Zayed University of Artificial Intelligence(莫扎德·本·扎耶德人工智能大学);New York University(纽约大学)
提出一种以均匀节拍为基本单元的分词方法,将同一时间步内相同音高的所有事件编码为一个令牌,并在音乐续写和伴奏生成任务中验证其相比传统事件基方法能提升音乐质量和结构连贯性。
2026-06-01 cs.AI cs.SD
Tempo vs. Pitch: understanding self-supervised tempo estimation
SiriusXM(天狼星卫星广播公司);New York University(纽约大学)
本文通过合成数据实验,剖析了自监督音高估计模型在速度估计中的应用,重点研究了输入表示与数据分布之间的关系,揭示了模型对不同数据分布的脆弱性。
2023-04-14 cs.LG cs.SD eess.AS
Composing Music with Grammar Argumented Neural Networks and Note-Level Encoding
Sun Yat-sen University(中山大学);China University of Political Science and Law(中国政法大学);Institute of High Performance Computing(高性能计算研究所)
创造包括音乐在内的具有美感的艺术作品一直是人工智能研究的长期目标。尽管最近长短期记忆(LSTM)循环神经网络(RNN)在顺序学习中取得了成功,但LSTM神经网络本身还无法生成符合音乐理论的听起来自然的音乐。为了克服这一不足,我们提出了一种新的音乐创作方法,将LSTM与音乐理论激发的语法相结合。音乐理论的主要原则被编码为训练数据上的语法论证(GA)过滤器,使得机器可以被训练为生成音乐,该音乐继承来自原始数据集的人类创作作品的自然性,同时遵守音乐理论的规则。与以前的方法不同,音高和音长被编码为一个语义实体,我们称之为音符级编码。这允许轻松实现音乐理论语法,以及更接近模拟音乐家的思维模式。虽然GA规则应用于训练数据,但从未直接应用于LSTM音乐生成,但我们的机器仍然根据音乐理论创作出具有高自然音阶音符、小音高间隔和和弦发生率的音乐。
2016-12-07 cs.AI cs.LG cs.SD
Progressive Generative Adversarial Binary Networks for Music Generation
D. J. Sanghvi College of Engineering(D.J.桑格维工程学院)
生成对抗网络(GAN)训练技术的最新改进证明,渐进式训练GAN大大稳定了训练并提高了输出的质量。事实证明,在前一层收敛之后添加层有助于提高模型的整体收敛性和稳定性,并充分减少训练时间。因此,我们使用这种训练技术在时间和音高域中逐步训练模型,即从非常小的时间值和音高范围开始,我们逐渐扩大矩阵大小,直到最终结果是完全训练的模型,给出具有张量大小[4(bar)x 96(时间步长)x 84(音高值)x 8(音轨)]的输出。正如先前提出的模型所证明的那样,确定性二进制神经元也有助于改善结果。因此,我们在生成器的末尾使用一层确定性二进制神经元来获得二进制值输出,而不是存在于0和1之间的分数值。
2019-03-12 cs.CV cs.LG cs.SD
Between Homomorphic Signal Processing and Deep Neural Networks: Constructing Deep Algorithms for Polyphonic Music Transcription
Academia Sinica(中央研究院)
本文提出了一种新的方法来理解深度神经网络(DNN)的工作原理,通过应用同态信号处理技术。针对多基音周期估计问题,从结构和功能上论证了广义倒谱与动态神经网络的等价关系。这种等价关系,连同音高感知理论和最近建立的球上校正相关(RECOS)滤波器分析,提供了另一种方式来解释非线性激活函数和多层结构的作用,这两者都存在于倒谱和DNN中。为了验证这种新方法的有效性,提出了一种以相同方式设计的基音显著性函数的新特征。新功能在MPE任务中优于单层频谱,并且正如预测的那样,它解决了丢失基本效果的问题,并且还实现了对噪声的更好鲁棒性。
2017-06-26 cs.NE cs.SD
Spectrogram-Based Detection of Auto-Tuned Vocals in Music Recordings
University of Brescia(布雷西亚大学);Polytechnic University of Milan(米兰理工大学)
针对音乐录音中自动修音人声检测的空白,本研究构建含原始与修音片段的数据集,提出基于三元组网络的数据驱动检测方法,其准确率和鲁棒性均优于音频取证常用的Rawnet2模型。
2024-03-08 cs.CV cs.SD eess.AS
Automatic Transcription of Microtonal Free-Rhythm Vocal Music: A Case Study in Iranian Classical Music
Cu Test Inc.(Cu Test公司)
本文以伊朗古典音乐为案例,提出结合音高直方图与DTW的自动转录工作流程,采用music21库实现,可转录含tahrir等装饰音的微分音声乐,配套可视化与编辑工具,推进计算民族音乐学发展。
2026-08-19 cs.SD
GiantMIDI-Piano: A large-scale MIDI dataset for classical piano music
ByteDance(字节跳动)
符号音乐数据集对于音乐信息检索和音乐分析具有重要意义。然而,古典钢琴音乐缺乏大规模的符号数据集。在本文中,我们创建了一个GiantMIDI-Piano(GP)数据集,其中包含由2,786位作曲家创作的38,700,838个转录音符和10,855个独特的钢琴独奏作品。我们从国际乐谱库项目(IMSLP)中提取音乐作品名称和作曲家姓名。我们从互联网上搜索并下载相应的音频记录。我们进一步通过限制包含作曲家姓氏的下载录音的标题来创建一个精选子集,其中包含由1,787位作曲家创作的7,236首作品。我们应用卷积神经网络来检测钢琴独奏作品。然后,我们使用高分辨率钢琴转录系统将这些钢琴独奏录音转录到乐器数字接口(MIDI)文件中。每一个转录的音准文件都包含钢琴音符和踏板的起始、偏移、音高和速度属性。GiantMIDI-Piano包括90%的现场演奏MIDI文件和10%的序列输入MIDI文件。我们对GiantMIDI-Piano的统计数据进行了分析,并显示了不同时代的六位作曲家的音高类,音程,三弦琴和四弦琴频率,以表明GiantMIDI-Piano可以用于音乐分析。我们评估的质量GiantMIDI钢琴独奏钢琴检测F1分数,元数据的准确性,和转录出错率。我们在https://github.com/bytedance/GiantMIDI-Piano上发布了获取GiantMIDI-Piano数据集的源代码
2022-04-21 cs.IR cs.SD eess.AS
Augmentation Methods on Monophonic Audio for Instrument Classification in Polyphonic Music
School of ECE, NTUA(希腊国家技术大学电气与计算机工程学院)
乐器分类是音乐信息检索中的一个研究热点。然而,其中大部分是处理单声道音乐,而对复调材料的努力主要集中在主要乐器的识别上。在本文中,我们提出了一种方法,从纯粹的单声道数据,包括执行数据增强混合不同的音频段的复调音乐中的乐器分类。探讨了各种各样的数据增强技术,侧重于不同的声音方面,如覆盖相同流派的音频片段,以及基于音高和节奏的同步。我们利用卷积神经网络进行分类任务,比较浅层和深层网络架构。我们进一步研究了上述分类器组合的使用,每个分类器都在单个增强数据集上训练。VGG类分类器的集合,分别在非增强,音高同步,节奏同步和体裁相似的摘录上训练,产生了最好的结果,在IRMAS测试集中的标签排名平均精度(LRAP)方面达到了略高于80%。
2020-03-03 cs.LG cs.SD eess.AS
Self-Supervised Learning of Context-Aware Pitch Prosody Representations
Stanford University(斯坦福大学)
在音乐和演讲中,意义是在多层次的语境中产生的。例如,情感可以通过短的声音标记和较长时间窗口(如整个录音)上的声音模式来推断。在这封信中,我们专注于从这种语境的二分法中推断意义。我们展示了如何短唱声乐行的上下文表示可以隐式地从基频($F_0$)学习,从而被用作下游音乐信息检索(MIR)任务的一个有意义的特征空间。我们提出了三种自我监督的深度学习范式,它们利用这两个层次的上下文的伪任务学习来产生潜在的表示空间。我们通过将看不见的音高轮廓嵌入到每个空间中并进行下游分类任务来评估这些表示的有用性。我们的研究结果表明,上下文表示可以提高下游分类多达15%相比,使用传统的统计轮廓特征。
2021-08-01 cs.CV cs.IR cs.LG