Learning To Generate Piano Music With Sustain Pedals
Research Center for IT Innovation, Academia Sinica(中央研究院信息技术创新研究中心);Center for Music Technology, Georgia Institute of Technology(佐治亚理工学院音乐技术中心);Taiwan AI Labs(台湾人工智能实验室)
近年来,在音乐信息检索领域,从音频信号中检测钢琴踏板的研究引起了越来越多的关注。然而,据我们所知,最近的符号音乐生成模型很少考虑钢琴踏板。在这项工作中,我们采用Kong等人提出的转录模型从AILabs1k7数据集中的钢琴演奏音频记录中获取踏板信息,然后修改Hsiao等人提出的复合词Transformer,以构建一个Transformer解码器,该解码器生成踏板相关标记以及其他音乐标记。虽然这项工作是通过使用推断的维持踏板信息作为训练数据来完成的,但结果显示了进一步改进的希望以及维持踏板参与钢琴演奏生成任务的重要性。
2021-11-01 cs.AI cs.LG cs.SD
PianoCoRe: Combined and Refined Piano MIDI Dataset
Skolkovo Institute of Science and Technology(斯克洛尔沃科学与技术研究院)
PianoCoRe数据集整合并优化了多个开源钢琴数据集,包含250,046次演奏5,625首作品,提供高质量的MIDI数据及注释对齐功能,支持不同应用需求。
2026-05-07 cs.LG cs.SD
towards automatic transcription of polyphonic electric guitar music:a new dataset and a multi-loss transformer model
Taiwan AI Labs(台湾人工智能实验室);Academia Sinica(台湾“中央研究院”);National Taiwan University(台湾大学)
在本文中,我们提出了一个新的数据集命名为EGDB,它包含了240个不同音调渲染的制表符的电吉他演奏的透明度。此外,我们在这个数据集上对两个著名的转录模型的性能进行了基准测试,这些模型最初是为钢琴提出的,以及我们新提出的多损失Trans-former模型。我们对这张专辑和一组单独的真实世界录音的评估证明了音色对吉他乐谱转录准确性的影响,Transformers使用多个损失的潜力,以及进一步改进这项任务的空间。
2022-02-20 cs.SD eess.AS
PianoVAM: A Multimodal Piano Performance Dataset
本文提出PianoVAM多模态钢琴演奏数据集,包含视频、音频、MIDI、手部关键点及指法标签,并给出音视频钢琴转录基准结果。
2025-09-10 cs.AI cs.CV cs.MM
AMT-APC: Automatic Piano Cover by Fine-Tuning an Automatic Music Transcription Model
Faculty of Data Science(数据科学学院);Musashino University(武藏野大学)
针对现有自动钢琴封面模型表现力和保真度不足的问题,提出AMT-APC算法,利用自动音乐转录模型能力,实验表明该模型比现有模型更能准确再现原曲目。
2026-07-07 cs.LG cs.SD eess.AS
A study of audio mixing methods for piano transcription in violin-piano ensembles
KAIST(韩国科学技术院);Electronics and Telecommunications Research Institute(电子与电信研究院);Sogang University(西江大学)
本研究分析了不同音频混合数据增强方法对小提琴-钢琴合奏中钢琴转录性能的影响,通过构建PFVN-synth数据集并结合MAESTRO数据集,验证了考虑谐波与时间特征的混合方法的有效性。
2023-05-23 cs.SD eess.AS
Exploring Transformer-Based Music Overpainting for Jazz Piano Variations
Queen Mary University of London(伦敦玛丽女王大学)
针对爵士钢琴变奏的音乐覆画任务,本文构建含4,352个训练对的VAR4000数据集,并评估两种Transformer配置,证明更大规模数据集可改善泛化与性能。
2024-12-05 cs.LG cs.SD eess.AS
Exploring System Adaptations For Minimum Latency Real-Time Piano Transcription
本研究探索将现有在线钢琴转录模型适配至30毫秒以下延迟,通过消除非因果处理、共享计算及调整模型大小,在MAESTRO数据集上评估并发布基线系统。
2025-09-09 cs.LG cs.SD eess.AS
Multitask Learning for Polyphonic Piano Transcription, a Case Study
Austrian Research Institute for Artificial Intelligence (OFAI)(奥地利人工智能研究所);Johannes Kepler University Linz(约翰内斯·开普勒林茨大学)
将复调钢琴转录视为一个多任务学习问题,我们需要同时预测音符的起始、中间帧和偏移,我们使用各种合适的卷积神经网络架构来研究附加预测目标对性能的影响。我们量化了大型MAESTRO数据集上其他目标的性能差异。
2019-02-12 cs.SD eess.AS
A Hybrid Recurrent Neural Network For Music Transcription
City University London(伦敦城市大学);Google Inc(谷歌公司)
我们调查的问题,将更高层次的符号分数样的信息到自动音乐转录(AMT)系统,以提高其性能。我们使用递归神经网络(RNN)及其变体作为音乐语言模型(MLMs),并提出了一个生成架构,用于将这些模型与帧级声学分类器的预测相结合。我们还比较了不同的神经网络架构的声学建模。该模型计算的分布在可能的输出序列给定的声输入信号,我们提出了一个算法,用于执行一个良好的候选transantic的全局搜索。所提出的模型的性能进行评估的钢琴音乐从MAPS数据集,我们观察到,所提出的模型始终优于现有的转录方法。
2014-11-06 cs.LG
Quantifying the Corpus Bias Problem in Automatic Music Transcription Systems
Johannes Kepler University(约翰·开普勒大学)
本文通过构建模拟不同音乐分布偏移的测试集,评估多个SotA AMT系统,揭示训练语料过度集中于古典钢琴所导致的显著性能差距。
2024-08-08 cs.LG cs.SD eess.AS
Semi-Supervised Convolutive NMF for Automatic Piano Transcription
INSA-Lyon(里昂国立应用科学学院);UCBL(里昂第一大学);Univ Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);INSA Rennes(雷恩国立应用科学学院);UJM-Saint Etienne(圣艾蒂安大学);Inserm(法国国家健康与医学研究院)
自动音乐转录是将音乐表演的音频记录转换为符号格式,它仍然是一项困难的音乐信息检索任务。在这项工作中,重点是钢琴转录,我们提出了一个半监督的方法,使用低秩矩阵分解技术,特别是卷积非负矩阵分解。在半监督设置中,只需要对每个音符进行单次记录。我们在MAPS数据集上表明,所提出的半监督CNMF方法的性能优于最先进的低秩因子分解技术,略差于监督深度学习最先进的方法,但存在泛化问题。
2022-04-14 cs.LG cs.SD eess.AS
Learning Sparse Analytic Filters for Piano Transcription
University of Rochester(罗切斯特大学)
近年来,滤波器组学习已经成为各种音频相关机器学习任务的一种越来越流行的策略。这部分是由于它能够发现特定于任务的音频特征,这些特征可以在下游处理中利用。它也是几乎无处不在的深度学习方法的自然扩展,用于处理各种音频应用程序。在这项工作中,一个前端滤波器组学习模块的几个变化进行了研究钢琴转录,一个具有挑战性的低层次的音乐信息检索任务。我们建立在一个标准的钢琴转录模型,修改只有特征提取阶段。滤波器组模块被设计成使得其复数滤波器是具有长感受野的无约束1D卷积核。其他变体采用希尔伯特变换来呈现滤波器本质上是解析的,并应用变分丢弃来促进滤波器组稀疏性。转录结果在所有实验中进行比较,我们提供可视化和分析的过滤器。
2022-11-10 cs.LG cs.SD eess.AS
On the Potential of Simple Framewise Approaches to Piano Transcription
Department of Computational Perception, Johannes Kepler University Linz(约翰内斯·开普勒大学林茨分校计算感知系)
在尝试探索钢琴转录任务的简单方法的局限性(通常在MIR中定义),我们进行了深入的分析神经网络为基础的framewise转录。我们系统地比较了不同的流行的输入表示的转录系统,以确定最适合用于神经网络。利用训练技术和新正则化器的最新进展,并考虑到超参数调整,我们表明,通过简单的自下而上的逐帧处理,可以获得一个钢琴转录器,该转录器在公开可用的MAPS数据集上的性能优于当前已发表的最新技术水平-无需任何复杂的后处理步骤。因此,我们提出这种简单的方法作为这个数据集的新基线,以便将来的转录研究建立和改进。
2016-12-15 cs.LG cs.SD
D3RM: A Discrete Denoising Diffusion Refinement Model for Piano Transcription
Graduate School of Culture Technology(文化技术研究生院);KAIST(韩国科学技术院)
针对现有扩散模型在自动钢琴转谱任务上性能不佳的问题,提出基于离散扩散的D3RM模型,采用邻域注意力层作去噪模块、结合预训练声学模型微调特征并设计训练推理差异化转移状态策略,在MAESTRO数据集上F1分数优于同类及基线模型。
2025-01-13 cs.AI cs.LG cs.SD
Automatic Piano Transcription with Hierarchical Frequency-Time Transformer
Sony Group Corporation(索尼集团公司);Sony Computer Science Laboratories(索尼计算机科学实验室)
本文提出hFT-Transformer,通过两级分层频率-时间Transformer架构捕获长期频谱与时间依赖,在MAPS和MAESTRO数据集上实现了自动钢琴转谱的最先进性能。
2023-07-10 cs.LG cs.SD eess.AS
High Resolution Guitar Transcription via Domain Adaptation
Queen Mary University of London(伦敦玛丽女王大学);Yamaha(雅马哈)
本文提出利用高分辨率钢琴转谱模型和乐谱-音频对齐数据训练吉他转谱模型,在GuitarSet上零样本取得最先进结果。
2024-02-23 cs.LG cs.SD eess.AS
Scoring Time Intervals using Non-Hierarchical Transformer For Automatic Piano Transcription
University of Rochester(罗切斯特大学)
本文提出一种基于非层次Transformer的区间评分方法,用于自动钢琴转录,通过缩放内积操作模拟注意力机制,在Maestro数据集上取得最先进性能。
2024-11-09 cs.LG cs.SD eess.AS
HPPNet: Modeling the Harmonic Structure and Pitch Invariance in Piano Transcription
Fudan University(复旦大学);National Institute of Informatics (NII)(国立信息学研究所)
虽然神经网络模型在钢琴转录方面取得了重大进展,但由于需要更大的模型大小和更多的计算能力,它们变得更加消耗资源。在本文中,我们尝试应用更多的先验知识来减少模型的大小,提高转录性能。钢琴音符的声音包含各种泛音,并且键的音高不会随着时间而改变。为了充分利用这些潜在的信息,我们提出了HPPNet,使用谐波膨胀卷积来捕获谐波结构,并使用频率分组递归神经网络来模拟音高随时间的不变性。在MAESTRO数据集上的实验结果表明,我们的钢琴转录系统在帧和音符分数上都达到了最先进的性能(帧F1 93.15%,音符F1 97.18%)。此外,模型大小比以前最先进的深度学习模型要小得多。
2022-08-31 cs.MM cs.SD eess.AS
Count The Notes: Histogram-Based Supervision for Automatic Music Transcription
针对自动音乐转录现有弱监督方法依赖局部对齐、易出错且计算成本高的问题,提出基于音符直方图监督的CountEM框架,无需显式局部对齐即可在低标注成本下达到更优性能。
2025-11-18 cs.LG cs.SD
Exploring Transformer's potential on automatic piano transcription
National University of Singapore(新加坡国立大学);Queen Mary University of London(伦敦大学玛丽女王学院);Harbin Institute of Technology(哈尔滨工业大学)
关于自动音乐转录(AMT)的最新研究使用卷积神经网络和递归神经网络来模拟从音乐信号到符号符号标记的映射。基于一个高分辨率的钢琴转录系统,我们探讨了将另一个强大的序列转换工具-Transformer -来处理AMT问题的可能性。我们认为,Transformer的属性使其更适合某些AMT子任务。我们通过在MAESTRO数据集上的实验和在MAPS数据集上的跨数据集评估,证实了Transformer在速度检测任务上的优越性。在引入Transformer网络后,我们观察到帧级和音符级指标的性能改善。
2022-04-08 cs.SD eess.AS
Statistical Learning and Estimation of Piano Fingering
Graduate School of Informatics, Kyoto University(京都大学信息学研究科);The Hakubi Center for Advanced Research, Kyoto University(京都大学白眉高级研究中心);National Institute of Technology, Kisarazu College(木更津工业高等专门学校)
钢琴指法的自动估计对于理解音乐演奏的计算过程和应用于演奏辅助和教育系统具有重要意义。虽然一个自然的方式来制定的指的质量是构建性能的约束/成本的模型,它通常是很难找到合适的参数值为这些模型。在这里,我们研究了一种替代的数据驱动的方法,基于统计建模,其中一个给定的指法的适当性描述的概率。具体来说,我们构建了两种类型的隐马尔可夫模型(HHALGORY)和它们的高阶扩展。我们还研究了基于深度神经网络(DNN)的方法进行比较。使用新发布的指法注释数据集,我们对这些模型以及代表性的基于约束的方法进行了系统的评估。我们发现,基于高阶Hynomial的方法优于其他方法的估计精度。我们还定量地研究了指法的个体差异,并提出了可用于多个地面真实数据的评价措施。我们的结论是,基于HMM的方法是目前最先进的,并产生可接受的指法在大多数地方,他们有一定的局限性,如忽视短语边界和相互依赖的双手。
2020-01-01 cs.LG cs.SD eess.AS
Scorpiano -- A System for Automatic Music Transcription for Monophonic Piano Music
Ss Cyril and Methodius University in Skopje(斯科普里圣西里尔与美多德大学);Faculty of Electrical Engineering and Information Technologies(电气工程与信息技术学院)
音乐转录是将音乐音频转录成音乐符号的过程。这是一个机器仍然无法击败人类表现的领域。自动音乐转录的主要动机是使任何演奏乐器的人都能够快速准确地生成一段音乐的音符。无论这个人是初学者,只是通过搜索来寻找乐谱,还是听到现场爵士乐即兴演奏并希望在不浪费时间进行手动转录的情况下重现它的专家。我们提出了Scorpiano-一个系统,可以自动生成一个简单的单声道钢琴旋律轨道使用数字信号处理的乐谱。该系统集成了多种数字音频处理方法:音符起始检测,速度估计,节拍检测,音高检测和最终生成乐谱。该系统已被证明给简单的钢琴旋律,与商业上可用的基于神经网络的系统相比,有很好的效果。
2021-08-24 cs.SD eess.AS
Piano Transcription by Hierarchical Language Modeling with Pretrained Roll-based Encoders
The Chinese University of Hong Kong(香港中文大学)
针对帧级AMT需手动阈值、LM方法难处理长序列的问题,提出结合预训练卷帘编码器与LM解码器的分层钢琴转录方法,显著提升F1并可作为通用增强插件。
2025-01-07 cs.AI cs.LG cs.SD
Towards Musically Informed Evaluation of Piano Transcription Models
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);Linz Institute of Technology(林茨技术研究所)
针对现有钢琴转写评估指标无法反映音乐质量、模型在分布外数据性能下降的问题,本研究提出音乐性知情评估指标,并通过实验对比SOTA模型性能,为转写结果的音乐性误差分析提供支撑。
2024-10-07 cs.SD eess.AS
Noise-to-Notes: Diffusion-based Generation and Refinement for Automatic Drum Transcription
Sony Group Corporation(索尼集团)
本研究提出N2N框架,利用扩散模型将音频条件高斯噪声转化为鼓件事件,结合退火伪Huber损失和音乐基础模型特征提升鲁棒性,实现自动鼓件转录的生成与细化。
2026-03-05 cs.LG cs.SD eess.AS
Onsets and Frames: Dual-Objective Piano Transcription
Google Brain Team(谷歌大脑团队)
我们通过使用深度卷积和递归神经网络来推进复调钢琴音乐转录的最新技术,该神经网络经过训练以联合预测起始和帧。我们的模型预测音高发生事件,然后使用这些预测条件帧音高预测。在推理过程中,我们通过不允许新音符开始来限制逐帧检测器的预测,除非起始检测器也同意该音高的起始存在于帧中。我们专注于同时改善起始和抵消,而不是孤立地改善,因为我们相信这与人类的音乐感知更相关。我们的方法在MAPS数据集上的注释F1得分(带偏移量)中得到了超过100%的相对改善。此外,我们扩展了该模型来预测归一化音频的相对速度,从而产生更自然的声音transanimation。
2018-06-05 cs.LG cs.SD eess.AS
High-resolution Piano Transcription with Pedals by Regressing Onset and Offset Times
ByteDance(字节跳动)
自动音乐转录(AMT)是将音频记录转录成符号表示的任务。近年来,基于神经网络的方法已被应用于AMT,并取得了最新的成果。然而,许多先前的系统仅检测音符逐帧的起始和偏移,因此转录分辨率受限于帧跳大小。缺乏使用不同的策略来编码训练的起始和偏移目标的研究。此外,先前的AMT系统对音频记录的未对准的起始和偏移标签敏感。此外,在大规模数据集上对持续踏板转录的研究也很有限。在这篇文章中,我们提出了一个高分辨率的AMT系统,通过回归精确的钢琴音符的开始和结束时间来训练。在推理方面,我们提出了一种算法来分析计算钢琴音符和踏板事件的精确开始和结束时间。我们表明,我们的AMT系统是强大的错位的起始和偏移标签相比,以前的系统。我们提出的系统在MAESTRO数据集上实现了96.72%的起始F1,优于之前94.80%的起始和帧系统。我们的系统实现了91.86%的踏板起始F1评分,这是MAESTRO数据集上的第一个基准结果。我们已经在https://github.com/bytedance/piano_transcription上发布了我们工作的源代码和检查点。
2021-07-31 cs.SD eess.AS
Non-Local Musical Statistics as Guides for Audio-to-Score Piano Transcription
Kyoto University(京都大学)
我们提出了一个自动钢琴转录系统,可以将复调录音转换为乐谱。这一直是音乐信息处理中的一个老大难问题,近年来的研究在多音高检测和节奏量化这两个主要组成技术上取得了显著的进展。鉴于这种情况,我们研究了一种集成基于深度神经网络的多音高检测和基于概率模型的节奏量化的方法。在第一部分中,我们进行了系统的评估,发现虽然本方法在音符水平上实现了高的转录准确度,但音乐的一些全局特征,如速度标度,节拍(时间标记)和小节线位置,经常被错误地估计。在第二部分中,我们制定了非本地统计的音高和节奏的内容,来自音乐知识,并研究他们的影响,推断这些全球性的特点。我们发现,这些统计数据是显着有效的提高转录结果,其最佳组合包括从分离的手部分获得的统计数据。在流行钢琴音乐的数据集上,该集成方法的总体转录出错率为7.1%,强拍F-测量为85.6%,并且所生成的转录可以部分地用于音乐表演和辅助人类转录者,从而展示了实际应用的潜力。
2021-04-03 cs.SD eess.AS
Polyphonic Piano Transcription Using Autoregressive Multi-State Note Model
Graduate School of Culture Technology, KAIST(韩国科学技术院文化技术研究生院);SK Telecom(SK电信)
复调钢琴转录的最新进展主要是通过精心设计的神经网络架构来实现的,该架构可以检测不同的音符状态,例如开始或维持,并对状态的时间演变进行建模。然而,它们中的大多数对每个音符状态使用单独的神经网络,从而优化多个损失函数,并且它们还通过状态神经网络之间的抽象连接或使用后处理模块来处理音符状态的时间演变。在本文中,我们提出了一种统一的神经网络架构,其中多个音符状态被预测为具有单个损失函数的softmax输出,并且通过单个神经网络内的自回归连接来学习时间顺序。这种紧凑的模型允许增加音符状态,而不会增加架构复杂性。使用MAESTRO数据集,我们研究了多个音符状态的各种组合,包括开,开始,持续,重新开始,偏移和关闭。我们还表明,自回归模块有效地学习状态间的依赖关系的笔记。最后,我们表明,我们提出的模型实现性能与国家的最先进的参数较少。
2020-10-02 cs.LG cs.SD eess.AS
Reconstructing the Charlie Parker Omnibook using an audio-to-score automatic transcription pipeline
Centre for Digital Music(数字音乐中心)
本研究提出一种模块化音频到乐谱转录流水线,结合源分离、MIDI转录及MIDI到乐谱方法,并构建带对齐标注的查理·帕克数据集作为新基准,旨在实现无需人工干预的复杂爵士乐谱自动重建。
2024-05-26 cs.SD eess.AS
Unaligned Supervision For Automatic Music Transcription in The Wild
Tel Aviv University(特拉维夫大学)
多乐器自动音乐转录(AMT),或将音乐记录解码成语义音乐内容,是音乐信息检索的圣杯之一。由于数据汇集困难,目前的AMT方法仅限于钢琴和(一些)吉他录音。为了克服数据汇集障碍,先前的AMT方法试图采用相同歌曲或作品的数字化版本形式的乐谱。分数通常使用音频特征和艰苦的人为干预来对齐以生成训练标签。我们介绍了NoteEM,这是一种在全自动过程中同时训练转录器并将分数与其相应性能对齐的方法。使用这种不对齐的监督方案,辅之以伪标签和音高偏移增强,我们的方法能够以前所未有的准确性和仪器多样性对野外录音进行训练。仅使用合成数据和未对齐的监督,我们报告了MAPS数据集的SOTA音符级准确性,以及跨数据集评估的大幅度优势。我们还展示了鲁棒性和易用性;我们报告了在小型、易于获得的自收集数据集上训练时的可比结果,并且我们提出了MusicNet数据集的替代标签,我们证明它更准确。我们的项目页面可以在https://benadar293.github.io上找到
2022-04-28 cs.AI cs.IR cs.LG
Improved Architecture for High-resolution Piano Transcription to Efficiently Capture Acoustic Characteristics of Music Signals
Nagoya University(名古屋大学)
本文针对高分辨率钢琴转录中泛音误检和模型过大的问题,提出基于常数Q变换与CRNN及非自回归Transformer解码器结合的改进架构,在提升音符级指标的同时显著减小模型规模。
2024-09-29 cs.SD eess.AS
Deep Polyphonic ADSR Piano Note Transcription
Austrian Research Institute for Artificial Intelligence(奥地利人工智能研究院);Johannes Kepler University(约翰内斯·开普勒大学)
我们研究了钢琴转录的后期融合方法,结合了手工制作的隐马尔可夫模型(HMM)形式的强时间先验。所考虑的网络结构是紧凑的,其参数的数量和易于梯度下降训练。网络输出在最后阶段中随时间融合以获得音符分段,其中HMM的转移概率基于通常用于声音合成的起奏、衰减、维持、释放(ADSR)包络的模型来选择。音符片段然后经受最终二元决策规则以拒绝太弱的音符片段假设。我们在MAPS数据集上获得了最先进的结果,并且在预测从起始到偏移的完整音符区域时,能够大幅优于其他方法。
2019-06-21 cs.SD eess.AS
Dialogue in Resonance: An Interactive Music Piece for Piano and Real-Time Automatic Transcription System
Graduate School of Culture Technology, KAIST(文化科技研究生院,韩国科学技术院)
本文提出交互式音乐作品《共鸣中的对话》,将实时自动音乐转录整合到基于乐谱的框架中,实现人类钢琴家与计算机控制钢琴之间的动态对话,并介绍了从作曲到首演的开发过程。
2025-05-22 cs.AI cs.SD eess.AS
Statistical Models for Automatic Fingering-Annotated Piano Sheet Music Transcription
University of Alberta(阿尔伯塔大学)
提出8种统计方法联合进行钢琴音符手部分离与指法标注,并构建从音频到指法乐谱的完整流水线,在PIG数据集上综合模型达到90.8%手部分离和56.6%联合标注准确率。
2026-09-25 cs.SD
ReconVAT: A Semi-Supervised Automatic Music Transcription Framework for Low-Resource Real-World Data
Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)(科学、技术与研究署(A*STAR)高性能计算研究所(IHPC));Singapore University of Technology and Design(新加坡科技设计大学)
当前大多数有监督的自动音乐转录(AMT)模型缺乏泛化能力。这意味着他们很难从标记的训练数据中没有呈现的不同音乐流派中转录真实世界的音乐录音。在本文中,我们提出了一个半监督框架ReconVAT,它通过利用大量可用的未标记音乐录音来解决这个问题。建议的ReconVAT使用重建损失和虚拟对抗训练。当与现有的AMT U-net模型相结合时,ReconVAT在MAPS和MusicNet等常见基准数据集上取得了有竞争力的结果。例如,在MusicNet的字符串部分版本的Few-Shot设置中,ReconVAT分别针对音符和音符偏移度量实现了61.0%和41.6%的F1分数,这意味着与监督基线模型相比提高了22.2%和62.5%。我们提出的框架还展示了对新数据进行持续学习的潜力,这在不断提供新数据的实际应用中可能是有用的。
2021-07-29 cs.LG cs.MM cs.SD
Combining piano performance dimensions for score difficulty classification
Universitat Pompeu Fabra(庞培法布拉大学);Sogang University(西江大学)
本文构建带 Henle Verlag 难度标注的钢琴乐谱 CIPI 数据集,并融合乐谱、指法与表现力等多维度表示及分类器输出,提升九等级乐谱难度分类性能。
2023-09-27 cs.SD eess.AS
ADTOF: A large dataset of non-synthetic music for automatic drum transcription
Umeå Universitet(于默奥大学);Universidad EAFIT Medellín(麦德林EAFIT大学)
在旋律乐器(DTM)存在的情况下进行鼓转录的最先进方法是以监督方式训练的机器学习模型,这意味着它们依赖于标记的数据集。问题在于,可用的公共数据集在大小或现实性方面都是有限的,因此对于训练目的来说是次优的。事实上,目前最好的结果是通过一个相当复杂的多步训练过程获得的,该过程涉及真实和合成数据集。为了解决这个问题,从观察到节奏游戏玩家的社区提供了大量的注释数据开始,我们策划了一个新的众包鼓transparency数据集。该数据集包含真实世界的音乐,经过手动注释,比任何其他非合成数据集大两个数量级,使其成为训练目的的主要候选者。然而,由于众包,最初的注释包含错误。我们讨论了如何通过自动纠正不同类型的错误来提高数据集的质量。当用于训练流行的DTM模型时,数据集产生的性能与DTM的最新技术水平相匹配,从而证明了注释的质量。
2021-11-23 cs.SD eess.AS
Audio-to-score alignment of piano music using RNN-based automatic music transcription
Graduate School of Culture Technology, KAIST(韩国科学技术院文化技术研究生院)
我们提出了一个框架,采用自动音乐转录(AMT)使用神经网络的钢琴演奏音频到乐谱对齐。即使AMT结果可能包含一些误差,音符预测输出也可以被认为是直接与后音符或色度表示相当的学习特征表示。为此,我们采用了两个经常性的神经网络,作为基于AMT的特征提取器的对齐算法。一个预测88个音符或12个色度在帧级中的存在,另一个检测12个色度中的音符起始。我们结合了两种类型的学习功能的音频到分数对齐。为了具有可比性,我们应用动态时间规整作为对齐算法,而无需任何额外的后处理。我们评估建议的框架上的MAPS数据集,并将其与以前的工作进行比较。结果表明,与学习功能的对齐框架显着提高了准确性,实现小于10 ms的平均起始误差。
2017-11-13 cs.SD eess.AS
Onsets and Velocities: Affordable Real-Time Piano Transcription Using Convolutional Neural Networks
University of Tübingen(图宾根大学);IMPRS-IS(国际马克斯·普朗克智能系统研究学院)
本文提出轻量级卷积模型ONSETS&VELOCITIES,以24毫秒低时间分辨率在MAESTRO数据集上实现起始检测F1=96.78%和起始+力度F1=94.50%的最新性能,同时保持实时能力。
2023-06-01 cs.SD eess.AS
Analyzing and reducing the synthetic-to-real transfer gap in Music Information Retrieval: the task of automatic drum transcription
Umeå university(于默奥大学);Universidad EAFIT(EAFIT大学)
本文研究自动鼓点转录中合成到真实的迁移差距问题,提出并评估了三种提高合成数据真实性的策略,构建了新数据集并验证其能有效降低迁移差距,同时揭示了无限数据训练的局限性及克服方法。
2024-07-29 cs.IR cs.LG cs.SD
InverseMV: Composing Piano Scores with a Convolutional Video-Music Transformer
National Chengchi University(国立政治大学)
许多社交媒体用户更喜欢以视频而不是文本的形式消费内容。然而,为了让内容创作者制作具有高点击率的视频,需要进行大量编辑以使镜头与音乐相匹配。这给更多的业余视频制作者带来了额外的挑战。因此,我们提出了一种新的基于注意力的模型VMT(视频音乐Transformer),自动生成钢琴乐谱从视频帧。使用模型生成的音乐还可以防止使用现有音乐时经常出现的潜在版权侵权。据我们所知,除了拟议的VMT之外,没有其他工作旨在为视频创作音乐。此外,缺乏具有对齐的视频和符号音乐的数据集。我们发布了一个新的数据集,由超过7个小时的钢琴乐谱组成,流行音乐视频和MIDI文件之间具有良好的对齐。我们对VMT,SeqSeq模型(我们的基线)和原始钢琴版本配乐进行了人类评估实验。VMT在音乐流畅度和视频相关性方面取得了持续的改进。特别是,通过相关性分数和我们的案例研究,我们的模型显示了音乐生成的帧级演员运动的多模态能力。我们的VMT模型,以及新的数据集,提出了一个很有前途的研究方向,为视频组成匹配的配乐。我们已经在https://github.com/linchintung/VMT上发布了我们的代码
2021-12-31 cs.CV cs.LG cs.MM
Human Transcription Quality Improvement
Amazon(亚马逊)
针对众包语音转录质量低的问题,提出置信度再处理与自动纠错两阶段方法,构建并发布 LibriCrowd,显著降低转录及 ASR 词错误率。
2023-09-24 cs.AI cs.CL cs.LG
RP1M: A Large-Scale Motion Dataset for Piano Playing with Bi-Manual Dexterous Robot Hands
University of Oulu(奥卢大学);Aalto University(阿尔托大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Southern California(南加利福尼亚大学)
为解决强化学习在多曲目机器人钢琴演奏中的泛化难题,提出含超百万轨迹的RP1M数据集,通过最优传输实现自动标注,并验证其能显著提升模仿学习方法的演奏性能。
2024-11-18 cs.AI cs.LG cs.RO
Is Transfer Learning Necessary for Violin Transcription?
针对小提琴自动音乐转录(AMT)标注数据有限的问题,研究表明在中等规模小提琴数据集MOSA上从头训练未修改的钢琴转录架构,在URMP和Bach10上性能与微调钢琴预训练模型相当甚至更优,说明无需迁移学习也能实现强大的小提琴AMT。
2025-08-20 cs.SD eess.AS
End-to-End Real-World Polyphonic Piano Audio-to-Score Transcription with Hierarchical Decoding
Integrative Sciences and Engineering Programme, NUS Graduate School(新加坡国立大学研究生院整合科学与工程项目);School of Computing, National University of Singapore(新加坡国立大学计算机学院)
针对钢琴音频到乐谱转录中调号/拍号检索难及仅用合成数据的问题,提出层次化解码器的Seq2Seq模型,经两阶段训练(合成预训练+真实微调)和**Kern预处理,在合成及人类录音上均验证有效。
2024-05-22 cs.AI cs.SD eess.AS
Multi-Task Multi-Frame Visual Piano Transcription
针对视觉钢琴转录系统音尾准确率低、未报告力度的问题,提出V2N多任务视觉钢琴转录系统,采用逐帧监督训练,在PianoVAM和R3上取得最优结果。
2026-08-05 cs.AI cs.CV cs.MM
Sound and Music Biases in Deep Music Transcription Models: A Systematic Analysis
本文分析了深度音乐转录模型在不同音乐风格和声音条件下的性能差异,发现音乐风格和声音质量对转录效果有显著影响。
2025-12-16 cs.LG cs.SD
Towards multi-instrument drum transcription
TU Wien(维也纳工业大学);Johannes Kepler University(约翰内斯·开普勒大学)
自动鼓转录,更一般的自动音乐转录的子任务,处理从音频源提取鼓乐器音符起始。最近,使用非负矩阵分解以及深度学习方法在转录性能方面取得了进展。然而,这些作品主要集中在转录三个鼓乐器只:小鼓,低音鼓,和踩帽。然而,对于许多应用程序来说,转录更多鼓乐器的能力是可取的,这些鼓乐器构成了西方流行音乐中使用的标准鼓套件。在这项工作中,卷积和卷积递归神经网络被训练来转录更广泛的鼓乐器。首先,公开可用的数据集在这方面的缺点进行了讨论。为了克服这些限制,引入了更大的合成数据集。然后,研究了使用新数据集来训练模型的方法,重点是对真实世界数据的泛化。最后,在公开的数据集上对训练的模型进行了评估,并对结果进行了讨论。这项工作的贡献包括:(一)用于鼓转录的大规模合成数据集,(ii.)通过评估和讨论训练设置和数据集在此背景下的影响,迈向支持更大范围乐器的自动鼓转录系统的第一步,以及(iii.)一组公开可用的鼓转录训练模型。其他材料请访问http://ifs.tuwien.ac.at/~vogl/dafx2018
2018-10-03 cs.IR cs.NE cs.SD
A database linking piano and orchestral MIDI scores with application to automatic projective orchestration
IRCAM(法国声学/音乐研究与协调研究所);Schulich School of Music, McGill University(麦吉尔大学舒立克音乐学院)
本文介绍了投影乐谱数据库(POD),一个由钢琴乐谱和相应的管弦乐组成的投影乐谱数据库。据我们所知,这是第一个进行钢琴或管弦乐预测的数据库,但更重要的是,它试图学习钢琴和管弦乐乐谱之间的相关性。因此,我们还介绍了投射配器任务,它包括学习如何执行钢琴乐谱的自动配器。我们展示了如何使用学习方法来解决这一任务,并提供方法指南,以正确使用这个数据库。
2018-10-19 cs.LG cs.SD eess.AS
An End-to-End Neural Network for Polyphonic Piano Music Transcription
Queen Mary University of London(伦敦玛丽女王大学)
提出了一种有监督的神经网络模型用于钢琴复调音乐的改编。所提出的模型的架构是类似于语音识别系统,包括一个声学模型和一个音乐语言模型。声学模型是用于估计音频帧中音高的概率的神经网络。语言模型是一个循环神经网络,它对音高组合之间随时间的相关性进行建模。所提出的模型是通用的,可以用来转录复调音乐,而不施加任何限制的复调。声学和语言模型预测使用概率图形模型相结合。使用波束搜索算法对输出变量进行推断。我们进行了两组实验。我们研究了各种神经网络架构的声学模型,并研究了结合声学和音乐语言模型预测使用所提出的架构的效果。我们比较性能的神经网络为基础的声学模型与两个流行的无监督声学模型。结果表明,卷积神经网络声学模型在所有评估指标中产生最佳性能。我们还观察到改进的性能与应用的音乐语言模型。最后,我们提出了一个有效的波束搜索的变体,提高了性能,减少了一个数量级的运行时间,使模型适合实时应用。
2016-02-11 cs.LG cs.SD stat.ML
Rhythm Transcription of Polyphonic Piano Music Based on Merged-Output HMM for Multiple Voices
Kyoto University(京都大学);Meiji University(明治大学)
在最近的会议论文中,我们报告了一种基于合并输出隐马尔可夫模型(HMM)的节奏转录方法,该模型明确描述了复调音乐的多声部结构。该模型解决了传统方法无法正确描述多个声音的性质的主要问题,如在多节奏的分数或声音之间的松散同步现象。在本文中,我们提出了一个完整的描述所提出的模型,并开发了一种推理技术,这是有效的任何合并输出的输出概率依赖于过去的事件的障碍。我们还研究了该方法的结构和参数的影响,节奏转录和语音分离的准确性,并与其他六种算法进行比较评估。使用古典钢琴作品的录音,我们发现,所提出的模型优于其他方法超过12个点的多节奏表演的准确性,并表现得几乎一样好的最好的一个非多节奏表演。这在文献中首次揭示了最先进的节奏转录方法。还提供了公开的源代码,以供将来进行比较。
2017-01-29 cs.AI cs.SD
A Distribution Matching Approach to Neural Piano Transcription with Optimal Transport
Graduate School of Informatics, Kyoto University, Japan(京都大学信息科学研究生院,日本);Graduate School of Engineering, Kyoto University, Japan(京都大学工学研究生院,日本);Independent Researcher, Hong Kong, China(香港中国独立研究者)
本文提出将自动钢琴转录视为最优传输问题,而非帧级多标签二分类问题,通过最小化预测音符分布到真实分布的传输成本,提升了时间对齐的感知相关性,并提出了一种带有谐波感知注意力机制的卷积循环神经网络来捕捉音乐中的频谱-时间依赖性。
2026-05-17 cs.MM cs.SD