PianoVAM: A Multimodal Piano Performance Dataset
本文提出PianoVAM多模态钢琴演奏数据集,包含视频、音频、MIDI、手部关键点及指法标签,并给出音视频钢琴转录基准结果。
2025-09-10 cs.AI cs.CV cs.MM
PianoKontext: Expressive Performance Rendering from Deadpan Context
Dmitrii Gavrilev
提出PianoKontext,一种基于流匹配的钢琴演奏渲染模型,通过动态时间规整对齐乐谱与演奏的潜在表示,生成可变长度的表现力演奏。
2026-06-11 cs.LG cs.SD
Fine-Tuning MIDI-to-Audio Alignment using a Neural Network on Piano Roll and CQT Representations
Klangio GmbH(Klangio公司);University of Music Karlsruhe(卡尔斯鲁厄音乐学院);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文提出一种卷积循环神经网络(CRNN)方法,通过处理未对齐的钢琴卷帘谱和频谱图来估计对齐的钢琴卷帘谱,以解决人类钢琴演奏音频与松散对齐MIDI文件的同步问题,其准确率比DTW方法高出20%。
2025-06-27 cs.CL cs.MM cs.SD
Learning Sparse Analytic Filters for Piano Transcription
University of Rochester(罗切斯特大学)
近年来,滤波器组学习已经成为各种音频相关机器学习任务的一种越来越流行的策略。这部分是由于它能够发现特定于任务的音频特征,这些特征可以在下游处理中利用。它也是几乎无处不在的深度学习方法的自然扩展,用于处理各种音频应用程序。在这项工作中,一个前端滤波器组学习模块的几个变化进行了研究钢琴转录,一个具有挑战性的低层次的音乐信息检索任务。我们建立在一个标准的钢琴转录模型,修改只有特征提取阶段。滤波器组模块被设计成使得其复数滤波器是具有长感受野的无约束1D卷积核。其他变体采用希尔伯特变换来呈现滤波器本质上是解析的,并应用变分丢弃来促进滤波器组稀疏性。转录结果在所有实验中进行比较,我们提供可视化和分析的过滤器。
2022-11-10 cs.LG cs.SD eess.AS
Audio-to-score alignment of piano music using RNN-based automatic music transcription
Graduate School of Culture Technology, KAIST(韩国科学技术院文化技术研究生院)
我们提出了一个框架,采用自动音乐转录(AMT)使用神经网络的钢琴演奏音频到乐谱对齐。即使AMT结果可能包含一些误差,音符预测输出也可以被认为是直接与后音符或色度表示相当的学习特征表示。为此,我们采用了两个经常性的神经网络,作为基于AMT的特征提取器的对齐算法。一个预测88个音符或12个色度在帧级中的存在,另一个检测12个色度中的音符起始。我们结合了两种类型的学习功能的音频到分数对齐。为了具有可比性,我们应用动态时间规整作为对齐算法,而无需任何额外的后处理。我们评估建议的框架上的MAPS数据集,并将其与以前的工作进行比较。结果表明,与学习功能的对齐框架显着提高了准确性,实现小于10 ms的平均起始误差。
2017-11-13 cs.SD eess.AS
Learning To Generate Piano Music With Sustain Pedals
Research Center for IT Innovation, Academia Sinica(中央研究院信息技术创新研究中心);Center for Music Technology, Georgia Institute of Technology(佐治亚理工学院音乐技术中心);Taiwan AI Labs(台湾人工智能实验室)
近年来,在音乐信息检索领域,从音频信号中检测钢琴踏板的研究引起了越来越多的关注。然而,据我们所知,最近的符号音乐生成模型很少考虑钢琴踏板。在这项工作中,我们采用Kong等人提出的转录模型从AILabs1k7数据集中的钢琴演奏音频记录中获取踏板信息,然后修改Hsiao等人提出的复合词Transformer,以构建一个Transformer解码器,该解码器生成踏板相关标记以及其他音乐标记。虽然这项工作是通过使用推断的维持踏板信息作为训练数据来完成的,但结果显示了进一步改进的希望以及维持踏板参与钢琴演奏生成任务的重要性。
2021-11-01 cs.AI cs.LG cs.SD
Joint Estimation of Piano Dynamics and Metrical Structure with a Multi-task Multi-Scale Network
The University of Western Australia(西澳大学);The University of New South Wales(新南威尔士大学)
本文提出一种多任务多尺度网络,用于联合估计钢琴动态与节拍结构,通过Bark尺度响度输入实现高效模型压缩和长序列处理,取得最佳性能。
2026-02-03 cs.LG cs.SD eess.AS
Enabling Factorized Piano Music Modeling and Generation with the MAESTRO Dataset
Google Brain(谷歌大脑);DeepMind(深度思维)
直接用神经网络生成音乐音频是非常困难的,因为它需要在许多不同的时间尺度上连贯地建模结构。幸运的是,大多数音乐也是高度结构化的,可以表示为乐器上演奏的离散音符事件。在这里,我们表明,通过使用笔记作为中间表示,我们可以训练一套模型,能够转录,合成和合成的音频波形与连贯的音乐结构的时间跨度为6个数量级(~0.1毫秒到~100秒),我们称之为波2 Midi 2 Wave的过程。我们发布的新MAESTRO(为同步曲目和组织编辑的音乐和音频)数据集实现了这一最先进技术的巨大进步,该数据集由超过172小时的钢琴演奏组成,在音符标签和音频波形之间精确对齐(约3 ms)。该网络和数据集一起为创建新的表达和可解释的音乐神经模型提供了一种有前途的方法。
2019-01-17 cs.LG cs.SD eess.AS
Non-Local Musical Statistics as Guides for Audio-to-Score Piano Transcription
Kyoto University(京都大学)
我们提出了一个自动钢琴转录系统,可以将复调录音转换为乐谱。这一直是音乐信息处理中的一个老大难问题,近年来的研究在多音高检测和节奏量化这两个主要组成技术上取得了显著的进展。鉴于这种情况,我们研究了一种集成基于深度神经网络的多音高检测和基于概率模型的节奏量化的方法。在第一部分中,我们进行了系统的评估,发现虽然本方法在音符水平上实现了高的转录准确度,但音乐的一些全局特征,如速度标度,节拍(时间标记)和小节线位置,经常被错误地估计。在第二部分中,我们制定了非本地统计的音高和节奏的内容,来自音乐知识,并研究他们的影响,推断这些全球性的特点。我们发现,这些统计数据是显着有效的提高转录结果,其最佳组合包括从分离的手部分获得的统计数据。在流行钢琴音乐的数据集上,该集成方法的总体转录出错率为7.1%,强拍F-测量为85.6%,并且所生成的转录可以部分地用于音乐表演和辅助人类转录者,从而展示了实际应用的潜力。
2021-04-03 cs.SD eess.AS
Can Audio Reveal Music Performance Difficulty? Insights from the Piano Syllabus Dataset
Music Technology Group, Universitat Pompeu Fabra(庞培法华大学音乐技术小组);Music & Art Learning Lab, Sogang University(ソガン大学音乐与艺术学习实验室);Pattern Recognition and Artificial Intelligence Group, University of Alicante(阿尔基兰特大学模式识别与人工智能小组)
本研究首创基于音频录音的乐曲演奏难度自动评估方法,构建了首个包含7,901首作品的Piano Syllabus数据集,并提出支持单模态与多模态输入的识别框架,实验证明其有效性。
2025-05-28 cs.SD eess.AS
Aria-MIDI: A Dataset of Piano MIDI Files for Symbolic Music Modeling
Queen Mary University of London(伦敦大学Queen Mary分校)
本文提出Aria-MIDI数据集,通过多阶段管道将钢琴音频转录为MIDI文件,包含超百万文件和10万小时音频,为符号音乐建模提供丰富资源。
2025-04-21 cs.AI cs.LG cs.SD
Audio-to-symbolic Arrangement via Cross-modal Music Representation Learning
NYU Shanghai(上海纽约大学);Tencent PCG(腾讯平台与内容事业群)
我们能否根据流行歌曲的音频自动推导出钢琴伴奏的乐谱?这就是我们在本文中所要解决的音频到符号的排列问题。一个好的编曲模型不仅要考虑音频内容,还要有钢琴作曲的先验知识(这样生成的作品听起来像音频,同时保持音乐性)。为此,我们贡献了一个跨模态表示学习模型,该模型1)从音频中提取和弦和旋律信息,2)从音频和损坏的地面真值排列中学习纹理表示。我们进一步引入了一个量身定制的训练策略,逐渐将纹理信息的来源从损坏的分数转移到音频。最后,基于分数的纹理后验被简化为标准的正态分布,并且仅需要音频进行推理。实验表明,我们的模型捕捉主要的音频信息,并优于基线的生成质量。
2022-02-22 cs.LG cs.SD eess.AS
PiCoGen2: Piano cover generation with transfer learning approach and weakly aligned data
National Taiwan University(台湾大学)
本文提出 PiCoGen2,通过钢琴独奏预训练与弱对齐歌曲-钢琴数据微调,结合主旋律谱编码器迁移作曲知识,在五类流行音乐的主客观评测中优于基线。
2024-08-02 cs.SD eess.AS
Towards An Integrated Approach for Expressive Piano Performance Synthesis from Music Scores
Queen Mary University of London(伦敦玛丽女王大学);National Institute of Informatics(情报学研究所);NICT(日本信息通信研究机构);UKRI Centre for Doctoral Training in Artificial Intelligence and Music(英国研究理事会人工智能与音乐博士培训中心);China Scholarship Council(中国留学基金委)
本研究提出一种集成系统,结合基于Transformer的EPR模型与微调神经MIDI合成器,将无表情控制的乐谱MIDI直接转换为富有表现力的钢琴音频,经ATEPP数据集测试,在还原人类表现力、捕捉环境声学氛围的同时保证了良好音频质量。
2025-01-17 cs.SD eess.AS
End-to-End Real-World Polyphonic Piano Audio-to-Score Transcription with Hierarchical Decoding
Integrative Sciences and Engineering Programme, NUS Graduate School(新加坡国立大学研究生院整合科学与工程项目);School of Computing, National University of Singapore(新加坡国立大学计算机学院)
针对钢琴音频到乐谱转录中调号/拍号检索难及仅用合成数据的问题,提出层次化解码器的Seq2Seq模型,经两阶段训练(合成预训练+真实微调)和**Kern预处理,在合成及人类录音上均验证有效。
2024-05-22 cs.AI cs.SD eess.AS
GiantMIDI-Piano: A large-scale MIDI dataset for classical piano music
ByteDance(字节跳动)
符号音乐数据集对于音乐信息检索和音乐分析具有重要意义。然而,古典钢琴音乐缺乏大规模的符号数据集。在本文中,我们创建了一个GiantMIDI-Piano(GP)数据集,其中包含由2,786位作曲家创作的38,700,838个转录音符和10,855个独特的钢琴独奏作品。我们从国际乐谱库项目(IMSLP)中提取音乐作品名称和作曲家姓名。我们从互联网上搜索并下载相应的音频记录。我们进一步通过限制包含作曲家姓氏的下载录音的标题来创建一个精选子集,其中包含由1,787位作曲家创作的7,236首作品。我们应用卷积神经网络来检测钢琴独奏作品。然后,我们使用高分辨率钢琴转录系统将这些钢琴独奏录音转录到乐器数字接口(MIDI)文件中。每一个转录的音准文件都包含钢琴音符和踏板的起始、偏移、音高和速度属性。GiantMIDI-Piano包括90%的现场演奏MIDI文件和10%的序列输入MIDI文件。我们对GiantMIDI-Piano的统计数据进行了分析,并显示了不同时代的六位作曲家的音高类,音程,三弦琴和四弦琴频率,以表明GiantMIDI-Piano可以用于音乐分析。我们评估的质量GiantMIDI钢琴独奏钢琴检测F1分数,元数据的准确性,和转录出错率。我们在https://github.com/bytedance/GiantMIDI-Piano上发布了获取GiantMIDI-Piano数据集的源代码
2022-04-21 cs.IR cs.SD eess.AS
Towards Video to Piano Music Generation with Chain-of-Perform Support Benchmarks
AI Lab, Giant Network(AI实验室,巨人网络);University of Trento(特伦托大学)
针对视频生成钢琴音乐缺乏专门基准的问题,提出CoP基准数据集,提供多模态标注、多功能评估框架及完全开源,以促进高质量生成研究。
2025-05-26 cs.CV cs.SD eess.AS
Learning Music Style for Piano Arrangement Through Cross-Modal Bootstrapping
本文提出跨模态框架,受BLIP-2启发用Q-Former从预训练音频LM提取风格表示,经两阶段训练实现可控风格钢琴编曲,在多项任务中提升了风格对齐与音乐质量。
2026-08-05 cs.AI cs.MM cs.SD
Text-to-Speech Synthesis Techniques for MIDI-to-Audio Synthesis
National Institute of Informatics(国立信息学研究所)
语音合成和从符号输入生成音乐音频在许多方面不同,但有一些相似之处。在这项研究中,我们调查如何文本到语音合成技术可以用于钢琴MIDI到音频合成任务。我们的研究包括Tacotron和神经源滤波器波形模型作为基本组件,我们以类似于TTS框架的方式构建MIDI到音频合成系统。我们还包括使用传统声音建模技术的参考系统,例如基于样本和基于物理建模的方法。主观实验结果表明,所研究的TTS组件可以应用于钢琴MIDI到音频合成的微小修改。结果还揭示了性能瓶颈-虽然波形模型可以合成高质量的钢琴声,给定的自然声学特征,从声音到声学特征的转换是具有挑战性的。完整的MIDI到音频合成系统仍然不如基于样本或基于物理建模的方法,但我们鼓励TTS研究人员测试他们的TTS模型,以完成这项新任务,并提高性能。
2022-02-24 cs.SD eess.AS
MIDI-VALLE: Improving Expressive Piano Performance Synthesis Through Neural Codec Language Modelling
针对传统音乐演奏合成模型泛化性差的问题,提出改编自VALLE的神经编解码器语言模型MIDI-VALLE,将MIDI和音频统一编码为离散token进行建模,在多项数据集和听音测试中显著优于基线。
2025-07-11 cs.AI cs.SD eess.AS
Pairing Real-Time Piano Transcription with Symbol-level Tracking for Precise and Robust Score Following
Institute of Computational Perception, Johannes Kepler University(计算感知研究所,约翰尼斯·凯普尔大学);LIT AI Lab, Linz Institute of Technology(林茨人工智能实验室,林茨技术研究所)
本文提出一种混合音频-符号的实时乐谱跟随方法,通过结合钢琴音频转录与新型符号级跟踪器,在跟踪精度和稳健性上均优于传统纯音频在线时间规整方法。
2025-05-08 cs.SD eess.AS
Scorpiano -- A System for Automatic Music Transcription for Monophonic Piano Music
Ss Cyril and Methodius University in Skopje(斯科普里圣西里尔与美多德大学);Faculty of Electrical Engineering and Information Technologies(电气工程与信息技术学院)
音乐转录是将音乐音频转录成音乐符号的过程。这是一个机器仍然无法击败人类表现的领域。自动音乐转录的主要动机是使任何演奏乐器的人都能够快速准确地生成一段音乐的音符。无论这个人是初学者,只是通过搜索来寻找乐谱,还是听到现场爵士乐即兴演奏并希望在不浪费时间进行手动转录的情况下重现它的专家。我们提出了Scorpiano-一个系统,可以自动生成一个简单的单声道钢琴旋律轨道使用数字信号处理的乐谱。该系统集成了多种数字音频处理方法:音符起始检测,速度估计,节拍检测,音高检测和最终生成乐谱。该系统已被证明给简单的钢琴旋律,与商业上可用的基于神经网络的系统相比,有很好的效果。
2021-08-24 cs.SD eess.AS
High-Resolution Sustain Pedal Depth Estimation from Piano Audio Across Room Acoustics
本文提出基于Transformer的钢琴延音踏板连续深度估计方法,在二值分类上达到最优性能,并通过合成数据集揭示房间混响会导致模型预测产生高估偏差。
2025-07-06 cs.AI cs.IR cs.SD
PianoMotion10M: Dataset and Benchmark for Hand Motion Generation in Piano Performance
Zhejiang University(浙江大学)
针对钢琴教学中的指法指导问题,构建了包含116小时视频和1000万手部姿态的PianoMotion10M数据集与基准,并提出基于位置预测和手势生成的基线模型,为钢琴手部运动生成提供评估基准。
2025-02-25 cs.AI cs.CV cs.MM
Semi-Supervised Convolutive NMF for Automatic Piano Transcription
INSA-Lyon(里昂国立应用科学学院);UCBL(里昂第一大学);Univ Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);INSA Rennes(雷恩国立应用科学学院);UJM-Saint Etienne(圣艾蒂安大学);Inserm(法国国家健康与医学研究院)
自动音乐转录是将音乐表演的音频记录转换为符号格式,它仍然是一项困难的音乐信息检索任务。在这项工作中,重点是钢琴转录,我们提出了一个半监督的方法,使用低秩矩阵分解技术,特别是卷积非负矩阵分解。在半监督设置中,只需要对每个音符进行单次记录。我们在MAPS数据集上表明,所提出的半监督CNMF方法的性能优于最先进的低秩因子分解技术,略差于监督深度学习最先进的方法,但存在泛化问题。
2022-04-14 cs.LG cs.SD eess.AS
Sequence-to-Sequence Piano Transcription with Transformers
Google Research(谷歌研究院)
自动音乐转录近年来通过在大型数据集上训练自定义深度神经网络取得了重大进展。然而,这些模型需要广泛的特定于域的网络架构,输入/输出表示和复杂的解码方案的设计。在这项工作中,我们表明使用通用编码器-解码器Transformer和标准解码方法可以实现同等性能。我们证明了该模型可以学习将声谱图输入直接转换为几个转录任务的MIDI类输出事件。这种序列到序列的方法通过联合建模音频特征和类似语言的输出依赖关系来简化转录,从而消除了对特定于任务的架构的需求。这些结果指出,通过专注于数据集的创建和标记,而不是自定义模型设计,创建新的音乐信息检索模型的可能性。
2021-07-19 cs.LG cs.SD eess.AS
Spiking Music: Audio Compression with Event Based Auto-encoders
EPFL(洛桑联邦理工学院);Laboratory of Computational Neuroscience(计算神经科学实验室)
本文提出一种基于事件的自编码器音频压缩方法,利用深度二元自编码器在高稀疏度下生成尖峰表示,在MAESTRO数据集上实现与向量量化自编码器相当的压缩性能,并自发涌现出与钢琴键敲击同步的选择性编码。
2024-02-02 cs.LG cs.NE cs.SD
Audeo: Audio Generation for a Silent Performance Video
University of Washington(华盛顿大学)
我们提出了一个新的系统,作为一个音乐家弹钢琴的输入视频帧,并生成该视频的音乐。从视觉线索生成音乐是一个具有挑战性的问题,目前还不清楚这是否是一个可以实现的目标。我们在这项工作中的主要目的是探索这种转变的可解释性,并确定能够进行声音与视觉事件的关联的线索和组件。为了实现转换,我们构建了一个名为“\textit{Audeo}”的完整管道,其中包含三个组件。我们首先将键盘和音乐家手部动作的视频帧翻译成原始的机械音乐符号表示Piano-Roll(Roll),用于表示在每个时间步按下的键的每个视频帧。然后,我们调整滚动,以适应音频合成,包括时间相关性。这一步对于有意义的音频生成至关重要。作为最后一步,我们实现MIDI合成器来生成逼真的音乐。\textit{Audeo}可将视频平滑清晰地转换为音频,仅需几个设置限制。我们评估\textit{Audeo}上“在野外”钢琴演奏视频,并获得他们所产生的音乐是合理的音频质量,可以成功地识别流行的音乐识别软件的高精度。
2020-06-23 cs.CV cs.LG cs.MM
EMOPIA: A Multi-Modal Pop Piano Dataset For Emotion Recognition and Emotion-based Music Generation
Academia Sinica(中央研究院);National Taiwan University(台湾大学);KAIST(韩国科学技术院);Georgia Institute of Technology(佐治亚理工学院)
虽然在文献中有许多带有情感标签的音乐数据集,但它们不能用于符号域音乐分析或生成的研究,因为通常只有音频文件。在本文中,我们提出了EMOPIA(发音为“yee-milling-pi-uh”)数据集,一个共享的多模态(音频和音频)数据库,专注于流行钢琴音乐中的感知情感,以促进与音乐情感相关的各种任务的研究。该数据集包含来自387首歌曲的1,087个音乐片段和由四个专用注释器注释的片段级情感标签。由于剪辑不限于每首歌曲一个剪辑,因此它们也可以用于歌曲级分析。我们提出了构建数据集的方法,包括歌曲列表管理,剪辑选择和情感注释过程。此外,我们原型的剪辑级音乐情感分类和基于情感的符号音乐生成的使用情况下,通过训练和评估相应的模型使用的数据集。结果表明,EMOPIA被用于未来的探索钢琴情绪相关的MIR任务的潜力。
2021-08-03 cs.MM cs.SD eess.AS
PiCoGen: Generate Piano Covers with a Two-stage Approach
National Taiwan University(台湾大学);KKCompany Technologies(KKCompany科技公司)
提出两阶段钢琴翻唱生成方法PiCoGen,通过转录旋律与和弦并以此为条件生成符号域钢琴翻唱,无需配对数据即可展现优异性能。
2024-07-30 cs.SD eess.AS
Scaling Self-Supervised Representation Learning for Symbolic Piano Performance
本文将 SimCLR 框架适配于符号音乐,基于约 6 万小时数据预训练生成式自回归 Transformer 模型,生成对比 MIDI 嵌入,在钢琴续写与 MIR 分类基准上达到 SOTA 且具强泛化能力。
2025-06-30 cs.AI cs.LG cs.SD
Exploring Conditioning for Generative Music Systems with Human-Interpretable Controls
Dalhousie University(达尔豪斯大学);Vector Institute(向量研究所)
Performance RNN是一个机器学习系统,主要用于使用基于事件(而不是音频)的表示生成钢琴独奏表演。更具体地说,Performance RNN是一种基于长短期记忆(LSTM)的递归神经网络,其利用表达性定时和动态来对复调音乐进行建模(Oore et al.,2018年)。神经网络使用基于乐器数字接口(Musical Instrument Digital Interface,MIDI)文件格式的简单语言模型。Performance RNN在e-Piano Junior Competition Dataset(2018年国际钢琴电子竞赛)上进行训练,这是专家钢琴家的钢琴独奏表演的集合。作为一种艺术工具,原始模型的局限性之一是缺乏可用的控件。性能RNN的标准形式可以生成有趣的片段,但对具体生成的内容几乎没有控制。本文探讨了一套基于条件的控制,用于影响生成过程。
2019-08-04 cs.LG cs.SD eess.AS
A Data-Driven Analysis of Robust Automatic Piano Transcription
Queen Mary University of London(伦敦玛丽女王大学);Yamaha Corporation(雅马哈公司)
本研究从训练数据视角探究自动钢琴转谱系统,发现模型易过拟合训练数据的声学特性,通过制作MAESTRO新音频并结合数据增强技术,在零样本适配MAPS数据集时取得88.4 F1-score的最优音符起始点准确率,并通过消融实验分析增强技术的作用。
2024-02-02 cs.LG cs.SD eess.AS
Acoustics-specific Piano Velocity Estimation
University of Milan(米兰大学)
本文提出了一种基于声音特性的钢琴速度估计方法,通过模块化模型实现对乐器和声学环境特性的建模,提升了自动音乐转录的准确性。
2022-06-29 cs.LG cs.SD eess.AS
SKY-Piano: A Multimodal Piano Performance Dataset
Seoul National University(首尔大学);KAIST(韩国科学技术院);Yamaha(雅马哈)
该研究发布SKY-Piano多模态钢琴演奏数据集,含多类数据及标注工具,通过微调实验验证其用于MIDI到动作生成的可用性。
2026-07-31 cs.MM cs.SD
Music-JEPA: Learning a World Model of Sound from Action
研究提出Music-JEPA,将音乐构建为动作条件系统,用JEPA学习钢琴声音世界模型,在离线状态下用配对数据训练。实验表明模型能捕捉音乐动作与声音关系,其表示支持下游任务并能通过规划实现钢琴转录。
2026-07-27 cs.SD
The Piano Inpainting Application
Sony Computer Science Laboratories(索尼计算机科学实验室)
自回归模型现在能够生成高质量的长达一分钟的表现力的钢琴演奏。尽管这一进展提出了新的工具来帮助音乐创作,但我们观察到,生成算法仍然没有被艺术家广泛使用,因为它们提供的控制有限,推理时间过长或音乐家工作流程中缺乏整合。在这项工作中,我们提出了钢琴修复应用程序(PIA),这是一个专注于修复钢琴表演的生成模型,因为我们相信这种基本操作(恢复钢琴表演的缺失部分)鼓励人机交互,并开辟了新的方法来处理音乐创作。我们的方法依赖于一个编码器-解码器线性Transformer架构训练的一种新的表示为钢琴演奏称为结构化的编码。通过揭示线性Transformers和我们的修复任务之间有趣的协同作用,我们能够有效地修复钢琴演奏的连续区域,这使得我们的模型适合交互式和响应式AI。辅助构图。最后,我们介绍我们的免费Ableton Live PIA插件,它允许音乐家在广泛使用的专业数字音频工作站内使用PIA顺利生成或修改任何视频剪辑。
2021-07-13 cs.AI cs.SD eess.AS
Multi-Task Multi-Frame Visual Piano Transcription
针对视觉钢琴转录系统音尾准确率低、未报告力度的问题,提出V2N多任务视觉钢琴转录系统,采用逐帧监督训练,在PianoVAM和R3上取得最优结果。
2026-08-05 cs.AI cs.CV cs.MM
Piano Transcription by Hierarchical Language Modeling with Pretrained Roll-based Encoders
The Chinese University of Hong Kong(香港中文大学)
针对帧级AMT需手动阈值、LM方法难处理长序列的问题,提出结合预训练卷帘编码器与LM解码器的分层钢琴转录方法,显著提升F1并可作为通用增强插件。
2025-01-07 cs.AI cs.LG cs.SD
Audio to Body Dynamics
Facebook Inc.(脸书公司);University of Washington(华盛顿大学);Stanford University(斯坦福大学)
我们提出了一种方法,得到作为输入的小提琴或钢琴演奏的音频,并输出的骨架预测,进一步用于动画化身的视频。关键的想法是创建一个动画的化身,移动他们的手类似于钢琴家或小提琴家会做什么,只是从音频。目标是一个完整详细的正确的手臂和手指运动是一个目标,然而,目前还不清楚是否可以从音乐中预测身体运动。在本文中,我们提出的第一个结果表明,自然体动力学可以预测。我们构建了一个LSTM网络,它是在上传到互联网的小提琴和钢琴独奏会视频上训练的。预测的点被应用到操纵的化身上以创建动画。
2017-12-19 cs.CV cs.SD eess.AS
Attention as a Perspective for Learning Tempo-invariant Audio Queries
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);Charles University(查理大学)
当前的音频--通过多模态嵌入空间学习的乐谱检索模型使用卷积神经网络,其输入音频窗口大小固定。根据查询演奏的节奏,该窗口捕获或多或少的音乐内容,而乐谱中的音符头密度在很大程度上与节奏无关。在这项工作中,我们解决了这种差异与软注意力机制,它允许模型编码的音频摘录,最相关的高效查询代码的那些部分。对古典钢琴音乐的实验结果表明,注意有利于提取绩效,并表现出直观的吸引力行为。
2018-09-15 cs.LG cs.SD eess.AS
Expressive MIDI-format Piano Performance Generation
University of California San Diego(加利福尼亚大学圣迭戈分校)
该工作提出一种生成MIDI格式表现力丰富钢琴演奏的神经网络,通过微时序、复调、力度和踏板效果实现表现力,克服符号音乐局限,生成效果可与音频生成媲美。
2024-12-13 cs.AI cs.SD eess.AS
A Framework for Automated Pop-song Melody Generation with Piano Accompaniment Arrangement
New York University Shanghai(上海纽约大学);Fudan University(复旦大学)
我们贡献了一个流行歌曲自动化框架的主旋律生成和伴奏安排。该框架反映了人类音乐创作的主要程序,通过统一的策略生成主旋律和钢琴伴奏。具体来说,我们以和弦进行为输入,并提出了三种模型来生成一个结构化的旋律与钢琴伴奏纹理。首先,和声交替模型将原始输入和弦进行变换为经改变的和弦进行,以更好地适应指定的音乐风格。第二,旋律生成模型使用季节性ARMA(自回归移动平均)过程生成伴奏的主旋律和其他声音(旋律线)。第三,旋律整合模式将旋律线(人声)整合在一起作为最终的钢琴伴奏。我们使用主观听力测试评估所提出的框架。实验结果表明,生成的旋律评分明显高于双向LSTM生成的旋律,我们的伴奏编排结果与最先进的商业软件Band in a Box相当。
2018-12-28 cs.LG cs.SD stat.ML
PianoBind: A Multimodal Joint Embedding Model for Pop-piano Music
针对通用模型难捕捉同质性钢琴音乐细粒度语义、现有钢琴专用模型为单模态的问题,提出钢琴专用多模态联合嵌入模型PianoBind,优化后在文本到音乐检索任务上表现优于通用模型,设计思路可复用。
2025-09-04 cs.IR cs.MM cs.SD
An audio-to-analysis pipeline with certified transcription for information-theoretic profiling of the piano repertoire
Independent Music Analysis Researcher(独立音乐分析研究员);CYGNUS & LYRA(CYGNUS与LYRA);Montreal, Quebec(魁北克市)
本文提出一个音频到分析管道,通过认证转录生成作曲家级信息论分析,利用香农熵、KL散度和Zipf排名模型分析和解构钢琴曲目中的和声尺度分布。
2026-04-25 cs.SD eess.AS stat.AP
Pop Music Transformer: Beat-based Modeling and Generation of Expressive Pop Piano Compositions
Taiwan AI Labs(台湾人工智能实验室);Academia Sinica(中央研究院)
最近已经提出了大量基于深度学习的模型用于自动音乐合成。在这些模型中,Transformer脱颖而出,作为一个突出的方法,产生表现力的古典钢琴演奏与连贯的结构长达一分钟。该模型的强大之处在于它可以自己学习数据的抽象,而不需要太多人为强加的领域知识或约束。与这种一般的方法相比,本文表明,Transformers可以做得更好的音乐建模,当我们改进的方式将乐谱转换成数据馈送到一个Transformer模型。特别地,我们试图在输入数据中施加韵律结构,使得Transformers可以更容易地意识到音乐中的节拍-小节-短语层次结构。新的数据表示保持了本地节奏变化的灵活性,并提供了控制音乐的节奏和和声结构的障碍。通过这种方法,我们构建了一个流行音乐Transformer,它比现有的Transformer模型具有更好的节奏结构。
2020-08-10 cs.AI cs.SD eess.AS
Two Web Toolkits for Multimodal Piano Performance Dataset Acquisition and Fingering Annotation
KAIST(韩国科学技术院);Georgia Institute of Technology(佐治亚理工学院)
本文提出包含PiaRec和ASDF两个图形界面的集成网络工具包,分别用于同步采集音视频、MIDI及元数据并高效标注指法,以解决多模态钢琴演奏数据获取繁琐的瓶颈问题。
2025-09-18 cs.CV cs.MM cs.SD
WaveRoll: JavaScript Library for Comparative MIDI Piano-Roll Visualization
Sogang University(西江大学)
针对自动音乐转录的多MIDI输出对比评估需求,开发了开源JavaScript库WaveRoll,支持浏览器端多MIDI钢琴卷帘的同步可视化与播放,可辅助模型误差分析。
2025-11-01 cs.SD
The Persian Piano Corpus: A Collection Of Instrument-Based Feature Extracted Data Considering Dastgah
Islamic Azad University Karaj Branch(伊斯兰阿扎德大学卡拉季分校)
为解决音乐研究中数据缺乏包容性的问题,本文构建了包含 2022 首乐曲及 Dastgah 标签的波斯钢琴语料库(PPC),并提取特征数据以支持波斯音乐的深入研究。
2023-11-18 cs.LG cs.MM cs.SD
Statistical Models for Automatic Fingering-Annotated Piano Sheet Music Transcription
University of Alberta(阿尔伯塔大学)
提出8种统计方法联合进行钢琴音符手部分离与指法标注,并构建从音频到指法乐谱的完整流水线,在PIG数据集上综合模型达到90.8%手部分离和56.6%联合标注准确率。
2026-09-25 cs.SD
TART: A Comprehensive Tool for Technique-Aware Audio-to-Tab Guitar Transcription
针对现有吉他自动转录存在的演奏技巧无法标注、弦品映射错误、泛化性差等问题,提出四阶段端到端流水线TART,可从音频生成带准确指法和技巧标签的详细吉他六线谱。
2025-10-02 cs.SD
AudioLM: a Language Modeling Approach to Audio Generation
Google Research(谷歌研究院)
提出 AudioLM 框架,将音频生成转化为离散 token 空间的语言建模任务,采用混合分词方案结合掩码语言模型与神经音频编解码器,实现高质量且长期一致的语音与钢琴音乐续写。
2023-07-26 cs.LG cs.SD eess.AS
Etude: Piano Cover Generation with a Three-Stage Approach -- Extract, strucTUralize, and DEcode
Dept. of Information Management, National Taiwan University, Taipei, Taiwan(信息管理系,国立台湾大学,台北,台湾);National Taiwan University, Taipei, Taiwan(国立台湾大学,台北,台湾);Dept. of Information Management National Taiwan University Taipei, Taiwan(信息管理系,国立台湾大学,台北,台湾)
Etude提出一种三阶段方法,通过提取、结构化和解码生成结构一致的钢琴改编曲,实现高质量音乐生成。
2026-01-23 cs.LG cs.SD eess.AS
Mixing-Specific Data Augmentation Techniques for Improved Blind Violin/Piano Source Separation
National Cheng Kung University(国立成功大学);Academia Sinica(中央研究院);Taiwan AI Labs(台湾人工智能实验室)
盲音乐源分离一直是音乐信息检索和信号处理领域的热门研究课题。为了解决缺乏可用的多音轨数据进行监督模型训练的问题,一种通过组合来自不同歌曲的音轨来创建人工混合的数据增强方法在最近的工作中已经被证明是有用的。根据这一点,我们在本文中进一步研究扩展的数据增强方法,考虑更复杂的混合设置在现代音乐制作程序,轨道之间的关系相结合,和沉默的因素。作为一个案例研究,我们认为分离的小提琴和钢琴曲目的小提琴钢琴合奏,评估性能方面的共同指标,即SDR,SIR和SAR。除了检查这些新的数据增强方法的有效性外,我们还研究了训练数据量的影响。我们的评估表明,提出的混合特定数据增强方法可以帮助提高基于深度学习的源分离模型的性能,特别是在训练数据较小的情况下。
2020-08-06 cs.LG cs.SD eess.AS