Source Separation & Automatic Transcription for Music
Khoury College of Computer Science, Northeastern University(东北大学科里计算机科学学院)
针对音乐源分离与自动转录任务面临的噪声大、训练慢、数据少等问题,研究者结合频谱图掩码、深度神经网络与MuseScore API,构建了可分离乐器音干并转写乐谱的端到端流水线。
2024-12-09 cs.AI cs.SD eess.AS
Omnizart: A General Toolbox for Automatic Music Transcription
Academia Sinica(中央研究院);Institute of Information Science, Academia Sinica(中央研究院信息科学研究所)
我们发布了Omnizart,这是一个新的Python库,为自动音乐转录(AMT)提供了一个简化的解决方案。Omnizart包含构建基于深度学习的AMT的生命周期的模块,并设计为易于使用,具有紧凑的命令行界面。据我们所知,Omnizart是第一个转录工具包,它提供的模型涵盖了广泛的乐器类别,从独奏,乐器合奏,打击乐器到声乐,以及和弦识别和节拍/强拍跟踪模型,这两个音乐信息检索(MIR)任务与AMT高度相关。
2021-06-01 cs.AI cs.SD eess.AS
Automatic Lyrics Alignment and Transcription in Polyphonic Music: Does Background Music Help?
Department of Electrical and Computer Engineering, National University of Singapore(新加坡国立大学电气与计算机工程系)
背景音乐影响歌曲中演唱者的歌词可懂度。在复调音乐中,歌词的自动对齐和自动转写是一项具有挑战性的任务,因为演唱的声音会被背景音乐所破坏。在这项工作中,我们提出了学习音乐流派的具体特点,训练复调声学模型。我们首先比较了几个自动语音识别管道的歌词转录的应用。然后,我们提出了歌词对齐和转录性能的音乐知情的声学模型的最佳性能管道,并系统地研究了音乐流派和语言模型的性能的影响。通过这种基于流派的方法,我们显式地对音乐进行建模,而不会在声学建模期间将其删除。在几个著名的复调测试数据集上,所提出的方法在歌词对齐和转录任务中优于所有竞争系统。
2019-10-22 cs.SD eess.AS
Scorpiano -- A System for Automatic Music Transcription for Monophonic Piano Music
Ss Cyril and Methodius University in Skopje(斯科普里圣西里尔与美多德大学);Faculty of Electrical Engineering and Information Technologies(电气工程与信息技术学院)
音乐转录是将音乐音频转录成音乐符号的过程。这是一个机器仍然无法击败人类表现的领域。自动音乐转录的主要动机是使任何演奏乐器的人都能够快速准确地生成一段音乐的音符。无论这个人是初学者,只是通过搜索来寻找乐谱,还是听到现场爵士乐即兴演奏并希望在不浪费时间进行手动转录的情况下重现它的专家。我们提出了Scorpiano-一个系统,可以自动生成一个简单的单声道钢琴旋律轨道使用数字信号处理的乐谱。该系统集成了多种数字音频处理方法:音符起始检测,速度估计,节拍检测,音高检测和最终生成乐谱。该系统已被证明给简单的钢琴旋律,与商业上可用的基于神经网络的系统相比,有很好的效果。
2021-08-24 cs.SD eess.AS
Automatic Analysis and Influence of Hierarchical Structure on Melody, Rhythm and Harmony in Popular Music
Carnegie Mellon University(卡内基梅隆大学)
重复是音乐结构的基本指标。这项研究介绍了新的算法,用于识别基于重复的音乐短语。短语组合形成部分,产生两级层次结构。自动检测的层次重复结构揭示了结构和和弦进行,旋律和节奏之间的显着相互作用。不同层次的相互作用不同,提供证据表明,结构层次在音乐中发挥着重要作用,而不仅仅是简单的重复或相似的概念。我们的工作为音乐生成和音乐评价提供了新的应用。
2020-10-15 cs.SD eess.AS
Automatic Music Accompanist
Nanjing University(南京大学);The University of Hong Kong(香港大学)
自动音乐伴奏是人类音乐家由计算机音乐家伴奏的地方。计算机音乐家能够产生与人类表演在音乐上相关的音乐伴奏。伴奏应该跟随演奏,观察他们演奏的音符。本文介绍了一个完整的和详细的建设的分数以下和陪同系统使用隐马尔可夫模型(HALGORY)。详细介绍了如何训练一个乐谱隐马尔可夫模型,如何处理复调输入,该隐马尔可夫模型如何跟踪乐谱,如何建立一个乐谱专家系统。提出了一种新的并行隐马尔可夫分数跟踪模型和一种快速解码算法来处理性能错误。
2018-03-24 cs.MM cs.SD eess.AS
Automatic Transcription of Microtonal Free-Rhythm Vocal Music: A Case Study in Iranian Classical Music
Cu Test Inc.(Cu Test公司)
本文以伊朗古典音乐为案例,提出结合音高直方图与DTW的自动转录工作流程,采用music21库实现,可转录含tahrir等装饰音的微分音声乐,配套可视化与编辑工具,推进计算民族音乐学发展。
2026-08-19 cs.SD
Machine Learning Techniques in Automatic Music Transcription: A Systematic Survey
Auburn University(奥本大学)
本系统性综述梳理了自动音乐转录领域的机器学习技术,评估了各类系统的进展与局限,指出了当前与人类准确率的差距,提出了改进方向与研究路线图。
2024-06-20 cs.AI cs.LG cs.SD
Automatic Live Music Song Identification Using Multi-level Deep Sequence Similarity Learning
Tampere University(坦佩雷大学);Utopia Music(乌托邦音乐);Future Lab(未来实验室)
针对现场音乐歌曲识别新问题,提出基于相似性学习与孪生卷积神经网络、利用多级深度序列交叉相似性矩阵的系统,在自制数据集上实现87.4%的识别准确率。
2025-01-14 cs.SD eess.AS
MusicEval: A Generative Music Dataset with Expert Ratings for Automatic Text-to-Music Evaluation
Nankai University(南开大学);Beijing AISHELL Technology Co., Ltd.(北京智爱声科技有限公司)
针对文本转音乐系统评估难的问题,研究团队构建了首个带专家评分的生成式音乐评估数据集MusicEval,并基于CLAP设计评估模型,验证了自动评估任务的可行性,为相关研究提供参考。
2025-03-24 cs.SD eess.AS
AMT-APC: Automatic Piano Cover by Fine-Tuning an Automatic Music Transcription Model
Faculty of Data Science(数据科学学院);Musashino University(武藏野大学)
针对现有自动钢琴封面模型表现力和保真度不足的问题,提出AMT-APC算法,利用自动音乐转录模型能力,实验表明该模型比现有模型更能准确再现原曲目。
2026-07-07 cs.LG cs.SD eess.AS
Automatic Music Transcription using Convolutional Neural Networks and Constant-Q transform
Università di Pisa, Area CNR(比萨大学,CNR区域);Scuola Superiore Sant’Anna, Area CNR(圣安娜高等学院,CNR区域)
本文提出一种基于恒定Q变换特征与卷积神经网络的自动音乐转录流水线,将古典钢琴音频转换为乐谱表示。
2025-05-07 cs.AI cs.LG cs.MM
Towards Automatic Instrumentation by Learning to Separate Parts in Symbolic Multitrack Music
University of California San Diego(加州大学圣迭戈分校);Stanford University(斯坦福大学)
现代键盘允许音乐家通过将区域(键盘的固定音高范围)分配给不同的乐器来同时演奏多种乐器。在本文中,我们的目标是进一步扩展这一想法,并检查自动仪器的可行性-动态分配乐器独奏音乐中的音符在表演过程中。除了用于执行性用例的在线实时设置之外,自动插装还可以在离线设置中的辅助撰写工具中找到应用。由于缺乏原始独奏音乐及其完整安排的配对数据,我们通过学习分离部分(例如,声音、乐器和音轨)从它们在象征性的多音轨音乐中的混合物中分离,假设该混合物将在键盘上演奏。我们将零件分离的任务视为一个连续的多类分类问题,并采用机器学习将笔记序列映射为零件标签序列。为了检验我们提出的模型的有效性,我们对不同流派和合奏的四个不同数据集进行了全面的实证评估-巴赫合唱团,弦乐四重奏,游戏音乐和流行音乐。我们的实验表明,所提出的模型优于各种基线。我们还展示了我们提出的模型的潜力,以产生替代令人信服的仪器为现有的安排,将其混合物分成几部分。所有源代码和音频样本都可以在https://salu133445.github.io/arranger/上找到。
2021-10-21 cs.AI cs.LG cs.SD
Do Music Generative Models Understand Musical Qualities? Automatic Music Evaluation with Model-Intrinsic Signals
本文证明音乐生成模型的内在信号(预测损失、熵及SAE概念)与人类评分高度相关,据此训练轻量模型实现自动音乐评估,并在五个基准上验证其有效性。
2026-09-30 cs.SD
A New Multilabel System for Automatic Music Emotion Recognition
University of Rome Tor Vergata(罗马第二大学)
在自动识别音乐所能诱发的情感方面取得进展需要考虑情感的多样性和复杂性。比较不同的机器学习算法执行多标签和多类分类是我们工作的核心。该研究分析了Geneva Emotional Music Scale 9在Quantify音乐数据集中的实施情况,并从机器学习的角度调查了其采用情况。我们的方法的情况下,通过音乐的情感表达/感应作为一个多标签和多类的问题,其中多个情感标签可以通过相同的音乐曲目的每个注释器(多标签),和每个情感可以识别或不音乐(多类)。其目的是通过音乐自动识别诱导的情感。
2021-06-02 cs.LG cs.SD eess.AS
Dance2Music: Automatic Dance-driven Music Generation
Adobe(奥多比);Facebook AI Research(脸书人工智能研究院);Georgia Tech(佐治亚理工学院)
舞蹈和音乐通常是齐头并进的。舞蹈、音乐及其同步的复杂性使它们从计算创造力的角度研究起来非常有趣。虽然一些作品已经着眼于为给定的音乐生成舞蹈,但为给定的舞蹈自动生成音乐仍然未被探索。这种能力可以有几个创造性的表达和娱乐应用。我们在这个方向提出了一些早期的探索。我们提出了一种基于搜索的离线方法,在处理整个舞蹈视频后生成音乐,以及一种在线方法,该方法使用深度神经网络在视频进行时实时生成音乐。我们比较这些方法通过人类研究的一个强大的启发式基线,并提出我们的研究结果。我们已经将我们的在线方法集成到了现场演示中!演示视频可以在这里找到:https://sites.google.com/view/dance2music/live-demo。
2021-07-20 cs.MM cs.SD eess.AS
Multi-Channel Automatic Music Transcription Using Tensor Algebra
音乐是一种艺术,每个听众都以独特的方式感知,来自声学信号。同时,有乐谱这样的标准来描述它,即使人类能够进行这种转录,在时间和精力方面也是昂贵的,尤其是随着互联网的兴起,信息爆炸。从这个意义上说,研究的方向是自动音乐转录。虽然这一任务在单音符的情况下被认为是解决了,但当音符叠加在一起形成和弦时,它仍然是开放的。本报告的目的是发展一些现有的技术对音乐转录,特别是矩阵分解,并介绍了多通道自动音乐转录的概念。这个概念将通过被称为张量的数学对象来探索。
2021-07-23 cs.IR cs.LG cs.SD
Music2Video: Automatic Generation of Music Video with fusion of audio and text
KAIST(韩国科学技术院)
随着在大型语料库上预训练的多模态表示模型的出现,使用生成对抗网络创建图像已被广泛应用于多模态机制。可以利用共享公共表示空间的各种模态来引导生成模型从文本甚至从音频源创建图像。不同于以往的方法,只依赖于文本或音频,我们利用这两种形式的表现力。基于文本和音频的融合,我们创建了视频,其内容与所提供的不同形式一致。一个简单的方法,自动分割成可变长度的视频间隔,并保持时间的一致性生成的视频是我们的方法的一部分。我们提出的框架生成音乐视频显示出可喜的成果,在应用程序级别,用户可以交互式地在音乐源和文本源,以创建艺术音乐视频。我们的代码可在https://github.com/joeljang/music2video上获得。
2022-06-09 cs.GR cs.MM cs.SD
AutoSchA: Automatic Hierarchical Music Representations via Multi-Relational Node Isolation
AutoSchA通过多关系节点隔离实现自动分层音乐表示,结合图神经网络提升音乐分析的自动化水平。
2025-12-20 cs.LG cs.SD
SPHERE: Automatic Music Upmixing via Audio Language Model Post-Training with Spatial Heuristic Rewards
Meta Reality Labs(元宇宙实验室);Queen Mary University of London(伦敦玛丽女王大学)
该研究提出基于音频语言模型后训练的自动音乐上混方法,设计含6个子奖励的Sphere奖励套件,证明领域知识可蒸馏入语言模型实现该任务。
2026-09-01 cs.SD
Conditioning Deep Generative Raw Audio Models for Structured Automatic Music
Boston University(波士顿大学)
现有的以深度学习为特征的自动音乐生成方法可以大致分为两种类型:原始音频模型和符号模型。符号模型在音符级别进行训练和生成,目前是更流行的方法;这些模型可以捕获旋律结构的长范围依赖性,但无法掌握原始音频生成的细微差别和丰富性。原始音频模型,如DeepMind的WaveNet,直接在采样的音频波形上进行训练,使它们能够产生听起来真实的,尽管是非结构化的音乐。在本文中,我们提出了一个自动的音乐生成方法结合这两种方法来创建结构化的,逼真的声音组成。我们考虑一个长短期记忆网络来学习不同风格的音乐的旋律结构,然后使用这个模型的独特符号代作为基于WaveNet的原始音频生成器的条件输入,创建一个自动的,新颖的音乐模型。然后,我们通过展示这项工作的结果来评估这种方法。
2018-06-26 cs.LG cs.SD eess.AS
Annotation-free Automatic Music Transcription with Scalable Synthetic Data and Adversarial Domain Confusion
Sony Computer Science Laboratories(索尼计算机科学实验室)
本文提出一种无需 MIDI-音频配对数据的自动音乐转谱方法,通过可扩展合成音频预训练和未标注真实音频的对抗域混淆,在低资源场景下取得与基线方法相当的竞争性能。
2024-07-03 cs.AI cs.SD eess.AS
Automatic Music Sample Identification with Multi-Track Contrastive Learning
Sony AI(索尼人工智能);Sony Group Corporation(索尼集团)
本文提出一种基于多轨对比学习的自监督方法,用于自动识别音乐采样并检索其来源,显著优于现有基线,且对流派和数据库规模具有鲁棒性。
2025-10-27 cs.AI cs.LG cs.SD
Statistical Models for Automatic Fingering-Annotated Piano Sheet Music Transcription
University of Alberta(阿尔伯塔大学)
提出8种统计方法联合进行钢琴音符手部分离与指法标注,并构建从音频到指法乐谱的完整流水线,在PIG数据集上综合模型达到90.8%手部分离和56.6%联合标注准确率。
2026-09-25 cs.SD
Unaligned Supervision For Automatic Music Transcription in The Wild
Tel Aviv University(特拉维夫大学)
多乐器自动音乐转录(AMT),或将音乐记录解码成语义音乐内容,是音乐信息检索的圣杯之一。由于数据汇集困难,目前的AMT方法仅限于钢琴和(一些)吉他录音。为了克服数据汇集障碍,先前的AMT方法试图采用相同歌曲或作品的数字化版本形式的乐谱。分数通常使用音频特征和艰苦的人为干预来对齐以生成训练标签。我们介绍了NoteEM,这是一种在全自动过程中同时训练转录器并将分数与其相应性能对齐的方法。使用这种不对齐的监督方案,辅之以伪标签和音高偏移增强,我们的方法能够以前所未有的准确性和仪器多样性对野外录音进行训练。仅使用合成数据和未对齐的监督,我们报告了MAPS数据集的SOTA音符级准确性,以及跨数据集评估的大幅度优势。我们还展示了鲁棒性和易用性;我们报告了在小型、易于获得的自收集数据集上训练时的可比结果,并且我们提出了MusicNet数据集的替代标签,我们证明它更准确。我们的项目页面可以在https://benadar293.github.io上找到
2022-04-28 cs.AI cs.IR cs.LG
Encoding Performance Data in MEI with the Automatic Music Performance Analysis and Comparison Toolkit (AMPACT)
Brooklyn College(布鲁克林学院);CUNY Graduate Center(纽约城市大学研究生中心);The Bronx High School of Science(布朗克斯科学高中)
本文提出使用AMPACT工具包提取表演数据,并通过MEI中的<extData>元素将其编码为JSON对象,证明了该方法在缺乏完整乐谱时的有效性。
2023-11-19 cs.DL cs.SD eess.AS
Audio-to-Score Alignment Using Deep Automatic Music Transcription
University of Milan(米兰大学)
音频到乐谱对齐(A2SA)是一项多模态任务,包括将音频信号与乐谱对齐。最近的文献证实了自动音乐转录(AMT)在帧级A2SA的好处。在这项工作中,我们的目标是详细说明AMT深度学习(DL)模型的利用,以实现在音符级别的对齐。我们提出了一种方法,它受益于基于HMM的分数到分数对齐和AMT,表现出显着的进步超出了国家的最先进的。我们设计了一个系统的程序,以利用大型数据集,不提供对齐的分数。最后,我们对多个数据集进行了全面的比较和广泛的测试。
2021-12-30 cs.MM cs.SD eess.AS
Audio-to-score alignment of piano music using RNN-based automatic music transcription
Graduate School of Culture Technology, KAIST(韩国科学技术院文化技术研究生院)
我们提出了一个框架,采用自动音乐转录(AMT)使用神经网络的钢琴演奏音频到乐谱对齐。即使AMT结果可能包含一些误差,音符预测输出也可以被认为是直接与后音符或色度表示相当的学习特征表示。为此,我们采用了两个经常性的神经网络,作为基于AMT的特征提取器的对齐算法。一个预测88个音符或12个色度在帧级中的存在,另一个检测12个色度中的音符起始。我们结合了两种类型的学习功能的音频到分数对齐。为了具有可比性,我们应用动态时间规整作为对齐算法,而无需任何额外的后处理。我们评估建议的框架上的MAPS数据集,并将其与以前的工作进行比较。结果表明,与学习功能的对齐框架显着提高了准确性,实现小于10 ms的平均起始误差。
2017-11-13 cs.SD eess.AS
Automatic Instrument Recognition in Polyphonic Music Using Convolutional Neural Networks
New York University(纽约大学)
处理许多音乐信息检索任务的传统方法通常遵循两步架构:特征工程,然后是简单的学习算法。在这些“浅”架构中,特征工程和学习通常是不相交和不相关的。此外,特征工程是困难的,并且通常依赖于广泛的领域专业知识。在本文中,我们提出了一个应用卷积神经网络的任务,自动乐器识别。在该模型中,特征提取和学习算法以端到端的方式一起训练。我们证明了在原始音频上训练的卷积神经网络可以实现超越依赖手工特征的传统方法的性能。
2015-11-17 cs.IR cs.LG cs.NE
Evaluation of CNN-based Automatic Music Tagging Models
深度学习的最新进展加速了基于内容的自动音乐标记系统的开发。音乐信息检索(MIR)研究人员提出了各种架构设计,主要基于卷积神经网络(CNN),在这种多标签二进制分类任务中实现了最先进的结果。然而,由于研究人员遵循的实验设置的差异,例如使用不同的数据集分割和软件版本进行评估,很难直接比较所提出的架构。为了便于进一步的研究,在本文中,我们对三个数据集(MagnaTagATune,Million Song Dataset和MTG-Jamendo)上的不同音乐标记模型进行了一致的评估,并使用常见的评估指标(ROC-AUC和PR-AUC)提供了参考结果。此外,所有的模型进行评估与扰动输入调查的泛化能力,有关的时间拉伸,音高变化,动态范围压缩,并加入白噪声。为了实现可重复性,我们为PyTorch实现提供了预训练的模型。
2020-06-01 cs.SD eess.AS
A framework to compare music generative models using automatic evaluation metrics extended to rhythm
Universidad EAFIT(EAFIT大学);AIVA Technologies(AIVA科技公司);Ecopetrol(哥伦比亚国家石油公司)
为了训练一个机器学习模型,需要对每个过程的许多选项做出许多决定,在序列生成领域,更具体地说是音乐创作领域,问题的性质有助于缩小选项,但同时,一些其他选项出现在特定的挑战中。本文在前人研究中提出的不考虑节奏的框架下进行了一系列的设计决策,并在此基础上加入节奏支持,对两个RNN存储单元在单声道音乐创作中的性能进行了评估。该模型考虑了音乐换位的处理,框架使用基于几何结构的自动定量度量来评估生成的作品的质量,几何结构也增加了节奏支持。
2021-01-19 cs.LG cs.SD eess.AS
Quantifying the Corpus Bias Problem in Automatic Music Transcription Systems
Johannes Kepler University(约翰·开普勒大学)
本文通过构建模拟不同音乐分布偏移的测试集,评估多个SotA AMT系统,揭示训练语料过度集中于古典钢琴所导致的显著性能差距。
2024-08-08 cs.LG cs.SD eess.AS
Automatic Melody Reduction via Shortest Path Finding
本文提出一种基于图表示和最短路径查找的自动旋律简化方法,在流行、民谣和古典音乐上优于常见降采样方法,并用于生成更高质量的音乐变奏。
2025-08-03 cs.SD eess.AS
ComMU: Dataset for Combinatorial Music Generation
Pozalabs(波扎实验室);Yonsei Univ.(延世大学)
自动音乐合成的商业采用需要能够生成适合所需背景的多样化且高质量的音乐(例如,浪漫电影、动作游戏、餐馆等的音乐)。在本文中,我们介绍了组合音乐生成,一个新的任务,创造不同的背景音乐的基础上,给定的条件。组合音乐生成创建具有丰富音乐元数据的短音乐样本,并将其组合以产生完整的音乐。此外,我们介绍了ComMU,第一个符号音乐数据集组成的短音乐样本和相应的12个音乐元数据的组合音乐生成。ComMU的显著特性是:(1)数据集由专业作曲家手动构建,具有诱导规律性的客观指导原则,(2)它具有12个包含作曲家意图的音乐元数据。我们的研究结果表明,我们可以生成不同的高品质的音乐,只有元数据,我们独特的元数据,如轨道角色和扩展和弦质量提高了自动合成的能力。我们强烈建议在阅读论文之前观看我们的视频(https://pozalabs.github.io/ComMU)。
2022-11-17 cs.AI cs.MM cs.SD
Toward Evolution Strategies Application in Automatic Polyphonic Music Transcription using Electronic Synthesis
Institut Supérieur de Commerce(高等商学院)
本文提出了一种基于演化策略的复调音乐转写方法。自动音乐转录是一个复杂的过程,仍然是一个开放的挑战。使用一个音频信号被转录为我们的ES的目标,生成一个音频文件所需的信息可以从后者中提取。目前存在的文献中提出的许多技术,其中一些已经应用进化算法来解决这个问题的上下文中考虑它作为一个搜索空间问题。然而,专家系统至今尚未得到应用。实验表明,通过使用这些机器学习工具,一些缺点所提出的其他进化算法为基础的转录方法可以解决。它们包括计算成本和收敛时间。由于演化策略使用自适应参数,本文表明,通过正确调整其控制标准差的策略参数的值,可以触发向最优值的快速收敛,从结果中可以执行具有良好的准确性和在短时间内的音乐的转录。在相同的上下文中,使用并行化技术来处理计算任务,从而总体上减少了计算时间和转录时间。
2013-04-03 cs.SD
Score-Informed Transformer for Refining MIDI Velocity in Automatic Piano Transcription
University of Western Australia(西澳大学)
本文提出了一种基于乐谱的轻量级Transformer模块,用于改进自动音乐转录中MIDI速度的估计,通过整合到HPT中实现了新的最先进性能。
2026-11-18 cs.SD eess.AS
Automatic music mixing with deep learning and out-of-domain data
Sony Group Corporation(索尼集团公司);Sony Europe B.V.(索尼欧洲有限公司)
音乐混音传统上涉及以干净的单独音轨的形式记录乐器,并使用音频效果和专业知识(例如,混合工程师)。近年来,音乐制作任务的自动化已成为一个新兴领域,其中基于规则的方法和机器学习方法已被探索。然而,缺乏干燥或干净的乐器录音限制了这些模型的性能,这与专业的人工混音还有很大的距离。我们探索是否可以使用域外数据,如湿或处理过的多轨音乐录音,并将其重新用于训练监督式深度学习模型,以弥补当前自动混音质量方面的差距。为了实现这一目标,我们提出了一种新的数据预处理方法,允许模型执行自动音乐混合。我们还重新设计了一种用于评估音乐混合系统的听力测试方法。我们使用经验丰富的混音工程师作为参与者,通过这种主观测试来验证我们的结果。
2022-08-29 cs.LG cs.SD eess.AS
Sequence Generation using Deep Recurrent Networks and Embeddings: A study case in music
Universidad EAFIT(EAFIT大学);Ecopetrol(哥伦比亚石油公司)
序列的自动生成在过去几年中一直是一个高度探索的领域。特别地,由于机器学习和具有内在记忆机制的神经网络(诸如递归神经网络)的最新进展,自然语言处理和自动音乐合成已经变得重要。本文评价了不同类型的记忆机制(存储单元),并分析了它们在音乐创作领域的表现。所提出的方法考虑了音乐理论的概念,如换位,并使用数据转换(嵌入),以引入语义和提高质量的生成的旋律。一组定量指标,提出了自动评估所提出的架构的性能,测量的音调的音乐作品。
2020-12-02 cs.LG cs.SD eess.AS
Transfer of knowledge among instruments in automatic music transcription
Wrocław University of Science and Technology(弗罗茨瓦夫理工大学)
针对自动音乐转录模型训练计算成本高的问题,提出用软件合成器生成的合成音频训练通用模型,为迁移学习适配多乐器打基础,验证了合成数据预训练通用转录模型的有效性。
2023-04-30 cs.LG cs.SD eess.AS
Listening Like a Judge: A Music-Aware Framework for Automatic Singing Performance Evaluation
Samsung R&D Institute Bangalore, India(三星研发中心班加罗尔,印度)
提出MusicJudge框架,通过模态引导的块对齐多模态分析,结合歌词正确性与音高节奏保真度,实现自动歌唱质量评估,实验验证与人类专家判断高度一致。
2026-06-26 cs.LG cs.SD
ReconVAT: A Semi-Supervised Automatic Music Transcription Framework for Low-Resource Real-World Data
Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)(科学、技术与研究署(A*STAR)高性能计算研究所(IHPC));Singapore University of Technology and Design(新加坡科技设计大学)
当前大多数有监督的自动音乐转录(AMT)模型缺乏泛化能力。这意味着他们很难从标记的训练数据中没有呈现的不同音乐流派中转录真实世界的音乐录音。在本文中,我们提出了一个半监督框架ReconVAT,它通过利用大量可用的未标记音乐录音来解决这个问题。建议的ReconVAT使用重建损失和虚拟对抗训练。当与现有的AMT U-net模型相结合时,ReconVAT在MAPS和MusicNet等常见基准数据集上取得了有竞争力的结果。例如,在MusicNet的字符串部分版本的Few-Shot设置中,ReconVAT分别针对音符和音符偏移度量实现了61.0%和41.6%的F1分数,这意味着与监督基线模型相比提高了22.2%和62.5%。我们提出的框架还展示了对新数据进行持续学习的潜力,这在不断提供新数据的实际应用中可能是有用的。
2021-07-29 cs.LG cs.MM cs.SD
Automatic Music Highlight Extraction using Convolutional Recurrent Attention Networks
Clova AI Research(Clova人工智能研究院);NAVER Corp.(NAVER公司);Hong Kong University of Science and Technology(香港科技大学)
音乐集锦是音乐服务的宝贵内容。大多数方法集中在低电平信号特征。我们提出了一种使用卷积递归注意力网络(CRAN)的高级特征提取高光的方法。CRAN利用卷积和递归层进行顺序学习,并具有注意力机制。注意力允许CRAN捕获重要的片段以区分流派,从而被用作高级功能。CRAN在两个月内对韩国32,000多首流行曲目进行了评估。实验结果表明,通过定量和定性评估,我们的方法优于三种基线方法。此外,我们还分析了注意和序列信息对绩效的影响。
2017-12-16 cs.LG cs.MM cs.SD
Automatic Music Mixing using a Generative Model of Effect Embeddings
Acoustics Lab, DICE, Aalto University, Espoo, Finland(艾尔沃斯大学声学实验室);Sony AI(索尼人工智能);Sony Group Corporation(索尼集团)
针对现有自动音乐混音系统忽略解决方案多样性的问题,提出生成框架MEGAMI,通过轨道无关效果处理器、置换等变架构和域自适应,实现对专业混音条件分布的建模,客观评估和听觉测试均显示性能优于现有方法且接近人类水平。
2025-11-11 cs.SD eess.AS
Pose-Aware Multimodal Automatic Tagging for Greek Traditional Music
National Technical University of Athens(雅典国家技术大学);Athena Research Center(雅典娜研究中心)
本文针对希腊传统音乐自动标注,提出利用舞者姿态作为音频之外的补充信息,通过多模态融合(音频、视频、骨架)提升性能,最佳三模态系统较音频基线宏ROC-AUC提升约4个百分点。
2026-09-24 cs.CV cs.SD
Automatic Detection of Reactions to Music via Earable Sensing
KOREATECH(韩国技术教育大学);Nokia Bell Labs(诺基亚贝尔实验室)
提出GrooveMeter系统,利用智能耳塞的IMU和麦克风自动检测对音乐的发声与动作反应,在自建数据集上验证了高准确性与鲁棒性,并有效降低了系统能耗。
2023-04-06 cs.HC cs.SD eess.AS
Random Projections of Mel-Spectrograms as Low-Level Features for Automatic Music Genre Classification
Federal University of Technology – Paraná(巴拉那联邦理工大学);University of Campinas(坎皮纳斯大学)
在这项工作中,我们分析的随机投影梅尔声谱图作为低级别的功能,音乐流派分类。将该方法与手工特征、使用自动编码器学习的特征以及从迁移学习设置获得的特征进行比较。在五个不同的众所周知的公开数据集中进行的测试表明,随机投影导致的结果与学习的特征相当,并且在浅层学习场景中优于通过迁移学习获得的特征。随机投影不需要使用广泛的专业知识,同时,与其他基于投影的低级特征相比,需要更少的计算能力进行训练。因此,他们可以是一个可行的选择,用于浅层学习的基于内容的音乐流派分类。
2019-11-12 cs.IR cs.LG cs.SD
A Perceptual Measure for Evaluating the Resynthesis of Automatic Music Transcriptions
University of Milano(米兰大学)
本研究的重点是音乐表演的感知时,环境因素,如室内声学和仪器,改变。我们建议将“表演”的概念与表达“艺术意图”的“解释”概念区分开来。为了评估这一区别,我们进行了一项实验评估,其中91名受试者被邀请听取通过自动音乐转录(AMT)系统和传感器声学钢琴获得的重新合成的数据创建的各种录音。在重新合成的过程中,我们模拟了不同的语境,并要求听众评估当语境改变时,解释发生了多大的变化。结果表明:(1)单凭音乐表现形式无法完全把握音乐表演的艺术意图;(2)通常基于音乐表现形式的客观评价指标与主观评价的平均值相关性较低。为了弥合这一差距,我们提出了一种新的措施,这是有意义的相关测试的结果。此外,我们研究多模态机器学习提供了一个新的得分通知AMT方法,并提出了一个近似算法的$p$分散问题。
2022-03-07 cs.LG cs.SD eess.AS
AutoMashup: Automatic Music Mashups Creation
IMT Atlantique(大西洋高等电信学院)
本文提出AutoMashup自动混搭系统,利用COCOLA评估分离音轨兼容性,并研究CLAP和MERT的零样本估计能力,揭示了混搭兼容性的不对称性及通用音频表示的局限性。
2025-07-30 cs.SD eess.AS eess.SP
Count The Notes: Histogram-Based Supervision for Automatic Music Transcription
针对自动音乐转录现有弱监督方法依赖局部对齐、易出错且计算成本高的问题,提出基于音符直方图监督的CountEM框架,无需显式局部对齐即可在低标注成本下达到更优性能。
2025-11-18 cs.LG cs.SD
Deep Learning-Based Automatic Downbeat Tracking: A Brief Review
Sichuan University(四川大学)
音乐作为一种重要的多媒体形式,几乎已经充斥了每个人的生活。音乐的自动分析是满足人们对音乐检索和音乐推荐需求的重要一步。其中,强拍跟踪一直是音乐信息检索领域的一个基本而又持续的研究课题。尽管做出了重大的研究努力,但下拍跟踪仍然是一个挑战。以前的研究要么专注于特征工程(通过信号处理提取某些特征,这是半自动的解决方案);要么有一些局限性:它们只能在有限的时间签名和节奏范围内对音乐录音进行建模。近年来,深度学习已经超越传统的机器学习方法,成为特征学习的主要算法,传统方法与深度学习方法的结合也取得了更好的性能。本文首先介绍了下拍跟踪问题的背景知识。然后,我们详细讨论了以下主题:系统架构,特征提取,深度神经网络算法,数据集和评估策略。此外,我们看看从年度基准评估的结果-音乐信息检索评估交换(MIREX)-以及在软件实现的发展。虽然在自动强拍跟踪领域已经取得了很大的成就,但仍然存在一些问题。我们指出了这些问题,并得出结论,为未来的研究可能的方向和挑战。
2019-06-10 cs.IR cs.SD eess.AS
Texture Selection for Automatic Music Genre Classification
Federal University of Technology – Paraná(巴拉那联邦理工大学);University of Campinas(坎皮纳斯大学)
音乐流派分类是将与流派相关的标签与数字化音乐曲目相关联的问题。它在商业和个人音乐收藏的组织中有应用。通常,音乐曲目被描述为一组音色灵感的声音纹理。在浅学习系统中,每个音轨的声音纹理总数通常太高,纹理下采样是必要的,以使训练易于处理。虽然以前的工作已经解决了这个线性下采样,没有广泛的工作已经完成,以评估如何纹理选择的好处流派分类的背景下,袋的帧轨道描述。在本文中,我们评估的影响,帧选择自动音乐流派分类在一袋帧的情况下。我们还提出了一种新的纹理选择器的基础上K-Means旨在确定不同的声音纹理在每个轨道。我们评估了纹理选择在不同的数据集,四个不同的功能集,以及它的关系,一个单变量特征选择策略。结果表明,帧选择导致显着改善的单一向量基线的数据集组成的全长轨道,无论功能集。结果还表明,K-Means纹理选择器在基线上实现了显着的改进,与常用的线性下采样相比,每个轨道使用更少的纹理。结果还表明,纹理选择是互补的特征选择策略评估。我们的定性分析表明,类内的纹理多样性有利于模型的泛化。我们的分析表明,选择特定的音频摘录可以提高分类性能,它可以自动完成。
2019-05-28 cs.IR cs.LG cs.SD
Beat Detection and Automatic Annotation of the Music of Bharatanatyam Dance using Speech Recognition Techniques
Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校)
Bharatanatyam是一种印度古典舞蹈形式,代表了印度丰富的文化遗产。分析和认识这些舞蹈形式对于保护文化遗产至关重要。像大多数舞蹈形式一样,Bharatanatyam舞者与结构化的节奏音乐同步表演,称为Sollukattu,其中包括乐器节拍和发声话语(),以创建一个节奏音乐结构。因此,对《婆罗多那提扬》的计算机分析需要对《索卢卡图》进行结构分析。在本文中,我们使用语音处理技术来识别语音。利用Sollukattus的预定义结构和所检测到的结构,我们识别Sollukattu。我们用两种方法估计速度周期。最后,我们生成一个完整的注释的音频信号的节拍标记。为此,我们还使用从Sollukattu信号的起始包络检测到的搏动的信息。为了训练和测试,我们为Sollukattus创建了一个数据集并对它们进行注释。我们实现了85%的准确率在螺栓识别,95%的Sollukattu识别,96%的节奏周期估计,超过90%的节拍标记。这是第一次尝试充分结构分析印度古典舞蹈形式的音乐和使用语音处理技术的节拍标记。
2020-04-17 cs.SD eess.AS
Investigation on the use of Hidden-Markov Models in automatic transcription of music
ENSTA Bretagne(布列塔尼国立高等先进技术学校);Université Européenne de Bretagne(布列塔尼欧洲大学);Université Paris Descartes(巴黎笛卡尔大学)
隐马尔可夫模型(Hidden Markov Models,简称HMM)是一种普遍存在的对时间序列数据建模的工具,已被广泛应用于自动音乐转录(Automatic Music Transcription,简称AMT)的两个主要任务:音符分割,即在多音高估计之后识别所演奏的音符;以及顺序后处理,即使用训练数据校正音符分割。在本文中,我们采用多基音周期估计方法称为概率潜在成分分析(PLCA),并开发AMT系统集成不同的HMM为基础的模块在这个框架。对于笔记分割,我们使用两种不同的双状态on/o?阻碍,包括持续时间建模的高阶阻碍。对于顺序后处理,我们专注于复调和声过渡的音乐学建模,使用一阶和二阶Hertons,其状态通过候选音符混合物定义。这些不同的PLCA加HMM系统进行了评估比较两个不同的乐器曲目,即钢琴(使用MAPS数据库)和marovany齐特琴。我们的研究结果表明,使用的HALGOR可以带来显着的改善转录结果,这取决于仪器的剧目。
2017-04-12 cs.LG cs.SD stat.ML
Automatic Identification of Samples in Hip-Hop Music via Multi-Loss Training and an Artificial Dataset
Centre for Music & Science, University of Cambridge(剑桥大学音乐与科学中心);Spotify
针对嘻哈音乐样本自动识别任务中样本修改多、训练数据有限的问题,提出基于人工数据集和多损失训练的卷积神经网络,实现对真实世界样本的识别,精度优于声学标志系统,且能定位样本位置。
2025-02-10 cs.LG cs.SD eess.AS