ChordSync: Conformer-Based Alignment of Chord Annotations to Music Audio
University of Bologna(博洛尼亚大学);Universitat Pompeu Fabra(庞培法布拉大学);Universidad de la República(共和国大学)
本文提出基于Conformer的ChordSync模型,无需弱对齐即可将和弦标注与音频精确对齐,并配套预训练模型和易用库,为音频和弦估计等MIR任务及音乐教育提供支持。
2024-08-01 cs.LG cs.MM cs.SD
Audio-to-score alignment of piano music using RNN-based automatic music transcription
Graduate School of Culture Technology, KAIST(韩国科学技术院文化技术研究生院)
我们提出了一个框架,采用自动音乐转录(AMT)使用神经网络的钢琴演奏音频到乐谱对齐。即使AMT结果可能包含一些误差,音符预测输出也可以被认为是直接与后音符或色度表示相当的学习特征表示。为此,我们采用了两个经常性的神经网络,作为基于AMT的特征提取器的对齐算法。一个预测88个音符或12个色度在帧级中的存在,另一个检测12个色度中的音符起始。我们结合了两种类型的学习功能的音频到分数对齐。为了具有可比性,我们应用动态时间规整作为对齐算法,而无需任何额外的后处理。我们评估建议的框架上的MAPS数据集,并将其与以前的工作进行比较。结果表明,与学习功能的对齐框架显着提高了准确性,实现小于10 ms的平均起始误差。
2017-11-13 cs.SD eess.AS
MIDI-Sheet Music Alignment Using Bootleg Score Synthesis
Harvey Mudd College(哈维穆德学院);International Audio Laboratories Erlangen(埃尔兰根国际音频实验室)
MIDI乐谱对齐是寻找作品的MIDI表示与其对应的乐谱图像之间的对应关系的任务。我们探索了一种替代方法,而不是使用光学音乐识别来弥合乐谱和乐谱之间的差距:将乐谱数据投影到像素空间中,并在图像域中进行对齐。我们的方法转换成一个粗略的表示,只包含矩形浮动音符头斑点的分数,我们称之为盗版分数合成的过程。此外,我们将乐谱图像投影到相同的盗版空间中,通过应用深分水岭音符头检测器并填充每个检测到的音符头周围的边界框。最后,我们使用动态时间规整的一个简单变体来对齐盗版表示。在来自IMSLP的68个真实扫描钢琴乐谱和相应的钢琴演奏的数据集上,我们的方法在一秒的误差容限下达到了97.3%的准确率,优于采用光学音乐识别的几个基线系统。
2020-04-21 cs.MM cs.SD eess.AS
Estimating the Reliability of Dynamic Time Warping Alignments Using Circumstantial Evidence
研究DTW比对路径不确定性问题,提出基于间接证据的可靠性度量指标,通过FlexDTW重新估计比对并衡量路径一致性来计算指标,在音频比对任务中评估,能无监督地准确估计DTW比对路径可靠性。
2026-07-20 cs.SD eess.AS
Stabilizing Training with Soft Dynamic Time Warping: A Case Study for Pitch Class Estimation with Weakly Aligned Targets
International Audio Laboratories Erlangen(埃尔兰根国际音频实验室)
本文针对弱对齐训练中 SDTW 早期对齐不稳定问题,提出超参数调度、对角先验和序列展开三种稳定策略,并在音高类别估计任务中验证其有效性。
2023-08-10 cs.SD eess.AS
Feature Trajectory Dynamic Time Warping for Clustering of Speech Segments
University of Stellenbosch(斯泰伦博斯大学)
动态时间规整(DTW)可以用于计算通常不同长度的两个序列之间的相似性。我们提出了一个修改DTW,执行个人和独立的成对对齐的特征轨迹。修改后的技术,称为特征轨迹动态时间规整(FTDTW),适用于作为一个相似性度量的凝聚层次聚类的语音段。实验使用MFCC和PLP parametrisations提取TIMIT和阿拉伯语数字口语数据集(SADD)的F-措施和归一化互信息(NMI)的质量得到的集群一致和统计上显着的改善。
2018-10-30 cs.LG cs.SD eess.AS
Text-Independent Speaker Verification Based on Deep Neural Networks and Segmental Dynamic Time Warping
Microsoft Advanced Technology Lab(微软高级技术实验室);Microsoft Corporation(微软公司)
在本文中,我们提出了一种新的方法,文本无关的说话人确认,结合分段动态时间规整(SDTW)和d-向量的方法。d向量,从训练以区分说话者的前馈深度神经网络生成,作为特征来执行对齐,从而计算注册和测试话语之间的总体距离。我们提出了NIST 2008数据集上的说话人验证结果,其中所提出的方法优于传统的i向量基线PLDA分数,并优于d-矢量方法与基于余弦和PLDA分数的局部距离。此外,与i-vector/PLDA基线的评分组合导致两种方法的显著增益。
2018-06-26 cs.CL cs.SD eess.AS
Dense-Sparse Dynamic Time Warping for Customizing Piano Concerto Accompaniments
Music Minus One(音乐减一公司)
研究钢琴家定制MMO协奏曲伴奏的方法,提出密集-稀疏DTW,通过使用三种音频数据,解决频谱不匹配问题,建立数据收集与评估框架,实验表明该方法在定制伴奏录音上比复杂方法性能更好或相当。
2026-07-21 cs.SD eess.AS
AlignNet: A Unifying Approach to Audio-Visual Alignment
CMU(卡内基梅隆大学);University of Notre Dame(圣母大学);MIT(麻省理工学院)
我们提出了AlignNet,一个模型,在不均匀和不规则的错位下,将视频与参考音频结合起来。AlignNet学习视频和音频的每一帧之间的端到端密集对应关系。我们的方法是根据简单而完善的原则设计的:注意力,金字塔处理,扭曲和亲和函数。与模型一起,我们发布了一个舞蹈数据集Dance50用于训练和评估。在舞蹈-音乐对齐和语音-嘴唇对齐上的定性、定量和主观评价结果表明,我们的方法远远优于现有的方法。项目视频和代码可在www.example.com上获得。
2020-02-12 cs.CV cs.LG cs.MM
Lyrics-to-Audio Alignment by Unsupervised Discovery of Repetitive Patterns in Vowel Acoustics
Seoul National University(首尔国立大学);Advanced Institutes of Convergence Technology(先进融合技术研究所)
大多数先前的歌词到音频对齐方法使用预先开发的自动语音识别(ASR)系统,该系统固有地遭受使语音模型适应单个歌手的若干困难。在以前的作品中缺失的一个重要方面是歌唱声音中重复元音模式的自学能力,其中元音部分使用的比辅音部分更一致。在此基础上,我们的系统首先学习一个判别子空间的元音序列,基于加权对称非负矩阵分解(WS-NMF),以自相似性的标准声学特征作为输入。然后,我们利用典型的时间规整(CTW),来自最近的计算机视觉技术,找到一个最佳的时空之间的文本和声音序列的转换。韩语和英语数据集的实验表明,部署这种方法后,预先开发的,无监督的,唱歌声源分离取得了更有前途的结果比其他国家的最先进的无监督的方法和现有的基于ASR的系统。
2017-01-24 cs.AI cs.IR cs.LG
Fine-Tuning MIDI-to-Audio Alignment using a Neural Network on Piano Roll and CQT Representations
Klangio GmbH(Klangio公司);University of Music Karlsruhe(卡尔斯鲁厄音乐学院);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文提出一种卷积循环神经网络(CRNN)方法,通过处理未对齐的钢琴卷帘谱和频谱图来估计对齐的钢琴卷帘谱,以解决人类钢琴演奏音频与松散对齐MIDI文件的同步问题,其准确率比DTW方法高出20%。
2025-06-27 cs.CL cs.MM cs.SD
Towards Reliable Real-time Opera Tracking: Combining Alignment with Audio Event Detectors to Increase Robustness
Institute of Computational Perception(计算感知研究所);LIT AI Lab(LIT人工智能实验室);Linz Institute of Technology(林茨理工学院);Johannes Kepler University Linz(约翰内斯·开普勒大学林茨分校)
实时乐谱跟踪的最新进展使机器能够自动跟踪高度复杂的复调音乐,包括完整的管弦乐队表演。在本文中,我们试图将其提升到更高的水平,即对完整歌剧的现场跟踪。我们首先应用一个国家的最先进的音频对齐方法的基础上,在线动态时间扭曲(OLTW)的莫扎特歌剧的全长录音,并分析跟踪器的最严重的错误,确定三个常见的问题来源,具体到歌剧场景。为了解决这些问题,我们提出了一个基于DTW的音乐跟踪器与专门的音频事件检测器(掌声,沉默/噪声和语音),条件DTW算法在自上而下的方式,并显示,一步一步,这些检测器如何增加鲁棒性的分数追随者的组合。然而,仍然有一些开放的问题,我们确定为正在进行的和未来的研究目标。
2020-06-19 cs.LG cs.SD eess.AS
Time Alignment using Lip Images for Frame-based Electrolaryngeal Voice Conversion
Academia Sinica(中央研究院);Nagoya University(名古屋大学);National Cheng Kung University Hospital(国立成功大学医学院附设医院)
语音转换(VC)是一种有效的电子喉(EL)语音增强方法,旨在提高电子喉设备发出的人工语音的质量。在基于帧的VC方法中,需要在模型训练之前执行时间对齐,并且动态时间规整(DTW)算法被广泛采用来计算每个话语对之间的最佳时间对齐。有效性是基于这样的假设,即说话人的相同音素具有相似的特征,并且可以通过测量源和目标的语音帧之间的预定义距离来映射。然而,EL语音的特殊特性可以打破该假设,导致次优DTW对准。在这项工作中,我们建议使用嘴唇图像的时间对齐,因为我们假设,与健康人相比,喉切除者的嘴唇运动保持正常。我们研究了两个天真的嘴唇表示和距离度量,实验结果表明,该方法可以显着优于音频唯一对齐的客观和主观评价。
2021-09-08 cs.CL cs.CV cs.SD
Estimates of the Reconstruction Error in Partially Redressed Warped Frames Expansions
University of Vienna(维也纳大学);MDW, University of Music and Performing Arts Vienna(维也纳音乐与表演艺术大学MDW)
本文研究了具有紧支撑的频率扭曲分析-合成元素的近似误差,通过几个例子和案例研究,探讨了在在线计算中如何通过有限时间支持的近似来减少重构误差。
2018-12-08 cs.NA cs.SD eess.AS
Cross-Attention with Confidence Weighting for Multi-Channel Audio Alignment
Systems and Control Engineering, Institute of Science Tokyo, Japan(科学研究所系统与控制工程系,东京日本);RIKEN BDR, Japan(日本Riken BDR)
本文提出结合交叉注意力与置信度加权评分的多通道音频对齐方法,扩展BEATs编码器建模通道间时间关系,在BioDCASE 2025任务1中以平均MSE 0.30获得第一名。
2025-09-21 cs.AI cs.LG cs.SD
Musical Score Following and Audio Alignment
Imperial College London(伦敦帝国学院)
实时跟踪乐谱上音乐表演的位置,即乐谱跟随,在音乐练习、表演和制作中可以是有用的。这种技术的示例应用包括计算机辅助伴奏和自动翻页。分数跟踪是一项具有挑战性的任务,特别是当考虑到由于错误或表达选择而导致的表现数据与分数的偏差时。在这个项目中,广泛的研究,目前在该领域的第一个探索之前,两个开源的评价测试平台的分数以下-一个定量和其他定性-介绍。提出了一种获取定量测试台数据的新方法,并介绍了用于定性基准测试的QualScofo数据集。随后,实现了三个不同的分数跟随器,每个分数跟随器属于不同的类。首先,创建一个交互式指挥应用程序的基于节拍的追随者-TuneApp Conductor-以演示乐谱追随的娱乐应用程序。然后,一个近似字符串匹配(ASM)的非实时跟踪器的实现,以补充定量测试平台,并提供更多的技术背景下的分数以下的细节。最后,恒定Q变换(CQT)的动态时间规整(DTW)的分数跟随器强大的主要挑战,在分数以下(如复调音乐和性能偏差)的概述和实施,它表明,这种基于CQT的方法一致,并显着优于常用的FFT为基础的方法,在提取音频功能的分数以下。
2022-05-06 cs.SD eess.AS