Demonstration of PerformanceNet: A Convolutional Neural Network Model for Score-to-Audio Music Generation
Research Center for IT Innovation, Academia Sinica(中央研究院资讯科技创新研究中心)
我们在本文中提出的PerformacnceNet,我们最近提出的神经网络模型,以实现分数到音频的音乐生成。该模型学习将音乐作品从符号域转换到音频域,自动为音乐分配性能级别的属性,例如速度的变化,然后合成音频。因此,该模型不仅仅是一个神经音频合成器,而是一个学习以自己的方式解释乐谱的人工智能表演者。该模型的代码和示例输出可以在https://github.com/bwang514/PerformanceNet上找到。
2019-05-28 cs.SD eess.AS
pyAMPACT: A Score-Audio Alignment Toolkit for Performance Data Estimation and Multi-modal Processing
pyAMPACT是一种用于表演数据估计和多模态处理的工具,通过符号与音频的对齐实现性能数据的估计及多模态分析
2026-01-05 cs.MM cs.SD eess.AS
Audio-to-score alignment of piano music using RNN-based automatic music transcription
Graduate School of Culture Technology, KAIST(韩国科学技术院文化技术研究生院)
我们提出了一个框架,采用自动音乐转录(AMT)使用神经网络的钢琴演奏音频到乐谱对齐。即使AMT结果可能包含一些误差,音符预测输出也可以被认为是直接与后音符或色度表示相当的学习特征表示。为此,我们采用了两个经常性的神经网络,作为基于AMT的特征提取器的对齐算法。一个预测88个音符或12个色度在帧级中的存在,另一个检测12个色度中的音符起始。我们结合了两种类型的学习功能的音频到分数对齐。为了具有可比性,我们应用动态时间规整作为对齐算法,而无需任何额外的后处理。我们评估建议的框架上的MAPS数据集,并将其与以前的工作进行比较。结果表明,与学习功能的对齐框架显着提高了准确性,实现小于10 ms的平均起始误差。
2017-11-13 cs.SD eess.AS
ChordSync: Conformer-Based Alignment of Chord Annotations to Music Audio
University of Bologna(博洛尼亚大学);Universitat Pompeu Fabra(庞培法布拉大学);Universidad de la República(共和国大学)
本文提出基于Conformer的ChordSync模型,无需弱对齐即可将和弦标注与音频精确对齐,并配套预训练模型和易用库,为音频和弦估计等MIR任务及音乐教育提供支持。
2024-08-01 cs.LG cs.MM cs.SD
Precise and Simple Audio-to-Score Alignment
Institute of Computational Perception, Johannes Kepler University(计算感知研究所,约翰·凯普勒大学);LIT AI Lab, Linz Institute of Technology(LIT人工智能实验室,林茨技术学院)
本文提出了一种直接连接音频样特征和符号级特征的算法,该算法基于符号对齐方法,实现了高精度且灵活的音频到乐谱对齐,适用于不同音色特性。
2026-05-19 cs.SD
A new definition of the distortion matrix for an audio-to-score alignment system
University of Jaén(哈恩大学);University of Oviedo(奥维耶多大学)
在本文中,我们提出了一个新的定义的失真矩阵的分数以下框架的基础上DTW。该建议包括安排在一个序列的音符组合和学习的频谱模式,为每个组合使用仪器模型的分数信息。然后,使用这些频谱模式和输入信号的新分解来计算失真矩阵。
2019-05-29 cs.SD eess.AS
PerformanceNet: Score-to-Audio Music Generation with Multi-Band Convolutional Residual Network
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心)
音乐创作通常由两个部分组成:创作乐谱,然后用乐器演奏乐谱以发出声音。虽然最近的工作在符号领域的自动音乐生成方面取得了很大进展,但很少有人尝试构建可以从乐谱中渲染逼真音乐音频的AI模型。直接用声音样本库合成音频通常会导致机械和面无表情的结果,因为乐谱不包含性能级别的信息,例如定时和动态的细微变化。此外,虽然该任务可能听起来像文本到语音合成问题,但由于音乐音频具有丰富的复调声音,因此存在根本差异。为了构建这样的AI表演者,我们在本文中提出了一个深度卷积模型,该模型以端到端的方式学习音乐的符号表示(称为钢琴卷)和音乐的音频表示(称为频谱图)之间的分数到音频映射。该模型由两个子模型组成:ContourNet,它使用U-Net结构来学习钢琴卷和频谱图之间的对应关系,并给出初始结果;以及TextureNet,它进一步使用多波段残差网络,通过添加泛音和音色的频谱纹理来细化结果。我们训练该模型,以生成小提琴、大提琴和长笛的音乐片段,数据集大小适中。我们还提出了一个用户研究的结果,表明我们的模型实现了更高的平均意见得分(MOS)的自然性和情感表达比基于WaveNet的模型和两个商业声音库。我们在https://github.com/bwang514/PerformanceNet上公开源代码
2018-11-11 cs.MM cs.SD eess.AS
Descriptor-Injected Cross-Modal Learning: A Systematic Exploration of Audio-MIDI Alignment via Spectral and Melodic Features
Asociación Civil AlterMundi(AlterMundi民间协会)
本文研究了通过频谱和旋律特征提升音频与MIDI之间跨模态检索性能的方法,通过描述符注入技术提高了模型表现,揭示了音频与MIDI特征对齐的机制。
2026-04-11 cs.LG cs.SD
DECIBEL: Improving Audio Chord Estimation for Popular Music by Alignment and Integration of Crowd-Sourced Symbolic Representations
Utrecht University(乌得勒支大学)
自动和弦估计(ACE)是音乐信息检索(MIR)中的一项基本任务,在音乐演奏和音乐信息检索研究中都有重要的应用。该任务包括分割音乐录音或乐谱,并为每个片段分配和弦标签。虽然ACE已经成为MIREX年度基准评估的一项任务超过10年,但ACE尚未成为一个解决的问题,因为性能停滞不前,现代系统已经开始根据主观训练数据调整自己。我们提出DECIBEL,一个新的ACE系统,利用广泛可用的标签和标签表示,以提高ACE从音频。DECIBEL首先从对应于同一流行音乐歌曲的音频文件和一组MIDI和Tab文件中估计和弦序列。对于音频,使用最先进的音频ACE方法。将音频文件与音频对齐,然后执行重和弦估计步骤。标签文件被转换成不计时的和弦序列,然后与音频对齐。接下来,DECIBEL使用数据融合将所有估计的和弦序列集成到一个最终输出序列中。DECIBEL将所有经过测试的最先进的ACE方法平均提高了3%以上。这一结果表明,从异构的符号音乐表示的音乐知识的整合是一个合适的策略,解决具有挑战性的MIR任务,如ACE。
2020-02-22 cs.MM cs.SD eess.AS
Local Multimodal Music Alignment from Global Supervision
研究如何利用全局监督实现局部多模态音乐对齐,提出FuSiLi方法,通过基于Sinkhorn的软对齐操作局部特征,结合传统全局相似性微调预训练编码器,在跨模态检索和帧级对齐任务中表现出色,优于多种基线。
2026-07-27 cs.LG cs.MM cs.SD
MuseAgent-1: Interactive Grounded Multimodal Understanding of Music Scores and Performance Audio
Nanyang Technological University(南洋理工大学);Beijing University of Chemical Technology(北京化工大学);Microsoft(微软公司);University of Chicago(芝加哥大学)
MuseAgent-1 是一个专注于音乐的多模态代理,通过结构化符号表示和多步骤推理,提升对音乐谱面和表演音频的交互式理解能力。
2026-01-17 cs.MM cs.SD eess.AS
Real-Time Audio-to-Score Alignment of Music Performances Containing Errors and Arbitrary Repeats and Skips
the University of Tokyo(东京大学);Kyoto University(京都大学);Meiji University(明治大学)
本文讨论了音乐表演的音频信号与相应的乐谱(a.k.a.乐谱跟随),其可以处理演奏中的节奏变化、错误和任意重复和/或跳过(重复/跳过)。这种类型的乐谱跟随在练习和排练的自动伴奏中特别有用,其中经常出现错误和重复/跳过。简单的扩展以前提出的算法在文献中是不适用的,在这些情况下,由于大的计算复杂性的问题的实际长度的分数。为了解决这个问题,我们提出了两个隐马尔可夫模型的单声道性能的错误和任意重复/跳过,并推导出有效的分数以下的算法与假设之前和之后的重复/跳过的分数位置的先验概率分布是相互独立的。我们证实了实时的【形】操作的算法与乐谱的实际长度(约10000个音符)的现代笔记本电脑和他们的跟踪能力,平均在0.7秒内的输入性能后,重复/跳过单簧管性能数据。本文还讨论了对复音信号的进一步改进和扩展。
2015-12-24 cs.LG cs.MM cs.SD
Unified Cross-modal Translation of Score Images, Symbolic Music, and Performance Audio
Department of Artificial Intelligence, Sogang University(西江大学人工智能系);Sogang Future Lab, Sogang University(西江大学未来实验室);Department of Physics Education, Seoul National University(首尔大学物理教育系);Computer Science Department, Carnegie Mellon University(卡内基梅隆大学计算机科学系);Department of Art & Technology, Sogang University(西江大学艺术与技术系)
本文提出统一模型,通过大规模数据集和模态分词实现多模态翻译,提升光学音乐识别的符号错误率至13.67%并实现评分图像条件音频生成。
2025-05-19 cs.AI cs.CV cs.SD
Do Joint Language-Audio Embeddings Encode Perceptual Timbre Semantics?
Department of Electrical and Computer Engineering(电气与计算机工程系);Department of Computer Science(计算机科学系);Northwestern University(西北大学)
本文评估MS-CLAP等联合语言-音频嵌入模型捕捉感知音色语义的能力,发现LAION-CLAP对齐表现较强但整体有限,混响诱导音色语义的编码一致性优于均衡诱导。
2026-08-26 cs.AI cs.SD eess.AS
TUTTI: Toward generalizable audio-to-score transcription via fully synthesized data
TUTTI是一种基于合成多乐器数据训练的A2S预训练范式,可提升模型泛化能力,在多乐器A2S任务上达新SOTA,且跨乐器迁移性优异。
2026-09-02 cs.AI cs.SD
Self-supervised Learning of Audio Representations from Audio-Visual Data using Spatial Alignment
Tampere University(坦佩雷大学)
从视听数据中学习提供了许多可能性来表达音频和视觉内容之间的对应关系,类似于将听觉和视觉信息联系起来的人类感知。在这项工作中,我们提出了一种基于视听空间对齐(AVSA)的自监督表示学习方法,这是一种比视听对应(AVC)更复杂的对齐任务。除了对应关系之外,AVSA还从声学和视觉内容的空间位置中学习。基于360 $^\text{o}$视频和Ambisonics音频,我们提出了使用对象检测来选择视觉对象,并将音频信号波束成形到检测到的对象,尝试学习对象和它们产生的声音之间的空间对准。我们研究了使用空间音频特征来表示音频输入以及不同的音频格式:高保真度立体声、单声道和立体声。实验结果表明,与对数梅尔频谱图特征相比,一阶立体混响强度向量(FOA-IV)的AVSA提高了10 $\%$;添加面向对象的作物也为人类动作识别下游任务带来了显着的性能提高。设计了许多仅音频的下游任务,用于测试学习的音频特征表示的有效性,获得与来自立体混响和双耳音频的声学场景分类的最新方法相当的性能。
2022-06-02 cs.SD eess.AS
An Eye for an Ear: Zero-shot Audio Description Leveraging an Image Captioner using Audiovisual Distribution Alignment
LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI、巴黎电信学院、巴黎综合理工学院)
针对音视频模态鸿沟阻碍音频字幕生成的问题,提出通过对齐音频与图像token分布的方法,在不改动原有图像字幕组件的情况下实现无监督零样本音频描述,性能显著优于现有方法。
2024-10-08 cs.CV cs.LG cs.SD
CRASH: Raw Audio Score-based Generative Modeling for Controllable High-resolution Drum Sound Synthesis
Sony CSL(索尼计算机科学实验室);CentraleSupélec(巴黎中央理工-高等电力学院)
在本文中,我们提出了一种新的无条件原始音频合成的分数为基础的生成模型。我们的建议建立在扩散过程建模与随机微分方程的最新发展,这已经证明了有前途的结果图像生成。我们激励新的扩散过程更适合音频生成的选择,并考虑使用一个有条件的U-网近似的分数函数。虽然以前的方法对音频的扩散模型主要是设计为语音声码器在中等分辨率,我们的方法被称为CRASH(可控的原始音频合成与高分辨率)允许我们以可控的方式产生短的44.1kHz的混响声音。通过大量的实验,我们展示了鼓的声音生成任务的众多采样方案提供了我们的方法(无条件生成,确定性生成,修复,插值,变化,类条件采样),并提出了类混合采样,一种新的方式来生成“混合”的声音。我们提出的方法缩小了与基于GAN的方法在原始音频上的差距,同时提供了更灵活的生成功能,具有更轻和更小的训练模型。
2021-06-14 cs.LG cs.SD eess.AS
Phone-to-audio alignment without text: A Semi-supervised Approach
University of Michigan(密歇根大学);Radboud University(拉德堡德大学)
语音对齐在语音研究中有着广泛的应用。在这里,我们介绍了两个基于Wav 2 Vec 2的模型,用于文本相关和文本无关的电话到音频对齐。所提出的Wav 2 Vec 2-FS是一种半监督模型,通过对比学习和前向和损失直接学习语音到音频对齐,并且可以与预训练的语音识别器耦合以实现文本无关的对齐。另一个模型Wav 2 Vec 2-FC是一个在强制对齐标签上训练的帧分类模型,可以执行强制对齐和文本独立分割。评估结果表明,这两种方法,即使transmittance是不可用的,产生高度接近的结果,现有的强制对齐工具。我们的工作提出了一个全自动电话到音频对齐的神经管道。代码和预训练模型可在https://github.com/lingjzhu/charsiu上获得。
2022-02-03 cs.CL cs.SD eess.AS
Rhythmic Foley: A Framework For Seamless Audio-Visual Alignment In Video-to-Audio Synthesis
Tsinghua University(清华大学);Tencent AI Lab(腾讯AI实验室)
本研究提出Rhythmic Foley视频转音频合成框架,通过语义对齐与时间同步双适配器及对比音视频预训练编码器,解决音视频不同步和语义丢失问题,提升生成音频质量与可控性,实验验证了其音视频无缝对齐的有效性。
2024-09-13 cs.MM cs.SD eess.AS
Low Resource Audio-to-Lyrics Alignment From Polyphonic Music Recordings
Queen Mary University of London(伦敦玛丽女王大学);Doremir Music Research AB(Doremir音乐研究公司)
长音乐记录中的歌词对齐在单遍执行时可能是记忆耗尽的。在这项研究中,我们提出了一种新的方法,执行音频到歌词对齐与低内存消耗的足迹,无论音乐录制的持续时间。所提出的系统首先在音频信号中定位锚定词。对于这些锚点,记录然后被分段,并执行第二遍对齐以获得字定时。我们表明,我们的音频到歌词对齐系统执行竞争力与国家的最先进的,同时需要更少的计算资源。此外,我们利用我们的歌词对齐系统将音乐录音分割成音乐级别的块。值得注意的是,在分段录音中,我们报告了一些基准测试集上的歌词转录分数。最后,我们的实验强调了声源分离步骤对于转录和比对任务的良好性能的重要性。为了可重复性,我们与研究社区公开分享我们的代码。
2021-02-18 cs.SD eess.AS
wav2tok 2.0: Scalable Audio Tokenization Maintaining Explicit Pairwise Token Alignment for Efficient Audio Retrieval
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);KU Leuven(鲁汶大学)
提出wav2tok 2.0,通过分阶段训练(对比学习、向量量化、CTC对齐损失和DTW对齐帧预测)实现可扩展的语音分词,在查询示例的口语术语检测中优于基线方法。
2026-06-26 cs.SD eess.AS
From Alignment to Advancement: Bootstrapping Audio-Language Alignment with Synthetic Data
Graduate Institute of Communication Engineering, National Taiwan University(国立台湾大学通信工程研究所)
本文提出BALSa框架,通过合成数据生成提升音频-语言对齐能力,缓解幻觉问题并增强模型理解与推理性能。
2026-01-10 cs.AI cs.CL cs.LG
End-to-end Lyrics Alignment for Polyphonic Music Using an Audio-to-Character Recognition Model
Queen Mary University of London(伦敦玛丽女王大学);Spotify(声田)
时间对齐的歌词可以通过启用卡拉OK、基于文本的歌曲检索和歌曲内导航以及其他应用来丰富音乐收听体验。与文本到语音对齐相比,歌词对齐仍然具有很大的挑战性,尽管许多尝试将包括声音分离和检测在内的许多子模块组合在一起,以解决这个问题。此外,训练需要以某种形式提供细粒度的注释。在这里,我们提出了一种新的系统的基础上修改的Wave-U-Net架构,它预测字符概率直接从原始音频使用学习的多尺度表示的各种信号分量。不存在需要优化其相互依赖性的子模块。我们的训练过程旨在处理现实世界中可用的弱行级注释。在标准数据集上的平均对齐误差为0.35s,我们的系统比最先进的系统性能高出一个数量级。
2019-02-18 cs.LG cs.SD eess.AS
ELSA: Acoustic Event-Level Semantic Alignment for Fine-Grained Reference-Free Text-to-Audio Evaluation
Keio University(Keio大学)
提出ELSA指标,通过将生成音频分解为文本查询中的声学事件并评估事件级对齐,实现细粒度无参考文本到音频评估,在四个基准上比现有指标更符合人类评分。
2026-06-17 cs.SD eess.AS
BAT-CLIP: Trimodal Alignment of Brain, Audio and Text
Yonsei University(延世大学);Seoul National University(首尔国立大学);Dartmouth College(达特茅斯学院)
提出BAT-CLIP,首个针对iEEG的CLIP式三模态对齐框架,联合对齐神经嵌入与音频和文本锚点,在Podcast基准上比双模态基线更稳健。
2026-09-28 cs.AI cs.LG cs.SD
Towards Reliable Real-time Opera Tracking: Combining Alignment with Audio Event Detectors to Increase Robustness
Institute of Computational Perception(计算感知研究所);LIT AI Lab(LIT人工智能实验室);Linz Institute of Technology(林茨理工学院);Johannes Kepler University Linz(约翰内斯·开普勒大学林茨分校)
实时乐谱跟踪的最新进展使机器能够自动跟踪高度复杂的复调音乐,包括完整的管弦乐队表演。在本文中,我们试图将其提升到更高的水平,即对完整歌剧的现场跟踪。我们首先应用一个国家的最先进的音频对齐方法的基础上,在线动态时间扭曲(OLTW)的莫扎特歌剧的全长录音,并分析跟踪器的最严重的错误,确定三个常见的问题来源,具体到歌剧场景。为了解决这些问题,我们提出了一个基于DTW的音乐跟踪器与专门的音频事件检测器(掌声,沉默/噪声和语音),条件DTW算法在自上而下的方式,并显示,一步一步,这些检测器如何增加鲁棒性的分数追随者的组合。然而,仍然有一些开放的问题,我们确定为正在进行的和未来的研究目标。
2020-06-19 cs.LG cs.SD eess.AS
Audio-to-symbolic Arrangement via Cross-modal Music Representation Learning
NYU Shanghai(上海纽约大学);Tencent PCG(腾讯平台与内容事业群)
我们能否根据流行歌曲的音频自动推导出钢琴伴奏的乐谱?这就是我们在本文中所要解决的音频到符号的排列问题。一个好的编曲模型不仅要考虑音频内容,还要有钢琴作曲的先验知识(这样生成的作品听起来像音频,同时保持音乐性)。为此,我们贡献了一个跨模态表示学习模型,该模型1)从音频中提取和弦和旋律信息,2)从音频和损坏的地面真值排列中学习纹理表示。我们进一步引入了一个量身定制的训练策略,逐渐将纹理信息的来源从损坏的分数转移到音频。最后,基于分数的纹理后验被简化为标准的正态分布,并且仅需要音频进行推理。实验表明,我们的模型捕捉主要的音频信息,并优于基线的生成质量。
2022-02-22 cs.LG cs.SD eess.AS
AlignNet: A Unifying Approach to Audio-Visual Alignment
CMU(卡内基梅隆大学);University of Notre Dame(圣母大学);MIT(麻省理工学院)
我们提出了AlignNet,一个模型,在不均匀和不规则的错位下,将视频与参考音频结合起来。AlignNet学习视频和音频的每一帧之间的端到端密集对应关系。我们的方法是根据简单而完善的原则设计的:注意力,金字塔处理,扭曲和亲和函数。与模型一起,我们发布了一个舞蹈数据集Dance50用于训练和评估。在舞蹈-音乐对齐和语音-嘴唇对齐上的定性、定量和主观评价结果表明,我们的方法远远优于现有的方法。项目视频和代码可在www.example.com上获得。
2020-02-12 cs.CV cs.LG cs.MM
Contrastive Learning-Based Audio to Lyrics Alignment for Multiple Languages
Spotify
针对现有歌词对齐方法的缺陷,提出基于对比学习的跨模态嵌入对齐方案,实现了Jamendo数据集上的最优精度,且跨语言鲁棒性强,并发布了多语言数据集的词级对齐结果。
2023-06-13 cs.LG cs.SD eess.AS
CosyAudio: Improving Audio Generation with Confidence Scores and Synthetic Captions
Northwestern Polytechnical University(西北工业大学);Hong Kong University of Science and Technology(香港科技大学);Microsoft Inc.(微软公司)
针对弱标注数据集下文本到音频生成质量不佳的问题,提出CosyAudio框架,利用AudioCapTeller生成合成描述与置信度分数,结合自进化训练策略优化音频生成器,显著提升了音频生成的忠实度与泛化能力。
2025-01-28 cs.SD eess.AS
RUMAA: Repeat-Aware Unified Music Audio Analysis for Score-Performance Alignment, Transcription, and Mistake Detection
Centre for Digital Music, Queen Mary University of London, UK(伦敦女王学院数字音乐中心)
本研究提出基于transformer的统一框架RUMAA,通过预训练编码器与三流解码器,以近乎端到端方式联合处理乐谱-演奏对齐、转录与错误检测,并有效解决了重复符号的对齐难题。
2025-07-16 cs.CL cs.LG cs.SD
Representation Learning for Semantic Alignment of Language, Audio, and Visual Modalities
Audio Research Group, Tampere University(塔尔皮莱大学音频研究组)
针对现有三模态两阶段对齐方法存在数据分布不匹配、效果次优的问题,本文提出基于对比学习的单阶段训练方法,利用AVCaps数据集联合优化多模态表示,在音频驱动视觉检索任务上实现两倍性能提升。
2025-05-20 cs.MM cs.SD eess.AS
AQAScore: Evaluating Semantic Alignment in Text-to-Audio Generation via Audio Question Answering
National Taiwan University(国立台湾大学);Massachusetts Institute of Technology(麻省理工学院)
AQAScore通过音频问答评估文本到音频生成的语义对齐,利用大型语言模型的推理能力,有效捕捉语义不一致性。
2026-01-21 cs.AI cs.CL cs.LG
HunyuanVideo-Foley: Multimodal Diffusion with Representation Alignment for High-Fidelity Foley Audio Generation
针对视频生成中同步音频缺失的问题,提出HunyuanVideo-Foley端到端框架,通过100k小时数据集、表示对齐策略及多模态扩散transformer,实现高保真且与视觉动态和语义对齐的拟音音频生成,性能达SOTA。
2025-08-23 cs.CV cs.SD eess.AS
Semantic Refinement of Universal Audio Representations through Audio-Description Alignment
Alibaba Token Foundry(阿里巴巴Token铸造实验室);Stanford University(斯坦福大学)
本研究通过在声学预训练编码器上添加音频-描述对齐实现语义精炼,正确配对显著提升域平衡分类性能,且24层模型与领先编码器竞争力相当。
2026-09-09 cs.SD eess.AS
Foley-Flow: Coordinated Video-to-Audio Generation with Masked Audio-Visual Alignment and Dynamic Conditional Flows
CMU / MBZUAI DAMO Academy, Alibaba Group(卡内基梅隆大学 / MBZUAI 大学 DAMO 院,阿里巴巴集团);DAMO Academy, Alibaba Group(DAMO 院,阿里巴巴集团);Hupan Laboratory(虎盘实验室)
FoleyFlow通过掩码建模和动态条件流实现视频到音频的协调生成,提升语义与节奏一致性。
2026-03-09 cs.AI cs.CV cs.LG
AlignVSR: Audio-Visual Cross-Modal Alignment for Visual Speech Recognition
School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院)
AlignVSR通过音视频跨模态全局注意力对齐与帧级局部对齐损失,利用音频辅助信息提升视觉语音识别性能,在LRS2和CNVSRC.Single数据集上优于主流VSR方法。
2024-10-21 cs.CV cs.MM cs.SD
Full-band General Audio Synthesis with Score-based Diffusion
Dolby Laboratories(杜比实验室)
最近的工作表明,深度生成模型能够从单个标签处理一般音频合成,产生各种脉冲,音调和环境声音。这样的模型对带限信号进行操作,并且作为自回归方法的结果,它们通常由预训练的潜在编码器和/或若干级联模块来符合。在这项工作中,我们提出了一个基于扩散的生成模型的一般音频合成,命名为DAG,它处理全频带信号端到端的波形域。结果表明,DAG优于现有的标签条件发电机的质量和多样性。更具体地,当与现有技术相比时,DAG的带限和全带版本分别实现了高达40%和65%的相对改进。我们相信,DAG是足够灵活,以适应不同的条件图式,同时提供高质量的合成。
2022-10-26 cs.LG cs.SD eess.AS
Audio-text Retrieval with Transformer-based Hierarchical Alignment and Disentangled Cross-modal Representation
YifeiXin(西菲·欣);ZhihongZhu(朱之宏);XuxinCheng(程旭鑫);XushengYang(杨旭生);YuexianZou(邹岳先)
本文提出基于双流Transformer与层次对齐模块的音频-文本检索框架,并引入解耦跨模态表示和置信度感知模块实现细粒度语义对齐,实验证明其有效提升检索性能。
2025-05-04 cs.SD eess.AS
Audio-Visual Speech Enhancement with Score-Based Generative Models
Universität Hamburg(汉堡大学)
提出一种以视觉信息为条件、融合自监督视听嵌入与扩散模型的语音增强系统,实验证明其可提升语音质量、减少伪影并显著降低低信噪比下的ASR词错误率。
2023-06-02 cs.LG eess.AS
Unsupervised Generative Adversarial Alignment Representation for Sheet music, Audio and Lyrics
National Institute of Informatics(国立信息学研究所);SOKENDAI(综合研究大学院大学)
乐谱、音频和歌词是创作歌曲的三种主要形式。在本文中,我们提出了一种无监督的生成对抗对齐表示(UGAAR)模型来学习三种主要音乐形式共享的深度判别表示:乐谱,歌词和音频,其中基于三个分支的深度神经网络架构被联合训练。特别是,该模型可以通过学习潜在共享子空间中的相关性,将音频和乐谱之间的强关系转移到音频-歌词和乐谱-歌词对。我们应用音频和乐谱的CCA组件来建立新的地面实况。生成(G)模型学习两对转移对的相关性,以针对固定歌词生成新的音频片对来挑战判别(D)模型。判别模型的目的是区分来自生成模型的输入还是来自基础事实的输入。这两个模型同时以对抗的方式进行训练,以增强深度对齐表示学习的能力。我们的实验结果表明,我们提出的UGAAR对齐表示学习之间的乐谱,音频和歌词的可行性。
2020-07-29 cs.IR cs.MM cs.SD
Delayed Bidirectional Alignment via Disentangled Audio Semantics for Audio-Visual Segmentation
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Peking University(北京大学)
本文提出DDAVS方法,通过解耦音频语义和延迟双向对齐解决音频视觉分割中的多源纠缠和视听错位问题,实验表明其在多种场景下均取得最优性能。
2026-06-29 cs.CV cs.SD eess.AS
Learning Contextual Tag Embeddings for Cross-Modal Alignment of Audio and Tags
Universitat Pompeu Fabra(庞培法布拉大学);Tampere University(坦佩雷大学)
自监督音频表示学习为获得通用音频嵌入提供了一种有吸引力的替代方案,能够用于各种下游任务。考虑音频和与音频相关联的词/标签两者的公开方法不采用能够概括为训练期间未知的标签的文本处理模型。在这项工作中,我们提出了一种学习音频表示使用音频自动编码器(AAE),一般词嵌入模型(WEM),和多头自我注意(MHA)机制的方法。MHA参与WEM的输出,提供与音频相关联的标签的上下文化表示,并且我们使用对比损失将MHA的输出与AAE的编码器的输出对齐。我们联合优化AAE和MHA,并通过在三个不同的下游任务(即声音,音乐流派和乐器分类)中利用它们来评估音频表示(即AAE编码器的输出)。我们的研究结果表明,在基于标签的网络中使用多个头部的多头自我注意可以诱导更好的学习音频表示。
2020-10-27 cs.IR cs.LG cs.SD
Cross-Attention with Confidence Weighting for Multi-Channel Audio Alignment
Systems and Control Engineering, Institute of Science Tokyo, Japan(科学研究所系统与控制工程系,东京日本);RIKEN BDR, Japan(日本Riken BDR)
本文提出结合交叉注意力与置信度加权评分的多通道音频对齐方法,扩展BEATs编码器建模通道间时间关系,在BioDCASE 2025任务1中以平均MSE 0.30获得第一名。
2025-09-21 cs.AI cs.LG cs.SD
Score Distillation Sampling for Audio: Source Separation, Synthesis, and Beyond
NVIDIA;MIT(麻省理工学院)
本文提出Audio-SDS,将分数蒸馏采样推广到文本条件音频扩散模型,利用单个预训练模型实现冲击声模拟引导、FM合成参数校准和提示指定源分离等多种音频任务,无需专门数据集。
2025-05-07 cs.AI cs.LG cs.MM
AV-SSAN: Audio-Visual Selective DoA Estimation through Explicit Multi-Band Semantic-Spatial Alignment
针对现有视听声源定位需空间配对数据且无法选择性定位的问题,提出AV-SSAN框架,通过多频带语义-空间对齐网络实现跨实例视觉提示下的选择性到达方向估计,在VGGSound-SSL数据集上显著优于现有方法。
2025-08-06 cs.SD eess.AS
Embedding Alignment in Code Generation for Audio
Yale University(耶鲁大学);Columbia University(哥伦比亚大学)
本研究探索代码与音频嵌入空间的对齐,提出预测模型构建映射,以提升大语言模型在创意编码中生成多样音乐输出的能力。
2025-09-23 cs.AI cs.MM cs.SD
Text-to-Audio Grounding: Building Correspondence Between Captions and Sound Events
Shanghai Jiao Tong University(上海交通大学)
自动音频字幕是一个跨模态的任务,生成自然语言描述来总结音频剪辑的声音事件。然而,尚未研究基于其对应的字幕将给定音频中的实际声音事件接地。本文贡献了一个AudioGrounding数据集,它提供了声音事件和Audiocaps中提供的字幕之间的对应关系,以及每个声音事件的位置(时间戳)。在此基础上,我们提出了文本到音频接地(TAG)的任务,交互地考虑音频处理和语言理解之间的关系。提供了基线方法,导致事件F1评分为28.3%,复音检测评分(PSDS)为14.7%。
2021-02-23 cs.SD eess.AS
Acoustic Modeling for Automatic Lyrics-to-Audio Alignment
National University of Singapore(新加坡国立大学)
歌词到复调音频的自动对齐是一项具有挑战性的任务,这不仅是因为人声被背景音乐破坏,而且缺乏有效的声学建模的注释复调语料库。在这项工作中,我们提出(1)使用额外的语音和音乐信息特征,以及(2)使用少量的域内数据将在大量独唱声乐上训练的声学模型调整为复调音乐。将诸如发声和听觉特征的附加信息与常规声学特征一起描述旨在针对歌唱声中增加的频谱-时间变化带来鲁棒性。通过使用少量的复调音频数据来适应声学模型,我们减少了训练数据和测试数据之间的域失配。我们进行了几个对齐实验,并提出了深入的声学特征的对齐误差分析,和模型自适应技术。结果表明,所提出的策略提供了一个显着的错误减少字边界对齐可比现有的系统,特别是更具有挑战性的复调数据与长时间的音乐插曲。
2019-06-25 cs.CL cs.SD eess.AS
Deep Visual Forced Alignment: Learning to Align Transcription with Talking Face Video
KAIST(韩国科学技术院)
强制对齐是指将给定转录与相应语音进行时间对齐的技术。然而,由于已经使用语音音频开发了强制对准技术,当输入语音音频被噪声破坏或不可访问时,它们可能无法对准。我们关注的是,存在可以从语音中推断出语音的另一个组件,即语音视频(即,说话的脸视频)。由于基于音频的强制对齐方法在音频信号较差的情况下可以利用视觉信息来弥补其不足,因此本文尝试提出一种新的基于视频的强制对齐方法。然而,与音频强制对齐不同,开发可靠的视觉强制对齐技术具有挑战性,原因有以下两个:1)与基于音频的自动语音识别(ASR)相比,视觉语音识别(VSR)具有低得多的性能,以及2)从文本到视频的翻译不可靠,因此通常用于建立音频强制对准的方法不能用于开发视觉强制对准。为了缓解这些挑战,在本文中,我们提出了一种新的方法,这是适合于视觉强制对齐,即深度视觉强制对齐(DVFA)。所提出的DVFA可以比对输入转录(即,句子)与说话面部视频进行交互,而不访问语音音频。此外,通过用异常情况检测来增强对准任务,DVFA可以在执行对准的同时检测输入转录和输入视频之间的不匹配。因此,即使文本中存在错误的单词,我们也可以鲁棒地将文本与说话的人脸视频对齐。通过大量的实验,我们证明了所提出的DVFA的有效性,不仅在对齐任务,而且在解释VSR模型的输出。
2023-02-27 cs.AI cs.CV cs.SD
STA-V2A: Video-to-Audio Generation with Semantic and Temporal Alignment
Tencent AI Lab(腾讯AI实验室);Beijing Institute of Technology(北京理工大学)
针对生成视频缺乏协调音频的问题,提出STA-V2A视频转音频方法,结合视频多维度特征与文本跨模态引导,搭配专用特征提取模块和带先验的潜扩散模型,在多项指标上优于现有模型,还提出新的音频时间对齐评估指标。
2025-03-24 cs.MM cs.SD eess.AS
The T12 System for AudioMOS Challenge 2025: Audio Aesthetics Score Prediction System Using KAN- and VERSA-based Models
Katsuhiko Yamamoto ∗ ∗ These authors contributed equally to this work. Koichi Miyazaki ∗ Shogo Seki ∗(无)
T12系统利用KAN和VERSA模型预测音频美学评分,通过集成四个KAN模型和一个VERSA模型,实现了在多个评估轴上的最佳相关性。
2026-02-02 cs.SD eess.AS
SGPA: Spectrogram-Guided Phonetic Alignment for Feasible Shapley Value Explanations in Multimodal Large Language Models
Warsaw University of Technology(华沙技术大学)
SGPA通过结合连接主义时间分类和频谱边界细化,实现了多模态大语言模型中可行的音频解释,显著减少了模型评估次数并保持了全局轮廓。
2026-02-25 cs.SD eess.AS