SAME: A Semantically-Aligned Music Autoencoder
Stability AI
该研究提出SAME自编码器,通过结合Transformer架构和语义正则化方法,实现了4096倍的时间压缩比,同时保持重建质量和生成性能。
2026-05-18 cs.AI cs.SD
Audio Spectral Enhancement: Leveraging Autoencoders for Low Latency Reconstruction of Long, Lossy Audio Sequences
Thadomal Shahani Engineering College(塔多马尔沙哈尼工程学院);Mumbai University(孟买大学)
随着对音频压缩技术的积极研究取得了实质性的突破,低质量音频波的频谱重建仍然是一个不太受欢迎的话题。在本文中,我们提出了一种新的方法来重建更高的频率从相当长的序列的低质量的MP3音频波。我们的技术涉及通过操纵与感知差异相关的各个幅度和相位值,使用剩余堆叠的自动编码器块来修复音频频谱图。我们的架构提出了几个瓶颈,同时通过跳过连接保留音频波的频谱结构。我们还比较了几个任务指标,并展示了我们的视觉指南损失选择。此外,我们展示了如何利用差分量化技术将初始模型大小减少一半以上,同时减少推理时间,这在现实世界的应用中至关重要。
2021-08-08 cs.LG cs.SD
Learning Linearity in Audio Consistency Autoencoders via Implicit Regularization
LTCI, Telecom Paris, Institut Polytechnique de Paris(LTCI,电信巴黎,巴黎高等理工学院);Deezer Research(Deezer研究)
通过隐式正则化在音频一致性自编码器中诱导线性性,实现更直观高效的音频处理
2026-01-27 cs.AI cs.LG cs.SD
Single Channel Audio Source Separation using Convolutional Denoising Autoencoders
University of Surrey(萨里大学)
深度学习技术最近已被用于解决音频声源分离问题。在这项工作中,我们建议使用深度全卷积去噪自动编码器(CDAE)进行单声道音频声源分离。我们使用与要从混合信号中分离的源的数量一样多的CDAE。每个CDAE都被训练来分离一个源,并将其他源视为背景噪声。其主要思想是允许每个CDAE学习合适的频谱-时间滤波器和特征到其对应的源。我们的实验结果表明,CDAE执行声源分离略优于深度前馈神经网络(FNN),即使参数比FNN少。
2017-10-13 cs.SD
Network Modulation Synthesis: New Algorithms for Generating Musical Audio Using Autoencoder Networks
University of California San Diego(加州大学圣迭戈分校);New York University(纽约大学)
提出 network modulation synthesis 框架及新生成算法,帮助用户在自编码器潜在空间中构造时变参数,扩展音乐音频合成的听觉可能性。
2021-09-04 cs.SD eess.AS
Autoencoder Based Architecture For Fast & Real Time Audio Style Transfer
Nevronas;National Institute of Technology, Warangal(瓦朗加尔国家理工学院)
近来,在音频风格转移领域中存在极大的兴趣,其中通过将参考音频的风格强加于目标音频的内容上来生成风格化音频。我们改进了目前的方法,使用神经网络提取的内容和风格的音频信号,并提出了一种新的自动编码器为基础的架构的任务。该网络在单个前向传递中为内容音频生成风格化的音频。所提出的网络架构被证明是有利的音频质量和训练网络所需的时间。该网络在语音信号上进行了实验,以证实我们的建议的有效性。
2018-12-26 cs.LG cs.SD eess.AS
Masked Autoencoders that Listen
Meta AI;Carnegie Mellon University(卡内基梅隆大学)
本文研究了基于图像的掩码自编码器(MAE)的一个简单的扩展,从音频频谱图的自监督表示学习。遵循MAE中的Transformer编码器-解码器设计,我们的Audio-MAE首先以高掩蔽比编码音频频谱图补丁,仅通过编码器层馈送未掩蔽的令牌。然后,解码器重新排序并解码填充有掩码令牌的编码上下文,以便重建输入频谱图。我们发现在解码器中加入局部窗口注意力是有益的,因为音频频谱图在本地时间和频带中高度相关。然后,我们对编码器进行微调,在目标数据集上具有较低的掩蔽比。从经验上讲,Audio-MAE在六个音频和语音分类任务上设置了新的最先进的性能,优于其他使用外部监督预训练的最新模型。代码和模型将在https://github.com/facebookresearch/AudioMAE。
2023-01-12 cs.AI cs.LG cs.SD
Music2Latent: Consistency Autoencoders for Latent Audio Compression
Queen Mary University of London(伦敦玛丽女王大学);Sony Computer Science Laboratories(索尼计算机科学实验室)
针对现有音频自编码器的训练复杂、采样慢、重建质量低问题,提出基于一致性模型的Music2Latent音频自编码器,通过多项创新实现单步高保真重建,性能优于同类模型且首次实现端到端训练。
2024-08-12 cs.LG cs.SD eess.AS
Robust Unsupervised Audio-visual Speech Enhancement Using a Mixture of Variational Autoencoders
Inria Grenoble Rh\ o ne-Alpes, France
近年来,提出了一种基于变分自编码器(VAE)的视听语音生成模型,该模型结合噪声方差的非负矩阵分解(NMF)模型实现无监督语音增强。当视觉数据是干净的,语音增强与视听VAE表现出更好的性能比与仅音频VAE,这是在仅音频数据上训练。然而,视听VAE对于噪声视觉数据(例如,当对于某些视频帧,说话人面部不是正面或嘴唇区域被遮挡时。本文提出了一种基于逐帧VAE混合模型的鲁棒无监督音视频语音增强方法。该混合模型由训练的仅音频VAE和训练的视听VAE组成。其动机是通过切换到仅音频VAE模型来跳过嘈杂的视觉帧。我们提出了一种变分期望最大化方法来估计模型的参数。实验结果表明,该方法具有良好的性能。
2019-11-10 cs.LG cs.SD eess.AS
Conditional variational autoencoder to improve neural audio synthesis for polyphonic music sound
Kyungpook National University(庆北国立大学);Electronics and Telecommunications Research Institute(韩国电子通信研究院)
用于音频合成的深度生成模型最近得到了显着改进。然而,对原始波形进行建模的任务仍然是一个困难的问题,特别是对于音频波形和音乐信号。最近,开发了用于高质量音频波形合成的实时音频变分自编码器(RAVE)方法。RAVE方法基于变分自编码器,并采用两阶段训练策略。不幸的是,RAVE模型在再现宽音高复调音乐声音方面受到限制。因此,为了提高重建性能,我们采用基音激活数据作为RAVE模型的辅助信息。为了处理辅助信息,我们提出了一个增强的RAVE模型的条件变分自编码器结构和一个额外的全连接层。为了评估所提出的结构,我们进行了一个听力实验的基础上多个刺激测试与隐藏的参考和锚(MUSHRA)与MAESTRO。结果表明,该模型比传统的RAVE模型具有更显著的性能和稳定性的改善。
2022-11-16 cs.LG cs.SD eess.AS
A Generative-First Neural Audio Autoencoder
Adobe Research(Adobe研究院)
本文提出了一种生成优先的神经音频自编码器,通过提高时间下采样率并支持多种音频表示,实现了更快的编码速度、更低的潜在率和更高效的生成建模。
2026-02-19 cs.SD eess.AS
Learning Interpretable Features in Audio Latent Spaces via Sparse Autoencoders
Smule Labs(Smule实验室);University of California, San Diego(加州大学圣地亚哥分校);Stanford University(斯坦福大学)
针对稀疏自编码器应用于音频生成的语义掩盖、特征表征有限问题,提出将音频潜在表示映射到可解释声学概念的框架,训练SAEs并学习到声学属性的线性映射,在多类潜在空间验证有效且可扩展至视觉领域。
2025-10-27 cs.LG cs.SD
Universal Sound Separation with Self-Supervised Audio Masked Autoencoder
University of Surrey(萨里大学);The Chinese University of Hong Kong(香港中文大学)
本文提出将自监督音频掩码自编码器集成到通用声音分离系统中,通过冻结或更新其参数并结合STFT特征,在AudioSet上提升了ResUNet模型的分离性能。
2024-11-06 cs.AI cs.SD eess.AS
Leveraging Pre-Trained Autoencoders for Interpretable Prototype Learning of Music Audio
Universitat Pompeu Fabra(庞培法布拉大学)
提出PECMAE模型,通过解耦训练过程并利用预训练自编码器EnCodecMAE和扩散解码器,实现音乐音频分类的可解释原型学习,在乐器和流派识别任务中保持性能并提升可解释性。
2024-02-14 cs.AI cs.MM cs.SD
Unsupervised Audiovisual Synthesis via Exemplar Autoencoders
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种无监督的方法,将任何个人的输入语音转换为潜在的无限多个输出扬声器的视听流。我们的方法建立在简单的自动编码器上,将样本外数据投影到训练集的分布上。我们使用Exemplar自动编码器来学习特定目标范例语音的语音,文体韵律和视觉外观。与现有方法相比,所提出的方法可以容易地扩展到任意大数量的扬声器和风格,仅使用3分钟的目标音频-视频数据,而不需要输入扬声器的{ \em任何}训练数据。要做到这一点,我们学习视听瓶颈表示,捕捉语音的结构化语言内容。我们在音频和视频合成方面优于以前的方法,并在我们的项目页面上提供了广泛的定性分析-https://www.cs.cmu.edu/~exemplar-ae/。
2021-07-03 cs.CV cs.LG cs.MM
HARP-Net: Hyper-Autoencoded Reconstruction Propagation for Scalable Neural Audio Coding
Indiana University(印第安纳大学);Electronics and Telecommunications Research Institute(韩国电子通信研究院)
基于自动编码器的编解码器采用量化将其瓶颈层激活转换为位串,这一过程阻碍了编码器和解码器部分之间的信息流。为了避免这个问题,我们在相应的编码器-解码器层对之间采用额外的跳过连接。假设在镜像自动编码器拓扑中,解码器层重构其对应编码器层的中间特征表示。因此,直接从对应的编码器层传播的任何附加信息有助于重建。我们以额外的自动编码器的形式实现这种跳过连接,每个自动编码器都是一个小型编解码器,用于压缩成对的编码器-解码器层之间的大量数据传输。我们经验验证,建议超自动编码架构提高感知音频质量相比,一个普通的自动编码器基线。
2021-07-23 cs.AI cs.SD eess.AS
Audio Source Separation Using a Deep Autoencoder
Kyungpook National University(庆北国立大学);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
本文提出了一种新的框架,无监督的音频声源分离使用深度自动编码器。混合输入中混合的未知源信号的特征由适当配置的自编码器自动实现,该自编码器由具有许多层的网络实现,并且通过在代码层中聚类系数向量来分离。通过研究到最终目标(表示层)的权重向量,观察频域中的音频信号的原始分量。通过对码层中的激活系数进行聚类,分离出先前未知的源信号。然后,通过使用属于不同簇的码向量来分离和重构原始源声音。恢复的声音是不完美的,但产生有希望的结果的可能性,在许多实际应用的成功。
2014-12-22 cs.LG cs.NE cs.SD
3D-MOV: Audio-Visual LSTM Autoencoder for 3D Reconstruction of Multiple Objects from Video
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of Maryland at College Park(马里兰大学帕克分校)
透明和凹面结构物体的三维物体重建,推断材料属性,仍然是一个开放的研究问题,机器人导航在非结构化环境中。在本文中,我们提出了一个多模式的单帧和多帧神经网络的三维重建使用视听输入。我们经过训练的重建LSTM自动编码器3D-MOV接受多个输入,以考虑各种表面类型和视图。我们的神经网络使用体素表示产生高质量的3D重建。基于Intersection-over-Union(IoU),我们使用合成视听数据集ShapeNet和Sound 20 K与冲击声和限界框注释进行了评估。据我们所知,我们的单帧和多帧模型是第一个用于3D几何和材料表示的视听重建神经网络。
2021-10-05 cs.CV cs.SD eess.AS
Sparse Autoencoders Make Audio Foundation Models more Explainable
LIUM, Le Mans Université(利姆大学LIUM);VivoLab, I3A, University of Zaragoza(瓦沃拉实验室、I3A、萨拉戈萨大学)
本研究利用稀疏自编码器分析音频预训练模型的隐藏表示,揭示其在歌唱技巧分类中的可解释性提升及对自监督学习系统的作用。
2025-12-17 cs.AI cs.LG cs.SD
Towards Reliable Audio Deepfake Attribution and Model Recognition: A Multi-Level Autoencoder-Based Framework
IMT School of Advanced Studies(IMT高级研究学院);University of Catania(卡塔尼亚大学)
提出LAVA分层框架,利用仅在伪造音频上训练的卷积自编码器提取注意力增强的潜在表示,通过两个分类器实现音频深度伪造的生成技术识别和具体模型识别,在多个数据集上F1分数超过95%。
2026-06-23 cs.AI cs.CV cs.SD
Masked Autoencoders with Multi-Window Local-Global Attention Are Better Audio Learners
Aalborg University(奥尔堡大学);Pioneer Centre for Artificial Intelligence(先锋人工智能中心);DTU(丹麦技术大学);National and Kapodistrian University of Athens(雅典大学)
本研究提出配备多窗口多头注意力模块的多窗口掩码自编码器MW-MAE,通过多窗口注意力建模局部-全局交互,在10项音频下游任务上性能优于标准MAE,能学习更优通用音频表征且缩放特性更佳。
2023-10-01 cs.AI cs.SD eess.AS
Domestic Activity Clustering from Audio via Depthwise Separable Convolutional Autoencoder Network
Tampere University(坦佩雷大学)
根据音频自动估计家庭活动可以用于解决许多问题,例如减少护理老年人的劳动力成本。本研究的重点是解决国内活动的音频聚类的问题。家庭活动聚类的目标是以无监督的方式将属于同一家庭活动类别的音频片段聚类到一个聚类中。在本文中,我们提出了一种使用深度可分离卷积自动编码器网络的国内活动聚类方法。在该方法中,初始嵌入学习的深度可分离的卷积自编码器,和一个面向聚类的损失设计,以联合优化嵌入细化和集群分配。不同的方法在2018年声学场景和事件的检测和分类(DCASE)挑战中使用的公共数据集(DCASE数据集的衍生物)上进行了评估。我们的方法得到的归一化互信息(NMI)得分为54.46%,聚类准确度(CA)得分为63.64%,并优于国家的最先进的方法方面的NMI和CA。此外,我们的方法的计算复杂度和内存需求都低于以前的基于深度模型的方法。代码:https://github.com/vinceasvp/domestic-activity-clustering-from-audio
2022-08-04 cs.SD eess.AS
Domestic activities clustering from audio recordings using convolutional capsule autoencoder network
South China University of Technology(华南理工大学)
最近在国内活动分类方面做出了努力,特别是自2018年以来提交DCASE(声学场景和事件的检测和分类)挑战的作品。而国内活动集群这一新出现的问题却鲜有研究。从音频记录的家庭活动聚类旨在将属于同一类家庭活动的音频片段合并到单个聚类中。家庭活动聚类是一种有效的方法,在家庭环境中进行日常活动的无监督估计。在这项研究中,我们提出了一种使用卷积胶囊自动编码器网络(CCAN)进行国内活动聚类的方法。该方法通过CCAN中的自动编码器学习深度嵌入,通过CCAN中的聚类层将属于同一类的深度嵌入合并为一个簇。在DCASE-2018任务5中采用的公共数据集上进行评估,结果表明,所提出的方法在聚类准确性和归一化互信息的度量方面优于最先进的方法。
2021-05-08 cs.SD eess.AS
Towards Interpretable Framework for Neural Audio Codecs via Sparse Autoencoders: A Case Study on Accent Information
University of Southern California(南加州大学)
本文通过稀疏自编码器分析神经音频编解码器的可解释性,探讨口音信息的编码机制,发现DAS和SpeechTokenizer在可解释性上表现最佳,低比特率EnCodec变体也具有较高可解释性。
2026-07-08 cs.SD
Anomalous Sound Detection using unsupervised and semi-supervised autoencoders and gammatone audio representation
Visualfy(维苏阿尔公司)
异常音检测是当前机器听力领域的热门课题之一。无监督检测由于其在许多领域的直接适用性而引起了人们的极大兴趣。例如,在工业过程中,机器故障或损坏的早期检测可能意味着工业过程效率的巨大节省和提高。这个问题可以通过无监督的ASD解决方案来解决,因为工业机器不会仅仅因为在训练阶段具有此音频数据而损坏。本文提出了一种基于卷积自编码器(无监督和半监督)和基于Gammatone的音频表示的新框架。通过这些架构获得的结果大大超过了作为基线呈现的结果。
2020-06-27 cs.LG cs.SD eess.AS
RAVE: A variational autoencoder for fast and high-quality neural audio synthesis
IRCAM - Sorbonne Université(IRCAM - 索邦大学);CNRS UMR 9912(法国国家科学研究中心 UMR 9912)
应用于音频的深度生成模型在许多语音和音乐相关任务中大大提高了最先进的水平。然而,由于原始波形建模仍然是固有地困难的任务,因此音频生成模型是计算密集型的,依赖于低采样率,控制或限制可能信号的性质是复杂的。在这些模型中,变分自编码器(VAE)通过暴露潜在变量来控制生成,尽管它们通常遭受低合成质量。在本文中,我们介绍了一种实时音频变分自编码器(RAVE),允许快速和高质量的音频波形合成。我们引入了一种新的两阶段训练过程,即表示学习和对抗性微调。我们表明,使用潜在空间的训练后分析允许重建保真度和表示紧凑性之间的直接控制。通过利用原始波形的多频带分解,我们证明了我们的模型是第一个能够生成48kHz音频信号的模型,同时在标准笔记本电脑CPU上运行的速度比实时快20倍。我们使用定量和定性主观实验来评估合成质量,并显示出我们的方法与现有模型相比的优越性。最后,我们提出了我们的模型的音色转移和信号压缩的应用。我们所有的源代码和音频示例都是公开的。
2021-12-15 cs.LG cs.SD eess.AS
A vector quantized masked autoencoder for audiovisual speech emotion recognition
CentraleSupélec(中央理工学院);IETR(信息与电信研究实验室);UMR CNRS 6164(法国国家科学研究中心6164号研究单位)
本文提出VQ-MAE-AV自监督多模态模型,通过向量量化与掩码自编码器从无标签视听语音中学习帧级和序列级表示,并在多个数据集上取得最先进的情感识别性能。
2025-05-09 cs.LG cs.MM cs.SD
Genuine-Focused Learning using Mask AutoEncoder for Generalized Fake Audio Detection
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Tsinghua University(清华大学);School of Information and Communication Engineering, Communication University of China(中国传媒大学信息与通信工程学院);Shanghai Polytechnic University(上海第二工业大学)
本文提出GFL-FAD框架,通过MAE重建真实音频并融合瓶颈特征,在ASVspoof2019 LA上实现0.25% EER的最先进广义伪造音频检测性能。
2024-06-09 cs.SD eess.AS
Re-Bottleneck: Latent Re-Structuring for Neural Audio Autoencoders
本文提出Re-Bottleneck框架,通过修改预训练自编码器的瓶颈层,引入用户定义的潜在结构,提升音频模型在不同下游任务中的性能。
2025-09-08 cs.LG cs.SD eess.AS
Disentanglement Learning for Variational Autoencoders Applied to Audio-Visual Speech Enhancement
最近,标准变分自编码器已成功地用于学习语音信号的概率先验,然后用于执行语音增强。然后,变分自动编码器以描述高级语音属性(例如语音活动)的标签为条件,该标签允许对语音生成进行更明确的控制。然而,标签不能保证与其他潜在变量分离,这导致与标准变分自动编码器相比性能提高有限。在这项工作中,我们建议使用变分自编码器的对抗性训练方案,以将标签与其他潜在变量分开。在训练时,我们使用一个与变分自动编码器的编码器竞争的编码器。同时,我们还使用了一个额外的编码器来估计变分自编码器的解码器的标签,这被证明是至关重要的学习解纠缠。我们提出的解纠缠学习的好处时,从视觉数据估计的语音活动标签,用于语音增强。
2021-08-03 cs.LG cs.SD eess.AS
AudioMAE++: learning better masked audio representations with SwiGLU FFNs
Aalborg University, Denmark(奥胡斯大学);Pioneer Centre for AI, Denmark(人工智能先锋中心);National and Kapodistrian University of Athens, Greece(希腊雅典国家与卡波迪斯蒂亚纳大学)
本文提出AudioMAE++,通过引入带有门控线性单元的macaron风格transformer块改进音频掩码自编码器,在AudioSet预训练后在10个下游任务上超越现有MAE方法,并展现出优于参数量4倍标准基线的缩放特性。
2025-07-14 cs.AI cs.SD eess.AS
High-Fidelity Audio Generation and Representation Learning with Guided Adversarial Autoencoder
University of Southern Queensland(南昆士兰大学);Imperial College London(帝国理工学院);University of Augsburg(奥格斯堡大学)
从无标签音频数据中进行无监督的解纠缠表示学习和高保真音频生成已经成为机器学习研究领域的两个关键。然而,从无监督设置中学习的表示并不能保证其对于手头的任何下游任务的可用性,如果训练是针对该特定的后续工作进行的,则这可能是资源的浪费。此外,在表示学习过程中,如果模型高度偏向下游任务,它就会失去直接有利于下游任务的泛化能力,但也失去了将其扩展到其他相关任务的能力。因此,为了填补这一空白,我们提出了一种新的基于自动编码器的模型,名为“Guided Adversarial Autoencoder(GAAE)”,它可以学习任务后特定的表示和一般表示,利用一小部分标记样本捕获训练数据中的变化因素;因此,使其适合未来的相关任务。此外,我们提出的模型可以生成具有优异质量的音频,这是从真实的音频样本难以区分。因此,通过大量的实验结果,我们已经证明,通过利用高保真音频生成的能力,所提出的GAAE模型可以从未标记的数据集中学习强大的表示,利用较少百分比的标记数据作为监督/指导。
2020-10-17 cs.LG cs.SD eess.AS
Towards Interpretable Framework for Neural Audio Codecs via Sparse Autoencoders: Exploration toward Age, Gender, and Accent Steering
University of Southern California(南加州大学)
本文利用稀疏自编码器引导神经音频编解码器中的年龄、性别和口音信息,发现所选维度可引发目标偏移,但存在质量下降,凸显了分离特质信息的必要性。
2026-09-29 cs.SD
A General Framework for Learning Procedural Audio Models of Environmental Sounds
New Jersey Institute of Technology(新泽西理工学院)
本文介绍了程序(音频)变分自编码器(ProVE)框架作为一种通用的方法来学习程序音频PA模型的环境声音与改进的现实主义的合成,同时保持提供控制所产生的声音通过可调参数。该框架包括两个阶段:(i)音频类表示,其中通过训练音频自动编码器来定义潜在表示空间,以及(ii)控制映射,其中从音频和均匀噪声的随机样本导出的静态/时间控制变量的联合函数被学习以替换音频编码器。我们通过在各种表面上的脚步声效果的例子来演示ProVE的使用。我们的研究结果表明,ProVE模型在声音保真度方面优于经典PA模型和基于对抗的方法,如Fréchet音频距离(FAD),最大平均离散度(MMD)和主观评价所测量的,使它们成为声音设计工作流程的可行工具。
2023-03-04 cs.AI cs.SD eess.AS
Source Separation of Multi-source Raw Music using a Residual Quantized Variational Autoencoder
Sapienza University of Rome(罗马第一大学)
本研究提出一种基于残差量化变分自编码器的神经音频编解码器模型,在Slakh2100数据集上训练后可实现音乐源分离,以远低于现有方法的算力取得接近当前最优水平的效果,且代码已公开。
2024-08-12 cs.LG cs.MM cs.SD
Extending Audio Masked Autoencoders Toward Audio Restoration
Sony Group Corporation(索尼集团公司);Kyoto University(京都大学);Sony Research(索尼研究院)
本文将基于ViT-AE的音频MAE从分类扩展到语音增强,提出mel到mel及面向STFT的变体,证明MAE预训练可提升修复性能、域外泛化,并可利用通用含噪音频有效预训练。
2023-08-17 cs.SD eess.AS
Music2Latent2: Audio Compression with Summary Embeddings and Autoregressive Decoding
Queen Mary University London(伦敦玛丽女王大学);Sony Computer Science Laboratories Paris(索尼计算机科学实验室巴黎分部)
提出Music2Latent2音频自编码器,利用一致性模型和摘要嵌入实现高压缩比与高保真度,并通过自回归解码处理任意长度音频,在质量和下游任务上优于现有方法。
2025-01-29 cs.AI cs.LG cs.SD
CAESynth: Real-Time Timbre Interpolation and Pitch Control with Conditional Autoencoders
Sungkyunkwan University(成均馆大学)
在本文中,我们提出了一种新的音频合成器,CAESynth,基于条件自编码器。CAESynth通过在参考声音共享的潜在特征空间中插入参考声音,同时独立控制音高,从而实时的【形】合成音色。我们表明,基于音色分类的准确性以及音高内容的对抗性正则化来训练条件自动编码器,可以使潜在空间中的音色分布对于音色插值和音高调节更加有效和稳定。所提出的方法不仅适用于音乐线索的创建,而且还适用于基于新颖的音色与环境声音的混合物的混合现实中的音频启示的探索。我们通过实验证明,CAESynth通过音色插值和独立而准确的音调控制音乐线索以及环境声音的音频启示,实现了实时的【形】平滑和高保真的音频合成。Python实现以及一些生成的示例在线共享。
2021-11-09 cs.LG cs.SD eess.AS
Contrastive Audio-Visual Masked Autoencoder
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);UT Austin(德克萨斯大学奥斯汀分校);IBM Research AI(IBM研究院人工智能部门);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Goethe University Frankfurt(法兰克福大学)
本文提出CAV-MAE,将MAE扩展到音视频多模态,并融合对比学习与掩码数据建模,实现完全自监督的联合音视频表示学习,在VGGSound上达到65.9%的新SOTA准确率。
2023-04-11 cs.CV cs.MM cs.SD
Hierarchical Semantic Correlation-Aware Masked Autoencoder for Unsupervised Audio-Visual Representation Learning
KDDI Research, Inc., Saitama, Japan(KDDI研究所,埼玉,日本)
本文提出HSC-MAE框架,通过三级表示层次强制语义一致性,结合教师-学生架构和多任务学习,提升无监督音频-视觉表示学习效果。
2026-04-05 cs.AI cs.CV cs.MM
Speech Audio Generation from dynamic MRI via a Knowledge Enhanced Conditional Variational Autoencoder
Department of Computer Science, The University of Hong Kong(香港大学计算机科学系);School of Software Engineering, Xi'an Jiaotong University(西安交通大学软件工程学院);Wake Forest University School of Medicine(威克森林大学医学学院);Department of Radiology, Harvard Medical School(哈佛医学院放射科)
本文提出KE-CVAE方法,通过动态MRI生成语音音频,解决MRI数据损坏和噪声问题,提升语音合成质量。
2025-12-01 cs.CV cs.SD
S-PRESSO: Ultra Low Bitrate Sound Effect Compression With Diffusion Autoencoders And Offline Quantization
S-PRESSO通过扩散自编码器和离线量化,在极低bitrate下实现高质量声音效果压缩。
2026-02-23 cs.AI cs.MM cs.SD
Bag-of-Audio-Words based on Autoencoder Codebook for Continuous Emotion Prediction
École de Technologie Supérieure (ÉTS)(高等技术学院);Université du Québec(魁北克大学)
在本文中,我们提出了一种新的方法来提取一袋的字(BoW)表示的神经网络码本的基础上。传统的BoW模型是基于一个字典(码本),从随机选择的基本表示,或通过使用聚类算法的训练数据集建立。然后使用度量将看不见的基本表示分配给最接近的字典条目,以产生直方图。在所提出的方法中,自动编码器(AE)包括字典创建和分配度量的作用。AE的编码层的维度对应于字典的大小,并且其神经元的输出表示分配度量。AVEC 2017音频数据集上的连续情感预测任务的实验结果表明,相对于基线系统中实现的传统BoW版本,唤醒维度的一致性相关系数(CCC)从0.225提高到0.322,效价维度从0.244提高到0.368。
2019-07-06 cs.LG cs.SD eess.AS
SAGE: Semantic Audio Generative Encoder
SAGE是一种轻量级音频自编码器,通过蒸馏预训练音频-文本模型嵌入来塑造潜在空间,在重建质量、语义结构和推理速度间达到最佳平衡,并以更小规模超越更大模型。
2026-10-22 cs.LG cs.SD eess.AS
CoDiCodec: Unifying Continuous and Discrete Compressed Representations of Audio
Queen Mary University of London(伦敦玛丽女王大学);Sony Computer Science Laboratories, Paris(索尼计算机科学实验室(巴黎))
本文提出 CoDiCodec 音频自编码器,通过 FSQ 和 FSQ-dropout 技术从同一模型同时生成连续嵌入与离散 token,支持自回归与并行解码,在相似比特率下实现了优于现有方法的音频重建质量,统一了连续与离散生成建模范式。
2025-09-11 cs.AI cs.LG cs.SD
Audio Source Separation Using Variational Autoencoders and Weak Class Supervision
Boğaziçi University(博阿齐奇大学);MEF University(MEF大学)
在本文中,我们提出了一种声源分离方法,该方法通过观察混合物和混合物中存在的源的类标签来训练,而无需访问任何孤立的源。由于我们的方法不需要每个时频点的源类标签,而只需要构成混合信号的每个源的单个标签,因此我们将这种情况称为弱类监督。我们将变分自编码器(VAE)与非负(组合)模型中的每个源类相关联。每个VAE都提供了一个先验模型来识别声音混合中与其相关的信号。在对混合模型进行训练后,我们为每个源类获得了一个生成模型,并在从0到9的数字的一秒混合语音上演示了我们的方法。我们表明,源类监督所获得的分离性能是一样好的源信号监督所获得的性能。
2019-08-04 cs.LG cs.SD eess.AS
Leveraging Neural Representations for Audio Manipulation
Belmont University(贝尔蒙特大学);Queen Mary University of London(伦敦玛丽女王大学);Harmonai
研究预训练神经网络自编码器在音频操纵中的应用,发现其表示虽编码了操纵信息但有限且非线性,主要因缺乏对常见音频操纵的解耦。
2023-04-10 cs.SD eess.AS
Masked Spectrogram Modeling using Masked Autoencoders for Learning General-purpose Audio Representation
NTT Communication Science Laboratories(NTT通信科学实验室);NTT Corporation(NTT公司)
最近的通用音频表示在各种音频任务上显示出最先进的性能。这些表示是通过自监督学习方法预先训练的,该方法从输入中创建训练信号。例如,典型的音频对比学习使用输入声音之间的时间关系来创建训练信号,而一些方法使用由数据增强创建的输入视图之间的差异。然而,这些训练信号不提供从完整的输入声音中导出的信息,我们认为这对于描述输入的学习表示来说是次优的。在本文中,我们试图从输入本身学习音频表示作为监督,使用掩蔽频谱图补丁的自动编码的借口任务,掩蔽频谱图建模(MSM,应用于音频频谱图的掩蔽图像建模的变体)。为了实现MSM,我们使用了Masked Autoencoders(MAE),这是一种图像自监督学习方法。MAE学习有效地将少量可见补丁编码为潜在表示,以携带用于重建大量掩蔽补丁的基本信息。在训练时,MAE将输入作为训练信号,使重建误差最小化,从而达到了我们的目标。我们在HEAR 2021 NeurIPS Challenge的评估基准下,使用MAE(MSM-MAE)模型对MSM进行了实验。我们的MSM-MAE模型在15项任务中的7项上的表现优于HEAR 2021挑战赛的结果(例如,CREMA-D上的准确率为73.4%,LibriCount上的准确率为85.8%),同时在其他任务上表现出最佳性能,其中专业模型表现更好。我们还研究了MSM-MAE的设计选择如何影响性能,并对可视化结果进行定性分析,以了解学…
2022-04-26 cs.SD eess.AS
A multimodal dynamical variational autoencoder for audiovisual speech representation learning
CentraleSupélec(中央高等电力学院);Univ. Grenoble Alpes(格勒诺布尔大学);Inria(法国国家信息与自动化研究所)
本文提出多模态动态VAE(MDVAE),通过两阶段无监督训练解耦视听语音中的静态/动态及模态共有/特有因素,并在情感识别等任务中验证其有效性和优于基线模型的性能。
2024-02-20 cs.LG cs.MM cs.SD
Learning to Upsample and Upmix Audio in the Latent Domain
本文提出在音频自编码器潜在空间中进行音频处理的框架,通过潜在L1重构项和单个潜在对抗判别器简化训练,实现高效音频处理。
2025-09-08 cs.LG cs.SD eess.AS
Autoencoding Neural Networks as Musical Audio Synthesizers
The Cooper Union for the Advancement of Science and Art(库珀高等科学艺术联盟学院)
提出了一种基于自编码神经网络的音乐音频合成方法。训练自动编码器以压缩和重构幅度短时傅里叶变换帧。自动编码器通过激活其最小隐藏层来产生频谱图,并且使用实时相位梯度堆积分来计算相位响应。进行逆短时傅里叶变换产生音频信号。与当前最先进的音频生成机器学习算法相比,我们的算法是轻量级的。我们概述了我们的设计过程,产生指标,并详细介绍了我们的模型的开源Python实现。
2020-04-27 cs.LG cs.SD eess.AS
An investigation of the reconstruction capacity of stacked convolutional autoencoders for log-mel-spectrograms
Technological University of Dublin(都柏林理工大学)
在音频处理应用中,基于高级表示的富有表现力的声音的生成表现出很高的需求。这些表征可以用来操纵音色,影响创造性乐器音符的合成。现代算法,如神经网络,激发了基于乐器音色压缩的富有表现力的合成器的发展。无监督深度学习方法可以通过训练网络学习从波形或频谱图到低维表示的映射来实现音频压缩。本研究探讨了使用堆叠卷积自动编码器的压缩的时间-频率的音频表示的各种仪器为一个单一的音高。超参数和正则化技术的进一步探索证明,以提高初始设计的性能。在无监督的方式下,网络能够基于潜在表示重建单声道和谐波声音。此外,我们引入了一个评价指标来衡量原始和重建样本之间的相似性。评估用于声音合成的深度生成模型是一项具有挑战性的任务。我们的方法是基于所生成的频率的准确性,因为它为谐波声音的感知提供了重要的度量。这项工作有望加速未来的实验音频压缩使用神经自动编码器。
2023-01-18 cs.LG cs.SD eess.AS
HiCMAE: Hierarchical Contrastive Masked Autoencoder for Self-Supervised Audio-Visual Emotion Recognition
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Department of Automation, Tsinghua University(清华大学自动化系);Beijing National Research Center for Information Science and Technology, Tsinghua University(清华大学北京信息科学与技术国家研究中心)
本文提出自监督框架HiCMAE,通过掩码数据建模、对比学习及三管齐下的分层特征学习策略,在9个数据集上显著超越现有监督与自监督视听情感识别方法。
2024-04-01 cs.CV cs.HC cs.MM
Elastic Time: Dynamic Frame Rate Bottlenecks for Neural Audio Coding
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Massachusetts Institute of Technology(麻省理工学院)
提出弹性时间方法,通过轻量级潜在预测器实现动态帧率瓶颈,将固定帧率自编码器转换为动态帧率,在推理时高效选择边界,提升效率-质量权衡。
2026-06-29 cs.LG cs.SD eess.AS