Network Modulation Synthesis: New Algorithms for Generating Musical Audio Using Autoencoder Networks
University of California San Diego(加州大学圣迭戈分校);New York University(纽约大学)
提出 network modulation synthesis 框架及新生成算法,帮助用户在自编码器潜在空间中构造时变参数,扩展音乐音频合成的听觉可能性。
2021-09-04 cs.SD eess.AS
Complex Image Generation SwinTransformer Network for Audio Denoising
Yeshiva University(叶史瓦大学);Cornell University(康奈尔大学)
本文将音频去噪转化为图像生成任务,提出复杂图像生成 SwinTransformer 网络结合结构相似性、细节及 SDR 损失函数,在两个基准数据集上优于现有最先进方法。
2023-10-24 cs.CV cs.SD eess.AS
Implementing simple spectral denoising for environmental audio recordings
University of São Paulo(圣保罗大学);University College Cork(科克大学)
本技术报告详细介绍了应用于噪声滤波器的变更,以促进其应用并改善其结果。该滤波器被应用于降噪的自然声音记录在野外,并产生一个用于声景分析的声学指数。
2022-01-06 cs.MM cs.SD eess.AS
A Generative-First Neural Audio Autoencoder
Adobe Research(Adobe研究院)
本文提出了一种生成优先的神经音频自编码器,通过提高时间下采样率并支持多种音频表示,实现了更快的编码速度、更低的潜在率和更高效的生成建模。
2026-02-19 cs.SD eess.AS
Learning Interpretable Features in Audio Latent Spaces via Sparse Autoencoders
Smule Labs(Smule实验室);University of California, San Diego(加州大学圣地亚哥分校);Stanford University(斯坦福大学)
针对稀疏自编码器应用于音频生成的语义掩盖、特征表征有限问题,提出将音频潜在表示映射到可解释声学概念的框架,训练SAEs并学习到声学属性的线性映射,在多类潜在空间验证有效且可扩展至视觉领域。
2025-10-27 cs.LG cs.SD
Audio Word2Vec: Unsupervised Learning of Audio Segment Representations using Sequence-to-sequence Autoencoder
College of Electrical Engineering and Computer Science, National Taiwan University(台湾大学电机资讯学院)
Word2Vec提供的固定维度的词(文本中)的向量表示在许多应用场景中非常有用,特别是由于它们携带的语义信息。本文提出了一个并行版本,音频Word2Vec。它为可变长度的音频段提供了固定维数的矢量表示。这些向量表示描述的顺序语音结构的音频段,以良好的程度,具有非常有吸引力的现实世界的应用,如查询的例子口语术语检测(STD)。在这个STD应用中,所提出的方法显着优于传统的动态时间规整(DTW)为基础的方法,在显着降低计算要求。我们提出了无监督学习的音频Word2Vec从音频数据没有人类注释使用序列到序列的Audoencoder(SA)。SA由两个配备有长短期记忆(LSTM)单元的RNN组成:第一个RNN(编码器)将输入音频序列映射到固定维度的向量表示,第二个RNN(解码器)将表示映射回输入音频序列。这两个RNN通过最小化重建误差来联合训练。进一步提出了去噪序列到序列自动编码器(DSA),提供更鲁棒的学习。
2016-06-11 cs.LG cs.SD
Autoencoder Based Architecture For Fast & Real Time Audio Style Transfer
Nevronas;National Institute of Technology, Warangal(瓦朗加尔国家理工学院)
近来,在音频风格转移领域中存在极大的兴趣,其中通过将参考音频的风格强加于目标音频的内容上来生成风格化音频。我们改进了目前的方法,使用神经网络提取的内容和风格的音频信号,并提出了一种新的自动编码器为基础的架构的任务。该网络在单个前向传递中为内容音频生成风格化的音频。所提出的网络架构被证明是有利的音频质量和训练网络所需的时间。该网络在语音信号上进行了实验,以证实我们的建议的有效性。
2018-12-26 cs.LG cs.SD eess.AS
F3-Tokenizer: Taming Audio Autoencoder Latents for Understanding and Generation
Nanjing University, China(南京大学);WeNet Open Source Community(WeNet开源社区)
针对连续音频自编码器潜在变量结构弱、自监督编码器不可解码的问题,提出F3-Tokenizer,通过噪声正则化自编码器瓶颈和潜在侧表示编码器,实现统一的理解与生成音频分词器。
2026-06-04 cs.AI cs.SD eess.AS
Music2Latent: Consistency Autoencoders for Latent Audio Compression
Queen Mary University of London(伦敦玛丽女王大学);Sony Computer Science Laboratories(索尼计算机科学实验室)
针对现有音频自编码器的训练复杂、采样慢、重建质量低问题,提出基于一致性模型的Music2Latent音频自编码器,通过多项创新实现单步高保真重建,性能优于同类模型且首次实现端到端训练。
2024-08-12 cs.LG cs.SD eess.AS
Robust Unsupervised Audio-visual Speech Enhancement Using a Mixture of Variational Autoencoders
Inria Grenoble Rh\ o ne-Alpes, France
近年来,提出了一种基于变分自编码器(VAE)的视听语音生成模型,该模型结合噪声方差的非负矩阵分解(NMF)模型实现无监督语音增强。当视觉数据是干净的,语音增强与视听VAE表现出更好的性能比与仅音频VAE,这是在仅音频数据上训练。然而,视听VAE对于噪声视觉数据(例如,当对于某些视频帧,说话人面部不是正面或嘴唇区域被遮挡时。本文提出了一种基于逐帧VAE混合模型的鲁棒无监督音视频语音增强方法。该混合模型由训练的仅音频VAE和训练的视听VAE组成。其动机是通过切换到仅音频VAE模型来跳过嘈杂的视觉帧。我们提出了一种变分期望最大化方法来估计模型的参数。实验结果表明,该方法具有良好的性能。
2019-11-10 cs.LG cs.SD eess.AS
Conditional variational autoencoder to improve neural audio synthesis for polyphonic music sound
Kyungpook National University(庆北国立大学);Electronics and Telecommunications Research Institute(韩国电子通信研究院)
用于音频合成的深度生成模型最近得到了显着改进。然而,对原始波形进行建模的任务仍然是一个困难的问题,特别是对于音频波形和音乐信号。最近,开发了用于高质量音频波形合成的实时音频变分自编码器(RAVE)方法。RAVE方法基于变分自编码器,并采用两阶段训练策略。不幸的是,RAVE模型在再现宽音高复调音乐声音方面受到限制。因此,为了提高重建性能,我们采用基音激活数据作为RAVE模型的辅助信息。为了处理辅助信息,我们提出了一个增强的RAVE模型的条件变分自编码器结构和一个额外的全连接层。为了评估所提出的结构,我们进行了一个听力实验的基础上多个刺激测试与隐藏的参考和锚(MUSHRA)与MAESTRO。结果表明,该模型比传统的RAVE模型具有更显著的性能和稳定性的改善。
2022-11-16 cs.LG cs.SD eess.AS
Neural Audio Synthesis of Musical Notes with WaveNet Autoencoders
Google Brain(谷歌大脑);DeepMind
由于算法的改进和高质量图像数据集的可用性,视觉中的生成模型已经取得了快速进展。在本文中,我们在这两个领域提供的贡献,使类似的音频建模的进展。首先,我们详细介绍了一个强大的新的WaveNet风格的自动编码器模型,该模型将自回归解码器置于从原始音频波形中学习的时间代码上。其次,我们引入NSynth,这是一个大规模且高质量的音符数据集,比可比的公共数据集大一个数量级。使用NSynth,我们证明了WaveNet自动编码器在经过良好调整的光谱自动编码器基线上的定性和定量性能得到了改善。最后,我们展示了该模型学习了多种嵌入,允许乐器之间的变形,有意义地插入音色以创建逼真和富有表现力的新类型的声音。
2017-04-05 cs.AI cs.LG cs.SD
AudioSAE: Towards Understanding of Audio-Processing Models with Sparse AutoEncoders
Huawei Noah’s Ark Lab(华为诺亚实验室)
本文在Whisper和HuBERT的编码器层训练稀疏自编码器(SAE),评估其稳定性和可解释性,并展示其在特征解耦、概念擦除、语音检测优化及与人类脑电活动对齐方面的实用价值。
2026-02-06 cs.AI cs.SD
DPATD: Dual-Phase Audio Transformer for Denoising
University of Science and Technology, Liaoning(辽宁科技大学);Cornell University(康奈尔大学);Yeshiva University(叶史瓦大学)
本文提出双阶段音频Transformer(DPATD),通过将音频分割为更小块并使用记忆压缩可解释注意力,高效建模长序列语音去噪,实验表明其性能优于现有最先进方法。
2023-10-30 cs.CL cs.SD eess.AS
Audio Denoising for Robust Audio Fingerprinting
Ecole normale supérieure Paris-Saclay(巴黎高等师范学校萨克雷校区);Deezer Research(Deezer 研究部)
音乐发现服务可以让用户从简短的移动录音中识别歌曲。这些解决方案通常基于音频指纹,并且更具体地依赖于频谱峰值的提取,以便对许多失真具有鲁棒性。很少有人研究这些算法对真实环境中捕获的背景噪声的鲁棒性。特别地,当信噪比低时,即当背景噪声强时,AFP系统仍然挣扎。在这个项目中,我们用深度学习来解决这个问题。我们测试了一种新的混合策略,该策略包括在基于峰值的AFP算法前面插入去噪DL模型。我们模拟嘈杂的音乐录音使用现实的数据增强管道,并训练DL模型去噪。去噪模型限制了背景噪声对AFP系统提取的峰值的影响,提高了其对噪声的鲁棒性。我们进一步提出了一种新的损失函数,以适应DL模型所考虑的AFP系统,提高其精度方面的检索谱峰。据我们所知,这种混合策略以前没有经过测试。
2022-12-21 cs.IR cs.LG cs.SD
Domestic Activity Clustering from Audio via Depthwise Separable Convolutional Autoencoder Network
Tampere University(坦佩雷大学)
根据音频自动估计家庭活动可以用于解决许多问题,例如减少护理老年人的劳动力成本。本研究的重点是解决国内活动的音频聚类的问题。家庭活动聚类的目标是以无监督的方式将属于同一家庭活动类别的音频片段聚类到一个聚类中。在本文中,我们提出了一种使用深度可分离卷积自动编码器网络的国内活动聚类方法。在该方法中,初始嵌入学习的深度可分离的卷积自编码器,和一个面向聚类的损失设计,以联合优化嵌入细化和集群分配。不同的方法在2018年声学场景和事件的检测和分类(DCASE)挑战中使用的公共数据集(DCASE数据集的衍生物)上进行了评估。我们的方法得到的归一化互信息(NMI)得分为54.46%,聚类准确度(CA)得分为63.64%,并优于国家的最先进的方法方面的NMI和CA。此外,我们的方法的计算复杂度和内存需求都低于以前的基于深度模型的方法。代码:https://github.com/vinceasvp/domestic-activity-clustering-from-audio
2022-08-04 cs.SD eess.AS
Domestic activities clustering from audio recordings using convolutional capsule autoencoder network
South China University of Technology(华南理工大学)
最近在国内活动分类方面做出了努力,特别是自2018年以来提交DCASE(声学场景和事件的检测和分类)挑战的作品。而国内活动集群这一新出现的问题却鲜有研究。从音频记录的家庭活动聚类旨在将属于同一类家庭活动的音频片段合并到单个聚类中。家庭活动聚类是一种有效的方法,在家庭环境中进行日常活动的无监督估计。在这项研究中,我们提出了一种使用卷积胶囊自动编码器网络(CCAN)进行国内活动聚类的方法。该方法通过CCAN中的自动编码器学习深度嵌入,通过CCAN中的聚类层将属于同一类的深度嵌入合并为一个簇。在DCASE-2018任务5中采用的公共数据集上进行评估,结果表明,所提出的方法在聚类准确性和归一化互信息的度量方面优于最先进的方法。
2021-05-08 cs.SD eess.AS
Audio Source Separation Using a Deep Autoencoder
Kyungpook National University(庆北国立大学);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
本文提出了一种新的框架,无监督的音频声源分离使用深度自动编码器。混合输入中混合的未知源信号的特征由适当配置的自编码器自动实现,该自编码器由具有许多层的网络实现,并且通过在代码层中聚类系数向量来分离。通过研究到最终目标(表示层)的权重向量,观察频域中的音频信号的原始分量。通过对码层中的激活系数进行聚类,分离出先前未知的源信号。然后,通过使用属于不同簇的码向量来分离和重构原始源声音。恢复的声音是不完美的,但产生有希望的结果的可能性,在许多实际应用的成功。
2014-12-22 cs.LG cs.NE cs.SD
3D-MOV: Audio-Visual LSTM Autoencoder for 3D Reconstruction of Multiple Objects from Video
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of Maryland at College Park(马里兰大学帕克分校)
透明和凹面结构物体的三维物体重建,推断材料属性,仍然是一个开放的研究问题,机器人导航在非结构化环境中。在本文中,我们提出了一个多模式的单帧和多帧神经网络的三维重建使用视听输入。我们经过训练的重建LSTM自动编码器3D-MOV接受多个输入,以考虑各种表面类型和视图。我们的神经网络使用体素表示产生高质量的3D重建。基于Intersection-over-Union(IoU),我们使用合成视听数据集ShapeNet和Sound 20 K与冲击声和限界框注释进行了评估。据我们所知,我们的单帧和多帧模型是第一个用于3D几何和材料表示的视听重建神经网络。
2021-10-05 cs.CV cs.SD eess.AS
Denoising Induction Motor Sounds Using an Autoencoder
STC Research Centre(STC研究中心);Mid Sweden University(中瑞典大学)
去噪是从声音信号中去除噪声的过程,同时提高声音信号的质量和充分性。去噪声音在语音处理、声音事件分类和机器故障检测系统中有许多应用。本文描述了一种用于创建自动编码器的方法,该自动编码器将嘈杂的机器声音映射到干净的声音以用于去噪目的。声音中有几种类型的噪声,例如,环境噪声和由信号处理方法产生的频率相关噪声。环境活动产生的噪声是环境噪声。在工厂中,环境噪声可由车辆、钻井、在测量区域内工作或谈话的人、风和流动的水产生。这些噪音在录音中表现为尖峰信号。在本文的范围内,我们演示了去除高斯分布的噪声和环境噪声的水槽水龙头噪声从感应电机的声音的一个具体例子。在机械故障数据库(MAFAULDA)中的49个正常功能音和197个水平失调故障音上对该方法进行了训练和验证。均方误差(MSE)被用作评估标准,以评估使用建议的自动编码器和测试集中的原始声音的降噪声音之间的相似性。对15个正常功能类别的测试音进行两种噪声的去噪处理,均方误差均小于或等于0.14。当对水平未对准故障类别上的60个测试声音进行去噪时,MSE小于或等于0.15。较低的均方误差表明,所产生的高斯噪声和环境噪声几乎都被从所提出的训练的自动编码器的原始声音中去除。
2022-08-08 cs.AI cs.SD eess.AS
Learning Linearity in Audio Consistency Autoencoders via Implicit Regularization
LTCI, Telecom Paris, Institut Polytechnique de Paris(LTCI,电信巴黎,巴黎高等理工学院);Deezer Research(Deezer研究)
通过隐式正则化在音频一致性自编码器中诱导线性性,实现更直观高效的音频处理
2026-01-27 cs.AI cs.LG cs.SD
Genuine-Focused Learning using Mask AutoEncoder for Generalized Fake Audio Detection
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Tsinghua University(清华大学);School of Information and Communication Engineering, Communication University of China(中国传媒大学信息与通信工程学院);Shanghai Polytechnic University(上海第二工业大学)
本文提出GFL-FAD框架,通过MAE重建真实音频并融合瓶颈特征,在ASVspoof2019 LA上实现0.25% EER的最先进广义伪造音频检测性能。
2024-06-09 cs.SD eess.AS
Anomalous Sound Detection using unsupervised and semi-supervised autoencoders and gammatone audio representation
Visualfy(维苏阿尔公司)
异常音检测是当前机器听力领域的热门课题之一。无监督检测由于其在许多领域的直接适用性而引起了人们的极大兴趣。例如,在工业过程中,机器故障或损坏的早期检测可能意味着工业过程效率的巨大节省和提高。这个问题可以通过无监督的ASD解决方案来解决,因为工业机器不会仅仅因为在训练阶段具有此音频数据而损坏。本文提出了一种基于卷积自编码器(无监督和半监督)和基于Gammatone的音频表示的新框架。通过这些架构获得的结果大大超过了作为基线呈现的结果。
2020-06-27 cs.LG cs.SD eess.AS
RAVE: A variational autoencoder for fast and high-quality neural audio synthesis
IRCAM - Sorbonne Université(IRCAM - 索邦大学);CNRS UMR 9912(法国国家科学研究中心 UMR 9912)
应用于音频的深度生成模型在许多语音和音乐相关任务中大大提高了最先进的水平。然而,由于原始波形建模仍然是固有地困难的任务,因此音频生成模型是计算密集型的,依赖于低采样率,控制或限制可能信号的性质是复杂的。在这些模型中,变分自编码器(VAE)通过暴露潜在变量来控制生成,尽管它们通常遭受低合成质量。在本文中,我们介绍了一种实时音频变分自编码器(RAVE),允许快速和高质量的音频波形合成。我们引入了一种新的两阶段训练过程,即表示学习和对抗性微调。我们表明,使用潜在空间的训练后分析允许重建保真度和表示紧凑性之间的直接控制。通过利用原始波形的多频带分解,我们证明了我们的模型是第一个能够生成48kHz音频信号的模型,同时在标准笔记本电脑CPU上运行的速度比实时快20倍。我们使用定量和定性主观实验来评估合成质量,并显示出我们的方法与现有模型相比的优越性。最后,我们提出了我们的模型的音色转移和信号压缩的应用。我们所有的源代码和音频示例都是公开的。
2021-12-15 cs.LG cs.SD eess.AS
Automatic Contextual Audio Denoising
Tampere University(塔尔皮奥大学);Nokia(诺基亚)
本文提出了一种自动上下文音频去噪方法,通过推断音频场景类别来区分有用和无关声音成分,从而提高去噪效果。
2026-05-21 cs.LG cs.SD eess.AS
Speech Denoising by Accumulating Per-Frequency Modeling Fluctuations
Tel Aviv University(特拉维夫大学)
我们提出了一种音频去噪的方法,该方法结合了在时域和时频域中进行的处理。给定有噪声的音频片段,该方法训练深度神经网络来拟合该信号。由于拟合仅部分成功,并且能够比噪声更好地捕获潜在的干净信号,因此网络的输出有助于将干净音频与其余信号分离。这是通过累积每个时间-频率仓的拟合分数并基于所获得的分数应用时间-频率域滤波来完成的。该方法是完全无监督的,并且仅在正在被去噪的特定音频片段上训练。我们的实验表明,与文献方法相比,良好的性能。我们的代码和示例可在www.example.com上获得,并作为补充。索引术语:音频去噪;无监督学习
2020-06-08 cs.LG cs.SD eess.AS
Perceptual Loss based Speech Denoising with an ensemble of Audio Pattern Recognition and Self-Supervised Models
Johns Hopkins University(约翰斯·霍普金斯大学)
基于深度学习的语音去噪仍然面临着提高增强信号的感知质量的挑战。我们引入了一个广义的框架,称为感知包围正则化损失(PERL)的感知损失的想法。感知损失阻止了某些语音属性的失真,我们使用六个大规模的预训练模型进行分析:扬声器分类,声学模型,扬声器嵌入,情感分类和两个自监督语音编码器(PASE+,wav 2 vec 2.0)。我们首先在流行的增强基准VCTK-DEMAND上使用Conformer Transformer Networks构建一个强基线(w/o PERL)。一次使用一个辅助模型,我们发现声学事件和自监督模型PASE+是最有效的。我们的最佳模型(PERL-AE)仅使用声学事件模型(利用AudioSet),在主要感知指标上优于最先进的方法。为了探索去噪是否可以利用完整的框架,我们使用了所有的网络,但发现我们的七损失公式受到了多任务学习的挑战。最后,我们报告了一个重要的观察结果,即最先进的多任务权重学习方法无法优于手动调整,这可能是由于域不匹配和损失互补性弱的挑战。
2020-10-22 cs.SD eess.AS
Extending Audio Masked Autoencoders Toward Audio Restoration
Sony Group Corporation(索尼集团公司);Kyoto University(京都大学);Sony Research(索尼研究院)
本文将基于ViT-AE的音频MAE从分类扩展到语音增强,提出mel到mel及面向STFT的变体,证明MAE预训练可提升修复性能、域外泛化,并可利用通用含噪音频有效预训练。
2023-08-17 cs.SD eess.AS
Masked Modeling Duo for Speech: Specializing General-Purpose Audio Representation to Speech using Denoising Distillation
NTT Corporation(日本电报电话公司)
本文提出去噪蒸馏任务与M2D-S模型,联合学习细粒度聚类特征与掩码预测,将通用音频表示M2D特化至语音领域,在SUPERB基准上达到或超越SOTA语音模型性能。
2023-08-03 cs.SD eess.AS
Re-Bottleneck: Latent Re-Structuring for Neural Audio Autoencoders
本文提出Re-Bottleneck框架,通过修改预训练自编码器的瓶颈层,引入用户定义的潜在结构,提升音频模型在不同下游任务中的性能。
2025-09-08 cs.LG cs.SD eess.AS
Disentanglement Learning for Variational Autoencoders Applied to Audio-Visual Speech Enhancement
最近,标准变分自编码器已成功地用于学习语音信号的概率先验,然后用于执行语音增强。然后,变分自动编码器以描述高级语音属性(例如语音活动)的标签为条件,该标签允许对语音生成进行更明确的控制。然而,标签不能保证与其他潜在变量分离,这导致与标准变分自动编码器相比性能提高有限。在这项工作中,我们建议使用变分自编码器的对抗性训练方案,以将标签与其他潜在变量分开。在训练时,我们使用一个与变分自动编码器的编码器竞争的编码器。同时,我们还使用了一个额外的编码器来估计变分自编码器的解码器的标签,这被证明是至关重要的学习解纠缠。我们提出的解纠缠学习的好处时,从视觉数据估计的语音活动标签,用于语音增强。
2021-08-03 cs.LG cs.SD eess.AS
Masked Autoencoders that Listen
Meta AI;Carnegie Mellon University(卡内基梅隆大学)
本文研究了基于图像的掩码自编码器(MAE)的一个简单的扩展,从音频频谱图的自监督表示学习。遵循MAE中的Transformer编码器-解码器设计,我们的Audio-MAE首先以高掩蔽比编码音频频谱图补丁,仅通过编码器层馈送未掩蔽的令牌。然后,解码器重新排序并解码填充有掩码令牌的编码上下文,以便重建输入频谱图。我们发现在解码器中加入局部窗口注意力是有益的,因为音频频谱图在本地时间和频带中高度相关。然后,我们对编码器进行微调,在目标数据集上具有较低的掩蔽比。从经验上讲,Audio-MAE在六个音频和语音分类任务上设置了新的最先进的性能,优于其他使用外部监督预训练的最新模型。代码和模型将在https://github.com/facebookresearch/AudioMAE。
2023-01-12 cs.AI cs.LG cs.SD
Music Augmentation and Denoising For Peak-Based Audio Fingerprinting
Deezer(迪泽公司)
本文针对噪声环境下音频指纹识别失效问题,提出并发布逼真音乐噪声增强流程及频谱图去噪深度学习模型,实验证明该模型能提升常用峰值指纹系统在噪声条件下的识别性能。
2023-10-29 cs.IR cs.LG cs.SD
High-Fidelity Audio Generation and Representation Learning with Guided Adversarial Autoencoder
University of Southern Queensland(南昆士兰大学);Imperial College London(帝国理工学院);University of Augsburg(奥格斯堡大学)
从无标签音频数据中进行无监督的解纠缠表示学习和高保真音频生成已经成为机器学习研究领域的两个关键。然而,从无监督设置中学习的表示并不能保证其对于手头的任何下游任务的可用性,如果训练是针对该特定的后续工作进行的,则这可能是资源的浪费。此外,在表示学习过程中,如果模型高度偏向下游任务,它就会失去直接有利于下游任务的泛化能力,但也失去了将其扩展到其他相关任务的能力。因此,为了填补这一空白,我们提出了一种新的基于自动编码器的模型,名为“Guided Adversarial Autoencoder(GAAE)”,它可以学习任务后特定的表示和一般表示,利用一小部分标记样本捕获训练数据中的变化因素;因此,使其适合未来的相关任务。此外,我们提出的模型可以生成具有优异质量的音频,这是从真实的音频样本难以区分。因此,通过大量的实验结果,我们已经证明,通过利用高保真音频生成的能力,所提出的GAAE模型可以从未标记的数据集中学习强大的表示,利用较少百分比的标记数据作为监督/指导。
2020-10-17 cs.LG cs.SD eess.AS
SAME: A Semantically-Aligned Music Autoencoder
Stability AI
该研究提出SAME自编码器,通过结合Transformer架构和语义正则化方法,实现了4096倍的时间压缩比,同时保持重建质量和生成性能。
2026-05-18 cs.AI cs.SD
Listening to Sounds of Silence for Speech Denoising
Columbia University(哥伦比亚大学);SoftBank Group Corp.(软银集团)
我们引入了一个用于语音去噪的深度学习模型,这是音频分析中的一个长期挑战,在许多应用中出现。我们的方法基于对人类语言的一个关键观察:每个句子或单词之间通常有一个短暂的停顿。在记录的语音信号中,这些停顿引入了一系列时间周期,在这些时间周期期间仅存在噪声。我们利用这些偶然的无声间隔来学习仅给定单通道音频的自动语音去噪模型。随着时间的推移检测到的无声间隔不仅暴露纯噪声,而且暴露其时变特征,从而允许模型学习噪声动态并从语音信号中抑制噪声。在多个数据集上的实验证实了无声间隔检测在语音去噪中的关键作用,我们的方法优于几种最先进的去噪方法,包括那些只接受音频输入的方法(如我们的方法)和那些基于视听输入的方法(因此需要更多信息)。我们还表明,我们的方法具有出色的泛化性能,例如对训练过程中看不到的口语进行去噪。
2020-10-22 cs.LG cs.SD eess.AS
Source Separation of Multi-source Raw Music using a Residual Quantized Variational Autoencoder
Sapienza University of Rome(罗马第一大学)
本研究提出一种基于残差量化变分自编码器的神经音频编解码器模型,在Slakh2100数据集上训练后可实现音乐源分离,以远低于现有方法的算力取得接近当前最优水平的效果,且代码已公开。
2024-08-12 cs.LG cs.MM cs.SD
CAESynth: Real-Time Timbre Interpolation and Pitch Control with Conditional Autoencoders
Sungkyunkwan University(成均馆大学)
在本文中,我们提出了一种新的音频合成器,CAESynth,基于条件自编码器。CAESynth通过在参考声音共享的潜在特征空间中插入参考声音,同时独立控制音高,从而实时的【形】合成音色。我们表明,基于音色分类的准确性以及音高内容的对抗性正则化来训练条件自动编码器,可以使潜在空间中的音色分布对于音色插值和音高调节更加有效和稳定。所提出的方法不仅适用于音乐线索的创建,而且还适用于基于新颖的音色与环境声音的混合物的混合现实中的音频启示的探索。我们通过实验证明,CAESynth通过音色插值和独立而准确的音调控制音乐线索以及环境声音的音频启示,实现了实时的【形】平滑和高保真的音频合成。Python实现以及一些生成的示例在线共享。
2021-11-09 cs.LG cs.SD eess.AS
Speech Denoising Without Clean Training Data: A Noise2Noise Approach
PES University(PES大学)
本文解决了基于深度学习的音频去噪方法所需的干净语音数据的严重依赖性问题,通过展示仅使用带噪语音样本训练深度语音去噪网络是可能的。传统观点认为,为了实现良好的语音去噪性能,需要大量的噪声语音样本和完全干净的语音样本,从而需要昂贵的音频记录设备和极其受控的隔音录音室。这些要求给数据汇集带来了重大挑战,特别是在经济落后地区和资源匮乏的语言。这项工作表明,语音去噪深度神经网络可以仅利用嘈杂的训练音频成功训练。此外,它揭示了这样的训练制度实现了优越的降噪性能比传统的训练制度,利用干净的训练音频目标,在涉及复杂的噪声分布和低信噪比(高噪声环境)的情况下。通过使用20层深度复杂U-Net架构研究我们所提出的方法对真实世界噪声和合成噪声的有效性的实验证明了这一点。
2021-09-19 cs.LG cs.SD eess.AS
Leveraging Pre-Trained Autoencoders for Interpretable Prototype Learning of Music Audio
Universitat Pompeu Fabra(庞培法布拉大学)
提出PECMAE模型,通过解耦训练过程并利用预训练自编码器EnCodecMAE和扩散解码器,实现音乐音频分类的可解释原型学习,在乐器和流派识别任务中保持性能并提升可解释性。
2024-02-14 cs.AI cs.MM cs.SD
Correlation Distance Skip Connection Denoising Autoencoder (CDSK-DAE) for Speech Feature Enhancement
Korea University(高丽大学);Johns Hopkins University(约翰斯·霍普金斯大学);U.S. Army Research Laboratory(美国陆军研究实验室)
基于学习的自动语音识别(ASR)的性能易受噪声的影响,特别是当噪声在测试数据中引入而在训练数据中不存在时。这项工作的重点是通过引入一种新的去噪自动编码器(DAE)的变体来增强噪声鲁棒的端到端ASR系统的功能。该方法通过将目标帧的语音信息从输入传递到模型,在编码器和解码器侧使用跳过连接。它还在训练模型中使用了一个新的目标函数,该目标函数通过测量潜在目标特征和模型(从DAE获得的潜在特征和增强特征)的依赖性,在惩罚项中使用相关距离度量。所提出的方法的性能进行了比较,对传统的模型和一个国家的最先进的模型下看到和看不见的噪声环境中的7种不同类型的背景噪声与不同的SNR水平(0,5,10和20 dB)。还使用线性和非线性惩罚项对所提出的方法进行了测试,其中,与最先进的模型相比,它们都显示出在可见和不可见的噪音条件下总体平均WER的改进。
2019-07-26 cs.LG cs.SD eess.AS
Examining the Mapping Functions of Denoising Autoencoders in Singing Voice Separation
Fraunhofer-IDMT(弗劳恩霍夫数字媒体技术研究所);Tampere University(坦佩雷大学)
这项工作的目标是研究基于神经网络的歌声分离方法从数据中学习。我们研究的神经网络的映射函数的基础上的去噪自动编码器(DAE)模型的条件下的混合幅度谱。为了近似映射函数,我们提出了一个算法的启发知识蒸馏,表示神经耦合算法(NCA)。NCA产生一个矩阵,该矩阵表示混合物到目标源幅度信息的映射。使用NCA,我们研究了三个基本的DAE为基础的模型在音乐源分离的映射功能;一个与单层编码器和解码器,一个与多层编码器和单层解码器,和一个使用跳过过滤连接(SF)与单层编码和解码。我们首先训练这些模型与现实的数据估计歌声幅度谱从相应的混合物。然后,我们使用优化的模型和测试光谱数据作为NCA的输入。我们的实验结果表明,基于DAE模型的方法学习标量滤波算子,在其相应的映射函数中表现出占主导地位的对角结构,限制了音乐数据的频率间结构的利用。与此相反,跳过过滤连接,以协助DAE模型学习过滤运营商,利用更丰富的频率间的结构。
2019-10-20 cs.LG cs.SD eess.AS
Universal Sound Separation with Self-Supervised Audio Masked Autoencoder
University of Surrey(萨里大学);The Chinese University of Hong Kong(香港中文大学)
本文提出将自监督音频掩码自编码器集成到通用声音分离系统中,通过冻结或更新其参数并结合STFT特征,在AudioSet上提升了ResUNet模型的分离性能。
2024-11-06 cs.AI cs.SD eess.AS
Sparse Autoencoders Make Audio Foundation Models more Explainable
LIUM, Le Mans Université(利姆大学LIUM);VivoLab, I3A, University of Zaragoza(瓦沃拉实验室、I3A、萨拉戈萨大学)
本研究利用稀疏自编码器分析音频预训练模型的隐藏表示,揭示其在歌唱技巧分类中的可解释性提升及对自监督学习系统的作用。
2025-12-17 cs.AI cs.LG cs.SD
Zero-Shot Audio-Visual Editing via Cross-Modal Delta Denoising
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Microsoft(微软公司)
提出零样本音视频编辑任务及AvED-Bench基准,并设计跨模态增量去噪框架AvED,实现无需训练的同步连贯编辑,在多个数据集上验证优越性。
2025-03-26 cs.CV cs.LG cs.MM
Contrastive Audio-Visual Masked Autoencoder
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);UT Austin(德克萨斯大学奥斯汀分校);IBM Research AI(IBM研究院人工智能部门);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Goethe University Frankfurt(法兰克福大学)
本文提出CAV-MAE,将MAE扩展到音视频多模态,并融合对比学习与掩码数据建模,实现完全自监督的联合音视频表示学习,在VGGSound上达到65.9%的新SOTA准确率。
2023-04-11 cs.CV cs.MM cs.SD
Towards Reliable Audio Deepfake Attribution and Model Recognition: A Multi-Level Autoencoder-Based Framework
IMT School of Advanced Studies(IMT高级研究学院);University of Catania(卡塔尼亚大学)
提出LAVA分层框架,利用仅在伪造音频上训练的卷积自编码器提取注意力增强的潜在表示,通过两个分类器实现音频深度伪造的生成技术识别和具体模型识别,在多个数据集上F1分数超过95%。
2026-06-23 cs.AI cs.CV cs.SD
HARP-Net: Hyper-Autoencoded Reconstruction Propagation for Scalable Neural Audio Coding
Indiana University(印第安纳大学);Electronics and Telecommunications Research Institute(韩国电子通信研究院)
基于自动编码器的编解码器采用量化将其瓶颈层激活转换为位串,这一过程阻碍了编码器和解码器部分之间的信息流。为了避免这个问题,我们在相应的编码器-解码器层对之间采用额外的跳过连接。假设在镜像自动编码器拓扑中,解码器层重构其对应编码器层的中间特征表示。因此,直接从对应的编码器层传播的任何附加信息有助于重建。我们以额外的自动编码器的形式实现这种跳过连接,每个自动编码器都是一个小型编解码器,用于压缩成对的编码器-解码器层之间的大量数据传输。我们经验验证,建议超自动编码架构提高感知音频质量相比,一个普通的自动编码器基线。
2021-07-23 cs.AI cs.SD eess.AS
SAGE: Semantic Audio Generative Encoder
SAGE是一种轻量级音频自编码器,通过蒸馏预训练音频-文本模型嵌入来塑造潜在空间,在重建质量、语义结构和推理速度间达到最佳平衡,并以更小规模超越更大模型。
2026-10-22 cs.LG cs.SD eess.AS
Bag-of-Audio-Words based on Autoencoder Codebook for Continuous Emotion Prediction
École de Technologie Supérieure (ÉTS)(高等技术学院);Université du Québec(魁北克大学)
在本文中,我们提出了一种新的方法来提取一袋的字(BoW)表示的神经网络码本的基础上。传统的BoW模型是基于一个字典(码本),从随机选择的基本表示,或通过使用聚类算法的训练数据集建立。然后使用度量将看不见的基本表示分配给最接近的字典条目,以产生直方图。在所提出的方法中,自动编码器(AE)包括字典创建和分配度量的作用。AE的编码层的维度对应于字典的大小,并且其神经元的输出表示分配度量。AVEC 2017音频数据集上的连续情感预测任务的实验结果表明,相对于基线系统中实现的传统BoW版本,唤醒维度的一致性相关系数(CCC)从0.225提高到0.322,效价维度从0.244提高到0.368。
2019-07-06 cs.LG cs.SD eess.AS
Conditional GAN for Enhancing Diffusion Models in Efficient and Authentic Global Gesture Generation from Audios
针对音频驱动手势生成中VAE方法不稳定、扩散模型效率低的问题,提出用条件GAN捕获音频信号并匹配多峰去噪分布,打破DDPM单峰小噪声假设,实现更少步数的高速高保真手势生成。
2024-11-01 cs.AI cs.CV cs.GR