ProteinAE: Protein Diffusion Autoencoders for Structure Encoding
CUHK(香港中文大学);ZGC Academy(智谷学院);Krea AI;XJTU(西安交通大学);SJTU(上海交通大学);Lingang Lab(临港实验室);Tencent(腾讯)
提出ProteinAE蛋白质扩散自编码器,通过非等变Diffusion Transformer和单一流匹配目标将主链坐标映射至紧凑潜在空间,实现最先进重建质量并支持高效高质量结构生成。
2025-10-12 cs.LG
LiteVAE: Lightweight and Efficient Variational Autoencoders for Latent Diffusion Models
ETH Zürich(苏黎世联邦理工学院);DisneyResearch|Studios(迪士尼研究工作室)
本文提出LiteVAE,一种基于二维离散小波变换的轻量自编码器,用于潜在扩散模型,在保持生成质量的同时大幅减少编码器参数,提升训练效率与重建性能。
2025-01-21 cs.CV cs.LG
Disentanglement with Hyperspherical Latent Spaces using Diffusion Variational Autoencoders
Eindhoven University of Technology(埃因霍温理工大学);Prosus AI(Prosus人工智能);Prosus
一个数据集的解纠缠表示应该能够恢复产生它的潜在因素。出现的一个问题是,当潜在的生成因素具有一定的几何结构时,使用欧几里得空间的潜变量模型是否可以产生解纠缠表示。例如,从不同角度看到的汽车图像。该角度具有周期性结构,但一维表示将无法捕获该拓扑。我们如何解决这个问题?提交给NeurIPS 2019解纠缠挑战赛第一阶段的参赛作品包括一个扩散变分自编码器($Δ$ VAE),该编码器具有超球形潜在空间,例如,可以恢复周期性真因子。训练的$Δ$ VAE是通过将修改后的版本的证据下限(ELBO)的裁剪后近似的编码能力。
2020-03-19 cs.LG stat.ML
Dolfin: Diffusion Layout Transformers without Autoencoder
University of California, San Diego(加利福尼亚大学圣迭戈分校);Tsinghua University(清华大学)
本文提出新型生成模型Dolfin,采用基于Transformer的扩散过程建模布局生成,并提出Dolfin-AR捕捉相邻对象语义相关性,在多项指标上显著提升性能且适用于建模几何结构。
2023-10-25 cs.CV cs.LG
Diffusion Transformers with Representation Autoencoders
New York University(纽约大学)
本文提出用预训练表示编码器搭配训练好的解码器组成表示自编码器(RAE)替代VAE,解决了高维潜在空间扩散难题,在ImageNet上实现更快的收敛与更优的图像生成质量。
2025-10-13 cs.CV cs.LG
Variational Diffusion Autoencoders with Random Walk Sampling
Yale University(耶鲁大学);Duke University(杜克大学);University of California San Diego(加州大学圣迭戈分校)
变分自编码器(VAE)和生成对抗网络(GANs)与流形学习有着直观的联系:在训练中,解码器/生成器被优化以近似数据分布和采样空间之间的同胚。这是一个努力定义数据流形的构造。然而,VAE和GANs的一个主要障碍是选择一个匹配数据拓扑的合适先验。众所周知的后果,挑选不良的先验是后验和模式坍塌。据我们所知,没有现有的方法回避这个用户的选择。相反,$\textit{diffusion maps}$自动推断数据拓扑,并与流形学习有严格的联系,但不容易扩展或提供逆同胚(即解码器/生成器)。我们提出了一种方法,将这些方法组合成一个生成模型,继承了$\textit{diffusion maps}$的渐近保证,同时保留了深度模型的可扩展性。我们证明了我们所提出的方法的尺寸依赖的近似理论结果。最后,我们证明了我们的方法与各种真实和合成数据集的有效性。
2020-08-27 cs.LG stat.ML
Source Localization of Graph Diffusion via Variational Autoencoders for Graph Inverse Problems
Emory University(埃默里大学);Tianjin University(天津大学)
图扩散问题,如谣言的传播,计算机病毒,或智能电网故障是无处不在的和社会。因此,它通常是至关重要的,以确定扩散源,根据目前的图形扩散观测。尽管其在实践中的巨大的必要性和意义,源定位,作为图扩散的逆问题,是极具挑战性的,因为它是不适定的:不同的源可能导致相同的图扩散模式。与大多数传统的源定位方法不同,本文侧重于概率的方式来考虑不同的候选源的不确定性。这些努力需要克服的挑战包括:1)图扩散源定位中的不确定性难以量化; 2)图扩散源的复杂模式难以概率地表征; 3)任何潜在扩散模式下的泛化难以强加。为了解决上述问题,本文提出了一个通用的框架:源定位变分自编码器(SL-VAE)的扩散源定位在任意扩散模式。特别地,我们提出了一种概率模型,该模型利用前向扩散估计模型以及深度生成模型来近似扩散源分布,以量化不确定性。SL-VAE进一步利用源-观测对的先验知识,通过学习的生成先验来表征扩散源的复杂模式。最后,一个统一的目标,集成的前向扩散估计模型推导出强制模型推广下任意扩散模式。在7个真实数据集上进行了大量的实验,以证明SL-VAE在重建扩散源方面的优越性,其AUC得分平均优于其他方法20%。
2022-06-24 cs.IT cs.LG math.IT
Diffusion Video Autoencoders: Toward Temporally Consistent Face Video Editing via Disentangled Video Encoding
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);NAVER AI Lab(NAVER人工智能实验室);AITRICS
受到最近人脸图像编辑方法令人印象深刻的性能的启发,自然提出了一些研究来将这些方法扩展到人脸视频编辑任务。这里的主要挑战之一是编辑帧之间的时间一致性,这仍然是未解决的。为此,我们提出了一种新的人脸视频编辑框架的基础上扩散自动编码器,可以成功地提取分解的功能-第一次作为一个人脸视频编辑模型-从一个给定的视频的身份和运动。这种建模允许我们通过简单地将时间不变特征操纵到所需的方向来编辑视频,以实现一致性。我们模型的另一个独特优势是,由于我们的模型基于扩散模型,因此它可以同时满足重建和编辑功能,并且与现有的基于GAN的方法不同,它对野生人脸视频中的角点情况(例如,遮挡人脸)具有鲁棒性。
2023-03-27 cs.AI cs.CV cs.LG
SAeUron: Interpretable Concept Unlearning in Diffusion Models with Sparse Autoencoders
Bartosz Cywiński(独立研究者);Kamil Deja(独立研究者)
SAeUron利用稀疏自编码器学习可解释特征,实现对扩散模型生成内容的概念遗忘,在UnlearnCanvas和I2P基准上优于现有方法,并能同时移除多概念且抵抗对抗攻击。
2025-05-21 cs.AI cs.LG
Inf-VAE: A Variational Autoencoder Framework to Integrate Homophily and Influence in Diffusion Prediction
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
近年来,人们对理解和预测社交媒体平台(如Twitter、Facebook等)上的信息传播产生了极大的兴趣。现有的扩散预测方法主要是通过将扩散级联投射到当地的社交社区上来利用受影响用户的顺序。然而,这未能捕获在任何级联中没有显式表现的全局社会结构,导致具有有限历史活动的非活跃用户的性能较差。在本文中,我们提出了一种新的变分自编码器框架(Inf-VAE),通过保持邻近度的社会和位置编码的时间潜变量来联合嵌入同质性和影响。为了对社会同质性进行建模,Inf-VAE利用强大的图神经网络架构来学习有选择地利用用户的社会联系的社会变量。给定一系列种子用户激活,Inf-VAE使用一种新的表达性共同关注融合网络,该网络共同关注他们的社交和时间变量,以预测所有受影响用户的集合。我们在多个真实世界社交网络数据集上的实验结果,包括Digg,微博和Stack-Exchange,证明了Inf-VAE在最先进的扩散预测模型上的显着收益(22%MAP@10);我们为具有稀疏活动的用户以及在种子集中缺乏直接社交邻居的用户实现了巨大的收益。
2020-01-01 cs.LG cs.SI
Residualized Temporal Sparse Autoencoders for Interpreting Diffusion Models
University of California, Irvine(加州大学 Irvine 分校)
提出残差化时间稀疏自编码器,通过去噪时间步间的线性预测残差学习扩散激活轨迹中的可解释特征,并在Stable Diffusion 1.5上验证其有效性。
2026-10-08 cs.AI cs.CV cs.LG
Crystal Diffusion Variational Autoencoder for Periodic Material Generation
Massachusetts Institute of Technology(麻省理工学院)
生成稳定材料的周期性结构是材料设计界长期面临的挑战。这项任务是困难的,因为稳定的材料只存在于所有可能的原子周期性排列的低维子空间中:1)坐标必须位于量子力学定义的局部能量最小值中,2)全局稳定性还需要结构遵循不同原子类型之间复杂而特定的键合偏好。现有的方法未能将这些因素,往往缺乏适当的不变性。我们提出了一个晶体扩散变分自编码器(CDVAE),捕捉材料稳定性的物理电感偏置。通过从稳定材料的数据分布中学习,解码器在扩散过程中生成材料,该扩散过程将原子坐标向较低的能量状态移动,并更新原子类型以满足相邻原子之间的键合偏好。我们的模型还明确地编码跨周期边界的相互作用,并尊重排列,平移,旋转和周期不变性。我们在三个任务中显著优于过去的方法:1)重建输入结构,2)生成有效,多样和现实的材料,以及3)生成优化特定属性的材料。我们还为更广泛的机器学习社区提供了几个标准数据集和评估指标。
2022-03-14 cond-mat.mtrl-sci cs.LG physics.comp-ph
Masked Autoencoders Are Effective Tokenizers for Diffusion Models
Carnegie Mellon University(卡内基梅隆大学);AMD(超威半导体公司);Peking University(北京大学);William & Mary(威廉与玛丽学院)
本文提出 MAETok,利用 mask 建模学习语义丰富的潜在空间,证明了潜在空间结构而非变分约束对 Diffusion Models 至关重要,在 ImageNet 上仅用 128 个 tokens 即实现 SOTA 性能并大幅提升训练与推理效率。
2025-05-30 cs.AI cs.CV cs.LG
Improving the Diffusability of Autoencoders
Snap Inc.(Snap公司);Carnegie Mellon University(卡内基梅隆大学)
本文通过频谱分析发现自动编码器潜在空间存在过量高频分量,并提出解码器尺度等变正则化,以少量微调显著改善图像和视频扩散生成质量。
2025-06-06 cs.AI cs.CV cs.LG
Advancements in Generative AI: A Comprehensive Review of GANs, GPT, Autoencoders, Diffusion Model, and Transformers
Bowie State University(鲍伊州立大学);Morgan State University(摩根州立大学);University of the District of Columbia(哥伦比亚特区大学)
本文系统综述了以ChatGPT为代表的生成式AI进展,涵盖GAN、GPT、自编码器、扩散模型和Transformer等核心模型,分析其多样化任务能力、面临的挑战及未来前景。
2023-11-21 cs.AI cs.LG
A Frequentist Statistical Introduction to Variational Inference, Autoencoders, and Diffusion Models
Yen-Chi Chen(独立研究者)
本文从频率派统计学视角出发,以经典EM算法为基础阐释变分推断、变分自编码器和去噪扩散模型的理论,弥合经典统计推断与现代生成式AI间的学科认知壁垒。
2025-10-21 cs.LG stat.CO stat.ME
Diffusion probabilistic models enhance variational autoencoder for crystal structure generative modeling
Chulalongkorn University(朱拉隆功大学);Thailand Center of Excellence in Physics(泰国物理卓越中心)
本研究提出DP-CDVAE模型,利用扩散概率模型替代分数匹配对原子坐标去噪,在保持晶体结构质量的同时,显著降低了生成结构与真实基态间的能量差异,提升了基态构型的表示准确性。
2023-08-04 cond-mat.mtrl-sci cond-mat.stat-mech cs.LG
Disentangled representations via score-based variational autoencoders
Center for Neural Science, New York University(纽约大学神经科学中心);Center for Computational Neuroscience, Flatiron Institute(Flatiron研究所计算神经科学中心);Center for Data Science, New York University(纽约大学数据科学中心)
SAMI通过结合扩散模型和VAEs的理论框架,实现无监督表示学习,能够从数据中提取有意义的结构信息,并在无需监督标签的情况下识别语义轴。
2025-12-18 cs.CV cs.LG stat.ML
Diffusion Models for Wireless Communications
Centre for Wireless Communications, University of Oulu(无线通信中心,奥卢大学)
本文提出条件扩散模型用于提升无线通信系统中的数据重构性能,尤其在低SNR条件下实现10dB改进,并在语义通信中展现优于传统自编码器的性能。
2025-12-09 cs.AI cs.IT cs.LG
Learning Inverse Mapping by Autoencoder based Generative Adversarial Nets
Sichuan University(四川大学)
GANs的逆映射生成对抗网络(Generative Adversarial Nets)生成器具有很大的潜在价值。因此,人们已经开展了一些工作,通过直接学习或对抗学习来构造生成器的逆函数。虽然结果令人鼓舞,但该问题具有很高的挑战性,并且现有的GANs逆模型训练方法存在许多缺点,例如训练困难或性能差。由于这些原因,我们提出了一种新的方法,基于使用逆生成器($IG$)模型作为编码器和预训练生成器($G$)作为AutoEncoder网络的解码器来训练$IG$模型。在该模型中,AutoEncoder的输入和输出之间的差异被直接最小化,输入和输出都是预训练的GAN的生成器生成的图像。该优化方法克服了非一一对应函数的训练和逆模型的困难,并将GANs生成器的逆模型应用于图像搜索和翻译,实验结果表明,该方法在图像搜索中的效果优于传统方法。
2017-09-12 cs.LG
Causal Diffusion Autoencoders: Toward Counterfactual Generation via Diffusion Probabilistic Models
University of Arkansas(阿肯色大学);Baylor University(贝勒大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
提出CausalDiffAE框架,结合扩散概率模型与因果表示学习,通过编码器提取因果变量并利用反向扩散建模随机变化,实现了基于do-interventions的高质量反事实图像生成。
2024-08-23 cs.AI cs.LG stat.ME
Detecting AutoEncoder is Enough to Catch LDM Generated Images
St. Petersburg Federal Research Center of the Russian Academy of Sciences(俄罗斯科学院圣彼得堡联邦研究中心)
本文提出通过检测LDM自编码器引入的伪影来识别生成图像,无需训练于合成数据,降低了计算成本并提升了泛化能力,实验显示高精度与低误报率。
2024-11-10 cs.CR cs.CV cs.LG
One-Step is Enough: Sparse Autoencoders for Text-to-Image Diffusion Models
EPFL(洛桑联邦理工学院);Northeastern University(东北大学)
该研究首次将稀疏自编码器(SAE)用于文本生成图像扩散模型的可解释性研究,在SDXL Turbo的1步设置Transformer块更新上训练SAE,发现其可跨步数、跨模型泛化,还构建RIEBench基准验证特征可解释性与因果影响,为理解操控文生图模型内部机制提供新途径。
2025-10-27 cs.AI cs.CV cs.LG
Neural Network Diffusion
National University of Singapore(新加坡国立大学);University of Pennsylvania(宾夕法尼亚大学);University of California, Berkeley(加州大学伯克利分校);Meta FAIR
本文提出利用自编码器与扩散模型生成高性能神经网络参数,在多种架构和数据集上以极低成本取得与训练模型相当或更优的性能,并验证生成模型并非简单记忆训练模型。
2024-12-30 cs.CV cs.LG
Diffusion Variational Autoencoder for Tackling Stochasticity in Multi-Step Regression Stock Price Prediction
National University of Singapore(新加坡国立大学);Eastspring Investments, Singapore(瀚亚投资(新加坡))
本文提出Diffusion-VAE(D-Va)模型,将分层变分自编码器与扩散概率技术结合,通过随机生成过程进行多步股价预测,在预测精度和方差上优于现有方法,并验证了其在投资组合构建中的有效性。
2023-10-29 cs.LG q-fin.CP q-fin.ST
Latent Behavior Diffusion for Sequential Reaction Generation in Dyadic Setting
Chonnam National University(全南国立大学)
本文提出Latent Behavior Diffusion Model,通过上下文感知自编码器与潜在空间扩散条件生成器,非自回归地合成贴合说话者行为、多样且逼真的双人面部反应。
2025-05-12 cs.AI cs.LG
Latent Diffusion for Language Generation
Cornell University(康奈尔大学)
针对扩散模型在离散语言领域应用受限的问题,提出结合编码器-解码器语言自编码器与潜在空间连续扩散模型的语言生成方法,在多类生成任务上效果优于过往扩散语言模型。
2023-11-07 cs.CL cs.LG
All-atom Diffusion Transformers: Unified generative modelling of molecules and materials
Fundamental AI Research (FAIR) at Meta(Meta 基础人工智能研究);University of Cambridge(剑桥大学);MIT(麻省理工学院)
本文提出全原子扩散Transformer(ADiT),一个统一潜扩散框架,用同一模型联合生成分子和材料,在多个数据集上达到最先进性能,并支持大规模扩展。
2025-05-22 cs.AI cs.LG
Empirical Variational Autoencoder
The University of Tokyo(东京大学)
本文提出经验变分自编码器(EVA),通过经验学习自回归潜在先验替代标准高斯约束,缓解先验-后验分布差距,实现高保真序列生成,在图像和声音合成上达到与扩散模型相当的质量且推理更快。
2026-10-06 cs.LG
Quantile Regression, Variational Autoencoders, and Diffusion Models for Uncertainty Quantification: A Spatial Analysis of Sub-seasonal Wind Speed Prediction
LMD/IPSL, École Polytechnique, Institut Polytechnique de Paris, ENS,Université PSL, Sorbonne Université, CNRS, Palaiseau, 91120, France(LMD/IPSL、巴黎高等理工学院、巴黎理工研究所、高等科学研究院、巴黎大学、索邦大学、国家科学研究中心,法国)
针对次季节风速统计降尺度中空间相关性与物理一致性不足的问题,研究比较QRNN、VAE和扩散模型三种概率深度学习方法,并证明其能更真实地表征空间不确定性。
2025-10-19 cs.AI cs.LG
DiffSDA: Unsupervised Diffusion Sequential Disentanglement Across Modalities
Ben-Gurion University(本-古里安大学);VISTEC(泰国科学技术研究院)
本文提出DiffSDA,一种模态无关的无监督扩散序列解缠框架,利用潜在扩散和高效采样器,在时间序列、视频和音频等真实数据上优于现有最先进方法。
2025-10-07 cs.LG
Interpreting Large Text-to-Image Diffusion Models with Dictionary Learning
Georgia Institute of Technology(佐治亚理工学院);ETH Zurich(苏黎世联邦理工学院);Trajectory Labs
本文将稀疏自编码器(SAEs)和激活的推理时分解(ITDA)应用于大型文本到图像扩散模型Flux 1,通过视觉自动化解释流程发现SAEs重构准确且可解释性优于MLP神经元,并能引导图像生成,ITDA也具有相当的可解释性。
2025-07-10 cs.LG
Multi-modal Latent Diffusion
Renault Software Factory(雷诺软件工厂);EURECOM(欧洲通信学院)
针对多模态VAE的生成质量与跨模态连贯性权衡,本文提出用独立单模态确定性自编码器拼接潜空间并结合掩码扩散与多次条件分数训练,显著提升两项指标。
2023-12-18 cs.CV cs.LG
Reconstructing Multi-Scale Physical Fields from Extremely Sparse Measurements with an Autoencoder-Diffusion Cascade
Internet of Things Thrust(物联网方向);Intelligent Transportation Thrust(智能交通方向);Marine Hydrodynamic Research Facility(海洋流体研究设施);Department of Civil and Environmental Engineering(土木与环境工程系)
提出Cascaded Sensing框架,通过粗尺度确定性估计和细尺度条件扩散模型级联,解决极度稀疏测量下物理场重建的不适定性和多模态后验问题。
2026-05-26 cs.AI cs.LG physics.app-ph
VFUSE: Virulent Feature Understanding with Sparse autoEncoders
Raft Bioworks(Raft生物工场);Independent(独立)
提出VFUSE方法,通过训练稀疏自编码器(SAE)分析扩散-Transformer模型激活,识别蛋白质设计中的危险特征,实现可解释性提升而不牺牲性能。
2026-06-08 cs.AI cs.LG q-bio.QM
Flow Autoencoders are Effective Protein Tokenizers
California Institute of Technology(加州理工学院);OpenAI(开放人工智能公司);Howard Hughes Medical Institute(霍华德·休斯医学研究院)
本研究提出基于流匹配损失的扩散自编码器Kanzi作为蛋白质结构分词器,简化了分词器设计,以更小的模型规模和训练成本实现了更优的重建效果,且基于其训练的自回归生成模型性能优于同类token级生成模型。
2025-09-30 cs.LG q-bio.BM
PaGoDA: Progressive Growing of a One-Step Generator from a Low-Resolution Diffusion Teacher
Stanford University(斯坦福大学);Sony AI(索尼人工智能研究院);Sony Group Corporation(索尼集团公司)
针对扩散模型训练计算成本高的问题,提出PaGoDA三阶段训练流水线,通过低分辨率训练、蒸馏和渐进超分辨率大幅降低训练成本,单步推理在多分辨率图像生成及文生图任务上达SOTA,还可适配隐扩散模型。
2024-10-29 cs.AI cs.CV cs.LG
Sample what you cant compress
Google(谷歌);xAI
本研究提出SWYCC方法,将自编码器与扩散模型结合,在扩散损失下联合学习编码解码器,实现更高压缩率和更好重建质量,且表示更易建模。
2025-09-24 cs.CV cs.LG
Model-Agnostic Gender Bias Control for Text-to-Image Generation via Sparse Autoencoder
University at Buffalo, USA(美国布法罗大学);University of Maryland, College Park, USA(马里兰大学 College Park 分校)
本文提出SAE Debias,通过稀疏自编码器在文本到图像生成中减轻性别偏见,提供可解释且模型无关的去偏方法。
2025-11-21 cs.CV cs.LG
Reconstruction of neuromorphic dynamics from a single scalar time series using variational autoencoder and neural network map
Kotelnikov Institute of Radio-Engineering and Electronics of Russian Academy of Sciences, Saratov Branch(俄罗斯科学院科捷尔尼科夫无线电工程与电子研究所萨拉托夫分部);HSE University(高等经济大学)
本文利用单一标量时间序列,通过变分自编码器降维和神经网络映射两步法,重建神经形态动力系统,并验证了其状态与控制参数变化下的高度一致性。
2024-11-11 cs.LG nlin.PS physics.bio-ph
On a Mechanism Framework of Autoencoders
本文提出了一个理论框架的机制,自动编码器。在编码器部分,主要研究了降维的两个基本性质:双射映射和数据解纠缠。给出了满足上述两个性质之一或两者的编码器的一般构造方法。对自编码器的泛化机制进行了建模。基于上述理论框架,我们解释了变分自编码器、去噪自编码器和线性单元自编码器的一些实验结果,重点是通过编码器对数据的低维表示的解释;通过这些解释,图像复原的机制很自然地被理解。通过与主成分分析和决策树的比较,证明了(广义)自编码器在降维和分类方面的优势。卷积神经网络和随机加权神经网络也可以用这个框架来解释。
2022-12-12 cs.CV cs.LG
CosmoVAE: Variational Autoencoder for CMB Image Inpainting
The University of New South Wales(新南威尔士大学)
宇宙微波背景辐射(CMB)是理解早期宇宙和精确估算宇宙学常数的关键。由于星系中热尘埃噪声的污染,作为二维球面图像的CMB图存在观测缺失,主要集中在赤道区域。宇宙微波背景图的噪声对宇宙学参数的估计精度有很大的影响。对CMB图进行修复可以有效地降低参数估计的不确定性。在本文中,我们提出了一种基于深度学习的变分自编码器- CosmoVAE,以恢复CMB地图的缺失观测值。CosmoVAE的输入和输出是方形图像。为了生成训练、验证和测试数据集,我们通过笛卡尔投影将全天空CMB图分割成许多小图像。CosmoVAE通过使用高斯随机场的角功率谱作为潜变量来将物理量分配给VAE网络的参数。CosmoVAE采用了一种新的损失函数来提高模型的学习性能,该损失函数由$\ell_1$重构损失、编码器网络的后验分布与潜变量先验分布之间的Kullback-Leibler散度、感知损失和全变差正则化器组成。所提出的模型实现了普朗克\texttt{Commander} 2018 CMB地图修复的最先进性能。
2020-01-31 astro-ph.CO cs.LG eess.IV
CoVAE: Consistency Training of Variational Autoencoders
OnePlanet Research Center, imec-the Netherlands(OnePlanet研究所以及imec-荷兰);Donders Institute for Brain, Cognition and Behaviour(大脑、认知与行为研究所)
提出单阶段生成式自编码框架 CoVAE,利用一致性模型技术训练 VAE,无需学习先验即可一步或几步生成高质量样本,显著优于等效 VAE 及其他单阶段方法。
2025-07-12 cs.LG stat.ML
A Crack in the Bark: Leveraging Public Knowledge to Remove Tree-Ring Watermarks
University of Edinburgh(爱丁堡大学)
本研究提出一种仅需公开变分自编码器即可移除Tree-Ring扩散模型水印的新型攻击,大幅降低检测器AUC且图像质量优异,性能优于全模型访问方法,揭示了复用公共自编码器的安全风险及Tree-Ring检测器精确率不足的问题。
2025-06-12 cs.CR cs.LG
Deep Diffusion Processes for Active Learning of Hyperspectral Images
Tufts University(塔夫茨大学);University of Maryland, College Park(马里兰大学帕克分校)
提出了一种结合深度学习和图上扩散过程的高光谱图像主动学习方法。深度变分自编码器从高维HSI中提取平滑、去噪的特征,然后将其用于基于图扩散过程进行标记查询。所提出的方法结合了深度学习的鲁棒表示和扩散几何的数学易处理性,并在真实HSI上具有很强的性能。
2021-01-08 cs.CV cs.LG eess.IV
Improved far-field speech recognition using Joint Variational Autoencoder
Reverie Language Technologies(Reverie语言技术公司)
自动语音识别(ASR)系统在源语音被噪声或房间脉冲响应(RIR)破坏时会受到很大影响。通常,语音增强应用于失配和匹配场景训练和测试中。在匹配设置中,声学模型(AM)在去混响的远场特征上训练,而在失配设置中,AM是固定的。近年来,已经探索了使用去噪自动编码器(DA)将语音特征从远场映射到近距离通话。在本文中,我们重点关注匹配场景训练,并表明提出的基于VAE的联合映射比DA实现了显着改进。具体来说,我们观察到与基于DA的增强相比,字错误率(WER)绝对改善了2.5%,与AM相比,绝对改善了3.96%直接在远场滤波器组特征上训练。
2022-04-24 cs.CL cs.LG cs.SD
q-Space Novelty Detection with Variational Autoencoders
Sapienza University of Rome(罗马第一大学);Cardiff University(卡迪夫大学);Technical University of Munich(慕尼黑工业大学)
在机器学习中,新颖性检测是识别新的未知数据的任务。在训练过程中,只有正常类的样本可用。通过分配新颖性分数将测试样品分类为正常或异常。在这里,我们提出了基于正常数据训练变分自编码器(VAE)的新颖性检测方法。由于在训练过程中不使用异常样本,我们定义的基础上(部分互补)的假设,即VAE是不太能够重建异常样本以及异常样本更强烈地违反VAE正则化;和异常样本不同于正常样本不仅在输入特征空间,而且在VAE潜在空间和VAE输出的新颖性度量。这些方法,结合使用(例如采样)的概率VAE,以获得标量新颖性分数的各种可能性,产生一个大家庭的方法。我们将这些方法应用于磁共振成像,即检测多发性硬化症患者的扩散MRI扫描中的扩散空间(q空间)异常,即检测多发性硬化症病变而不使用任何病变标签进行训练。我们的许多方法优于以前提出的q空间新奇检测方法。我们还评估了MNIST手写数字数据集上提出的方法,并表明它们中的许多都能够超越最先进的。
2018-10-25 cs.AI cs.CV cs.LG