DAVA: Disentangling Adversarial Variational Autoencoder
ETH Zürich(苏黎世联邦理工学院)
使用良好解缠的表示为下游任务提供了许多优点,例如增加的样本效率或更好的可解释性。然而,解纠缠解释的质量通常高度依赖于特定于特定超参数的选择,特别是正则化强度。为了解决这个问题,我们引入了DAVA,这是一种用于变分自动编码器的新型训练过程。DAVA完全解决了超参数选择问题。我们将DAVA与具有最优超参数的模型进行比较。无需任何超参数调优,DAVA在各种常用数据集上都具有竞争力。在DAVA的基础上,我们发现了一个无监督解纠缠的必要条件,我们称之为PIPE。我们证明了PIPE在抽象推理中积极预测下游模型性能的能力。我们还彻底调查了与现有监督和无监督指标的相关性。该代码可在https://github.com/besterma/dava上获得。
2023-03-02 cs.AI cs.CV cs.LG
HiSem: Hierarchical Semantic Disentangling for Remote Sensing Image Change Captioning
College of Computer Science, Inner Mongolia University(内蒙古大学计算机学院);Research Center for Spatiotemporal Intelligence, Inner Mongolia University(内蒙古大学时空智能研究中心);Department of Aerospace Intelligent Science and Technology, School of Astronautics, Beihang University(北航宇航学院航空航天智能科学与技术系);State Key Laboratory of Virtual Reality Technology and Systems, Beihang University(北航虚拟现实技术与系统国家重点实验室);China Mobile Communications Group Inner Mongolia Co., Ltd.(中国移动通信集团内蒙古有限公司)
本文提出HiSem网络,通过层次化语义解缠模块解决遥感图像变化描述中语义纠缠问题,提升变化检测的准确性和描述质量。
2026-05-14 cs.CV
Disentangling Space and Time in Video with Hierarchical Variational Auto-encoders
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
在视频数据中存在多种形式的特征信息。其中的原理是对象身份信息,其在多个视频帧中基本上是静态的,以及对象姿态和样式信息,其从帧到帧连续变换。大多数现有的模型混淆这两种类型的表示,将它们映射到一个共享的特征空间。在本文中,我们提出了一种概率方法学习可分离的表示对象的身份和姿态信息,使用无监督的视频数据。我们的方法利用了一个具有因子化先验分布的深度生成模型,该模型对隐藏特征集中的时间不变性进行编码。学习是通过变分推理实现的。我们提出了学习的身份和姿态信息的移动字符的数据集,以及旋转的3D对象的数据集的结果。我们的实验结果表明,我们的模型的成功因素,其表示,并证明该模型实现了改进的性能在迁移学习任务。
2016-12-19 cs.CV cs.LG stat.ML
Fine-Grained Action Retrieval Through Multiple Parts-of-Speech Embeddings
University of Bristol(布里斯托大学);Naver Labs Europe(Naver欧洲实验室)
我们解决了文本和视频之间的跨模态细粒度动作检索的问题。跨模态检索通常通过学习共享的嵌入空间来实现,该嵌入空间可以无差别地嵌入模态。在本文中,我们建议通过在附带的字幕中解开词性(PoS)来丰富嵌入。我们为每个PoS标签构建一个单独的多模态嵌入空间。然后,多个PoS嵌入的输出被用作集成多模态空间的输入,在那里我们执行动作检索。所有嵌入都通过PoS感知和PoS不可知损失的组合进行联合训练。我们的建议使学习专门的嵌入空间,提供相同的嵌入实体的多个视图。我们报告的第一个检索结果细粒度的行动,为大规模的EPIC数据集,在一个广义的zero-shot设置。结果表明,我们的方法的视频到文本和文本到视频动作检索的优势。我们还展示了在MSR-VTT数据集上为跨模态视频检索的通用任务解开PoS的好处。
2019-08-09 cs.CV
3D Guided Fine-Grained Face Manipulation
Stanford University(斯坦福大学);Snap Inc.(Snap公司)
我们提出了一种细粒度的人脸操作方法。给定一幅具有任意表情的人脸图像,我们的方法可以合成同一个人的另一个任意表情。这是通过首先拟合3D面部模型,然后将面部分解为纹理和形状来实现的。然后我们在这两个空间中学习不同的网络。在纹理空间中,我们使用条件生成网络来改变外观,并精心设计输入格式和损失函数,以达到最佳效果。在形状空间中,我们使用完全连接的网络来预测准确的形状,并使用可用的深度数据进行监督。这两个网络都以表达式系数而不是离散标签为条件,使我们能够生成无限数量的表达式。我们通过定量和定性的研究表明这种解开方法的优越性。在用户研究中,与最近的工作相比,我们的方法在85%的情况下是首选的。与地面实况相比,注释者无法可靠地区分我们的合成图像和真实图像,在53%的情况下更喜欢我们的方法。
2019-02-24 cs.CV
DVI: Disentangling Semantic and Visual Identity for Training-Free Personalized Generation
iFLYTEK
DVI通过解构语义与视觉身份,实现无训练个性化生成,提升视觉一致性和氛围保真度。
2025-12-22 cs.CV
Disentangling Video with Independent Prediction
New York University(纽约大学)
我们提出了一种无监督的变分模型,用于将视频分解为独立的因素,即每个因素的未来可以从其过去预测,而无需考虑其他因素。我们表明,我们的方法经常学习的因素,可解释为对象在场景中。
2019-01-17 cs.CV cs.LG stat.ML
Dual Gaussian-based Variational Subspace Disentanglement for Visible-Infrared Person Re-Identification
Leiden University(莱顿大学);KU Leuven University(鲁汶大学)
可见-红外人员再识别是夜间智能监控系统中一项具有挑战性的重要任务。除了RGB-RGB人重新识别主要克服的模态内方差之外,VI-ReID还遭受由固有的异质间隙引起的额外模态间方差。为了解决这个问题,我们提出了一个精心设计的双高斯变分自动编码器(DG-VAE),它解开身份可辨别和身份模糊的跨模态特征子空间,以下混合高斯(MoG)先验和标准高斯分布先验,分别。解开跨模态的身份可辨别的功能,导致更强大的检索VI-ReID。为了实现像传统VAE那样的高效优化,我们从理论上推导了监督设置下的MoG先验的两个变分推理项,这不仅限制了身份可区分的子空间,使模型显式地处理跨模态身份内方差,而且还使MoG分布能够避免后验崩溃。此外,我们提出了一个三重态交换重建(TSR)策略,以促进上述解纠缠过程。大量的实验表明,我们的方法优于两个VI-ReID数据集上的最先进的方法。
2020-08-06 cs.CV
Fine-Grained Representation Learning via Multi-Level Contrastive Learning without Class Priors
School of computer science and information engineering, Fujian Agriculture and Forestry University(福建农林大学计算机与信息学院)
本文提出无需类先验的 Contrastive Disentangling (CD) 框架,通过结合实例级、特征级对比损失与归一化熵损失的多级对比学习策略,学习细粒度表示,在类别信息不可用或模糊时优于现有方法。
2024-09-23 cs.CV
Disentangling Variational Autoencoders
Princeton University(普林斯顿大学)
变分自编码器(VAE)是用于后验推理的概率机器学习框架,其将输入的高维数据集投影到较低维度的潜在空间。通过VAE学习的潜在空间为在创意学科中开发新的数据驱动设计过程提供了令人兴奋的机会,特别是自动生成多个新颖的设计,这些设计在美学上让人联想到输入数据,但在训练过程中看不到。然而,学习的潜在空间通常是混乱和纠缠的:沿着单个维度遍历潜在空间不会导致数据的单个视觉属性发生变化。潜在结构的缺乏阻碍了设计师有意控制从潜在空间产生的新设计的视觉属性。本文提出了一个实验研究,探讨潜在的空间解纠缠。我们实现了三种不同的VAE模型,从文献和训练他们对公开的数据集的60,000个图像的手写数字。我们进行敏感性分析,以找到一个小的潜在的必要的维度,以最大限度地提高数据的对数边际似然的下限。此外,我们调查的解码图像的重建质量和潜在空间的解纠缠的水平之间的权衡。我们能够自动将三个潜在维度与数字的三个可解释的视觉属性对齐:线宽,倾斜度和宽度。我们的实验表明,i)增加潜在的先验知识和变分分布之间的Kullback-Leibler分歧对证据下限的贡献,以及ii)调节输入图像类增强了对具有VAE的解纠缠潜在空间的学习。
2022-11-14 cs.CV cs.LG
Disentangling Hippocampal Shape Variations: A Study of Neurological Disorders Using Mesh Variational Autoencoder with Contrastive Learning
University of Alberta(阿尔伯塔大学);Technical University of Munich(慕尼黑工业大学);MacEwan University(麦考文大学)
本研究利用增强监督对比学习的网格变分自编码器,从DTI数据中解缠海马体形状变化,区分年龄和疾病状态,并在MS患者中验证了与神经影像学文献一致的体积变化。
2024-11-09 cs.CV cs.LG q-bio.NC
Variational Conditional GAN for Fine-grained Controllable Image Generation
Southeast University(东南大学);University of Warwick(华威大学)
在本文中,我们提出了一种新的变分生成器框架的条件GANs捕捉语义细节,以提高生成质量和多样性。条件GANs中的传统生成器简单地将条件向量与噪声连接起来作为输入表示,其直接用于上采样操作。然而,隐藏的条件信息没有被充分利用,特别是当输入是类标签时。因此,我们引入变分推理到生成器中,仅从条件输入推断潜变量的后验,这有助于实现用于图像生成的可变增强表示。定性和定量的实验结果表明,所提出的方法优于国家的最先进的方法,并实现了逼真的可控图像。
2019-09-22 cs.CV
From Attenuation to Attention: Variational Information Flow Manipulation for Fine-Grained Visual Perception
Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences (ICT/CAS)(智能信息处理重点实验室,计算技术研究所,中国科学院(ICT/CAS));State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences (ICT/CAS)(人工智能安全国家重点实验室,计算技术研究所,中国科学院(ICT/CAS));University of Chinese Academy of Sciences, Beijing, China(中国科学院大学,北京,中国)
本文提出变分信息流框架,通过建模问题-答案对相关的视觉显著性作为潜在分布,解决多模态大语言模型在细粒度感知任务中的信息衰减问题,提升模型表现。
2026-04-14 cs.CV
Disentangling 3D Attributes from a Single 2D Image: Human Pose, Shape and Garment
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Imperial College London(伦敦帝国理工学院);University of Oxford(牛津大学);Technical University of Munich(慕尼黑工业大学)
对于视觉操作任务,我们的目标是表示图像内容的语义有意义的功能。然而,从图像中学习隐式表示往往缺乏可解释性,特别是当属性交织在一起时。我们专注于具有挑战性的任务,只从二维图像数据中提取解开三维属性。具体来说,我们专注于人类的外观,并从RGB图像中学习穿着人类的隐式姿势,形状和服装表示。我们的方法学习了这三个图像属性的分解潜在表示的嵌入,并通过2D到3D编码器-解码器结构实现了特征和属性控制的有意义的重新组装。3D模型仅从学习的嵌入空间中的特征图推断。据我们所知,我们的方法是第一个实现跨域解纠缠这个高度约束下的问题。我们定性和定量地展示了我们的框架在虚拟数据的3D重建中传输姿势,形状和服装的能力,并展示了隐式形状损失如何有利于模型恢复细粒度重建细节的能力。
2022-08-05 cs.CV
Disentangling semantic features of macromolecules in Cryo-Electron Tomography
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Xi’an Jiaotong University(西安交通大学);Peking University(北京大学);Carnegie Mellon University(卡内基梅隆大学)
冷冻电子断层扫描(Cryo-ET)是一种3D成像技术,能够以近原子分辨率系统研究单细胞中大分子结构的形状,丰度和分布。然而,由于结构复杂性和成像限制,由Cryo-ET捕获的大分子结构的系统和有效的$\textit{de novo}$识别和恢复非常具有挑战性。即使是具有相同结构的大分子,由于不同的取向和成像限制,如噪声和缺失的楔形效应,也会有不同的外观。明确地解开大分子的语义特征对于对大分子进行若干下游分析是至关重要的。本文提出了一个三维空间变分自动编码器,明确解开的结构,方向和移动的大分子解决了这个问题。合成和真实的冷冻ET数据集和跨域评估的广泛实验证明了我们的方法的有效性。
2021-06-27 cs.CV q-bio.BM
Disentangling Neuron Representations with Concept Vectors
Haute école spécialisée de Suisse occidentale(瑞士西部应用科学大学);University of Limerick(利默里克大学);The Sense Research and Innovation Center(The Sense研究与创新中心)
针对多语义神经元难以解释的问题,本文提出一种将其解耦为不同概念向量的方法,支持按用户指定粒度搜索,并验证所得方向具有连贯、可理解的特征。
2023-04-19 cs.CV cs.LG
Disentangling Latent Space for VAE by Label Relevant/Irrelevant Dimensions
East China Normal University(华东师范大学)
VAE需要标准高斯分布作为潜在空间中的先验。由于所有的编码都遵循相同的先验信息,所以它经常会出现所谓的“后验崩溃”。为了避免这种情况,本文介绍了类特定的潜在代码的分布。但与CVAE不同的是,我们提出了一种方法,用于将潜在空间分解为标签相关和不相关的维度,$\bm{\mathrm{z}}_s$和$\bm{\mathrm{z}}_u$,用于单个输入。采用两个独立的编码器分别将输入映射为$\bm{\mathrm{z}}_s$和$\bm{\mathrm{z}}_u$,然后将级联码交给解码器进行重构。标签无关码$\bm{\mathrm{z}}_u$代表了所有输入的共同特征,因此它们受到标准高斯的约束,其编码器采用类似VAE的摊销变分推理方式进行训练。而假设$\bm{\mathrm{z}}_s$遵循高斯混合分布,其中每个分量对应于特定类别。通过标签监督,以全局随机的方式优化了$\bm{\mathrm{z}}_s$编码器中高斯分量的参数。理论上,我们证明了我们的方法实际上等价于在$\bm{\mathrm{z}}_s$和类标签$c$的联合分布上增加一个KL发散项,它可以直接增加$\bm{\mathrm{z}}_s$和类标签$c$之间的互信息.我们的模型也可以扩展到GAN,通过在像素域中添加一个像素,使其产生高质量和多样化的图像。
2019-03-15 cs.CV
Variational Disentanglement for Domain Generalization
Nanyang Technological University(南洋理工大学);City University of Hong Kong(香港城市大学);The Hong Kong Polytechnic University(香港理工大学)
本文提出VDN框架,通过变分解耦领域特定与任务特定特征,并最小化任务特征分布与不变真值散度的证据上界,实现领域泛化。
2023-05-16 cs.CV
Aligned to the Object, not to the Image: A Unified Pose-aligned Representation for Fine-grained Recognition
Brigham Young University(杨百翰大学)
由于姿势引起的显著外观变化构成了细粒度识别中的巨大挑战,最近使用注意力机制或二阶统计的方法未能充分解决这一挑战。现代CNN通常缺乏对对象姿态的明确理解,而是被纠缠的姿态和外观所迷惑。在本文中,我们提出了一个统一的对象表示从层次结构的姿势对齐的区域。而不是表示一个对象的区域对齐的图像轴,所提出的表示特征的外观相对于对象的姿态使用姿态对齐补丁的功能是强大的姿态,比例和旋转的变化。我们提出了一种算法,执行姿态估计,并形成统一的对象表示为级联的层次姿态对齐的区域功能,然后送入一个分类网络。该算法超越了其他方法的性能,在广泛使用的CUB-200数据集上将最先进的性能提高了近2%,在更大的NABIrds数据集上提高了8%以上。这种模式相对于竞争方法的有效性表明,解开姿势和外观的细粒度识别的持续进展至关重要。
2018-09-11 cs.CV
Learning Disentangled Representations with Reference-Based Variational Autoencoders
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院);Univ. Pompeu Fabra(庞培法布拉大学);DTIC(信息与通信技术系)
从视觉数据中学习分离的表示,其中不同的高级生成因子被独立编码,对于许多计算机视觉任务来说是重要的。然而,解决这个问题通常需要在训练图像中明确标记所有感兴趣的因素。为了减轻注释成本,我们引入了一个学习设置,我们称之为“基于引用的解缠”。给定一个未标记的图像池,目标是学习一个表示,其中一组目标因子与其他因子分离。唯一的监督来自一个辅助的“参考集”,其中包含的图像的因素是恒定的。为了解决这个问题,我们提出了基于参考的变分自编码器,这是一种新的深度生成模型,旨在利用参考集提供的弱监督。通过解决任务,如特征学习,有条件的图像生成或属性转移,我们验证了所提出的模型的能力,从这种最小形式的监督学习解开表示。
2019-01-24 cs.CV
Disentangling Action Sequences: Discovering Correlated Samples
Shandong Provincial Key Laboratory of Network Based Intelligent Computing(山东省网络智能计算重点实验室);University of Jinan(济南大学);Jinan, 250022, China(济南市,250022,中国)
解纠缠是表征的一个非常理想的性质,因为它与人类的理解和推理相似。这提高了可解释性,使下游任务的性能,并使可控的生成模型。然而,这一领域的挑战是抽象的概念和不完整的理论,以支持无监督的解开学习。我们证明了数据本身,如图像的方向,在解纠缠中起着至关重要的作用,而不是因素,解纠缠表示将潜变量与动作序列对齐。我们进一步引入了解开动作序列的概念,这有利于描述现有的解开方法的行为。这个过程的一个类比是发现事物之间的共性并将其归类。此外,我们分析了数据的归纳偏差,发现潜在信息阈值与行为的重要性相关。对于有监督和无监督的情况,分别介绍了两种阈值的测量方法。我们进一步提出了一种新的框架,分数变分自编码器(FVAE),以解开与不同的意义的动作序列一步一步。在dSprites和3D Chairs上的实验结果表明,FVAE提高了解缠的稳定性。
2020-10-17 cs.CV cs.LG stat.ML
Disentangling Quantum and Classical Contributions in Hybrid Quantum Machine Learning Architectures
Institute of Informatics, LMU Munich(慕尼黑大学信息学研究所)
本文提出一种基于自编码器压缩输入的混合量子-经典架构,通过多数据集对比实验揭示混合迁移学习中经典组件的实际贡献常被误归于量子部分,并证明该架构可作为振幅嵌入变分量子电路的可行替代。
2024-01-13 cs.CV cs.LG quant-ph
Attention-Based Variational Framework for Joint and Individual Components Learning with Applications in Brain Network Analysis
Department of Biostatistics, Yale School of Public Health(生物统计学系,耶鲁公共卫生学院);Department of Statistics, Virginia Tech(统计学系,弗吉尼亚理工大学);Department of Statistics and Operations Research, University of North Carolina at Chapel Hill(统计学与运筹学系,北卡罗来纳大学教堂山分校)
本文提出CM-JIVNet,一种基于注意力的变分框架,用于联合和个体成分学习,以提升脑网络分析中的跨模态重建和行为预测能力。
2026-01-23 cs.CV cs.LG stat.ML
CVAE-GAN: Fine-Grained Image Generation through Asymmetric Training
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院)
我们提出了变分生成对抗网络,一个通用的学习框架,它结合了变分自动编码器与生成对抗网络,用于合成细粒度类别中的图像,例如类别中特定人员或对象的面部。我们的方法将图像建模为概率模型中的标签和潜在属性的组合。通过改变输入到生成模型中的细粒度类别标签,我们可以在特定类别中生成图像,并在潜在属性向量上随机抽取值。我们的方法有两个新颖的方面。首先,我们对判别和分类器网络采用交叉熵损失,但对生成网络采用平均差异目标。这种非对称损失函数使得GAN训练更加稳定。其次,我们采用一个编码器网络来学习潜在空间和真实图像空间之间的关系,并使用成对的特征匹配来保持生成图像的结构。我们用人脸、花卉和鸟类的自然图像进行了实验,并证明了所提出的模型能够生成具有细粒度类别标签的逼真和多样化的样本。我们进一步表明,我们的模型可以应用于其他任务,如图像修补,超分辨率和数据增强,以训练更好的人脸识别模型。
2017-10-12 cs.CV
VFAD: Variational Semantic Prompting Meets Frequency-Adaptive Representation Learning for Zero-Shot Anomaly Detection
该研究提出VFAD框架,结合变分语义提示与频率自适应表示学习,在13个工业和医学基准上,其零样本异常检测性能优于现有最先进方法。
2026-08-03 cs.CV
VQ-Style: Disentangling Style and Content in Motion with Residual Quantized Representations
ETH Zürich(苏黎世联邦理工学院);DisneyResearch|Studios(华特迪士尼研究与工作室)
本文提出VQ-Style方法,通过残差量化表示解构运动中的风格与内容,实现无需微调的风格迁移和多种运动应用。
2026-02-26 cs.AI cs.CV cs.LG
CEI-3D: Collaborative Explicit-Implicit 3D Reconstruction for Realistic and Fine-Grained Object Editing
School of Electronics, Information and Electrical Engineering(电子信息与电气工程学院)
CEI-3D通过协作显式-隐式重建方法,实现逼真且细粒度的对象编辑,采用解耦属性模块和空间感知编辑策略,提升编辑效果与效率。
2026-03-12 cs.CV
RNN-based Generative Model for Fine-Grained Sketching
ETH Zurich(苏黎世联邦理工学院)
深度生成模型在合成新图像方面表现出了巨大的潜力。虽然它们可以生成在更高层次上看起来令人信服的图像,但生成细粒度的细节仍然是一个挑战。为了促进更强大的生成方法的研究,本文提出了一个新的任务:生成建模的2D树骨架。树是一个有趣的形状类,因为它们表现出的复杂性和变化非常适合衡量生成模型生成详细结构的能力。我们为此任务提出了一个新的数据集,并证明了最先进的生成模型无法在我们的基准上合成逼真的图像,尽管它们在MNIST数字等当前数据集上表现良好。受这些结果的启发,我们提出了一种新的网络架构的基础上相结合的变分自编码器使用递归神经网络和卷积神经网络。网络,误差度量和训练过程是适应的细粒度草图的任务。通过定量和感知实验,我们表明我们的模型优于以前的工作,我们的数据集是生成模型的一个有价值的基准。我们将公开我们的数据集。
2019-01-13 cs.CV
Few-Shot Font Generation by Learning Fine-Grained Local Styles
Baidu Inc.(百度公司);University of California, Berkeley(加州大学伯克利分校);University of Melbourne(墨尔本大学)
Few-Shot字体生成(FFG),其目的是生成一个新的字体与几个例子,正在获得越来越多的关注,由于劳动力成本的显着降低。典型的FFG管道将标准字体库中的字符视为内容字形,并通过从参考字形中提取样式信息将它们传输到新的目标字体。大多数现有的解决方案显式地在全局或组件上分离引用标志符号的内容和样式。但是,字形的风格主要体现在局部细节上,部首、部件、笔画的风格共同构成了字形的风格。因此,即使是单个字符也可以包含分布在空间位置上的不同样式。在本文中,我们提出了一种新的字体生成方法,通过学习1)细粒度的本地风格的参考,和2)的内容和参考字形之间的空间对应关系。因此,可以为内容窗格中的每个空间位置分配正确的细粒度样式。为此,我们采用交叉关注的表示的内容字形作为查询和表示的参考字形作为键和值。交叉注意力机制可以关注参考字形中的正确的局部样式,并将参考样式聚合到给定内容字形的细粒度样式表示中,而不是显式地解开全局或组件式建模。实验结果表明,该方法在FFG中的性能优于现有的方法。特别是,用户研究还表明,我们的方法的风格一致性显着优于以前的方法。
2022-09-01 cs.CV cs.GR
IntroVAC: Introspective Variational Classifiers for Learning Interpretable Latent Subspaces
University of Padova(帕多瓦大学)
学习复杂数据的有用表示多年来一直是广泛研究的主题。随着深度神经网络的普及,变分自编码器获得了大量关注,因为它们基于编码器/解码器架构提供了数据分布的显式模型,该架构能够生成图像并在低维子空间中对其进行编码。然而,潜在的空间是不容易解释和生成能力显示出一些限制,因为图像通常看起来模糊,缺乏细节。在本文中,我们提出了内省变分分类器(IntroVAC),该模型通过利用来自附加标签的信息来学习可解释的潜在子空间,并通过对抗训练策略来提高图像质量。我们表明,IntroVAC能够学习潜在空间中有意义的方向,从而实现对图像属性的细粒度操作。我们在CelebA数据集上验证了我们的方法。
2020-09-14 cs.CV cs.LG stat.ML
Purify Unlearnable Examples via Rate-Constrained Variational Autoencoders
Nanyang Technological University(南洋理工大学);PengCheng Laboratory(鹏城实验室)
本文提出解耦变分自编码器D-VAE,利用率约束VAE抑制不可学习样本中的扰动,并通过两阶段净化方法实现高效训练前净化,在多个数据集上验证了有效性。
2024-05-06 cs.AI cs.CR cs.CV
TVAE: Triplet-Based Variational Autoencoder using Metric Learning
Stanford University(斯坦福大学)
深度度量学习已被证明在学习语义表示和编码信息方面非常有效,这些信息可用于测量数据相似性,这依赖于从度量学习中学习到的嵌入。同时,变分自编码器(VAE)被广泛用于近似推理,并被证明对有向概率模型具有良好的性能。然而,对于传统的VAE,数据标签或特征信息是棘手的。类似地,传统的表示学习方法无法表示数据的许多突出方面。在这个项目中,我们提出了一个新的集成框架,通过结合深度度量学习来学习VAE中的潜在嵌入。通过优化VAE的平均向量上的三重损失以及VAE的标准证据下限(ELBO)来学习这些特征。这种方法,我们称之为基于三元组的变分自动编码器(TVAE),允许我们在潜在嵌入中捕获更多细粒度的信息。我们的模型在MNIST数据集上进行了测试,达到了95.60%的高三重精度,而传统的VAE(Kingma & Welling,2013)达到了75.08%的三重精度。
2023-02-08 cs.AI cs.CV cs.LG