Deep Feature Consistent Variational Autoencoder
University of Nottingham(诺丁汉大学);Shenzhen University(深圳大学)
提出一种基于深度特征一致性的变分自编码器构建方法,利用预训练CNN定义特征感知损失取代逐像素损失,显著提升了生成图像的视觉质量及面部属性预测性能。
2024-03-20 cs.CV
Learning Disentangled Representations with Reference-Based Variational Autoencoders
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院);Univ. Pompeu Fabra(庞培法布拉大学);DTIC(信息与通信技术系)
从视觉数据中学习分离的表示,其中不同的高级生成因子被独立编码,对于许多计算机视觉任务来说是重要的。然而,解决这个问题通常需要在训练图像中明确标记所有感兴趣的因素。为了减轻注释成本,我们引入了一个学习设置,我们称之为“基于引用的解缠”。给定一个未标记的图像池,目标是学习一个表示,其中一组目标因子与其他因子分离。唯一的监督来自一个辅助的“参考集”,其中包含的图像的因素是恒定的。为了解决这个问题,我们提出了基于参考的变分自编码器,这是一种新的深度生成模型,旨在利用参考集提供的弱监督。通过解决任务,如特征学习,有条件的图像生成或属性转移,我们验证了所提出的模型的能力,从这种最小形式的监督学习解开表示。
2019-01-24 cs.CV
FICGAN: Facial Identity Controllable GAN for De-identification
Samsung SDS(三星SDS);Seoul National University(首尔大学);POSTECH(浦项工科大学)
在这项工作中,我们提出了面部身份可控GAN(FICGAN),不仅可以生成高质量的去识别人脸图像,确保隐私保护,而且还可以详细控制属性保存,以增强数据效用。基于这两个因素,我们解决了较少探索但期望的人脸去识别功能。首先,我们专注于具有挑战性的问题,以获得高水平的隐私保护在去识别任务,同时不妥协的图像质量。其次,我们分析了与身份和非身份相关的面部属性,并探索了面部去识别程度和保留源属性以增强数据效用之间的权衡。基于分析,我们开发了面部身份可控GAN(FICGAN),这是一种基于自动编码器的条件生成模型,可以学习将面部图像上的身份属性与非身份属性区分开来。通过应用流形k-same算法来满足k-匿名性以增强安全性,我们的方法在去身份化的人脸图像中实现了增强的隐私保护。大量的实验表明,我们的模型优于其他人在各种情况下的人脸去识别。
2021-10-02 cs.AI cs.CV
DiffuseGAE: Controllable and High-fidelity Image Manipulation from Disentangled Representation
National Innovation Institute of Defense Technology(国防科技创新研究院)
本文提出 DiffuseGAE,通过 Group-supervised AutoEncoder 和属性交换训练增强 Diff-AE 的潜码解耦,实现通用、可控、高保真的多属性图像编辑,并降低计算成本。
2023-07-12 cs.CV
Face Synthesis from Visual Attributes via Sketch using Conditional VAEs and GANs
Rutgers, The State University of New Jersey(罗格斯大学新泽西州立大学);Rutgers University(罗格斯大学)
从视觉属性自动合成人脸是计算机视觉中的一个重要问题,在执法和娱乐方面有着广泛的应用。随着深度生成卷积神经网络(CNN)的出现,已经尝试从属性和文本描述合成面部图像。在本文中,我们采取了一种不同的方法,我们将原始问题表述为阶段学习问题。首先合成与视觉属性相对应的人脸草图,然后基于合成的草图重建人脸图像。提议的Attribute2Sketch2Face框架基于深度条件变分自编码器(CVAE)和生成对抗网络(GANs)的组合,由三个阶段组成:(1)使用CVAE架构从属性合成面部草图,(2)使用基于GAN的框架增强粗略草图以产生更清晰的草图,以及(3)使用另一个基于GAN的网络从草图合成人脸。通过大量的实验和与现有方法的比较,验证了所提出的基于属性的三阶段人脸合成方法的有效性。
2017-12-30 cs.CV
DFA-NeRF: Personalized Talking Head Generation via Disentangled Face Attributes Neural Rendering
Shanghai Jiao Tong University(上海交通大学)
虽然深度神经网络的最新进展使渲染高质量图像成为可能,但生成照片般逼真和个性化的说话头部仍然具有挑战性。对于给定的音频,解决这个任务的关键是同步嘴唇运动,同时生成个性化的属性,如头部运动和眨眼。在这项工作中,我们观察到输入音频与嘴唇运动高度相关,而与其他个性化属性(例如,头部运动)。受此启发,我们提出了一种新的框架,基于神经辐射场追求高保真和个性化的说话头生成。具体而言,神经辐射场将嘴唇运动特征和个性化属性作为两个分离条件,直接从音频输入中预测嘴唇运动,实现嘴唇同步生成。同时,个性化的属性是从概率模型中采样,其中我们设计了一个基于transformer的变分自编码器从高斯过程中采样学习合理的和自然的头部姿势和眨眼。几个基准测试的实验表明,我们的方法取得了显着更好的结果比国家的最先进的方法。
2022-01-03 cs.CV
HypDAE: Hyperbolic Diffusion Autoencoders for Hierarchical Few-shot Image Generation
MMLab, The Chinese University of Hong Kong(香港中文大学);Boston University(波士顿大学)
针对少样本图像生成中类别一致性与多样性难平衡、属性控制不足的问题,提出在双曲空间运行的HypDAE方法,借助预训练模型和双曲表示实现更优平衡与可控可解释的生成。
2025-09-05 cs.CV
Residual Codean Autoencoder for Facial Attribute Analysis
IIIT-Delhi(德里印度理工学院)
面部属性可以提供丰富的辅助信息,这些信息可以用于不同的应用,例如目标营销、人机交互和执法。这项研究的重点是面部属性预测使用一种新的深度学习公式,称为R-Codean自动编码器。本文首先提出了一种基于余弦相似度的损失函数的自编码器,然后将其引入到基于欧氏距离的自编码器中,形成R码。因此,所提出的损失函数旨在在特征学习期间将图像向量的幅度和方向结合起来。此外,受深度模型中快捷连接的实用性的启发,以促进学习最佳参数,而不会引起消失梯度的问题,所提出的公式被扩展到在架构中包含快捷连接。所提出的R-Codean自动编码器被用于面部属性预测框架,该框架结合了基于块的加权机制,用于为每个属性的相关块分配更高的权重。在公开的CelebA和LFWA数据集上的实验结果证明了所提出的方法在解决这个具有挑战性的问题方面的有效性。
2018-03-20 cs.CV
Attribute Regularized Soft Introspective VAE: Towards Cardiac Attribute Regularization Through MRI Domains
针对医学成像中跨域属性控制难、VAE重建模糊的问题,提出融入属性正则化损失的Attri-SIVAE模型,跨域心脏MRI实验显示其性能比肩现有最优方法且跨域正则化稳定性更优。
2023-12-14 cs.CV eess.IV
Diffusion Autoencoders: Toward a Meaningful and Decodable Representation
VISTEC(威迪亚拉雅西里梅迪勒技术学院)
扩散概率模型(DPM)在图像生成方面取得了与GAN相媲美的卓越质量。但与GANs不同的是,DPM使用一组缺乏语义意义的潜在变量,无法作为其他任务的有用表示。本文探讨了使用DPMs进行表示学习的可能性,并试图通过自动编码来提取输入图像的有意义的和可解码的表示。我们的主要思想是使用一个可学习的编码器来发现高层次的语义,和一个可学习的解码器来建模剩余的随机变化。我们的方法可以将任何图像编码为两部分潜码,其中第一部分是语义上有意义的和线性的,第二部分捕获随机细节,允许近乎精确的重建。这种能力使具有挑战性的应用程序,目前箔基于GAN的方法,如属性操纵真实图像。我们还表明,这种两级编码提高了去噪效率,自然有利于各种下游任务,包括Few-Shot条件采样。请访问我们的项目页面:https://Diff-AE.github.io/
2022-03-10 cs.CV cs.LG
A Compact and Semantic Latent Space for Disentangled and Controllable Image Editing
LTCI(电信与图像处理实验室);Télécom Paris(巴黎电信学院)
针对现有GAN图像编辑方法解耦性不足的问题,提出一种基于主成分分析压缩潜在空间的自动编码器,重构StyleGAN潜在空间以实现属性解耦编辑,训练快、解耦效果优且保持图像身份保真度,架构易实现。
2023-12-13 cs.CV
Probabilistic Video Generation using Holistic Attribute Control
Simon Fraser University(西蒙弗雷泽大学);Facebook(脸书);California Institute of Technology(加州理工学院);The University of British Columbia(不列颠哥伦比亚大学)
视频表达视觉数据的高度结构化的时空模式。视频可以被认为由两个因素支配:(i)时间不变(例如,个人身份),或者缓慢变化(例如,活动),属性引起的外观,编码每个帧的持久内容,以及(i i)帧间运动或场景动态(例如,执行动作的人的编码进化)。基于这种直觉,我们提出了一个视频生成和未来预测的生成框架。所提出的框架生成一个视频(短剪辑),通过解码样本顺序地从潜在的空间分布到完整的视频帧。变分自编码器(VAE)被用作将帧编码到潜在空间/从潜在空间解码帧的手段,RNN被用作对潜在空间中的动态进行建模的方法。我们通过时间条件采样和质量来提高视频生成的一致性,方法是用属性控制来构造潜在空间;确保在学习/生成过程中可以推断和调节属性。因此,给定属性和/或第一帧,我们的模型能够生成多样化但高度一致的视频序列集,考虑到预测任务中固有的不确定性。在椅子CAD、Weizmann人类行为和MIT-Flickr数据集上的实验结果,以及与最新技术的详细比较,验证了该框架的有效性。
2018-03-21 cs.CV
From Baseline to Follow-Up: Counterfactual Spine DXA Image Synthesis in UK Biobank Using a Causal Hierarchical Variational Autoencoder
School of Electronics and Computer Science(电子与计算机科学学院);University of Southampton(萨塞克斯大学);MRC Lifecourse Epidemiology Centre(英国医学研究理事会生命周期流行病学中心);University of Southampton, Southampton General Hospital(萨塞克斯大学索马塞特医院);Computer Science University of Southampton(计算机科学萨塞克斯大学)
本文提出了一种基于元数据的因果层次变分自编码器,用于在UK Biobank中生成一致的脊柱DXA图像,通过基线到随访的设置评估因果一致性,展示了年龄干预下关键椎体形态学变量的高一致性,支持了在解剖上合理的DXA图像合成。
2026-05-21 cs.CV cs.LG
RAIGen: Rare Attribute Identification in Text-to-Image Generative Models
University of California, Berkeley(加州大学伯克利分校);UC Berkeley(加州大学伯克利分校)
提出RAIGen框架,利用Matryoshka稀疏自编码器和新颖的少数度量,在无标签条件下发现扩散模型中的罕见属性,并支持属性放大。
2026-06-17 cs.CV cs.LG
Attribute Regularized Soft Introspective Variational Autoencoder for Interpretable Cardiac Disease Classification
Institute of Machine Learning in Biomedical Imaging, Helmholtz Munich(亥姆霍兹慕尼黑生物医学成像机器学习研究所);Helmholtz AI, Helmholtz Munich(亥姆霍兹慕尼黑人工智能中心);School of Computation, Information and Technology, Technical University of Munich(慕尼黑工业大学计算、信息与技术学院);School of Biomedical Engineering and Imaging Sciences, King's College London(伦敦国王学院生物医学工程与影像科学学院)
本研究针对医学影像AI可解释性需求,提出结合潜空间属性正则化的对抗训练变分自编码器方法,可解决重建模糊问题,提升心脏病分类的可解释性。
2023-12-14 cs.CV eess.IV
Adversarial Learning of Disentangled and Generalizable Representations for Visual Attributes
Queen Mary University of London(伦敦玛丽女王大学);University of Athens(雅典大学);Cyprus Institute(塞浦路斯研究所)
近年来,大量的图像到图像的翻译方法在多域或多属性转换等问题上取得了令人印象深刻的结果。绝大多数这样的工作都利用了对抗学习和深度卷积自动编码器的优势,通过很好地捕捉目标数据分布来实现逼真的结果。然而,这类方法的最突出的代表不促进潜在空间中的语义结构,并且通常依赖于二进制域标签进行测试时传输。这导致模型僵化,无法捕捉每个域标签的方差。有鉴于此,我们提出了一种新的对抗性学习方法,该方法(i)通过从语义上解开变异源来促进潜在结构的出现,以及(ii)鼓励学习可推广的、连续的和可转移的潜在代码,从而实现灵活的属性混合。这是通过引入一种新的损失函数,鼓励代表性,导致均匀分布的类后验解纠缠属性。与用于诱导可推广属性的算法相结合,所得到的表示可以用于各种任务,例如强度保持多属性图像翻译和合成,而不需要标记的测试数据。我们通过一组流行的数据库,如MultiPIE,RaFD和BU-3DFE,其中我们的方法优于其他,国家的最先进的方法,如强度保持多属性传输和合成任务的定性和定量实验证明了所提出的方法的优点。
2021-01-30 cs.CV cs.LG
Probing the Representational Power of Sparse Autoencoders in Vision Models
Oracle;Intel Labs(英特尔实验室);Oregon State University(俄勒冈州立大学);Thoughtworks
本研究广泛评估了稀疏自编码器(SAEs)在视觉模型中的表征能力,发现其特征具有语义意义,能改善分布外泛化,并在视觉嵌入、多模态和扩散模型中实现可控生成与跨模态共享表征。
2025-09-18 cs.CV cs.LG
Attri-VAE: attribute-based interpretable representations of medical images with variational autoencoders
Universitat Pompeu Fabra(庞培法布拉大学);Vicomtech Foundation(Vicomtech基金会);ICREA(加泰罗尼亚研究与高等教育学院)
深度学习(DL)方法,其中可解释性本质上被认为是模型的一部分,需要更好地理解临床和基于成像的属性与DL结果的关系,从而促进它们在医疗决策背后的推理中的使用。使用变分自编码器(VAE)构建的潜在空间表示不能确保对数据属性的单独控制。文献中已经提出了基于属性的方法,用于基准数据中的经典计算机视觉任务。在本文中,我们提出了一种VAE方法,属性VAE,其中包括一个属性正则化项,将临床和医学成像属性与生成的潜在空间中的不同正则化维度相关联,从而能够更好地解释属性。此外,生成的注意力地图解释了正则化潜在空间维度中的属性编码。使用属性VAE方法,我们分析了健康和心肌梗死患者的临床,心脏形态学和放射组学属性。该模型提供了一个很好的权衡重建保真度,解纠缠,和可解释性,优于国家的最先进的VAE方法根据几个定量指标。由此产生的潜在空间允许在两个不同输入样本之间的轨迹中或沿着特定属性维度生成真实的合成数据,以更好地解释不同心脏状况之间的变化。
2022-12-12 cs.CV cs.LG eess.IV
3D Generative Model Latent Disentanglement via Local Eigenprojection
University College London(伦敦大学学院);University of California, Santa Barbara(加州大学圣巴巴拉分校)
本文提出一种基于谱几何的新型损失函数,通过鼓励3D网格VAEs或GANs的潜在变量遵循身份属性的局部特征投影,实现了局部形状属性的解耦生成,在保持良好生成能力和相当训练时间的同时,显著提升了潜在解耦效果。
2023-04-04 cs.CV cs.GR cs.LG
Evaluating the Interpretability of Sparse Autoencoders with Concept Annotations
The Berlin Institute for the Foundations of Learning and Data (BIFOLD)(柏林学习与数据基础研究所);Technische Universität Berlin(柏林工业大学);INRAE(法国国家农业、食品与环境研究院);Inria, EVERGREEN(法国国家信息与自动化研究所,EVERGREEN);UMR TETIS, Univ Montpellier(UMR TETIS,蒙彼利埃大学)
提出一种基于人类标注的评估框架,通过合成基准和二分匹配方法量化稀疏自编码器潜在变量与概念的对齐,并验证可解释性。
2026-06-24 cs.AI cs.CV
Interpretable Representation Learning of Cardiac MRI via Attribute Regularization
Institute of Machine Learning in Biomedical Imaging, Helmholtz Munich(亥姆霍兹慕尼黑生物医学成像机器学习研究所);Helmholtz AI, Helmholtz Munich(亥姆霍兹慕尼黑亥姆霍兹人工智能研究所);School of Computation, Information and Technology, Technical University of Munich(慕尼黑工业大学计算、信息与技术学院);School of Biomedical Engineering and Imaging Sciences, King’s College London(伦敦国王学院生物医学工程与影像科学学院)
提出属性正则化软内省变分自编码器,在对抗训练框架中结合属性正则化,解决了变分自编码器重建模糊问题,同时保持心脏MRI潜在空间的可解释性。
2024-08-26 cs.CV eess.IV
Motion Diffusion Autoencoders: Enabling Attribute Manipulation in Human Motion Demonstrated on Karate Techniques
Cognitive Systems Lab(认知系统实验室);University of Bremen, Germany(不来梅大学)
本研究针对人体动作属性操纵问题,提出基于旋转的连续姿态表示与结合Transformer编码器和扩散概率模型的动作扩散自编码器,首次成功实现空手道动作属性操纵,代码数据已公开。
2025-07-29 cs.CV cs.LG
A Generative Model For Zero Shot Learning Using Conditional Variational Autoencoders
Indian Institute of Technology Madras(马德拉斯印度理工学院)
图像分类中的零样本学习是指训练数据中不存在来自某些新类别的图像,但可获得诸如类别的自然语言描述或属性向量的其他信息的设置。这种设置在现实世界中很重要,因为人们可能无法在训练时获得所有可能类别的图像。虽然以前的方法试图通过某种类型的传递函数来建模类属性空间和图像空间之间的关系,以便对应于看不见的类来建模图像空间,但我们采取不同的方法,并尝试使用条件变分自编码器从给定的属性生成样本,并使用生成的样本对看不见的类进行分类。通过对四个基准数据集的广泛测试,我们表明我们的模型优于现有技术,特别是在更现实的广义设置中,训练类也可以在测试时与新类一起出现。
2018-01-27 cs.CV
Improving Variational Autoencoder with Deep Feature Consistent and Generative Adversarial Training
Shenzhen University(深圳大学);University of Nottingham(诺丁汉大学)
提出了一种提高变分自编码器(VAE)性能的新方法。除了执行深度特征一致性原则,从而确保VAE输出及其对应的输入图像具有相似的深度特征外,我们还实现了生成对抗训练机制,以迫使VAE输出逼真和自然的图像。我们提出的实验结果表明,我们的新方法训练的VAE在生成具有更清晰,更自然的鼻子,眼睛,牙齿,头发纹理以及合理的背景的人脸图像方面优于现有技术。我们还表明,我们的方法可以学习输入人脸图像的强大嵌入,可用于实现面部属性操作。此外,我们提出了一种多视角特征提取策略,以提取有效的图像表示,这可以用来实现最先进的性能在面部属性预测。
2019-06-04 cs.CV
CrossVideoMAE: Self-Supervised Image-Video Representation Learning with Masked Autoencoders
University of Moratuwa(莫拉图瓦大学);Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);University of Auckland(奥克兰大学);Weizmann Institute of Science(魏茨曼科学研究所)
针对现有视频MAE忽略动作语义属性的问题,提出跨模态自监督MAE,整合视频与采样帧信息学习时空与语义表示,实验证明其性能优于现有方法。
2025-02-08 cs.CV
Recovering Faces from Portraits with Auxiliary Facial Attributes
Australian National University(澳大利亚国立大学);Data61/CSIRO(Data61/联邦科学与工业研究组织)
从艺术肖像中恢复逼真的面部是一项具有挑战性的任务,因为在艺术作品中,关键的面部细节往往会被扭曲或完全丢失。为了处理这种损失,我们提出了一个属性引导的人脸恢复从肖像(AFRP),利用人脸恢复网络(FRN)和判别网络(DN)。FRN包括一个自动编码器与残留块嵌入跳过连接,并在自动编码器的瓶颈处将面部属性向量纳入到输入肖像的特征图中。DN具有多个卷积层和全连接层,其作用是强制FRN生成真实的面部图像,其对应的面部属性由输入属性向量决定。%利用空间Transformer网络,FRN自动补偿人像的未对准。%,并生成对齐的面部图像。为了保持身份,我们将恢复的和地面真实的面孔强加给他们,以共享相似的视觉特征。具体地,DN确定恢复的图像是否看起来像真实的面部,并检查从恢复的图像中提取的面部属性是否与给定的属性一致。%我们的方法可以从未对齐的肖像中恢复高质量的真实感人脸,同时保留人脸图像的身份,并且可以重建具有所需属性的真实感人脸图像。我们的方法可以从看不见的风格化肖像,艺术绘画和手绘草图中恢复具有所需属性的真实感身份保留人脸。在大规模的合成和草图数据集上,我们证明了我们的人脸恢复方法达到了最先进的结果。
2019-04-07 cs.CV
Diversity-Aware Sign Language Production through a Pose Encoding Variational Autoencoder
University of Surrey(萨里大学)
针对多样性感知手语生成需求,提出结合姿态信息与属性条件的姿态编码变分自编码器,采用UNet架构和分部位解码器,在SMILE II数据集上多项指标优于现有基线。
2024-05-16 cs.CV
StyleAutoEncoder for manipulating image attributes using pre-trained StyleGAN
Jagiellonian University(雅盖隆大学);Faculty of Mathematics and Computer Science(数学与计算机科学学院)
本文提出轻量级插件模块StyleAutoEncoder,与预训练StyleGAN结合即可高效操纵图像属性,在效果不逊于基于可逆归一化流的最新方法的同时,实现更简单、更快速且设计更灵活。
2024-12-28 cs.AI cs.CV
SelfSwapper: Self-Supervised Face Swapping via Shape Agnostic Masked AutoEncoder
KAIST AI(韩国科学技术院人工智能学院)
本文提出基于形状无关掩码自编码器(SAMAE)的自监督换脸方法,结合目标导向与源导向优势,解决身份泄漏和光照肤色失真,实现最先进性能。
2024-07-22 cs.AI cs.CV
Semi-Adversarial Networks: Convolutional Autoencoders for Imparting Privacy to Face Images
Michigan State University(密歇根州立大学);International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术研究所)
在本文中,我们设计并评估了一个卷积自动编码器,它可以扰动输入的人脸图像,从而将隐私传递给受试者。具体而言,建议的自动编码器变换输入的人脸图像,使得变换后的图像可以成功地用于人脸识别,但不用于性别分类。为了训练这种自动编码器,我们提出了一种新的训练方案,在这项工作中被称为半对抗训练。通过将由伪性别分类器和伪面部匹配器组成的半对抗模块附加到自动编码器来促进训练。用于训练该网络的目标函数有三个项:一个是确保扰动图像是真实的人脸图像;另一个是确保人脸的性别属性被混淆;第三个是确保由于扰动图像导致的生物识别性能不受影响。大量的实验证实了所提出的架构在扩展性别隐私的人脸图像的功效。
2018-05-03 cs.CV cs.LG
TEVI: Text-Conditioned Editing of Visual Representations via Sparse Autoencoders for Improved Vision-Language Alignment
Max Planck Institute for Informatics, Saarland Informatics Campus, Saarbrücken, Germany(马克斯·普朗克研究所信息学院,萨尔兰信息学院,德国萨尔布吕肯);Department of Language Science and Technology, Saarland University, Saarbrücken, Germany(语言科学与技术系,萨尔兰大学,德国萨尔布吕肯)
提出TEVI框架,利用稀疏自编码器解耦图像嵌入,并通过文本条件掩码模块选择性重构嵌入,以改善CLIP等视觉-语言模型的图像-文本对齐,在多个检索基准上取得提升。
2026-09-04 cs.AI cs.CL cs.CV
Towards Photographic Image Manipulation with Balanced Growing of Generative Autoencoders
Aalto University(阿尔托大学);GenMind Ltd.(GenMind有限公司)
我们提出了一个生成式自动编码器,提供快速编码,忠实的重建(如。保留面部的身份)、高分辨率的清晰的生成/重构样本以及支持输入的语义操纵的良好结构的潜在空间。目前还没有自动编码器或GAN模型可以令人满意地实现所有这些功能。我们建立在逐渐增长的自动编码器模型PIONEER的基础上,我们根据对最近引入的归一化方案的仔细分析,完全改变了训练动态。我们显示出显着改善的视觉和定量结果,在CelebAHQ的脸身份保护。我们的模型实现了国家的最先进的解开潜在的空间,无论是定量的,并通过现实的图像属性操作。在LSUN Bedrooms数据集上,我们提高了vanilla PIONEER的解纠缠性能,尽管模型更简单。总体而言,我们的研究结果表明,PIONEER网络提供了一种逼真的人脸操作。
2020-02-20 cs.CV cs.LG stat.ML
Exploiting Latent Codes: Interactive Fashion Product Generation, Similar Image Retrieval, and Cross-Category Recommendation using Variational Autoencoders
University of the Philippines, Diliman(菲律宾大学迪利曼分校)
深度学习应用在时尚行业的兴起推动了大规模数据集的管理,以构建产品设计,图像检索和推荐系统的应用程序。本文提出利用变分自编码器(Variational Autoencoder,VAE)来构建一个交互式的时尚产品应用框架,允许用户根据自己的喜好生成具有属性的产品,检索同一产品类别的相似风格,并接收来自其他类别的基于内容的推荐。包含眼镜、鞋类和箱包的时尚产品图像数据集适合于说明该管道适用于蓬勃发展的电子商务行业,从而能够在指定所需产品时与新的数据匹配方法进行直接用户交互,并通过使用VAE并利用其生成的潜在代码来推荐系统。
2020-09-02 cs.CV cs.IR
Class Representative Autoencoder for Low Resolution Multi-Spectral Gender Classification
IIIT-Delhi(德里印度理工学院)
性别是用来描述一个人的最常见的属性之一。它用于多个领域,如人机交互、市场营销、安全和人口统计报告。已经进行了研究,以自动化的任务,性别识别在受约束的环境中使用人脸图像,然而,有限的注意力已经给予性别分类在不受约束的情况下。本文针对多光谱低分辨率人脸图像中的性别分类问题进行了研究。我们提出了一个强大的类代表自动编码器模型,称为AutoGen相同。该模型的目标是最大限度地减少类内变化,同时最大限度地提高学习的特征表示的类间变化。不同分辨率和多个数据库的可见光和近红外光谱数据的结果描绘了所提出的模型的有效性。与现有的方法和两个商业现成的系统的比较结果进一步激励使用类代表性的功能进行分类。
2018-05-21 cs.CV
CF3: Compact and Fast 3D Feature Fields
Seoul National University(首尔国立大学)
针对现有3DGS整合2D特征时自底向上优化计算成本高的问题,提出CF3自顶向下流水线,通过多视图特征加权融合、高斯级自编码器训练及自适应稀疏化,仅用5%的高斯量即可构建高效的3D特征场。
2025-09-02 cs.AI cs.CV
Convergence of gradient based pre-training in Denoising autoencoders
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
深度架构的成功至少部分归功于对网络进行逐层无监督预训练。各种论文报告了广泛的实证分析,重点是良好的培训前程序的设计和实施。然而,了解有关的参数估计的一致性,收敛的学习过程和样本量估计仍然是不可用的文献。在这项工作中,我们研究了经典和分布式去噪自动编码器的预训练,并考虑到这些目标。我们表明,梯度收敛的速度为$\frac{1}{\sqrt{N}}$,并有一个次线性依赖于自动编码器网络的大小。在一个分布式的设置,整个网络的不相交的部分进行预训练同步,我们表明,收敛提高了至少$τ^{3/4}$,其中$τ$对应的部分的大小。我们提供了一组广泛的实验来经验性地评估所建议的行为。
2015-02-12 cs.CV cs.LG math.OC
A PCA-like Autoencoder
LTCI, Télécom ParisTech, Université Paris Saclay(巴黎萨克雷大学巴黎高等电信学院LTCI实验室)
自动编码器是一个神经网络,它将数据投射到低维潜在空间或从低维潜在空间投射数据,在低维潜在空间中,该数据更容易理解和建模。自动编码器由两个子网络组成,编码器和解码器,它们执行这些转换。神经网络经过训练,使得输出尽可能接近输入,数据已经通过了信息瓶颈:潜在空间。该工具与主成分分析(PCA)有很大的区别,主要有两个不同之处。首先,自编码器是一种非线性变换,与PCA相反,这使得自编码器更加灵活和强大。其次,由PCA找到的轴是正交的,并且根据数据沿着这些轴呈现的变化量进行排序。这使得PCA的可解释性比自动编码器的可解释性大得多,自动编码器不具有这些属性。理想情况下,我们希望自动编码器的潜在空间由独立的组件组成,按数据的重要性递减排序。在本文中,我们提出了一个算法来创建这样的网络。我们创建了一个迭代算法,它逐渐增加潜在空间的大小,在每一步学习一个新的维度。其次,我们提出了一个协方差损失项添加到标准的自动编码器损失函数,以及一个归一化层之前的潜在空间,这鼓励潜在空间分量是统计独立的。我们证明了这个自动编码器的结果,简单的几何形状,并发现该算法确实找到了一个有意义的表示在潜在的空间。这意味着在潜在空间中的后续插值具有关于图像的几何属性的意义。
2019-04-02 cs.CV cs.LG
Modeling Visual Memorability Assessment with Autoencoders Reveals Characteristics of Memorable Images
Vector Institute for Artificial Intelligence(向量人工智能研究所);Western University(西安大略大学)
提出基于VGG16自编码器的计算建模方法,通过分析重建误差与潜在表示独特性预测图像记忆性,并利用IG识别关键视觉特征,揭示了易记图像的特性。
2025-04-02 cs.CV
Age Progression/Regression by Conditional Adversarial Autoencoder
The University of Tennessee(田纳西大学)
“如果我给你一张我的人脸图片(不告诉你我拍照时的实际年龄)和我抓取的大量人脸图片(包含不同年龄的标签脸,但不一定配对),你能告诉我我80岁时的样子吗?或者我5岁时的样子?我可以告诉你我是什么样子吗?”答案很可能是“不”。“大多数现有的人脸老化工作试图学习年龄组之间的转换,因此需要配对样本以及标记的查询图像。在本文中,我们从生成建模的角度来看待这个问题,这样就不需要配对样本。另外,对于未标记的图像,生成模型可以直接生成具有期望年龄属性的图像。我们提出了一个条件对抗自动编码器(CAAE),它学习一个人脸流形,在这个流形上可以同时实现平滑的年龄增长和回归。在CAAE中,首先通过卷积编码器将面部映射到潜在向量,然后通过去卷积生成器将向量投影到以年龄为条件的面部流形。潜在向量保留个性化的面部特征(即,性格)和年龄条件控制进展与退化。两个对抗网络分别施加在编码器和生成器上,迫使生成更具照片真实感的人脸。实验结果表明,通过与最先进的和地面真理比较,所提出的框架的吸引人的性能和灵活性。
2017-03-28 cs.CV
Disentangling Factors of Variation by Mixing Them
University of Bern, Switzerland(瑞士伯尔尼大学);University of Maryland, USA(美国马里兰大学)
我们提出了一种方法来学习图像表示,包括解开的变化因素,而不利用任何手动标记或数据域知识。变化因子对应于可以在一组图像上一致地辨别的图像属性,诸如对象的姿势或颜色。我们的解纠缠表示由一系列特征块组成,每个特征块代表一个变化因子。它支持的应用程序,如属性从一个图像到另一个,通过简单的混合和unmixing功能块,和分类或检索的基础上的一个或多个属性,通过考虑用户指定的特征块的子集。我们学习我们的表示没有任何标签或知识的数据域,使用自动编码器架构与两个新的训练目标:首先,我们提出了一个不变性的目标,鼓励每个属性的编码,每个块的解码,是不变的变化,在其他属性和块,分别;第二,我们包括一个分类目标,它确保每个块对应于所表示的图像中的一致可辨别的属性,因此避免了完全忽略某些块的退化特征映射。我们证明了我们的方法在MNIST,Sprites和CelebA数据集上的有效性。
2018-03-28 cs.CV
A Benchmark Dataset and Saliency-guided Stacked Autoencoders for Video-based Salient Object Detection
Beihang University(北京航空航天大学);State Key Laboratory of Virtual Reality Technology and Systems(虚拟现实技术与系统国家重点实验室);International Research Institute for Multidisciplinary Science(国际交叉科学研究院)
基于图像的显著性目标检测(SOD)在过去几十年中得到了广泛的研究。然而,基于视频的超氧化物歧化酶是少得多的探讨,因为缺乏大规模的视频数据集内的显着对象是明确的定义和注释。为此,本文提出了一个基于视频的SOD数据集,由200个视频(64分钟)。在构建数据集时,我们手动注释了7,650个均匀采样的关键帧上的所有对象和区域,并收集了23个自由观看所有视频的受试者的眼动跟踪数据。从用户数据中,我们发现视频中的显著对象可以被定义为在整个视频中始终弹出的对象,并且具有这样的属性的对象可以通过将手动注释的对象/区域掩模与多个主体的眼睛跟踪数据相结合来明确地注释。据我们所知,它是目前基于视频的显著目标检测的最大数据集。基于此数据集,本文提出了一种无监督的基线方法,基于视频的SOD使用显着性指导堆叠自动编码器。在该方法中,多个时空显著性线索首先在像素,超像素和对象水平提取。有了这些显着性线索,堆叠的自动编码器被无监督地构建,其通过渐进地编码从像素及其时空邻居收集的高维显着性线索来自动推断每个像素的显着性得分。实验结果表明,所提出的无监督方法在所提出的数据集上优于30种最先进的模型,包括19种基于图像的经典模型(无监督或非深度学习),6种基于图像的深度学习模型,以及5种基于视频的无监督模型。此外,基准测试结果表明,该数据集是非常具有挑战性的,并有可能促进基于视频的SOD的发展。
2017-05-09 cs.CV
Modeling Rapid Contextual Learning in the Visual Cortex with Fast-Weight Deep Autoencoder Networks
Carnegie Mellon University(卡内基梅隆大学)
本研究利用基于ViT的自编码器探讨熟悉训练如何在深度神经网络早期层中诱导对全局上下文的敏感性,通过快速权重机制实现快速学习,并验证LoRA在增强快速权重效果中的作用。
2025-11-29 cs.CV
In Pursuit of Pixel Supervision for Visual Pre-training
FAIR, Meta(Meta研究院)
Pixio通过增强的掩码自编码器实现像素监督的视觉预训练,表现优异于DINOv3,适用于多种下游任务。
2025-12-17 cs.CV
Latent Diffusion Autoencoders: Toward Efficient and Meaningful Unsupervised Representation Learning in Medical Imaging
Department of Electrical and Information Engineering (DIEI), University of Cassino and Southern Lazio(电气与信息工程系(DIEI),卡斯诺和南部拉齐亚大学);Diagnostic Image Analysis Group, Radboud University Medical Center(影像诊断分析组,拉德堡德大学医学中心);Department of Medical Imaging, Radboud University Medical Center(医学成像系,拉德堡德大学医学中心)
LDAE通过在潜在空间中应用扩散过程,实现了高效且有意义的医学影像无监督学习,展示了在AD诊断和年龄预测中的高准确性及重建质量。
2025-04-11 cs.CV
Language Quantized AutoEncoders: Towards Unsupervised Text-Image Alignment
University of California, Berkeley(加州大学伯克利分校)
最近在扩展大语言模型方面取得的进展表明,在广泛的基于文本的任务中执行少样本学习的能力令人印象深刻。然而,一个关键的限制是这些语言模型从根本上缺乏视觉感知-这是扩展这些模型以能够与现实世界交互并解决视觉任务所需的关键属性,例如在视觉问答和机器人技术中。之前的工作主要是通过预训练和/或对策划的图像-文本数据集进行微调来将图像连接到文本,这可能是一个昂贵且昂贵的过程。为了解决这个限制,我们提出了一种简单而有效的方法,称为语言量化自动编码器(LQAE),它是VQ-VAE的修改,通过利用预训练的语言模型(例如,BERT,Roberta).我们的主要思想是通过使用预先训练的语言码本直接量化图像嵌入来将图像编码为文本标记序列。然后,我们应用随机掩蔽,然后是BERT模型,并让解码器从BERT预测的文本标记嵌入中重建原始图像。通过这样做,LQAE学会用相似的文本标记集群来表示相似的图像,从而在不使用对齐的文本图像对的情况下对齐这两种模态。这使得能够利用大语言模型图像分类(例如,GPT-3)以及基于BERT文本特征的图像线性分类。据我们所知,我们的工作是第一个通过利用预训练的语言模型的力量将未对齐的图像用于多模态任务的工作。
2023-02-03 cs.CL cs.CV cs.LG