Dueling Decoders: Regularizing Variational Autoencoder Latent Spaces
Google Research(谷歌研究院)
变分自编码器学习无监督的数据表示,但这些模型经常收敛到最小值,无法保留有意义的语义信息。例如,具有自回归解码器的变分自编码器通常会崩溃为自解码器,在自解码器中,它们学会忽略编码器输入。在这项工作中,我们证明了添加辅助解码器来正则化潜在空间可以防止这种崩溃,但成功的辅助解码任务是依赖于域的。辅助解码器可以增加潜在空间中编码的语义信息量,并在重建中可见。变分自编码器的表示中的语义信息仅与其速率、失真或证据下限弱相关。与其他修改训练目标的流行策略相比,我们对潜在空间的正则化通常增加了语义信息内容。
2019-05-17 cs.LG stat.ML
When Does High-CFG Diffusion Inversion Fail? A Controlled Study of Prompt--Latent Interactions
GSIS Tohoku University(东北大学全球信息社会研究院);RIKEN AIP JAPAN(日本理化学研究所先进智能项目中心)
研究在图像编辑中,高CFG轨迹生成的目标图像何时能被反演。通过对照实验,用现有基准的提示生成图像并反演,揭示提示重建行为类型,定义提示压力分析生成,文本分析表明主体和措辞影响反演,评估干预措施支持局部轨迹感知分析。
2026-07-24 cs.CV
Learning Disentangled Latent Factors from Paired Data in Cross-Modal Retrieval: An Implicit Identifiable VAE Approach
Samsung AI Center Cambridge(三星剑桥人工智能中心);Rutgers University(罗格斯大学)
我们处理的问题,学习潜在的解开潜在因素之间共享的成对的双模态数据在跨模态检索。我们的假设是,这两种模式中的数据都是复杂的、结构化的和高维的(例如,图像和文本),对于这些,诸如变分自编码器(VAE)的常规深度自动编码潜在变量模型经常遭受准确解码器训练或真实合成的困难。一个次优训练的解码器可能会损害模型识别真实因素的能力。在本文中,我们提出了一种新的想法,隐式解码器,它完全删除了环境数据解码模块从一个潜在的变量模型,通过隐式编码器反演,实现了雅可比正则化的低维嵌入函数。从最近的可识别的VAE(IVAE)模型的动机,我们修改它,将查询模态数据作为条件辅助输入,这使我们能够证明,模型的真实参数可以确定在一定的规律性条件下。在真实因素完全/部分可用的各种数据集上进行测试,我们的模型可以准确地识别因素,显着优于传统的编码器-解码器潜变量模型。我们还在大型食物图像/食谱数据集Recipe 1 M上测试了我们的模型,其中通过我们的方法学习的因素与广泛认同的最明显的食物因素高度一致,包括美味,平淡和绿色。
2020-12-01 cs.CV cs.LG
Force-in-domain GAN inversion
Shanghai Jiao Tong University(上海交通大学)
经验研究表明,生成对抗网络(GANs)在训练生成图像时,其潜在空间中会出现各种语义。为了执行真实图像编辑,它需要从真实图像到潜在空间的准确映射,以利用这些学习的语义,这是重要但困难的。最近提出了一种域内GAN逆方法,通过将从逆码获得的重构图像强制在真实图像空间内来将逆码约束在潜在空间内。实验结果表明,域内GAN的反编码可以显著地偏离潜在空间。为了解决这个问题,我们提出了一个强制域GAN的基础上,在域GAN,它利用一个搜索器来强制反转代码的潜在空间。域中力GAN也可以通过稍微修改的循环GAN来解释。大量的实验表明,我们的力域GAN不仅在像素级重建目标图像,而且还对齐反转代码与潜在空间很好的语义编辑。
2021-07-14 cs.CV cs.LG eess.IV
GAN Inversion for Out-of-Range Images with Geometric Transformations
POSTECH(浦项科技大学)
对于真实图像的成功语义编辑,GAN反演方法找到与预训练的GAN模型的域对齐的域内潜在代码是至关重要的。不幸的是,这种域内潜码只能在与GAN模型的训练图像对齐的范围内图像中找到。在本文中,我们提出了BDInvert,一种新的GAN反演方法,用于对与GAN模型的训练图像几何不对齐的范围外图像进行语义编辑。为了找到一个语义上可编辑的潜在代码,BDInvert将输入的超出范围的图像反转到一个替代潜在空间中,而不是原始潜在空间。我们还提出了一个正则化的反演方法,找到一个解决方案,支持语义编辑的替代空间。我们的实验表明,BDInvert有效地支持语义编辑的范围外的图像与几何变换。
2021-08-20 cs.CV
Decoupled Latent Optimization of Diffusion Models for Full Waveform Inversion
School of Mathematical Sciences, Shanghai Jiao Tong University(上海交通大学数学科学学院);CMA-Shanghai, Shanghai Jiao Tong University(上海交通大学CMA-上海)
提出解耦潜变量优化(DLO),通过二次惩罚目标分离物理变量和潜变量,结合数据保真度梯度和扩散先验,在OpenFWI基准上优于经典正则化和现有扩散方法。
2026-06-15 cs.LG
Prompt-Guided Dual Latent Steering for Inversion Problems
Nanjing University of Posts and Telecommunications(南京邮电大学);University of Washington(华盛顿大学);University of Alberta(阿尔伯塔大学)
本文提出免训练的提示引导双潜在控制方法PDLS,将反演分解为结构路径与语义路径,并用LQR闭式解动态引导生成轨迹,在多种反演任务上同时提升重建保真度与语义一致性。
2025-09-23 cs.CV
FissionVAE: Federated Non-IID Image Generation with Latent Space and Decoder Decomposition
Swansea University(斯旺西大学);Durham University(达勒姆大学);Xi’Dian University(西安电子科技大学)
本文提出FissionVAE,通过解耦隐空间并为不同客户端组构建定制化解码器分支,结合层次化VAE和异构解码器架构,有效解决了联邦学习中非独立同分布数据导致的图像生成质量下降问题。
2025-05-05 cs.AI cs.CV cs.LG
FlashDecoder: Real-Time Latent-to-Pixel Streaming Decoder with Transformers
Pika Labs(皮卡实验室);POSTECH(浦项科技大学)
研究针对实时视频生成中潜视频扩散模型解码慢、内存占用大的问题,提出FlashDecoder,一种基于Transformer的纯视频解码器,通过滚动KV缓存和顺序处理帧实现快速解码,在重建质量匹配卷积解码器的同时大幅提升速度并减少内存占用。
2026-07-17 cs.AI cs.CV
Isometric Representation Learning for Disentangled Latent Space of Diffusion Models
Seoul National University(首尔大学);Google Research(谷歌研究院)
针对扩散模型潜在空间纠缠和映射畸变问题,提出等距扩散方法,通过几何正则化器学习解纠缠潜在空间,实现更平滑插值、更精确反演和更精细属性控制,实验验证有效。
2024-07-16 cs.CV cs.LG
Latent Bias Alignment for High-Fidelity Diffusion Inversion in Real-World Image Reconstruction and Manipulation
Department of Electrical and Electronic Engineering, Southern University of Science and Technology(南方科技大学电子与电气工程系);Undergraduate School of Artificial Intelligence, Shenzhen Polytechnic University(深圳理工大学人工智能本科生学院);Huawei Technologies Co., Ltd.(华为技术有限公司);Pengcheng Lab(鹏城实验室)
本文提出Latent Bias Optimization和Image Latent Boosting方法,解决扩散模型与现实场景衔接中的重建质量与鲁棒性问题,提升图像编辑和稀有概念生成性能。
2026-03-25 cs.AI cs.CV
Improving Inversion and Generation Diversity in StyleGAN using a Gaussianized Latent Space
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
现代生成对抗网络能够从生活在低维学习的潜在空间中的潜在向量创建人工的、照片般真实的图像。已经证明,可以将大范围的图像投影到这个空间中,包括生成器训练的域之外的图像。然而,虽然在这种情况下,生成器再现了图像的像素和纹理,但重建的潜在向量是不稳定的,并且小的扰动会导致显着的图像失真。在这项工作中,我们建议显式地模拟潜在空间中的数据分布。我们表明,在一个简单的非线性操作,数据分布可以建模为高斯,因此表示使用足够的统计。这产生了一个简单的高斯先验,我们使用它来正则化图像到潜在空间的投影。所得到的投影位于潜在空间的更平滑且表现更好的区域中,如使用真实图像和生成图像的插值性能所示。此外,高斯模型的潜在空间中的分布,使我们能够调查在生成器输出的文物的起源,并提供了一种方法,减少这些文物,同时保持多样性的生成图像。
2020-09-14 cs.CV
REGEN: Learning Compact Video Embedding with (Re-)Generative Decoder
Adobe Research(奥多比研究院);Northeastern University(东北大学)
REGEN提出用编码器-生成器框架替代传统编码器-解码器,以DiT从紧凑潜在空间合成缺失细节,实现高达32倍时间压缩比,并验证其在文本到视频生成中的高效性与鲁棒性。
2025-03-11 cs.AI cs.CV cs.LG
Spatial Broadcast Decoder: A Simple Architecture for Learning Disentangled Representations in VAEs
DeepMind(深度思维)
我们提出了一个简单的神经渲染架构,帮助变分自编码器(VAE)学习解纠缠表示。代替VAE解码器中通常使用的去卷积网络,我们在空间中平铺(广播)潜在向量,连接固定的X和Y“坐标”通道,并应用具有1x1步幅的完全卷积网络。这提供了一个架构之前,从VAE的潜在分布中的非位置特征分离的位置,但没有提供任何明确的监督,这种效果。我们表明,这种架构,我们称之为空间广播解码器,提高了解开,重建精度,并推广到数据空间中的区域。当应用于具有小对象的数据集时,它提供了特别显着的好处。我们还强调了一种可视化学习的潜在空间的方法,帮助我们诊断我们的模型,并可能证明对其他旨在评估数据表示的人有用。最后,我们展示了空间广播解码器是最先进的(SOTA)解纠缠技术的补充,并在合并时提高了它们的性能。
2019-08-14 cs.CV cs.LG stat.ML
3D GAN Inversion with Pose Optimization
Korea University(高丽大学);LG AI Research(LG人工智能研究院)
随着基于NeRF的3D感知GANs质量的最新进展,将图像投影到这些3D感知GANs的潜在空间中比2D GAN反演具有天然优势:它不仅允许投影图像的多视图一致编辑,而且在仅给出单个图像时还能够实现3D重建和新颖视图合成。然而,显式视点控制作为3D GAN反演过程中的主要障碍,因为相机姿态和潜在代码必须同时优化以重建给定图像。大多数探索3D感知GANs潜在空间的工作依赖于地面实况相机视点或可变形3D模型,从而限制了它们的适用性。在这项工作中,我们引入了一个通用的三维GAN反演方法,同时推断相机的观点和潜在的代码,使多视图一致的语义图像编辑。我们方法的关键是利用预先训练的估计器进行更好的初始化,并利用从NeRF参数计算的像素深度来更好地重建给定图像。我们对图像重建和编辑进行了大量的定量和定性实验,并将我们的结果与基于2D GAN的编辑进行了进一步比较,以证明利用3D GANs潜在空间的优势。其他结果和可视化可在https://3dgan-inversion.github.io上获得。
2022-10-17 cs.CV
Spatially-Adaptive Multilayer Selection for GAN Inversion and Editing
Carnegie Mellon University(卡内基梅隆大学);Adobe Research(奥多比研究院)
现有的GAN反转和编辑方法对于具有干净背景的对齐对象(例如肖像和动物面部)工作良好,但是对于具有复杂场景布局和对象遮挡的更困难的类别(例如汽车、动物和户外图像)通常很困难。我们提出了一种新的方法来反转和编辑GANs(如StyleGAN2)潜在空间中的复杂图像。我们的关键思想是探索反演与层的集合,空间适应反演过程的图像的难度。我们学习预测不同图像片段的“可逆性”,并将每个片段投影到潜在层中。较复杂的区域可以被反转到生成器的潜在空间中的较早层中,而更具挑战性的区域可以被反转到较晚的特征空间中。实验表明,我们的方法获得了更好的反演结果相比,最近的方法复杂的类别,同时保持下游的可编辑性。请参阅我们的项目页面https://www.cs.cmu.edu/~SAMInversion。
2022-06-16 cs.CV cs.GR cs.LG
Blind Inversion using Latent Diffusion Priors
Peking University(北京大学)
本文提出LatentDEM,在EM框架中结合潜在扩散先验解决盲反问题,通过交替恢复图像与估计前向算子,并引入两种优化技术,在2D盲去模糊和3D稀疏视角重建上优于现有方法。
2024-07-01 cs.CV
CrossFlow: One-Step Generation Across Latent and Pixel Spaces
Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);Tencent(腾讯);Fudan University(复旦大学)
提出CrossFlow,一种跨空间流模型,将噪声潜在输入直接映射到像素图像,通过无速度单步目标实现潜在到像素的生成,并替代潜在扩散中的解码器,在ImageNet-1k上达到1.62 FID。
2026-06-19 cs.CV
Make It So: Steering StyleGAN for Any Image Inversion and Editing
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出在 $\mathcal{Z}$ 空间运行的 GAN 反演方法 Make It So,可在域外图像上保留编辑能力,并在反演精度和复杂场景编辑质量上显著超越 PTI。
2023-04-27 cs.CV cs.GR cs.LG
Structured Bayesian Gaussian process latent variable model: applications to data-driven dimensionality reduction and high-dimensional inversion
University of Notre Dame(圣母大学)
我们介绍了一种方法,使用变分贝叶斯方法的未知量是一个空间领域的非线性反问题。一个结构化的贝叶斯高斯过程潜变量模型被用来构建一个低维的生成模型的基于样本的随机先验以及替代的前向评估。它的贝叶斯公式捕捉有限数量的输入和输出的例子引入的认知不确定性,自动选择一个适当的维数为学习的潜在表示的数据,并严格传播的不确定性的数据驱动的降维的随机空间通过前向模型代理。结构化的高斯过程模型明确地利用空间信息进行信息生成,从而提高样本效率,同时通过相关核矩阵的克罗内克积分解实现计算易处理性。重要的是,贝叶斯反演是通过求解变分优化问题来进行的,取代了传统的计算昂贵的蒙特卡罗采样。该方法被证明在椭圆型偏微分方程,并返回校准后验,是易于处理的潜在空间超过100个维度。
2018-07-11 cs.LG stat.ML
Seismic Acoustic Impedance Inversion Framework Based on Conditional Latent Generative Diffusion Model
GeoAI-INV
针对现有扩散模型反演方法的局限,提出基于条件潜在生成扩散模型的地震声阻抗反演框架,通过小波模块与模型驱动采样策略提升精度、减少步骤,在合成与实际数据上均表现良好。
2026-08-25 cs.AI cs.LG
Geometry-Preserving Encoder/Decoder in Latent Generative Models
Department of Mathematics, The Ohio State University(俄亥俄州立大学数学系);Department of Mathematics, University of Minnesota(明尼苏达大学数学系);Zu Chongzhi Center for Mathematics and Computational Sciences, Duke Kunshan University(杜克-昆山大学仲长奇中心)
本文提出一种新型几何保持编码器/解码器框架,通过保留数据分布的几何结构,在潜在扩散模型中实现更高效的训练和更快的收敛。
2026-06-17 cs.LG cs.NA math.NA
High-Fidelity GAN Inversion for Image Attribute Editing
The Hong Kong University of Science and Technology(香港科技大学);Tencent AI Lab(腾讯AI实验室)
提出一种高保真GAN反演框架,通过失真咨询反演(DCI)和自适应失真对齐(ADA)模块,在保留图像细节的同时实现高质量属性编辑。
2024-09-27 cs.CV
LVMark: Robust Watermark for Latent Video Diffusion Models
Department of Artificial Intelligence, Korea University, Seoul 02841, Republic of Korea(人工智能系,韩国大学,首尔02841,大韩民国);Google DeepMind, Mountain View, CA 94043, USA(谷歌DeepMind,山景城,加利福尼亚州94043,美国)
针对视频扩散模型现有水印方法的局限,提出LVMark方法,通过学习相邻帧一致性设计新颖水印解码器,结合小波域低频分量与视频颜色特征确保解码准确,训练潜在解码器保持视觉保真,平衡视觉质量与比特精度,实现高容量鲁棒水印嵌入。
2026-07-15 cs.CV
Improving black-box optimization in VAE latent space using decoder uncertainty
University of Oxford(牛津大学);University of Cambridge(剑桥大学)
变分自编码器的潜在空间中的优化是一种有希望的方法,用于生成最大化昂贵的黑盒属性(例如,分子生成中的药物相似性,算术表达式的函数近似)。然而,现有的方法缺乏鲁棒性,因为它们可能决定探索在训练期间没有数据可用的潜在空间的区域,并且解码器可能不可靠,导致生成不切实际或无效的对象。我们建议利用解码器的认知不确定性来指导优化过程。但这并不是微不足道的,因为我们认为在高维和结构化设置中对不确定性的天真估计会导致高估计方差。为了解决这个问题,我们引入了一个基于重要性采样的估计,提供了更强大的估计认知不确定性。我们的不确定性引导优化方法不需要修改模型架构,也不需要修改训练过程。它生成的样本在黑盒目标和生成样本的有效性之间具有更好的权衡,有时同时改善两者。我们说明了这些优势,在几个实验设置在数字生成,算术表达式近似和药物设计的分子生成。
2021-06-30 cs.LG stat.ML
Balancing Reconstruction and Editing Quality of GAN Inversion for Real Image Editing with StyleGAN Prior Latent Space
The University of Tokyo(东京大学);Microsoft Research Asia(微软亚洲研究院)
本文提出将 StyleGAN 的超球面先验空间 $\mathcal{Z}$ 与 $\mathcal{Z}^+$ 引入 GAN 反演,在保证真实图像重建质量的同时沿 $\mathcal{Z}^+$ 进行语义编辑,显著降低编辑失真。
2023-05-31 cs.CV
StyleRes: Transforming the Residuals for Real Image Editing with StyleGAN
Bilkent University(比尔肯特大学)
我们提出了一种新的图像反演框架和训练管道,以实现高质量属性编辑的高保真图像反演。将真实图像反转到StyleGAN的潜空间是一个广泛研究的问题,但图像重建保真度和图像编辑质量之间的权衡仍然是一个公开的挑战。低速率潜在空间在其用于高保真重建的表达能力方面是有限的。另一方面,高速率的潜在空间导致编辑质量的下降。在这项工作中,为了实现高保真反转,我们学习了较低潜在代码无法编码的较高潜在代码中的残留特征。这使得能够在重建中保留图像细节。为了实现高质量的编辑,我们学习如何转换残留特征以适应潜在代码中的操作。我们训练的框架,以提取残留的功能,并通过一个新的架构管道和周期一致性损失将它们转换。我们进行了大量的实验,并将我们的方法与最先进的反演方法进行了比较。定性指标和视觉比较显示出显著的改进。代码:https://github.com/hamzapehlivan/StyleRes
2022-12-29 cs.CV
Towards geological inference with process-based and deep generative modeling, part 2: inversion of fluvial deposits and latent-space disentanglement
Delft University of Technology(代尔夫特理工大学);VITO Digital Water & Soils(VITO数字水与土壤研究所)
研究面向河流沉积的GAN反演,揭示潜空间纠缠瓶颈,并通过标签条件化、过参数化与局部微调改善井震数据匹配。
2025-10-20 cs.LG physics.geo-ph
Diverse Inpainting and Editing with GAN Inversion
Bilkent University(比尔肯特大学)
本文提出一种基于GAN反演的编码器与混合网络方法,通过结合擦除图像特征与随机样本特征实现多样化图像修复与编辑,并利用高比率特征解决颜色不一致问题。
2023-07-27 cs.CV
High-Resolution GAN Inversion for Degraded Images in Large Diverse Datasets
Tencent Youtu Lab(腾讯优图实验室)
过去几十年的特点是大量和多样化的图像数据,显示出越来越高的分辨率和质量。然而,我们获得的一些图像可能会被损坏,影响下游任务的感知和应用。需要一种从退化图像生成高质量图像的通用方法。在本文中,我们提出了一种新的GAN反演框架,该框架利用StyleGAN-XL强大的生成能力来解决这个问题。为了缓解StyleGAN-XL的反演挑战,提出了聚类\正则化反演(CRI)。具体来说,首先通过聚类将潜在空间划分为更细粒度的子空间。我们不是用平均潜在向量初始化反演,而是从聚类中近似质心潜在向量,这会生成接近输入图像的图像。然后引入带正则化项的偏移量,使反演的特征向量保持在一定范围内。我们在多个恢复任务(即,修复、彩色化和超分辨率),并显示出较好的定量和定性结果。我们进一步证明了我们的技术在数据和不同的GAN模型方面是鲁棒的。据我们所知,我们是第一家采用StyleGAN-XL从各种退化输入中生成高质量自然图像的公司。代码可在https://github.com/Booooooooooo/CRI上获得。
2023-02-07 cs.CV
Arbitrary-Scale Image Generation and Upsampling using Latent Diffusion Model and Implicit Neural Decoder
KAIST(韩国科学技术院);LG Electronics(LG电子);Imperial College London(伦敦帝国学院)
提出一种结合潜在扩散模型与隐式神经解码器的任意尺度图像生成和超分辨率方法,在潜在空间扩散以提高效率,并通过隐式解码器实现任意尺度输出,在质量、多样性和尺度一致性上优于现有方法,且推理更快、内存更省。
2024-03-15 cs.CV
In-Domain GAN Inversion for Real Image Editing
The Chinese University of Hong Kong(香港中文大学);Xiaomi AI Lab(小米人工智能实验室)
最近的工作表明,当被训练来合成图像时,生成对抗网络(GANs)的潜在空间中会出现各种语义。然而,很难将这些学习到的语义用于真实的图像编辑。将真实图像馈送到经训练的GAN生成器的常见做法是将其反转回潜在代码。然而,现有的反演方法通常侧重于通过像素值重建目标图像,但未能将反演代码降落在原始潜在空间的语义域中。结果,重建的图像不能很好地支持通过改变反转代码的语义编辑。为了解决这个问题,我们提出了一个域内GAN反演方法,它不仅忠实地重建输入图像,但也确保反演代码是语义上有意义的编辑。我们首先学习一种新的域引导编码器,将给定图像投影到GANs的本地潜在空间。然后,我们提出域正则化优化,通过将编码器作为正则化器来微调编码器产生的代码,并更好地恢复目标图像。大量的实验表明,我们的反演方法实现了令人满意的真实图像重建,更重要的是,方便了各种图像编辑任务,显着优于开始的艺术。
2020-07-16 cs.CV
HyperStyle: StyleGAN Inversion with HyperNetworks for Real Image Editing
Tel Aviv University(特拉维夫大学)
将真实图像反转到StyleGAN的潜在空间中是一个研究得很好的问题。然而,将现有的方法应用于现实世界的场景仍然是一个开放的挑战,由于重建和可编辑性之间的固有权衡:潜在的空间区域,可以准确地表示真实图像通常遭受退化的语义控制。最近的工作建议通过微调生成器来减轻这种权衡,以将目标图像添加到潜在空间的行为良好的可编辑区域。虽然很有前途,但这种微调方案对于普遍使用来说是不切实际的,因为它需要对每个新图像进行漫长的训练阶段。在这项工作中,我们将这种方法引入到基于编码器的反演领域。我们提出了HyperStyle,这是一个超网络,它学习调制StyleGAN的权重,以忠实地表达潜在空间的可编辑区域中的给定图像。简单的调制方法需要训练一个具有超过30亿个参数的超网络。通过仔细的网络设计,我们将其减少到与现有编码器一致。HyperStyle产生的重建与编码器的近实时推理能力的优化技术相当。最后,我们展示了HyperStyle在反演任务之外的几个应用程序上的有效性,包括编辑训练期间从未见过的域外图像。
2022-03-29 cs.CV
Revisiting Latent Space of GAN Inversion for Real Image Editing
The University of Tokyo(东京大学);Microsoft Research(微软研究院)
针对GAN逆映射中重建质量与编辑质量的权衡难题,研究提出结合StyleGAN中间特征$\u2131$空间与扩展先验$\fancyscript{Z}^{+}$的组合空间,在保障重建效果的同时降低编辑失真,可替代常用的$\fancyscript{W}$系列潜在空间。
2023-07-18 cs.CV
A Bayesian Gaussian Process-Based Latent Discriminative Generative Decoder (LDGD) Model for High-Dimensional Data
Isfahan University of Technology(伊斯法罕理工大学);Boston University(波士顿大学);University of Minnesota(明尼苏达大学);Worcester Polytechnic University(伍斯特理工大学)
提出基于贝叶斯高斯过程的潜在判别生成解码器(LDGD)模型,通过将高维数据映射到低维流形并利用诱导点降低计算复杂度,实现了高精度标签预测与高效可扩展的高维数据表征。
2024-05-07 cs.LG
There and Back Again: On the relation between Noise and Image Inversions in Diffusion Models
Warsaw University of Technology(华沙技术大学);IDEAS Research Institute(IDEAS研究机构);University of Warsaw(华沙大学);Institute of Mathematics, Polish Academy of Sciences(波兰科学院数学研究所);IDEAS NCBR
本文研究了扩散模型中噪声与图像逆向之间的关系,通过替换DDIM逆向步骤为正向扩散过程,解相关潜在编码并提升编辑与插值质量。
2026-01-27 cs.AI cs.CV
DCI: Dual-Conditional Inversion for Boosting Diffusion-Based Image Editing
Institute of Information Science, Beijing Jiaotong University(信息科学学院,北京交通大学);Visual Intelligence +X International Cooperation Joint Laboratory of MOE(视觉智能+X国际合作联合实验室)
本文提出双条件反演(DCI)框架,通过联合源提示和参考图像将反演建模为双条件不动点优化,同时提升扩散模型图像编辑的重建精度与编辑灵活性,并在多个任务中取得最先进性能。
2025-06-03 cs.CV
DriftingMol: Decoder-Coupled Drift for One-Pass Property-Conditional Molecular Generation
Beijing Key Laboratory of Artificial Intelligence for Advanced Chemical Engineering Materials(北京先进化工材料人工智能重点实验室)
提出 DriftingMol 两阶段框架,通过解码器耦合漂移将漂移模型适应于 SELFIES 潜在分子空间,实现低采样成本、高有效性和多样性的属性条件分子生成。
2026-05-24 cs.LG
Overparameterization Improves StyleGAN Inversion
Université Laval(拉瓦尔大学);Gearbox Software(Gearbox软件公司)
StyleGAN等深度生成模型有望实现语义图像编辑:根据图像内容而不是像素值修改图像。不幸的是,处理任意图像需要反转StyleGAN生成器,这到目前为止仍然具有挑战性。现有的反演方法获得了有希望但不完美的结果,必须在重建质量和下游可编辑性之间进行权衡。为了提高质量,这些方法必须采取各种技术来扩展训练后的模型潜在空间。退一步讲,我们观察到这些方法基本上都以这样或那样的方式提出增加自由参数的数量。这表明反演可能是困难的,因为它是欠约束的。在这项工作中,我们在训练之前通过对原始StyleGAN架构的简单更改直接且显著地过度参数化潜在空间来解决这个问题。我们的overparameterization增加了可用的自由度,这反过来又有利于反演。我们表明,这使我们能够获得近乎完美的图像重建,而不需要编码器,也不需要改变训练后的潜在空间。我们的方法还保留了可编辑性,我们通过在图像之间进行逼真的插值来证明这一点。
2022-05-12 cs.CV
Feature-Style Encoder for Style-Based GAN Inversion
LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院LTCI实验室);InterDigital R&I(交互数字研发中心)
我们提出了一种新的架构,GAN的反演,我们称之为嵌入式编码器。风格编码器是操作所获得的潜在代码的关键,而特征编码器是最佳图像重建的关键。我们的模型实现了从预训练的基于风格的GAN模型的潜在空间中精确反演真实图像,获得了比现有方法更好的感知质量和更低的重建误差。由于其编码器结构,该模型允许快速准确的图像编辑。此外,我们证明了所提出的编码器是特别适合反转和视频编辑。我们对几个基于样式的生成器进行了广泛的实验,这些生成器在不同的数据域上进行了预训练。我们提出的方法产生了最先进的结果,基于风格的GAN反演,显着优于竞争的方法。源代码可在https://github.com/InterDigitalInc/FeatureStyleEncoder上获得。
2022-02-04 cs.CV
Time-inversion of spatiotemporal beam dynamics using uncertainty-aware latent evolution reversal
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
本文提出一种基于CVAE-LSTM的反向潜在演化模型(rLEM),利用下游束流测量数据预测上游6D相空间,并量化不确定性,以解决加速器束流动力学的时间反演逆问题。
2024-12-01 cs.LG physics.acc-ph
On the Latent Holes of VAEs for Text Generation
University College London(伦敦大学学院);The University of Sheffield(谢菲尔德大学)
在本文中,我们提供了第一个重点研究的不连续性(又名。在变分自动编码器(VAE)的潜在空间中的一个或多个洞),这是一种已被证明对模型容量具有不利影响的现象。当调查潜在的孔,现有的作品是专门围绕编码器网络,他们只是探索存在的孔。我们解决这些限制,提出了一个高效的基于树的解码器为中心(TDC)的算法,潜在的漏洞识别,重点放在文本域。与过去的研究相比,我们的方法关注解码器网络,因为解码器对模型的输出质量有直接影响。此外,我们提供了,第一次,深入的实证分析的潜在空洞现象,调查几个重要方面,如空洞如何影响VAE算法的性能的文本生成,以及如何孔分布在潜在空间。
2021-10-07 cs.AI cs.CL cs.LG
LADIMO: Face Morph Generation through Biometric Template Inversion with Latent Diffusion
Norwegian University of Science and Technology(挪威科技大学);Hochschule Darmstadt(达姆施塔特应用科学大学)
本文提出了一种基于潜在扩散的生物特征模板反演人脸变形方法LADIMO,通过在人脸识别嵌入上进行变形操作,并利用随机模型设计与身份条件机制生成无限攻击变体,其攻击潜力显著优于MIPGAN-II。
2024-10-10 cs.CV
CRISP: Fixing Flying Pixels in Latent LiDAR Generation via Diffusion Decoding
TU München(慕尼黑工业大学);BMW AG(宝马集团)
针对潜在激光雷达生成中卷积VAE导致的飞行像素问题,提出CRISP扩散解码器,替换后在多数据集上显著降低相关误差,缩小模拟到真实的差距。
2026-11-03 cs.AI cs.CV
WarpGAN: Warping-Guided 3D GAN Inversion with Style-Based Novel View Inpainting
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University, P.R. China(中国教育部多媒体可信感知与高效计算重点实验室,厦门大学);Department of Statistical Science, University College London, UK(伦敦大学学院统计学系)
针对3D GAN逆变换中遮挡区域因潜在代码信息损失导致质量差的问题,提出WarpGAN,通过变形修复策略结合图像修复,利用SVINet处理遮挡区域,实现更优的单镜头新视角合成。
2025-11-11 cs.CV
DiffusionCT: Latent Diffusion Model for CT Image Standardization
University of Kentucky(肯塔基大学);Rensselaer Polytechnic Institute(伦斯勒理工学院)
计算机断层扫描(CT)是有效的肺癌筛查,诊断,治疗和预后的方式之一。从CT图像中提取的特征现在用于量化肿瘤的空间和时间变化。然而,从具有定制采集协议的各种扫描仪获得的CT图像可能引入纹理特征的相当大的变化,即使对于同一患者。这对下游研究提出了根本性的挑战,需要一致和可靠的特征分析。现有的CT图像协调模型依赖于基于GAN的监督或半监督学习,性能有限。这项工作解决了CT图像协调使用一个新的扩散为基础的模型,命名为DiffusionCT,标准化从不同的供应商和协议获得的CT图像的问题。DiffusionCT通过将潜在的非标准分布映射到标准分布来在潜在空间中操作。DiffusionCT集成了一个基于Unet的编码器-解码器,并通过集成到瓶颈部分的扩散模型进行了增强。该模型分为两个训练阶段。首先训练编码器-解码器,而不嵌入扩散模型,以学习输入数据的潜在表示。然后在下一个训练阶段训练潜在扩散模型,同时固定编码器-解码器。最后,解码器将标准化图像与变换后的潜在表示合成。实验结果表明,使用DiffusionCT的标准化任务的性能显着提高。
2023-03-25 cs.CV eess.IV
Learning to Drop Out: An Adversarial Approach to Training Sequence VAEs
ETH Zürich(苏黎世联邦理工学院);University of California, San Diego(加州大学圣地亚哥分校)
原则上,将变分自编码器(VAE)应用于序列数据提供了一种用于受控序列生成、操作和结构化表示学习的方法。然而,训练序列VAE具有挑战性:自回归解码器通常可以在不利用潜在空间(称为后验崩溃)的情况下解释数据。为了减轻这种情况,最先进的模型通过对解码器输入应用均匀随机丢弃来削弱强大的解码器。我们从理论上表明,这消除了逐点互信息提供的解码器输入,这是通过利用潜在的空间进行补偿。然后,我们提出了一个对抗性的训练策略,以实现基于信息的随机辍学。与标准文本基准数据集上的均匀dropout相比,我们的目标方法提高了序列建模性能和潜在空间中捕获的信息。
2022-12-16 cs.LG
NeRFInvertor: High Fidelity NeRF-GAN Inversion for Single-shot Real Image Animation
Northeastern University(东北大学);Microsoft(微软)
基于Nerf的生成模型在生成具有一致3D几何形状的高质量图像方面表现出令人印象深刻的能力。尽管成功地合成了从潜在空间随机采样的假身份图像,但由于其所谓的反转问题,采用这些模型来生成真实主体的人脸图像仍然是一项具有挑战性的任务。在本文中,我们提出了一种通用的方法来手术微调这些NeRF-GAN模型,以便仅通过单个图像实现真实对象的高保真动画。给定域外真实图像的优化潜码,我们在渲染图像上采用2D损失函数来减小身份间隙。此外,我们的方法利用显式和隐式3D正则化,使用优化的潜在代码周围的域内邻域样本来去除几何和视觉伪影。我们的实验证实了我们的方法在不同数据集的多个NeRF-GAN模型上真实人脸的逼真,高保真和3D一致动画中的有效性。
2022-11-30 cs.CV
Latent Variable Double Gaussian Process Model for Decoding Complex Neural Data
Isfahan University of Technology(伊斯法罕理工大学);Worcester Polytechnique Institute(伍斯特理工学院);University of Minnesota(明尼苏达大学);Minneapolis Veterans Affairs Health Care System(明尼阿波利斯退伍军人事务医疗系统)
本文提出一种基于双 GP 与低维潜变量的神经解码器,通过推断神经数据的底层流形来预测标签,并在言语记忆数据集上显著超越现有最先进模型。
2024-05-08 cs.LG q-bio.NC
High-Fidelity Image Inpainting with GAN Inversion
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);Nanjing Institute of Software Technology(南京软件技术研究院);University of North Texas(北得克萨斯大学)
图像修补是根据图像中未被掩盖的内容,寻求一种语义一致的方法来恢复受损图像。以前的方法通常在使用GAN反演为丢失的孔生成真实的补丁之前重用训练良好的GAN作为有效的。然而,在这些算法中忽略硬约束可能会产生GAN反演和图像修补之间的差距。针对这一问题,本文提出了一种新的图像图像修补GAN反演模型,称为InvertFill,主要由一个带有预调制模块的编码器和一个带有F&W+潜在空间的GAN生成器组成。在编码器内,预调制网络利用多尺度结构将更具鉴别力的语义编码到样式向量中。为了弥补GAN反演与图像修补之间的差距,提出了F&W+潜空间来消除眩光颜色差异和语义不一致。为了重建逼真的图像,设计了一个简单而有效的软更新Mean Latent模块,用于捕获更多样化的域内模式,这些模式合成了高保真纹理,用于大的损坏。在Places 2、CelebA-HQ、MetFaces和Scenery等四个具有挑战性的数据集上进行的综合实验表明,我们的InvertFill在定性和定量上都优于先进的方法,并且很好地支持了域外图像的完成。
2022-08-25 cs.CV
The Devil is in the Details: StyleFeatureEditor for Detail-Rich StyleGAN Inversion and High Quality Image Editing
HSE University(高等经济大学);AIRI(人工智能研究所);Constructor University(康斯特大学)
针对 StyleGAN 反演中重建细节与编辑能力难以兼顾的问题,提出 StyleFeatureEditor,在 w 与 F 潜在空间联合编辑并配合专用训练流程,实现高质量细节重建、保留及域外图像编辑。
2024-06-15 cs.CV
Robust GAN inversion
Skolkovo institute of science and technology(斯科尔科沃科技学院)
针对GAN反演中低失真与高可编辑性难以兼得的问题,提出在原生潜在空间W中调整生成器并利用WRanGAN学习可学习正则化系数的方法,以更少参数实现最低失真,并在两个复杂数据集上验证有效性。
2023-08-31 cs.CV eess.IV
Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion
Nanyang Technological University(南洋理工大学);Shanghai AI Laboratory(上海人工智能实验室)
StyleGAN通过图像反转和潜在编辑在2D人脸重建和语义编辑方面取得了很大进展。虽然已经出现了将2D StyleGAN扩展到3D人脸的研究,但是仍然缺少相应的通用3D GAN反演框架,限制了3D人脸重建和语义编辑的应用。在本文中,我们研究了三维GAN反演的挑战性问题,其中潜在的代码是预测给定的单个人脸图像,忠实地恢复其三维形状和详细的纹理。这个问题是不适定的:无数的形状和纹理组合可以渲染到当前图像。此外,由于全局潜在代码的有限容量,当应用于3D模型时,2D反演方法不能同时保持忠实的形状和纹理。为了解决这个问题,我们设计了一个有效的自我训练计划,以限制学习的反演。学习是在没有任何真实世界的2D-3D训练对的情况下有效地完成的,而是从3D GAN生成的代理样本。此外,除了捕获粗糙形状和纹理信息的全局潜在代码之外,我们还使用局部分支来增强生成网络,其中添加了像素对齐特征以忠实地重建面部细节。我们进一步考虑了一个新的管道来执行3D视图一致性编辑。大量的实验表明,我们的方法优于国家的最先进的反演方法在形状和纹理重建质量。代码和数据将被释放。
2022-12-15 cs.AI cs.CV cs.GR
ProEdit: Inversion-based Editing From Prompts Done Right
Sun Yat-sen University(中山大学);CUHK MMLab(香港中文大学MMLab);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算机与数据科学学院);The University of Hong Kong(香港大学);Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education, China(中国教育部机器智能与高级计算重点实验室)
ProEdit通过改进注意力和潜在领域,实现更稳定的基于反向的编辑,能有效提升图像和视频编辑的性能和一致性。
2025-12-26 cs.CV