DesignEdit: Multi-Layered Latent Decomposition and Fusion for Unified & Accurate Image Editing
Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学)
本文提出DesignEdit框架,通过将空间感知图像编辑转化为多层潜在分解与多层潜在融合两个子任务,利用键掩码自注意力与指令引导融合等机制,在六种以上编辑任务中实现了统一且精准的图像编辑。
2024-03-21 cs.CV
ResetEdit: Precise Text-guided Editing of Generated Image via Resettable Starting Latent
Shanghai Jiao Tong University(上海交通大学);University of Science and Technology of China(科学技术大学);Wuhan University(武汉大学);National University of Singapore(新加坡国立大学)
本文提出ResetEdit框架,通过在生成过程中嵌入可恢复的潜在信息,实现高精度文本引导编辑,优于现有方法。
2026-04-28 cs.CV
SHAP-EDITOR: Instruction-guided Latent 3D Editing in Seconds
University of Oxford(牛津大学)
本研究提出Shap-Editor前馈3D编辑框架,基于Shap-E潜在空间实现秒级指令引导3D编辑,泛化性好且性能与需测试时优化的方法相当。
2023-12-14 cs.CV
StyleRes: Transforming the Residuals for Real Image Editing with StyleGAN
Bilkent University(比尔肯特大学)
我们提出了一种新的图像反演框架和训练管道,以实现高质量属性编辑的高保真图像反演。将真实图像反转到StyleGAN的潜空间是一个广泛研究的问题,但图像重建保真度和图像编辑质量之间的权衡仍然是一个公开的挑战。低速率潜在空间在其用于高保真重建的表达能力方面是有限的。另一方面,高速率的潜在空间导致编辑质量的下降。在这项工作中,为了实现高保真反转,我们学习了较低潜在代码无法编码的较高潜在代码中的残留特征。这使得能够在重建中保留图像细节。为了实现高质量的编辑,我们学习如何转换残留特征以适应潜在代码中的操作。我们训练的框架,以提取残留的功能,并通过一个新的架构管道和周期一致性损失将它们转换。我们进行了大量的实验,并将我们的方法与最先进的反演方法进行了比较。定性指标和视觉比较显示出显著的改进。代码:https://github.com/hamzapehlivan/StyleRes
2022-12-29 cs.CV
FlexiEdit: Frequency-Aware Latent Refinement for Enhanced Non-Rigid Editing
Korea Advanced Institute of Science and Technology(韩国科学技术院)
针对DDIM Inversion在非刚性图像编辑中的局限,FlexiEdit通过细化DDIM潜变量以减少目标区域高频分量,并结合重反转增强编辑保真度,显著提升了复杂非刚性编辑能力。
2024-07-25 cs.CV
Balancing Reconstruction and Editing Quality of GAN Inversion for Real Image Editing with StyleGAN Prior Latent Space
The University of Tokyo(东京大学);Microsoft Research Asia(微软亚洲研究院)
本文提出将 StyleGAN 的超球面先验空间 $\mathcal{Z}$ 与 $\mathcal{Z}^+$ 引入 GAN 反演,在保证真实图像重建质量的同时沿 $\mathcal{Z}^+$ 进行语义编辑,显著降低编辑失真。
2023-05-31 cs.CV
Exploiting Spatial Dimensions of Latent in GAN for Real-time Image Editing
NAVER AI Lab(NAVER人工智能实验室);Seoul National University(首尔国立大学);Yonsei University(延世大学)
生成对抗网络(GANs)从随机潜在向量合成逼真的图像。虽然操纵潜向量控制合成输出,但使用GANs编辑真实图像会遭受i)将真实图像投影到潜向量的耗时优化,ii)或通过编码器的不准确嵌入。我们提出StyleMapGAN:中间潜在空间具有空间维度,并且空间变化调制代替AdaIN。它使通过编码器的嵌入比现有的基于优化的方法更准确,同时保持GANs的属性。实验结果表明,我们的方法显着优于国家的最先进的模型在各种图像处理任务,如本地编辑和图像插值。最后但同样重要的是,GANs上的传统编辑方法在我们的StyleMapGAN上仍然有效。源代码可在https://github.com/naver-ai/StyleMapGAN上获得。
2021-06-23 cs.CV cs.LG
LASPA: Latent Spatial Alignment for Fast Training-free Single Image Editing
NCAI(国家人工智能研究中心);KAUST(阿卜杜拉国王科技大学)
本文提出一种基于潜在空间对齐(LASPA)的免训练扩散模型图像编辑方法,无需微调即可高效保留图像细节,实现语义连贯编辑,速度更快且存储需求更低,在用户研究中获得62-71%的偏好率。
2024-03-19 cs.CV
Latent Space Disentanglement in Diffusion Transformers Enables Precise Zero-shot Semantic Editing
University of Michigan(密歇根大学)
本文揭示DiT潜在空间具有语义解耦特性,提出EIM框架和HSDS方法实现零样本细粒度图像编辑,并构建新基准验证有效性。
2024-11-12 cs.CV
Fuse Your Latents: Video Editing with Multi-source Latent Diffusion Models
Fudan University(复旦大学);National Institute of Informatics(信息学研究所);Tencent(腾讯)
针对文本到视频编辑存在的时间一致性差、结构不佳等问题,提出无需训练的FLDM框架,通过带调度超参数融合图像与视频潜变量,实现两类LDM互补,可作为通用插件提升现成模型的视频编辑质量,效果优于现有最优方法。
2024-10-08 cs.AI cs.CV
LatentEditor: Text Driven Local Editing of 3D Scenes
Center for Research in Computer Vision, University of Central Florida(中佛罗里达大学计算机视觉研究中心);Department of Computer Science, Wayne State University(韦恩州立大学计算机科学系)
针对神经场编辑难度大的问题,提出LatentEditor框架,通过扩散模型嵌入场景、delta分数生成掩码、IP2P评分迭代更新实现文本驱动的3D场景局部编辑,在四个基准数据集上实现更快速度与更优质量。
2024-07-13 cs.AI cs.CV
A Latent Transformer for Disentangled Face Editing in Images and Videos
Télécom Paris, Institut Polytechnique de Paris(巴黎高等电信学院,巴黎综合理工学院);InterDigital R&I(InterDigital研究与创新部门)
高质量的面部图像编辑是电影后期制作行业中具有挑战性的问题,需要高度的控制和身份保护。以往试图解决这一问题的作品可能会遭遇面部属性的纠缠和人的身份的丧失。此外,许多算法仅限于特定的任务。为了解决这些限制,我们建议通过StyleGAN生成器的潜在空间编辑面部属性,通过训练专用的潜在转换网络,并在损失函数中加入显式解纠缠和身份保留项。我们还引入了一个管道来将我们的面部编辑推广到视频。我们的模型实现了一个解开的,可控的,和身份保护的面部属性编辑,即使在具有挑战性的情况下,真正的(即,非合成)图像和视频。我们对图像和视频数据集进行了广泛的实验,并表明我们的模型在视觉质量和定量评价方面优于其他最先进的方法。源代码可在https://github.com/InterDigitalInc/latent-transformer上获得。
2021-08-17 cs.CV
Structure-Preserving Zero-Shot Image Editing via Stage-Wise Latent Injection in Diffusion Models
Department of Image(图像系);Department of Artificial Intelligence(人工智能系)
本研究提出一种基于扩散模型的零样本图像编辑框架,通过阶段式潜变量注入策略与扩散反转等技术,在保留源图结构的同时实现精准细粒度编辑,无需微调即可统一文本与参考引导编辑,在多类编辑任务上达到SOTA性能。
2025-05-20 cs.CV
AttentionDrag: Exploiting Latent Correlation Knowledge in Pre-trained Diffusion Models for Image Editing
Shanghai Key Laboratory of Data Science, School of Computer Science, Fudan University(上海数据科学关键实验室,计算机科学学院,复旦大学);Rajax Network Technology (ele.me), Alibaba Group(RAJAX网络技术(饿了么),阿里巴巴集团)
针对传统点式图像编辑效率低、语义关系捕捉不足的问题,提出单步编辑方法AttentionDrag,复用预训练扩散模型的自注意力潜在关联知识并自适应生成掩码,实现了更高效且语义一致的高质量图像编辑,性能超越多数主流方法。
2025-06-16 cs.CV
Blended Latent Diffusion under Attention Control for Real-World Video Editing
Swansea University(斯旺西大学)
本文提出基于图像级混合潜在扩散模型的自适应局部视频编辑方法,通过DDIM反演保持背景、交叉注意力图自主生成掩码,并将U-Net自注意力改造为时序-空间模块以增强时间一致性。
2024-09-05 cs.CV
LAMS-Edit: Latent and Attention Mixing with Schedulers for Improved Content Preservation in Diffusion-Based Image and Style Editing
Graduate School of Information Sciences, Tohoku University(东北大学信息科学研究生院)
LAMS-Edit通过调度器结合潜在表示和注意力图,实现扩散模型中更精确的内容保留与编辑应用,支持区域掩码编辑和风格迁移。
2026-01-06 cs.AI cs.CV
Adaptive Inference-Time Scaling via Early-Step Latent Verification for Image Editing
College of Computer Science and Artificial Intelligence, Fudan University(复旦大学计算机科学与人工智能学院);Microsoft Research Asia(微软亚洲研究院);Institute of Trustworthy Embodied AI, Fudan University(复旦大学可信具身人工智能研究所)
提出VeriLatent框架,通过早期步骤潜在空间编辑激活图验证初始噪声,实现自适应推理时间缩放,提升图像编辑质量和效率。
2026-06-16 cs.CV
Latent Space Disentanglement in Diffusion Transformers Enables Zero-shot Fine-grained Semantic Editing
University of Michigan(密歇根大学)
本文揭示了扩散Transformer潜在空间的解耦特性,并提出EMS框架实现零样本细粒度图像编辑,同时引入新指标和综合基准评估编辑性能。
2024-08-23 cs.CV
WhereEdit: Mask-aware Local Latent Editing for One-Step Image Editing
研究针对现有一步图像编辑方法缺乏空间控制及局部编辑能力不足的问题,提出WhereEdit框架,通过自动识别语义相关区域并应用自适应局部调制,实现局部潜在编辑,实验证明其优于现有方法,提升了一步图像编辑质量。
2026-07-24 cs.CV
A Compact and Semantic Latent Space for Disentangled and Controllable Image Editing
LTCI(电信与图像处理实验室);Télécom Paris(巴黎电信学院)
针对现有GAN图像编辑方法解耦性不足的问题,提出一种基于主成分分析压缩潜在空间的自动编码器,重构StyleGAN潜在空间以实现属性解耦编辑,训练快、解耦效果优且保持图像身份保真度,架构易实现。
2023-12-13 cs.CV
Semantic Unfolding of StyleGAN Latent Space
InterDigital, Inc.(InterDigital公司)
生成对抗网络(GANs)已被证明通过反转和操纵与输入真实图像对应的潜码来进行图像编辑是非常有效的。这种编辑特性来自潜在空间的非纠缠性质。在本文中,我们发现,面部属性解纠缠不是最佳的,因此,依赖于线性属性分离的面部编辑是有缺陷的。因此,我们提出了改进语义与监督的脱钩。我们的方法包括使用规范化流学习代理潜在表示,我们证明了这会导致更有效的人脸图像编辑空间。
2022-06-29 cs.CV cs.LG
LatentEdit: Adaptive Latent Control for Consistent Semantic Editing
Southern University of Science and Technology, China(南方科技大学,中国);Pengcheng Laboratory, China(鹏城实验室,中国)
本研究提出轻量即插即用的自适应潜空间融合框架LatentEdit,通过动态融合潜码实现可控图像编辑,在PIE-Bench上8-15步即达SOTA水平,无反转变体更提升实时部署效率。
2025-08-30 cs.AI cs.CV cs.GR
HairDiffusion: Vivid Multi-Colored Hair Editing via Latent Diffusion
School of Computer Science & Software Engineering, Shenzhen University(深圳大学计算机与软件学院);Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳市人工智能与机器人研究院);National Engineering Laboratory for Big Data System Computing Technology, Shenzhen University(深圳大学国家大数据系统计算技术工程实验室);Guangdong Provincial Key Laboratory of Intelligent Information Processing(广东省智能信息处理重点实验室)
本文提出HairDiffusion,利用LDMs和Multi-stage Hairstyle Blend分离头发颜色与发型控制,结合warping模块与微调CLIP,实现高质量多色头发编辑并保留面部属性。
2024-10-29 cs.CV
MoLA: Motion Generation and Editing with Latent Diffusion Enhanced by Adversarial Training
Sony AI(索尼人工智能);Sony Group Corporation(索尼集团公司)
针对文本到动作生成的可控性、质量和速度问题,提出MoLA框架,通过激活变量实现可变长度生成,结合变分自动编码器、潜在扩散模型和对抗训练,还支持多种编辑任务,经实验验证有效。
2025-04-14 cs.CV
Tensor-based Emotion Editing in the StyleGAN Latent Space
IT University of Copenhagen(哥本哈根信息技术大学)
在本文中,我们使用一个基于高阶奇异值分解(HOSVD)的张量模型来发现生成对抗网络中的语义方向。这通过首先使用e4e编码器将结构化面部表情数据库嵌入到潜在空间中来实现。具体来说,我们发现了潜在空间中对应于六种典型情绪的方向:愤怒、厌恶、恐惧、快乐、悲伤和惊讶,以及偏航旋转的方向。这些潜在的空间方向被用来改变真实人脸图像的表情或偏航旋转。我们将我们发现的方向与其他两种方法发现的类似方向进行比较。结果表明,所得到的编辑的视觉质量与最新技术水平相当。还可以得出结论,基于张量的模型非常适合情感和偏航编辑,即,可以鲁棒地改变新面部图像的情绪或偏转旋转,而不会对图像中的身份或其他属性产生显著影响。
2022-05-12 cs.CV
RSGAN: Face Swapping and Editing using Face and Hair Representation in Latent Spaces
Waseda University(早稻田大学)
在本文中,我们提出了一个集成的系统,自动生成和编辑人脸图像,通过人脸交换,基于属性的编辑,和随机人脸部分合成。所提出的系统是基于一个深度神经网络,变式学习的面部和头发区域与大规模的面部图像数据集。与传统的变分方法不同,该网络分别表示人脸和头发的潜在空间。我们将所提出的网络称为区域分离生成对抗网络(RSGAN)。该网络独立地处理潜在空间中的人脸和头发外观,然后通过替换人脸的潜在空间表示来实现人脸交换,并用它们重建整个人脸图像。这种方法在潜在空间中鲁棒地执行人脸交换,即使对于由于不适当的拟合或3D变形模型而导致先前方法失败的图像也是如此。此外,所提出的系统可以通过操纵视觉属性或通过将它们与随机生成的面部或头发部分组合来进一步编辑具有相同网络的面部交换图像。
2018-04-18 cs.CV cs.GR
Optimizing Latent Space Directions For GAN-based Local Image Editing
EPFL(洛桑联邦理工学院)
基于生成对抗网络(GAN)的局部化图像编辑可能遭受语义属性之间的歧义。因此,我们提出了一种新的目标函数来评估的地方的图像编辑。通过从预训练的分割网络引入监督并优化目标函数,我们的框架称为局部有效潜在空间方向(LELSD),适用于任何数据集和GAN架构。我们的方法也是计算速度快,并表现出高度的解纠缠,这使得用户可以交互式地执行一系列的编辑图像。我们在GAN生成的图像和真实图像上的实验定性地证明了我们方法的高质量和优势。
2022-02-17 cs.CV cs.LG
Warping the Residuals for Image Editing with StyleGAN
针对现有StyleGAN图像逆映射方法难以兼顾保真度与编辑质量的问题,提出含流估计模块的新型逆映射架构,通过扭曲高维潜在特征适配编辑,实现高保真高质量图像编辑,性能优于现有最优方法。
2023-12-18 cs.CV
Revisiting Latent Space of GAN Inversion for Real Image Editing
The University of Tokyo(东京大学);Microsoft Research(微软研究院)
针对GAN逆映射中重建质量与编辑质量的权衡难题,研究提出结合StyleGAN中间特征$\u2131$空间与扩展先验$\fancyscript{Z}^{+}$的组合空间,在保障重建效果的同时降低编辑失真,可替代常用的$\fancyscript{W}$系列潜在空间。
2023-07-18 cs.CV
Everything is There in Latent Space: Attribute Editing and Attribute Style Manipulation by StyleGAN Latent Space Exploration
Indian Institute of Science(印度科学学院);Samsung Research India(三星印度研究院)
使用最新的生成对抗网络(GANs),现在可以实现具有高度真实感的无约束图像生成。然而,生成具有给定属性集的图像是相当具有挑战性的。最近的方法使用基于样式的GAN模型来通过利用存在于生成器的层中的语义层次结构来执行图像编辑。我们提出了Few-Shot基于潜在空间的属性操作和编辑(FLAME),一个简单而有效的框架来执行高度控制的图像编辑潜在空间操作。具体来说,我们估计潜在空间(预先训练的StyleGAN)中的线性方向,该空间控制生成图像中的语义属性。与以前依赖于大规模属性标记数据集或属性分类器的方法相比,FLAME使用对少数策划图像对的最小监督来估计解纠缠的编辑方向。FLAME可以在保留身份的同时,对不同的图像集进行高精度的单独和顺序编辑。此外,我们提出了一个新的任务属性样式操作,以产生不同的风格属性,如头发和头发。我们首先编码一组合成图像的同一身份,但具有不同的属性风格的潜在空间估计的属性风格流形。从该流形中采样新的潜在项将在生成的图像中产生新的属性样式。我们提出了一种新的采样方法来从流形中对潜在样本进行采样,使我们能够生成一组不同的属性样式,超出了训练集中存在的样式。FLAME可以以一种分离的方式生成不同的属性样式。我们通过大量的定性和定量比较说明了FLAME对以前的图像编辑方法的优越性能。FLAME还可以很好地概括汽车和教堂等多个数据集。
2022-07-20 cs.AI cs.CV
DNI: Dilutional Noise Initialization for Diffusion Video Editing
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出稀释噪声初始化(DNI)框架,通过向待编辑区域的潜在噪声添加额外噪声以软化结构刚性,实现扩散视频编辑中的非刚性编辑,如运动变化,实验证明其有效性。
2024-09-19 cs.CV
3D-LATTE: Latent Space 3D Editing from Textual Instructions
University of Tübingen, Tübingen AI Center(图宾根大学,图宾根人工智能中心);Google Zurich(谷歌瑞士总部)
3D-LATTE通过在潜在空间中直接操控3D几何,实现高质量的文本指令驱动3D编辑。
2025-12-12 cs.CV cs.GR
Disentangled Face Attribute Editing via Instance-Aware Latent Space Search
Beijing Institute of Technology(北京理工大学)
最近的研究表明,生成对抗网络(GANs)的潜在空间中存在丰富的语义方向集,这使得各种面部属性编辑应用成为可能。然而,现有的方法可能遭受不良的属性变化解开,导致不想要的改变时,改变所需的一个其他属性。现有的方法使用的语义方向是在属性级,这是很难建模复杂的属性相关性,特别是在属性分布的偏见存在于GAN的训练集。在本文中,我们提出了一种新的框架(IALS),执行实例感知的潜在空间搜索,找到语义方向解开属性编辑。实例信息是通过利用一组属性分类器对输入图像进行评估来注入的。我们进一步提出了一个解纠缠转换(DT)度量来量化属性转换和解纠缠效率,并在此基础上找到属性级和实例特定方向之间的最优控制因子。GAN生成的图像和真实世界图像的实验结果共同表明,我们的方法优于最近提出的最先进的方法。代码可在https://github.com/yxuhan/IALS上获得。
2021-05-27 cs.CV
Exploring the Effectiveness of Mask-Guided Feature Modulation as a Mechanism for Localized Style Editing of Real Images
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
深度生成模型在高分辨率图像生成方面的成功导致其广泛用于真实图像的风格编辑。大多数现有的方法的工作原理是将真实图像反转到它们的潜空间上,然后确定可控方向。真实图像的反演和可控潜在方向的确定都是计算上昂贵的操作。此外,可控潜在方向的确定需要额外的人的监督。这项工作的目的是探索在深层生成模型的潜在空间中掩模引导的特征调制作为这些瓶颈的解决方案的功效。为此,我们提出了SemanticStyle Autoencoder(SSAE),这是一个深度生成式自动编码器模型,它利用语义掩码引导的潜在空间操作来对真实图像进行高度本地化的真实感风格编辑。我们提出了定性和定量的结果相同,他们的分析。这项工作将作为今后工作的指导性基础。
2022-12-10 cs.CV
Instruction-Based Video Editing by Repurposing an Image Editing Model
UT Austin(德克萨斯大学奥斯汀分校);Reve(Reve公司)
该研究提出Qwen-Video-Edit,通过复用Qwen-Image-Edit图像编辑模型,经少量适配实现基于指令的视频编辑,证明图像编辑先验可迁移至视频编辑任务。
2026-08-24 cs.CV
LORE: Latent Optimization for Precise Semantic Control in Rectified Flow-based Image Editing
本文提出无需训练的LORE方法,通过直接优化反演噪声解决整流流图像编辑中源概念语义偏置问题,在多个基准上实现稳定可控的通用概念替换并显著优于现有方法。
2025-08-21 cs.CV
User-Controllable Latent Transformer for StyleGAN Image Layout Editing
University of Tsukuba(筑波大学)
潜在空间探索是一种发现可解释的潜在方向并操纵潜在代码以编辑生成对抗网络(GANs)生成的图像中的各种属性的技术。然而,在以前的工作中,空间控制仅限于简单的变换(例如,平移和旋转),并且识别适当的潜在方向并调整它们的参数是费力的。在本文中,我们通过直接注释图像来解决编辑StyleGAN图像布局的问题。要做到这一点,我们提出了一个交互式的框架,根据用户输入操作潜在的代码。在我们的框架中,用户使用他们想要移动或不移动的位置来注释StyleGAN图像,并通过鼠标拖动指定移动方向。根据这些用户输入和初始潜在代码,我们基于Transformer编码器-解码器架构的潜在Transformer估计输出潜在代码,这些代码被馈送到StyleGAN生成器以获得结果图像。为了训练我们的潜在Transformer,我们利用现成的StyleGAN和光流模型生成的合成数据和伪用户输入,而无需人工监督。定量和定性评价表明,我们的方法比现有的方法的有效性。
2022-08-26 cs.CV cs.GR
ChatFace: Chat-Guided Real Face Editing via Diffusion Latent Space Manipulation
Peking University(北京大学)
本文提出ChatFace,通过对齐扩散模型时间特征与语义条件,在语义潜空间中实现文本引导的零样本真实人脸精确编辑,并结合LLM支持对话式多属性操纵。
2023-06-05 cs.CV
Delving StyleGAN Inversion for Image Editing: A Foundation Latent Space Viewpoint
Hong Kong University of Science and Technology(香港科技大学);Fudan University(复旦大学)
GAN反转和通过StyleGAN的编辑将输入图像映射到嵌入空间($\mathcal{W}$、$\mathcal{W^+}$和$\mathcal{F}$)中,以同时保持图像保真度和有意义的操作。在StyleGAN中,从潜在空间$\mathcal{W}$到扩展潜在空间$\mathcal{W^+}$再到特征空间$\mathcal{F}$,GAN反演的可编辑性降低,而重建质量提高。最近的GAN反演方法通常探索$\mathcal{W^+}$和$\mathcal{F}$,而不是$\mathcal{W}$,以提高重建保真度,同时保持可编辑性。由于$\mathcal{W^+}$和$\mathcal{F}$是从$\mathcal{W}$导出的,而$\mathcal{W}$本质上是StyleGAN的基础潜在空间,因此这些专注于$\mathcal{W^+}$和$\mathcal{F}$空间的GAN反演方法可以通过退回到$\mathcal{W}$来改进。在这项工作中,我们建议首先获得精确的潜在代码在基础潜在空间$\mathcal{W}$。我们引入对比学习来对齐$\mathcal{W}$和图像空间,以进行精确的潜在代码发现。%获取过程是通过使用对比学习来对齐$\mathcal{W}$和图像空间。然后,我们利用交叉注意编码器将$\mathcal{W}$中获得的潜在代码相应地转换为$\mathcal{W^+}$…
2023-03-26 cs.CV
The Devil is in the Details: StyleFeatureEditor for Detail-Rich StyleGAN Inversion and High Quality Image Editing
HSE University(高等经济大学);AIRI(人工智能研究所);Constructor University(康斯特大学)
针对 StyleGAN 反演中重建细节与编辑能力难以兼顾的问题,提出 StyleFeatureEditor,在 w 与 F 潜在空间联合编辑并配合专用训练流程,实现高质量细节重建、保留及域外图像编辑。
2024-06-15 cs.CV
Training-Free Disentangled Text-Guided Image Editing via Sparse Latent Constraints
Department of Informatics Engineering Universitas Brawijaya Malang, Indonesia(信息工程系 乌姆拉大学 马拉邦,印度尼西亚)
本文提出一种无需训练的解耦文本引导图像编辑方法,通过引入稀疏潜在约束减少属性纠缠问题,提升编辑的可控性与准确性。
2025-12-25 cs.CV
Bridging CLIP and StyleGAN through Latent Alignment for Image Editing
Beijing University of Posts and Telecommunications(北京邮电大学);Kuaishou Technology(快手科技)
自视觉语言模型(CLIP)提出以来,文本驱动的图像处理得到了发展。先前的工作已经采用CLIP设计了一个基于文本图像一致性的目标来解决这个问题。然而,这些方法需要测试时间优化或图像特征聚类分析的单一模式的操作方向。在本文中,我们设法实现推理时间优化的自由多样的操作方向挖掘CLIP和StyleGAN通过潜在对齐(CSLA)桥接。具体而言,我们的工作包括三个部分:1)一个无数据训练策略,用于训练潜在映射器,以桥接CLIP和StyleGAN的潜在空间; 2)为了更精确的映射,提出了时间相对一致性,以解决不同潜在空间之间的知识分布偏差问题; 3)为了细化s空间中映射的潜在空间,还提出了自适应风格混合。利用这种映射方案,我们可以实现GAN反演,文本到图像的生成和文本驱动的图像操作。定性和定量的比较证明了我们的方法的有效性。
2022-10-10 cs.CV
Delta-GAN-Encoder: Encoding Semantic Changes for Explicit Image Editing, using Few Synthetic Samples
Technion - Israel Institute of Technology(以色列理工学院)
理解和控制生成模型的潜在空间是一项复杂的任务。在本文中,我们提出了一种新的方法来学习控制任何所需的属性在一个预先训练的GAN的潜在空间,相应地编辑合成和真实世界的数据样本的目的。我们执行Sim 2 Real学习,依靠最少的样本来实现无限量的连续精确编辑。我们提出了一个基于Autoencoder的模型,该模型学习对图像之间变化的语义进行编码,作为以后编辑新样本的基础,实现精确的预期结果-如图1所示的示例。虽然先前的编辑方法依赖于潜在空间的已知结构(例如,StyleGAN中某些语义的线性),我们的方法本质上不需要任何结构约束。我们在面部图像领域展示了我们的方法:编辑不同的表情,姿势和照明属性,实现最先进的结果。
2021-11-17 cs.CV
VALA: Learning Latent Anchors for Training-Free and Temporally Consistent
本文提出VALA变分对齐模块,自适应选择关键帧并压缩为潜在锚点,以对比学习实现免训练视频编辑的时间一致性,在基准上达到最先进性能。
2025-10-27 cs.CV
Interpreting the Latent Space of GANs for Semantic Face Editing
The Chinese University of Hong Kong(香港中文大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
尽管最近生成对抗网络(GANs)在高保真图像合成方面取得了进展,但人们对GANs如何将从随机分布中采样的潜在代码映射到照片般逼真的图像缺乏足够的理解。以前的工作假设GANs学习的潜在空间遵循分布式表示,但观察到向量算术现象。在这项工作中,我们提出了一个新的框架,称为InterFaceGAN,通过解释GANs学习的潜在语义来进行语义人脸编辑。在这个框架中,我们进行了详细的研究如何不同的语义编码的潜在空间的GANs的人脸合成。我们发现,经过良好训练的生成模型的潜在代码实际上在线性变换后学习了一个解纠缠的表示。我们探讨了各种语义之间的解纠缠,并设法与子空间投影解耦一些纠缠的语义,从而更精确地控制面部属性。除了操纵性别、年龄、表情和眼镜的存在,我们甚至可以改变面部姿势,并修复GAN模型意外生成的伪影。当与GAN反演方法或一些编码器相关模型结合时,所提出的方法进一步应用于实现真实图像操作。大量的研究结果表明,学习合成脸自发地带来了一个解开和可控的面部属性表示。
2020-03-31 cs.CV
Unsupervised Discovery of Semantic Latent Directions in Diffusion Models
Seoul National University(首尔国立大学);Yonsei University(延世大学)
尽管扩散模型(DM)取得了成功,但我们仍然缺乏对其潜在空间的透彻理解。虽然使用GANs的图像编辑建立在潜在空间上,但DM依赖于编辑文本提示等条件。我们提出了一个无监督的方法来发现可解释的编辑方向的潜变量$\mathbf{x}_t \in \mathcal{X}$的DM。我们的方法采用黎曼几何之间的$\mathcal{X}$和中间特征映射$\mathcal{H}$的U-网提供了一个深刻的理解的几何结构的$\mathcal{X}$。所发现的语义潜在方向大多产生分离的属性变化,并且它们在不同样本之间是全局一致的。此外,在较早的时间步中进行编辑会编辑粗略的属性,而在较晚的时间步中进行编辑则会关注高频细节。我们定义了样本之间线段的曲率,以表明$\mathcal{X}$是一个弯曲的流形。在不同基线和数据集上的实验证明了该方法在稳定扩散上的有效性。我们的源代码将公开提供给未来的研究人员。
2023-02-24 cs.CV
ED-NeRF: Efficient Text-Guided Editing of 3D Scene with Latent Space NeRF
KAIST(韩国科学技术院);Kim Jaechul Graduate School of AI(金在哲人工智能研究生院)
本文提出ED-NeRF方法,通过将真实场景嵌入潜在扩散模型潜在空间并迁移DDS蒸馏损失,实现比传统方法更快且质量更高的3D场景文本引导编辑。
2024-03-21 cs.AI cs.CV cs.LG
Latent Transformations via NeuralODEs for GAN-based Image Editing
Yandex Skolkovo Institute of Science Technology (Skoltech)(亚斯科尔科沃科学技术研究所(斯科尔科沃科技学院));National Research University Higher School of Economics(俄罗斯国家研究型高等经济大学)
高保真语义图像编辑的最新进展在很大程度上依赖于最先进的生成模型(如StyleGAN)的潜在空间。具体来说,最近的工作表明,通过线性位移和潜在方向可以实现人脸图像属性的良好可控性。最近的几种方法解决了这些方向的发现,隐含地假设最先进的GANs学习具有固有线性可分离属性分布和语义向量算术属性的潜在空间。在我们的工作中,我们表明,实现为可训练神经ODE流的非线性潜在代码操作对于许多具有更复杂的非纹理变化因素的实际非人脸图像域是有益的。特别是,我们调查了大量的数据集与已知的属性,并证明某些属性的操作是具有挑战性的,以获得线性移位。
2021-11-29 cs.CV cs.GR cs.LG
Latent Space Editing in Transformer-Based Flow Matching
University of Amsterdam(阿姆斯特丹大学);LMU Munich(慕尼黑大学);University of California, Merced(加利福尼亚大学默塞德分校);Alibaba Group(阿里巴巴集团)
该研究针对基于Transformer骨干的流匹配模型隐空间编辑能力未知的问题,提出$u$-空间编辑空间、定制化自适应步长ODE采样方案及文本提示细粒度编辑方法,实现高效且保留原内容核心的图像编辑。
2023-12-17 cs.CV cs.LG
PREIM3D: 3D Consistent Precise Image Attribute Editing from a Single Image
Tsinghua University(清华大学);Xi’an Satellite Control Center(西安卫星测控中心);RealAI(瑞莱智慧)
本文提出 PREIM3D,通过共享编码器、交替训练、多视角身份损失及反演流形编辑,实现单图 3D 感知属性编辑的高一致性与精确性。
2023-04-20 cs.CV
Wasserstein Loss for Semantic Editing in the Latent Space of GANs
针对分类器引导 GAN 潜空间语义编辑易进入分布外区域且受对抗样本欺骗的问题,提出基于 Wasserstein 损失的替代方法,并在 StyleGAN2 的数字和人脸数据集上验证其性能相当。
2023-03-22 cs.AI cs.CV
Tuning-Free Image Editing with Fidelity and Editability via Unified Latent Diffusion Model
Communication University of China(中国传媒大学);National University of Singapore(新加坡国立大学);University of California at Merced(加州大学默塞德分校);Yonsei University(延世大学)
本文提出无调优方法UnifyEdit,通过自注意力和交叉注意力约束及自适应时间步调度器,在统一潜在扩散框架中平衡图像编辑的结构保真度与文本可编辑性。
2025-04-08 cs.CV
In-Domain GAN Inversion for Real Image Editing
The Chinese University of Hong Kong(香港中文大学);Xiaomi AI Lab(小米人工智能实验室)
最近的工作表明,当被训练来合成图像时,生成对抗网络(GANs)的潜在空间中会出现各种语义。然而,很难将这些学习到的语义用于真实的图像编辑。将真实图像馈送到经训练的GAN生成器的常见做法是将其反转回潜在代码。然而,现有的反演方法通常侧重于通过像素值重建目标图像,但未能将反演代码降落在原始潜在空间的语义域中。结果,重建的图像不能很好地支持通过改变反转代码的语义编辑。为了解决这个问题,我们提出了一个域内GAN反演方法,它不仅忠实地重建输入图像,但也确保反演代码是语义上有意义的编辑。我们首先学习一种新的域引导编码器,将给定图像投影到GANs的本地潜在空间。然后,我们提出域正则化优化,通过将编码器作为正则化器来微调编码器产生的代码,并更好地恢复目标图像。大量的实验表明,我们的反演方法实现了令人满意的真实图像重建,更重要的是,方便了各种图像编辑任务,显着优于开始的艺术。
2020-07-16 cs.CV
TD-GEM: Text-Driven Garment Editing Mapper
KTH Royal Institute of Technology(KTH皇家理工学院)
提出TD-GEM,一种基于文本提示的服装编辑优化方法,利用GAN反演和CLIP引导在解耦潜在空间中准确编辑时尚图像,在颜色和袖长属性上生成逼真效果。
2023-07-26 cs.CV