User-Controllable Latent Transformer for StyleGAN Image Layout Editing
University of Tsukuba(筑波大学)
潜在空间探索是一种发现可解释的潜在方向并操纵潜在代码以编辑生成对抗网络(GANs)生成的图像中的各种属性的技术。然而,在以前的工作中,空间控制仅限于简单的变换(例如,平移和旋转),并且识别适当的潜在方向并调整它们的参数是费力的。在本文中,我们通过直接注释图像来解决编辑StyleGAN图像布局的问题。要做到这一点,我们提出了一个交互式的框架,根据用户输入操作潜在的代码。在我们的框架中,用户使用他们想要移动或不移动的位置来注释StyleGAN图像,并通过鼠标拖动指定移动方向。根据这些用户输入和初始潜在代码,我们基于Transformer编码器-解码器架构的潜在Transformer估计输出潜在代码,这些代码被馈送到StyleGAN生成器以获得结果图像。为了训练我们的潜在Transformer,我们利用现成的StyleGAN和光流模型生成的合成数据和伪用户输入,而无需人工监督。定量和定性评价表明,我们的方法比现有的方法的有效性。
2022-08-26 cs.CV cs.GR
SALAD: Skeleton-aware Latent Diffusion for Text-driven Motion Generation and Editing
KAIST(韩国科学技术院)
针对文本驱动运动生成中关节、帧与词语关系建模不足及编辑依赖微调的问题,提出骨架感知潜在扩散模型 SALAD,并利用交叉注意力实现零样本运动编辑。
2025-03-18 cs.AI cs.CV cs.GR
Wasserstein Loss for Semantic Editing in the Latent Space of GANs
针对分类器引导 GAN 潜空间语义编辑易进入分布外区域且受对抗样本欺骗的问题,提出基于 Wasserstein 损失的替代方法,并在 StyleGAN2 的数字和人脸数据集上验证其性能相当。
2023-03-22 cs.AI cs.CV
Safety Without Semantic Disruptions: Editing-free Safe Image Generation via Context-preserving Dual Latent Reconstruction
University of Western Australia(西澳大学);University of Melbourne(墨尔本大学);University of Central Florida(中佛罗里达大学);Australian National University(澳大利亚国立大学);Google(谷歌)
针对模型编辑破坏语义流形的问题,提出基于上下文保留的双潜空间重构方法,利用安全嵌入和改进的扩散过程生成安全图像,在基准上达到SOTA且提供安全级别控制。
2025-03-05 cs.AI cs.CV
Why Do DiT Editors Drift? Plug-and-Play Low Frequency Alignment in VAE Latent Space
Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学);Peking University(北京大学);CASIA;University of Electronic Science and Technology of China(电子科技大学);Guangming Laboratory(光明实验室)
本文从潜在空间频率角度研究DiT编辑器漂移问题,提出无需训练的VAE-LFA方法,通过低频对齐抑制语义漂移并保持高频细节,适用于白盒和黑盒DiT编辑器。
2026-05-07 cs.AI cs.CV
Latent Transformations via NeuralODEs for GAN-based Image Editing
Yandex Skolkovo Institute of Science Technology (Skoltech)(亚斯科尔科沃科学技术研究所(斯科尔科沃科技学院));National Research University Higher School of Economics(俄罗斯国家研究型高等经济大学)
高保真语义图像编辑的最新进展在很大程度上依赖于最先进的生成模型(如StyleGAN)的潜在空间。具体来说,最近的工作表明,通过线性位移和潜在方向可以实现人脸图像属性的良好可控性。最近的几种方法解决了这些方向的发现,隐含地假设最先进的GANs学习具有固有线性可分离属性分布和语义向量算术属性的潜在空间。在我们的工作中,我们表明,实现为可训练神经ODE流的非线性潜在代码操作对于许多具有更复杂的非纹理变化因素的实际非人脸图像域是有益的。特别是,我们调查了大量的数据集与已知的属性,并证明某些属性的操作是具有挑战性的,以获得线性移位。
2021-11-29 cs.CV cs.GR cs.LG
EditGAN: High-Precision Semantic Image Editing
NVIDIA(英伟达);University of Toronto(多伦多大学);Vector Institute(矢量研究所);MIT(麻省理工学院)
生成对抗网络(GANs)最近在图像编辑中找到了应用。然而,大多数基于GAN的图像编辑方法通常需要具有用于训练的语义分割注释的大规模数据集,仅提供高级控制,或者仅在不同图像之间进行插值。在这里,我们提出了EditGAN,一种用于高质量,高精度语义图像编辑的新方法,允许用户通过修改其高度详细的部分分割掩模来编辑图像,例如,为汽车前灯画一个新的面罩。EditGAN建立在一个GAN框架上,该框架联合建模图像及其语义分割,只需要少量标记的示例,使其成为一个可扩展的编辑工具。具体来说,我们将图像嵌入到GAN潜在空间中,并根据分割编辑执行条件潜在代码优化,这也有效地修改了图像。为了对优化进行摊销,我们在隐空间中找到实现编辑的编辑向量。该框架允许我们学习任意数量的编辑向量,然后可以以交互速率直接应用于其他图像。我们的实验表明,EditGAN可以以前所未有的细节和自由度操纵图像,同时保持完整的图像质量。我们还可以轻松地组合多个编辑,并在EditGAN训练数据之外执行合理的编辑。我们在各种各样的图像类型上演示了EditGAN,并在标准编辑基准任务上定量地优于以前的几种编辑方法。
2021-11-04 cs.AI cs.CV
Enjoy Your Editing: Controllable GANs for Image Editing via Latent Space Navigation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
可控制的语义图像编辑使得用户能够通过几次点击来改变整个图像属性,渐渐的让夏天的景色看起来像是冬天拍的。用于此任务的经典方法使用生成对抗网络(GAN)来学习潜在空间和合适的潜在空间变换。然而,当前的方法经常遭受纠缠的属性编辑、全局图像身份改变和减少的照片真实感。为了解决这些问题,我们同时学习多个属性转换,将属性回归集成到转换函数的训练中,并应用内容损失和对抗性损失,以鼓励维护图像身份和照片真实感。我们提出了定量评价策略,测量可控编辑性能,不像以前的工作,主要集中在定性评价。我们的模型允许更好地控制单属性和多属性编辑,同时保持图像的身份和现实主义在变换过程中。我们提供了自然和合成图像的经验结果,强调我们的模型实现了最先进的性能,有针对性的图像操作。
2021-03-28 cs.CV
VecGAN: Image-to-Image Translation with Interpretable Latent Directions
Bilkent University(比尔肯特大学)
我们提出了VecGAN,一个图像到图像的翻译框架,用于具有可解释的潜在方向的面部属性编辑。人脸属性编辑任务面临的挑战是精确的属性编辑与可控的强度和保存图像的其他属性。为了实现这个目标,我们通过潜在空间分解设计了属性编辑,对于每个属性,我们学习了一个与其他属性正交的线性方向。另一个分量是变化的可控强度,即标量值。在我们的框架中,这个标量可以通过投影从参考图像中采样或编码。我们的工作受到固定预训练GANs的潜在空间分解工作的启发。然而,虽然这些模型无法进行端到端的训练,并且很难精确编辑编码图像,但VecGAN是针对图像翻译任务进行端到端训练的,并且成功地编辑了一个属性,同时保留了其他属性。我们广泛的实验表明,VecGAN在本地和全局编辑方面都取得了显着的改进。
2022-07-07 cs.AI cs.CV cs.LG
ED-NeRF: Efficient Text-Guided Editing of 3D Scene with Latent Space NeRF
KAIST(韩国科学技术院);Kim Jaechul Graduate School of AI(金在哲人工智能研究生院)
本文提出ED-NeRF方法,通过将真实场景嵌入潜在扩散模型潜在空间并迁移DDS蒸馏损失,实现比传统方法更快且质量更高的3D场景文本引导编辑。
2024-03-21 cs.AI cs.CV cs.LG
Improved StyleGAN Embedding: Where are the Good Latents?
KAUST(阿卜杜拉国王科技大学);Cardiff University(卡迪夫大学);Miami University(迈阿密大学)
StyleGAN能够生成与真实照片几乎无法区分的照片级真实感图像。为给定图像找到嵌入的反向问题构成了挑战。很好地重建图像的嵌入并不总是对编辑操作鲁棒的。在本文中,我们解决的问题,找到一个嵌入,既重建图像,也支持图像编辑任务。首先,我们引入了一个新的归一化空间来分析重建的潜在码的多样性和质量。这个空间可以帮助回答好的潜在代码在潜在空间中位于何处的问题。其次,我们提出了一种改进的嵌入算法,使用一种新的正则化方法的基础上,我们的分析。最后,我们分析了不同嵌入算法的质量。我们将我们的结果与当前最先进的方法进行比较,并在重建质量和编辑质量之间实现了更好的权衡。
2021-10-15 cs.CV cs.GR
STR-Match: Matching SpatioTemporal Relevance Score for Training-Free Video Editing
Seoul National University(首尔国立大学)
针对视频编辑中时空像素相关性建模不足导致的时序不一致等问题,提出无训练算法STR-Match,利用T2V扩散模型的2D空间注意力和1D时间模块计算STR得分引导潜优化,在重大领域变换下仍生成时序一致且视觉忠实的视频。
2025-06-28 cs.AI cs.CV
Towards Disentangling Latent Space for Unsupervised Semantic Face Editing
Pengcheng Laboratory(鹏城实验室);Shenzhen University(深圳大学);University of Nottingham(诺丁汉大学)
StyleGAN生成的图像中的面部属性在潜在空间中纠缠在一起,这使得在不影响其他属性的情况下独立控制特定属性变得非常困难。受监督的属性编辑需要带注释的训练数据,这很难获得,并且将可编辑属性限制为具有标签的属性。因此,在一个分离的潜在空间中进行无监督的属性编辑是执行整洁和通用的语义人脸编辑的关键。在本文中,我们提出了一种新的技术,称为结构-纹理独立架构与权重分解和正交正则化(STIA-WO)解开潜在的空间无监督语义人脸编辑。将STIA-WO应用到GAN中,提出了一种StyleGAN STGAN-WO。STGAN-WO利用风格向量进行权值分解,构造完全可控的权值矩阵来调节图像合成,并采用正交正则化方法保证风格向量的每一项只控制一个独立的特征矩阵。为了进一步理清面部属性,STGAN-WO引入了结构-纹理独立架构,其利用两个独立且同分布(i.i.d.)潜在的矢量控制的纹理和结构成分的合成在一个解开的方式。无监督语义编辑是通过沿其正交方向移动粗层中的潜在代码来改变纹理相关属性或改变细层中的潜在代码来操纵结构相关属性。我们目前的实验结果表明,我们的新STGAN-WO可以实现更好的属性编辑比最先进的方法。
2021-07-19 cs.CV
Image-to-Image Translation with Disentangled Latent Vectors for Face Editing
Virginia Tech(弗吉尼亚理工大学);MPI(马克斯·普朗克学会);ETH(苏黎世联邦理工学院);TUM(慕尼黑工业大学);Bilkent University(比尔肯特大学)
提出一种基于解耦隐向量的图像到图像转换框架,通过隐空间分解和正交约束学习解耦属性方向,结合注意力跳跃连接的编码器-解码器架构,显著提升了人脸属性编辑的精确性与保真度。
2025-03-28 cs.CV
PixPerfect: Seamless Latent Diffusion Local Editing with Discriminative Pixel-Space Refinement
Adobe Research(Adobe研究院);University of Rochester(罗切斯特大学)
PixPerfect通过判别像素空间和伪影模拟流程,实现跨不同LDM架构和任务的无缝高保真局部编辑。
2025-12-02 cs.CV
DesignEdit: Multi-Layered Latent Decomposition and Fusion for Unified & Accurate Image Editing
Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学)
本文提出DesignEdit框架,通过将空间感知图像编辑转化为多层潜在分解与多层潜在融合两个子任务,利用键掩码自注意力与指令引导融合等机制,在六种以上编辑任务中实现了统一且精准的图像编辑。
2024-03-21 cs.CV
Tuning-free Instruction-based Video Editing Via Structural Noise Initialization and Guidance
JIUTIAN Research, China Mobile(中国移动极天研究院);School of Intelligence Science and Technology, Nanjing University(南京大学智能科学与技术学院);State Key Laboratory of Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室)
本文提出无需调优的指令式视频编辑框架,通过结构噪声初始化策略和噪声引导机制,提升视频编辑的视觉质量和性能。
2026-05-15 cs.AI cs.CV
ResetEdit: Precise Text-guided Editing of Generated Image via Resettable Starting Latent
Shanghai Jiao Tong University(上海交通大学);University of Science and Technology of China(科学技术大学);Wuhan University(武汉大学);National University of Singapore(新加坡国立大学)
本文提出ResetEdit框架,通过在生成过程中嵌入可恢复的潜在信息,实现高精度文本引导编辑,优于现有方法。
2026-04-28 cs.CV
Transforming Facial Weight of Real Images by Editing Latent Space of StyleGAN
Singapore Management University(新加坡管理大学)
我们提出了一个反转和编辑框架,通过利用生成对抗网络(GANs)的潜在空间中编码的语义面部属性,自动将输入人脸图像的面部权重转换为看起来更薄或更重。使用预训练的StyleGAN作为底层生成器,我们首先采用基于优化的嵌入方法将输入图像反转到StyleGAN潜在空间中。然后,通过监督学习确定人脸权重属性在潜在空间中的方向,并通过沿提取的特征轴正向或反向移动来编辑反转的潜在代码。经验表明,我们的框架可以产生高质量和逼真的面部权重转换,而不需要从头开始使用大量标记的面部图像训练GANs。最终,我们的框架可以作为干预措施的一部分,通过可视化他们的行为对外观的未来影响来激励个人做出更健康的食物选择。
2020-11-05 cs.AI cs.CV cs.LG
SHAP-EDITOR: Instruction-guided Latent 3D Editing in Seconds
University of Oxford(牛津大学)
本研究提出Shap-Editor前馈3D编辑框架,基于Shap-E潜在空间实现秒级指令引导3D编辑,泛化性好且性能与需测试时优化的方法相当。
2023-12-14 cs.CV
Exploiting Spatial Dimensions of Latent in GAN for Real-time Image Editing
NAVER AI Lab(NAVER人工智能实验室);Seoul National University(首尔国立大学);Yonsei University(延世大学)
生成对抗网络(GANs)从随机潜在向量合成逼真的图像。虽然操纵潜向量控制合成输出,但使用GANs编辑真实图像会遭受i)将真实图像投影到潜向量的耗时优化,ii)或通过编码器的不准确嵌入。我们提出StyleMapGAN:中间潜在空间具有空间维度,并且空间变化调制代替AdaIN。它使通过编码器的嵌入比现有的基于优化的方法更准确,同时保持GANs的属性。实验结果表明,我们的方法显着优于国家的最先进的模型在各种图像处理任务,如本地编辑和图像插值。最后但同样重要的是,GANs上的传统编辑方法在我们的StyleMapGAN上仍然有效。源代码可在https://github.com/naver-ai/StyleMapGAN上获得。
2021-06-23 cs.CV cs.LG
StyleRes: Transforming the Residuals for Real Image Editing with StyleGAN
Bilkent University(比尔肯特大学)
我们提出了一种新的图像反演框架和训练管道,以实现高质量属性编辑的高保真图像反演。将真实图像反转到StyleGAN的潜空间是一个广泛研究的问题,但图像重建保真度和图像编辑质量之间的权衡仍然是一个公开的挑战。低速率潜在空间在其用于高保真重建的表达能力方面是有限的。另一方面,高速率的潜在空间导致编辑质量的下降。在这项工作中,为了实现高保真反转,我们学习了较低潜在代码无法编码的较高潜在代码中的残留特征。这使得能够在重建中保留图像细节。为了实现高质量的编辑,我们学习如何转换残留特征以适应潜在代码中的操作。我们训练的框架,以提取残留的功能,并通过一个新的架构管道和周期一致性损失将它们转换。我们进行了大量的实验,并将我们的方法与最先进的反演方法进行了比较。定性指标和视觉比较显示出显著的改进。代码:https://github.com/hamzapehlivan/StyleRes
2022-12-29 cs.CV
FlexiEdit: Frequency-Aware Latent Refinement for Enhanced Non-Rigid Editing
Korea Advanced Institute of Science and Technology(韩国科学技术院)
针对DDIM Inversion在非刚性图像编辑中的局限,FlexiEdit通过细化DDIM潜变量以减少目标区域高频分量,并结合重反转增强编辑保真度,显著提升了复杂非刚性编辑能力。
2024-07-25 cs.CV
Balancing Reconstruction and Editing Quality of GAN Inversion for Real Image Editing with StyleGAN Prior Latent Space
The University of Tokyo(东京大学);Microsoft Research Asia(微软亚洲研究院)
本文提出将 StyleGAN 的超球面先验空间 $\mathcal{Z}$ 与 $\mathcal{Z}^+$ 引入 GAN 反演,在保证真实图像重建质量的同时沿 $\mathcal{Z}^+$ 进行语义编辑,显著降低编辑失真。
2023-05-31 cs.CV
Diversifying Semantic Image Synthesis and Editing via Class- and Layer-wise VAEs
University of Tsukuba(筑波大学)
语义图像合成是从单个语义掩模生成真实感图像的过程。为了丰富多模态图像合成的多样性,以前的方法通过学习单个潜在空间来控制输出图像的全局外观。然而,单个潜在代码通常不足以捕获各种对象样式,因为对象外观取决于多个因素。为了处理确定对象样式的各个因素,我们提出了一个类和逐层扩展的变分自编码器(VAE)框架,允许灵活的控制每个对象类在本地到全球的水平,通过学习多个潜在空间。此外,我们证明了我们的方法生成的图像是合理的和更多样化的国家的最先进的方法相比,通过广泛的实验与真实的和合成的数据集在三个不同的域。我们还表明,我们的方法可以在图像合成和编辑任务的广泛应用。
2021-06-29 cs.CV cs.GR
LASPA: Latent Spatial Alignment for Fast Training-free Single Image Editing
NCAI(国家人工智能研究中心);KAUST(阿卜杜拉国王科技大学)
本文提出一种基于潜在空间对齐(LASPA)的免训练扩散模型图像编辑方法,无需微调即可高效保留图像细节,实现语义连贯编辑,速度更快且存储需求更低,在用户研究中获得62-71%的偏好率。
2024-03-19 cs.CV
Latent Space Disentanglement in Diffusion Transformers Enables Precise Zero-shot Semantic Editing
University of Michigan(密歇根大学)
本文揭示DiT潜在空间具有语义解耦特性,提出EIM框架和HSDS方法实现零样本细粒度图像编辑,并构建新基准验证有效性。
2024-11-12 cs.CV
FLUID: Training-Free Face De-identification via Latent Identity Substitution
Kyungpook National University(庆尚国立大学)
FLUID通过在预训练扩散模型的潜在空间中直接替换身份特征,实现了无需训练的面部去标识化,有效平衡了身份抑制与属性保持。
2026-01-06 cs.AI cs.CV
Style Transformer for Image Inversion and Editing
Shanghai Key Laboratory of Multidimensional Information Processing(上海多维度信息处理重点实验室);Huazhong University of Science and Technology(华中科技大学)
现有的GAN反演方法不能同时提供用于可靠重建和灵活编辑的潜在代码。本文提出了一种基于transformer的预训练StyleGAN图像反转和编辑模型,该模型不仅具有较少的失真,而且具有高质量和编辑灵活性。该模型采用CNN编码器提供多尺度图像特征作为键和值。同时将生成器各层需要确定的样式代码视为查询。它首先将查询标记作为可学习的参数,并将它们映射到W+空间。然后,利用多阶段交替的自我和交叉注意,更新查询的目的是通过生成器反转输入。此外,基于反转代码,我们通过预训练的潜在分类器研究了基于引用和标签的属性编辑,并实现了灵活的图像到图像的翻译,并获得了高质量的结果。进行了大量的实验,在StyleGAN内的反演和编辑任务上显示出更好的性能。
2022-03-15 cs.AI cs.CV
A Latent Transformer for Disentangled Face Editing in Images and Videos
Télécom Paris, Institut Polytechnique de Paris(巴黎高等电信学院,巴黎综合理工学院);InterDigital R&I(InterDigital研究与创新部门)
高质量的面部图像编辑是电影后期制作行业中具有挑战性的问题,需要高度的控制和身份保护。以往试图解决这一问题的作品可能会遭遇面部属性的纠缠和人的身份的丧失。此外,许多算法仅限于特定的任务。为了解决这些限制,我们建议通过StyleGAN生成器的潜在空间编辑面部属性,通过训练专用的潜在转换网络,并在损失函数中加入显式解纠缠和身份保留项。我们还引入了一个管道来将我们的面部编辑推广到视频。我们的模型实现了一个解开的,可控的,和身份保护的面部属性编辑,即使在具有挑战性的情况下,真正的(即,非合成)图像和视频。我们对图像和视频数据集进行了广泛的实验,并表明我们的模型在视觉质量和定量评价方面优于其他最先进的方法。源代码可在https://github.com/InterDigitalInc/latent-transformer上获得。
2021-08-17 cs.CV
Structure-Preserving Zero-Shot Image Editing via Stage-Wise Latent Injection in Diffusion Models
Department of Image(图像系);Department of Artificial Intelligence(人工智能系)
本研究提出一种基于扩散模型的零样本图像编辑框架,通过阶段式潜变量注入策略与扩散反转等技术,在保留源图结构的同时实现精准细粒度编辑,无需微调即可统一文本与参考引导编辑,在多类编辑任务上达到SOTA性能。
2025-05-20 cs.CV
AttentionDrag: Exploiting Latent Correlation Knowledge in Pre-trained Diffusion Models for Image Editing
Shanghai Key Laboratory of Data Science, School of Computer Science, Fudan University(上海数据科学关键实验室,计算机科学学院,复旦大学);Rajax Network Technology (ele.me), Alibaba Group(RAJAX网络技术(饿了么),阿里巴巴集团)
针对传统点式图像编辑效率低、语义关系捕捉不足的问题,提出单步编辑方法AttentionDrag,复用预训练扩散模型的自注意力潜在关联知识并自适应生成掩码,实现了更高效且语义一致的高质量图像编辑,性能超越多数主流方法。
2025-06-16 cs.CV
Blended Latent Diffusion under Attention Control for Real-World Video Editing
Swansea University(斯旺西大学)
本文提出基于图像级混合潜在扩散模型的自适应局部视频编辑方法,通过DDIM反演保持背景、交叉注意力图自主生成掩码,并将U-Net自注意力改造为时序-空间模块以增强时间一致性。
2024-09-05 cs.CV
Contrastive Denoising Score for Text-guided Latent Diffusion Image Editing
KAIST(韩国科学技术院)
本文提出对比去噪分数(CDS),通过在DDS框架中引入CUT损失并利用潜在扩散模型自注意力层特征,实现零样本图像转换与NeRF编辑中的结构对应和内容可控。
2024-04-01 cs.AI cs.CV cs.LG
Adaptive Inference-Time Scaling via Early-Step Latent Verification for Image Editing
College of Computer Science and Artificial Intelligence, Fudan University(复旦大学计算机科学与人工智能学院);Microsoft Research Asia(微软亚洲研究院);Institute of Trustworthy Embodied AI, Fudan University(复旦大学可信具身人工智能研究所)
提出VeriLatent框架,通过早期步骤潜在空间编辑激活图验证初始噪声,实现自适应推理时间缩放,提升图像编辑质量和效率。
2026-06-16 cs.CV
Latent Space Disentanglement in Diffusion Transformers Enables Zero-shot Fine-grained Semantic Editing
University of Michigan(密歇根大学)
本文揭示了扩散Transformer潜在空间的解耦特性,并提出EMS框架实现零样本细粒度图像编辑,同时引入新指标和综合基准评估编辑性能。
2024-08-23 cs.CV
WhereEdit: Mask-aware Local Latent Editing for One-Step Image Editing
研究针对现有一步图像编辑方法缺乏空间控制及局部编辑能力不足的问题,提出WhereEdit框架,通过自动识别语义相关区域并应用自适应局部调制,实现局部潜在编辑,实验证明其优于现有方法,提升了一步图像编辑质量。
2026-07-24 cs.CV
Semantic Unfolding of StyleGAN Latent Space
InterDigital, Inc.(InterDigital公司)
生成对抗网络(GANs)已被证明通过反转和操纵与输入真实图像对应的潜码来进行图像编辑是非常有效的。这种编辑特性来自潜在空间的非纠缠性质。在本文中,我们发现,面部属性解纠缠不是最佳的,因此,依赖于线性属性分离的面部编辑是有缺陷的。因此,我们提出了改进语义与监督的脱钩。我们的方法包括使用规范化流学习代理潜在表示,我们证明了这会导致更有效的人脸图像编辑空间。
2022-06-29 cs.CV cs.LG
Unsupervised Region-Based Image Editing of Denoising Diffusion Models
Institute of Information Science, Beijing Jiaotong University(北京交通大学信息科学研究所);Pengcheng Laboratory(鹏城实验室);University of Trento(特伦托大学);Lanzhou Jiaotong University(兰州交通大学)
本文提出一种无需训练和标注的无监督方法,通过将目标语义区域的雅可比矩阵投影到与未掩码区域正交的低维子空间,实现扩散模型潜在空间中局部区域的精确语义编辑,性能达到最先进水平。
2024-12-17 cs.AI cs.CV
A Compact and Semantic Latent Space for Disentangled and Controllable Image Editing
LTCI(电信与图像处理实验室);Télécom Paris(巴黎电信学院)
针对现有GAN图像编辑方法解耦性不足的问题,提出一种基于主成分分析压缩潜在空间的自动编码器,重构StyleGAN潜在空间以实现属性解耦编辑,训练快、解耦效果优且保持图像身份保真度,架构易实现。
2023-12-13 cs.CV
HairDiffusion: Vivid Multi-Colored Hair Editing via Latent Diffusion
School of Computer Science & Software Engineering, Shenzhen University(深圳大学计算机与软件学院);Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳市人工智能与机器人研究院);National Engineering Laboratory for Big Data System Computing Technology, Shenzhen University(深圳大学国家大数据系统计算技术工程实验室);Guangdong Provincial Key Laboratory of Intelligent Information Processing(广东省智能信息处理重点实验室)
本文提出HairDiffusion,利用LDMs和Multi-stage Hairstyle Blend分离头发颜色与发型控制,结合warping模块与微调CLIP,实现高质量多色头发编辑并保留面部属性。
2024-10-29 cs.CV
Diffusion Brush: A Latent Diffusion Model-based Editing Tool for AI-generated Images
University of British Columbia(不列颠哥伦比亚大学)
本文提出基于潜在扩散模型的Diffusion Brush工具,通过在反向扩散过程中向目标区域注入新噪声,实现对AI生成图像局部区域的高效精准编辑,同时保持其余部分不变,并通过用户研究验证了其优于现有修复和编辑方法。
2023-10-27 cs.AI cs.CL cs.CV
VideoMap: Supporting Video Editing Exploration, Brainstorming, and Prototyping in the Latent Space
Carnegie Mellon University(卡内基梅隆大学);Adobe Research(奥多比研究中心)
VideoMap是一个基于潜在空间的视频编辑界面,通过地图式导航和可更换镜头支持探索性编辑,用户研究显示其能减少繁琐工作并提升创意体验。
2024-06-25 cs.CV cs.HC cs.MM
MoLA: Motion Generation and Editing with Latent Diffusion Enhanced by Adversarial Training
Sony AI(索尼人工智能);Sony Group Corporation(索尼集团公司)
针对文本到动作生成的可控性、质量和速度问题,提出MoLA框架,通过激活变量实现可变长度生成,结合变分自动编码器、潜在扩散模型和对抗训练,还支持多种编辑任务,经实验验证有效。
2025-04-14 cs.CV
Optimizing Latent Space Directions For GAN-based Local Image Editing
EPFL(洛桑联邦理工学院)
基于生成对抗网络(GAN)的局部化图像编辑可能遭受语义属性之间的歧义。因此,我们提出了一种新的目标函数来评估的地方的图像编辑。通过从预训练的分割网络引入监督并优化目标函数,我们的框架称为局部有效潜在空间方向(LELSD),适用于任何数据集和GAN架构。我们的方法也是计算速度快,并表现出高度的解纠缠,这使得用户可以交互式地执行一系列的编辑图像。我们在GAN生成的图像和真实图像上的实验定性地证明了我们方法的高质量和优势。
2022-02-17 cs.CV cs.LG
Efficient 3D-Aware Facial Image Editing via Attribute-Specific Prompt Learning
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Technology Innovation Institute(技术创新研究院)
提出基于属性特定提示学习的即插即用3D感知人脸编辑框架,通过文本驱动的潜在属性编辑器(LAE)和多种保持损失,实现跨姿态的高质量、视角一致且属性可控的人脸图像编辑。
2024-07-24 cs.AI cs.CV
Tensor-based Emotion Editing in the StyleGAN Latent Space
IT University of Copenhagen(哥本哈根信息技术大学)
在本文中,我们使用一个基于高阶奇异值分解(HOSVD)的张量模型来发现生成对抗网络中的语义方向。这通过首先使用e4e编码器将结构化面部表情数据库嵌入到潜在空间中来实现。具体来说,我们发现了潜在空间中对应于六种典型情绪的方向:愤怒、厌恶、恐惧、快乐、悲伤和惊讶,以及偏航旋转的方向。这些潜在的空间方向被用来改变真实人脸图像的表情或偏航旋转。我们将我们发现的方向与其他两种方法发现的类似方向进行比较。结果表明,所得到的编辑的视觉质量与最新技术水平相当。还可以得出结论,基于张量的模型非常适合情感和偏航编辑,即,可以鲁棒地改变新面部图像的情绪或偏转旋转,而不会对图像中的身份或其他属性产生显著影响。
2022-05-12 cs.CV
Warping the Residuals for Image Editing with StyleGAN
针对现有StyleGAN图像逆映射方法难以兼顾保真度与编辑质量的问题,提出含流估计模块的新型逆映射架构,通过扭曲高维潜在特征适配编辑,实现高保真高质量图像编辑,性能优于现有最优方法。
2023-12-18 cs.CV
Revisiting Latent Space of GAN Inversion for Real Image Editing
The University of Tokyo(东京大学);Microsoft Research(微软研究院)
针对GAN逆映射中重建质量与编辑质量的权衡难题,研究提出结合StyleGAN中间特征$\u2131$空间与扩展先验$\fancyscript{Z}^{+}$的组合空间,在保障重建效果的同时降低编辑失真,可替代常用的$\fancyscript{W}$系列潜在空间。
2023-07-18 cs.CV
REED-VAE: RE-Encode Decode Training for Iterative Image Editing with Diffusion Models
Reichman University(雷赫曼大学)
针对扩散模型在迭代图像编辑中因空间转换累积伪影的问题,提出用于VAE的REED训练方案,支持多方法迭代编辑并显著提升图像质量与整体可编辑性。
2025-04-26 cs.CV cs.GR cs.LG
DNI: Dilutional Noise Initialization for Diffusion Video Editing
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出稀释噪声初始化(DNI)框架,通过向待编辑区域的潜在噪声添加额外噪声以软化结构刚性,实现扩散视频编辑中的非刚性编辑,如运动变化,实验证明其有效性。
2024-09-19 cs.CV
Disentangled Face Attribute Editing via Instance-Aware Latent Space Search
Beijing Institute of Technology(北京理工大学)
最近的研究表明,生成对抗网络(GANs)的潜在空间中存在丰富的语义方向集,这使得各种面部属性编辑应用成为可能。然而,现有的方法可能遭受不良的属性变化解开,导致不想要的改变时,改变所需的一个其他属性。现有的方法使用的语义方向是在属性级,这是很难建模复杂的属性相关性,特别是在属性分布的偏见存在于GAN的训练集。在本文中,我们提出了一种新的框架(IALS),执行实例感知的潜在空间搜索,找到语义方向解开属性编辑。实例信息是通过利用一组属性分类器对输入图像进行评估来注入的。我们进一步提出了一个解纠缠转换(DT)度量来量化属性转换和解纠缠效率,并在此基础上找到属性级和实例特定方向之间的最优控制因子。GAN生成的图像和真实世界图像的实验结果共同表明,我们的方法优于最近提出的最先进的方法。代码可在https://github.com/yxuhan/IALS上获得。
2021-05-27 cs.CV
Exploring the Effectiveness of Mask-Guided Feature Modulation as a Mechanism for Localized Style Editing of Real Images
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
深度生成模型在高分辨率图像生成方面的成功导致其广泛用于真实图像的风格编辑。大多数现有的方法的工作原理是将真实图像反转到它们的潜空间上,然后确定可控方向。真实图像的反演和可控潜在方向的确定都是计算上昂贵的操作。此外,可控潜在方向的确定需要额外的人的监督。这项工作的目的是探索在深层生成模型的潜在空间中掩模引导的特征调制作为这些瓶颈的解决方案的功效。为此,我们提出了SemanticStyle Autoencoder(SSAE),这是一个深度生成式自动编码器模型,它利用语义掩码引导的潜在空间操作来对真实图像进行高度本地化的真实感风格编辑。我们提出了定性和定量的结果相同,他们的分析。这项工作将作为今后工作的指导性基础。
2022-12-10 cs.CV
Instruction-Based Video Editing by Repurposing an Image Editing Model
UT Austin(德克萨斯大学奥斯汀分校);Reve(Reve公司)
该研究提出Qwen-Video-Edit,通过复用Qwen-Image-Edit图像编辑模型,经少量适配实现基于指令的视频编辑,证明图像编辑先验可迁移至视频编辑任务。
2026-08-24 cs.CV