FluxSpace: Disentangled Semantic Editing in Rectified Flow Transformers
Virginia Tech(弗吉尼亚理工大学)
针对整流流模型难以实现图像解耦编辑的问题,本文提出领域无关的FluxSpace方法,利用整流流Transformer的表征空间实现语义可控的多类图像编辑,兼具可扩展性与解耦能力。
2024-12-12 cs.CV
4D-Editor: Interactive Object-level Editing in Dynamic Neural Radiance Fields via Semantic Distillation
Tianjin University(天津大学)
针对动态神经辐射场场景对象级编辑能力不足的问题,提出4D-Editor交互式编辑框架,通过混合语义特征蒸馏、递归选择细化及多视图重投影修复技术,实现动态NeRF的照片级真实感对象编辑。
2023-11-06 cs.CV
Delta-GAN-Encoder: Encoding Semantic Changes for Explicit Image Editing, using Few Synthetic Samples
Technion - Israel Institute of Technology(以色列理工学院)
理解和控制生成模型的潜在空间是一项复杂的任务。在本文中,我们提出了一种新的方法来学习控制任何所需的属性在一个预先训练的GAN的潜在空间,相应地编辑合成和真实世界的数据样本的目的。我们执行Sim 2 Real学习,依靠最少的样本来实现无限量的连续精确编辑。我们提出了一个基于Autoencoder的模型,该模型学习对图像之间变化的语义进行编码,作为以后编辑新样本的基础,实现精确的预期结果-如图1所示的示例。虽然先前的编辑方法依赖于潜在空间的已知结构(例如,StyleGAN中某些语义的线性),我们的方法本质上不需要任何结构约束。我们在面部图像领域展示了我们的方法:编辑不同的表情,姿势和照明属性,实现最先进的结果。
2021-11-17 cs.CV
WhereEdit: Mask-aware Local Latent Editing for One-Step Image Editing
研究针对现有一步图像编辑方法缺乏空间控制及局部编辑能力不足的问题,提出WhereEdit框架,通过自动识别语义相关区域并应用自适应局部调制,实现局部潜在编辑,实验证明其优于现有方法,提升了一步图像编辑质量。
2026-07-24 cs.CV
$S^2$-Flow: Joint Semantic and Style Editing of Facial Images
生成对抗网络(GANs)产生的高质量图像激发了对其在图像编辑中的应用的研究。然而,GANs通常受限于它们为执行特定编辑而提供的控制。其中一个主要挑战是GANs的纠缠潜在空间,它不适合直接执行独立和详细的编辑。最近的编辑方法允许受控的样式编辑或受控的语义编辑。此外,使用语义掩码来编辑图像的方法难以保持身份,并且无法执行受控的样式编辑。我们提出了一种方法来解开一个GAN $\text{'}$的潜在空间到语义和风格的空间,使控制的语义和风格编辑的人脸图像独立在同一个框架。为了实现这一点,我们设计了一个编码器-解码器为基础的网络架构($S^2$ -流),其中包括两个建议的电感偏置。我们通过执行各种语义和样式编辑来定量和定性地显示$S^2$ -Flow的适用性。
2022-11-22 cs.CV
DiffEdit: Diffusion-based semantic image editing with mask guidance
Meta AI;Sorbonne Université(索邦大学)
图像生成最近取得了巨大的进步,扩散模型允许合成令人信服的图像,用于各种各样的文本提示。在这篇文章中,我们提出了DiffEdit,一种利用文本条件扩散模型进行语义图像编辑任务的方法,其目标是根据文本查询编辑图像。语义图像编辑是图像生成的扩展,具有生成的图像应尽可能与给定输入图像相似的附加约束。当前基于扩散模型的编辑方法通常需要提供遮罩,通过将其视为条件修复任务而使任务变得容易得多。相比之下,我们的主要贡献是能够自动生成一个掩码高亮区域的输入图像,需要进行编辑,通过对比预测的扩散模型条件不同的文本提示。此外,我们依靠潜在的推理来保留感兴趣区域中的内容,并与基于掩码的扩散显示出良好的协同作用。DiffEdit在ImageNet上实现了最先进的编辑性能。此外,我们使用COCO数据集的图像以及基于文本生成的图像,在更具挑战性的设置中评估语义图像编辑。
2022-10-20 cs.CV
UniEdit-I: Training-free Image Editing for Unified VLM via Iterative Understanding, Editing and Verifying
Peking University(北京大学)
UniEdit-I通过在语义潜在空间中引入迭代理解、编辑和验证循环,实现了无训练的闭环图像编辑,无需微调或架构修改即可达到最先进的性能。
2025-12-02 cs.CV
TransSplat: Unbalanced Semantic Transport for Language-Driven 3DGS Editing
Guangdong University of Technology(广东工业大学);Peking University(北京大学)
TransSplat通过不平衡语义传输解决语言驱动3DGS编辑中2D证据与3D高斯之间的语义对应问题,提升局部编辑精度和结构一致性。
2026-04-30 cs.CV
Wavelet-Guided Semantic Signal Compensation for Inversion-Free Image Editing
School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院)
针对无反转图像编辑中全局属性编辑不足的问题,提出基于小波的频率感知语义补偿策略,在生成早期增强有效信号,提升全局编辑能力同时保持背景保真度。
2026-07-03 cs.CV
SemFaceEdit: Semantic Face Editing on Generative Radiance Manifolds
CVIG Lab, Indian Institute of Technology Gandhinagar(CVIG实验室、印度理工学院冈丁纳格尔)
本文提出 SemFaceEdit 方法,通过在生成辐射流形上生成语义场,利用潜在编码解开面部几何与外观,实现了精确的局部语义人脸编辑,同时保持其他区域完整性。
2025-06-28 cs.CV
LORE: Latent Optimization for Precise Semantic Control in Rectified Flow-based Image Editing
本文提出无需训练的LORE方法,通过直接优化反演噪声解决整流流图像编辑中源概念语义偏置问题,在多个基准上实现稳定可控的通用概念替换并显著优于现有方法。
2025-08-21 cs.CV
Context-Consistent Semantic Image Editing with Style-Preserved Modulation
Fudan University(复旦大学);China University of Petroleum(中国石油大学)
语义图像编辑利用本地语义标签映射来在编辑区域中生成期望的内容。最近的一项工作借用SPADE块来实现语义图像编辑。然而,由于编辑区域和周围像素之间的风格差异,它不能产生令人满意的结果。我们将此归因于SPADE仅使用独立于图像的局部语义布局,但忽略了已知像素中包含的特定于图像的样式。为了解决这个问题,我们提出了一个风格保留调制(SPM)包括两个调制过程:第一调制结合上下文风格和语义布局,然后生成两个融合的调制参数。第二调制采用融合参数来调制特征图。通过使用这两个调制,SPM可以注入给定的语义布局,同时保留图像特定的上下文风格。此外,我们设计了一个渐进式的架构,用于以粗到细的方式生成编辑后的内容。所提出的方法可以获得上下文一致的结果,并显着减轻生成的区域和已知像素之间的不愉快的边界。
2022-07-13 cs.CV
SCOUT: Semantic Concept Discovery for Open-Vocabulary Editing of face Recognition Templates
University of Ljubljana(卢布尔雅那大学);Faculty of Electrical Engineering(电气工程学院);Faculty of Computer and Information Science(计算机与信息科学学院)
SCOUT是一个端到端框架,可通过机械可解释性发现人脸识别模板中的语义概念,实现可控的身份感知模板编辑,且对身份匹配影响极小。
2026-08-18 cs.CV
EditGarment: An Instruction-Based Garment Editing Dataset Constructed with Automated MLLM Synthesis and Semantic-Aware Evaluation
Xi'an Jiaotong-Liverpool University(西安交通大学利物浦大学);NingboTech University(宁波科技学院);Zhejiang University(浙江大学)
提出一种自动化流水线构建首个基于指令的服装编辑数据集EditGarment,通过定义六类编辑指令和引入语义感知评估指标Fashion Edit Score,从52,257个候选三元组中筛选出20,596个高质量数据,解决了高质量指令-图像对稀缺的问题。
2025-08-14 cs.CV
Latent Space Disentanglement in Diffusion Transformers Enables Zero-shot Fine-grained Semantic Editing
University of Michigan(密歇根大学)
本文揭示了扩散Transformer潜在空间的解耦特性,并提出EMS框架实现零样本细粒度图像编辑,同时引入新指标和综合基准评估编辑性能。
2024-08-23 cs.CV
SAMA: Factorized Semantic Anchoring and Motion Alignment for Instruction-Guided Video Editing
Baidu(百度);Tsinghua University(清华大学);City University of Hong Kong(香港城市大学);Zhejiang University(浙江大学)
SAMA通过因子化语义锚定和运动对齐方法,在无需外部先验知识的情况下实现精确语义修改与运动保真的平衡,展示了强大的零样本视频编辑能力。
2026-03-19 cs.CV
Towards Disentangling Latent Space for Unsupervised Semantic Face Editing
Pengcheng Laboratory(鹏城实验室);Shenzhen University(深圳大学);University of Nottingham(诺丁汉大学)
StyleGAN生成的图像中的面部属性在潜在空间中纠缠在一起,这使得在不影响其他属性的情况下独立控制特定属性变得非常困难。受监督的属性编辑需要带注释的训练数据,这很难获得,并且将可编辑属性限制为具有标签的属性。因此,在一个分离的潜在空间中进行无监督的属性编辑是执行整洁和通用的语义人脸编辑的关键。在本文中,我们提出了一种新的技术,称为结构-纹理独立架构与权重分解和正交正则化(STIA-WO)解开潜在的空间无监督语义人脸编辑。将STIA-WO应用到GAN中,提出了一种StyleGAN STGAN-WO。STGAN-WO利用风格向量进行权值分解,构造完全可控的权值矩阵来调节图像合成,并采用正交正则化方法保证风格向量的每一项只控制一个独立的特征矩阵。为了进一步理清面部属性,STGAN-WO引入了结构-纹理独立架构,其利用两个独立且同分布(i.i.d.)潜在的矢量控制的纹理和结构成分的合成在一个解开的方式。无监督语义编辑是通过沿其正交方向移动粗层中的潜在代码来改变纹理相关属性或改变细层中的潜在代码来操纵结构相关属性。我们目前的实验结果表明,我们的新STGAN-WO可以实现更好的属性编辑比最先进的方法。
2021-07-19 cs.CV
Occlusion-Aware Physics-Semantic Keyframe Selection for Robust Video Editing
Huawei(华为);Tsinghua University(清华大学);East China Normal University(华东师范大学)
提出一种遮挡感知的物理-语义关键帧选择框架,通过从结构完整性、跟踪稳定性和属性可见性三个角度评估候选帧,自动选择最优锚定帧,并利用双向跟踪生成时空掩码,实现鲁棒且时序一致的视频编辑。
2026-05-27 cs.CV
View-Consistent 3D Scene Editing via Dual-Path Structural Correspondense and Semantic Continuity
Wangxuan Institute of Computer Technology, Peking University(北京大学王萱计算机技术研究所);Department of Computer Science and Engineering, The Hong Kong University of Science and Technology(香港科技大学计算机科学与工程系)
本文提出了一种视图一致的3D场景编辑框架,通过引入双路径一致性机制和配对多视角编辑数据集,提升复杂场景的编辑性能。
2026-04-24 cs.CV
Delta-Adapter: Scalable Exemplar-Based Image Editing with Single-Pair Supervision
Sun Yat-sen University(中山大学);Video Rebirth;Macau University of Science and Technology(澳门科技大学);The Hong Kong Polytechnic University(香港理工大学)
Delta-Adapter通过单对监督学习可迁移的编辑语义,利用预训练视觉编码器提取语义差异,并通过Perceiver-based适配器注入图像编辑模型,提升编辑准确性和内容一致性。
2026-05-08 cs.CV
SeCGAN: Parallel Conditional Generative Adversarial Networks for Face Editing via Semantic Consistency
Imperial College London(帝国理工学院);University College London(伦敦大学学院);University of Sheffield(谢菲尔德大学);Korea Advanced Institute of Science and Technology(韩国高等科学技术研究院)
近年来,语义引导的条件生成对抗网络(cGAN)已经成为人脸编辑的流行方法。然而,大多数现有的方法引入语义掩码作为生成器的直接条件输入,并且通常需要目标掩码在RGB空间中执行相应的翻译。我们提出了SeCGAN,一种新的标签引导cGAN,用于利用语义信息编辑人脸图像,而无需指定目标语义掩码。在训练过程中,SeCGAN有两个并行运行的生成器和鉴别器分支,其中一个分支经过训练来翻译RGB图像,另一个分支经过训练来翻译语义掩模。为了以一种互利的方式桥接这两个分支,我们引入了一个语义一致性损失,它约束两个分支具有一致的语义输出。虽然在训练过程中需要这两个分支,但RGB分支是我们的主要网络,语义分支不需要用于推理。我们在CelebA和CelebA-HQ上的结果表明,我们的方法能够生成具有更准确属性的面部图像,在目标属性识别率方面优于竞争基线,同时保持质量指标,如自我监督的Fréchet Inception Distance和Inception Score。
2022-06-16 cs.CV
Latent Space Disentanglement in Diffusion Transformers Enables Precise Zero-shot Semantic Editing
University of Michigan(密歇根大学)
本文揭示DiT潜在空间具有语义解耦特性,提出EIM框架和HSDS方法实现零样本细粒度图像编辑,并构建新基准验证有效性。
2024-11-12 cs.CV
FusionEdit: Semantic Fusion and Attention Modulation for Training-Free Image Editing
School of Artificial Intelligence, South China Normal University(人工智能学院,华南师范大学);University of Science and Technology of China(中国科学技术大学)
FusionEdit通过语义融合与注意力调节实现无训练图像编辑,提升编辑精度与可控性。
2026-02-09 cs.CV
Edit Spillover as a Probe: Do Image Editing Models Implicitly Understand World Relations?
iFLYTEK
研究探讨图像编辑模型中编辑溢出现象,通过系统框架评估不同模型的隐式世界理解能力,发现溢出率差异显著,且语义相关性溢出反映真实理解。
2026-03-18 cs.CV
A Reference-Based 3D Semantic-Aware Framework for Accurate Local Facial Attribute Editing
Carnegie Mellon University(卡内基梅隆大学)
提出一种融合潜变量与参考图像优势的3D语义感知面部属性编辑框架,通过3D GAN反演和从粗到细的修复策略实现精确、3D一致且保持图像完整性的局部属性修改。
2024-07-29 cs.CV
TASE: Truncation-Aware Semantic Embeddings for 3D Scene Understanding and Editing
Bosch Research(博世研究院);Rheinisch-Westfälische Technische Hochschule Aachen(亚琛工业大学);University of Bonn(波恩大学)
提出TASE方法,通过将预训练的2D语义特征投影到截断感知嵌入空间,结合尺度和平移等变损失,实现可控的3D场景文本驱动编辑,在大几何修改任务上显著优于现有方法。
2026-08-27 cs.CV
3D Semantic Subspace Traverser: Empowering 3D Generative Model with Shape Editing Capability
Sichuan University(四川大学)
本文提出3D Semantic Subspace Traverser,通过潜空间GAN与线性子空间模型识别语义维度,实现特定类别3D形状的高质量生成与可控语义编辑。
2023-08-16 cs.CV
IA-FaceS: A Bidirectional Method for Semantic Face Editing
Shanghai Jiao Tong University(上海交通大学)
语义人脸编辑近年来取得了实质性的进展。作为一种越来越流行的方法,潜在空间操作通过改变输入人脸的潜在代码来执行人脸编辑,以将用户从绘画技巧中解放出来。然而,以往的潜在空间操作方法通常将整个人脸编码为单个低维嵌入,这限制了重建能力和面部组件(如眼睛和鼻子)的控制灵活性。本文提出了IA-FaceS作为一种双向方法,用于解纠缠的面部属性操作以及灵活,可控的组件编辑,而无需原始图像中的分割掩模或草图。为了在重建能力和控制灵活性之间取得平衡,编码器被设计为多头结构,以分别产生用于重建和控制的嵌入:用于一致重建的具有空间属性的高维张量和用于语义面部编辑的四个低维面部组件嵌入。操纵单独的组件嵌入可以帮助实现分离的属性操纵和面部组件的灵活控制。为了进一步解开高度相关的组件,组件自适应调制(CAM)模块提出的解码器。语义单眼编辑是第一次开发没有任何输入视觉指导,如分割掩模或草图。根据实验结果,IA-FaceS在保持图像细节和执行灵活的人脸操作之间建立了良好的平衡。定量和定性的结果表明,该方法优于其他技术在重建,人脸属性操作,和组件转移。
2022-03-25 cs.CV
DCEdit: Dual-Level Controlled Image Editing via Precisely Localized Semantics
Institute of Information Science, Beijing Jiaotong University(北京交通大学信息科学研究所);MT Lab, Meitu Inc(美图公司MT实验室);Pengcheng Laboratory(鹏城实验室);Visual Intelligence + X International Joint Laboratory of the Ministry of Education(教育部视觉智能与X国际联合实验室)
针对文本引导图像编辑中目标语义定位编辑不精准的问题,提出DCEdit方法,通过精准语义定位策略增强交叉注意力图,并结合双层控制机制实现细粒度编辑,构建RW-800基准,实验验证其在背景保留和编辑精度上的优势。
2025-03-21 cs.CV
Semantic Facial Expression Editing using Autoencoded Flow
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);The Chinese University of Hong Kong(香港中文大学);Google Inc.(谷歌公司)
对图像中的面部表情进行高级操作(例如将微笑改变为中性表情)是具有挑战性的,因为面部表情的变化是高度非线性的,并且根据面部的外观而变化。我们提出了一种全自动的方法来编辑的面孔,结合了基于流的人脸操作的优势与最近的生成能力的变分自编码器(VAE)。在训练过程中,我们的模型学习在低维潜在空间上编码从一个表达式到另一个表达式的流。在测试时,表达式编辑可以简单地使用潜在向量算法来完成。我们评估我们的方法在两个应用程序:1)单图像的面部表情编辑,和2)两个图像之间的面部表情插值。我们证明,我们的方法生成的图像比以前的VAE和基于流的方法更高的感知质量。
2016-11-30 cs.CV
One-shot domain adaptation for semantic face editing of real world images using StyleALAE
真实世界人脸图像的语义人脸编辑是生成模型的一个重要应用。最近,多项工作已经探索了使用预训练的GAN模型的潜在结构来生成这种修改的可能技术。然而,这样的方法通常需要训练编码器网络,并且这通常是耗时且资源密集的过程。这种基于GAN的架构的可能替代方案可以是styleALAE,这是一种基于潜在空间的自动编码器,可以生成高质量的照片级逼真图像。不幸的是,在风格ALAE重建的图像不保留输入的面部图像的身份。这限制了styleALAE用于具有已知身份的图像的语义面部编辑的应用。在我们的工作中,我们使用一次领域自适应的最新进展来解决这个问题。我们的工作确保了重建图像的身份与给定的输入图像相同。我们通过使用预训练的styleALAE模型的潜在空间来进一步生成对重建图像的语义修改。结果表明,我们的方法可以产生任何真实世界的面部图像的语义修改,同时保持身份。
2021-08-31 cs.CV
The Devil is in Attention Sharing: Improving Complex Non-rigid Image Editing Faithfulness via Attention Synergy
University of Electronic Science and Technology of China(电子科技大学);National University of Singapore(新加坡国立大学)
SynPS通过协同利用位置嵌入和语义信息,解决现有注意力共享机制中的注意力崩溃问题,提升复杂非刚性图像编辑的忠实性。
2025-12-17 cs.CV
ChromaGS: Text-Driven Semantic Editing of 4D Gaussian Avatars
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Institut de Robòtica i Informàtica Industrial, CSIC-UPC(工业机器人与信息学研究所,CSIC-UPC)
ChromaGS提出一种无需重训练的实时语言引导4D高斯化身颜色编辑方法,通过区域基色与高斯残差分解实现确定性语义控制。
2026-10-05 cs.CV
FlashEdit: Decoupling Speed, Structure, and Semantics for Precise Image Editing
Shanghai Jiao Tong University(上海交通大学);ETH Zürich(苏黎世联邦理工学院)
本文提出FlashEdit,一种高效的局部图像编辑框架,通过解耦速度、结构和语义来实现精确编辑,实验表明其在保真度和效率之间取得了良好的平衡。
2026-05-18 cs.CV
Progressive3D: Progressively Local Editing for Text-to-3D Content Creation with Complex Semantic Prompts
International Digital Economy Academy (IDEA)(国际数字经济学院(IDEA));Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
Progressive3D提出一种通用框架,通过将复杂语义提示的3D生成分解为局部渐进编辑步骤,并采用重叠语义抑制技术,实现精确的3D内容创建,适用于多种文本到3D方法。
2024-03-16 cs.CV
FaceDNeRF: Semantics-Driven Face Reconstruction, Prompt Editing and Relighting with Diffusion Models
HKUST(香港科技大学);CMU(卡内基梅隆大学);Stanford University(斯坦福大学);Dartmouth College(达特茅斯学院)
FaceDNeRF提出一种结合3D GAN反演与潜在扩散模型的单图像人脸NeRF重建方法,支持零样本文本提示编辑和重光照,在真实感和编辑灵活性上优于现有方法。
2023-12-04 cs.CV
Text-Vision Co-Instructed Image Editing
The Hong Kong Polytechnic University(香港理工大学);OPPO Research Institute(OPPO研究院)
提出TV-Edit框架,联合文本指令的语义表达与稀疏视觉指令的空间引导,实现精确且忠实于意图的图像编辑,显著优于现有方法。
2026-10-14 cs.CV
ScribbleSense: Generative Scribble-Based Texture Editing with Intent Prediction
School of Computer Science, Beijing Institute of Technology(计算机学院,北京理工大学)
ScribbleSense通过结合多模态大语言模型和图像生成模型,实现了基于生成的涂鸦纹理编辑与意图预测,提升交互式编辑性能。
2026-01-30 cs.CV
A comprehensive survey on semantic facial attribute editing using generative adversarial networks
Amirkabir University of Technology(阿米尔卡比尔理工大学)
由于深度卷积神经网络和生成模型的进步,生成随机照片级真实图像在过去几年中经历了巨大的增长。在不同的领域中,人脸照片受到了极大的关注,并提出了大量的人脸生成和处理模型。语义面部属性编辑是改变面部图像的一个或多个属性的值而图像的其他属性不受影响的过程。所请求的修改被提供为属性向量或以驾驶面部图像的形式,并且整个过程由相应的模型执行。本文综述了语义人脸属性编辑的研究现状和进展。我们涵盖了这些模型的所有相关方面,包括相关的定义和概念,架构,损失函数,数据集,评估指标和应用程序。基于它们的体系结构,最先进的模型进行了分类和研究,编码器解码器,图像到图像,和照片引导模型。目前国家的最先进的方法的挑战和限制进行了讨论。
2022-05-21 cs.CV
What Semantics Survive the Connector? Diagnosing VLM-to-DiT Alignment in Video Editing
HKUST(香港理工大学);FDU(福建大学);ZJU(浙江大学);NUS(新加坡国立大学)
本研究探讨了视频生成模型中VLM与DiT对齐过程中的语义瓶颈问题,通过提出TRACE-Edit数据集和诊断协议,发现连接器模块会导致细粒度结构语义的严重退化,挑战了原有假设。
2026-06-11 cs.CV
S$^2$Edit: Text-Guided Image Editing with Precise Semantic and Spatial Control
Department of Computer Science, University of Toronto(多伦多大学计算机科学系);ModiFace Inc.(ModiFace公司);Department of Computer Science, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校计算机科学系)
S$^2$Edit通过精确语义和空间控制实现文本引导的图像编辑,解决了身份信息丢失和无关区域修改的问题。
2025-12-26 cs.CV
In-Domain GAN Inversion for Real Image Editing
The Chinese University of Hong Kong(香港中文大学);Xiaomi AI Lab(小米人工智能实验室)
最近的工作表明,当被训练来合成图像时,生成对抗网络(GANs)的潜在空间中会出现各种语义。然而,很难将这些学习到的语义用于真实的图像编辑。将真实图像馈送到经训练的GAN生成器的常见做法是将其反转回潜在代码。然而,现有的反演方法通常侧重于通过像素值重建目标图像,但未能将反演代码降落在原始潜在空间的语义域中。结果,重建的图像不能很好地支持通过改变反转代码的语义编辑。为了解决这个问题,我们提出了一个域内GAN反演方法,它不仅忠实地重建输入图像,但也确保反演代码是语义上有意义的编辑。我们首先学习一种新的域引导编码器,将给定图像投影到GANs的本地潜在空间。然后,我们提出域正则化优化,通过将编码器作为正则化器来微调编码器产生的代码,并更好地恢复目标图像。大量的实验表明,我们的反演方法实现了令人满意的真实图像重建,更重要的是,方便了各种图像编辑任务,显着优于开始的艺术。
2020-07-16 cs.CV
TweezeEdit: Consistent and Efficient Image Editing with Path Regularization
Department of Mathematics, The Hong Kong University of Science and Technology, Hong Kong SAR(数学系,香港科学与技术大学)
TweezeEdit通过路径正则化实现高效一致的图像编辑,无需调优和倒置,提升语义保留和实时性能。
2025-08-14 cs.CV
IDE-3D: Interactive Disentangled Editing for High-Resolution 3D-aware Portrait Synthesis
Tsinghua University(清华大学);Tencent AI Lab(腾讯人工智能实验室);ByteDance Inc.(字节跳动公司)
现有的3D感知人脸生成方法面临着质量与可编辑性的困境:它们要么生成低分辨率的可编辑结果,要么生成高质量的结果,没有编辑灵活性。在这项工作中,我们提出了一种新的方法,将两个世界的最佳结合在一起。我们的系统由三个主要部分组成:(1)一个三维语义感知的生成模型,产生视图一致的,分离的人脸图像和语义面具;(2)一个混合的GAN反演方法,初始化潜在的代码从语义和纹理编码器,并进一步优化他们的忠实重建;以及(3)规范编辑器,其使得能够在规范视图中有效地操纵语义掩码并产生高质量的编辑结果。我们的方法适用于许多应用,例如自由视图面绘制,编辑和样式控制。定量和定性的结果都表明,我们的方法达到了最先进的摄影现实主义,忠实性和效率。
2022-05-31 cs.CV
Describe, Don't Dictate: Semantic Image Editing with Natural Language Intent
Nanjing University, China(南京大学);vivo, China(vivo)
本文提出 DescriptiveEdit,将指令式图像编辑转化为参考图像条件下的文本到图像生成,并通过 Cross-Attentive UNet 注入参考特征,在 Emu Edit 上提升编辑准确性与一致性。
2025-08-28 cs.CV
Universal Image Immunization against Diffusion-based Image Editing via Semantic Injection
POSTECH(浦项科技大学);GIST(光州科学技术院);Yonsei University(延世大学)
提出首个通用对抗扰动框架,通过语义注入使扩散模型误解输入图像,抑制原始内容,从而有效阻断未经授权的编辑,在通用扰动设置下优于基线,并具备黑盒迁移性。
2026-07-02 cs.CV
DisControlFace: Adding Disentangled Control to Diffusion Autoencoder for One-shot Explicit Facial Image Editing
Northwestern Polytechnical University(西北工业大学);Huawei Cloud Computing Technologies Co., Ltd(华为云计算技术有限公司);Tsinghua University(清华大学)
本文提出DisControlFace框架,通过冻结Diff-AE预训练权重并结合随机语义掩码策略独立训练Exp-FaceNet,实现了高层语义与3DMM显式参数的解耦控制,在单样本场景下完成了高保真且身份保持更好的显式人脸图像编辑。
2024-07-24 cs.CV
Beyond Consistency: Preserving Temporal Structure in Zero-Shot Video Editing
Anhui University(安徽大学);University of Surrey(萨里大学);University of Warwick(华威大学)
提出一种零样本视频编辑方法,通过自适应分割视频片段、选取锚帧和令牌合并策略,首次显式保留源视频的时间结构,平衡编辑保真度与计算效率。
2026-06-07 cs.CV
Diverse Semantic Image Editing with Style Codes
Bilkent University(比尔肯特大学)
针对语义图像编辑中新增物体风格缺失、边界不连续及可见性差异建模不足的问题,提出基于风格码区分编码可见与部分可见物体的框架,提升了定量表现并生成多样化无缝结果。
2023-09-25 cs.CV
FireFlow: Fast Inversion of Rectified Flow for Image Semantic Editing
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
针对整流流快速反演用于图像编辑的难题,提出零样本方法FireFlow,通过精心设计的数值求解器实现8步高效反演,速度提升3倍且重建误差更小、编辑效果更优。
2024-12-10 cs.CV
Edit Fidelity Field: Semantics-Aware Region Isolation for Training-Free Scene Text Editing
iFLYTEK;Aegon THTF
本文提出Edit Fidelity Field,通过语义感知的连续场控制每个像素的编辑保真度,解决场景文本编辑中非目标区域的编辑溢出问题,实验显示保真度提升显著。
2026-04-19 cs.CV
The GAN that Warped: Semantic Attribute Editing with Unpaired Data
University of Bath(巴斯大学);Anthropics Technology Ltd.(Anthropics技术有限公司);University of Sussex(苏塞克斯大学)
本文提出通过平滑扭曲场进行语义图像编辑,利用生成对抗网络在无配对数据下实现高分辨率人脸编辑,有效保持身份特征。
2020-03-05 cs.CV
Semantic Granularity Navigation in Image Editing
Guangdong University of Technology, Guangzhou, China(广东工业大学,广州,中国);Huizhou University, Huizhou, China(惠州市大学,惠州,中国)
提出NaviEdit,一种无需训练、推理时控制的解耦方法,通过自一致性约束将编辑进度与模型尺度解耦,在保持结构保真度的同时提升语义可编辑性。
2026-05-23 cs.CV
HorizonWeaver: Generalizable Multi-Level Semantic Editing for Driving Scenes
Simon Fraser University(西蒙菲莎大学);NEC Labs America(NEC美国实验室)
本文提出HorizonWeaver,通过多级粒度、丰富高层语义和普遍领域转移解决驾驶场景编辑难题,构建大规模数据集并改进模型与训练方法,实现复杂驾驶场景的高质量指令驱动编辑。
2026-04-06 cs.CV