IDE-3D: Interactive Disentangled Editing for High-Resolution 3D-aware Portrait Synthesis
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）；ByteDance Inc.（字节跳动公司）
现有的3D感知人脸生成方法面临着质量与可编辑性的困境：它们要么生成低分辨率的可编辑结果，要么生成高质量的结果，没有编辑灵活性。在这项工作中，我们提出了一种新的方法，将两个世界的最佳结合在一起。我们的系统由三个主要部分组成：（1）一个三维语义感知的生成模型，产生视图一致的，分离的人脸图像和语义面具;（2）一个混合的GAN反演方法，初始化潜在的代码从语义和纹理编码器，并进一步优化他们的忠实重建;以及（3）规范编辑器，其使得能够在规范视图中有效地操纵语义掩码并产生高质量的编辑结果。我们的方法适用于许多应用，例如自由视图面绘制，编辑和样式控制。定量和定性的结果都表明，我们的方法达到了最先进的摄影现实主义，忠实性和效率。
2022-05-31 cs.CV
Image-to-Image Translation with Disentangled Latent Vectors for Face Editing
Virginia Tech（弗吉尼亚理工大学）；MPI（马克斯·普朗克学会）；ETH（苏黎世联邦理工学院）；TUM（慕尼黑工业大学）；Bilkent University（比尔肯特大学）
提出一种基于解耦隐向量的图像到图像转换框架，通过隐空间分解和正交约束学习解耦属性方向，结合注意力跳跃连接的编码器-解码器架构，显著提升了人脸属性编辑的精确性与保真度。
2025-03-28 cs.CV
A Latent Transformer for Disentangled Face Editing in Images and Videos
Télécom Paris, Institut Polytechnique de Paris（巴黎高等电信学院，巴黎综合理工学院）；InterDigital R&I（InterDigital研究与创新部门）
高质量的面部图像编辑是电影后期制作行业中具有挑战性的问题，需要高度的控制和身份保护。以往试图解决这一问题的作品可能会遭遇面部属性的纠缠和人的身份的丧失。此外，许多算法仅限于特定的任务。为了解决这些限制，我们建议通过StyleGAN生成器的潜在空间编辑面部属性，通过训练专用的潜在转换网络，并在损失函数中加入显式解纠缠和身份保留项。我们还引入了一个管道来将我们的面部编辑推广到视频。我们的模型实现了一个解开的，可控的，和身份保护的面部属性编辑，即使在具有挑战性的情况下，真正的（即，非合成）图像和视频。我们对图像和视频数据集进行了广泛的实验，并表明我们的模型在视觉质量和定量评价方面优于其他最先进的方法。源代码可在https://github.com/InterDigitalInc/latent-transformer上获得。
2021-08-17 cs.CV
FaceShapeGene: A Disentangled Shape Representation for Flexible Face Image Editing
Tencent AI Lab（腾讯人工智能实验室）；Tsinghua University（清华大学）
现有的人脸图像处理方法通常集中在编辑表情、改变一些预定义的属性或应用不同的过滤器。然而，用户缺乏灵活性来控制生成的人脸中的不同语义面部部分的形状。在本文中，我们提出了一种方法来计算一个解开的形状表示的人脸图像，即FaceShapeGene。建议FaceShapeGene编码的形状信息的每个语义面部部分单独到一个1D的潜在向量。基于FaceShapeGene，开发了一个新颖的局部人脸图像编辑系统，该系统包括形状混合网络和条件标签到人脸的转换器Transformer。形状混合网络可以自由地重新组合来自不同个体的部分潜在向量，以标签映射的形式产生重新混合的面部形状，该标签映射包含多个主体的面部特征。以无监督循环方式训练的条件标签到面部Transformer在保留主体的原始身份的同时执行部分式面部编辑。多个任务的实验结果表明，所提出的FaceShapeGene表示正确地解开了不同语义部分的形状特征。%此外，我们测试我们的系统上几个新的部分明智的面对编辑任务。与现有方法的比较表明，该方法在完成新的人脸编辑任务的优越性。
2019-05-06 cs.CV
MD-Face: MoE-Enhanced Label-Free Disentangled Representation for Interactive Facial Attribute Editing
Xuan Cui（徐传）；Yunfei Zhao（赵云飞）；Bo Liu（刘波）；Wei Duan（段伟）；Xingrong Fan（范星荣）
MD-Face提出一种基于MoE的无标签解耦表示框架，通过动态专家分配机制和几何感知损失提升面部属性编辑效果，实验显示其在图像质量和推理延迟方面优于扩散方法。
2026-04-22 cs.CV
Temporally Consistent Semantic Video Editing
University of Maryland, College Park（马里兰大学帕克分校）；Virginia Tech（弗吉尼亚理工大学）
生成对抗网络（GANs）已经展示了令人印象深刻的图像生成质量和真实图像的语义编辑能力，例如，更改对象类、修改属性或传递样式。然而，将这些基于GAN的编辑独立地应用于每个帧的视频不可避免地会导致时间闪烁伪影。我们提出了一个简单而有效的方法，以促进时间相干视频编辑。我们的核心思想是通过优化潜在代码和预训练生成器来最大限度地减少时间光度不一致性。我们评估了我们在不同领域和GAN反演技术上的编辑质量，并显示了对基线的有利结果。
2022-06-21 cs.CV
An Item is Worth a Prompt: Versatile Image Editing with Disentangled Control
Yale University（耶鲁大学）；National University of Singapore（新加坡国立大学）；Collov Labs（科洛弗实验室）
提出D-Edit框架，通过解耦图像-提示交互为物品-提示关联，支持基于图像、文本、掩码编辑及物品移除的统一多功能图像编辑。
2025-01-26 cs.CV
Task-agnostic Temporally Consistent Facial Video Editing
Peking University（北京大学）；Tencent AI Lab（腾讯AI实验室）；University of Rochester（罗切斯特大学）
最近的研究已经见证了面部图像编辑任务的进展。然而，对于视频编辑，先前的方法要么简单地逐帧应用变换，要么以级联或迭代的方式利用多个帧，这导致明显的视觉闪烁。此外，这些方法局限于一次处理一个特定的任务，没有任何可扩展性。在本文中，我们提出了一个任务无关的时间一致的人脸视频编辑框架。基于3D重建模型，我们的框架被设计成以一种更统一和更分散的方式处理多个编辑任务。核心设计包括一个动态的训练样本选择机制和一个新的3D时间损失约束，充分利用图像和视频数据集，并强制执行时间一致性。与最先进的面部图像编辑方法相比，我们的框架生成的视频人像更逼真，时间平滑。
2020-07-03 cs.CV
Disentangled Face Attribute Editing via Instance-Aware Latent Space Search
Beijing Institute of Technology（北京理工大学）
最近的研究表明，生成对抗网络（GANs）的潜在空间中存在丰富的语义方向集，这使得各种面部属性编辑应用成为可能。然而，现有的方法可能遭受不良的属性变化解开，导致不想要的改变时，改变所需的一个其他属性。现有的方法使用的语义方向是在属性级，这是很难建模复杂的属性相关性，特别是在属性分布的偏见存在于GAN的训练集。在本文中，我们提出了一种新的框架（IALS），执行实例感知的潜在空间搜索，找到语义方向解开属性编辑。实例信息是通过利用一组属性分类器对输入图像进行评估来注入的。我们进一步提出了一个解纠缠转换（DT）度量来量化属性转换和解纠缠效率，并在此基础上找到属性级和实例特定方向之间的最优控制因子。GAN生成的图像和真实世界图像的实验结果共同表明，我们的方法优于最近提出的最先进的方法。代码可在https://github.com/yxuhan/IALS上获得。
2021-05-27 cs.CV
DisControlFace: Adding Disentangled Control to Diffusion Autoencoder for One-shot Explicit Facial Image Editing
Northwestern Polytechnical University（西北工业大学）；Huawei Cloud Computing Technologies Co., Ltd（华为云计算技术有限公司）；Tsinghua University（清华大学）
本文提出DisControlFace框架，通过冻结Diff-AE预训练权重并结合随机语义掩码策略独立训练Exp-FaceNet，实现了高层语义与3DMM显式参数的解耦控制，在单样本场景下完成了高保真且身份保持更好的显式人脸图像编辑。
2024-07-24 cs.CV
Training-Free Disentangled Text-Guided Image Editing via Sparse Latent Constraints
Department of Informatics Engineering Universitas Brawijaya Malang, Indonesia（信息工程系 乌姆拉大学 马拉邦，印度尼西亚）
本文提出一种无需训练的解耦文本引导图像编辑方法，通过引入稀疏潜在约束减少属性纠缠问题，提升编辑的可控性与准确性。
2025-12-25 cs.CV
OmniPaint: Mastering Object-Oriented Editing via Disentangled Insertion-Removal Inpainting
University of Rochester（罗切斯特大学）；Adobe Research（奥多比研究院）
本文提出统一框架OmniPaint，将对象移除与插入建模为相互依赖的过程，结合扩散先验、渐进式训练和CycleFlow无配对细化，并引入CFD无参考评估指标，实现高保真且场景一致的图像编辑。
2025-03-12 cs.CV
TextureDiffusion: Target Prompt Disentangled Editing for Various Texture Transfer
Shenzhen International Graduate School Tsinghua University（清华大学深圳国际研究生院）
针对现有文本引导图像编辑方法难以迁移复杂纹理的问题，提出无需调优的TextureDiffusion方法，通过提示解耦、结构特征保留与编辑定位技术，实现多样纹理的和谐迁移及结构、背景的有效保留。
2025-01-14 cs.CV
MagicEdit: High-Fidelity and Temporally Coherent Video Editing
ByteDance Inc.（字节跳动公司）
本研究提出文本引导视频编辑方法MagicEdit，通过训练时显式解耦内容、结构与运动信号的学习，实现高保真且时间连贯的视频编辑，支持风格化、局部编辑等多种下游任务。
2023-08-28 cs.CV
EditCtrl: Disentangled Local and Global Control for Real-Time Generative Video Editing
Meta Reality Labs（Meta现实实验室）；Carnegie Mellon University（卡内基梅隆大学）；Meta AI
本文提出EditCtrl，通过局部和全局控制模块实现高效视频修复，提升编辑质量和计算效率，支持多区域编辑和内容传播。
2026-04-01 cs.CV
A Compact and Semantic Latent Space for Disentangled and Controllable Image Editing
LTCI（电信与图像处理实验室）；Télécom Paris（巴黎电信学院）
针对现有GAN图像编辑方法解耦性不足的问题，提出一种基于主成分分析压缩潜在空间的自动编码器，重构StyleGAN潜在空间以实现属性解耦编辑，训练快、解耦效果优且保持图像身份保真度，架构易实现。
2023-12-13 cs.CV
UniFaceGAN: A Unified Framework for Temporally Consistent Facial Video Editing
Peking University（北京大学）；Xverse；JD Explore Academy（京东探索研究院）；Tencent AI Lab（腾讯AI实验室）；University of Rochester（罗切斯特大学）
最近的研究已经见证了面部图像编辑任务的进展，包括面部交换和面部重现。然而，这些方法仅限于一次处理一个特定的任务。此外，对于视频面部编辑，先前的方法要么简单地逐帧应用变换，要么以级联或迭代的方式利用多个帧，这导致明显的视觉闪烁。在本文中，我们提出了一个统一的时间一致的面部视频编辑框架，称为UniFaceGAN。基于一个三维重建模型和一个简单而有效的动态训练样本选择机制，我们的框架被设计为同时处理人脸交换和人脸重现。为了增强时间一致性，在重心坐标插值的基础上引入了一种新的三维时间损失约束。此外，我们提出了一个区域感知的条件归一化层，以取代传统的AdaIN或SPADE合成更多的上下文和谐的结果。与最先进的面部图像编辑方法相比，我们的框架生成的视频人像更逼真，时间平滑。
2021-08-12 cs.CV
Plot'n Polish: Zero-shot Story Visualization and Disentangled Editing with Text-to-Image Diffusion Models
Virginia Tech（弗吉尼亚理工大学）；Adobe Research（Adobe研究）
针对现有故事可视化方法难以兼顾编辑灵活性与多帧一致性的问题，提出零样本框架Plot'n Polish，可实现一致的故事生成与多细节层级的细粒度可视化控制。
2025-09-04 cs.CV
Source Prompt Disentangled Inversion for Boosting Image Editability with Diffusion Models
The Hong Kong Polytechnic University（香港理工大学）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出源提示解耦反演方法SPDInv，通过不动点约束将反演问题转化为搜索问题，降低源提示对潜在噪声编码的耦合，从而减少编辑伪影并提升文本驱动图像编辑性能。
2024-07-05 cs.CV
BlobGAN-3D: A Spatially-Disentangled 3D-Aware Generative Model for Indoor Scenes
KAUST（阿卜杜拉国王科技大学）
3D感知图像合成已经吸引了越来越多的兴趣，因为它模拟了我们现实世界的3D性质。然而，在多对象场景中对生成的图像执行逼真的对象级编辑仍然是一个挑战。最近，称为BlobGAN的2D GAN在真实世界室内场景数据集上展示了强大的多对象编辑功能。在这项工作中，我们提出了BlobGAN-3D，这是对原始2D BlobGAN的3D感知改进。我们使明确的相机姿态控制，同时保持在场景中的各个对象的解纠缠扩展到3D斑点的2D斑点。我们保留了BlobGAN的对象级编辑功能，此外还允许灵活控制场景中对象的3D位置。我们在真实世界的室内数据集上测试了我们的方法，结果表明，与2D Blob GAN和其他3D感知GAN基线相比，我们的方法可以实现相当的图像质量，同时能够在具有挑战性的多对象真实世界场景中实现相机姿态控制和对象级编辑。
2023-03-26 cs.CV
FED-Bench: A Cross-Granular Benchmark for Disentangled Evaluation of Facial Expression Editing
Xi’an Jiaotong University（西安交通大学）；Northwestern Polytechnical University（西北工业大学）；National University of Singapore（新加坡国立大学）；Fudan University（复旦大学）；Zhejiang Lab（之江实验室）
本文提出FED-Bench，通过构建747个三元组基准，引入FED-Score评估协议，评估面部表情编辑的对齐、保真度和相对表达增益，揭示当前方法在高保真与准确表达操控间的困境，并提供20k+真实世界面部训练集。
2026-03-31 cs.CV
VidStyleODE: Disentangled Video Editing via StyleGAN and NeuralODEs
Koç University（科克大学）；Imperial College London（伦敦帝国学院）；Adobe Research（奥多比研究院）；Iskenderun Technical University（伊斯肯德伦技术大学）；Hacettepe University（哈杰泰佩大学）
本文提出VidStyleODE，将视频内容编码到StyleGAN潜在空间并用神经常微分方程建模运动动态，实现外观与运动的解耦，支持文本引导编辑、运动操控、图像动画及视频插值与外推。
2025-03-10 cs.CV
MIST: Mitigating Intersectional Bias with Disentangled Cross-Attention Editing in Text-to-Image Diffusion Models
Virginia Tech（弗吉尼亚理工大学）
本文提出MIST方法，通过解耦编辑交叉注意力图来缓解文本到图像扩散模型中的交叉性偏见，无需额外参考图像且保持原始生成质量，并在多种属性上超越现有去偏方法。
2024-03-28 cs.CV
DEMO: Disentangled Motion Latent Flow Matching for Fine-Grained Controllable Talking Portrait Synthesis
College of Artificial Intelligence and Automation, Hohai University（人工智能与自动化学院，河海大学）；College of DaYu, Hohai University（大禹学院，河海大学）；College of Water Conserwancy and Hydropower Engineering, Hohai University（水利水电工程学院，河海大学）；College of Computer Science and Technology, Zhejiang University of Technology（计算机科学与技术学院，浙江工业大学）
提出DEMO框架，通过运动自编码器构建解耦潜空间并结合流匹配生成模型，实现音频驱动说话人肖像视频中唇部、头部姿态和视线的高保真细粒度控制。
2025-10-12 cs.AI cs.CV
TurboEdit: Instant text-based image editing
Adobe Research（奥多比研究院）
本研究针对少步数扩散模型的精确图像反演与解耦编辑难题，提出基于编码器的迭代反演技术TurboEdit，可通过修改文本提示属性实现快速编辑，反演仅需8次NFE、每次编辑仅4次NFE，性能优于现有多步扩散编辑方法。
2024-08-14 cs.CV cs.LG
Vectorized Video Representation with Easy Editing via Hierarchical Spatio-Temporally Consistent Proxy Embedding
Shanghai Jiao Tong University（上海交通大学）；USC-SJTU Institute of Cultural and Creative Industry（USC-SJTU文化创意产业研究院）
本文提出一种基于层次化时空一致代理嵌入的向量化视频表示方法，以克服像素级跟踪的脆弱性，实现高精度重建与可控编辑。
2025-10-14 cs.CV
Temporally Consistent Object Editing in Videos using Extended Attention
Concordia University（康考迪亚大学）；Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）
提出一种基于预训练图像修复扩散模型的视频编辑方法，通过扩展注意力模块建立帧级依赖，确保局部编辑在所有帧中时间一致，在对象重定向、替换和移除任务上表现优越。
2024-06-01 cs.CV
A Temporally Disentangled Contrastive Diffusion Model for Spatiotemporal Imputation
School of Computer Science, University of Technology Sydney（悉尼科技大学计算机科学学院）；School of Computer Science and Technology, Zhejiang Normal University（浙江师范大学计算机科学与技术学院）；Department of Computer Science and Engineering, University of California, San Diego（加利福尼亚大学圣地亚哥分校计算机科学与工程学院）
针对时空数据填补中传统方法依赖分布假设、循环网络易误差累积及扩散模型生成不稳定的问题，提出条件扩散框架C$^2$TSD，利用解耦的时间表示作为条件信息并结合对比学习提升泛化能力，在三个真实数据集上优于多个基线。
2024-03-22 cs.LG
Unsupervised Discovery of Disentangled Manifolds in GANs
University of California at Merced（加州大学默塞德分校）
由于最近的生成模型可以生成照片般逼真的图像，人们试图了解生成过程背后的机制。可解释的生成过程有利于各种图像编辑应用。在这项工作中，我们提出了一个框架，发现潜在空间中的任意预训练的生成对抗网络可解释的方向。我们建议学习从表示不同属性的先前独热向量到预训练模型使用的潜在空间的转换。此外，我们应用一个质心损失函数，以提高一致性和平滑性，同时通过不同的方向遍历。我们证明了所提出的框架在广泛的数据集上的有效性。所发现的方向向量被示出为在视觉上对应于各种不同的属性，并且因此使得能够进行属性编辑。
2020-11-29 cs.CV
ChordVideo: One-Step, Training-Free, Temporally Consistent Video Editing via Low-Energy Transport
ChordVideo扩展低能量原理到视频时间，通过共享噪声等技术解决ChordEdit的视频编辑时间问题，在TGVE/DAVIS上多指标提升，步数远少于多步编辑器
2026-08-04 cs.CV
VALA: Learning Latent Anchors for Training-Free and Temporally Consistent
本文提出VALA变分对齐模块，自适应选择关键帧并压缩为潜在锚点，以对比学习实现免训练视频编辑的时间一致性，在基准上达到最先进性能。
2025-10-27 cs.CV
InterFaceGAN: Interpreting the Disentangled Face Representation Learned by GANs
the Chinese University of Hong Kong（香港中文大学）
虽然生成对抗网络（GANs）在人脸合成方面取得了重大进展，但人们对GANs在潜在表示中学到了什么缺乏足够的理解，无法将随机代码映射到照片般逼真的图像。在这项工作中，我们提出了一个框架称为InterFaceGAN来解释解纠缠的面部表示学习的最先进的GAN模型和研究的属性的面部语义编码的潜在空间。我们首先发现GANs在潜在空间的一些线性子空间中学习各种语义。在识别出这些子空间之后，我们可以真实地操纵相应的面部属性，而无需重新训练模型。然后，我们对不同语义之间的相关性进行了详细的研究，并通过子空间投影来更好地解开它们，从而更精确地控制属性操作。除了操纵性别，年龄，表情和眼镜的存在，我们甚至可以改变面部姿势并修复GANs意外制造的工件。此外，我们进行了深入的人脸身份分析和逐层分析，以定量评估编辑结果。最后，我们采用GAN反演方法，并根据InterFaceGAN建立的合成数据明确训练前馈模型，将我们的方法应用于真实人脸编辑。大量的实验结果表明，学习合成脸自发带来了一个解开和可控的脸表示。
2020-10-29 cs.CV cs.LG eess.IV
Semantic Unfolding of StyleGAN Latent Space
InterDigital, Inc.（InterDigital公司）
生成对抗网络（GANs）已被证明通过反转和操纵与输入真实图像对应的潜码来进行图像编辑是非常有效的。这种编辑特性来自潜在空间的非纠缠性质。在本文中，我们发现，面部属性解纠缠不是最佳的，因此，依赖于线性属性分离的面部编辑是有缺陷的。因此，我们提出了改进语义与监督的脱钩。我们的方法包括使用规范化流学习代理潜在表示，我们证明了这会导致更有效的人脸图像编辑空间。
2022-06-29 cs.CV cs.LG
Lasagna: Layered Score Distillation for Disentangled Object Relighting
Adobe（奥多比）
本文提出 Lasagna 方法，通过分层得分蒸馏从微调扩散模型中学习光照先验，并构建合成数据集 ReLiT，实现保持图像其他方面一致的文本引导物体重光照，在真实图像上优于现有方法。
2023-11-30 cs.CV
Ground-A-Video: Zero-shot Grounded Video Editing using Text-to-image Diffusion Models
Kim Jaechul Graduate School of AI, KAIST（韩国科学技术院金在哲人工智能研究生院）
本文提出Ground-A-Video框架，通过跨帧门控注意力、调制交叉注意力和光流引导平滑，以零样本方式实现时间一致的多属性视频编辑，在编辑准确性和帧一致性上优于基线方法。
2024-02-24 cs.AI cs.CV cs.LG
Videoshop: Localized Semantic Video Editing with Noise-Extrapolated Diffusion Inversion
University of Washington（华盛顿大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术学院）
本文提出免训练算法 Videoshop，通过噪声外推扩散反演将首帧局部编辑语义一致地传播到全视频，并在两项基准、十项指标上优于六个基线。
2024-10-24 cs.AI cs.CV cs.LG
Everything is There in Latent Space: Attribute Editing and Attribute Style Manipulation by StyleGAN Latent Space Exploration
Indian Institute of Science（印度科学学院）；Samsung Research India（三星印度研究院）
使用最新的生成对抗网络（GANs），现在可以实现具有高度真实感的无约束图像生成。然而，生成具有给定属性集的图像是相当具有挑战性的。最近的方法使用基于样式的GAN模型来通过利用存在于生成器的层中的语义层次结构来执行图像编辑。我们提出了Few-Shot基于潜在空间的属性操作和编辑（FLAME），一个简单而有效的框架来执行高度控制的图像编辑潜在空间操作。具体来说，我们估计潜在空间（预先训练的StyleGAN）中的线性方向，该空间控制生成图像中的语义属性。与以前依赖于大规模属性标记数据集或属性分类器的方法相比，FLAME使用对少数策划图像对的最小监督来估计解纠缠的编辑方向。FLAME可以在保留身份的同时，对不同的图像集进行高精度的单独和顺序编辑。此外，我们提出了一个新的任务属性样式操作，以产生不同的风格属性，如头发和头发。我们首先编码一组合成图像的同一身份，但具有不同的属性风格的潜在空间估计的属性风格流形。从该流形中采样新的潜在项将在生成的图像中产生新的属性样式。我们提出了一种新的采样方法来从流形中对潜在样本进行采样，使我们能够生成一组不同的属性样式，超出了训练集中存在的样式。FLAME可以以一种分离的方式生成不同的属性样式。我们通过大量的定性和定量比较说明了FLAME对以前的图像编辑方法的优越性能。FLAME还可以很好地概括汽车和教堂等多个数据集。
2022-07-20 cs.AI cs.CV
Towards Disentangling Latent Space for Unsupervised Semantic Face Editing
Pengcheng Laboratory（鹏城实验室）；Shenzhen University（深圳大学）；University of Nottingham（诺丁汉大学）
StyleGAN生成的图像中的面部属性在潜在空间中纠缠在一起，这使得在不影响其他属性的情况下独立控制特定属性变得非常困难。受监督的属性编辑需要带注释的训练数据，这很难获得，并且将可编辑属性限制为具有标签的属性。因此，在一个分离的潜在空间中进行无监督的属性编辑是执行整洁和通用的语义人脸编辑的关键。在本文中，我们提出了一种新的技术，称为结构-纹理独立架构与权重分解和正交正则化（STIA-WO）解开潜在的空间无监督语义人脸编辑。将STIA-WO应用到GAN中，提出了一种StyleGAN STGAN-WO。STGAN-WO利用风格向量进行权值分解，构造完全可控的权值矩阵来调节图像合成，并采用正交正则化方法保证风格向量的每一项只控制一个独立的特征矩阵。为了进一步理清面部属性，STGAN-WO引入了结构-纹理独立架构，其利用两个独立且同分布（i.i.d.）潜在的矢量控制的纹理和结构成分的合成在一个解开的方式。无监督语义编辑是通过沿其正交方向移动粗层中的潜在代码来改变纹理相关属性或改变细层中的潜在代码来操纵结构相关属性。我们目前的实验结果表明，我们的新STGAN-WO可以实现更好的属性编辑比最先进的方法。
2021-07-19 cs.CV
VIVE3D: Viewpoint-Independent Video Editing using 3D-Aware GANs
Meta Reality Labs Research（Meta现实实验室）；KAUST（阿卜杜拉国王科技大学）
我们介绍了VIVE 3D，这是一种新颖的方法，它将基于图像的3D GANs的功能扩展到视频编辑，并且能够以保持身份和时间一致的方式表示输入视频。我们提出了两个新的组成部分。首先，我们介绍了一种新的GAN反演技术，专门针对3D GANs，通过联合嵌入多帧和优化相机参数。其次，除了传统的语义面部编辑（例如年龄和表情）之外，我们是第一个展示通过3D GANs的固有属性和我们的光流引导合成技术将头部与背景视频结合起来的头部新视图的编辑。我们的实验表明，VIVE3D从一系列相机视点生成高保真度的面部编辑，这些视点以时间和空间一致的方式与原始视频合成。
2023-03-28 cs.CV cs.GR cs.LG
ProxyImg: Towards Highly-Controllable Image Representation via Hierarchical Disentangled Proxy Embedding
Shanghai Jiao Tong University（上海交通大学）；Huawei Cloud BU（华为云业务部）
ProxyImg通过分层解耦代理嵌入实现高度可控的图像表示，支持高效、细粒度的图像和视频编辑与实时物理动画。
2026-02-02 cs.CV
Isometric Representation Learning for Disentangled Latent Space of Diffusion Models
Seoul National University（首尔大学）；Google Research（谷歌研究院）
针对扩散模型潜在空间纠缠和映射畸变问题，提出等距扩散方法，通过几何正则化器学习解纠缠潜在空间，实现更平滑插值、更精确反演和更精细属性控制，实验验证有效。
2024-07-16 cs.CV cs.LG
Exemplar-based Generative Facial Editing
School of Computer and Information Technology, Beijing Jiaotong University（北京交通大学计算机与信息技术学院）
随着生成模型的不断发展，图像合成技术得到了长足的进步。本文提出了一种新的基于样本的面部编辑生成方法，其形式为区域修复。该方法首先对人脸编辑区域进行掩模，消除原始图像的像素约束，然后通过学习参考图像中的相应信息完成掩模区域，从而实现基于样本的人脸编辑。此外，我们施加的属性标签约束模型解纠缠编码，以避免不必要的信息被转移到原始图像编辑区域的样本。实验结果表明，我们的方法可以产生多样化和个性化的人脸编辑结果，并提供更多的用户控制的灵活性比几乎所有现有的方法。
2020-05-31 cs.CV
FacialFilmroll: High-resolution multi-shot video editing
InterDigital R&I（InterDigital研究与创新）
我们提出FacialFilmroll，一个解决方案，用于在一个或多个镜头中对面部进行空间和时间一致的编辑。我们在展开马赛克的基础上[Rav-Acha et al. 2008]，将其专门用于面。我们利用最近的技术来适应单眼视频的3D人脸模型，以（i）提高编辑马赛克的质量，（ii）允许编辑从一个镜头自动转移到同一演员的其他镜头。我们解释了FacialFilmroll如何集成到后期制作设施中。最后，我们使用FacialFilmroll在高分辨率视频上呈现视频编辑结果。
2021-11-17 cs.CV cs.LG
FreeInsert: Disentangled Text-Guided Object Insertion in 3D Gaussian Scene without Spatial Priors
Tianjin University（天津大学）；University of Trento（特伦托大学）
FreeInsert提出利用MLLM、LGM和扩散模型将物体生成与空间放置解耦，在无需2D掩码或3D边界框等空间先验的条件下，实现语义连贯、空间精确且视觉逼真的3D场景物体插入。
2025-11-08 cs.CV
Interpreting the Latent Space of GANs for Semantic Face Editing
The Chinese University of Hong Kong（香港中文大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
尽管最近生成对抗网络（GANs）在高保真图像合成方面取得了进展，但人们对GANs如何将从随机分布中采样的潜在代码映射到照片般逼真的图像缺乏足够的理解。以前的工作假设GANs学习的潜在空间遵循分布式表示，但观察到向量算术现象。在这项工作中，我们提出了一个新的框架，称为InterFaceGAN，通过解释GANs学习的潜在语义来进行语义人脸编辑。在这个框架中，我们进行了详细的研究如何不同的语义编码的潜在空间的GANs的人脸合成。我们发现，经过良好训练的生成模型的潜在代码实际上在线性变换后学习了一个解纠缠的表示。我们探讨了各种语义之间的解纠缠，并设法与子空间投影解耦一些纠缠的语义，从而更精确地控制面部属性。除了操纵性别、年龄、表情和眼镜的存在，我们甚至可以改变面部姿势，并修复GAN模型意外生成的伪影。当与GAN反演方法或一些编码器相关模型结合时，所提出的方法进一步应用于实现真实图像操作。大量的研究结果表明，学习合成脸自发地带来了一个解开和可控的面部属性表示。
2020-03-31 cs.CV
DisCoScene: Spatially Disentangled Generative Radiance Fields for Controllable 3D-aware Scene Synthesis
CUHK（香港中文大学）；Snap Inc.（Snap公司）；HKUST（香港科技大学）；ZJU（浙江大学）；KAUST（阿卜杜拉国王科技大学）；UCLA（加州大学洛杉矶分校）
现有的3D感知图像合成方法主要集中在生成一个单一的标准对象，并显示有限的能力，组成一个复杂的场景包含各种对象。本文介绍了一种用于高质量和可控场景合成的3Daware生成模型DisCoScene。我们的方法的关键成分是一个非常抽象的对象级表示（即，无语义标注的3D边界框）作为场景布局先验，其获得简单，通用于描述各种场景内容，并且还提供信息以解开对象和背景。此外，它还可以作为场景编辑的直观用户控件。基于这样的先验知识，该模型通过仅在具有全局-局部鉴别的2D图像上进行学习，将整个场景在空间上分解为以对象为中心的生成辐射场。我们的模型获得了单个对象的生成保真度和编辑灵活性，同时能够有效地将对象和背景组合成一个完整的场景。我们在许多场景数据集上展示了最先进的性能，包括具有挑战性的Waymo户外数据集。项目页面：https://snap-research.github.io/discoscene/
2022-12-22 cs.CV
Instruct 4D-to-4D: Editing 4D Scenes as Pseudo-3D Scenes Using 2D Diffusion
Zhejiang University（浙江大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出 Instruct 4D-to-4D，将4D场景视为伪3D场景，结合增强IP2P、光流传播与深度投影，实现时空一致的高质量指令引导动态场景编辑。
2024-06-13 cs.AI cs.CV cs.LG
CDST: Color Disentangled Style Transfer for Universal Style Reference Customization
ByteDance（字节跳动）
介绍CDST这种新颖高效的双流风格迁移训练范式，能分离颜色与风格，推理时免调参实现通用风格迁移，首次免调参解决带风格和内容参考的特征保留风格迁移问题，实验证明效果达最优。
2026-07-07 cs.CV
Precise Editing and Flexible Referencing for Interactable Worlds
Nanyang Technological University（南洋理工大学）；StepFun
EditWorld通过门控因果注意力和稀疏上下文机制，实现可交互世界中的精确编辑与灵活引用，在WBench-Editing上以73.8总分和80.0编辑分领先。
2026-09-29 cs.AI cs.CV
Follow Your Motion: A Generic Temporal Consistency Portrait Editing Framework with Trajectory Guidance
提出一种通用肖像编辑框架FYM，利用扩散模型学习运动轨迹并引入动态重加权注意力机制，以解决说话头编辑中的时间一致性问题，优于现有方法。
2025-03-28 cs.CV
GuidedStyle: Attribute Knowledge Guided Style Manipulation for Semantic Face Editing
Shenzhen University（深圳大学）
虽然无条件生成对抗网络（GANs）在合成高质量和视觉逼真的人脸图像方面取得了重大进展，但仍然缺乏对生成过程的控制，以实现语义人脸编辑。此外，在编辑目标属性时保持其他人脸信息不变仍然是非常具有挑战性的。在本文中，我们提出了一个新的学习框架，称为GuidedStyle，通过用知识网络指导图像生成过程，在StyleGAN上实现语义人脸编辑。此外，我们允许在StyleGAN生成器中的注意力机制自适应地选择单个层进行样式操作。因此，我们的方法能够沿着各种属性执行分离和可控的编辑，包括微笑，眼镜，性别，胡子和头发颜色。定性和定量的结果表明，我们的方法优于其他竞争方法的语义人脸编辑。此外，我们表明，我们的模型也可以应用于不同类型的真实和艺术的人脸编辑，表现出很强的泛化能力。
2020-12-22 cs.CV
Neural Face Editing with Intrinsic Image Disentangling
Stony Brook University（石溪大学）；Adobe Research（Adobe研究院）；CentraleSupélec, Université Paris-Saclay（巴黎萨克雷大学中央理工-高等电力学院）
传统的人脸编辑方法通常需要一个接一个地应用许多复杂的和特定于任务的算法--这是一个繁琐、脆弱和计算密集的过程。在本文中，我们提出了一个端到端的生成对抗网络，该网络推断出面部特定的内在面部属性的非纠缠表示，包括形状（即法线），亮度和光照，以及alpha蒙版。我们表明，该网络可以通过将网络中基于物理的图像形成模块和适当的损失函数在“野外”图像上进行训练。我们解开潜在的表示允许语义相关的编辑，其中一个方面的面部外观可以操纵，同时保持正交属性固定，我们证明了它的使用，一些面部编辑应用程序。
2017-04-13 cs.CV
Exploring Low-Dimensional Subspaces in Diffusion Models for Controllable Image Editing
本文通过分析扩散模型中后验均值预测器的局部线性和Jacobian奇异向量的低维特性，提出无需训练的LOCO Edit方法，实现精准局部图像编辑，并扩展至文本监督下的图像编辑。
2026-03-14 cs.CV cs.LG
Latent Transformations via NeuralODEs for GAN-based Image Editing
Yandex Skolkovo Institute of Science Technology (Skoltech)（亚斯科尔科沃科学技术研究所（斯科尔科沃科技学院））；National Research University Higher School of Economics（俄罗斯国家研究型高等经济大学）
高保真语义图像编辑的最新进展在很大程度上依赖于最先进的生成模型（如StyleGAN）的潜在空间。具体来说，最近的工作表明，通过线性位移和潜在方向可以实现人脸图像属性的良好可控性。最近的几种方法解决了这些方向的发现，隐含地假设最先进的GANs学习具有固有线性可分离属性分布和语义向量算术属性的潜在空间。在我们的工作中，我们表明，实现为可训练神经ODE流的非线性潜在代码操作对于许多具有更复杂的非纹理变化因素的实际非人脸图像域是有益的。特别是，我们调查了大量的数据集与已知的属性，并证明某些属性的操作是具有挑战性的，以获得线性移位。
2021-11-29 cs.CV cs.GR cs.LG
