NEP: Autoregressive Image Editing via Next Editing Token Prediction
State Key Laboratory of General Artificial Intelligence, BIGAI(一般人工智能国家重点实验室,BIGAI);Peking University(北京大学)
针对现有图像编辑方法重建全图导致的计算成本高和非编辑区域偏差问题,提出基于自回归的下一编辑token预测(NEP)方法,通过预训练任意顺序T2I模型实现零样本局部区域编辑,达到SOTA水平并支持测试时缩放。
2025-10-11 cs.CV
Edit-GRPO: A Locality-Preserving Policy Optimization Framework for Image Editing
Alibaba Group(阿里巴巴集团)
本文提出Edit-GRPO框架,通过分离编辑与保留目标,解决图像编辑中保持局部性与全局一致性的问题,提升编辑效果并减少上下文扭曲等常见伪影。
2026-05-16 cs.CV
Can We Perform Online RL for Image Editing without Editing Rewards?
本文提出Lever-Edit框架,将文本到图像(T2I)奖励生态系统迁移至图像编辑,在无编辑奖励的情况下优化编辑策略,实验效果优于直观迁移基线且接近基于编辑奖励的微调。
2026-08-25 cs.CV
EditCast3D: Single-Frame-Guided 3D Editing with Video Propagation and View Selection
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Michigan State University(密歇根州立大学)
EditCast3D提出利用视频生成模型从单帧传播编辑至整个数据集,并通过视角选择策略确保一致性,实现高效高质量的三维编辑,减少对昂贵图像编辑的依赖。
2025-10-11 cs.CV
FlowAnchor: Stabilizing the Editing Signal for Inversion-Free Video Editing
MIPG, Communication University of China(信息与通信大学)
本文提出FlowAnchor框架,通过稳定编辑信号实现高效的无反向视频编辑,解决多目标场景和高速运动中的稳定性问题。
2026-04-24 cs.CV
FREE-Edit: Using Editing-aware Injection in Rectified Flow Models for Zero-shot Image-Driven Video Editing
The University of Hong Kong(香港大学);International Digital Economy Academy (IDEA)(国际数字经济学院(IDEA))
本文提出FREE-Edit框架,通过编辑感知注入提升图像驱动视频编辑效果,无需微调即可在多种场景中生成高质量输出。
2026-03-22 cs.CV
AnyEdit: Mastering Unified High-Quality Image Editing for Any Idea
Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学);Ant Group(蚂蚁集团)
本文提出AnyEdit数据集及基于扩散的统一图像编辑模型,通过任务感知路由和可学习任务嵌入,在三个基准上显著提升编辑性能。
2025-03-29 cs.CV
Free-Editor: Zero-shot Text-driven 3D Scene Editing
University of Central Florida(中佛罗里达大学);Wayne State University(韦恩州立大学)
针对现有3D场景编辑需重训练模型、存在多视图不一致的问题,提出免训练的Free-Editor技术,通过单视图编辑和Edit Transformer实现高效一致的文本驱动3D场景编辑,速度达SOTA方法的20倍。
2024-07-14 cs.CV
h-Edit: Effective and Flexible Diffusion-Based Editing via Doob's h-Transform
本文提出基于Doob的h-变换的扩散图像编辑框架h-Edit,将样本更新分解为重建项和编辑项,实现灵活的免训练复杂编辑,性能优于现有基线。
2025-03-04 cs.CV
AdapEdit: Spatio-Temporal Guided Adaptive Editing Algorithm for Text-Based Continuity-Sensitive Image Editing
Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Nankai University(南开大学)
针对现有文本驱动图像编辑方法多聚焦硬编辑、忽略软编辑的问题,提出无需训练微调的时空引导自适应编辑算法AdapEdit,通过软注意力策略动态调整编辑引导程度,性能显著优于现有方法。
2023-12-24 cs.CV
Visual Instruction Inversion: Image Editing via Visual Prompting
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出视觉指令反演方法,通过将视觉提示反演为编辑指令,利用预训练扩散模型实现基于单对示例的图像编辑,达到与最先进文本条件编辑框架相当的性能。
2023-07-26 cs.CV
SHAP-EDITOR: Instruction-guided Latent 3D Editing in Seconds
University of Oxford(牛津大学)
本研究提出Shap-Editor前馈3D编辑框架,基于Shap-E潜在空间实现秒级指令引导3D编辑,泛化性好且性能与需测试时优化的方法相当。
2023-12-14 cs.CV
Feedforward 3D Editing Learns from Semantic-Part Transformation
Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学)
提出Pxform数据集和PartFlow网络,通过语义部分变换实现高质量前馈3D编辑,在几何和外观编辑基准上达到最优性能。
2026-07-29 cs.CV
Edit3K: Universal Representation Learning for Video Editing Components
ByteDance Inc.(字节跳动公司);University of Chinese Academy of Sciences(中国科学院大学);Institute of Software Chinese Academy of Sciences(中国科学院软件研究所)
本文提出Edit3K数据集和一种关注编辑组件外观的表示学习方法,用于视频编辑组件的通用表示,在检索、识别和转场推荐任务上取得最优结果。
2025-02-25 cs.CV
An Item is Worth a Prompt: Versatile Image Editing with Disentangled Control
Yale University(耶鲁大学);National University of Singapore(新加坡国立大学);Collov Labs(科洛弗实验室)
提出D-Edit框架,通过解耦图像-提示交互为物品-提示关联,支持基于图像、文本、掩码编辑及物品移除的统一多功能图像编辑。
2025-01-26 cs.CV
EffiVED:Efficient Video Editing via Text-instruction Diffusion Models
Alibaba Group(阿里巴巴集团)
本文提出基于扩散模型的高效视频编辑模型EffiVED,通过两种工作流收集数据构建高质量训练集,实现无需逐视频微调的指令引导视频编辑,在保证高质量的同时实现快速执行。
2024-06-05 cs.CV
FlowMimic: Mask-free Visual Editing and Generation with Pixel-pair Warped Flow Field for Online Video Editing Data Generation and Modality Mimicry
研究探索在单一模型中整合视频和图像模态的生成与编辑能力,开发像素对时间扭曲流场实时生成视频编辑样本,设计模态模仿损失对齐模态能力,引入相关任务及损失让模型内化基于语言的视觉编辑能力。
2026-09-23 cs.CV
EditCrafter: Tuning-free High-Resolution Image Editing via Pretrained Diffusion Model
NC AI;Medipixel, Inc.(Medipixel公司);EverEx
本文提出EditCrafter,利用预训练文本到图像扩散模型实现无需调优的高分辨率图像编辑,解决了传统方法在处理任意宽高比和高分辨率图像时的局限性。
2026-04-11 cs.CV
A Benchmark and Baseline for Language-Driven Image Editing
University of Rochester(罗切斯特大学);Adobe Research(奥多比研究院)
图像驱动的图像编辑可以大大节省图像编辑的繁琐工作,对摄影新手也很友好。然而,大多数类似的工作只能处理特定的图像域或只能做全局修饰。为了解决这个新的任务,我们首先提出了一个新的语言驱动的图像编辑数据集,支持本地和全局编辑与编辑操作和掩模注释。此外,我们还提出了一种基线方法,充分利用注释来解决这个问题。我们的新方法把每个编辑操作作为一个子模块,并能自动预测操作参数。这种方法不仅在具有挑战性的用户数据上表现良好,而且具有高度的可解释性。我们相信我们的工作,包括基准和基线,将推动图像编辑领域朝着更通用和自由的方向发展。
2020-10-05 cs.CV
MultiEdit: Advancing Instruction-based Image Editing on Diverse and Challenging Tasks
University of New South Wales(新南威尔士大学);The University of Hong Kong(香港大学);Zhejiang University(浙江大学);Westlake University(西湖大学)
MultiEdit构建了超107K样本的综合图像编辑数据集,覆盖6类挑战性任务,并利用双MLLM流程生成高质量编辑数据,微调后显著提升开源模型在复杂编辑任务上的表现。
2025-09-18 cs.CV
InsEdit: Towards Instruction-based Visual Editing via Data-Efficient Video Diffusion Models Adaptation
The Hong Kong University of Science and Technology(香港科技大学);Celia Research HK;City University of Hong Kong(香港城市大学)
本文提出InsEdit,基于HunyuanVideo-1.5构建指令式编辑模型,结合Mutual Context Attention机制,仅需少量视频编辑数据即可实现高质量视频编辑,并支持图像编辑。
2026-04-09 cs.CV
Learning Feature-Preserving Portrait Editing from Generated Pairs
University of Washington(华盛顿大学);ByteDance(字节跳动)
本文提出一种基于自动生成配对数据的训练方法,利用Multi-Conditioned Diffusion Model和推理时的编辑掩码引导,在实现高质量人像编辑的同时有效保留主体特征。
2024-07-29 cs.CV
UltraEdit: Instruction-based Fine-Grained Image Editing at Scale
Peking University(北京大学);Tsinghua University(清华大学);BIGAI(北京智源人工智能研究院)
提出大规模自动生成数据集UltraEdit,通过真实图像与LLM创造力支持细粒度指令与区域编辑,显著提升扩散模型在MagicBrush和Emu-Edit基准上的表现。
2024-12-19 cs.CV
UniEdit: A Unified Tuning-Free Framework for Video Motion and Appearance Editing
Zhejiang University(浙江大学);Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学)
本文提出免调优框架 UniEdit,利用预训练文本到视频生成器及运动参考、重建分支与时空注意力注入,统一支持视频运动和外观编辑,并在实验中超过现有方法。
2024-04-07 cs.CV
CoCoEdit: Content-Consistent Image Editing via Region Regularized Reinforcement Learning
The Hong Kong Polytechnic University, Hong Kong(香港理工大学);OPPO Research Institute, ShenZhen, China(OPPO研究院,深圳,中国)
本文提出CoCoEdit框架,通过区域正则化强化学习提升图像编辑内容一致性,利用改进的指令和掩码生成高质量训练集,并引入像素相似度奖励和区域正则化器,提升编辑质量和一致性。
2026-05-14 cs.CV
Group Relative Attention Guidance for Image Editing
Tianjin University(天津大学);Kolors Team, Kuaishou Technology(快手科技Kolors团队)
GRAG通过组相对注意力机制实现对图像编辑强度的连续精细控制,无需额外调整。
2025-11-28 cs.CV
Balancing Reconstruction and Editing Quality of GAN Inversion for Real Image Editing with StyleGAN Prior Latent Space
The University of Tokyo(东京大学);Microsoft Research Asia(微软亚洲研究院)
本文提出将 StyleGAN 的超球面先验空间 $\mathcal{Z}$ 与 $\mathcal{Z}^+$ 引入 GAN 反演,在保证真实图像重建质量的同时沿 $\mathcal{Z}^+$ 进行语义编辑,显著降低编辑失真。
2023-05-31 cs.CV
VideoHandles: Editing 3D Object Compositions in Videos Using Video Generative Priors
KAIST(韩国科学技术院);Adobe Research(奥多比研究院)
提出VideoHandles,一种无需训练的视频3D物体组合编辑方法,通过将生成模型特征提升至共享3D重建并编辑后投影回各帧,实现时间一致的3D位置编辑,优于图像编辑基线。
2025-03-27 cs.CV
TalkPhoto: A Versatile Training-Free Conversational Assistant for Intelligent Image Editing
School of Electronic and Computer Engineering, Peking University(电子与计算机工程学院,北京大学)
TalkPhoto通过对话交互实现无需训练的多功能图像编辑,利用提示模板分层调用现有高级编辑方法,提升编辑精度与质量。
2026-01-05 cs.CV
CoinVE-200K: A Large-Scale High-Quality Dataset for Compositional Instruction-Guided Video Editing
Tencent(腾讯)
本文提出用于组合式指令引导视频编辑的大规模高质量数据集CoinVE-200K,构建基准CoinVE-Bench及22B参数模型CoinVE-Edit,在基准测试中表现优异。
2026-08-26 cs.CV
Audio-Guided Visual Editing with Complex Multi-Modal Prompts
MAUM AI Inc.(MAUM AI公司);Artificial Intelligence Graduate School UNIST(UNIST人工智能研究生学院)
本文提出一种无需额外训练的音频引导视觉编辑框架,利用零样本多模态编码器、分离噪声分支和自适应块选择,有效融合文本与音频提示,解决复杂多模态编辑任务。
2025-08-28 cs.CV
Editable Generative Adversarial Networks: Generating and Editing Faces Simultaneously
Yonsei University(延世大学)
我们提出了一个新的框架,同时生成和操纵所需属性的人脸图像。虽然最先进的属性编辑技术在创建逼真的属性效果方面取得了令人印象深刻的性能,但它们仅解决图像编辑问题,使用输入图像作为模型的条件。最近,一些研究试图使用单一的解决方案来解决新的人脸生成和属性编辑问题。然而,其图像质量仍然不令人满意。我们的目标是开发一个统一的模型,可以同时创建和编辑具有所需属性的高质量人脸图像。我们的工作的一个关键思想是,我们将图像分解成低维表示的潜在和属性向量,然后利用GAN框架将低维表示映射到图像。通过这种方式,我们可以通过学习生成器来解决生成和编辑问题。对于定性和定量评估,该算法优于最近的算法解决同样的问题。此外,我们表明,我们的模型可以实现具有竞争力的性能与国家的最先进的属性编辑技术的属性编辑质量。
2018-07-20 cs.CV
Custom-Edit: Text-Guided Image Editing with Customized Diffusion Models
Seoul National University(首尔国立大学);NAVER AI Lab(NAVER人工智能实验室)
本文提出Custom-Edit方法,通过少量参考图像定制扩散模型并结合增强提示进行文本引导编辑,在保持源图像相似性的同时显著提升参考相似性。
2023-05-25 cs.CV
Transforming Image Editors into Video Editors
ByteDance Seed(字节跳动Seed);Johns Hopkins University(约翰斯·霍普金斯大学)
该研究提出基于锚点的视频编辑框架AVE,通过将强大图像编辑器转换为视频编辑器,在IVEBench和VIE-Bench上实现了指令遵循、时间一致性等方面的良好性能,为视频编辑提供了低成本替代方案。
2026-10-09 cs.CV
When Text-to-Image Helps Editing: The Effects of Conditioning During Denoising
HSE University(高等经济大学);Yandex
该研究提出任务切换方法,让统一编辑模型在去噪过程中利用文生图能力,在三个编辑器和四个基准上提升了编辑质量,同时保持感知保留度。
2026-10-02 cs.CV
Optimal Transport for Rectified Flow Image Editing: Unifying Inversion-Based and Direct Methods
Department of Computer Science, University of Bucharest(计算机科学系,布加勒斯特大学)
本文提出统一最优传输框架,同时改进整流流图像编辑中基于反演和无需求逆两类方法,在重建保真度、结构保持与编辑可控性上均取得显著提升。
2025-09-20 cs.CV
EditCLIP: Representation Learning for Image Editing
KAUST(阿卜杜拉国王科技大学)
EditCLIP通过联合编码图像对学习编辑表示,用于范例式编辑和自动化评估,性能优于现有方法且与人类判断更一致。
2025-03-26 cs.CV
Edit-Compass & EditReward-Compass: A Unified Benchmark for Image Editing and Reward Modeling
HDU(杭州大学);PKU(北京大学);Kling Team(Kling团队);CASIA(中国科学院自动化研究所)
本文提出Edit-Compass和EditReward-Compass,通过精细多维评估框架和真实奖励建模场景,解决现有图像编辑和奖励模型评估中的不足。
2026-10-06 cs.CV
IDAG-Edit: Multi-Object Video Editing via Instance-Decoupled Attention and Guidance
Department of Computer Science, National Yang Ming Chiao Tung University, Taiwan(台湾阳明交通大学计算机科学系)
提出IDAG-Edit框架,通过布局引导注意力调制和实例级掩码实现无训练的多对象视频编辑,解决注意力泄露和身份漂移问题,提升时间一致性和多对象可控性。
2026-06-23 cs.CV
StyleBooth: Image Style Editing with Multimodal Instruction
Tongyi Lab, Alibaba Group(阿里巴巴集团通义实验室)
StyleBooth提出统一文本与图像指令的扩散模型框架,并构建高质量风格编辑数据集,实现文本、示例及组合式风格编辑,实验证明数据质量显著提升内容保持与生成质量。
2024-12-15 cs.CV
Self-supervised Deformation Modeling for Facial Expression Editing
Stony Brook University(石溪大学)
深度生成模型的最新进展在照片级逼真的面部图像合成和编辑方面取得了令人印象深刻的结果。面部表情本质上是肌肉运动的结果。然而,现有的基于神经网络的方法通常只依赖于纹理生成来编辑表情,而在很大程度上忽略了运动信息。在这项工作中,我们提出了一种新的端到端网络,将面部编辑任务分解为两个步骤:“运动编辑”步骤和“纹理编辑”步骤。在“运动编辑”步骤中,我们通过图像变形明确地对面部运动建模,将图像扭曲成所需的表情。在“纹理编辑”步骤中,我们生成必要的纹理,如牙齿和阴影效果,以获得照片般逼真的效果。我们基于物理的任务分解系统设计允许每一步学习一个集中的任务,消除了生成纹理以产生幻觉运动的需要。我们的系统以自我监督的方式进行训练,不需要地面真实变形注释。使用动作单元[8]作为面部表情的表示,我们的方法在定性和定量评估方面提高了最先进的面部表情编辑性能。
2019-11-05 cs.CV
SEED-Data-Edit Technical Report: A Hybrid Dataset for Instructional Image Editing
Tencent AI Lab(腾讯 AI 实验室);ARC Lab(ARC 实验室);Tencent PCG(腾讯平台与内容事业群)
本文提出用于指令式图像编辑的混合数据集 SEED-Data-Edit,融合自动化、真实场景与人工多轮编辑数据,并通过微调统一理解与生成的 MLLM 验证其有效性。
2024-05-07 cs.CV
Consistent and Editable: A Balanced Framework for Text-Guided Video Editing
USTC(中国科学技术大学)
针对视频编辑中时间一致性和可编辑性难以平衡的问题,提出EquiEdit框架。通过时间Mamba模块增强时间一致性,设计基于频谱变换的噪声注入策略提升可编辑性,实验证明该方法有效。
2026-07-07 cs.CV
Enjoy Your Editing: Controllable GANs for Image Editing via Latent Space Navigation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
可控制的语义图像编辑使得用户能够通过几次点击来改变整个图像属性,渐渐的让夏天的景色看起来像是冬天拍的。用于此任务的经典方法使用生成对抗网络(GAN)来学习潜在空间和合适的潜在空间变换。然而,当前的方法经常遭受纠缠的属性编辑、全局图像身份改变和减少的照片真实感。为了解决这些问题,我们同时学习多个属性转换,将属性回归集成到转换函数的训练中,并应用内容损失和对抗性损失,以鼓励维护图像身份和照片真实感。我们提出了定量评价策略,测量可控编辑性能,不像以前的工作,主要集中在定性评价。我们的模型允许更好地控制单属性和多属性编辑,同时保持图像的身份和现实主义在变换过程中。我们提供了自然和合成图像的经验结果,强调我们的模型实现了最先进的性能,有针对性的图像操作。
2021-03-28 cs.CV
Refinement Is Inherently Editable: Training-Free Prompt-to-Prompt Image Editing with Generative Refinement Network
City University of Hong Kong (Dongguan)(香港城市大学(东莞));City University of Hong Kong(香港城市大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
RefineEdit提出一种无训练的图像编辑框架,通过全局细化二进制码耦合编辑定位与内容生成,在PIE-Bench上实现最佳背景保留和CLIP分数。
2026-09-28 cs.CV
Hyper-parameter tuning for text guided image editing
本文介绍文本引导图像编辑方法 Forgedit 的编辑流程,并给出高效调优超参数以获得理想编辑结果的方案。
2024-07-31 cs.CV
Fast Multi-view Consistent 3D Editing with Video Priors
The Hong Kong Polytechnic University(香港理工大学)
本文提出ViP3DE方法,利用视频生成模型的时间一致性先验,实现多视角一致的3D编辑,提升编辑质量和速度。
2025-12-01 cs.CV
Exemplar-based Generative Facial Editing
School of Computer and Information Technology, Beijing Jiaotong University(北京交通大学计算机与信息技术学院)
随着生成模型的不断发展,图像合成技术得到了长足的进步。本文提出了一种新的基于样本的面部编辑生成方法,其形式为区域修复。该方法首先对人脸编辑区域进行掩模,消除原始图像的像素约束,然后通过学习参考图像中的相应信息完成掩模区域,从而实现基于样本的人脸编辑。此外,我们施加的属性标签约束模型解纠缠编码,以避免不必要的信息被转移到原始图像编辑区域的样本。实验结果表明,我们的方法可以产生多样化和个性化的人脸编辑结果,并提供更多的用户控制的灵活性比几乎所有现有的方法。
2020-05-31 cs.CV
MIRA: Multimodal Iterative Reasoning Agent for Image Editing
University of Rochester(罗切斯特大学);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
MIRA通过多模态迭代推理代理提升图像编辑的语义一致性和感知质量,结合自研数据集和训练流程,实现与专有系统相当的性能。
2026-02-25 cs.CV
DreamVE: Unified Instruction-based Image and Video Editing
CUHK(香港中文大学);ByteDance Inc(字节跳动公司);HKUST(香港理工大学)
提出DreamVE,一个统一的基于指令的图像与视频编辑模型,采用两阶段训练策略和多样化数据合成流水线,基于SOTA T2V模型构建高效编辑框架,解决训练数据受限问题并提升编辑性能。
2025-08-08 cs.CV
Editing 3D Scenes via Text Prompts without Retraining
Beihang University(北京航空航天大学);Megvii(旷视科技);Google(谷歌);University of California, Merced(加州大学默塞德分校);Yonsei University(延世大学)
本文提出DN2N文本驱动三维场景编辑方法,通过利用二维图像编辑模型、过滤不一致图像并引入跨视图正则化,使NeRF模型无需重新训练即可实现多种编辑效果并泛化到新场景。
2023-11-30 cs.CV
Temporally Consistent Semantic Video Editing
University of Maryland, College Park(马里兰大学帕克分校);Virginia Tech(弗吉尼亚理工大学)
生成对抗网络(GANs)已经展示了令人印象深刻的图像生成质量和真实图像的语义编辑能力,例如,更改对象类、修改属性或传递样式。然而,将这些基于GAN的编辑独立地应用于每个帧的视频不可避免地会导致时间闪烁伪影。我们提出了一个简单而有效的方法,以促进时间相干视频编辑。我们的核心思想是通过优化潜在代码和预训练生成器来最大限度地减少时间光度不一致性。我们评估了我们在不同领域和GAN反演技术上的编辑质量,并显示了对基线的有利结果。
2022-06-21 cs.CV
EditVerse: Unifying Image and Video Editing and Generation with In-Context Learning
Adobe Research(Adobe研究院);CUHK(中国香港大学);Johns Hopkins University(约翰霍普金斯大学);Shenzhen Loop Area Institute(深圳河套学院)
本文提出EditVerse框架,通过统一token序列实现图像和视频生成编辑,利用自注意力机制实现跨模态知识迁移,实验表明其在视频编辑任务中达到SOTA水平。
2026-04-18 cs.CV
DNI: Dilutional Noise Initialization for Diffusion Video Editing
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出稀释噪声初始化(DNI)框架,通过向待编辑区域的潜在噪声添加额外噪声以软化结构刚性,实现扩散视频编辑中的非刚性编辑,如运动变化,实验证明其有效性。
2024-09-19 cs.CV