BrushEdit: All-In-One Image Inpainting and Editing
Peking University(北京大学);ARC Lab, Tencent PCG(腾讯PCG ARC实验室);The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学)
BrushEdit提出一种基于修复的指令引导图像编辑范式,通过智能体协作框架集成多模态大语言模型与双分支修复模型,实现自主、可交互的自由形式编辑,并在七项指标上表现优越。
2025-05-05 cs.AI cs.CV
3DiFACE: Diffusion-based Speech-driven 3D Facial Animation and Editing
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Microsoft Mixed Reality & AI Lab(微软混合现实与人工智能实验室);Technical University of Darmstadt(达姆施塔特工业大学)
3DiFACE提出一种轻量级音频条件扩散模型,解决语音驱动3D面部动画的一对多映射问题,支持随机生成与运动编辑,仅需短视频即可个性化微调,在保真度和多样性上超越现有方法。
2023-12-01 cs.AI cs.CV cs.GR
LooseControl: Lifting ControlNet for Generalized Depth Conditioning
KAUST(阿卜杜拉国王科技大学);University College London(伦敦大学学院);Adobe Research(奥多比研究公司)
本文提出 LooseControl,将 ControlNet 的精确深度引导扩展为场景边界与 3D 框等宽松深度条件,并支持框编辑和属性编辑,以更灵活地生成复杂环境。
2023-12-05 cs.CV cs.GR
Versatile Editing of Video Content, Actions, and Dynamics without Training
Google DeepMind(谷歌DeepMind);Technion -- Israel Institute of Technology(技术ion-以色列理工学院);The Weizmann Institute of Science(魏茨曼科学研究院)
本文提出DynaEdit方法,无需训练即可实现复杂的视频编辑,通过预训练文本到视频流模型,解决现有方法在编辑动作和动态事件时的局限性。
2026-03-18 cs.CV
Edit One for All: Interactive Batch Image Editing
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
针对批量图像需逐张编辑的问题,本文提出以 StyleGAN 为媒介,将用户在单张示例图上指定的交互式编辑自动迁移到整批图像,在保持视觉质量的同时提升一致性并节省人力。
2024-01-18 cs.CV
WeSCE: A Benchmark for Measuring Security Drift in LLM-Driven Code Editing
Zhejiang University(浙江大学)
该研究推出WeSCE基准,针对仅指定功能目标的弱安全约束下的代码编辑,提出连续风险表示与漂移度量,以量化代码编辑中的安全漂移,为安全评估提供多尺度视角。
2026-08-18 cs.AI cs.CR cs.SE
ParSEL: Parameterized Shape Editing with Language
Brown University(布朗大学)
本文提出ParSEL系统,利用大型语言模型和Analytical Edit Propagation算法,从自然语言请求生成参数化编辑程序,实现对高质量3D网格的精确可控编辑。
2024-05-31 cs.AI cs.CV cs.GR
ScribbleEdit: A Benchmark for Scribble-Only Image Editing
MIT(麻省理工学院);ByteDance(字节跳动);Michigan State University(密歇根州立大学)
针对现有模型难以理解涂鸦意图的问题,构建ScribbleEdit基准,并提出软标记基线方法,提升涂鸦图像编辑性能。
2026-10-08 cs.CV cs.GR
RNA: Video Editing with ROI-based Neural Atlas
POSTECH(浦项科技大学)
提出基于ROI的神经图谱(RNA)视频编辑框架,通过用户指定编辑区域省去前景分离与建模,并设计掩码细化方法和软神经图谱模型解决遮挡与重建问题,实现更高效高质量的视频编辑。
2024-10-10 cs.CV
NumeriKontrol: Adding Numeric Control to Diffusion Transformers for Instruction-based Image Editing
East China Normal University(华东师范大学);South China University of Technology(华南理工大学)
NumeriKontrol通过引入数字控制框架,实现基于指令的图像编辑中对编辑强度的精确控制,提升交互编辑的灵活性和精度。
2025-11-28 cs.CV
Iterative Motion Editing with Natural Language
Stanford University(斯坦福大学);Snap, Inc.(Snap公司)
本文提出一种使用自然语言迭代编辑角色动画的方法,通过运动学运动编辑算子(MEOs)和预训练语言模型将文本转换为关键帧约束,利用扩散模型生成符合编辑意图且忠实于原始动画的逼真运动。
2024-06-03 cs.CV cs.GR
Med-Banana: Learning Quality-Controlled Medical Image Editing from Success-and-Failure Trajectories
National University of Singapore(新加坡国立大学);The Chinese University of Hong Kong(香港中文大学);Harbin Institute of Technology(哈尔滨工业大学)
提出Med-Banana框架,通过收集成功与失败编辑轨迹数据集Med-Banana-80K,联合训练编辑器、验证器和优化器,实现质量可控的医学图像编辑。
2026-06-03 cs.CV cs.MM
Can We Perform Online RL for Image Editing without Editing Rewards?
本文提出Lever-Edit框架,将文本到图像(T2I)奖励生态系统迁移至图像编辑,在无编辑奖励的情况下优化编辑策略,实验效果优于直观迁移基线且接近基于编辑奖励的微调。
2026-08-25 cs.CV
CoEdIT: Text Editing by Task-Specific Instruction Tuning
Grammarly(Grammarly公司);University of Minnesota(明尼苏达大学)
CoEdIT是一个通过82K条任务特定指令微调的最先进文本编辑系统,在多个基准上表现优异,体积比最大LLM小60倍,且能泛化至未见和复合编辑指令。
2023-10-23 cs.AI cs.CL
Motion Guidance: Diffusion-Based Image Editing with Differentiable Motion Estimators
University of Michigan(密歇根大学)
针对扩散模型难以精确编辑图像中物体布局、姿态等的问题,提出零样本运动引导技术,通过光流网络梯度引导扩散采样,实现指定运动场的高质量图像运动编辑。
2024-01-31 cs.CV
Scaling Instruction-Based Video Editing with a High-Quality Synthetic Dataset
HKUST(香港科技大学);Ant Group(蚂蚁集团);Zhejiang University(浙江大学);Northeastern University(东北大学)
Ditto通过高效数据生成管道和智能代理,构建大规模高质量数据集,提升基于指令的视频编辑性能。
2025-12-17 cs.CV
Stealth edits to large language models
King’s College London(伦敦国王学院);University of Leicester(莱斯特大学);University of Edinburgh(爱丁堡大学)
该研究揭示大语言模型编辑的理论基础,提出基于特征固有维度指标的隐秘编辑方法与jet-pack网络模块,同时指出模型易受无需训练数据的隐秘攻击威胁,为模型编辑与安全防护提供新依据。
2024-10-30 cs.AI cs.LG
Geometry-Instructed Video Editing
The University of Hong Kong(香港大学);Kuaishou Technology(快手科技)
提出GIVE框架,通过深度框和方向框统一描述对象状态变化,实现物体级几何编辑(平移、旋转、缩放等),并保持阴影等二次效果一致,在合成和真实视频上展现良好效果。
2026-06-24 cs.CV
SmartFreeEdit: Mask-Free Spatial-Aware Image Editing with Complex Instruction Understanding
Institute of Artificial Intelligence(TeleAI), China Telecom(人工智能研究院(TeleAI),中国电信);The University of Hongkong(香港大学)
提出SmartFreeEdit框架,结合多模态大语言模型与超图增强修复架构,通过区域感知令牌、推理分割管道和超图修复模块,实现基于复杂指令的无掩码精确图像编辑,提升全局一致性。
2025-11-03 cs.CV cs.MM
InterCoG: Towards Spatially Precise Image Editing with Interleaved Chain-of-Grounding Reasoning
Faculty of Computing, Harbin Institute of Technology(哈尔滨工业大学计算机学院);Zhengzhou Advanced Research Institute of Harbin Institute of Technology(哈尔滨工业大学郑州先进研究院);Huawei Noah’s Ark Lab(华为诺亚实验室);Artificial Intelligence Research Institute, Shenzhen University of Advanced Technology(深圳先进技术大学人工智能研究院)
本文提出InterCoG框架,通过文本与视觉的交错链式推理实现复杂场景中精细图像编辑,结合文本空间关系和视觉定位提升编辑精度。
2026-05-08 cs.CV
SVGenius: Benchmarking LLMs in SVG Understanding, Editing and Generation
Zhejiang University(浙江大学)
SVGenius构建了首个系统性SVG处理基准,通过2,377个查询评测22个主流模型在理解、编辑和生成上的能力,揭示推理增强训练优于单纯扩大规模,且风格迁移仍是最大挑战。
2025-06-03 cs.AI cs.CV
ThinkDrag: Semantic Drag-Based Image Editing with Visual Reasoning
S-Lab, Nanyang Technological University(南洋理工大学S-Lab)
ThinkDrag是具备视觉推理能力的多模态图像编辑框架,通过关联点约束与语义变换、生成推理轨迹提升编辑效果,在DragBench++基准上实现了最先进性能。
2026-10-12 cs.CV
PairEdit: Learning Semantic Variations for Exemplar-based Image Editing
Sun Yat-sen University(中山大学);Guangdong University of Technology(广东工业大学);Huawei Noah’s Ark Laboratory(华为诺亚实验室);Hong Kong Metropolitan University(香港理工大学);The Hong Kong Polytechnic University(香港理工大学)
提出 PairEdit,无需文本提示即可从单张或少量图像对中学习编辑语义,并通过目标噪声预测、内容保持噪声调度和独立 LoRA 提升语义迁移与内容一致性。
2025-06-09 cs.CV
Disentangling Instruction Influence in Diffusion Transformers for Parallel Multi-Instruction-Guided Image Editing
City University of Hong Kong(香港城市大学);The University of Hong Kong(香港大学)
本文提出指令影响解耦(IID)框架,通过分析扩散Transformer的自注意力机制生成指令特定掩码,在单个去噪过程中并行执行多指令图像编辑,减少扩散步骤并提升保真度与指令完成度。
2025-04-07 cs.CV
ClickDiffusion: Harnessing LLMs for Interactive Precise Image Editing
Georgia Tech(佐治亚理工学院)
本文提出 ClickDiffusion,通过将图像与多模态指令序列化为文本表示,结合 LLM 和用户点击式视觉反馈,实现精确的交互式图像布局与外观编辑。
2024-04-05 cs.AI cs.CV
Region-Constraint In-Context Generation for Instructional Video Editing
University of Science and Technology of China(中国科学技术大学);HiDream.ai Inc.(HiDream.ai公司)
ReCo通过引入区域约束建模,提升基于指令的视频编辑中编辑区域的准确性和去噪效果,提出新的正则化方法和大规模数据集。
2025-12-19 cs.CV cs.MM
CogniEdit: Dense Gradient Flow Optimization for Fine-Grained Image Editing
Hongkong University of Science and Technology(香港科学与技术大学);Huawei Company(华为公司)
CogniEdit通过密集梯度流优化实现细粒度图像编辑,结合多模态推理与动态令牌焦点重新定位,提升指令遵循与视觉质量的平衡
2025-12-15 cs.CV
mEdIT: Multilingual Text Editing via Instruction Tuning
Grammarly;New York University Abu Dhabi(纽约大学阿布扎比分校)
本研究提出多语言文本编辑模型mEdIT,通过指令微调多语言预训练大模型,覆盖六大语系三类编辑任务,在多基准上性能优于现有多语言大模型,且对新语言泛化性更好,相关资源已公开。
2024-04-17 cs.AI cs.CL
MulGAN: Facial Attribute Editing by Exemplar
Beijing Jiaotong University(北京交通大学)
由于深度卷积网络和生成对抗网络的能力不断增强,最近关于样本的人脸属性编辑的研究取得了可喜的成果。这些方法将图像中的属性相关信息编码到潜在特征空间的预定义区域中,通过将一对属性相反的图像作为训练模型的输入,通过交换它们的属性相关潜在特征区域,实现输入图像和样本之间的人脸属性传递。然而,它们存在三个局限性:(1)模型必须使用具有相反属性的图像对作为输入进行训练;(2)样本编辑多个属性的能力弱;(3)生成图像的质量差。在这项工作中,而不是施加相反的属性约束的输入图像,以使图像的属性信息被编码在潜在的特征空间的预定义区域,我们直接应用属性标签约束的潜在特征空间的预定义区域。同时,引入属性分类损失,使模型学习将图像的属性相关信息提取到对应属性的预定义潜特征区域中,从而使该方法能够同时传递样本的多个属性。此外,设计了一种新的模型结构,以增强样本的属性传递能力,同时提高生成图像的质量。通过在CelebA数据集上与其他方法进行比较,证明了该模型在克服上述三个局限性方面的有效性。
2019-12-28 cs.CV
RankT2I: A Submodular Framework for Discovering Interpretable and Diverse Semantics in Text-to-Image Models
Virginia Tech(弗吉尼亚理工大学)
本文提出无训练、模型无关的RankT2I框架,通过子模方法自动发现T2I模型的可编辑语义,性能优于现有方法,可高效获取多领域文本到图像编辑所需的多样化语义。
2026-08-17 cs.CV
Paste, Inpaint and Harmonize via Denoising: Subject-Driven Image Editing with Pre-Trained Diffusion Model
The University of Tokyo(东京大学)
针对文本描述编辑图像易损害主体身份或需额外微调的问题,提出PhD框架,结合示例图像与文本,通过分割粘贴、修复协调模块引导冻结的预训练扩散模型编辑,在两项任务上达SOTA。
2023-06-13 cs.AI cs.CV
ConsistEdit: Highly Consistent and Precise Training-free Visual Editing
Hong Kong University of Science and Technology(香港科学与技术大学);Tsinghua University(清华大学);International Digital Economy Academy(国际数字经济学院)
针对免训练视觉编辑中编辑强度与源一致性难以兼顾的问题,本文提出面向 MM-DiT 的 ConsistEdit,通过仅视觉注意力控制、掩码引导融合和 QKV 差异化操纵,在图像、视频及多轮多区域编辑中达到 SOTA。
2025-10-20 cs.CV
Answer-then-Edit: Reasoning Skeleton Editing for Anti-Distillation with Preserved Utility
School of Computer Science and Engineering, UNSW Sydney(新南威尔士大学计算机科学与工程学院);School of Artificial Intelligence, Shenzhen University(深圳大学人工智能学院)
针对专有大语言模型易受知识蒸馏影响的问题,提出骨架引导推理编辑框架SGRE,通过先回答再编辑的方式,借鉴认知负荷理论对推理痕迹进行修改,在降低蒸馏效果的同时保持推理准确性和痕迹自然度。
2026-07-24 cs.AI cs.CL
AlbedoEdit: Unified Instance-Level Video Editing with Albedo Guidance
Max Planck Institute for Informatics(马克斯·普朗克信息研究所);University of California Santa Barbara(加州大学圣巴巴拉分校);NVIDIA Research(NVIDIA研究);Texas A & M University(德克萨斯A&M大学)
提出 AlbedoEdit,一个统一框架,利用反照率图实现对象插入、移除和纹理编辑,通过微调视频基础模型,在合成数据集上训练,实现编辑内容的和谐融合与复杂视觉效果模拟。
2026-05-31 cs.CV cs.GR
CameraEditor: Camera-Controlled Image Editing via Video-Prior Sequential Modeling
Xi’an Jiaotong University(西安交通大学);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局)
CameraEditor是将相机控制编辑转化为时间序列预测任务的图像编辑框架,通过几何感知与动态参考机制实现高精度相机控制,在自建数据集和CamEditor-Bench上表现优于现有方法。
2026-09-02 cs.CV
TransPhy: Visual In-Context Learning for Physically Grounded Image Editing
Peking University(北京大学);SenseTime Research(商汤科技研究院);Zhejiang University(浙江大学)
针对现有视觉上下文学习对物理基础图像变换支持不足的问题,提出TransPhy框架,通过分解为物理规则归纳和过渡对齐渲染,在PhysVICL-74基准上提升了相关性能。
2026-08-26 cs.AI cs.CV
Improving Diffusion Models for Scene Text Editing with Dual Encoders
Adobe Research(Adobe研究院);UC Santa Barbara(加州大学圣巴巴拉分校)
本文提出DIFFSTE,通过字符编码器和指令编码器改进预训练扩散模型,提升场景文本编辑中的文本可读性与风格控制能力,并实现字体变化、字体混合及自然语言指令的零样本泛化。
2023-04-12 cs.AI cs.CV
Controllable-Continuous Color Editing in Diffusion Model via Color Mapping
School of Artificial Intelligence, Beijing University of Posts and Telecommunications(人工智能学院,北京邮电大学);SketchX, CVSSP, University of Surrey(SketchX、CVSSP、 Surrey大学)
针对文本驱动颜色编辑精度不足且难以连续控制的问题,提出颜色映射模块显式建模文本嵌入与图像RGB值的对应关系,实现细粒度、连续且可控的颜色编辑,同时保持语义一致性。
2025-09-17 cs.CV
SeCGAN: Parallel Conditional Generative Adversarial Networks for Face Editing via Semantic Consistency
Imperial College London(帝国理工学院);University College London(伦敦大学学院);University of Sheffield(谢菲尔德大学);Korea Advanced Institute of Science and Technology(韩国高等科学技术研究院)
近年来,语义引导的条件生成对抗网络(cGAN)已经成为人脸编辑的流行方法。然而,大多数现有的方法引入语义掩码作为生成器的直接条件输入,并且通常需要目标掩码在RGB空间中执行相应的翻译。我们提出了SeCGAN,一种新的标签引导cGAN,用于利用语义信息编辑人脸图像,而无需指定目标语义掩码。在训练过程中,SeCGAN有两个并行运行的生成器和鉴别器分支,其中一个分支经过训练来翻译RGB图像,另一个分支经过训练来翻译语义掩模。为了以一种互利的方式桥接这两个分支,我们引入了一个语义一致性损失,它约束两个分支具有一致的语义输出。虽然在训练过程中需要这两个分支,但RGB分支是我们的主要网络,语义分支不需要用于推理。我们在CelebA和CelebA-HQ上的结果表明,我们的方法能够生成具有更准确属性的面部图像,在目标属性识别率方面优于竞争基线,同时保持质量指标,如自我监督的Fréchet Inception Distance和Inception Score。
2022-06-16 cs.CV
PIXELS: Progressive Image Xemplar-based Editing with Latent Surgery
Purdue University(普渡大学);Amazon Fashion(亚马逊时尚部门)
针对现有图像编辑方法控制粒度粗、依赖训练、兼容性差的问题,提出PIXELS框架,仅靠推理即可利用任意数量范例实现细粒度编辑,性能与用户体验均有提升。
2025-01-16 cs.CV
AffectDelta: Beyond Emotion Labels for Image Editing
Vanderbilt University(范德堡大学);Research Institute of Electrical Communication, Tohoku University(东北大学电气通信研究所)
AffectDelta是一种将图像编辑视为八维情感分布过渡的感知源图像编辑器,通过构建AffectPair-249K数据集训练,在情感对齐和内容保留上优于基线方法。
2026-09-03 cs.CV
Rethinking Scribble-Guided Image Editing: Generalization, Instruction Adherence, and Multi-Tasking
Xiamen University(厦门大学);Taobao & Tmall Group of Alibaba(阿里巴巴淘宝与天猫集团)
针对涂鸦引导图像编辑在多任务场景下性能不稳定的问题,通过实证研究揭示指令级泛化瓶颈,提出覆盖-真实课程、多任务拼接和编辑聚焦损失三种策略,在VIBE基准上实现单任务和多任务的最优结果。
2026-05-25 cs.CV
RIPPLECOT: Amplifying Ripple Effect of Knowledge Editing in Language Models via Chain-of-Thought In-Context Learning
Johns Hopkins University(约翰斯·霍普金斯大学);University of California San Diego(加利福尼亚大学圣迭戈分校)
针对大语言模型知识编辑中多跳事实更新困难的涟漪效应问题,本文提出结合思维链推理的上下文学习编辑方法RippleCOT,通过“新事实、问题、思维、答案”结构引导模型分解多跳逻辑,在MQuAKE-cf基准上显著超越现有方法,准确率提升最高达87.1%。
2024-10-04 cs.AI cs.CL cs.LG
Re-Align: Structured Reasoning-guided Alignment for In-Context Image Generation and Editing
Hunyuan, Tencent(腾讯文库);IIE, CAS(中国科学院信息工程研究所);UCAS Project Page(中国科学技术大学)
Re-Align通过结构化推理引导的对齐方法,提升上下文图像生成与编辑任务的性能。
2026-01-08 cs.CV
Thinking in Boxes: 3D Editing in Real Images Made Easy
Indian Institute of Science(印度科学研究所);Apple(苹果公司);UIUC(伊利诺伊大学厄巴纳-香槟分校);Johns Hopkins University(约翰霍普金斯大学)
提出使用3D盒子作为结构化规范,通过用户提供输入和输出盒子来精确控制真实图像中的平移、旋转、缩放和视角变化,同时保持场景和物体身份,恢复未见的物体区域。
2026-06-19 cs.CV
Make-A-Scene: Scene-Based Text-to-Image Generation with Human Priors
Meta AI Research(元人工智能研究院)
最近的文本到图像的生成方法提供了一个简单而令人兴奋的文本和图像域之间的转换能力。虽然这些方法逐步提高了生成的图像保真度和文本相关性,但仍有几个关键的差距没有得到解决,限制了适用性和质量。我们提出了一种新的文本到图像的方法,通过(i)启用一个简单的控制机制,以场景的形式补充文本,(ii)引入元素,通过在关键图像区域(面部和显着对象)上采用特定领域的知识,大大提高了标记化过程,以及(iii)适应无分类器的指导Transformer用例。我们的模型实现了最先进的FID和人类评估结果,解锁了以512 x512像素的分辨率生成高保真图像的能力,显着提高了视觉质量。通过场景可控性,我们引入了几个新功能:(i)场景编辑,(ii)锚场景的文本编辑,(iii)克服分发文本提示,以及(iv)故事插图生成,如我们所写的故事中所示。
2022-03-24 cs.AI cs.CL cs.CV
LLplace: The 3D Indoor Scene Layout Generation and Editing via Large Language Model
Southern University of Science and Technology(南方科技大学);University of Warwick(华威大学);York University(约克大学)
本文提出LLplace,一种基于轻量级微调开源大语言模型Llama3的3D室内场景布局生成与编辑方法,无需空间关系先验和上下文示例,仅凭用户输入即可通过对话实现高质量布局生成及物体增删的动态编辑。
2024-06-06 cs.CV
DragNeXt: Rethinking Drag-Based Image Editing
DragNeXt通过重新定义拖动为变形、旋转和翻译,提出简单有效的编辑框架,提升图像编辑质量。
2026-01-25 cs.CV
Deep Saliency Prior for Reducing Visual Distraction
Google Research(谷歌研究院)
仅使用一个经过训练的模型来预测人们看图像的位置,而不需要额外的训练数据,我们就可以产生一系列强大的编辑效果,以减少图像中的分心。给定一个图像和一个指定要编辑的区域的掩码,我们通过一个最先进的显着性模型来反向传播,以参数化一个可微编辑算子,从而减少掩码区域内的显着性。我们演示了几个操作符,包括:一个隐藏操作符,它学习应用颜色变换,将干扰项隐藏并混合到周围环境中;一个扭曲操作符,它扭曲不太突出的图像区域以覆盖干扰项,逐渐将对象折叠成它们自己并有效地移除它们(类似于图像修复的效果); GAN算子,其使用语义先验来用合理的、不太突出的替代物完全替换图像区域。由此产生的效果与对人类视觉系统的认知研究一致(例如,由于颜色不匹配是显著的,因此匹配算子学习使对象的颜色与其周围环境协调以降低其显著性),并且重要的是,所有这些都仅通过预先训练的显著性模型的指导来实现,而没有额外的监督。我们提出了各种自然图像的结果,并进行了感知研究,以评估和验证原始图像和我们编辑的结果之间的观众的眼睛注视的变化。
2021-09-05 cs.CV cs.GR cs.LG
ConflictGuide: AutoResearch Improves When Competing Behaviors Are Made Visible
National University of Singapore(新加坡国立大学);Nanjing University of Science and Technology(南京理工大学)
本文提出冲突指南,通过识别竞争行为并设计探针反馈,在自动研究的两阶段进化中缓解行为冲突,相比仅标量方法,任务和冲突错误分别减少高达28%和14%。
2026-10-01 cs.AI cs.LG
Auto DragGAN: Editing the Generative Image Manifold in an Autoregressive Manner
Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所基础模型研究中心);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Wuhan AI Research(武汉人工智能研究院)
本文提出 Auto DragGAN,首次采用基于回归的网络学习 StyleGAN 潜在码在拖拽过程中的变化模式,通过自回归方式分解移动过程,在像素级粒度上实现了最先进的推理速度与图像编辑性能。
2024-07-26 cs.CV
Linear Semantics in Generative Adversarial Networks
Columbia University(哥伦比亚大学);Panzhihua University(攀枝花大学)
生成对抗网络(GANs)能够生成高质量的图像,但仍然难以明确指定合成图像的语义。在这项工作中,我们的目标是更好地理解GANs的语义表示,从而使语义控制在GAN的生成过程。有趣的是,我们发现一个训练有素的GAN以一种令人惊讶的简单方式在其内部特征映射中编码图像语义:特征映射的线性变换足以提取生成的图像语义。为了验证这种简单性,我们对各种GANs和数据集进行了广泛的实验;由于这种简单性,我们能够从少量(例如,8)标签图像。最后,利用我们的研究结果,我们提出了两种Few-Shot图像编辑方法,即语义条件采样和语义图像编辑。给定训练的GAN和少至八个语义注释,用户能够生成服从用户提供的语义布局的各种图像,并控制合成的图像语义。我们已经公开了代码。
2021-04-01 cs.AI cs.CV
TrajectoryMover: Generative Movement of Object Trajectories in Videos
KTH Royal Institute of Technology(皇家理工学院);Adobe Research(Adobe研究)
本文提出TrajectoryMover,一种生成视频中物体轨迹运动的方法,通过生成大规模合成配对视频数据和细调的视频生成器,实现了物体轨迹的生成性移动。
2026-09-09 cs.CV
UM-Text: A Unified Multimodal Model for Image Understanding and Visual Text Editing
Sun Yat-sen University(中山大学)
本文提出UM-Text模型,通过自然语言指令实现图像理解和视觉文本编辑,引入VLM处理指令和参考图像,结合UM-Encoder生成风格一致的文本图像,并提出区域一致性损失和三阶段训练策略,最终在多个基准上取得最佳性能。
2026-05-11 cs.CV