Neutral Editing Framework for Diffusion-based Video Editing
Korea Advanced Institute of Science and Technology (KAIST)(韩国高等科学技术研究院(KAIST))
本文提出 NeuEdit 框架,通过“中性化”机制以模型无关方式增强扩散视频编辑流程,仅依赖视频和文本即可实现此前未被探索的人物/对象运动级复杂非刚性编辑。
2023-12-10 cs.CV
EffiVED:Efficient Video Editing via Text-instruction Diffusion Models
Alibaba Group(阿里巴巴集团)
本文提出基于扩散模型的高效视频编辑模型EffiVED,通过两种工作流收集数据构建高质量训练集,实现无需逐视频微调的指令引导视频编辑,在保证高质量的同时实现快速执行。
2024-06-05 cs.CV
High-Fidelity Diffusion-based Image Editing
University of Science and Technology of China(中国科学技术大学);ByteDance Research(字节跳动研究院)
针对扩散模型图像编辑中因条件马尔可夫性质导致的误差累积问题,提出引入整流器模块调制权重并采用类去噪分数匹配的训练范式,实现高保真重建与编辑。
2024-01-04 cs.CV
StableVideo: Text-driven Consistency-aware Diffusion Video Editing
Microsoft Research Asia(微软亚洲研究院);Zhejiang University(浙江大学)
针对扩散模型编辑视频时对象外观时序不一致的问题,本文提出帧间传播机制并构建文本驱动框架 StableVideo,显著提升了视频编辑的一致性与效果。
2023-08-18 cs.CV
PRedItOR: Text Guided Image Editing with Diffusion Prior
Adobe Applied Research(奥多比应用研究院)
扩散模型在生成高质量和创造性的文本图像方面表现出了卓越的能力。这种模型的一个有趣的应用是结构保持文本引导的图像编辑。现有的方法依赖于文本条件扩散模型,诸如稳定扩散或Imagen,并且需要文本嵌入的计算密集型优化或用于文本引导的图像编辑的模型权重的微调。我们探索文本引导的图像编辑与混合扩散模型(HDM)架构类似DALLE-2。我们的体系结构包括一个扩散先验模型,生成CLIP图像嵌入条件的文本提示和自定义潜空间扩散模型训练生成的图像条件的CLIP图像嵌入。我们发现,扩散先验模型可以用于在CLIP图像嵌入空间上执行文本引导的概念编辑,而无需任何微调或优化。我们将其与结构保持编辑的图像解码器使用现有的方法,如反向DDIM执行文本引导的图像编辑。我们的方法,PredItOR不需要额外的输入,微调,优化或目标,并显示出与基线相同或更好的结果。我们提供了进一步的分析和理解的扩散先验模型,并相信这开辟了新的可能性,在扩散模型的研究。
2023-03-20 cs.CV
GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models
OpenAI(开放人工智能研究中心)
扩散模型最近已被证明可以生成高质量的合成图像,特别是当与指导技术配对以权衡多样性和保真度时。我们探讨了文本条件图像合成问题的扩散模型,并比较了两种不同的指导策略:CLIP指导和无分类器引导。我们发现,后者是首选的人类评价的真实感和标题相似性,并经常产生真实感的样本。使用无分类器引导的35亿参数文本条件扩散模型的样本比DALL-E的样本更受人类评估者的青睐,即使后者使用昂贵的CLIP重新排序。此外,我们发现,我们的模型可以进行微调,以执行图像修补,使强大的文本驱动的图像编辑。我们在过滤后的数据集上训练一个较小的模型,并在https://github.com/openai/glide-text2im上发布代码和权重。
2022-03-08 cs.CV cs.GR cs.LG
Streaming Video Diffusion: Online Video Editing with Diffusion Models
Australian Institute for Machine Learning, The University of Adelaide(阿德莱德大学澳大利亚机器学习研究所);Zhejiang University(浙江大学);Monash University(莫纳什大学)
提出在线视频编辑任务以实现流式帧的时间一致性编辑,并构建SVDiff模型,通过整合空间感知时间递归到Stable Diffusion并采用分段级训练,在512x512分辨率下实现15.2 FPS的实时高质量长视频编辑。
2024-05-30 cs.CV
DiffEdit: Diffusion-based semantic image editing with mask guidance
Meta AI;Sorbonne Université(索邦大学)
图像生成最近取得了巨大的进步,扩散模型允许合成令人信服的图像,用于各种各样的文本提示。在这篇文章中,我们提出了DiffEdit,一种利用文本条件扩散模型进行语义图像编辑任务的方法,其目标是根据文本查询编辑图像。语义图像编辑是图像生成的扩展,具有生成的图像应尽可能与给定输入图像相似的附加约束。当前基于扩散模型的编辑方法通常需要提供遮罩,通过将其视为条件修复任务而使任务变得容易得多。相比之下,我们的主要贡献是能够自动生成一个掩码高亮区域的输入图像,需要进行编辑,通过对比预测的扩散模型条件不同的文本提示。此外,我们依靠潜在的推理来保留感兴趣区域中的内容,并与基于掩码的扩散显示出良好的协同作用。DiffEdit在ImageNet上实现了最先进的编辑性能。此外,我们使用COCO数据集的图像以及基于文本生成的图像,在更具挑战性的设置中评估语义图像编辑。
2022-10-20 cs.CV
Blended Diffusion for Text-driven Editing of Natural Images
The Hebrew University of Jerusalem(希伯来大学);Reichman University(赖希曼大学)
自然语言为图像编辑提供了高度直观的界面。在本文中,我们介绍了第一个解决方案,用于执行本地(基于区域)的编辑,在一般的自然图像,随着一个ROI掩模的基础上的自然语言描述。我们通过利用和组合预训练的语言图像模型(CLIP)来实现我们的目标,以将编辑转向用户提供的文本提示,并使用去噪扩散概率模型(DDPM)来生成自然的结果。为了将编辑区域与图像的未改变部分无缝融合,我们在空间上将输入图像的噪声版本与噪声水平进展处的本地文本引导扩散潜伏混合。此外,我们还证明了在扩散过程中添加增强可以减轻对抗性结果。我们比较了几个基线和相关的方法,定性和定量,并表明我们的方法优于这些解决方案的整体现实主义,能力,以保持背景和匹配的文本。最后,我们展示了几个文本驱动的编辑应用程序,包括向图像添加新对象,删除/替换/更改现有对象,背景替换和图像外推。代码可在:https://omriavrahami.com/blended-diffusion-page/
2022-03-28 cs.CV cs.GR cs.LG
Custom-Edit: Text-Guided Image Editing with Customized Diffusion Models
Seoul National University(首尔国立大学);NAVER AI Lab(NAVER人工智能实验室)
本文提出Custom-Edit方法,通过少量参考图像定制扩散模型并结合增强提示进行文本引导编辑,在保持源图像相似性的同时显著提升参考相似性。
2023-05-25 cs.CV
EditCrafter: Tuning-free High-Resolution Image Editing via Pretrained Diffusion Model
NC AI;Medipixel, Inc.(Medipixel公司);EverEx
本文提出EditCrafter,利用预训练文本到图像扩散模型实现无需调优的高分辨率图像编辑,解决了传统方法在处理任意宽高比和高分辨率图像时的局限性。
2026-04-11 cs.CV
Direct Inversion: Boosting Diffusion-based Editing with 3 Lines of Code
The Chinese University of Hong Kong (CUHK)(香港中文大学);International Digital Economy Academy (IDEA)(国际数字经济研究院)
本文提出Direct Inversion技术,通过解耦源和目标扩散分支仅需3行代码提升编辑效果,并发布PIE-Bench基准,在8种编辑方法上实现更优性能与近一个数量级加速。
2023-10-19 cs.CV
DNI: Dilutional Noise Initialization for Diffusion Video Editing
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出稀释噪声初始化(DNI)框架,通过向待编辑区域的潜在噪声添加额外噪声以软化结构刚性,实现扩散视频编辑中的非刚性编辑,如运动变化,实验证明其有效性。
2024-09-19 cs.CV
MoViE: Mobile Diffusion for Video Editing
Qualcomm AI Research(高通人工智能研究)
针对扩散视频编辑模型难以在移动端部署的问题,本研究通过架构优化、多模态无分类器引导蒸馏、对抗蒸馏减采样步等方案,实现移动端12帧/秒的高质量视频编辑。
2024-12-09 cs.CV
h-Edit: Effective and Flexible Diffusion-Based Editing via Doob's h-Transform
本文提出基于Doob的h-变换的扩散图像编辑框架h-Edit,将样本更新分解为重建项和编辑项,实现灵活的免训练复杂编辑,性能优于现有基线。
2025-03-04 cs.CV
DiT4Edit: Diffusion Transformer for Image Editing
Peking University(北京大学);The Hong Kong University of Science and Technology(香港科技大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
提出首个基于扩散Transformer的图像编辑框架DiT4Edit,利用DPM-Solver反演和统一注意力控制,实现高分辨率图像中更高质量、更快速的形状感知编辑。
2024-11-07 cs.CV
InstructRL4Pix: Training Diffusion for Image Editing by Reinforcement Learning
South China University of Technology(华南理工大学)
针对指令图像编辑中复杂场景定位不准的问题,本文提出 InstructRL4Pix,以注意力图距离为奖励并用 PPO 微调扩散模型,实现无监督、准确的自然语言图像编辑。
2024-06-14 cs.CV
PartEdit: Fine-Grained Image Editing using Pre-Trained Diffusion Models
King Abdullah University of Science and Technology (KAUST)(卡斯特国王科学与技术大学)
提出首个基于预训练扩散模型的对象部位细粒度图像编辑方法,通过学习特殊文本令牌生成定位掩码,结合特征融合与自适应阈值策略实现精准编辑,在自建基准上全面超越现有方法。
2025-06-27 cs.CV
Edit2Perceive: Image Editing Diffusion Models Are Strong Dense Perceivers
Peking University(北京大学);Show Lab, National University of Singapore(新加坡国立大学Show实验室)
Edit2Perceive通过统一的扩散框架,利用图像编辑模型实现更高效的密集感知任务,展示了在深度、法线和磨边任务上的最新成果。
2025-11-24 cs.CV
Streamlining Image Editing with Layered Diffusion Brushes
University of British Columbia(不列颠哥伦比亚大学)
提出无训练的分层扩散画笔(LDB)框架,通过独立参数集和中间潜变量缓存实现快速、非破坏性的交互式图层编辑,在速度和质量上优于现有方法。
2025-10-12 cs.CV
Eta Inversion: Designing an Optimal Eta Function for Diffusion-based Real Image Editing
FuriosaAI(富里奥萨人工智能公司);Ajou University(明知大学)
针对现有扩散反演图像编辑方法难兼顾文本保真度与源图相似度的问题,提出基于DDIM采样方程η分析的自适应扩散反演技术,通过时空依赖η函数灵活控编辑程度,性能超现有方法并立新基准。
2024-07-15 cs.CV
LayerDiffusion: Layered Controlled Image Editing with Diffusion Models
Tsinghua University(清华大学)
针对多操作图像编辑中主体与背景一致性难题,提出 LayerDiffusion 分层可控方法,结合分层扩散训练与迭代引导,实现高质量文本引导编辑并优于现有方法。
2023-05-30 cs.CV
Image Editing As Programs with Diffusion Models
National University of Singapore(新加坡国立大学)
本文提出IEAP框架,将复杂图像编辑指令分解为由VLM智能体编程的原子操作序列,基于共享DiT主干和轻量适配器实现,在多种编辑基准上显著超越现有方法。
2025-06-04 cs.CV
Efficient-NeRF2NeRF: Streamlining Text-Driven 3D Editing with Multiview Correspondence-Enhanced Diffusion Models
Apple(苹果公司);University at Buffalo(布法罗大学);UT Austin(得克萨斯大学奥斯汀分校)
提出将对应正则化引入扩散模型,利用多视图一致性加速文本驱动的3D编辑,实现10倍提速和2分钟内完成编辑。
2023-12-26 cs.CV
Self-Attention Decomposition For Training Free Diffusion Editing
ELLIS Institute Finland(芬兰ELLIS研究所);Department of Computer Science, Aalto University, Finland(芬兰奥卢大学计算机科学系)
本文提出了一种基于自注意力权重矩阵特征向量提取的扩散模型编辑方法,无需额外数据或微调,实现高效高质量的图像编辑。
2026-02-12 cs.CV
Training-free Geometric Image Editing on Diffusion Models
Huazhong University of Science and Technology(华中科技大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对现有扩散图像编辑方法处理大尺度复杂几何变换效果不佳的问题,提出解耦式无需训练的FreeFine方法,在自建GeoBench基准上取得优于现有最优方案的图像保真度与编辑精度。
2025-08-01 cs.CV
HairDiffusion: Vivid Multi-Colored Hair Editing via Latent Diffusion
School of Computer Science & Software Engineering, Shenzhen University(深圳大学计算机与软件学院);Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳市人工智能与机器人研究院);National Engineering Laboratory for Big Data System Computing Technology, Shenzhen University(深圳大学国家大数据系统计算技术工程实验室);Guangdong Provincial Key Laboratory of Intelligent Information Processing(广东省智能信息处理重点实验室)
本文提出HairDiffusion,利用LDMs和Multi-stage Hairstyle Blend分离头发颜色与发型控制,结合warping模块与微调CLIP,实现高质量多色头发编辑并保留面部属性。
2024-10-29 cs.CV
Diffusion Models are Geometry Critics: Single Image 3D Editing Using Pre-Trained Diffusion Priors
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);Tsinghua University(清华大学)
本研究提出一种基于预训练扩散模型的单图像3D编辑技术,通过迭代新视图合成与几何对齐算法,利用扩散模型的外观先验与几何评判功能,实现大视角变换下的高质量3D感知编辑,提升开放域泛化能力。
2024-07-13 cs.CV
DiffUTE: Universal Text Editing Diffusion Model
Ant Group(蚂蚁集团);Nanjing University(南京大学)
提出通用自监督文本编辑扩散模型DiffUTE,通过修改网络结构引入字形和位置信息,并利用网络数据自监督学习,实现了高保真度的野外图像可控文本编辑。
2023-10-18 cs.CV
MagicProp: Diffusion-based Video Editing via Motion-aware Appearance Propagation
ByteDance Inc.(字节跳动公司)
MagicProp提出两阶段扩散视频编辑框架,先编辑单帧外观,再通过PropDPM自回归传播,兼顾编辑灵活性与时间一致性。
2023-09-02 cs.CV
COVE: Unleashing the Diffusion Feature Correspondence for Consistent Video Editing
Tsinghua University(清华大学);HKUST(香港科技大学)
针对现有零样本视频编辑方法难以保持时间一致性的问题,提出COVE方法,利用扩散特征对应关系结合滑动窗口策略、时间维度token合并,无需额外训练即可实现高质量一致的视频编辑,性能达SOTA。
2024-12-08 cs.CV
The Curious Case of End Token: A Zero-Shot Disentangled Image Editing using CLIP
Virginia Tech(弗吉尼亚理工大学)
本文发现Stable Diffusion等扩散模型中常用的CLIP能以零样本方式实现解耦图像编辑,定性和定量实验表明该方法具竞争力,为图像和视频编辑提供了轻量高效的途径。
2024-06-01 cs.CV
Video Editing via Factorized Diffusion Distillation
Meta AI
本文提出Emu Video Edit (EVE)模型,通过分别训练图像与视频适配器并附加至文生图模型,引入无监督的Factorized Diffusion Distillation过程联合蒸馏知识,在无需监督数据下实现精确单帧编辑与时序一致的视频编辑新SOTA。
2024-03-24 cs.CV
MADiff: Text-Guided Fashion Image Editing with Mask Prediction and Attention-Enhanced Diffusion
Southeast University(东南大学);Advanced Ocean Institute of Southeast University(东南大学先进海洋研究院);Northwestern Polytechnical University(西北工业大学);Binjiang Institute of Artificial Intelligence, ZJUT(浙江工业大学滨江人工智能研究院);Alibaba Group(阿里巴巴集团)
针对时尚领域文本引导图像编辑存在的区域定位不准、编辑强度弱的问题,提出融合MaskNet与注意力增强扩散的MADiff模型,构建Fashion-E数据集,实验证明其性能优于现有最优方法。
2025-01-15 cs.CV
SwiftEdit: Lightning Fast Text-Guided Image Editing via One-Step Diffusion
Qualcomm AI Research(高通人工智能研究)
本文提出SwiftEdit,一种基于一步扩散的文本引导图像编辑工具,通过一步反演框架和带注意力重缩放机制的掩码引导编辑技术,在0.23秒内实现比多步方法快至少50倍的即时图像编辑,同时保持有竞争力的性能。
2025-06-02 cs.CV
Paint by Example: Exemplar-based Image Editing with Diffusion Models
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
图像引导的图像编辑近年来取得了很大的成功。在本文中,我们第一次调查样本引导的图像编辑更精确的控制。我们通过利用自我监督训练来解开和重新组织源图像和样本来实现这一目标。然而,朴素的方法将导致明显的融合伪影。我们仔细地分析了它,并提出了一个信息瓶颈和强大的增强,以避免直接复制和粘贴样本图像的琐碎的解决方案。同时,为保证编辑过程的可控性,为样本图像设计了任意形状的模板,并利用无分类器引导来增加与样本图像的相似度。整个框架只涉及扩散模型的一个正演过程,不需要任何迭代优化。我们证明,我们的方法实现了令人印象深刻的性能,并实现了在野外图像高保真可控编辑。
2022-11-23 cs.CV
TokenFlow: Consistent Diffusion Features for Consistent Video Editing
Weizmann Institute of Science(魏茨曼科学研究院)
提出TokenFlow框架,利用文本到图像扩散模型进行文本驱动视频编辑,通过在扩散特征空间中显式传播帧间特征实现视频一致性,无需训练或微调。
2023-11-20 cs.CV
Structure-Preserving Zero-Shot Image Editing via Stage-Wise Latent Injection in Diffusion Models
Department of Image(图像系);Department of Artificial Intelligence(人工智能系)
本研究提出一种基于扩散模型的零样本图像编辑框架,通过阶段式潜变量注入策略与扩散反转等技术,在保留源图结构的同时实现精准细粒度编辑,无需微调即可统一文本与参考引导编辑,在多类编辑任务上达到SOTA性能。
2025-05-20 cs.CV
Task-Oriented Diffusion Inversion for High-Fidelity Text-based Editing
The University of Hong Kong(香港大学);Shanghai AI Lab(上海人工智能实验室);Ocean University of China(中国海洋大学);Singapore Management University(新加坡管理大学);South China University of Technology(华南理工大学)
本文提出TODInv框架,通过在扩展P*空间内优化提示词嵌入实现真实图像反演与编辑,分层机制确保高保真度与精确可编辑性,实验证明其性能优于现有方法。
2024-08-23 cs.CV
FreeDiff: Progressive Frequency Truncation for Image Editing with Diffusion Models
City University of Hong Kong(香港城市大学);VIVO(维沃(vivo));Xidian University(西安电子科技大学)
针对扩散模型图像编辑中目标区域与引导影响范围错位的问题,提出无需微调的FreeDiff方法,通过渐进式频率截断优化引导,在多类编辑任务上达到与SOTA相当的效果。
2024-08-13 cs.CV
Perceptual Similarity guidance and text guidance optimization for Editing Real Images using Guided Diffusion Models
Shandong University(山东大学)
针对扩散模型图像编辑时修改图与源图差异大的问题,提出结合文本引导优化与感知相似性引导的双引导方法,实现编辑区域真实且未编辑区域高保真的图像编辑效果。
2023-12-09 cs.CV
Face Aging via Diffusion-based Editing
Shanghai Jiao Tong University(上海交通大学);Télécom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎综合理工学院)
本文提出FADING方法,利用大规模语言-图像扩散模型的先验,通过年龄感知微调、潜在噪声反演和注意力控制实现人脸年龄编辑,在老化准确性、属性保持和老化质量上优于现有方法。
2023-09-20 cs.CV
SyncEdit: Rethinking Lip Synchronization as Editing with Audio-Driven Diffusion Models
HiThink Research(HiThink研究机构);University of Science and Technology of China(中国科学技术大学);Zhejiang University(浙江大学)
OmniEdit提出一种无需训练的框架,通过替换编辑序列和去除随机元素,实现唇同步与音频视觉编辑的高效稳定处理。
2026-09-29 cs.CV
MotionEditor: Editing Video Motion via Content-Aware Diffusion
Fudan University(复旦大学);Shanghai Collaborative Innovation Center of Intelligent Visual Computing(上海智能视觉计算协同创新中心);Microsoft Research Asia(微软亚洲研究院);Carnegie Mellon University(卡内基梅隆大学);Huya Inc.(虎牙公司)
本文提出MotionEditor,通过内容感知运动适配器、双分支架构及高保真注意力注入和骨架对齐算法,在保留原始主角外观与背景的同时实现视频运动编辑。
2023-11-30 cs.CV
Zero-Shot Video Editing Using Off-The-Shelf Image Diffusion Models
Zhejiang University(浙江大学);Harbin Engineering University(哈尔滨工程大学);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
提出vid2vid-zero零样本视频编辑方法,利用现成图像扩散模型,通过空文本反演、跨帧建模和空间正则化模块实现文本到视频对齐、时间一致性和保真度,无需训练即可在真实视频上取得良好编辑效果。
2024-01-04 cs.CV
Unified Diffusion-Based Rigid and Non-Rigid Editing with Text and Image Guidance
EIC, HUST(华中科技大学电子信息与通信学院);CFAR, IHPC, A*STAR(新加坡科技研究局高性能计算研究所CFAR)
提出一种基于统一扩散的图像编辑框架,通过双路径注入与自注意力机制融合外观与结构信息,支持文本或图像引导下的刚性与非刚性编辑,在多任务中表现优越。
2024-01-04 cs.CV
Is Perturbation-Based Image Protection Disruptive to Image Editing?
Department of Computer Science and Engineering, Lehigh University(计算机科学与工程系,莱维大学)
本文通过跨领域与编辑任务的实验评估基于扰动的图像保护,发现其通常无法阻止扩散模型按提示生成理想结果,反而可能增强文本关联并改善编辑。
2025-06-10 cs.CV
Omni-Video 2: Scaling MLLM-Conditioned Diffusion for Unified Video Generation and Editing
本文提出Omni-Video 2,通过连接预训练多模态大语言模型与视频扩散模型,实现视频生成与编辑的统一。核心方法是利用MLLM生成明确的目标描述以指导生成过程,并通过轻量适配器高效注入多模态条件token,提升复杂编辑任务性能。
2026-03-13 cs.CV
ERDDCI: Exact Reversible Diffusion via Dual-Chain Inversion for High-Quality Image Editing
Nanjing University of Science and Technology(南京理工大学);RIKEN(理化学研究所)
本文提出ERDDCI方法,通过双链反演(DCI)实现精确可逆扩散过程,避免繁琐优化,并引入动态控制策略,在50步扩散中实现高质量图像重建与编辑。
2024-10-18 cs.CV
FaceDNeRF: Semantics-Driven Face Reconstruction, Prompt Editing and Relighting with Diffusion Models
HKUST(香港科技大学);CMU(卡内基梅隆大学);Stanford University(斯坦福大学);Dartmouth College(达特茅斯学院)
FaceDNeRF提出一种结合3D GAN反演与潜在扩散模型的单图像人脸NeRF重建方法,支持零样本文本提示编辑和重光照,在真实感和编辑灵活性上优于现有方法。
2023-12-04 cs.CV
Collaborative Diffusion for Multi-Modal Face Generation and Editing
S-Lab, Nanyang Technological University(南洋理工大学S-Lab)
本文提出 Collaborative Diffusion,通过元网络 dynamic diffuser 协调多个预训练单模态扩散模型,在无需重训的情况下实现多模态人脸生成与编辑。
2023-04-20 cs.CV
NumeriKontrol: Adding Numeric Control to Diffusion Transformers for Instruction-based Image Editing
East China Normal University(华东师范大学);South China University of Technology(华南理工大学)
NumeriKontrol通过引入数字控制框架,实现基于指令的图像编辑中对编辑强度的精确控制,提升交互编辑的灵活性和精度。
2025-11-28 cs.CV
IP-FaceDiff: Identity-Preserving Facial Video Editing with Diffusion
Indian Institute Of Technology Madras(印度马德拉斯理工学院);University of Wisconsin Madison(威斯康星大学麦迪逊分校)
针对现有人脸视频编辑模型质量差、成本高、身份保持难及灵活性不足的问题,提出IP-FaceDiff框架,微调预训练T2I扩散模型,实现高质量文本驱动编辑,减时80%且保持身份与时间一致性,性能优于现有技术。
2025-01-13 cs.CV
Consistent Image Layout Editing with Diffusion Models
Beijing Institute of Technology(北京理工大学)
本文提出一种基于扩散模型的图像布局编辑方法,通过多概念学习和中间特征语义一致性投影,在重新排列图像布局的同时保持物体外观一致,实验证明其在布局对齐和视觉一致性上优于现有方法。
2025-03-09 cs.CV