Region-Constraint In-Context Generation for Instructional Video Editing
University of Science and Technology of China(中国科学技术大学);HiDream.ai Inc.(HiDream.ai公司)
ReCo通过引入区域约束建模,提升基于指令的视频编辑中编辑区域的准确性和去噪效果,提出新的正则化方法和大规模数据集。
2025-12-19 cs.CV cs.MM
Zero-Shot Video Editing Using Off-The-Shelf Image Diffusion Models
Zhejiang University(浙江大学);Harbin Engineering University(哈尔滨工程大学);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
提出vid2vid-zero零样本视频编辑方法,利用现成图像扩散模型,通过空文本反演、跨帧建模和空间正则化模块实现文本到视频对齐、时间一致性和保真度,无需训练即可在真实视频上取得良好编辑效果。
2024-01-04 cs.CV
Efficient-NeRF2NeRF: Streamlining Text-Driven 3D Editing with Multiview Correspondence-Enhanced Diffusion Models
Apple(苹果公司);University at Buffalo(布法罗大学);UT Austin(得克萨斯大学奥斯汀分校)
提出将对应正则化引入扩散模型,利用多视图一致性加速文本驱动的3D编辑,实现10倍提速和2分钟内完成编辑。
2023-12-26 cs.CV
Improving Tuning-Free Real Image Editing with Proximal Guidance
Rutgers University(罗格斯大学);Laval University(拉瓦尔大学);New York University(纽约大学);UT Austin(德克萨斯大学奥斯汀分校);MIT-IBM AI Lab(麻省理工学院-IBM人工智能实验室)
本文提出近端引导并结合交叉注意力与互自注意力控制来增强负提示反演,在保持免训练特性的同时减少伪影并支持几何布局编辑,从而以最小计算开销改进免调优真实图像编辑。
2023-07-06 cs.CV
StyleDiffusion: Prompt-Embedding Inversion for Text-Based Editing
Nankai University(南开大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Linkoping University(林雪平大学)
本文提出 StyleDiffusion,通过仅优化交叉注意力 value 网络输入并加入注意力正则化,实现结构保持的文本风格编辑,实验证明其优于现有方法。
2024-12-06 cs.CV
Editing 3D Scenes via Text Prompts without Retraining
Beihang University(北京航空航天大学);Megvii(旷视科技);Google(谷歌);University of California, Merced(加州大学默塞德分校);Yonsei University(延世大学)
本文提出DN2N文本驱动三维场景编辑方法,通过利用二维图像编辑模型、过滤不一致图像并引入跨视图正则化,使NeRF模型无需重新训练即可实现多种编辑效果并泛化到新场景。
2023-11-30 cs.CV
Text-Guided 3D Face Synthesis -- From Generation to Editing
Netease Fuxi AI Lab(网易伏羲人工智能实验室);Tsinghua University(清华大学);Zhejiang University(浙江大学);University of Queensland(昆士兰大学)
本文提出统一的文本引导三维人脸生成与编辑框架,通过几何-纹理解耦生成、UV域一致性保持正则化和自引导一致性权重策略,实现高质量且可迭代编辑的定制化三维人脸合成。
2023-12-01 cs.CV
SAVE: Spectral-Shift-Aware Adaptation of Image Diffusion Models for Text-driven Video Editing
University of Central Florida(中佛罗里达大学)
SAVE提出谱移感知适配框架,仅微调预训练图像扩散模型权重的奇异值并冻结奇异向量,同时引入谱移正则化器,将视频适配时间缩短约10倍,适用于风格迁移、物体替换和隐私保护等文本驱动视频编辑任务。
2023-12-01 cs.CV
FlowAlign: Trajectory-Regularized, Inversion-Free Flow-based Image Editing
KAIST(韩国科学技术院)
本文提出无需反演的流图像编辑框架 FlowAlign,通过最优控制与终点源相似度正则化稳定 ODE 轨迹,兼顾语义对齐、结构一致性及可逆反向编辑。
2025-07-27 cs.AI cs.CV cs.LG
In-N-Out: Faithful 3D GAN Inversion with Volumetric Decomposition for Face Editing
University of Maryland, College Park(马里兰大学学院公园分校);Adobe Research(奥多比研究院)
针对3D感知GAN反演中分布外人脸重建难、保真度与可编辑性难兼顾的问题,提出用双神经辐射场分别建模分布内外内容并优化合成的方法,提升了人脸重建与编辑效果。
2024-04-14 cs.CV
Neural Photo Editing with Introspective Adversarial Networks
Heriot-Watt University(赫瑞-瓦特大学);Renishaw plc(雷尼绍公司)
生成图像模型越来越逼真的样本质量表明其在图像生成以外的应用中的可行性。我们提出了神经照片编辑器,一个界面,利用生成神经网络的力量,使大,语义连贯的变化,现有的图像。为了解决在不损失特征质量的情况下实现准确重建的挑战,我们引入了内省对抗网络,这是VAE和GAN的一种新的混合。我们的模型通过使用基于权重共享的扩张卷积的计算块来有效地捕获长程依赖关系,并通过一种新的权重正则化方法正交正则化来提高泛化性能。我们在CelebA,SVHN和CIFAR-100上验证了我们的贡献,并以高视觉保真度制作了样本和重建。
2017-02-06 cs.CV cs.LG cs.NE
DiffFAE: Advancing High-fidelity One-shot Facial Appearance Editing with Space-sensitive Customization and Semantic Preservation
Tencent Youtu Laboratory(腾讯优图实验室);Nanjing University(南京大学);Zhejiang University(浙江大学);VIVO(维沃(vivo));Fudan University(复旦大学)
本文提出DiffFAE,一个单阶段高效扩散框架,通过空间敏感物理定制和区域响应语义组合模块及一致性正则化,解决面部外观编辑中的保真度低、属性保留差和推理效率低问题,实现最先进性能。
2024-03-26 cs.CV
RPiAE: A Representation-Pivoted Autoencoder Enhancing Both Image Generation and Editing
Beihang University(北航大学);AI Research(360人工智能研究院);The Chinese University of Hong Kong(香港中文大学)
本文提出RPiAE,一种基于表示的自编码器,通过引入表示偏转正则化和变分桥梁,提升图像生成和编辑的性能,实验表明其在文本到图像生成和图像编辑中表现优异。
2026-03-19 cs.CV
FlexIT: Towards Flexible Semantic Image Translation
Facebook AI Research(脸书人工智能研究院);Meero;LIP6(巴黎第六大学计算机科学实验室)
深度生成模型,如GANs,大大提高了图像合成的技术水平,并且能够在结构化领域(如人脸)中生成近乎照片般逼真的图像。基于这一成功,最近的图像编辑工作通过将图像投影到GAN潜在空间并操纵潜在向量来进行。然而,这些方法的局限性在于,仅可以变换来自窄域的图像,并且仅具有有限数量的编辑操作。我们提出了FlexIT,一种新的方法,可以采取任何输入图像和用户定义的文本指令进行编辑。我们的方法实现了灵活和自然的编辑,推动了语义图像翻译的极限。首先,FlexIT将输入图像和文本组合到CLIP多模态嵌入空间中的单个目标点中。通过自动编码器的潜在空间,我们迭代地将输入图像变换到目标点,通过各种新颖的正则化项确保一致性和质量。我们提出了一个语义图像翻译的评估协议,并在ImageNet上对我们的方法进行了彻底的评估。代码将公开提供。
2022-03-09 cs.CV
Instilling Multi-round Thinking to Text-guided Image Generation
School of Computing, National University of Singapore(新加坡国立大学计算机学院);Monash University(莫纳什大学)
针对文本引导图像编辑中单轮生成易忽略细粒度细节、多轮交互误差累积的问题,提出兼容现有方法的多轮正则化自监督策略,通过约束修改顺序一致性放大初始细节误差,实现单/多轮高保真编辑,且泛化性和语义对齐效果优异。
2024-03-09 cs.CV
3D-LATTE: Latent Space 3D Editing from Textual Instructions
University of Tübingen, Tübingen AI Center(图宾根大学,图宾根人工智能中心);Google Zurich(谷歌瑞士总部)
3D-LATTE通过在潜在空间中直接操控3D几何,实现高质量的文本指令驱动3D编辑。
2025-12-12 cs.CV cs.GR
SliderEdit++: Improved Slider Trajectories in Instruction-Based Image Editing
Adobe Research(奥多比研究院);University of Maryland(马里兰大学)
针对现有滑块图像编辑的可控性缺陷,提出SliderEdit++方法,结合多空间轨迹正则化与解耦目标,在SlideBench基准上实现性能提升且速度大幅加快。
2026-10-15 cs.CV cs.GR
Both Semantics and Reconstruction Matter: Making Representation Encoders Ready for Text-to-Image Generation and Editing
The University of Hong Kong(香港大学);Adobe Research(Adobe研究)
本文提出一种框架,通过语义-像素重建目标正则化潜在空间,使编码器特征更适用于生成任务,实现高质量图像生成和编辑。
2025-12-19 cs.CV
Vox-E: Text-guided Voxel Editing of 3D Objects
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
本文提出Vox-E,利用潜在扩散模型和分数蒸馏采样对三维物体进行文本引导编辑,并通过三维体积正则化损失与交叉注意力体积网格优化,在保持原始结构的同时实现多样化编辑。
2023-09-19 cs.CV cs.GR
Coupled Diffusion Sampling for Training-Free Multi-View Image Editing
Stanford University(斯坦福大学);University of Maryland, College Park(马里兰大学学院公园分校)
提出一种免训练的耦合扩散采样方法,通过隐式3D正则化约束生成图像符合多视图分布,实现多视图一致的图像编辑,并在三个任务上验证了其有效性和通用性。
2025-10-16 cs.AI cs.CV
ElasticTTT: Prior-Preserving Test-Time Tuning for Video Editing
College of AI, Tsinghua University(清华大学人工智能学院);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
研究针对预训练扩散模型的测试时调优中存在的问题,提出ElasticTTT框架,通过目标分布正则化、对比条件采样和异步噪声调度等方法,成功保留基础模型生成先验,在一次性视频编辑中达领先性能。
2026-08-03 cs.AI cs.CV
Reproducing DragDiffusion: Interactive Point-Based Editing with Diffusion Models
Faculty of Computer and Information Science(计算机与信息科学学院);University of Ljubljana(卢布尔雅那大学)
本文重现了DragDiffusion方法,验证了其在不同超参数下的可重复性,并发现其性能对优化时间步和特征层敏感。
2026-02-12 cs.AI cs.CV cs.LG
Layered Neural Atlases for Consistent Video Editing
Weizmann Institute of Science(魏茨曼科学研究所);Adobe Research(奥多比研究院)
我们提出了一种方法,分解,或“解包”,输入视频成一组分层的2D地图集,每个提供一个统一的表示的对象(或背景)的外观在视频。对于视频中的每个像素,我们的方法估计其在每个地图集中对应的2D坐标,为我们提供了一致的视频参数化,以及相关的alpha(不透明度)值。重要的是,我们将地图集设计为可解释和语义的,这有助于在地图集领域进行简单直观的编辑,只需最少的手动工作。应用于单个2D图谱(或输入视频帧)的编辑会自动一致地映射回原始视频帧,同时保留遮挡、变形和其他复杂的场景效果,如阴影和反射。我们的方法采用基于坐标的多层感知器(MLP)表示映射,地图集和阿尔法,这是联合优化的每视频的基础上,使用视频重建和正则化损失的组合。通过纯粹在2D中操作,我们的方法不需要任何关于场景几何形状或相机姿势的先验3D知识,并且可以处理复杂的动态现实世界视频。我们展示了各种视频编辑应用程序,包括纹理映射,视频风格转移,图像到视频纹理转移,分割/标签传播,所有自动产生的编辑一个单一的二维图集图像。
2021-09-23 cs.CV cs.GR
In-context Region-based Drag: Drag Any Region to Any Shape
Shanghai Jiao Tong University(上海交通大学)
提出ICRDrag方法,通过上下文学习框架和两种注意力正则化,实现区域级拖拽编辑,在精度和视觉保真度上显著优于现有方法。
2026-06-25 cs.CV
Personalize Anything for Free with Diffusion Transformer
Tsinghua University(清华大学);Beihang University(北京航空航天大学);Renmin University of China(中国人民大学)
本文提出免训练框架 Personalize Anything,利用 DiT 中的自适应 token 替换与 patch 扰动实现高一致性、多功能的个性化图像生成和编辑。
2025-03-16 cs.CV
FICE: Text-Conditioned Fashion Image Editing With Guided GAN Inversion
University of Ljubljana(卢布尔雅那大学);Queensland University of Technology(昆士兰科技大学)
时尚图像编辑是一项具有挑战性的计算机视觉任务,其目标是将选定的服装合并到给定的输入图像中。大多数现有的技术,称为虚拟试穿方法,通过首先选择所需服装的示例图像,然后将服装转移到目标人身上来处理该任务。相反,在本文中,我们考虑用文本描述编辑时尚图像。这种方法相对于基于实例的虚拟试穿技术具有若干优点,例如:(i)它不需要目标时尚物品的图像,并且(ii)它允许通过使用自然语言来表达各种各样的视觉概念。现有的使用语言输入的图像编辑方法受到其对具有丰富属性注释的训练集的要求的严重限制,或者它们只能处理简单的文本描述。我们解决这些限制,提出了一种新的文本条件编辑模型,称为FICE(时尚图像剪辑编辑),能够处理各种各样的不同的文本描述,以指导编辑过程。特别是FICE,我们增加了常见的GAN反演过程中,包括语义,姿势相关的,和图像级的约束时,生成图像。我们利用CLIP模型的能力来执行语义,由于其令人印象深刻的图像-文本关联功能。此外,我们提出了一个潜在的代码正则化技术,提供了更好地控制合成图像的保真度的手段。我们通过严格的实验验证FICE的VITON图像和时尚代文字描述的组合,并与几个国家的最先进的文字条件的图像编辑方法进行比较。实验结果表明,FICE生成高度逼真的时尚图像,并导致更强的编辑性能比现有的竞争方法。
2023-01-05 cs.AI cs.CV cs.LG
Improved StyleGAN Embedding: Where are the Good Latents?
KAUST(阿卜杜拉国王科技大学);Cardiff University(卡迪夫大学);Miami University(迈阿密大学)
StyleGAN能够生成与真实照片几乎无法区分的照片级真实感图像。为给定图像找到嵌入的反向问题构成了挑战。很好地重建图像的嵌入并不总是对编辑操作鲁棒的。在本文中,我们解决的问题,找到一个嵌入,既重建图像,也支持图像编辑任务。首先,我们引入了一个新的归一化空间来分析重建的潜在码的多样性和质量。这个空间可以帮助回答好的潜在代码在潜在空间中位于何处的问题。其次,我们提出了一种改进的嵌入算法,使用一种新的正则化方法的基础上,我们的分析。最后,我们分析了不同嵌入算法的质量。我们将我们的结果与当前最先进的方法进行比较,并在重建质量和编辑质量之间实现了更好的权衡。
2021-10-15 cs.CV cs.GR
Scalable Minimal-Change Learning for Controllable Image Editing
Sydney AI Centre, The University of Sydney(悉尼大学悉尼人工智能中心);University of Melbourne(墨尔本大学)
针对图像编辑中非预期更改问题,提出基于强化学习和智能体视觉语言奖励模型的最小变更优化方法ARRO,显著提升编辑精度并减少偏离目标变化。
2026-10-06 cs.AI cs.CV
CURE: Concept Unlearning via Orthogonal Representation Editing in Diffusion Models
Purdue University(普渡大学)
本文提出CURE,一个无需训练的扩散模型概念遗忘框架,通过闭式正交投影模块Spectral Eraser在权重空间中识别并隔离不良概念特征,实现快速、彻底且对无关能力损害极小的内容移除,并增强对红队攻击的鲁棒性。
2025-10-11 cs.CV
Diffusion-Based Material Regularization for Physics-Based Inverse Rendering
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);NVIDIA(英伟达);BNRist and School of Software, Tsinghua University(清华大学软件学院及北京国家信息科学与技术研究中心)
提出将扩散模型预测作为相似性核,通过正则化损失约束材料优化,联合重建几何、材质和光照,在多个数据集上显著优于现有方法。
2026-07-01 cs.CV
AttriHuman-3D: Editable 3D Human Avatar Generation with Attribute Decomposition and Indexing
S-Lab, Nanyang Technological University(新加坡南洋理工大学S-Lab);School of Computer Science and Engineering, South China University of Technology(华南理工大学计算机科学与工程学院);SenseTime Research(商汤科技研究院)
AttriHuman-3D通过属性分解与索引机制,在六特征平面属性空间中实现可编辑3D人体化身生成,结合属性索引、正交投影正则化及超隐变量训练策略,实现高质量细粒度局部编辑。
2024-02-27 cs.CV
SANA-Streaming: Real-time Streaming Video Editing with Hybrid Diffusion Transformer
NVIDIA;MIT(麻省理工学院);THU(清华大学);NUS(新加坡国立大学);HKU(香港大学)
提出系统-算法协同设计的SANA-Streaming框架,通过混合扩散Transformer架构、循环反向正则化训练策略和高效系统协同设计,在消费级GPU上实现高分辨率实时流式视频编辑,达到1280×704分辨率24 FPS的端到端性能。
2026-05-28 cs.AI cs.CV
CustomSketching: Sketch Concept Extraction for Sketch-based Image Synthesis and Editing
School of Creative Media, City University of Hong Kong(香港城市大学创意媒体学院)
本文提出CustomSketching两阶段框架,通过双草图表示从草图-图像对中提取草图概念,结合形状损失与正则化损失,实现细粒度、可控的基于草图的图像合成与编辑,并在实验中优于适配基线。
2024-02-27 cs.CV cs.GR
Hierarchical Semantic Regularization of Latent Spaces in StyleGANs
Indian Institute of Science(印度科学学院);Google Research(谷歌研究院);Motive Technologies, Inc(Motive技术公司)
GANs的进步使高分辨率逼真图像的生成成为可能。StyleGAN允许通过对W/W+空间中的潜在样式向量进行数学运算来对此类图像进行引人注目的属性修改,这些数学运算有效地调节了生成器的丰富层次表示。这种操作最近已经被推广到原始StyleGAN论文中的属性交换之外,包括插值。尽管StyleGAN有许多重大改进,但它们仍然被视为生成不自然的图像。生成的图像的质量取决于两个假设:(a)生成器学习的层次表示的丰富性,以及(b)风格空间的线性和平滑度。在这项工作中,我们提出了一个层次语义正则化器(HSR),它将生成器学习的层次表示与预训练网络在大量数据上学习的相应强大功能相匹配。HSR不仅提高了生成器表示,而且还提高了潜在样式空间的线性度和平滑度,从而生成了外观更自然的样式编辑图像。为了证明改进的线性,我们提出了一种新的度量-属性线性得分(ALS)。在不同的标准数据集上,感知路径长度(PPL)指标平均提高了16.19%,同时提高了属性编辑任务中属性变化的线性度,这证实了非自然图像生成的显著减少。
2022-08-07 cs.CV
LUSD: Localized Update Score Distillation for Text-Guided Image Editing
VISTEC(泰国先进科学技术研究所);Siam Commercial Bank(暹罗商业银行);Faculty of Medicine Siriraj Hospital(诗里拉吉医学院附属医院);Pixiv(Pixiv公司)
本文提出LUSD方法,通过基于注意力的空间正则化和梯度过滤-归一化解决文本引导图像编辑中分数蒸馏梯度不稳定问题,在提示保真度和背景保留上优于现有技术。
2025-07-02 cs.CV cs.GR cs.LG
TAG-MoE: Task-Aware Gating for Unified Generative Mixture-of-Experts
University of Chinese Academy of Sciences(中国科学院大学);Tencent Hunyuan(腾讯文言);National Cheng-Kung University(国立成功大学)
本文提出TAG-MoE框架,通过引入层次化任务语义标注方案和预测对齐正则化,解决密集扩散变换器架构中任务干扰问题,提升生成质量和保真度。
2026-03-26 cs.AI cs.CV
Sound Sparks Motion: Audio and Text Tuning for Video Editing
University of Cyprus(塞浦路斯大学);Simon Fraser University(西蒙弗雷泽大学);Tel Aviv University(特拉维夫大学);CYENS Center Of Excellence(CYENS卓越中心)
本文提出Sound Sparks Motion框架,通过测试时调整音频视觉生成模型的多模态条件信号,实现视频动作编辑,无需训练,通过音频潜在和文本条件残差扰动促进动作修改,同时利用视觉语言模型反馈提升编辑效果。
2026-05-14 cs.CV cs.GR cs.MM
Mage-Flow: An Efficient Native-Resolution Foundation Model for Image Generation and Editing
Microsoft Mage Team(微软Mage团队)
研究针对大规模视觉生成器成本高的问题,提出Mage-Flow,由Mage-VAE和原生分辨率多模态扩散Transformer组成。通过协同设计实现高效文本到图像生成及编辑,开发完整模型家族,Turbo变体在高分辨率下生成和编辑高效,性能有竞争力。
2026-07-23 cs.AI cs.CV cs.LG
DreamSteerer: Enhancing Source Image Conditioned Editability using Personalized Diffusion Models
Australian National University(澳大利亚国立大学);GE Research(GE研究中心)
针对个性化扩散模型与文本编辑框架结合后源图像可编辑性差的问题,提出插件式方法DreamSteerer,通过EDSD目标等技术提升可编辑性,效果显著且计算高效。
2024-10-30 cs.CV cs.LG
Learning Quantized Adaptive Conditions for Diffusion Models
School of Mathematical Sciences, Peking University(北京大学数学科学学院)
本文提出一种利用极轻量级量化编码器生成自适应条件的方法,有效降低了扩散模型ODE轨迹曲率,在仅增加1%参数且无需额外正则化的情况下大幅加速采样并提升图像质量。
2024-09-26 cs.CV
Example-based Color Transfer with Gaussian Mixture Modeling
School of Engineering, University of Fukui(福井大学工学院)
色彩传递在图像编辑中起着关键的作用,近年来引起了人们的广泛关注。迄今为止,由于各种问题,如耗时的手动调整和先前的分割问题,这仍然是一个挑战。在本文中,我们提出了一个概率框架下的颜色传输模型,并将其转换为参数估计问题。特别地,我们在高斯混合模型(GMM)下将传输图像与示例图像相关联,并将传输图像的颜色视为GMM的质心。我们采用期望最大化(EM)算法(E-步骤和M-步骤)进行优化。为了更好地保留梯度信息,我们在M步引入了一个基于拉普拉斯算子的正则化项,通过推导一个梯度下降算法来求解。给定源图像和示例图像的输入,我们的方法能够随着EM迭代的增加而生成连续的颜色转移结果。各种实验表明,我们的方法一般优于其他竞争力的颜色转移方法,无论是在视觉上和定量。
2022-01-06 cs.CV
ViCA-NeRF: View-Consistency-Aware 3D Editing of Neural Radiance Fields
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究提出首个文本驱动的视图一致性感知NeRF三维编辑方法ViCA-NeRF,通过几何与学习型两类正则化保证多视图一致性,分两阶段实现编辑,相较现有方法更灵活高效、效果更优。
2024-02-01 cs.CV
MaterialGAN: Reflectance Capture using a Generative SVBRDF Model
University of California, Irvine(加州大学欧文分校);Adobe Research(Adobe研究院)
我们解决的问题,重建空间变化的BRDF从一个小的图像测量。这是一个基本的欠约束问题,以前的工作依赖于使用各种正则化先验或捕获许多图像来产生合理的结果。在这项工作中,我们提出了MaterialGAN,这是一种基于StyleGAN2的深度生成卷积网络,经过训练可以合成逼真的SVBRDF参数图。我们证明了MaterialGAN可以在逆向渲染框架中用作强大的材料先验:我们优化了其潜在表示,以生成与渲染时捕获图像的外观相匹配的材料图。我们展示了这个框架上的任务,重建SVBRDFs从使用手持手机的闪光灯照明下捕获的图像。我们的方法成功地产生了合理的材料地图,准确地再现了目标图像,并优于以前的最先进的材料捕获方法在合成和真实数据的评估。此外,我们基于GAN的潜在空间允许高级语义材料编辑操作,例如生成材料变体和材料变形。
2020-09-30 cs.CV
Make Encoder Great Again in 3D GAN Inversion through Geometry and Occlusion-Aware Encoding
Hong Kong University of Science and Technology(香港科技大学);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);International Digital Economy Academy (IDEA)(国际数字经济研究院(IDEA))
3D GAN反演旨在从单个图像输入同时实现高重建保真度和合理的3D几何形状。然而,现有的3D GAN反演方法依赖于针对每个单独情况的耗时优化。在这项工作中,我们介绍了一种新的基于编码器的反演框架的基础上EG3D,最广泛使用的三维GAN模型之一。我们利用EG3D的潜在空间的固有属性来设计一个正则化和一个背景深度正则化。这使得我们能够训练几何感知编码器能够将输入图像转换为相应的潜在代码。此外,我们探索EG3D的特征空间,并开发了一个自适应细化阶段,提高了EG3D中特征的表示能力,以增强细粒度纹理细节的恢复。最后,我们提出了一个遮挡感知融合操作,以防止在未观察到的区域失真。我们的方法取得了令人印象深刻的结果,可与基于优化的方法相媲美,同时运行速度快达500倍。我们的框架非常适合语义编辑等应用程序。
2023-03-22 cs.CV
GenDeF: Learning Generative Deformation Field for Video Generation
Zhejiang University(浙江大学);Ant Group(蚂蚁集团);HKUST(香港科技大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出 GenDeF,利用生成式形变场形变静态图像来渲染视频,以复用图像先验、实现运动正则化及内容运动解耦,并在三个基准上验证其优势。
2023-12-07 cs.CV
Unsupervised Coherent Video Cartoonization with Perceptual Motion Consistency
Institute of Computing Technology(计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Huawei Technologies(华为技术有限公司);University of Science and Technology of China(中国科学技术大学)
近年来,像风格转移和神经照片编辑这样的创意内容生成引起了越来越多的关注。其中,真实世界场景的卡通化在娱乐和工业中有着很好的应用。与注重提高生成图像风格效果的图像翻译不同,视频卡通化对时间一致性有额外的要求。在本文中,我们提出了一个空间自适应的语义对齐框架与感知运动一致性相干视频卡通化在无监督的方式。语义对齐模块的设计是为了恢复变形的语义结构所造成的空间信息丢失的编码器-解码器架构。此外,我们设计的时空相关地图作为一个风格独立的,全局感知的感知运动一致性的正则化。该算法通过对照片和卡通图像中的高层次特征进行相似性度量,获取光流中原始像素值以外的全局语义信息。此外,相似性度量从特定领域的风格属性中分离出时间关系,这有助于在不损害卡通图像风格效果的情况下规范时间一致性。定性和定量实验表明,我们的方法能够生成风格和时间高度一致的卡通视频。
2022-04-02 cs.CV
Towards Transferable Defense Against Malicious Image Edits
State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences (CAS)(人工智能安全国家重点实验室,计算技术研究所,中国科学院);University of China Academy of Sciences(中国科学院大学);School of Computer Science, China University of Geosciences(中国地质大学(武汉)计算机学院)
TDAE通过双模优化提升图像对恶意编辑的免疫性,实现跨模型的可迁移防御。
2026-03-02 cs.AI cs.CV cs.CY
SINE: Semantic-driven Image-based NeRF Editing with Prior-guided Editing Field
Zhejiang University(浙江大学);Google(谷歌)
尽管使用用户友好的工具(如Photoshop,语义笔划甚至文本提示)在2D编辑方面取得了巨大成功,但3D领域的类似功能仍然有限,要么依赖于3D建模技能,要么只允许在少数类别内编辑。在本文中,我们提出了一种新的语义驱动的NeRF编辑方法,它使用户能够编辑一个神经辐射场与一个单一的图像,并忠实地提供编辑的新的意见,高保真度和多视图一致性。为了实现这一目标,我们提出了一个事先指导的编辑字段编码细粒度的几何和纹理编辑在3D空间中,并开发了一系列的技术来帮助编辑过程中,包括循环约束与代理网格,以方便几何监督,颜色合成机制,以稳定语义驱动的纹理编辑,和基于特征聚类的正则化,以保持不相关的内容不变。在真实场景和合成数据上的大量实验和编辑实例表明,该方法仅使用一幅编辑图像就实现了照片级真实感的3D编辑,突破了3D真实场景中语义驱动编辑的界限。我们的项目网页:www.example.com。
2023-03-25 cs.CV
Cycle Encoding of a StyleGAN Encoder for Improved Reconstruction and Editability
Sun Yat-sen University(中山大学);Xiamen University(厦门大学);City University of Hong Kong(香港城市大学);Guangdong University of Technology(广东工业大学);Hong Kong Polytechnic University(香港理工大学)
GAN反演旨在将输入图像反演到预先训练的GAN的潜在空间中。尽管最近在GAN反演中取得了进展,但仍然存在减轻失真和可编辑性之间的权衡的挑战,即准确地重建输入图像并以小的视觉质量下降编辑反演图像。最近提出的枢轴调整模型,通过使用两步的方法,首先将输入图像反转成一个潜在的代码,称为枢轴代码,然后改变生成器,使输入图像可以准确地映射到枢轴代码,使重建和可编辑性取得了重大进展。在这里,我们表明,重建和可编辑性可以通过适当的设计枢轴代码。我们提出了一个简单而有效的方法,命名为循环编码,高质量的枢轴代码。我们的方法的核心思想是逐步训练的编码器在不同的空间根据一个循环计划:W->W+->W。这种训练方法保留了W和W+空间的属性,即W的高可编辑性和W+的低失真。为了进一步减少失真,我们还建议使用基于优化的方法来改进枢轴代码,其中引入正则化项以减少可编辑性的退化。定性和定量比较几个国家的最先进的方法证明了我们的方法的优越性。
2022-07-19 cs.CV
Toward a Controllable Disentanglement Network
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了两个关键问题的学习解纠缠的图像表示,即控制的程度,在图像编辑,并平衡的解纠缠强度和重建质量。为了鼓励解纠缠,我们设计了一个基于距离协方差的去相关正则化。此外,对于重建步骤,我们的模型利用与潜像代码相结合的软目标表示。通过探索软目标表示的实值空间,我们能够合成具有指定属性的新图像。为了提高由基于自动编码器(AE)的模型生成的图像的感知质量,我们通过将AE解码器和GAN生成器折叠成一个来扩展具有生成对抗网络(GAN)的编码器-解码器架构。我们还设计了一个基于分类的协议来定量评估我们的模型的解纠缠强度。实验结果表明,所提出的模型的好处。
2020-06-20 cs.CV cs.LG stat.ML
SAIL: Self-supervised Albedo Estimation from Real Images with a Latent Diffusion Model
Noah’s Ark, Huawei Paris Research Center(华为巴黎研究中心);IBISC, Université Paris-Saclay, Univ Evry(巴黎萨克雷大学IBISC实验室);L Research(L研究)
提出SAIL方法,利用潜在扩散模型先验和潜在空间分解,从真实单视图图像自监督估计稳定反照率,仅需无标签多光照数据。
2025-05-27 cs.CV
UniGRPO: Unified Policy Optimization for Reasoning-Driven Visual Generation
The Chinese University of Hong Kong(香港中文大学)
本文提出UniGRPO框架,通过统一强化学习方法优化文本和图像生成策略,解决多轮交错生成问题,提升生成质量与可扩展性。
2026-03-24 cs.CV
Robust GAN inversion
Skolkovo institute of science and technology(斯科尔科沃科技学院)
针对GAN反演中低失真与高可编辑性难以兼得的问题,提出在原生潜在空间W中调整生成器并利用WRanGAN学习可学习正则化系数的方法,以更少参数实现最低失真,并在两个复杂数据集上验证有效性。
2023-08-31 cs.CV eess.IV
FluSplat: Sparse-View 3D Editing without Test-Time Optimization
Goertek Alpha Labs(科特克阿尔法实验室)
本文提出一种无需测试时优化的稀疏视角3D编辑框架,通过图像域中的跨视角正则化方案实现视图一致性,提升编辑质量和效率。
2026-04-21 cs.CV