Free-Editor: Zero-shot Text-driven 3D Scene Editing
University of Central Florida(中佛罗里达大学);Wayne State University(韦恩州立大学)
针对现有3D场景编辑需重训练模型、存在多视图不一致的问题,提出免训练的Free-Editor技术,通过单视图编辑和Edit Transformer实现高效一致的文本驱动3D场景编辑,速度达SOTA方法的20倍。
2024-07-14 cs.CV
MvDrag3D: Drag-based Creative 3D Editing via Multi-view Generation-Reconstruction Priors
Nanyang Technological University(南洋理工大学)
MVDrag3D提出利用多视图扩散生成先验与重建模型实现灵活一致的3D拖拽编辑,并通过视图特定变形网络和多视图评分函数解决视图错位问题,提升编辑质量与多样性。
2024-10-21 cs.CV
PSF-4D: A Progressive Sampling Framework for View Consistent 4D Editing
Wayne State University(韦恩州立大学);University of Central Florida(中佛罗里达大学);Miami University(迈阿密大学)
提出PSF-4D框架,通过控制前向扩散噪声初始化并设计相关高斯噪声结构与跨视图噪声模型,实现时间与多视图一致的4D编辑,无需外部模型即优于现有方法。
2025-04-01 cs.CV
Edit360: 2D Image Edits to 3D Assets from Any Angle
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Nanyang Technological University(南洋理工大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Voyager Research, Didi Chuxing(Voyager Research与滴滴出行)
提出无需调优的Edit360框架,基于视频扩散模型与锚点视角编辑传播机制,将2D图像编辑扩展为多视角一致的3D编辑,支持任意视角定制并生成高质量3D资产。
2025-06-30 cs.CV cs.GR
DisCo3D: Distilling Multi-View Consistency for 3D Scene Editing
Institute for Artificial Intelligence, Beijing National Research Center for Information Science and Technology, Department of Computer Science and Technology, Tsinghua University(人工智能研究院、北京信息科学与技术国家研究中心、计算机科学与技术系、清华大学);College of Computer, National University of Defense Technology(计算机学院、国防科技大学)
本文提出DisCo3D框架,通过微调3D生成器、一致性蒸馏训练2D编辑器并结合Gaussian Splatting,实现了稳定的3D场景编辑多视图一致性,且编辑质量优于现有SOTA方法。
2026-09-01 cs.CV
EditCast3D: Single-Frame-Guided 3D Editing with Video Propagation and View Selection
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Michigan State University(密歇根州立大学)
EditCast3D提出利用视频生成模型从单帧传播编辑至整个数据集,并通过视角选择策略确保一致性,实现高效高质量的三维编辑,减少对昂贵图像编辑的依赖。
2025-10-11 cs.CV
3D-LATTE: Latent Space 3D Editing from Textual Instructions
University of Tübingen, Tübingen AI Center(图宾根大学,图宾根人工智能中心);Google Zurich(谷歌瑞士总部)
3D-LATTE通过在潜在空间中直接操控3D几何,实现高质量的文本指令驱动3D编辑。
2025-12-12 cs.CV cs.GR
Coupled Diffusion Sampling for Training-Free Multi-View Image Editing
Stanford University(斯坦福大学);University of Maryland, College Park(马里兰大学学院公园分校)
提出一种免训练的耦合扩散采样方法,通过隐式3D正则化约束生成图像符合多视图分布,实现多视图一致的图像编辑,并在三个任务上验证了其有效性和通用性。
2025-10-16 cs.AI cs.CV
InstructMix2Mix: Consistent Sparse-View Editing Through Multi-View Model Personalization
Technion – Israel Institute of Technology(技术学院–以色列理工学院);NVIDIA(英伟达)
针对稀疏视图输入的多视图图像编辑任务,提出InstructMix2Mix框架,将2D扩散模型的编辑能力蒸馏到预训练多视图扩散模型中,通过增量更新、专用调度器等适配,显著提升跨视图一致性与编辑质量。
2025-11-18 cs.CV
GarmentCrafter: Progressive Novel View Synthesis for Single-View 3D Garment Reconstruction and Editing
Carnegie Mellon University(卡内基梅隆大学);Texas A&M University(德克萨斯农工大学);Google(谷歌)
GarmentCrafter利用渐进式深度预测、图像变形与多视角扩散模型,从单张图像重建和编辑三维服装,在视觉保真度和跨视角一致性上超越现有方法。
2025-03-11 cs.AI cs.CV cs.GR
DreamEdit3D: Personalization of Multi-View Diffusion Models for 3D Editing
Technical University of Munich(慕尼黑技术大学)
本文提出DreamEdit3D,通过自然语言实现多视角扩散模型的3D编辑个性化,通过提取语义组件并学习不同组件的token嵌入,实现多视角一致的高质量3D编辑。
2026-05-16 cs.CV
Tinker: Diffusion's Gift to 3D--Multi-View Consistent Editing From Sparse Inputs without Per-Scene Optimization
Zhejiang University(浙江大学);Zhejiang University of Technology(浙江工业大学)
该研究提出Tinker框架,无需逐场景优化即可从1-2张图像实现高保真3D编辑,利用预训练扩散模型的潜在3D感知能力保证多视图一致性,还构建了首个大规模多视图编辑数据集,显著降低3D内容创建门槛。
2025-08-20 cs.CV
SyncNoise: Geometrically Consistent Noise Prediction for Text-based 3D Scene Editing
Hong Kong Polytechnic University(香港理工大学);OPPO Research Institute(OPPO研究院);Stability AI;Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出SyncNoise,一种几何引导的多视角一致噪声编辑方法,通过同步编辑多视角并强制几何一致性,结合锚点视角传播与深度监督,实现了高保真且尊重文本指令的3D场景编辑。
2024-06-25 cs.CV
Make Your MoVe: Make Your 3D Contents by Adapting Multi-View Diffusion Models to External Editing
Tsinghua University(清华大学);Zhejiang University(浙江大学)
针对2D编辑结果直接用于3D生成导致质量下降的问题,提出免微调的即插即用方案,通过几何保留模块和注入切换器,在单次推理中实现编辑后资产与原始几何的对齐,有效提升了3D资产的多视图一致性与网格质量。
2025-08-11 cs.CV
Edit in 2D, Verify in 3D: Reinforcement Learning for Multi-view Consistent Scene Editing
本文提出RL3DEdit框架,利用强化学习优化多视角一致的3D场景编辑,通过VGGT模型生成的置信度图和姿态误差作为奖励信号,提升编辑质量与效率。
2026-06-28 cs.AI cs.CV
Controllable Pedestrian Video Editing for Multi-View Driving Scenarios via Motion Sequence
MiLM Plus, Xiaomi Inc.(小米公司)
针对自动驾驶行人检测模型因训练数据危险场景不足鲁棒性差的问题,提出融合视频修复与运动控制的多视角行人视频编辑框架,可实现插入、替换、移除等编辑,效果真实连贯,可用于数据增强与场景模拟。
2025-08-01 cs.AI cs.CV cs.RO
CrossTimeEdit: A Decade-Spanning Cross-View Dataset and Reward-Guided Editing for Historical Street-View Generation
Sun Yat-sen University(中山大学)
针对历史街景生成中记录缺失问题,提出CrossTimeEdit模型,利用近期街景与时间卫星差异进行编辑式生成,结合SFT与RL优化,在三个编辑标准上较基线提升17.12%。
2026-09-30 cs.CV
UMFuse: Unified Multi View Fusion for Human Editing applications
Adobe(奥多比);Adobe Research(奥多比研究院)
由于其广泛的实际应用,视觉社区已经探索了许多姿势引导的人类编辑方法。然而,这些方法中的大多数仍然使用图像到图像公式,其中单个图像作为输入给出以产生编辑后的图像作为输出。在目标姿态与输入姿态显著不同的情况下,该目标变得不明确。现有的方法,然后诉诸绘画或风格转移,以处理闭塞和保留内容。在本文中,我们探讨了利用多个视图,以尽量减少丢失信息的问题,并生成一个准确的表示底层的人体模型。为了融合来自多个视点的知识,我们设计了一个多视图融合网络,该网络从多个源图像中获取姿势关键点和纹理,并生成一个可解释的每像素外观检索图。此后,来自单独网络(在单视图人类休息任务上训练)的编码被合并在潜在空间中。这使我们能够为不同的编辑任务生成准确,精确和视觉连贯的图像。我们展示了我们的网络在两个新提出的任务上的应用-多视图人类休息和混合匹配人类图像生成。此外,我们还研究了单视图编辑的局限性,以及多视图提供更好选择的情况。
2023-03-28 cs.AI cs.CV
Generic 3D Diffusion Adapter Using Controlled Multi-View Editing
Stanford University(斯坦福大学);UC San Diego(加利福尼亚大学圣迭戈分校);Apparate Labs(阿帕拉蒂实验室)
提出MVEdit,一种基于受控多视图编辑的通用3D扩散适配器,利用免训练3D适配器实现3D一致性,支持多种3D生成与编辑任务,在质量与速度上优于分数蒸馏。
2024-03-19 cs.CV cs.GR
Sketch3DVE: Sketch-based 3D-Aware Scene Video Editing
Institute of Computing Technology, Chinese Academy of Sciences, China(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Hong Kong University of Science(香港科学大学)
Sketch3DVE提出一种基于草图的3D感知视频编辑方法,通过点云编辑、深度图几何对齐、3D感知掩码传播和视频扩散模型,解决大视点变化下3D场景视频的结构编辑与一致性保持问题。
2025-08-19 cs.CV cs.GR
FacadeNet: Conditional Facade Synthesis via Selective Editing
Univesity of Cyprus/CYENS CoE(塞浦路斯大学/CYENS卓越中心);KAUST(阿卜杜拉国王科技大学)
本文提出 FacadeNet,利用条件 GAN 与基于预训练 ViT 嵌入的选择性编辑模块,从单视图和目标视角生成建筑立面图像,在立面生成任务上达到最先进水平。
2023-11-03 cs.AI cs.CV
Video4Edit: Viewing Image Editing as a Degenerate Temporal Process
Baidu Inc.(百度公司)
Video4Edit通过将图像编辑视为退化的时间过程,利用视频预训练的单帧演化先验,实现高效的数据微调,从而在性能上与主流模型相当,但仅需1%的监督数据。
2025-11-22 cs.CV
PrEditor3D: Fast and Precise 3D Shape Editing
Technical University of Munich(慕尼黑工业大学);Snap Inc(森宝公司);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本研究提出无需训练的PrEditor3D 3D编辑方法,通过多视图投影编辑、3D分割定位及区域融合,实现数分钟内精准快速的3D形状编辑,效果优于现有方法。
2024-12-09 cs.CV cs.GR
DynVideo-E: Harnessing Dynamic NeRF for Large-Scale Motion- and View-Change Human-Centric Video Editing
National University of Singapore(新加坡国立大学);Tencent PCG(腾讯平台与内容事业群)
本文提出 DynVideo-E,利用动态 NeRF 与多视角多姿态 SDS 等设计实现大规模运动及视角变化下的以人为中心视频编辑,并在人类偏好上大幅超越现有方法。
2023-12-07 cs.CV
Diffusion Models are Geometry Critics: Single Image 3D Editing Using Pre-Trained Diffusion Priors
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);Tsinghua University(清华大学)
本研究提出一种基于预训练扩散模型的单图像3D编辑技术,通过迭代新视图合成与几何对齐算法,利用扩散模型的外观先验与几何评判功能,实现大视角变换下的高质量3D感知编辑,提升开放域泛化能力。
2024-07-13 cs.CV
Tailor3D: Customized 3D Assets Editing and Generation with Dual-Side Images
Shanghai AI Lab(上海人工智能实验室);The University of Hong Kong(香港大学);The Chinese University of Hong Kong(香港中文大学)
针对3D AIGC难以精准实现3D资产精细化定制编辑的问题,提出Tailor3D流水线,基于双侧图像编辑与Dual-sided LRM拼接特征,实现高效精准的3D生成与编辑,单步编辑仅需数秒。
2024-07-08 cs.CV
Improved 3D Scene Stylization via Text-Guided Generative Image Editing with Region-Based Control
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所)
本文提出了一种改进的3D场景风格化方法,通过文本引导和基于区域的控制,提升风格一致性和视图一致性。
2026-03-02 cs.CV cs.GR
3DDesigner: Towards Photorealistic 3D Object Generation and Editing with Text-guided Diffusion Models
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);JD Explore Academy(京东探索研究院)
本文提出3DDesigner,利用文本引导扩散模型实现3D一致生成、单视角驱动的360度局部编辑及单图新视角合成,并通过实验验证其有效性。
2023-10-12 cs.CV
UniGeo: Unifying Geometric Guidance for Camera-Controllable Image Editing via Video Models
ReLER, CCAI, Zhejiang University(ReLER、CCAI、浙江大学);DBMI, HMS, Harvard University(DBMI、HMS、哈佛大学)
UniGeo通过统一的几何指导在三个层面提升相机可控图像编辑的几何一致性与视觉质量,克服传统方法在连续相机运动下的几何漂移和结构退化问题。
2026-06-29 cs.CV
IDE-3D: Interactive Disentangled Editing for High-Resolution 3D-aware Portrait Synthesis
Tsinghua University(清华大学);Tencent AI Lab(腾讯人工智能实验室);ByteDance Inc.(字节跳动公司)
现有的3D感知人脸生成方法面临着质量与可编辑性的困境:它们要么生成低分辨率的可编辑结果,要么生成高质量的结果,没有编辑灵活性。在这项工作中,我们提出了一种新的方法,将两个世界的最佳结合在一起。我们的系统由三个主要部分组成:(1)一个三维语义感知的生成模型,产生视图一致的,分离的人脸图像和语义面具;(2)一个混合的GAN反演方法,初始化潜在的代码从语义和纹理编码器,并进一步优化他们的忠实重建;以及(3)规范编辑器,其使得能够在规范视图中有效地操纵语义掩码并产生高质量的编辑结果。我们的方法适用于许多应用,例如自由视图面绘制,编辑和样式控制。定量和定性的结果都表明,我们的方法达到了最先进的摄影现实主义,忠实性和效率。
2022-05-31 cs.CV
SceneCrafter: Controllable Multi-View Driving Scene Editing
Waymo;University of Texas at Austin(德克萨斯大学奥斯汀分校);Johns Hopkins University(约翰霍普金斯大学);Google DeepMind(谷歌DeepMind)
提出SceneCrafter,基于多视角扩散模型解决驾驶场景编辑中的3D一致性与配对数据生成挑战,实现可控且逼真的多视角场景编辑。
2025-06-24 cs.CV
Diffusion-Based Attention Warping for Consistent 3D Scene Editing
Tel-Aviv University(特拉维夫大学)
本研究提出一种基于扩散模型的3D场景编辑方法,通过单参考图注意力特征结合高斯溅射深度几何对齐实现多视角特征扭曲,保障编辑的视图一致性与真实感,显著提升3D场景编辑能力。
2024-12-10 cs.CV
FED-NeRF: Achieve High 3D Consistency and Temporal Coherence for Face Video Editing on Dynamic NeRF
HKUST(香港科技大学);Dartmouth College(达特茅斯学院)
本文提出FED-NeRF,一种基于动态人脸GAN-NeRF的新型人脸视频编辑架构,通过恢复潜在编码和3D人脸几何实现多视角一致性,并利用稳定器保持连续帧表情平滑变化以解决抖动问题,实现时间连贯性。
2024-01-05 cs.CV
PosBridge: Multi-View Positional Embedding Transplant for Identity-Aware Image Editing
PosBridge是一种高效灵活的图像编辑框架,通过位置嵌入迁移与角点居中布局,实现自定义对象的无缝插入,在结构一致性、保真度和效率上优于主流基线。
2026-08-11 cs.CV
ICE-G: Image Conditional Editing of 3D Gaussian Splats
Georgia Institute of Technology(佐治亚理工学院);Toyota Research Institute(丰田研究所);Stability AI;Google Research(谷歌研究院)
本文提出 ICE-G 框架,利用单张参考图像的分割与 DINO 语义对应,将颜色和纹理编辑传播到多视图并重新训练 3D 场景,实现高质量、细粒度可控的 Gaussian Splats 编辑。
2024-06-12 cs.AI cs.CV cs.LG
DragTex: Generative Point-Based Texture Editing on 3D Mesh
Beijing Institute of Technology(北京理工大学)
本文提出 DragTex,通过扩散模型融合多视角局部纹理、微调解码器减少非拖拽区域误差,并利用多视角图像训练 LoRA,实现直观且局部一致的 3D 网格纹理拖拽编辑。
2024-03-04 cs.CV
ReMix: Towards a Unified View of Consistent Character Generation and Editing
Tencent GYLab(腾讯GY实验室);Fudan University(复旦大学)
本文提出统一框架 ReMix,通过 ReMix Module 适配语义特征与 IP-ControlNet 解耦布局线索,在保留身份的同时实现一致的角色图像生成与编辑。
2025-10-11 cs.CV
NeuMesh: Learning Disentangled Neural Mesh-based Implicit Field for Geometry and Texture Editing
Zhejiang University(浙江大学);Google(谷歌)
近年来,神经隐式绘制技术得到了迅速发展,并在新的视图合成和三维场景重建方面显示出巨大的优势。然而,用于编辑目的的现有神经渲染方法提供有限的功能,例如,刚性变换,或不适用于日常生活中一般对象的细粒度编辑。在本文中,我们提出了一种新的基于网格的表示,通过编码的神经隐式字段与解纠缠的几何和纹理代码的网格顶点,这有利于一组编辑功能,包括网格引导的几何编辑,指定的纹理编辑与纹理交换,填充和绘画操作。为此,我们开发了几种技术,包括可学习的符号指示器,以放大基于网格表示的空间可扩展性,蒸馏和微调机制,使一个稳定的收敛,和空间感知的优化策略,以实现精确的纹理编辑。在真实数据和合成数据上的大量实验和编辑实例证明了该方法在表示质量和编辑能力上的优越性。代码可以在项目网页上找到:https://zju3dv.github.io/neumesh/。
2022-07-25 cs.CV cs.GR
LEMON: Localized Editing with Mesh Optimization and Neural Shaders
Technical University of Munich(慕尼黑工业大学);Munich Institute of Robotics and Machine Intelligence (MIRMI)(慕尼黑机器人与机器智能研究所(MIRMI));School of Computation, Information and Technology(计算、信息与技术学院)
针对现有多边形网格编辑方案易出现网格与视角结果脱节的问题,提出结合神经延迟着色与局部网格优化的LEMON流水线,可基于文本指令快速生成保留初始几何特征的精细编辑网格,性能优于当前最优方法。
2024-09-18 cs.CV
Designing a 3D-Aware StyleNeRF Encoder for Face Editing
University of Chinese Academy of Sciences(中国科学院大学);Center for Research on Intelligent Perception and Computing, NLPR, CASIA(中国科学院自动化研究所模式识别国家重点实验室智能感知与计算研究中心)
GAN反演已被用于许多人脸操作任务中,但2D GANs通常无法生成多视图3D一致图像。为2D GANs设计的编码器不能为反演和编辑提供足够的3D信息。因此,提出了3D感知的GAN反演以增加GANs的3D编辑能力。然而,3D感知的GAN反演仍然未被充分探索。为了解决这个问题,我们提出了一个三维感知(3Da)编码器的GAN反转和人脸编辑的基础上强大的StyleNeRF模型。我们提出的3Da编码器结合了一个参数化的三维人脸模型与一个可学习的细节表示模型,以生成几何,纹理和视图方向代码。为了更灵活的人脸操作,我们设计了一个双分支的StyleFlow模块来传输StyleNeRF代码,并将其与几何和纹理流分离。大量的实验表明,我们实现了三维一致的人脸操作在面部属性编辑和纹理转移。此外,对于视频编辑,我们使帧代码序列共享一个共同的规范流形,这提高了编辑属性的时间一致性。
2023-02-19 cs.CV
AvatarStudio: Text-driven Editing of 3D Dynamic Human Head Avatars
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland University(萨尔大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);University of Freiburg(弗赖堡大学)
本文提出AvatarStudio,结合个性化文本到图像扩散模型与VT-SDS,在NeRF表示中实现文本驱动的动态全头外观编辑,并通过形变网络保证3D与时间一致性。
2023-06-02 cs.CV cs.GR
SKED: Sketch-guided Text-based 3D Editing
Simon Fraser University(西蒙弗雷泽大学);NVIDIA(英伟达);Tel Aviv University(特拉维夫大学)
针对 NeRF 3D场景难以通过文本进行局部交互编辑的问题,本文提出 SKED,利用仅两张不同视图草图与扩散模型语义引导实现3D编辑,并通过新损失保持未编辑区域。
2023-08-18 cs.CV cs.GR
GeM-NR: Geometry-Aware Multi-View Editing for Nonrigid Scene Changes
Chalmers University of Technology(查尔姆斯理工大学)
提出GeM-NR,一种无需训练的快速灵活方法,通过深度图对齐、视角投影和条件细化实现多视角一致的通用非刚性图像编辑,支持几何和外观的显著变化。
2026-09-02 cs.AI cs.CV
TIGER: Text-Instructed 3D Gaussian Retrieval and Coherent Editing
Huazhong University of Science and Technology(华中科技大学)
本文提出TIGER方法,通过自下而上的语言聚合策略生成密集语言嵌入3D高斯以支持开放词汇检索,并利用连贯分数蒸馏聚合2D图像编辑和多视图扩散模型,实现多视图一致的文本指导3D高斯检索与精细编辑。
2024-06-01 cs.CV
3D GAN Inversion with Pose Optimization
Korea University(高丽大学);LG AI Research(LG人工智能研究院)
随着基于NeRF的3D感知GANs质量的最新进展,将图像投影到这些3D感知GANs的潜在空间中比2D GAN反演具有天然优势:它不仅允许投影图像的多视图一致编辑,而且在仅给出单个图像时还能够实现3D重建和新颖视图合成。然而,显式视点控制作为3D GAN反演过程中的主要障碍,因为相机姿态和潜在代码必须同时优化以重建给定图像。大多数探索3D感知GANs潜在空间的工作依赖于地面实况相机视点或可变形3D模型,从而限制了它们的适用性。在这项工作中,我们引入了一个通用的三维GAN反演方法,同时推断相机的观点和潜在的代码,使多视图一致的语义图像编辑。我们方法的关键是利用预先训练的估计器进行更好的初始化,并利用从NeRF参数计算的像素深度来更好地重建给定图像。我们对图像重建和编辑进行了大量的定量和定性实验,并将我们的结果与基于2D GAN的编辑进行了进一步比较,以证明利用3D GANs潜在空间的优势。其他结果和可视化可在https://3dgan-inversion.github.io上获得。
2022-10-17 cs.CV
Editing 3D Scenes via Text Prompts without Retraining
Beihang University(北京航空航天大学);Megvii(旷视科技);Google(谷歌);University of California, Merced(加州大学默塞德分校);Yonsei University(延世大学)
本文提出DN2N文本驱动三维场景编辑方法,通过利用二维图像编辑模型、过滤不一致图像并引入跨视图正则化,使NeRF模型无需重新训练即可实现多种编辑效果并泛化到新场景。
2023-11-30 cs.CV
ZeroScene: A Zero-Shot Framework for 3D Scene Generation from a Single Image and Controllable Texture Editing
Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳));Pengcheng Laboratory, China(鹏城实验室);Harbin Institute of Technology, China(哈尔滨工业大学);Harbin Institute of Technology, Suzhou Research Institute, China(哈尔滨工业大学苏州市研究院)
ZeroScene通过零样本方法实现单图像3D场景生成与可控纹理编辑,结合大视觉模型先验知识,提升场景连贯性和渲染真实感。
2026-02-17 cs.CV cs.GR
Neural Implicit Field Editing Considering Object-environment Interaction
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院)
本文提出OSI-aware双流神经渲染系统,通过本征分解、深度图引导修复和点匹配阴影渲染,解决神经隐式场编辑中物体与环境交互及外观变化缺失的问题。
2023-11-01 cs.AI cs.CV
Delving StyleGAN Inversion for Image Editing: A Foundation Latent Space Viewpoint
Hong Kong University of Science and Technology(香港科技大学);Fudan University(复旦大学)
GAN反转和通过StyleGAN的编辑将输入图像映射到嵌入空间($\mathcal{W}$、$\mathcal{W^+}$和$\mathcal{F}$)中,以同时保持图像保真度和有意义的操作。在StyleGAN中,从潜在空间$\mathcal{W}$到扩展潜在空间$\mathcal{W^+}$再到特征空间$\mathcal{F}$,GAN反演的可编辑性降低,而重建质量提高。最近的GAN反演方法通常探索$\mathcal{W^+}$和$\mathcal{F}$,而不是$\mathcal{W}$,以提高重建保真度,同时保持可编辑性。由于$\mathcal{W^+}$和$\mathcal{F}$是从$\mathcal{W}$导出的,而$\mathcal{W}$本质上是StyleGAN的基础潜在空间,因此这些专注于$\mathcal{W^+}$和$\mathcal{F}$空间的GAN反演方法可以通过退回到$\mathcal{W}$来改进。在这项工作中,我们建议首先获得精确的潜在代码在基础潜在空间$\mathcal{W}$。我们引入对比学习来对齐$\mathcal{W}$和图像空间,以进行精确的潜在代码发现。%获取过程是通过使用对比学习来对齐$\mathcal{W}$和图像空间。然后,我们利用交叉注意编码器将$\mathcal{W}$中获得的潜在代码相应地转换为$\mathcal{W^+}$…
2023-03-26 cs.CV
EditIQ: Automated Cinematic Editing of Static Wide-Angle Videos via Dialogue Interpretation and Saliency Cues
IIIT Hyderabad(印度信息技术研究所海得拉巴分校);University of Canberra(堪培拉大学);CVIT(视觉与图像技术中心)
EditIQ 提出一种全自动电影化剪辑框架,通过大语言模型对话理解与视觉显著性预测生成虚拟镜头,并将镜头选择建模为能量最小化问题,从而在保持电影化连贯性的同时呈现静态广角视频中最生动的叙事内容。
2025-02-04 cs.CV cs.HC cs.MM
Integrating View Conditions for Image Synthesis
Collov Labs(科洛弗实验室);University of California, Berkeley(加利福尼亚大学伯克利分校);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对现有图像语义编辑难题,本文提出整合视角信息的图像合成框架,率先满足一致性、可控性与和谐性,并通过定量与定性实验验证其优于现有方法。
2024-05-08 cs.CV
LatentEditor: Text Driven Local Editing of 3D Scenes
Center for Research in Computer Vision, University of Central Florida(中佛罗里达大学计算机视觉研究中心);Department of Computer Science, Wayne State University(韦恩州立大学计算机科学系)
针对神经场编辑难度大的问题,提出LatentEditor框架,通过扩散模型嵌入场景、delta分数生成掩码、IP2P评分迭代更新实现文本驱动的3D场景局部编辑,在四个基准数据集上实现更快速度与更优质量。
2024-07-13 cs.AI cs.CV
Towards Data-Driven Automatic Video Editing
Cinema and Photo Research Institute(电影与摄影研究所)
自动视频编辑至少涉及以下步骤:从视觉质量和拍摄动作的重要性的角度选择最有价值的镜头;并将镜头切割成简短而连贯的视觉故事,这将是有趣的观看,以纯粹的数据驱动的方式实现。通过ImageNet训练的卷积神经网络提取视觉语义和美学特征,并通过模仿学习算法训练编辑控制器。结果,在测试时,控制器显示出观察从电影杰作的语料库中学习的基本电影摄影编辑规则的迹象。
2019-07-17 cs.CV cs.MM eess.IV
PREIM3D: 3D Consistent Precise Image Attribute Editing from a Single Image
Tsinghua University(清华大学);Xi’an Satellite Control Center(西安卫星测控中心);RealAI(瑞莱智慧)
本文提出 PREIM3D,通过共享编码器、交替训练、多视角身份损失及反演流形编辑,实现单图 3D 感知属性编辑的高一致性与精确性。
2023-04-20 cs.CV