Vision-as-Inverse-Graphics Agent via Interleaved Multimodal Reasoning
University of California, Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Impossible, Inc.(Impossible公司)
本文提出VIGA框架,通过符号逻辑与视觉感知的交叉验证,解决视觉语言模型在单次设置中重建图像的挑战,支持2D文档生成、3D重建等任务。
2026-04-06 cs.AI cs.CV cs.GR
LICA: Layered Image Composition Annotations for Graphic Design Research
LICA提出了一个包含155万个多层图形设计作品的数据集,通过分层结构和丰富的元数据,推动图形布局的结构理解和生成,同时引入动画布局挑战,支持时序感知生成模型等研究。
2026-03-18 cs.AI cs.CV
PosterCopilot: Toward Layout Reasoning and Controllable Editing for Professional Graphic Design
PRLab, Nanjing University(南京大学PRLab);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
PosterCopilot通过三阶段训练策略和完整工作流程,实现专业图形设计中布局推理与可控编辑的提升。
2025-12-03 cs.CV
Image Sculpting: Precise Object Editing with 3D Geometry Control
New York University(纽约大学);Intel Labs(英特尔实验室)
提出Image Sculpting框架,通过将2D物体转换为3D进行直接几何交互并重渲染回2D,实现高保真、精确且物理合理的图像编辑。
2024-01-02 cs.CV cs.GR
Rethinking Layered Graphic Design Generation with a Top-Down Approach
HKUST(香港科技大学);Adobe Research(Adobe研究院);Runway
本文提出Accordion框架,采用自顶向下方法将AI生成的平面设计分解为可编辑图层,并修正无意义文本,在DesignIntention基准上表现优异。
2025-07-08 cs.CV
LayerD: Decomposing Raster Graphic Designs into Layers
CyberAgent;Tohoku University(东北大学)
针对光栅图像丧失可编辑图层的问题,本文提出 LayerD,通过迭代提取未遮挡前景并结合统一外观细化实现图层分解,且以新质量指标评估,效果优于基线。
2025-09-29 cs.CV cs.GR
Neural Contrast: Leveraging Generative Editing for Graphic Design Recommendations
Adobe Research(奥多比研究院);University of Bucharest(布加勒斯特大学)
针对现有平面设计对比优化方法易破坏内容、在图案背景上效果不佳的问题,提出基于扩散模型的生成式方法,通过修改设计素材下方区域实现低显著性与高对比度,提升素材可见性。
2024-09-26 cs.CV cs.GR cs.HC
TactileEval: A Step Towards Automated Fine-Grained Evaluation and Editing of Tactile Graphics
School of Computer Science, Carleton University(卡莱顿大学计算机科学学院)
本文提出TactileEval,通过三阶段流程实现触觉图形的自动细粒度评估与编辑,基于专家评论建立质量分类体系,并利用ViT模型实现高精度任务识别与针对性修正。
2026-04-20 cs.CV
Decomposing NeRF for Editing via Feature Field Distillation
Preferred Networks, Inc.(首选网络公司);Massachusetts Institute of Technology(麻省理工学院)
新兴的神经辐射场(NeRF)是一种很有前途的场景表示的计算机图形学,使高质量的三维重建和新的视图合成从图像观察。然而,编辑由NeRF表示的场景是具有挑战性的,因为底层的连接主义表示(如MLP或体素网格)不是以对象为中心的或合成的。特别地,难以选择性地编辑特定区域或对象。在这项工作中,我们解决了NeRFs的语义场景分解的问题,使基于查询的本地编辑所表示的3D场景。我们建议将现成的自监督2D图像特征提取器(如CLIP-LSeg或DINO)的知识提取到与辐射场并行优化的3D特征场中。给定用户指定的各种形式的查询,如文本,图像补丁,或点击选择,3D特征字段语义分解3D空间,而无需重新训练,使我们能够语义选择和编辑辐射场中的区域。我们的实验验证了提取的特征场(DFF)可以将2D视觉和语言基础模型的最新进展转移到3D场景表示,从而实现令人信服的3D分割和选择性编辑新兴的神经图形表示。
2022-10-14 cs.CV cs.GR
Chat2SVG: Vector Graphics Generation with Large Language Models and Image Diffusion Models
City University of Hong Kong(香港城市大学);Monash University(墨尔本大学)
针对现有文本转SVG方法在形状规整性、泛化能力和表现力上的局限,提出Chat2SVG混合框架,结合大语言模型生成SVG模板、图像扩散模型优化路径,提升生成质量并支持自然语言编辑。
2025-11-12 cs.CV cs.GR
LayerPeeler: Autoregressive Peeling for Layer-wise Image Vectorization
City University of Hong Kong(香港城市大学);Monash University(墨尔本大学)
本文提出分层图像矢量化方法LayerPeeler,通过自回归剥离策略结合视觉语言模型、微调扩散模型与局部注意力控制,解决遮挡区域矢量化缺陷问题,效果显著优于现有方法。
2025-11-13 cs.CV cs.GR
Does Synthetic Layered Design Data Benefit Layered Design Decomposition?
HKUST(香港理工大学);Webank(网商银行)
本文研究合成分层数据对图形设计分解的影响,发现纯合成数据能有效替代传统方法,且训练数据规模增加时性能提升,但5万样本后趋于饱和。
2026-05-14 cs.CV
UTDesign: A Unified Framework for Stylized Text Editing and Generation in Graphic Design Images
Wangxuan Institute of Computer Technology, Peking University(北京大学王轩计算机技术研究所);State Key Laboratory of General Artificial Intelligence, Peking University(北京大学通用人工智能国家重点实验室)
UTDesign提出了一种统一框架,实现高精度风格化文本编辑与生成,支持中英文文本,通过多模态编码器和DiT模型提升设计图像中的文本生成与编辑能力。
2025-12-23 cs.CV
VLMaterial: Procedural Material Generation with Large Vision-Language Models
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Columbia University(哥伦比亚大学);ETH Zürich(苏黎世联邦理工学院);Google Research(谷歌研究院)
针对由图像重建程序化材质成本高的问题,本文微调 VLM 生成对应 Python 程序,构建开源材质数据集并用 LLM 做程序级增强,在合成与真实数据上均优于既有方法。
2025-02-18 cs.CV cs.GR
ViSculpt: Visual-Centric Agentic Geometry Editing
Peking University(北京大学)
该研究提出以视觉为中心的无训练多智能体系统ViSculpt,通过Blender GUI直接编辑现有三维网格,可遵循指令执行局部编辑并保留资产整体特征,为语言驱动的三维编辑提供了新范式。
2026-08-26 cs.CV cs.GR cs.HC
Leveraging Large Language Models For Scalable Vector Graphics Processing: A Review
ITMO University(ITMO大学)
该综述系统梳理了基于大型语言模型的SVG处理研究,将其分为生成、编辑与理解三类任务,并评估了多个模型与基准,发现推理增强模型表现更优,同时指出了数据集多样性与丰富性的改进方向。
2025-05-22 cs.CV
Text-guided Image-and-Shape Editing and Generation: A Short Survey
George Mason University(乔治梅森大学)
本文综述了50余篇文本引导的图像与形状编辑和生成技术,分别梳理2D与3D方法,并结合隐式神经表示讨论现有方法与未来研究方向。
2023-04-18 cs.CV cs.GR
Beyond Plausibility: Verifiable Fine-Grained Image Editing on Structured Assets
SB Intuitions;University of Tokyo(东京大学)
针对细粒度图像编辑缺乏可验证评估的问题,提出VeriEdit-Bench基准,基于SVG等结构化资产提供确定性四轴评分,揭示模型能力与失败模式。
2026-10-06 cs.CV
SVGEditBench: A Benchmark Dataset for Quantitative Assessment of LLM's SVG Editing Capabilities
The University of Tokyo(东京大学)
本文提出SVGEditBench基准数据集,用于定量评估大型语言模型编辑SVG代码的能力,实验表明GPT-4在SVG编辑任务上定量和定性均优于GPT-3.5。
2024-04-21 cs.CV
HairCLIP: Design Your Hair by Text and Reference Image
University of Science and Technology of China(中国科学技术大学);Microsoft Cloud AI(微软云人工智能);City University of Hong Kong(香港城市大学)
头发编辑是计算机视觉和图形学中一个有趣且具有挑战性的问题。许多现有的方法需要绘制良好的草图或遮罩作为编辑的条件输入,然而这些交互既不简单也不高效。为了将用户从繁琐的交互过程中解放出来,提出了一种新的头发编辑交互模式,可以根据用户提供的文本或参考图片,单独或联合操作头发属性。为此,我们在一个共享的嵌入空间中编码图像和文本条件,并提出了一个统一的头发编辑框架,利用强大的图像文本表示能力的对比图像预训练(CLIP)模型。通过精心设计的网络结构和损失函数,我们的框架可以以一种解脱的方式执行高质量的头发编辑。大量的实验表明,我们的方法在操作精度,编辑结果的视觉现实主义,和不相关的属性保存方面的优越性。项目回购是https://github.com/wty-ustc/HairCLIP。
2022-03-02 cs.CV cs.GR
COLE: A Hierarchical Generation Framework for Multi-Layered and Editable Graphic Design
Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学)
COLE系统通过分层任务分解,将模糊意图转化为高质量多层图形设计,集成微调LLM、LMM和扩散模型,并构建基准验证其优越性,支持灵活编辑。
2024-03-18 cs.CV
Low-Resolution Editing is All You Need for High-Resolution Editing
ECE & IPAI, Seoul National University(电子与信息物理学院及首尔国立大学IPAI);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出一种测试时优化框架,通过分块优化、细节迁移和同步策略,实现高分辨率图像编辑。
2026-06-01 cs.CV
Study on Image Filtering -- Techniques, Algorithm and Applications
Infogain(英富捷公司);Pandit Deendayal Energy University(潘迪特·丁达亚尔能源大学);Amity University Rajasthan(拉贾斯坦阿米提大学)
图像处理是一门新兴的技术,也是一个非常活跃的研究领域。图像处理是将图像转换为数字格式,然后对其进行不同的操作,例如改善图像或提取各种有价值的数据。图像滤波是图像处理的重要应用之一。图像过滤是一种用于改变大小、形状、颜色、深度、平滑度和其他图像属性的技术。它通过图形设计和编辑软件使用不同类型的图形编辑方法改变图像的像素,将其转换为所需的形式。本文介绍了各种图像滤波技术及其广泛的应用。
2022-06-04 cs.CV
SKED: Sketch-guided Text-based 3D Editing
Simon Fraser University(西蒙弗雷泽大学);NVIDIA(英伟达);Tel Aviv University(特拉维夫大学)
针对 NeRF 3D场景难以通过文本进行局部交互编辑的问题,本文提出 SKED,利用仅两张不同视图草图与扩散模型语义引导实现3D编辑,并通过新损失保持未编辑区域。
2023-08-18 cs.CV cs.GR
Inverse Rendering Techniques for Physically Grounded Image Editing
University of Missouri(密苏里大学);Microsoft Research(微软研究院)
从场景的一张照片中,人们通常可以立即掌握空间布局,甚至可以很好地猜测材料属性以及光线来自哪里来照亮场景。例如,我们可以可靠地分辨出哪些物体遮挡了其他物体,一个物体是由什么组成的,它的大致形状,被照亮或处于阴影中的区域,等等。有趣的是,我们对我们做出这些判断的能力知之甚少;因此,我们仍然无法稳健地“教”计算机做出与人类相同的高水平观察。本文介绍了从单个图像中理解固有场景属性的算法。这些逆渲染技术的目标是仅使用图像中可见的信息来估计场景元素(几何形状、材料、照明器、相机参数等)的配置。这种算法在机器人和计算机图形学中有应用。一个这样的应用是在物理接地图像编辑:照片编辑更容易利用物理空间的知识。这些应用程序允许在几秒钟内执行复杂的编辑操作,从而实现图像中对象的无缝添加、删除或重新定位。
2019-12-25 cs.CV cs.GR eess.IV
Text-Guided Vector Graphics Customization
City University of Hong Kong(香港城市大学);Adobe Research(Adobe研究院)
本文提出一种基于文本提示和示例SVG的矢量图形定制流程,通过微调预训练文本到图像模型的交叉注意力层、语义路径对齐及图像级与矢量级联合优化,实现保留分层信息的高质量多样化定制。
2023-09-21 cs.CV cs.GR
Compositional SVG Generation via VLM-Driven Hierarchical Semantic Parsing
Korea University(高丽大学);KAIST AI(韩国科学技术院人工智能学院)
提出VLM驱动的智能体框架,通过层次化语义解析递归分解视觉场景,生成结构完整、可编辑的SVG,并引入语义基准和指标,超越现有平面生成方法的分组质量与可编辑性。
2026-09-15 cs.AI cs.CV
TIGER: Text-Instructed 3D Gaussian Retrieval and Coherent Editing
Huazhong University of Science and Technology(华中科技大学)
本文提出TIGER方法,通过自下而上的语言聚合策略生成密集语言嵌入3D高斯以支持开放词汇检索,并利用连贯分数蒸馏聚合2D图像编辑和多视图扩散模型,实现多视图一致的文本指导3D高斯检索与精细编辑。
2024-06-01 cs.CV
Cora: Correspondence-aware image editing using few step diffusion
Simon Fraser University(西蒙弗雷泽大学);Huawei(华为);University of Toronto(多伦多大学);Google Deepmind(谷歌DeepMind)
Cora通过引入对应关系感知的噪声校正和插值注意力图,实现了在少量步骤下精准的图像编辑,有效保持结构、纹理和身份,优于现有方法。
2025-05-29 cs.CV
ScanEdit: Hierarchically-Guided Functional 3D Scan Editing
Technical University of Munich(慕尼黑技术大学);Mohamed Bin Zayed University of Artificial Intelligence(马克斯·普朗克人工智能大学)
ScanEdit提出一种层级引导的指令驱动方法,利用LLM推理和物理约束对3D扫描场景进行功能性编辑,生成符合物理和常识的排列,优于现有方法。
2025-04-21 cs.CV
MatFuse: Controllable Material Generation with Diffusion Models
University of Catania(卡塔尼亚大学)
本文提出MatFuse,一种利用扩散模型生成和编辑3D材质的统一方法,通过集成多种条件源实现细粒度控制,并支持基于解耦潜在表示的贴图级编辑。
2024-03-13 cs.CV cs.GR
ParallelEdits: Efficient Multi-object Image Editing
University at Buffalo, State University of New York, USA(纽约州立大学布法罗分校)
本文提出ParallelEdits方法,通过注意力分配机制和多分支设计实现高效的多对象多属性同时图像编辑,并推出PIE-Bench++基准数据集以支持多对象编辑评估。
2025-05-04 cs.CV
3D-Aware Scene Manipulation via Inverse Graphics
Tsinghua University(清华大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Google Research(谷歌研究院)
我们的目标是获得一个可解释的,富有表现力的,并解开场景表示,包含全面的结构和纹理信息,为每个对象。以前由神经网络学习的场景表示通常是不可解释的,仅限于单个对象,或者缺乏3D知识。在这项工作中,我们提出了3D场景去渲染网络(3D-SDN),以解决上述问题,将语义,几何和外观的解纠缠表示集成到一个深生成模型。我们的场景编码器执行逆图形,将场景转换为结构化的对象表示。我们的解码器有两个组成部分:一个微分形状渲染器和神经纹理生成器。语义、几何和外观的解纠缠支持3D感知场景操纵,例如,自由旋转和移动对象,同时保持一致的形状和纹理,并在不影响其形状的情况下改变对象外观。实验表明,我们的编辑方案的基础上3D-SDN是优于其2D对应。
2018-12-18 cs.CV cs.GR eess.IV
3D-aware Image Generation and Editing with Multi-modal Conditions
Nanchang Hangkong University(南昌航空大学);Cardiff University(卡迪夫大学);Nanchang Innovation Institute, Peking University(北京大学南昌创新研究院)
针对3D一致图像生成中形状与外观解耦不足及控制模态单一的问题,提出融合噪声、文本和参考图像的端到端3D感知GAN框架,实现多样化生成、文本属性编辑与参考风格迁移。
2024-03-11 cs.CV
IconShop: Text-Guided Vector Icon Synthesis with Autoregressive Transformers
City University of Hong Kong(香港城市大学)
本文提出 IconShop,通过将 SVG 路径与文本描述序列化为可唯一解码的 token,并用自回归 Transformer 建模,实现更高质量、多样性和灵活性的文本引导矢量图标合成。
2023-06-07 cs.CV cs.GR
Talk-to-Edit: Fine-Grained Facial Editing via Dialog
The Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学)
人脸编辑是视觉和图形学中的一项重要任务,具有许多应用。然而,现有的作品不能提供连续和细粒度的编辑模式(例如,编辑一个稍微微笑的脸到一个大笑的脸)与用户的自然交互。在这项工作中,我们提出了谈话编辑,一个交互式的面部编辑框架,通过用户和系统之间的对话进行细粒度的属性操作。我们的关键见解是在GAN潜在空间中建模一个连续的“语义场”。1)不同于以往的作品,把编辑作为遍历直线的潜在空间,这里的细粒度编辑制定为找到一个弯曲的轨迹,尊重细粒度的属性景观的语义场。2)每一步的曲率都是特定于位置的,并且由输入图像以及用户的语言请求来确定。3)为了让用户参与到有意义的对话中,我们的系统通过考虑用户的请求和语义场的当前状态来生成语言反馈。我们还贡献了CelebA-Dialog,一个视觉语言面部编辑数据集,以促进大规模研究。具体而言,每个图像都具有手动注释的细粒度属性注释以及自然语言的基于模板的文本描述。大量的定量和定性实验表明,我们的框架在1)细粒度编辑的平滑性,2)身份/属性保存,3)视觉照片写实主义和对话流畅性方面的优越性。值得注意的是,用户研究证实,我们的整个系统始终受到约80%的参与者的青睐。我们的项目页面是https://www.mmlab-ntu.com/project/talkedit/。
2021-09-09 cs.CV
ReSpace: Text-Driven Autoregressive 3D Indoor Scene Synthesis and Editing
Stanford University(斯坦福大学)
ReSpace通过自回归方法实现文本驱动的3D室内场景合成与编辑,具备明确房间边界和资产无关部署能力,支持通过自然语言添加、移除和交换物体,实验在物体添加和完整场景合成质量上超越现有方法。
2026-06-29 cs.CV
ImagenWorld: Stress-Testing Image Generation Models with Explainable Human Evaluation on Open-ended Real-World Tasks
University of Waterloo(滑铁卢大学);G-G-G;Comfy Org;University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Independent(独立研究者)
ImagenWorld通过3600个条件集评估14个模型,揭示编辑任务比生成任务更难,艺术和照片实感领域表现优异,但符号和文本密集领域表现较差,现代VLM指标在Kendall准确性上达0.79,但无法实现细粒度可解释性误差归因。
2026-03-29 cs.AI cs.CV cs.GR
DreamOmni3: Scribble-based Editing and Generation
CUHK(香港中文大学);ByteDance Inc(字节跳动公司);HKUST(香港科技大学)
DreamOmni3通过结合文本、图像和自由手绘涂鸦,实现更灵活的图形用户界面编辑与生成,解决了复杂编辑任务中的数据创建和框架设计问题。
2026-08-12 cs.CV
MagicQuillV2: Precise and Interactive Image Editing with Layered Visual Cues
HKUST(香港科技大学);Ant Group(蚂蚁集团);NEU(南京大学);ZJU(浙江大学);CUHK(香港中文大学)
MagicQuillV2通过分层视觉提示实现精确交互式图像编辑,解决传统生成模型与图形软件间的控制与语义平衡问题。
2025-12-02 cs.CV
Posterior Distillation Sampling
KAIST(韩国科学技术院)
本文提出后验蒸馏采样PDS,将扩散模型的二维图像编辑能力扩展到参数空间,通过匹配源与目标的随机潜变量,在保持源内容身份的同时采样符合目标属性的参数化图像,并在NeRF和SVG上验证了有效性。
2024-04-01 cs.CV
VectorHarness: Recovering Editable, Relation-Preserving Structure from Scientific Graphics
VectorHarness是一个多智能体框架,旨在将科学图形重建为原生可编辑表示,通过类型合适的对象恢复和联合评估基准,提高编辑成功率与关系保持,同时减少光栅回退并保持高视觉保真度。
2026-09-21 cs.CV
Charts Are Not Images: On the Challenges of Scientific Chart Editing
University of Southern California(南加州大学);Adobe Research(Adobe研究院);Texas A&M University(德克萨斯A&M大学)
本文提出FigEdit基准测试,揭示科学图表编辑中结构转换的重要性,并指出传统像素操作方法的不足。
2025-11-30 cs.CV
CreatiPoster: Towards Editable and Controllable Multi-Layer Graphic Design Generation
University of Science and Technology of China(中国科学技术大学);Intelligent Creation(智能创作);Fudan University(复旦大学)
研究旨在解决平面设计难题,提出CreatiPoster框架,通过协议模型和条件背景模型生成可编辑多层构图,超越开源方法和商业系统,发布无版权语料库,推动AI辅助平面设计应用。
2026-07-23 cs.CV
Text-to-Vector Generation with Neural Path Representation
City University of Hong Kong(香港城市大学);Adobe Research(奥多比研究院)
针对文本到矢量生成中路径相交、锯齿及缺乏几何约束的问题,提出双分支 VAE 神经路径表示与两阶段 VSD、分层矢量化优化框架,显著提升 SVG 的视觉与拓扑质量。
2024-05-20 cs.CV cs.GR
Controlling Your Image via Simplified Vector Graphics
The University of Texas at Austin, USA(德克萨斯大学奥斯汀分校);Clemson University, USA(克莱姆森大学);SparcAI Inc., USA(SparcAI公司)
本研究提出通过简化矢量图形实现图像元素层面的可控生成,通过分层结构和语义对齐的矢量图形表示,实现对几何、颜色和物体语义的精确控制,适用于图像编辑和精细内容创作。
2026-02-16 cs.CV
Feature Splatting: Language-Driven Physics-Based Scene Synthesis and Editing
University of California San Diego(加利福尼亚大学圣迭戈分校);Massachusetts Institute of Technology(麻省理工学院);Institute for Artificial Intelligence and Fundamental Interactions(人工智能与基本相互作用研究所)
本文提出Feature Splatting,将视觉语言特征蒸馏到3D高斯中,通过文本查询实现半自动场景分解,并利用粒子模拟器自动赋予材料属性以合成基于物理的动态,统一了外观、几何、材质与语义表示。
2024-04-01 cs.AI cs.CV cs.GR
DeferredGS: Decoupled and Editable Gaussian Splatting with Deferred Shading
针对高斯泼溅中纹理与光照耦合及重光照伪影问题,提出DeferredGS方法,利用延迟着色、可学习环境贴图及蒸馏法线实现解耦,提升新视角合成与编辑效果。
2024-05-06 cs.CV
TactileNet: Bridging the Accessibility Gap with AI-Generated Tactile Graphics for Individuals with Vision Impairment
School of Computer Science, Carleton University(卡罗林大学计算机科学学院);Mohamed bin Zayed University of Artificial Intelligence(人工智能穆罕默德·本·扎耶德大学)
本文提出TactileNet数据集与框架,结合LoRA和DreamBooth微调Stable Diffusion,自动生成符合无障碍标准、可压印的2D触觉模板,并验证其高规范遵循率与结构保真度。
2025-05-15 cs.CV
Imagine to Act: High-Fidelity Data Synthesis via Image Editing World Model for Scalable GUI Agent Training
Jilin University(吉林大学);OPPO
提出Infinite-Dreamer,利用图像编辑世界模型合成高保真GUI数据,训练Infinite-Actor智能体,在多个基准上显著提升性能。
2026-10-06 cs.AI cs.CV
Neural USD: An object-centric framework for iterative editing and control
Google DeepMind(谷歌DeepMind);U.C. Berkeley(伯克利大学);Google Research(谷歌研究)
针对现有可控生成模型编辑对象时易出现非预期全局变化的问题,受USD标准启发提出Neural USD框架,通过结构化分层表示场景与微调解耦控制信号,实现单对象维度的精准迭代编辑。
2025-10-28 cs.AI cs.CV
DeepIcon: A Hierarchical Network for Layer-wise Icon Vectorization
School of Computer Science The University of Sydney NSW 2006, Australia
DeepIcon 提出一种层次化图像矢量化网络,直接从栅格图像生成可变长度 SVG 图标,无需可微光栅化器,解决了形状不完整和语义保留不足的问题。
2024-10-21 cs.AI cs.CV
Deferred Neural Rendering: Image Synthesis using Neural Textures
Technical University of Munich(慕尼黑工业大学);Stanford University(斯坦福大学)
现代计算机图形管道可以以卓越的视觉质量合成图像;然而,它需要定义良好的高质量3D内容作为输入。在这项工作中,我们探索使用不完美的3D内容,例如,从具有噪声和不完整的表面几何形状的摄影测量重建中获得,同时仍然旨在产生照片级逼真的(重新)渲染。为了解决这个具有挑战性的问题,我们引入了延迟神经渲染,一种新的图像合成范例,将传统的图形管道与可学习的组件相结合。具体来说,我们提出了神经纹理,这是学习的特征图,作为场景捕捉过程的一部分进行训练。与传统纹理类似,神经纹理被存储为3D网格代理之上的映射;然而,高维特征映射包含更多的信息,这些信息可以由我们新的延迟神经渲染管道来解释。神经纹理和延迟神经渲染器都是端到端训练的,即使原始3D内容不完美,我们也能合成照片般逼真的图像。与传统的黑盒2D生成神经网络相比,我们的3D表示为我们提供了对生成输出的显式控制,并允许广泛的应用领域。例如,我们可以合成记录的3D场景的时间一致的视频重新渲染,因为我们的表示本质上嵌入在3D空间中。通过这种方式,神经纹理可以用于以实时速率在静态和动态环境中连贯地重新渲染或操纵现有视频内容。我们展示了我们的方法在几个实验中的有效性,新的视图合成,场景编辑和面部重演,并比较国家的最先进的方法,利用标准的图形管道以及传统的生成神经网络。
2019-04-28 cs.CV cs.GR
Neural Surface Priors for Editable Gaussian Splatting
IDEAS NCBR;Adam Mickiewicz University(亚当·密茨凯维奇大学);Wrocław University of Science and Technology(弗罗茨瓦夫理工大学);Jagiellonian University(雅盖隆大学);Tooploox;New Jersey Institute of Technology(新泽西理工学院)
针对从图像数据恢复可修改场景外观的需求,提出结合3D高斯溅射与隐式表面表示的方法,通过神经符号距离场重建场景表面并作为几何先验指导训练,利用三角形面片代理实现网格编辑传播,支持更广泛修改且充分利用网格拓扑,提升编辑灵活性与直观性。
2025-02-07 cs.CV