TextureGAN: Controlling Deep Image Synthesis with Texture Patches
Georgia Institute of Technology(佐治亚理工学院);Adobe Research(奥多比研究院);UC Berkeley(加州大学伯克利分校);Argo AI(阿尔戈人工智能公司)
本文研究了由草图、颜色和纹理引导的深度图像合成。以前的图像合成方法可以通过草图和颜色笔画来控制,但我们是第一个研究纹理控制的方法。我们允许用户在草图上任意位置和比例放置纹理补丁,以控制所需的输出纹理。我们的生成网络学习合成与这些纹理建议一致的对象。为了实现这一点,我们开发了一个局部纹理损失,除了对抗和内容损失训练生成网络。我们进行实验,使用从真实图像和纹理从一个单独的纹理数据库中采样生成的草图,结果表明,我们提出的算法是能够生成可信的图像,是忠实于用户控制。消融研究表明,我们提出的管道可以生成更逼真的图像比直接适应现有的方法。
2018-04-14 cs.CV cs.GR
SketchPatch: Sketch Stylization via Seamless Patch-level Synthesis
Tel Aviv University(特拉维夫大学)
图像到图像转换的范例被利用,通过几何纹理细节的转移来实现草图风格化。缺乏必要的数据量的标准训练的翻译系统,我们主张在补丁级别的操作,其中一些风格化的草图提供了丰富的挖掘潜力补丁具有基本的几何图元。在面片级别进行操作需要特别考虑完整的草图平移,因为面片的单独平移(不考虑相邻面片)可能会在面片边界处产生可见的接缝和伪影。对齐的样式化和普通图元对被组合以形成包含边界周围的样式化元素和内部的普通元素的输入混合体,并且被作为无缝翻译(ST)生成器的输入给出,无缝翻译(ST)生成器的输出补丁被期望重建完全样式化的补丁。一个对抗性的添加促进了在推理时对不同几何形状的泛化和鲁棒性,形成了一个简单有效的系统,用于任意草图风格化,如在各种样式和草图上所展示的。
2020-09-04 cs.CV cs.GR cs.LG
NIFTY: a Non-Local Image Flow Matching for Texture Synthesis
Normandie Univ, UNICAEN, ENSICAEN, CNRS, GREYC(诺曼底大学、UNICAEN、ENSICAEN、CNRS、GREYC)
本文提出NIFTY,一种结合扩散模型思想与经典图像块优化的非参数流匹配纹理合成框架,无需神经网络训练,有效缓解初始化差和视觉伪影问题,实验证明其优于代表性方法。
2025-09-26 cs.CV cs.LG
Infinite Texture: Text-guided High Resolution Diffusion Texture Synthesis
University of Washington(华盛顿大学);UC Berkeley(加州大学伯克利分校);Google Research(谷歌研究院)
本研究提出Infinite Texture方法,通过单纹理微调扩散模型结合分数聚合策略,实现单GPU上文本引导的任意分辨率纹理生成,效果优于现有方法,可应用于3D渲染与纹理迁移。
2024-05-13 cs.CV
Image Inpainting for High-Resolution Textures using CNN Texture Synthesis
University of Applied Sciences Constance(康斯坦茨应用技术大学)
深度神经网络已成功应用于图像分割、图像超分辨率、着色和图像修补等问题。在这项工作中,我们提出了使用卷积神经网络(CNN)的图像修补的大区域的高分辨率纹理。由于有限的计算资源,用神经网络处理高分辨率图像仍然是一个悬而未决的问题。现有的方法将全局结构的修复和细节的传递分离,这导致在细节传递步骤中的模糊结果和全局一致性的损失。基于使用CNN的纹理合成的进展,我们提出了基于块的图像修补的CNN,能够优化全局以及细节纹理统计。我们的方法能够填充大型修复区域,通常超过高分辨率图像的可比方法的质量。对于参考补丁查找,我们建议使用与修复过程中使用的相同的汇总统计量。
2018-02-12 cs.CV
Seeing Isn't Believing: Context-Aware Adversarial Patch Synthesis via Conditional GAN
Ben Gurion University of the Negev(本· Gurion 内盖夫大学)
本文提出了一种基于条件GAN的上下文感知对抗性补丁合成方法,通过生成式U-Net和Grad-CAM引导实现语义感知定位,提升攻击效果与视觉真实性,实验表明其在多种模型上均达到最高性能。
2025-12-27 cs.AI cs.CV
Generalizable Patch-Based Neural Rendering
University of British Columbia(不列颠哥伦比亚大学);Google(谷歌);Vector Institute for AI(向量人工智能研究所)
自从神经辐射场(NeRF)出现以来,神经渲染受到了极大的关注,并且极大地推动了新颖视图合成的最新技术水平。最近的焦点一直集中在过拟合到单个场景的模型上,并且很少尝试学习可以合成未知场景的新视图的模型,主要包括将深度卷积特征与NeRF模型相结合。我们提出了一个不同的范例,其中没有深的功能,没有NeRF一样的体渲染是必要的。我们的方法是能够预测的颜色的目标射线在一个新的场景直接,只是从一个集合的补丁从场景中采样。我们首先利用核几何提取补丁沿核线的每个参考视图。每个补丁被线性投影到一个1D特征向量中,一系列Transformers处理该集合。对于位置编码,我们将光线参数化为光场表示,关键的区别是坐标相对于目标光线规范化,这使得我们的方法独立于参考系并提高了泛化能力。我们表明,我们的方法优于最先进的新视图合成看不见的场景,即使是在训练的数据比以前的工作少得多。
2022-07-28 cs.CV
Local Padding in Patch-Based GANs for Seamless Infinite-Sized Texture Synthesis
Heriot-Watt University(赫瑞瓦特大学)
本文提出在基于补丁的GAN生成器中采用局部填充替代零填充,以解决无限尺寸纹理合成中的位置信息错误和多样性受限问题,显著提升纹理质量与多样性,并消除超分辨率中的平铺伪影。
2024-11-07 cs.CV eess.IV
VoxStruct3D: Structure-Leading Flow Matching for Voxel-Space 3D MRI Synthesis
本文提出VoxStruct3D,一种体素空间流匹配框架,通过结构优先策略引导,在T1加权脑MRI合成任务上实现了特征分布对齐、样本多样性等指标的最优性能,生成的体积解剖连贯且视觉真实。
2026-08-06 cs.CV
Vax-a-Net: Training-time Defence Against Adversarial Patch Attacks
Centre for Vision Speech and Signal Processing (CVSSP), University of Surrey(萨里大学视觉语音与信号处理中心);Surrey Centre for Cyber Security (SCCS), University of Surrey(萨里大学萨里网络安全中心)
我们提出了Vax-a-Net;一种用于免疫卷积神经网络(CNN)对抗对抗补丁攻击(APA)的技术。APA将视觉上明显的局部区域(补丁)插入到图像中以引起错误分类。我们引入了一种条件生成对抗网络(GAN)架构,该架构同时学习合成用于APA的补丁,同时利用这些攻击来适应预先训练的目标CNN,以降低其对它们的敏感性。这种方法可以将针对APA的弹性赋予预先训练的模型,由于APA方法的收敛速度慢,这对于传统的对抗性训练是不切实际的。我们证明了这种保护的可转移性,以抵御现有的APA,并显示其在几个当代CNN架构的有效性。
2020-09-17 cs.CV
Retrieval-based Spatially Adaptive Normalization for Semantic Image Synthesis
Tomorrow Advancing Life(好未来);Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室)
语义图像合成是一个具有挑战性的任务,有许多实际应用。尽管在具有空间自适应归一化的语义图像合成中已经取得了显着的进展,并且现有方法在粗略级别的指导(例如,语义类)。然而,语义对象的不同部分(例如,车轮和车窗)在结构和纹理上有很大的不同,由于缺少细粒度的指导,通常不可避免地会导致模糊的合成结果。在本文中,我们提出了一种新的规范化模块,称为基于REtrieval的空间自适应规范化(RESAIL),引入像素级细粒度的指导规范化架构。具体来说,我们首先提出了一个检索范式,找到一个相同的语义类的内容补丁从训练集与最相似的形状,每个测试语义面具。然后,RESAIL被提出来使用检索到的补丁来指导相应区域的特征归一化,并且可以提供像素级的细粒度指导,从而极大地减轻了模糊的合成结果。此外,失真的地面实况图像也被用作基于检索的指导的替代方案,用于特征归一化,进一步有利于模型训练和提高生成图像的视觉质量。在几个具有挑战性的数据集上的实验表明,我们的RESAIL在定量指标、视觉质量和主观评价方面都优于最先进的方法。源代码和预训练模型将公开提供。
2022-04-06 cs.CV
Denoising, Fast and Slow: Difficulty-Aware Adaptive Sampling for Image Generation
CompVis;LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
本文提出Patch Forcing框架,通过自适应采样和空间噪声变化提升图像生成效果,优于传统基线方法,适用于分类条件ImageNet和文本到图像生成。
2026-04-21 cs.CV
Patch Correspondences for Interpreting Pixel-level CNNs
Microsoft C + AI(微软 C + AI);Western Virginia University(西弗吉尼亚大学);Carnegie Mellon University(卡内基梅隆大学)
我们提出了组合最近邻(CompNN),这是一种简单的方法,可以直观地解释卷积神经网络(CNN)为像素级任务(例如,图像合成和分割)。它通过从具有相似特征嵌入的训练集中复制粘贴相应的补丁来重建CNN的输入和输出图像。为了有效地做到这一点,它采用了一种基于补丁匹配的算法,该算法利用了CNN为像素级任务学习的补丁表示平滑变化的事实。最后,我们证明了CompNN可以用来建立两个图像之间的语义对应关系,并通过修改训练集中包含的图像来控制输出图像的属性。我们对语义分割和图像到图像的翻译进行了定性和定量实验,证明CompNN是解释像素级CNN学习的嵌入的好工具。
2018-09-04 cs.CV
Neural Knitworks: Patched Neural Implicit Representation Networks
University of Strathclyde(斯特拉斯克莱德大学)
本研究提出Neural Knitwork补丁化神经隐式表示架构,以对抗方式优化补丁分布并保证一致性,实现图像补全、超分、去噪等任务,参数量比CNN方案少80%且性能相当。
2024-04-15 cs.AI cs.CV cs.GR
InfinityGAN: Towards Infinite-Pixel Image Synthesis
UC Merced(加州大学默塞德分校);Snap Inc.(色拉布公司);Carnegie Mellon University(卡内基梅隆大学);Yonsei University(延世大学);Google Research(谷歌研究院)
我们提出了一个新的框架,InfinityGAN,任意大小的图像生成。这项任务涉及若干关键挑战。首先,在计算和大视场训练数据的可用性方面,将现有模型缩放到任意大的图像尺寸是资源受限的。InfinityGAN以无缝的逐补丁方式进行训练和推断,计算资源少。其次,大图像应该在局部和全局上保持一致,避免重复模式,并且看起来逼真。为了解决这些问题,InfinityGAN解开了全局外观,局部结构和纹理。有了这个公式,我们可以生成以前无法达到的空间大小和细节水平的图像。实验评估验证了InfinityGAN生成的图像与基线相比具有更高的真实性,并具有并行推理功能。最后,我们展示了我们的方法解锁的几个应用程序,如空间风格融合,多模式outpainting和图像之间。所有应用程序都可以使用任意输入和输出大小进行操作。请在https://openreview.net/forum?上找到该论文的完整版本id=ufGMqIM0a4b。
2022-03-11 cs.CV
Self-Cross Diffusion Guidance for Text-to-Image Synthesis of Similar Subjects
University of California Merced(加州大学默塞德分校)
针对扩散模型合成相似主体时的主体混合问题,提出自交叉扩散引导,通过惩罚交叉与自注意力图重叠,免训练提升Unet及Transformer模型性能,并发布SSD基准。
2025-03-24 cs.CV
DiffInfinite: Large Mask-Image Synthesis via Parallel Random Patch Diffusion in Histopathology
University of Glasgow(格拉斯哥大学);Dotphoton;Fraunhofer HHI(弗劳恩霍夫海因里希·赫兹研究所);Aignostics;Institute of Pathology, LMU Munich(慕尼黑大学病理学研究所);UC Berkeley(加州大学伯克利分校);TU Berlin(柏林工业大学)
提出DiffInfinite分层扩散模型,通过并行随机块扩散生成任意大小且保留长程结构的高保真组织病理学图像,有效解决大规模生成、标注稀缺和数据隐私问题。
2023-10-25 cs.CV cs.LG eess.IV
Hierarchical Patch Diffusion Models for High-Resolution Video Generation
Snap Inc.(Snap公司);KAUST(阿卜杜拉国王科技大学);University of Trento(特伦托大学)
本文提出分层 Patch 扩散模型,通过深度上下文融合与自适应计算实现高分辨率视频的端到端训练,并在 UCF-101 上取得最优结果。
2024-06-12 cs.CV
SynBT: High-quality Tumor Synthesis for Breast Tumor Segmentation by 3D Diffusion Model
Science \& Technology Org. AI \& ML, GE HealthCare, Eindhoven, Netherlands Science \& Technology Org. AI \& ML, GE HealthCare, Budapest, Hungary
针对大视场MRI乳腺肿瘤合成效果差的问题,提出含块到体自动编码器与掩码条件扩散模型的3D扩散模型SynBT,可合成高质量乳腺肿瘤,助力分割模型Dice系数提升2-3%。
2025-09-03 cs.CV
Look Closer: Patch-wise Supervision for AI-Generated Image Detection
Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所);ShanghaiTech University(上海科技大学);Anhui University(安徽大学)
本研究提出块级监督方法,通过共享骨干网络对图像块分类并在推理时平均概率,无需额外模块,在GenImage上四种骨干网络均提升准确率,为AI生成图像检测提供了简单有效的方案。
2026-10-01 cs.CV
$\infty$-Brush: Controllable Large Image Synthesis with Diffusion Models in Infinite Dimensions
Stony Brook University(石溪大学)
本文提出$\infty$-Brush,一种基于无限维度扩散模型的可控大图像合成方法,通过交叉注意力神经算子在函数空间中实现条件生成,支持高达4096×4096像素的图像合成,克服了传统方法的限制。
2024-07-20 cs.CV
Robust Synthesis of Adversarial Visual Examples Using a Deep Image Prior
University of Surrey(萨里大学);Adobe Research(奥多比研究院)
我们提出了一种新的方法,用于生成鲁棒的对抗性图像示例,该方法基于最近的“深度图像先验”(DIP),该方法利用卷积网络架构在图像合成中执行合理的纹理。对抗性图像通常通过扰动图像来引入高频噪声来产生,高频噪声引起图像误分类,但是对于随后的图像数字操作来说是脆弱的。我们表明,使用DIP在对抗约束下重建图像会引起对仿射变形更鲁棒的扰动,同时保持视觉上不可感知。此外,我们表明,我们的DIP方法也可以适应当地的对抗补丁(“对抗贴纸”)。我们在从ImageNet数据集中提取的广泛图像和对象类上展示了强大的对抗性示例。
2019-07-03 cs.CV
Deep Generative Adversarial Neural Networks for Realistic Prostate Lesion MRI Synthesis
STAT Innovations Pty. Ltd.(STAT创新私人有限公司)
将生成对抗神经网络(GANs)应用于前列腺病变MRI图像的合成生成。GANs已应用于各种自然图像,显示相同的技术可用于医疗领域,以创建逼真的合成病变图像。从SPIE ProstateX Challenge 2016的330个MRI扫描中提取16 mm x 16 mm贴片,并使用尖端技术训练深度卷积生成对抗神经网络(DCGAN)。合成输出进行了比较,真实的图像和隐含的潜在表示诱导的GAN进行了探索。训练技术和成功的神经网络架构进行了详细说明。
2017-08-01 cs.CV
Fight Fire with Fire: Combating Adversarial Patch Attacks using Pattern-randomized Defensive Patches
School of Information, Renmin University of China(中国人民大学信息学院)
本文提出一种以攻为守的对抗性补丁防御方法,通过注入随机化的金丝雀和啄木鸟补丁来探测和反击攻击,无需修改模型,且对未知和自适应攻击均表现出高鲁棒性和低开销。
2024-11-08 cs.CV
Precomputed Real-Time Texture Synthesis with Markovian Generative Adversarial Networks
Institut for Informatik, University of Mainz(美因茨大学信息学研究所)
本文提出了马尔可夫生成对抗网络(MGANs),一种用于训练生成神经网络以实现高效纹理合成的方法。虽然深度神经网络方法最近在合成质量方面表现出了显着的效果,但它们仍然具有相当大的计算成本(低分辨率图像的运行时间为几分钟)。我们的论文解决了这个效率问题。我们预先计算了一个前馈的、跨越的卷积网络,而不是以前工作中的数值解卷积,该网络捕获马尔可夫补丁的特征统计,并能够直接生成任意维度的输出。这样的网络可以直接解码布朗噪声到现实的纹理,或照片到艺术绘画。通过对抗训练,我们获得了与最近的神经纹理合成方法相当的质量。由于在生成时不再需要优化,因此我们的运行时性能(25Hz下的0.25 M像素图像)远远超过了以前的神经纹理合成器(至少快500倍)。我们将这个想法应用到纹理合成,风格转移和视频风格化。
2016-04-15 cs.CV
Dual Pyramid Generative Adversarial Networks for Semantic Image Synthesis
语义图像合成的目标是从语义标签映射生成照片级真实感图像。它与内容生成和图像编辑等任务高度相关。然而,当前最先进的方法仍然难以在各种尺度的图像中生成逼真的对象。特别是,小的对象往往会逐渐消失,而大的对象通常会生成为补丁的拼贴。为了解决这个问题,我们提出了一个双金字塔生成对抗网络(DP-GAN),它在所有尺度上联合学习空间自适应归一化块的条件,使得尺度信息被双向使用,并且它在不同尺度上统一监督。我们的定性和定量的结果表明,所提出的方法生成的图像中的小和大的对象看起来更真实的国家的最先进的方法生成的图像相比。
2022-10-08 cs.CV
Deep Geometric Texture Synthesis
Tel Aviv University(特拉维夫大学)
最近,用于图像生成的深度生成对抗网络发展迅速;然而,只有少量的研究集中在不规则结构的生成模型上,特别是网格。尽管如此,网格生成和合成仍然是计算机图形学中的一个基本课题。在这项工作中,我们提出了一个新的框架合成几何纹理。它从局部邻域(即,局部三角形片)。它学习输入三角剖分面上的深层特征,用于细分和生成跨多个尺度的偏移,而无需参数化参考或目标网格。我们的网络在任何方向上移动网格顶点(即,在法向和切向方向上),从而能够合成几何纹理,这不能由简单的2D位移图来表示。在局部几何面片上进行学习和合成,实现了一个类无关的框架,便于不同类的形状之间的纹理转移。
2020-06-30 cs.CV cs.GR cs.LG
Boosting Resolution Generalization of Diffusion Transformers with Randomized Positional Encodings
Kling Team, Kuaishou Technology(快手科技 Kling Team)
本文提出RPE-2D,通过随机化位置编码提升扩散变换器的分辨率泛化能力,实现高分辨率和低分辨率图像生成的无缝过渡。
2026-01-07 cs.CV
Geometry-Guided Street-View Panorama Synthesis from Satellite Imagery
Australian National University(澳大利亚国立大学);University of Oxford(牛津大学);University of Technology Sydney(悉尼科技大学)
本文提出了一种新的方法来合成一个新的街景全景给定的开销卫星图像。以一个小的卫星图像补丁作为输入,我们的方法生成一个谷歌的全向街景类型的全景,就好像它是从同一地理位置的卫星补丁的中心捕获。现有的工作解决这个任务作为一个图像生成问题,采用生成对抗网络隐式学习的跨视图变换,而忽略了域的相关性。在本文中,我们建议明确建立两个视图之间的图像的几何对应关系,以促进跨视图变换学习。具体来说,我们观察到,当现实世界中的3D点在两个视图中都可见时,在给定该3D点的高度信息的情况下,在两个视图图像中的投影点之间存在确定性映射。出于这一动机,我们开发了一种新的卫星街景图像投影(S2SP)模块,明确建立这样的几何对应关系,并将卫星图像投影到街道的观点。以这些投影卫星图像作为网络输入,我们接下来采用一个生成器来合成与卫星图像在几何上一致的逼真街景贴图。我们的S2SP模块是可区分的,整个框架是以端到端的方式训练的。在两个交叉视图基准数据集上的大量实验结果表明,我们的方法生成的图像比现有方法更好地尊重场景几何形状。
2022-03-26 cs.CV
DVSM: Decoder-only View Synthesis Model Done Right
NVIDIA;National Taiwan University(国立台湾大学)
提出仅解码器架构DVSM,通过隐式KV-cache表示场景,在相同渲染复杂度下以更少参数超越编码器-解码器变体,并利用共享权重、基础模型先验和分阶段块大小优化效率与质量,在多个基准上实现新视点合成的最优结果。
2026-05-28 cs.CV
Drop the GAN: In Defense of Patches Nearest Neighbors as Single Image Generative Models
The Weizmann Institute of Science(魏茨曼科学研究所);Weizmann Artificial Intelligence Center (WAIC)(魏茨曼人工智能中心)
单图像生成模型通过捕获单个图像内的补丁分布来执行合成和操作任务。这些任务的经典(前深度学习)流行方法基于最大化输入和生成的输出之间的补丁相似性的优化过程。然而,最近,单图像GANs被引入作为此类操作任务的高级解决方案,也用于显着的新颖生成任务。尽管它们令人印象深刻,但单个图像GANs需要很长的训练时间(通常是几个小时)来完成每个图像和每个任务。它们通常会出现伪影,并且容易出现优化问题,例如模式坍塌。在本文中,我们证明了所有这些任务都可以在几秒钟内在一个统一的,令人惊讶的简单框架中执行,而无需任何培训。我们重新审视和铸造的“好老”补丁为基础的方法到一个新的无优化的框架。我们从最初的粗略猜测开始,然后使用块最近邻搜索简单地细化细节。这允许比GANs更好更快地生成随机新颖图像。我们进一步展示了广泛的应用,如图像编辑和重组,重定向到不同的大小,结构类比,图像拼贴和新引入的条件修复任务。我们的方法不仅更快($\times 10^3$ - $\times 10^4$比GAN更快),而且产生了更好的结果(通过定量和定性评估证实),更少的伪影和更真实的全局结构比以前的任何方法(无论是基于GAN还是基于经典补丁)。
2021-08-24 cs.CV
Synthesis versus analysis in patch-based image priors
Instituto Superior Técnico, University of Lisbon(里斯本大学高等理工学院)
在全局模型/先验(例如,使用小波框架)中,在信号/图像先验的制定方式中存在众所周知的分析与合成二分法。在基于块的图像模型/先验中,这种二分法也存在于如何对每个块进行建模的选择中。本文表明,有另一个分析与合成二分法,在整个图像是如何相关的补丁,以及所有现有的基于补丁的配方,提供了一个全球性的图像之前属于分析类别。然后,我们提出了一个合成配方,其中的图像被明确建模为合成添加组合的独立补丁的集合。我们正式确定,这些分析和合成制剂在一般情况下是不等同的,并且这两种制剂在贴剂水平上与分析和合成制剂相容。最后,我们提出了一个例子的交替方向的乘法器(ADMM),可用于执行图像去噪下建议的合成配方,显示其计算的可行性。而不是显示的综合或分析配方的优越性,本文的贡献是建立两种选择的存在,从而关闭相应的差距,在该领域的补丁为基础的图像处理。
2017-02-20 cs.CV
Face Sketch Synthesis with Style Transfer using Pyramid Column Feature
The University of Hong Kong(香港大学);Baidu Research(百度研究院)
在本文中,我们提出了一种新的框架,基于深度神经网络的人脸素描合成从照片。模仿艺术家绘制草图的过程,我们的框架以级联的方式合成人脸草图。首先生成内容图像,该内容图像勾勒出面部的形状和关键面部特征。然后添加纹理和阴影以丰富草图的细节。我们利用一个完全的卷积神经网络(FCNN)创建的内容图像,并提出了一种风格转移方法,引入纹理和阴影的基础上新提出的金字塔列功能。实验结果表明,基于金字塔柱特征的风格转换方法不仅比传统的风格转换方法能更好地保留草图细节,而且优于传统的基于面片的风格转换方法。定量和定性评估表明,我们的框架优于其他国家的最先进的方法,也可以推广到不同的测试图像。代码可在https://github.com/chaofengc/Face-Sketch上获得
2020-09-18 cs.CV
GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis
Autonomous Vision Group(自主视觉小组);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(蒂宾根大学)
虽然2D生成对抗网络实现了高分辨率图像合成,但它们在很大程度上缺乏对3D世界和图像形成过程的理解。因此,它们不提供对相机视点或对象姿态的精确控制。为了解决这个问题,最近的几种方法利用中间体素为基础的表示与微分渲染相结合。然而,现有的方法要么产生低图像分辨率,要么在分离相机和场景属性(例如,对象身份可以随视点而变化。在本文中,我们提出了一个生成模型的辐射场,最近被证明是成功的一个单一的场景的新的视图合成。与基于体素的表示相反,辐射场不限于3D空间的粗略离散化,还允许解开相机和场景属性,同时在存在重建模糊性的情况下优雅地降级。通过引入一个多尺度的基于补丁的训练,我们展示了高分辨率图像的合成,同时训练我们的模型从unposed 2D图像单独。我们在几个具有挑战性的合成和真实世界的数据集上系统地分析了我们的方法。我们的实验表明,辐射场是生成图像合成的一个强大的代表,导致3D一致的模型,以高保真度渲染。
2021-03-30 cs.CV
Any-resolution Training for High-resolution Image Synthesis
MIT(麻省理工学院);Adobe Research(奥多比研究院)
生成模型以固定的分辨率运行,即使自然图像有各种大小。由于高分辨率的细节被下采样,低分辨率的图像被完全丢弃,失去了宝贵的监督。我们认为每个像素都很重要,并使用可变大小的图像创建数据集,以其原始分辨率收集。为了利用不同大小的数据,我们引入了连续规模训练,这是一个在随机规模上对补丁进行采样以训练具有可变输出分辨率的新生成器的过程。首先,在目标尺度上调节生成器使我们能够生成比以前更高分辨率的图像,而无需向模型添加图层。其次,通过连续坐标的条件,我们可以对仍然遵循一致的全局布局的补丁进行采样,这也允许在更高的分辨率下进行可扩展的训练。控制FFHQ实验表明,我们的方法可以利用多分辨率训练数据比离散多尺度方法,实现更好的FID分数和更干净的高频细节。我们还训练其他自然图像域,包括教堂,山脉和鸟类,并展示了任意规模的合成与连贯的全球布局和现实的局部细节,在我们的实验中超过2K分辨率。我们的项目页面可在:https://chail.github.io/anyres-gan/。
2022-08-05 cs.CV cs.LG
Patch Diffusion: Faster and More Data-Efficient Training of Diffusion Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Microsoft Azure AI(微软Azure人工智能部门)
提出 Patch Diffusion 补丁级训练框架,通过引入补丁级条件得分函数并随机化补丁大小,实现两倍以上训练加速并提升小数据集训练效率,在多个基准上取得杰出 FID 分数。
2023-10-18 cs.CV cs.LG
Texture Memory-Augmented Deep Patch-Based Image Inpainting
基于补丁的方法和深度网络已被用来解决图像修补问题,有自己的优点和缺点。基于块的方法能够通过从未掩蔽区域中搜索最近邻块来恢复具有高质量纹理的丢失区域。然而,这些方法在恢复大的缺失区域时带来问题的内容。另一方面,深度网络在完成大区域方面显示出有希望的结果。尽管如此,结果往往缺乏与周围区域相似的忠实和清晰的细节。通过将这两种范例中最好的结合在一起,我们提出了一个新的深度修复框架,其中纹理生成由从未掩蔽区域提取的补丁样本的纹理记忆指导。该框架具有新颖的设计,允许纹理记忆检索与深度修复网络进行端到端的训练。此外,我们引入了补丁分布损失,以鼓励高质量的补丁合成。所提出的方法在三个具有挑战性的图像基准上表现出定性和定量的优异性能,即,地点、CelebA-HQ和巴黎街景数据集。
2021-11-04 cs.CV cs.LG eess.IV
Multi-scale Transformer Network with Edge-aware Pre-training for Cross-Modality MR Image Synthesis
ShanghaiTech University(上海科技大学);Nanjing University of Science and Technology(南京理工大学);Nanjing University(南京大学);National Institute of Healthcare Data Science at Nanjing University(南京大学医疗健康数据科学国家研究院);Southeast University(东南大学);Shanghai United Imaging Intelligence Co., Ltd.(上海联影智能有限公司);Shanghai Clinical Research and Trial Center(上海临床研究中心)
提出多尺度Transformer网络(MT-Net)结合边缘感知预训练,利用少量配对和大量非配对数据实现跨模态MR图像合成,性能与全数据方法相当。
2023-06-18 cs.CV eess.IV
Face Photo Sketch Synthesis via Larger Patch and Multiresolution Spline
人脸照片素描合成由于其在数字娱乐和执法领域的潜在应用,近年来受到了研究者的关注。已经提出了一些基于补丁的方法来解决这个问题。这些方法通常更多地关注如何为给定的照片补丁获得草图补丁,而不是如何混合这些生成的补丁。然而,如果没有适当的混合方法,一些锯齿状的部分和斑驳的点会出现在整个人脸草图。为了得到更平滑的草图,我们提出了一种新的方法来减少这种锯齿状的部分和斑驳的点。在我们的系统中,我们采用了一种现有的方法,这是马尔可夫随机场(MRF),训练一个粗略的人脸素描。然后,该草图人脸草图将被划分成一些更大的块,并重新训练的非负矩阵分解(NMF)。最后,我们使用多分辨率样条和一个混合技巧称为全覆盖技巧混合这些重新训练的补丁。实验结果表明,与以往的一些方法相比,我们可以得到一个更平滑的人脸草图。
2015-09-19 cs.CV
DiffPAD: Denoising Diffusion-based Adversarial Patch Decontamination
RISE Research Institutes of Sweden(瑞典RISE研究机构);KTH Royal Institute of Technology(KTH皇家理工学院);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全研究中心);Halmstad University(哈尔姆斯塔德大学)
提出DiffAD框架,利用扩散模型进行对抗补丁净化,通过超分辨率重建和图像修复技术实现最先进的对抗鲁棒性。
2024-11-14 cs.CV cs.LG
GramGAN: Deep 3D Texture Synthesis From 2D Exemplars
ETH Zurich(苏黎世联邦理工学院);CSEM(瑞士电子与微技术中心)
我们提出了一种新的纹理合成框架,使生成无限的,高质量的三维纹理给定的二维样本图像。受自然纹理合成最新进展的启发,我们训练深度神经模型,通过非线性组合学习到的噪声频率来生成纹理。为了实现一个高度现实的输出条件下的样本补丁,我们提出了一个新的损失函数,结合了风格转移和生成对抗网络的想法。特别地,我们训练合成网络以匹配来自一个神经网络的深层特征的Gram矩阵。此外,我们提出了两个架构的概念和外推策略,显着提高泛化性能。特别是,我们通过学习缩放和偏置隐藏的激活,将模型输入和条件注入隐藏的网络层。定量和定性评估的一组不同的范例激励我们的设计决策,并表明我们的系统性能优于以前的最先进的状态。最后,我们进行了用户研究,确认我们的框架的好处。
2020-06-30 cs.CV cs.GR
(De)Randomized Smoothing for Certifiable Defense against Patch Attacks
University of Maryland(马里兰大学)
图像上的补丁对抗攻击(攻击者可以扭曲有界大小区域内的像素)是一种重要的威胁模型,因为它们为物理对抗攻击提供了定量模型。在本文中,我们介绍了一个可证明的防御补丁攻击,保证对于给定的图像和补丁攻击的大小,没有补丁对抗的例子存在。我们的方法涉及到广泛的随机平滑鲁棒性计划,提供高置信度的概率鲁棒性证书。通过利用补丁攻击比一般稀疏攻击更受约束的事实,我们得到了有意义的大鲁棒性证书。此外,与基于平滑的针对L_p和稀疏攻击的防御方法相比,我们针对补丁攻击的防御方法是去随机化的,从而产生改进的确定性证书。与Chiang等人(2020)提出的现有补丁认证方法相比,该方法依赖于区间边界传播,我们的方法可以更快地训练,在CIFAR-10上实现高清洁和认证的鲁棒准确性,并提供ImageNet规模的证书。例如,对于CIFAR-10上的5 × 5补丁攻击,我们的方法实现了高达约57.6%的认证准确率(分类器的清洁准确率约为83.8%),而现有方法的认证准确率最多为30.3%(分类器的清洁准确率约为47.8%)。我们的研究结果有效地建立了一个新的最先进的可认证防御CIFAR-10和ImageNet上的补丁攻击。代码可在https://github.com/alevine0/patchSmoothing上获得。
2021-01-08 cs.CV cs.LG stat.ML
Contrastive Learning for Unpaired Image-to-Image Translation
University of California, Berkeley(加州大学伯克利分校);Adobe Research(Adobe 研究院)
在图像到图像的转换中,输出中的每个块应该反映输入中对应块的内容,与域无关。我们提出了一个简单的方法来做到这一点-最大化两者之间的互信息,使用基于对比学习的框架。该方法鼓励两个元素(对应的块)映射到学习的特征空间中的类似点,相对于数据集中的其他元素(其他块),称为否定。我们探讨了几个关键的设计选择,使对比学习有效的图像合成设置。值得注意的是,我们使用了一种多层的、基于补丁的方法,而不是对整个图像进行操作。此外,我们从输入图像本身中提取底片,而不是从数据集的其余部分提取底片。我们证明了我们的框架在不成对的图像到图像翻译设置中实现了单侧翻译,同时提高了质量并减少了训练时间。此外,我们的方法甚至可以扩展到训练设置,其中每个“域”只是一个单一的图像。
2020-08-20 cs.CV cs.LG
P$^2$-GAN: Efficient Style Transfer Using Single Style Image
Xi’an Jiaotong University(西安交通大学)
风格转换是一种非常有用的图像合成技术,它可以将给定的图像重新渲染成另一种艺术风格,同时保留其内容信息。生成对抗网络(GAN)是一个被广泛采用的框架,为这一任务,其更好的本地风格模式的表示能力比传统的基于语法矩阵的方法。然而,大多数先前的方法依赖于足够量的预先收集的样式图像来训练模型。本文提出了一种新的Patch Permutation GAN(P $^2$ -GAN)网络,该网络可以有效地从单个风格图像中学习笔画风格。我们使用补丁置换生成多个训练样本从给定的风格图像。设计了一种能同时对分块图像和自然图像进行无缝处理的分块图像处理器。我们还提出了一个基于局部纹理描述符的标准来定量评估风格转移质量。实验结果表明,该方法可以从单一风格的图像中生成质量更好的重渲染结果,与许多现有方法相比,计算效率有所提高。
2020-01-30 cs.CV eess.IV
Perspective Texture Synthesis Based on Improved Energy Optimization
Institute of Space Technology(空间技术研究院);Pakistan Space and Upper Atmosphere Research Commission (SUPARCO)(巴基斯坦空间与上层大气研究委员会);University of Karachi(卡拉奇大学)
透视纹理合成在视频编辑、场景捕捉等领域具有重要意义,这是由于其读取和控制全局特征信息的能力。在本文中,我们提出了一种新的基于实例的,特别是基于能量优化的算法,合成透视纹理。能量优化技术是一种基于像素的方法,因此它是耗时的。我们从两个方面进行了改进,以达到更快的合成速度和更高的质量。首先,我们改变这种基于像素的技术,用一个小补丁代替像素计算。其次,我们提出了一种新的技术,以加快搜索最近的邻居在能量优化。利用k-均值聚类技术建立搜索树,加快搜索速度.因此,我们利用主成分分析(PCA)技术来减少输入向量的维数。高质量的结果证明了我们的方法是可行的。此外,我们提出的算法需要更短的时间相对于其他类似的方法。
2020-06-21 cs.CV cs.GR
US-GAN: On the importance of Ultimate Skip Connection for Facial Expression Synthesis
University of the Punjab(旁遮普大学)
该研究提出带终极跳跃连接的轻量US-GAN用于人脸表情合成,参数量与训练数据规模远低于现有模型,在多项指标及用户研究中表现更优。
2023-04-08 cs.CV eess.IV
Texture Image Synthesis Using Spatial GAN Based on Vision Transformers
Shiraz University(设拉子大学)
本文提出ViT-SGAN混合模型,将视觉Transformer与空间GAN融合,并通过在自注意力机制中引入纹理描述符来提升纹理合成质量,在多个指标上优于现有最先进模型。
2025-05-07 cs.AI cs.CV
Fast Patch-based Style Transfer of Arbitrary Style
University of British Columbia(不列颠哥伦比亚大学)
艺术风格转移是一个图像合成问题,其中图像的内容被再现为另一个的风格。最近的工作表明,通过使用预先训练的卷积神经网络的隐藏激活,可以实现视觉上吸引人的风格转移。然而,现有的方法要么应用(i)适用于任何风格图像但非常昂贵的优化过程,要么应用(ii)仅允许有限数量的训练风格的有效前馈网络。在这项工作中,我们提出了一个基于局部匹配的更简单的优化目标,它将内容结构和风格纹理结合在预训练网络的单层中。我们表明,我们的目标具有理想的属性,如更简单的优化景观,直观的参数调整,以及一致的逐帧视频性能。此外,我们使用80,000幅自然图像和80,000幅绘画来训练近似优化结果的逆网络。这导致用于艺术风格转移的过程是有效的,但也允许任意内容和风格图像。
2016-12-13 cs.CV cs.GR cs.LG
Efficient and Robust Remote Sensing Image Denoising Using Randomized Approximation of Geodesics' Gramian on the Manifold Underlying the Patch Space
University of Rhode Island(罗德岛大学);Quinnipiac University(昆尼皮亚克大学);Texas A&M University - Corpus Christi(德州农工大学科珀斯克里斯蒂分校)
针对现有遥感图像去噪算法性能不足或资源消耗大的问题,提出一种无需额外训练样本的方法,通过划分图像斑块、利用测地线Gramian矩阵奇异值谱随机近似揭示低秩流形并加权合并颜色通道,实现高效鲁棒去噪。
2025-04-15 cs.CV eess.IV
Bifrost-1: Bridging Multimodal LLMs and Diffusion Models with Patch-level CLIP Latents
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Lambda
提出 Bifrost-1 框架,利用 patch 级 CLIP 潜变量连接预训练多模态 LLM 与扩散模型,通过轻量级 ControlNet 适配和视觉生成分支,在保留多模态推理能力的同时实现了高效的高保真可控图像生成。
2025-08-08 cs.AI cs.CL cs.CV
3D-Assisted Image Feature Synthesis for Novel Views of an Object
Stanford University(斯坦福大学)
由于视觉特征在大视角变化下的不稳定性,以视点不变的方式比较两幅图像一直是计算机视觉中的一个挑战性问题。在本文中,给定一个对象的单个输入图像,我们合成新的功能,为同一对象的其他视图。为了实现这一点,我们引入了一组对齐的3D模型,与输入对象图像在同一类中。每个3D模型由一组视图表示,我们研究不同视图之间的图像补丁的相关性,寻求我们所谓的代理-补丁在一个视图中的特征内容预测以及补丁在另一个视图中的特征。特别是,对于新的期望视图中的每个补丁,我们从给定图像的观察视图中寻找代理。对于一个给定的代理,我们预测代理使用的3D模型视图的相应补丁的线性组合,学习的系数,然后转移这些系数的基础上,每个补丁的新视图中的补丁合成的功能。通过这种方式,我们可以为潜在对象的所有视图创建特征集,为我们提供对象的多视图表示。视图不变的对象比较简单地通过计算相应视图的特征之间的$L^2$距离来实现。我们提供的特征合成过程的理论和实证分析,并评估所提出的视图不可知距离(VAD)在细粒度图像检索(100个对象类)和分类任务。实验结果表明,我们的合成功能,使图像之间的视图无关的比较,并在这方面的表现显着优于传统的图像特征。
2014-11-26 cs.CV
ERUPT: Efficient Rendering with Unposed Patch Transformer
BlueHalo(蓝 halo 公司);Carnegie Mellon University(卡内基梅隆大学)
提出ERUPT模型,通过基于图像块的查询和学习潜在相机位姿,仅需少量无位姿图像即可高效合成新视角,显著降低计算与数据需求并提升渲染质量。
2025-03-31 cs.CV
NITES: A Non-Parametric Interpretable Texture Synthesis Method
University of Southern California(南加州大学)
本文提出了一种非参数可解释纹理合成方法,称为NITES方法。虽然目前可以通过深度神经网络实现视觉上令人愉悦的纹理的自动合成,但是相关的生成模型在数学上是难以处理的,并且它们的训练需要较高的计算成本。NITES提供了一种新的纹理合成解决方案来解决这些缺点。NITES在数学上是透明的,在训练和推理方面是高效的。输入是单个示例性纹理图像。NITES方法从输入中裁剪出纹理块,并分析这些纹理块的统计特性,以获得它们的联合空间-光谱表示。然后,样本的概率分布的联合空间-频谱空间的特点。最后,可以自动生成视觉上类似于示例性纹理图像的许多纹理图像。实验结果表明,所生成的纹理图像的质量和效率的建议NITES方法的训练和推理时间方面的优越性。
2020-09-02 cs.CV
A Survey on Patch-based Synthesis: GPU Implementation and Optimization
本文综述了基于块的合成方法和图像局部区域匹配算法的研究。我们还探讨了这种新的快速随机匹配技术的大类应用。我们特别研究的算法之一是PatchMatch,它可以比以前的技术快一到两个数量级找到图像的相似区域或“补丁”。算法程序是通过应用自然图像中最近邻的数学特性来驱动的。据观察,相邻的对应关系往往是相似的或“相干的”,并使用这种观察算法,以便快速收敛到一个近似的解决方案。该算法是最一般的形式,可以找到k-最近邻匹配,使用补丁,平移,旋转或缩放,使用任意描述符,并在两个或多个图像之间。在这些领域的范围内,通过各种技术获得了加速。我们已经探索了PatchMatch匹配算法的许多应用。在计算机图形学中,我们已经探索了从图像中删除不需要的对象,无缝地移动图像中的对象,改变图像宽高比和视频摘要。在计算机视觉中,我们已经探索了去噪图像,目标检测,检测图像失真和检测对称性。最后,我们讨论了我们的算法程序,GPU的实现和未来的分析领域的限制。
2020-05-11 cs.CV cs.GR eess.IV