RetrieveGAN: Image Synthesis via Differentiable Patch Retrieval
Google Research(谷歌研究院);University of California, Merced(加利福尼亚大学默塞德分校);Yonsei University(延世大学)
基于场景描述的图像生成技术是图像可控生成的基础技术,对于内容创建、图像编辑等应用具有重要意义。在这项工作中,我们的目标是合成图像的场景描述检索补丁作为参考。我们提出了一个微分检索模块。通过可区分检索模块,我们可以(1)使整个管道端到端可训练,从而能够学习更好的特征嵌入以进行检索;(2)鼓励选择具有额外目标函数的相互兼容的补丁。我们进行了大量的定量和定性实验,以证明该方法可以生成逼真的和多样的图像,检索的补丁是合理的,相互兼容。
2020-07-16 cs.CV
Example-Based Image Synthesis via Randomized Patch-Matching
Technion – Israel Institute of Technology(以色列理工学院)
图像和纹理合成是图像处理、图形学和机器学习领域中一个具有挑战性的课题。这个问题包括通过训练样本或通过参数化建模来对所需类型的图像进行建模,然后生成属于相同统计原点的图像。这项工作解决了图像合成任务,重点是两个特定的家庭的图像-手写数字和人脸图像。本文提供了两个主要贡献。首先,我们提出了一个简单而直观的算法,能够以统一的方式生成这样的图像。所提出的方法是金字塔式的,包括放大和细化估计图像几次。对于每个放大阶段,该算法从补丁数据库中随机抽取小补丁,并合并这些补丁以形成具有高视觉质量的连贯且新颖的图像。第二个贡献是一个通用的框架,生成性能的评估,它结合了三个方面:合成图像的可能性,原创性和传播。我们评估了所提出的合成方案,并表明结果在性质上是相似的,但与训练集中发现的结果不同,这表明已经获得了真正的合成效果。
2016-09-23 cs.CV
Patch-Based Image Hallucination for Super Resolution with Detail Reconstruction from Similar Sample Images
图像幻觉和超分辨率已经研究了几十年,并且已经提出了许多方法来使用来自图像本身、多个示例图像或大型图像数据库的信息对低分辨率图像进行上采样。然而,这项工作的大部分都只集中在小的放大水平上,因为算法只是锐化了上采样图像中的模糊边缘-在最终结果中通常不会重建实际的新细节。在本文中,我们提出了一种基于补丁的图像超分辨率算法,第一次,适当地合成新的高频细节。要做到这一点,我们提出的合成问题作为一个补丁为基础的优化,插入连贯的,高频的细节,从上下文相似的图像提供的相同的物理场景/主题从个人图像收集或大型在线数据库。所得到的图像在视觉上是合理的,并且包含相干的高频信息。我们证明了我们的算法的鲁棒性,通过测试它在大量的图像,并表明其性能是相当优于所有国家的最先进的方法,通过随机用户研究的结果,验证是统计上显着的。
2018-06-03 cs.CV cs.MM
NUWA-Infinity: Autoregressive over Autoregressive Generation for Infinite Visual Synthesis
Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学);Microsoft Azure AI(微软Azure人工智能)
在本文中,我们提出了NUWA-Infinity,生成模型的无限视觉合成,这是定义为生成任意大小的高分辨率图像或长时间的视频的任务。提出了一种自回归生成机制来处理这种可变大小的生成任务,其中全局补丁级自回归模型考虑补丁之间的依赖关系,局部令牌级自回归模型考虑每个补丁内视觉令牌之间的依赖关系。引入邻近上下文池(Nearby Context Pool,NCP),将已生成的缓存相关补丁作为当前补丁的上下文,在不牺牲补丁级依赖建模的前提下,显著节省计算成本.一个任意方向控制器(ADC)被用来决定不同的视觉合成任务的适当的生成顺序和学习顺序感知的位置嵌入。与DALL-E、Imagen和Parti相比,NUWA-Infinity可以生成任意尺寸的高分辨率图像,并支持长时间视频生成。与同时涵盖图像和视频的NUWA相比,NUWA-Infinity在分辨率和可变尺寸生成方面具有更出色的视觉合成能力。GitHub链接是https://github.com/microsoft/NUWA。主页链接是https://nuwa-infinity.microsoft.com。
2022-08-12 cs.CV
High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesis
University of Southern California(南加州大学);Adobe Research(Adobe研究院);Pinscreen;USC Institute for Creative Technologies(南加州大学创意技术研究所)
深度学习的最新进展已经显示出令人兴奋的前景,即用语义上合理的和上下文感知的细节来填充自然图像中的大洞,影响基本的图像处理任务,如对象删除。虽然这些基于学习的方法在捕获高级特征方面比现有技术更有效,但由于记忆限制和训练困难,它们只能处理非常低分辨率的输入。即使是稍微大一点的图像,修复后的区域也会显得模糊,并且可以看到令人不快的边界。我们提出了一种基于图像内容和纹理约束联合优化的多尺度神经补丁合成方法,该方法不仅保留了上下文结构,而且通过匹配和适应具有最相似的深层分类网络中层特征相关性的补丁来产生高频细节。我们在ImageNet和Paris Streetview数据集上评估了我们的方法,并实现了最先进的修复精度。我们表明,我们的方法比以前的方法产生更清晰,更连贯的结果,特别是对于高分辨率图像。
2017-04-13 cs.CV
Example-Guided Scene Image Synthesis using Masked Spatial-Channel Attention and Patch-Based Self-Supervision
University of Rochester(罗切斯特大学)
最近尝试了示例引导的图像合成,以从语义标签图和示例性图像合成图像。在该任务中,附加示例性图像用于提供控制合成输出的外观的风格指导。尽管具有可控性优势,但以前的模型是在具有特定和粗略对齐对象的数据集上设计的。在本文中,我们解决了一个更具挑战性和一般性的任务,其中的样本是一个任意的场景图像,是语义不对齐给定的标签地图。为此,我们首先提出了一个新的掩蔽空间通道注意力(MSCA)模块,该模块通过交叉注意力对两个非结构化场景之间的对应关系进行建模。接下来,我们提出了一个端到端的网络,用于联合全局和局部特征对齐和合成。此外,我们提出了一种新的补丁为基础的自我监督计划,使培训。在大规模CCOO-stuff数据集上的实验表明,与现有方法相比,该方法有显著的改进。此外,我们的方法提供了可解释性,并可以很容易地扩展到其他任务,包括风格和空间插值或外推,以及其他内容操作。
2019-11-27 cs.CV
Rethinking Noise Synthesis and Modeling in Raw Denoising
CUHK-SenseTime Joint Lab(香港中文大学-商汤科技联合实验室);SenseTime Research(商汤科技研究院)
由于缺乏大规模真实的原始图像去噪数据集,在训练去噪模型时合成真实的原始图像噪声是一个挑战。然而,真实的原始图像噪声是由许多噪声源贡献的,并且在不同的传感器之间变化很大。现有的方法无法对所有噪声源进行精确建模,并且为每个传感器建立噪声模型也很费力。在本文中,我们介绍了一种新的视角来合成噪声直接采样从传感器的实际噪声。它固有地为不同的相机传感器生成准确的原始图像噪声。两种有效的通用技术:模式对齐的补丁采样和高比特重建分别有助于空间相关噪声和高比特噪声的精确合成。我们在SIDD和ELD数据集上进行了系统的实验。结果表明:(1)该方法优于现有方法,并在不同传感器和光照条件下具有广泛的推广性。(2)最近基于DNN的噪声建模方法得出的结论实际上是基于不准确的噪声参数。基于DNN的方法仍然无法超越基于物理的统计方法。
2023-02-23 cs.CV eess.IV
Generator Versus Segmentor: Pseudo-healthy Synthesis
Xiamen University(厦门大学);Deepwise Inc.(深睿公司)
本文研究了伪健康图像的合成问题,将其定义为从病理图像中合成特定对象的无病理图像。最近的方法基于生成对抗网络(GAN)已经开发了这个任务。然而,这些方法将不可避免地陷入保持对象特定的身份和生成健康的外观之间的权衡。为了克服这一挑战,我们提出了一种新的对抗性训练机制,Generator versus Segmentor(GVS),通过分治策略来减轻这种权衡。我们进一步考虑了在整个训练过程中分割器的泛化性能不断恶化,并通过对经过良好变换的像素进行静音来提高像素加权损失。此外,我们提出了一种新的度量标准来衡量合成图像的健康程度。在公共数据集BraTS上的定性和定量实验表明,该方法优于现有方法。此外,我们还证明了我们的方法在数据集LITS的有效性。我们的实施和预先训练的网络可在www.example.com上公开获取。
2021-07-15 cs.CV
3D-Assisted Image Feature Synthesis for Novel Views of an Object
Stanford University(斯坦福大学)
由于视觉特征在大视角变化下的不稳定性,以视点不变的方式比较两幅图像一直是计算机视觉中的一个挑战性问题。在本文中,给定一个对象的单个输入图像,我们合成新的功能,为同一对象的其他视图。为了实现这一点,我们引入了一组对齐的3D模型,与输入对象图像在同一类中。每个3D模型由一组视图表示,我们研究不同视图之间的图像补丁的相关性,寻求我们所谓的代理-补丁在一个视图中的特征内容预测以及补丁在另一个视图中的特征。特别是,对于新的期望视图中的每个补丁,我们从给定图像的观察视图中寻找代理。对于一个给定的代理,我们预测代理使用的3D模型视图的相应补丁的线性组合,学习的系数,然后转移这些系数的基础上,每个补丁的新视图中的补丁合成的功能。通过这种方式,我们可以为潜在对象的所有视图创建特征集,为我们提供对象的多视图表示。视图不变的对象比较简单地通过计算相应视图的特征之间的$L^2$距离来实现。我们提供的特征合成过程的理论和实证分析,并评估所提出的视图不可知距离(VAD)在细粒度图像检索(100个对象类)和分类任务。实验结果表明,我们的合成功能,使图像之间的视图无关的比较,并在这方面的表现显着优于传统的图像特征。
2014-11-26 cs.CV
TextureGAN: Controlling Deep Image Synthesis with Texture Patches
Georgia Institute of Technology(佐治亚理工学院);Adobe Research(奥多比研究院);UC Berkeley(加州大学伯克利分校);Argo AI(阿尔戈人工智能公司)
本文研究了由草图、颜色和纹理引导的深度图像合成。以前的图像合成方法可以通过草图和颜色笔画来控制,但我们是第一个研究纹理控制的方法。我们允许用户在草图上任意位置和比例放置纹理补丁,以控制所需的输出纹理。我们的生成网络学习合成与这些纹理建议一致的对象。为了实现这一点,我们开发了一个局部纹理损失,除了对抗和内容损失训练生成网络。我们进行实验,使用从真实图像和纹理从一个单独的纹理数据库中采样生成的草图,结果表明,我们提出的算法是能够生成可信的图像,是忠实于用户控制。消融研究表明,我们提出的管道可以生成更逼真的图像比直接适应现有的方法。
2018-04-14 cs.CV cs.GR
Frozen DINO Localizes Image Edits Without a Localizer
St Paul’s School London(圣保罗学校伦敦分校);Imperial College London(帝国理工学院);FAU(弗里德里希-亚历山大-埃尔兰根-纽伦堡大学)
本文提出无需训练的TRAIL方法,利用冻结DINO的补丁标记漂移定位图像编辑,在CocoGlide等数据集上取得优于多数基准的定位性能,验证了后期层定位信号的有效性。
2026-08-20 cs.CV
SketchPatch: Sketch Stylization via Seamless Patch-level Synthesis
Tel Aviv University(特拉维夫大学)
图像到图像转换的范例被利用,通过几何纹理细节的转移来实现草图风格化。缺乏必要的数据量的标准训练的翻译系统,我们主张在补丁级别的操作,其中一些风格化的草图提供了丰富的挖掘潜力补丁具有基本的几何图元。在面片级别进行操作需要特别考虑完整的草图平移,因为面片的单独平移(不考虑相邻面片)可能会在面片边界处产生可见的接缝和伪影。对齐的样式化和普通图元对被组合以形成包含边界周围的样式化元素和内部的普通元素的输入混合体,并且被作为无缝翻译(ST)生成器的输入给出,无缝翻译(ST)生成器的输出补丁被期望重建完全样式化的补丁。一个对抗性的添加促进了在推理时对不同几何形状的泛化和鲁棒性,形成了一个简单有效的系统,用于任意草图风格化,如在各种样式和草图上所展示的。
2020-09-04 cs.CV cs.GR cs.LG
ERUPT: Efficient Rendering with Unposed Patch Transformer
BlueHalo(蓝 halo 公司);Carnegie Mellon University(卡内基梅隆大学)
提出ERUPT模型,通过基于图像块的查询和学习潜在相机位姿,仅需少量无位姿图像即可高效合成新视角,显著降低计算与数据需求并提升渲染质量。
2025-03-31 cs.CV
A Survey on Patch-based Synthesis: GPU Implementation and Optimization
本文综述了基于块的合成方法和图像局部区域匹配算法的研究。我们还探讨了这种新的快速随机匹配技术的大类应用。我们特别研究的算法之一是PatchMatch,它可以比以前的技术快一到两个数量级找到图像的相似区域或“补丁”。算法程序是通过应用自然图像中最近邻的数学特性来驱动的。据观察,相邻的对应关系往往是相似的或“相干的”,并使用这种观察算法,以便快速收敛到一个近似的解决方案。该算法是最一般的形式,可以找到k-最近邻匹配,使用补丁,平移,旋转或缩放,使用任意描述符,并在两个或多个图像之间。在这些领域的范围内,通过各种技术获得了加速。我们已经探索了PatchMatch匹配算法的许多应用。在计算机图形学中,我们已经探索了从图像中删除不需要的对象,无缝地移动图像中的对象,改变图像宽高比和视频摘要。在计算机视觉中,我们已经探索了去噪图像,目标检测,检测图像失真和检测对称性。最后,我们讨论了我们的算法程序,GPU的实现和未来的分析领域的限制。
2020-05-11 cs.CV cs.GR eess.IV
NITES: A Non-Parametric Interpretable Texture Synthesis Method
University of Southern California(南加州大学)
本文提出了一种非参数可解释纹理合成方法,称为NITES方法。虽然目前可以通过深度神经网络实现视觉上令人愉悦的纹理的自动合成,但是相关的生成模型在数学上是难以处理的,并且它们的训练需要较高的计算成本。NITES提供了一种新的纹理合成解决方案来解决这些缺点。NITES在数学上是透明的,在训练和推理方面是高效的。输入是单个示例性纹理图像。NITES方法从输入中裁剪出纹理块,并分析这些纹理块的统计特性,以获得它们的联合空间-光谱表示。然后,样本的概率分布的联合空间-频谱空间的特点。最后,可以自动生成视觉上类似于示例性纹理图像的许多纹理图像。实验结果表明,所生成的纹理图像的质量和效率的建议NITES方法的训练和推理时间方面的优越性。
2020-09-02 cs.CV
NIFTY: a Non-Local Image Flow Matching for Texture Synthesis
Normandie Univ, UNICAEN, ENSICAEN, CNRS, GREYC(诺曼底大学、UNICAEN、ENSICAEN、CNRS、GREYC)
本文提出NIFTY,一种结合扩散模型思想与经典图像块优化的非参数流匹配纹理合成框架,无需神经网络训练,有效缓解初始化差和视觉伪影问题,实验证明其优于代表性方法。
2025-09-26 cs.CV cs.LG
Seeing Isn't Believing: Context-Aware Adversarial Patch Synthesis via Conditional GAN
Ben Gurion University of the Negev(本· Gurion 内盖夫大学)
本文提出了一种基于条件GAN的上下文感知对抗性补丁合成方法,通过生成式U-Net和Grad-CAM引导实现语义感知定位,提升攻击效果与视觉真实性,实验表明其在多种模型上均达到最高性能。
2025-12-27 cs.AI cs.CV
Infinite Texture: Text-guided High Resolution Diffusion Texture Synthesis
University of Washington(华盛顿大学);UC Berkeley(加州大学伯克利分校);Google Research(谷歌研究院)
本研究提出Infinite Texture方法,通过单纹理微调扩散模型结合分数聚合策略,实现单GPU上文本引导的任意分辨率纹理生成,效果优于现有方法,可应用于3D渲染与纹理迁移。
2024-05-13 cs.CV
Image Inpainting for High-Resolution Textures using CNN Texture Synthesis
University of Applied Sciences Constance(康斯坦茨应用技术大学)
深度神经网络已成功应用于图像分割、图像超分辨率、着色和图像修补等问题。在这项工作中,我们提出了使用卷积神经网络(CNN)的图像修补的大区域的高分辨率纹理。由于有限的计算资源,用神经网络处理高分辨率图像仍然是一个悬而未决的问题。现有的方法将全局结构的修复和细节的传递分离,这导致在细节传递步骤中的模糊结果和全局一致性的损失。基于使用CNN的纹理合成的进展,我们提出了基于块的图像修补的CNN,能够优化全局以及细节纹理统计。我们的方法能够填充大型修复区域,通常超过高分辨率图像的可比方法的质量。对于参考补丁查找,我们建议使用与修复过程中使用的相同的汇总统计量。
2018-02-12 cs.CV
Fast Preprocessing for Robust Face Sketch Synthesis
City University of Hong Kong(香港城市大学);Tencent AI Lab(腾讯人工智能实验室);University of Science and Technology of China(中国科学技术大学)
基于样本的人脸草图合成方法通常会遇到输入照片与训练照片在不同光照条件下拍摄的挑战性问题。导致失败的关键步骤是搜索输入照片补丁的相似补丁候选者。传统的光照不变的补丁距离,而不是直接依赖于像素的强度差,但他们会失败时,局部对比度的补丁变化。在本文中,我们提出了一种快速预处理方法双向亮度重映射(BLR),交互式调整训练和输入照片的照明。我们的方法可以直接集成到国家的最先进的基于范例的方法,以提高其鲁棒性与可调的计算成本。
2017-08-01 cs.AI cs.CV cs.GR
Local Padding in Patch-Based GANs for Seamless Infinite-Sized Texture Synthesis
Heriot-Watt University(赫瑞瓦特大学)
本文提出在基于补丁的GAN生成器中采用局部填充替代零填充,以解决无限尺寸纹理合成中的位置信息错误和多样性受限问题,显著提升纹理质量与多样性,并消除超分辨率中的平铺伪影。
2024-11-07 cs.CV eess.IV
VoxStruct3D: Structure-Leading Flow Matching for Voxel-Space 3D MRI Synthesis
本文提出VoxStruct3D,一种体素空间流匹配框架,通过结构优先策略引导,在T1加权脑MRI合成任务上实现了特征分布对齐、样本多样性等指标的最优性能,生成的体积解剖连贯且视觉真实。
2026-08-06 cs.CV
A survey of exemplar-based texture synthesis
Universitat Pompeu Fabra(庞培法布拉大学);École normale supérieure Paris-Saclay(巴黎萨克雷高等师范学校)
基于样本的纹理合成是从输入样本生成任意大小的新纹理图像的过程,并且这些新纹理图像在感知上与样本等价。两种主要的方法是基于几何学的方法和补丁重排方法。在第一类中,纹理的特征在于统计签名;然后,以该签名为条件的随机采样产生真正不同的纹理图像。第二个类归结为一个聪明的“复制-粘贴”过程,它将样本的大区域缝合在一起。混合方法试图将两种方法的思想结合起来,以避免它们的障碍。最近的方法,使用卷积神经网络适合这种分类,一些是统计和其他执行补丁重新安排在特征空间。他们在各种纹理上产生令人印象深刻的合成。然而,我们发现大多数真实的纹理是在多个尺度上组织的,在粗尺度上显示出全局结构,在细尺度上显示出高度变化的细节。因此,当面对大的自然图像的纹理的国家的最先进的方法的结果迅速退化,和建模它们的问题仍然是敞开的。
2017-11-24 cs.CV
3DGS-HPC: Distractor-free 3D Gaussian Splatting with Hybrid Patch-wise Classification
Sun Yat-sen University(中山大学);Texas A&M University(德克萨斯农工大学);Cardiff University(卡迪夫大学);Centre for Perceptual and Interactive Intelligence(感知与交互智能中心)
3DGS-HPC通过结合逐块分类策略和混合分类度量标准,有效抑制干扰因素,提升基于3DGS的新视角合成性能。
2026-08-27 cs.CV
Retrieval-based Spatially Adaptive Normalization for Semantic Image Synthesis
Tomorrow Advancing Life(好未来);Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室)
语义图像合成是一个具有挑战性的任务,有许多实际应用。尽管在具有空间自适应归一化的语义图像合成中已经取得了显着的进展,并且现有方法在粗略级别的指导(例如,语义类)。然而,语义对象的不同部分(例如,车轮和车窗)在结构和纹理上有很大的不同,由于缺少细粒度的指导,通常不可避免地会导致模糊的合成结果。在本文中,我们提出了一种新的规范化模块,称为基于REtrieval的空间自适应规范化(RESAIL),引入像素级细粒度的指导规范化架构。具体来说,我们首先提出了一个检索范式,找到一个相同的语义类的内容补丁从训练集与最相似的形状,每个测试语义面具。然后,RESAIL被提出来使用检索到的补丁来指导相应区域的特征归一化,并且可以提供像素级的细粒度指导,从而极大地减轻了模糊的合成结果。此外,失真的地面实况图像也被用作基于检索的指导的替代方案,用于特征归一化,进一步有利于模型训练和提高生成图像的视觉质量。在几个具有挑战性的数据集上的实验表明,我们的RESAIL在定量指标、视觉质量和主观评价方面都优于最先进的方法。源代码和预训练模型将公开提供。
2022-04-06 cs.CV
Neural Knitworks: Patched Neural Implicit Representation Networks
University of Strathclyde(斯特拉斯克莱德大学)
本研究提出Neural Knitwork补丁化神经隐式表示架构,以对抗方式优化补丁分布并保证一致性,实现图像补全、超分、去噪等任务,参数量比CNN方案少80%且性能相当。
2024-04-15 cs.AI cs.CV cs.GR
Denoising, Fast and Slow: Difficulty-Aware Adaptive Sampling for Image Generation
CompVis;LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
本文提出Patch Forcing框架,通过自适应采样和空间噪声变化提升图像生成效果,优于传统基线方法,适用于分类条件ImageNet和文本到图像生成。
2026-04-21 cs.CV
Class-Aware Adversarial Lung Nodule Synthesis in CT Images
Siemens Healthineers(西门子医疗)
虽然大规模数据集对于训练深度学习系统至关重要,但扩大医学成像数据集的收集是昂贵的。基于标注数据集的分布来合成医学图像中的感兴趣对象(诸如肺结节)可以有助于改进监督学习任务,特别是当数据集受到大小和类平衡的限制时。在本文中,我们提出了类感知的对抗合成框架来合成CT图像中的肺结节。该框架由一个由粗到细的补丁内画家(生成器)和两个类感知鉴别器构建。通过调节随机潜变量和目标结节标签,经过训练的网络能够在相同的背景下生成不同的结节。通过对公共LIDC-IDRI数据集的评估,我们展示了所提出的框架的一个示例应用,该框架用于提高肺结节恶性肿瘤估计的准确性,作为一个二元分类问题,这在肺筛查场景中很重要。我们表明,在训练集中结合真实图像块和合成肺结节可以将不同网络架构的平均AUC分类得分提高2%。
2018-12-28 cs.CV
Patch Correspondences for Interpreting Pixel-level CNNs
Microsoft C + AI(微软 C + AI);Western Virginia University(西弗吉尼亚大学);Carnegie Mellon University(卡内基梅隆大学)
我们提出了组合最近邻(CompNN),这是一种简单的方法,可以直观地解释卷积神经网络(CNN)为像素级任务(例如,图像合成和分割)。它通过从具有相似特征嵌入的训练集中复制粘贴相应的补丁来重建CNN的输入和输出图像。为了有效地做到这一点,它采用了一种基于补丁匹配的算法,该算法利用了CNN为像素级任务学习的补丁表示平滑变化的事实。最后,我们证明了CompNN可以用来建立两个图像之间的语义对应关系,并通过修改训练集中包含的图像来控制输出图像的属性。我们对语义分割和图像到图像的翻译进行了定性和定量实验,证明CompNN是解释像素级CNN学习的嵌入的好工具。
2018-09-04 cs.CV
DiffInfinite: Large Mask-Image Synthesis via Parallel Random Patch Diffusion in Histopathology
University of Glasgow(格拉斯哥大学);Dotphoton;Fraunhofer HHI(弗劳恩霍夫海因里希·赫兹研究所);Aignostics;Institute of Pathology, LMU Munich(慕尼黑大学病理学研究所);UC Berkeley(加州大学伯克利分校);TU Berlin(柏林工业大学)
提出DiffInfinite分层扩散模型,通过并行随机块扩散生成任意大小且保留长程结构的高保真组织病理学图像,有效解决大规模生成、标注稀缺和数据隐私问题。
2023-10-25 cs.CV cs.LG eess.IV
InfinityGAN: Towards Infinite-Pixel Image Synthesis
UC Merced(加州大学默塞德分校);Snap Inc.(色拉布公司);Carnegie Mellon University(卡内基梅隆大学);Yonsei University(延世大学);Google Research(谷歌研究院)
我们提出了一个新的框架,InfinityGAN,任意大小的图像生成。这项任务涉及若干关键挑战。首先,在计算和大视场训练数据的可用性方面,将现有模型缩放到任意大的图像尺寸是资源受限的。InfinityGAN以无缝的逐补丁方式进行训练和推断,计算资源少。其次,大图像应该在局部和全局上保持一致,避免重复模式,并且看起来逼真。为了解决这些问题,InfinityGAN解开了全局外观,局部结构和纹理。有了这个公式,我们可以生成以前无法达到的空间大小和细节水平的图像。实验评估验证了InfinityGAN生成的图像与基线相比具有更高的真实性,并具有并行推理功能。最后,我们展示了我们的方法解锁的几个应用程序,如空间风格融合,多模式outpainting和图像之间。所有应用程序都可以使用任意输入和输出大小进行操作。请在https://openreview.net/forum?上找到该论文的完整版本id=ufGMqIM0a4b。
2022-03-11 cs.CV
Self-Cross Diffusion Guidance for Text-to-Image Synthesis of Similar Subjects
University of California Merced(加州大学默塞德分校)
针对扩散模型合成相似主体时的主体混合问题,提出自交叉扩散引导,通过惩罚交叉与自注意力图重叠,免训练提升Unet及Transformer模型性能,并发布SSD基准。
2025-03-24 cs.CV
Contrastive Image Synthesis and Self-supervised Feature Adaptation for Cross-Modality Biomedical Image Segmentation
University of Notre Dame(圣母大学);Northwestern University(西北大学)
提出CISFA框架,结合单侧生成与逐块对比损失及自监督特征自适应,实现跨模态生物医学图像分割,显著优于现有方法。
2023-09-01 cs.CV
Hierarchical Patch Diffusion Models for High-Resolution Video Generation
Snap Inc.(Snap公司);KAUST(阿卜杜拉国王科技大学);University of Trento(特伦托大学)
本文提出分层 Patch 扩散模型,通过深度上下文融合与自适应计算实现高分辨率视频的端到端训练,并在 UCF-101 上取得最优结果。
2024-06-12 cs.CV
CellGAN: Conditional Cervical Cell Synthesis for Augmenting Cytopathological Image Classification
Shanghai Jiao Tong University(上海交通大学);ShanghaiTech University(上海科技大学);Shanghai United Imaging Intelligence Co., Ltd.(上海联影智能医疗科技有限公司)
针对TCT细胞分类标注不足的问题,本文提出条件生成模型CellGAN,通过类别映射与跳层全局上下文模块合成高保真宫颈细胞图像,显著增强图像块级分类。
2023-07-12 cs.CV eess.IV
SynBT: High-quality Tumor Synthesis for Breast Tumor Segmentation by 3D Diffusion Model
Science \& Technology Org. AI \& ML, GE HealthCare, Eindhoven, Netherlands Science \& Technology Org. AI \& ML, GE HealthCare, Budapest, Hungary
针对大视场MRI乳腺肿瘤合成效果差的问题,提出含块到体自动编码器与掩码条件扩散模型的3D扩散模型SynBT,可合成高质量乳腺肿瘤,助力分割模型Dice系数提升2-3%。
2025-09-03 cs.CV
Texture Synthesis Guided Deep Hashing for Texture Image Retrieval
Nanyang Technological University(南洋理工大学);Institute of Engineering & Management(工程与管理学院);Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校)
随着互联网上的图像和视频的大规模爆炸,已经开发了有效的哈希方法来促进相似图像的存储器和时间有效检索。然而,没有现有的作品使用哈希来解决纹理图像检索主要是因为缺乏足够大的纹理图像数据库。我们的工作通过开发一种新颖的深度学习架构来解决这个问题,该架构为输入纹理图像生成二进制哈希码。为此,我们首先预训练纹理合成网络(TSN),该网络将纹理补丁作为输入,并通过注入更新的纹理内容来输出纹理的放大视图。因此,这意味着TSN在其中间层中对学习的纹理特定信息进行编码。在下一阶段,第二个网络使用通道注意力从TSN的中间层收集多尺度特征表示,以渐进的方式将它们组合成密集的连续表示,最终在个体和成对标签信息的帮助下将其转换为二进制哈希码。新的放大纹理块也有助于数据增强,以缓解纹理数据不足的问题,并用于训练网络的第二阶段。三个公开的纹理图像检索数据集上的实验表明,我们的纹理合成引导哈希方法优于当前国家的最先进的方法。
2019-06-05 cs.CV
Look Closer: Patch-wise Supervision for AI-Generated Image Detection
Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所);ShanghaiTech University(上海科技大学);Anhui University(安徽大学)
本研究提出块级监督方法,通过共享骨干网络对图像块分类并在推理时平均概率,无需额外模块,在GenImage上四种骨干网络均提升准确率,为AI生成图像检测提供了简单有效的方案。
2026-10-01 cs.CV
$\infty$-Brush: Controllable Large Image Synthesis with Diffusion Models in Infinite Dimensions
Stony Brook University(石溪大学)
本文提出$\infty$-Brush,一种基于无限维度扩散模型的可控大图像合成方法,通过交叉注意力神经算子在函数空间中实现条件生成,支持高达4096×4096像素的图像合成,克服了传统方法的限制。
2024-07-20 cs.CV
Robust Synthesis of Adversarial Visual Examples Using a Deep Image Prior
University of Surrey(萨里大学);Adobe Research(奥多比研究院)
我们提出了一种新的方法,用于生成鲁棒的对抗性图像示例,该方法基于最近的“深度图像先验”(DIP),该方法利用卷积网络架构在图像合成中执行合理的纹理。对抗性图像通常通过扰动图像来引入高频噪声来产生,高频噪声引起图像误分类,但是对于随后的图像数字操作来说是脆弱的。我们表明,使用DIP在对抗约束下重建图像会引起对仿射变形更鲁棒的扰动,同时保持视觉上不可感知。此外,我们表明,我们的DIP方法也可以适应当地的对抗补丁(“对抗贴纸”)。我们在从ImageNet数据集中提取的广泛图像和对象类上展示了强大的对抗性示例。
2019-07-03 cs.CV
Deep Generative Adversarial Neural Networks for Realistic Prostate Lesion MRI Synthesis
STAT Innovations Pty. Ltd.(STAT创新私人有限公司)
将生成对抗神经网络(GANs)应用于前列腺病变MRI图像的合成生成。GANs已应用于各种自然图像,显示相同的技术可用于医疗领域,以创建逼真的合成病变图像。从SPIE ProstateX Challenge 2016的330个MRI扫描中提取16 mm x 16 mm贴片,并使用尖端技术训练深度卷积生成对抗神经网络(DCGAN)。合成输出进行了比较,真实的图像和隐含的潜在表示诱导的GAN进行了探索。训练技术和成功的神经网络架构进行了详细说明。
2017-08-01 cs.CV
Patch and Shuffle: A Preprocessing Technique for Texture Classification in Autonomous Cementitious Fabrication
Princeton University(普林斯顿大学)
针对自主胶凝材料制造中传统纹理分类依赖全局特征偏向语义的问题,提出“Patch and Shuffle”预处理技术,通过分割打乱图像去除语义上下文,在挤出水泥图像数据集上使ResNet-18模型测试准确率从72.46%提升至90.64%。
2025-04-14 cs.CV
Dual Pyramid Generative Adversarial Networks for Semantic Image Synthesis
语义图像合成的目标是从语义标签映射生成照片级真实感图像。它与内容生成和图像编辑等任务高度相关。然而,当前最先进的方法仍然难以在各种尺度的图像中生成逼真的对象。特别是,小的对象往往会逐渐消失,而大的对象通常会生成为补丁的拼贴。为了解决这个问题,我们提出了一个双金字塔生成对抗网络(DP-GAN),它在所有尺度上联合学习空间自适应归一化块的条件,使得尺度信息被双向使用,并且它在不同尺度上统一监督。我们的定性和定量的结果表明,所提出的方法生成的图像中的小和大的对象看起来更真实的国家的最先进的方法生成的图像相比。
2022-10-08 cs.CV
Geometry-Guided Street-View Panorama Synthesis from Satellite Imagery
Australian National University(澳大利亚国立大学);University of Oxford(牛津大学);University of Technology Sydney(悉尼科技大学)
本文提出了一种新的方法来合成一个新的街景全景给定的开销卫星图像。以一个小的卫星图像补丁作为输入,我们的方法生成一个谷歌的全向街景类型的全景,就好像它是从同一地理位置的卫星补丁的中心捕获。现有的工作解决这个任务作为一个图像生成问题,采用生成对抗网络隐式学习的跨视图变换,而忽略了域的相关性。在本文中,我们建议明确建立两个视图之间的图像的几何对应关系,以促进跨视图变换学习。具体来说,我们观察到,当现实世界中的3D点在两个视图中都可见时,在给定该3D点的高度信息的情况下,在两个视图图像中的投影点之间存在确定性映射。出于这一动机,我们开发了一种新的卫星街景图像投影(S2SP)模块,明确建立这样的几何对应关系,并将卫星图像投影到街道的观点。以这些投影卫星图像作为网络输入,我们接下来采用一个生成器来合成与卫星图像在几何上一致的逼真街景贴图。我们的S2SP模块是可区分的,整个框架是以端到端的方式训练的。在两个交叉视图基准数据集上的大量实验结果表明,我们的方法生成的图像比现有方法更好地尊重场景几何形状。
2022-03-26 cs.CV
Drop the GAN: In Defense of Patches Nearest Neighbors as Single Image Generative Models
The Weizmann Institute of Science(魏茨曼科学研究所);Weizmann Artificial Intelligence Center (WAIC)(魏茨曼人工智能中心)
单图像生成模型通过捕获单个图像内的补丁分布来执行合成和操作任务。这些任务的经典(前深度学习)流行方法基于最大化输入和生成的输出之间的补丁相似性的优化过程。然而,最近,单图像GANs被引入作为此类操作任务的高级解决方案,也用于显着的新颖生成任务。尽管它们令人印象深刻,但单个图像GANs需要很长的训练时间(通常是几个小时)来完成每个图像和每个任务。它们通常会出现伪影,并且容易出现优化问题,例如模式坍塌。在本文中,我们证明了所有这些任务都可以在几秒钟内在一个统一的,令人惊讶的简单框架中执行,而无需任何培训。我们重新审视和铸造的“好老”补丁为基础的方法到一个新的无优化的框架。我们从最初的粗略猜测开始,然后使用块最近邻搜索简单地细化细节。这允许比GANs更好更快地生成随机新颖图像。我们进一步展示了广泛的应用,如图像编辑和重组,重定向到不同的大小,结构类比,图像拼贴和新引入的条件修复任务。我们的方法不仅更快($\times 10^3$ - $\times 10^4$比GAN更快),而且产生了更好的结果(通过定量和定性评估证实),更少的伪影和更真实的全局结构比以前的任何方法(无论是基于GAN还是基于经典补丁)。
2021-08-24 cs.CV
A Bottom-up Approach for Pancreas Segmentation using Cascaded Superpixels and (Deep) Image Patch Labeling
National Institutes of Health Clinical Center(美国国立卫生研究院临床中心);Kentucky Imaging and Technologies(肯塔基成像技术公司)
强大的自动器官分割是计算机辅助诊断(CAD),定量成像分析和手术辅助的先决条件。对于诸如胰腺的高变异性器官,先前的方法报告了不期望的低精度。我们提出了一种自自底向上的【形】的腹部CT扫描胰腺分割方法,该方法基于信息传播的层次结构,通过对不同分辨率的图像块进行分类;和级联超像素。有四个阶段:1)将CT切片图像分解为一组不相交的边界保持超像素; 2)经由密集块标记来计算胰腺类概率图; 3)通过汇集强度和概率特征来对超像素进行分类,以在级联随机森林框架中形成经验统计;以及4)基于简单连接的后处理。密集图像块标记通过以下方式进行:基于图像直方图、位置和纹理特征的高效随机森林分类器;以及在较大图像窗口(具有更多空间上下文)上的更昂贵(但具有更好的特异性)的深度卷积神经网络分类。该方法的评价是在一个数据库上进行的80手动分割的CT卷在六倍交叉验证(CV)。我们所取得的结果与最先进的方法相当或更好(通过“留一名患者”评估),Dice为70.7%,Jaccard为57.9%。计算效率从一般的10小时/例提高到6~8分钟/例。最后,我们实现了一个多图集标签融合(MALF)的胰腺分割方法使用相同的数据集。在六倍CV下,我们的自自底向上的【形】分割方法显著优于其MALF对应方法:(70.7 +/- 13.0%)与Dice中的(52.5 +/- 20.8%)。深度CNN补丁标记置信度提供了更高的数值稳定性…
2016-03-07 cs.CV
Face Sketch Synthesis with Style Transfer using Pyramid Column Feature
The University of Hong Kong(香港大学);Baidu Research(百度研究院)
在本文中,我们提出了一种新的框架,基于深度神经网络的人脸素描合成从照片。模仿艺术家绘制草图的过程,我们的框架以级联的方式合成人脸草图。首先生成内容图像,该内容图像勾勒出面部的形状和关键面部特征。然后添加纹理和阴影以丰富草图的细节。我们利用一个完全的卷积神经网络(FCNN)创建的内容图像,并提出了一种风格转移方法,引入纹理和阴影的基础上新提出的金字塔列功能。实验结果表明,基于金字塔柱特征的风格转换方法不仅比传统的风格转换方法能更好地保留草图细节,而且优于传统的基于面片的风格转换方法。定量和定性评估表明,我们的框架优于其他国家的最先进的方法,也可以推广到不同的测试图像。代码可在https://github.com/chaofengc/Face-Sketch上获得
2020-09-18 cs.CV
GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis
Autonomous Vision Group(自主视觉小组);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(蒂宾根大学)
虽然2D生成对抗网络实现了高分辨率图像合成,但它们在很大程度上缺乏对3D世界和图像形成过程的理解。因此,它们不提供对相机视点或对象姿态的精确控制。为了解决这个问题,最近的几种方法利用中间体素为基础的表示与微分渲染相结合。然而,现有的方法要么产生低图像分辨率,要么在分离相机和场景属性(例如,对象身份可以随视点而变化。在本文中,我们提出了一个生成模型的辐射场,最近被证明是成功的一个单一的场景的新的视图合成。与基于体素的表示相反,辐射场不限于3D空间的粗略离散化,还允许解开相机和场景属性,同时在存在重建模糊性的情况下优雅地降级。通过引入一个多尺度的基于补丁的训练,我们展示了高分辨率图像的合成,同时训练我们的模型从unposed 2D图像单独。我们在几个具有挑战性的合成和真实世界的数据集上系统地分析了我们的方法。我们的实验表明,辐射场是生成图像合成的一个强大的代表,导致3D一致的模型,以高保真度渲染。
2021-03-30 cs.CV
Any-resolution Training for High-resolution Image Synthesis
MIT(麻省理工学院);Adobe Research(奥多比研究院)
生成模型以固定的分辨率运行,即使自然图像有各种大小。由于高分辨率的细节被下采样,低分辨率的图像被完全丢弃,失去了宝贵的监督。我们认为每个像素都很重要,并使用可变大小的图像创建数据集,以其原始分辨率收集。为了利用不同大小的数据,我们引入了连续规模训练,这是一个在随机规模上对补丁进行采样以训练具有可变输出分辨率的新生成器的过程。首先,在目标尺度上调节生成器使我们能够生成比以前更高分辨率的图像,而无需向模型添加图层。其次,通过连续坐标的条件,我们可以对仍然遵循一致的全局布局的补丁进行采样,这也允许在更高的分辨率下进行可扩展的训练。控制FFHQ实验表明,我们的方法可以利用多分辨率训练数据比离散多尺度方法,实现更好的FID分数和更干净的高频细节。我们还训练其他自然图像域,包括教堂,山脉和鸟类,并展示了任意规模的合成与连贯的全球布局和现实的局部细节,在我们的实验中超过2K分辨率。我们的项目页面可在:https://chail.github.io/anyres-gan/。
2022-08-05 cs.CV cs.LG
SimAN: Exploring Self-Supervised Representation Learning of Scene Text via Similarity-Aware Normalization
South China University of Technology(华南理工大学);Peng Cheng Laboratory(鹏城实验室);Ant Group(蚂蚁集团)
近年来,自监督表示学习在场景文本识别领域引起了广泛的关注。与以往的对比学习研究不同,我们从另一个角度来解决这个问题,即,通过以生成方式制定表示学习方案。通常情况下,相邻的图像补丁之间的一个文本行往往有类似的风格,包括笔画,纹理,颜色等,出于这个常识,我们增加一个图像补丁,并使用其相邻的补丁作为指导,以恢复本身。具体来说,我们提出了一个相似性感知规范化(SimAN)模块来识别不同的模式,并从引导补丁对齐相应的样式。通过这种方式,网络获得了区分复杂模式的表示能力,例如杂乱的笔画和杂乱的背景。实验结果表明,该算法显著提高了图像的表示质量,取得了良好的性能.此外,我们惊讶地发现,我们的自监督生成网络在数据合成,文本图像编辑和字体插值方面具有令人印象深刻的潜力,这表明所提出的SimAN具有广泛的实际应用。
2022-03-22 cs.CV
Texture Memory-Augmented Deep Patch-Based Image Inpainting
基于补丁的方法和深度网络已被用来解决图像修补问题,有自己的优点和缺点。基于块的方法能够通过从未掩蔽区域中搜索最近邻块来恢复具有高质量纹理的丢失区域。然而,这些方法在恢复大的缺失区域时带来问题的内容。另一方面,深度网络在完成大区域方面显示出有希望的结果。尽管如此,结果往往缺乏与周围区域相似的忠实和清晰的细节。通过将这两种范例中最好的结合在一起,我们提出了一个新的深度修复框架,其中纹理生成由从未掩蔽区域提取的补丁样本的纹理记忆指导。该框架具有新颖的设计,允许纹理记忆检索与深度修复网络进行端到端的训练。此外,我们引入了补丁分布损失,以鼓励高质量的补丁合成。所提出的方法在三个具有挑战性的图像基准上表现出定性和定量的优异性能,即,地点、CelebA-HQ和巴黎街景数据集。
2021-11-04 cs.CV cs.LG eess.IV
Multi-scale Transformer Network with Edge-aware Pre-training for Cross-Modality MR Image Synthesis
ShanghaiTech University(上海科技大学);Nanjing University of Science and Technology(南京理工大学);Nanjing University(南京大学);National Institute of Healthcare Data Science at Nanjing University(南京大学医疗健康数据科学国家研究院);Southeast University(东南大学);Shanghai United Imaging Intelligence Co., Ltd.(上海联影智能有限公司);Shanghai Clinical Research and Trial Center(上海临床研究中心)
提出多尺度Transformer网络(MT-Net)结合边缘感知预训练,利用少量配对和大量非配对数据实现跨模态MR图像合成,性能与全数据方法相当。
2023-06-18 cs.CV eess.IV
Exemplar-based synthesis of geology using kernel discrepancies and generative neural networks
Heriot-Watt University(赫瑞-瓦特大学)
我们提出了一个框架,地质图像的合成的基础上,一个样本图像。我们合成新的实现,使实现和样本图像之间的补丁分布的差异最小化。这种差异是量化使用核方法的两个样本测试称为最大平均差异。为了实现快速合成,我们在离线阶段训练生成神经网络,以在部署期间有效地对实现进行采样,同时还提供合成过程的参数化。我们评估一个经典的二进制图像表示渠道地下油藏的框架,发现该方法再现的视觉模式和空间统计学(图像直方图和两点概率函数)的范例图像。
2018-09-21 cs.CV cs.LG stat.AP
When More References Hurt: Contamination-Aware DINOv2 Memory Banks for Few-Shot Steel Defect Detection
University of Padua(帕多瓦大学);University of Vienna(维也纳大学)
针对少样本钢铁缺陷检测中参考库含异常补丁的问题,提出感知污染的DINOv2记忆库方法,可过滤异常补丁,显著提升AUPRC性能。
2026-08-26 cs.CV cs.LG