Residual Aligned: Gradient Optimization for Non-Negative Image Synthesis
Cornell Tech(康奈尔科技学院);Cornell University(康奈尔大学)
在这项工作中,我们解决了一个重要的问题,光学透视(OST)增强现实:非负像合成。大多数图像生成方法在这种情况下都失败了,因为它们假设对每个像素都有完全的控制,并且不能通过添加光线来创建更暗的像素。为了解决AR图像合成中的非负像生成问题,现有技术已经尝试利用光学错觉来模拟人类视觉,但是在诸如高动态范围的情况下未能很好地保持亮度恒定性。在我们的论文中,我们提出了一种能够在局部水平上保持亮度恒定性的方法,从而捕获高频细节。与现有的工作相比,我们的方法在图像到图像的翻译任务,特别是在场景,如大规模图像,高分辨率图像,高动态范围的图像传输表现出强大的性能。
2022-02-08 cs.CV
VectorSynth: Fine-Grained Satellite Image Synthesis with Structured Semantics
Washington University in St. Louis(华盛顿大学圣路易斯分校)
提出VectorSynth扩散框架,以带语义属性的多边形地理标注为条件实现像素级精确卫星图像合成,通过视觉语言对齐模块生成像素级嵌入引导生成,支持交互式工作流,在语义保真度和结构真实性上优于现有方法。
2025-11-11 cs.CV
Learn how to Prune Pixels for Multi-view Neural Image-based Synthesis
Institut Polytechnique de Paris(巴黎理工学院);Télécom Paris(巴黎电信学院);University of Padua(帕多瓦大学);Orange Labs(Orange实验室)
针对基于图像渲染中数据量大限制实时和带宽应用的问题,提出像素剪枝方法LeHoPP,通过评估输入像素重要性避免使用无关像素,无需重训网络即可在合成质量与像素率间取得良好平衡,平均增益达0.9-3.6 dB。
2023-05-05 cs.AI cs.CV cs.MM
CIPS-3D: A 3D-Aware Generator of GANs Based on Conditionally-Independent Pixel Synthesis
Shanghai Jiao Tong University(上海交通大学);Huawei Inc.(华为公司)
基于样式的GAN(StyleGAN)架构在生成高质量图像方面取得了最先进的成果,但它缺乏对相机姿态的明确和精确控制。最近提出的基于NeRF的GANs在3D感知生成器方面取得了很大进展,但它们还无法生成高质量的图像。CIPS-3D是一种基于风格的3D感知生成器,由浅层NeRF网络和深层隐式神经表示(INR)网络组成。生成器独立地合成每个像素值,而不进行任何空间卷积或上采样操作。此外,我们诊断镜像对称的问题,这意味着一个次优的解决方案,并解决它通过引入一个辅助的矩阵。CIPS-3D经过原始单视图图像训练,在FFHQ上的$256\times256$分辨率下,其FID为6.97,创下了3D感知图像合成的新纪录。我们还展示了CIPS-3D的几个有趣的方向,如迁移学习和3D感知的面部风格化。合成结果最好以视频形式观看,因此我们建议读者查看我们的github项目https://github.com/PeterouZh/CIPS-3D
2021-10-19 cs.CV eess.IV
Ultra-High-Resolution Image Synthesis with Pyramid Diffusion Model
提出金字塔扩散模型(PDM),利用金字塔潜在表示与空间-通道注意力、残差跳跃连接及谱归一化等技术,首次实现2K分辨率图像合成,为可扩展图像生成模型提供新路径。
2024-03-19 cs.CV
Fourier-CPPNs for Image Synthesis
Element AI
组成图案产生网络(CPPN)是独立地将(x,y)像素坐标映射到(r,g,b)颜色值的可微分网络。最近,CPPN已被用于出于创造性目的创建有趣的图像,例如,然而,它们的架构偏见产生的图像过于平滑,缺乏高频细节。在这项工作中,我们扩展CPPN明确建模的频率信息,为每个像素输出,捕捉频率超过直流分量。我们表明,我们的傅立叶CPPN(F-CPPN)提供了改进的视觉细节的图像合成。
2019-09-20 cs.CV eess.IV
Scalable High-Resolution Pixel-Space Image Synthesis with Hourglass Diffusion Transformers
Birchlabs, England, United Kingdom(英国英格兰Birchlabs实验室);Independent Researcher, Florida, United States(美国佛罗里达独立研究员)
本文提出Hourglass Diffusion Transformer,通过线性扩展像素数量实现高分辨率图像生成,无需传统高分辨率训练技术, 在ImageNet和FFHQ数据集上取得新突破。
2026-03-25 cs.AI cs.CV cs.LG
Cross-view image synthesis using geometry-guided conditional GANs
Center for Research in Computer Vision (CRCV), University of Central Florida(中佛罗里达大学计算机视觉研究中心(CRCV))
我们解决的问题,生成图像在两个截然不同的意见,即地面(街道)和空中(开销)的意见。图像合成本身是一项非常具有挑战性的计算机视觉任务,当生成以另一视图中的图像为条件时更是如此。由于观察视角的不同,这两种观点之间的重叠视野很小,共同内容很少。在这里,我们试图保留视图之间的像素信息,使生成的图像是一个现实的表示跨视图输入图像。为此,我们建议使用单应性作为指导,以基于共同的视野来映射视图之间的图像,以保留输入图像中的细节。然后,我们使用生成对抗网络来修补变换后的图像中丢失的区域,并添加realitytogeth.Our详尽的评估和模型比较表明,利用几何约束添加精细的细节生成的图像,可以是一个更好的方法,跨视图图像合成比纯粹的基于像素的合成方法。
2019-07-18 cs.CV
PixelNN: Example-based Image Synthesis
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个简单的最近邻(NN)的方法,合成高频逼真的图像从一个“不完整”的信号,如低分辨率的图像,表面法线映射,或边缘。为这种条件图像合成设计的当前最先进的深度生成模型缺乏两个重要的东西:(1)由于模式坍塌问题,它们不能生成大量不同的输出。(2)它们是不可解释的,使得难以控制合成的输出。我们证明了NN方法可能解决这些限制,但在小数据集上的准确性受到影响。我们设计了一个简单的流水线,结合了两个世界的优点:第一阶段使用卷积神经网络(CNN)将输入映射到(过度平滑)图像,第二阶段使用像素最近邻方法将平滑输出以可控的方式映射到多个高质量,高频输出。我们展示了我们的方法,为各种输入方式,并为各个领域,从人脸到猫和狗的鞋子和手袋。
2017-08-17 cs.CV cs.GR cs.LG
Pixel-wise Conditioned Generative Adversarial Networks for Image Synthesis and Completion
Normandie Univ(诺曼底大学);UNIROUEN(鲁昂大学);UNIHAVRE(勒阿弗尔大学);INSA Rouen(鲁昂国立应用科学学院)
生成对抗网络(GANs)已被证明在无监督图像生成方面是成功的。一些工作已经将GANs扩展到图像修复,通过用要重建的图像的部分来调节生成。尽管他们的成功,这些方法有局限性的设置,只有一个小的子集的图像像素是已知的。在本文中,我们研究的有效性条件GANs时,提供非常少的像素值。我们提出了一个建模框架,其结果是在GAN目标函数中添加一个显式的成本项,以执行逐像素条件。我们调查的影响,这个正则化项上生成的图像的质量和给定的像素约束的履行。使用最近的PacGAN技术,我们确保我们在生成的样本中保持多样性。在FashionMNIST上进行的实验表明,正则化项有效地控制了生成图像的质量和条件之间的权衡。在CIFAR-10和CelebA数据集上的实验评估证明,我们的方法在视觉上和定量上都实现了Fréchet初始距离的准确结果,同时仍然执行像素条件化。我们还使用全卷积网络在纹理图像生成任务上评估了我们的方法。作为最后的贡献,我们将该方法应用于一个经典的地质模拟应用程序。
2020-02-04 cs.CV cs.LG eess.IV
Reconstruct, Inpaint, Test-Time Finetune: Dynamic Novel-view Synthesis from Monocular Videos
Carnegie Mellon University(卡内基梅隆大学)
本文提出CogNVS模型,通过自监督学习和测试时微调,实现从单目视频动态场景生成新视角的高效方法。
2026-01-13 cs.CV
Perspective Texture Synthesis Based on Improved Energy Optimization
Institute of Space Technology(空间技术研究院);Pakistan Space and Upper Atmosphere Research Commission (SUPARCO)(巴基斯坦空间与上层大气研究委员会);University of Karachi(卡拉奇大学)
透视纹理合成在视频编辑、场景捕捉等领域具有重要意义,这是由于其读取和控制全局特征信息的能力。在本文中,我们提出了一种新的基于实例的,特别是基于能量优化的算法,合成透视纹理。能量优化技术是一种基于像素的方法,因此它是耗时的。我们从两个方面进行了改进,以达到更快的合成速度和更高的质量。首先,我们改变这种基于像素的技术,用一个小补丁代替像素计算。其次,我们提出了一种新的技术,以加快搜索最近的邻居在能量优化。利用k-均值聚类技术建立搜索树,加快搜索速度.因此,我们利用主成分分析(PCA)技术来减少输入向量的维数。高质量的结果证明了我们的方法是可行的。此外,我们提出的算法需要更短的时间相对于其他类似的方法。
2020-06-21 cs.CV cs.GR
Generator Versus Segmentor: Pseudo-healthy Synthesis
Xiamen University(厦门大学);Deepwise Inc.(深睿公司)
本文研究了伪健康图像的合成问题,将其定义为从病理图像中合成特定对象的无病理图像。最近的方法基于生成对抗网络(GAN)已经开发了这个任务。然而,这些方法将不可避免地陷入保持对象特定的身份和生成健康的外观之间的权衡。为了克服这一挑战,我们提出了一种新的对抗性训练机制,Generator versus Segmentor(GVS),通过分治策略来减轻这种权衡。我们进一步考虑了在整个训练过程中分割器的泛化性能不断恶化,并通过对经过良好变换的像素进行静音来提高像素加权损失。此外,我们提出了一种新的度量标准来衡量合成图像的健康程度。在公共数据集BraTS上的定性和定量实验表明,该方法优于现有方法。此外,我们还证明了我们的方法在数据集LITS的有效性。我们的实施和预先训练的网络可在www.example.com上公开获取。
2021-07-15 cs.CV
Retrieval-based Spatially Adaptive Normalization for Semantic Image Synthesis
Tomorrow Advancing Life(好未来);Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室)
语义图像合成是一个具有挑战性的任务,有许多实际应用。尽管在具有空间自适应归一化的语义图像合成中已经取得了显着的进展,并且现有方法在粗略级别的指导(例如,语义类)。然而,语义对象的不同部分(例如,车轮和车窗)在结构和纹理上有很大的不同,由于缺少细粒度的指导,通常不可避免地会导致模糊的合成结果。在本文中,我们提出了一种新的规范化模块,称为基于REtrieval的空间自适应规范化(RESAIL),引入像素级细粒度的指导规范化架构。具体来说,我们首先提出了一个检索范式,找到一个相同的语义类的内容补丁从训练集与最相似的形状,每个测试语义面具。然后,RESAIL被提出来使用检索到的补丁来指导相应区域的特征归一化,并且可以提供像素级的细粒度指导,从而极大地减轻了模糊的合成结果。此外,失真的地面实况图像也被用作基于检索的指导的替代方案,用于特征归一化,进一步有利于模型训练和提高生成图像的视觉质量。在几个具有挑战性的数据集上的实验表明,我们的RESAIL在定量指标、视觉质量和主观评价方面都优于最先进的方法。源代码和预训练模型将公开提供。
2022-04-06 cs.CV
Guided Image Synthesis via Initial Image Editing in Diffusion Model
The University of Tokyo(东京大学);CyberAgent, Inc.(CyberAgent公司)
本研究提出通过操纵扩散模型初始噪声控制图像生成的新方向,发现初始潜空间像素块的生成偏好由数值决定,移动对应像素块可实现区域可控生成,在布局到图像生成任务上达到最优性能。
2024-10-09 cs.CV
End-to-End QGAN-Based Image Synthesis via Neural Noise Encoding and Intensity Calibration
Shanghai Maritime University(上海海洋大学);Agency for Science, Technology and Research(科技研究局);Singapore University of Technology and Design(新加坡科技设计大学);Institute of High Performance Computing(高性能计算研究院)
本文提出ReQGAN框架,利用单个D-qubit量子电路生成完整图像,解决量子生成器角色弱化和全局语义捕捉难题,通过神经噪声编码和强度校准模块实现稳定训练和有效图像合成。
2026-03-19 cs.CV quant-ph
iNVS: Repurposing Diffusion Inpainters for Novel View Synthesis
University of Toronto(多伦多大学);Snap Research(Snap 研究院)
本文提出iNVS方法,通过单目深度估计器最大化复用源图像可见像素,并基于预训练2D修复扩散模型与极线掩码机制在Objaverse数据集上训练,实现了高质量的零样本新视角合成。
2023-10-24 cs.CV
High-Resolution Image Synthesis with Latent Diffusion Models
Ludwig Maximilian University of Munich(慕尼黑大学);Heidelberg University(海德堡大学);Runway ML(Runway ML公司)
通过将图像形成过程分解为去噪自动编码器的顺序应用,扩散模型(DM)在图像数据和其他数据上实现了最先进的合成结果。此外,它们的制定允许引导机制来控制图像生成过程而无需重新训练。然而,由于这些模型通常直接在像素空间中操作,因此对强大DM的优化通常会消耗数百个GPU天,并且由于顺序评估,推断是昂贵的。为了在有限的计算资源上进行DM训练,同时保持其质量和灵活性,我们将其应用于功能强大的预训练自动编码器的潜在空间中。与以前的工作相比,在这样的表示上训练扩散模型允许第一次在复杂性降低和细节保留之间达到接近最佳的点,大大提高了视觉保真度。通过在模型架构中引入交叉注意层,我们将扩散模型转变为强大而灵活的生成器,用于文本或边界框等一般条件输入,并以卷积方式实现高分辨率合成。我们的潜空间扩散模型(LDMs)实现了图像修补的最新技术水平,并在各种任务上具有高度竞争力的性能,包括无条件图像生成,语义场景合成和超分辨率,同时与基于像素的DM相比显着降低了计算要求。代码可在https://github.com/CompVis/latent-diffusion上获得。
2022-04-13 cs.CV
Understanding Object Dynamics for Interactive Image-to-Video Synthesis
HCI Heidelberg University(海德堡大学人机交互中心)
局部插入静态场景会产生什么效果?我们提出了一种方法,学习自然看全球关节所造成的局部操作在像素级。训练只需要移动对象的视频,而不需要物理场景的底层操作信息。我们的生成模型学习推断自然对象动态作为对用户交互的响应,并了解不同对象身体区域之间的相互关系。给定对象的静态图像和像素的局部戳,该方法然后预测对象将如何随时间变形。与现有的视频预测工作相比,我们不合成任意逼真的视频,但使本地交互控制的变形。我们的模型不限于特定的对象类别,可以将动态转换到新的看不见的对象实例上。对不同对象的广泛实验证明了我们的方法相比,常见的视频预测框架的有效性。项目页面可在https://bit.ly/3cxfA2L上找到。
2021-06-21 cs.CV
One Small Step in Latent, One Giant Leap for Pixels: Fast Latent Upscale Adapter for Your Diffusion Models
提出一种轻量级潜在上采样适配器,通过潜在空间单次前向传递实现高分辨率图像合成,提升效率并保持保真度。
2025-11-21 cs.CV
Minimalist Preprocessing Approach for Image Synthesis Detection
University of Science, VNU-HCM(胡志明市国立大学理科大学);Vietnam National University, Ho Chi Minh City(胡志明市国立大学)
提出一种基于梯度计算相邻像素波动的轻量级预处理方法,作为高通滤波器突出关键特征,在低端设备上实现与先进技术相当的检测精度。
2026-06-25 cs.CV
Harnessing the Spatial-Temporal Attention of Diffusion Models for High-Fidelity Text-to-Image Synthesis
Adobe Research(Adobe研究院);MIT-IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室);UC Santa Barbara(加州大学圣巴巴拉分校)
本文提出一种新文本到图像算法,通过布局预测器及动态组合权重,显式控制扩散模型中的空间与时间交叉注意力,无需微调即可显著提升生成图像保真度。
2023-04-07 cs.CV
CrackSegFlow: Controllable Flow Matching Synthesis for Generalizable Crack Segmentation with a 50K Image-Mask Benchmark
Department of Civil and Environmental Engineering, Grainger College of Engineering, University of Illinois Urbana--Champaign(土木与环境工程系,格拉inger工程学院,伊利诺伊大学厄巴纳-香槟分校);Department of Computer Science, Grainger College of Engineering, University of Illinois Urbana--Champaign(计算机科学系,格拉inger工程学院,伊利诺伊大学厄巴纳-香槟分校)
CrackSegFlow通过可控流匹配合成方法,利用50K图像-掩码基准提升裂纹分割的泛化能力和性能指标。
2026-01-11 cs.CV
Adversarial nets with perceptual losses for text-to-image synthesis
Harvard University(哈佛大学)
生成对抗网络(GANs)中的最新方法可以从描述性文本中自动合成逼真的图像。尽管整体质量尚可,但生成的图像通常暴露出缺乏感兴趣对象的结构定义的可见缺陷。在本文中,我们的目标是通过提高生成图像的感知质量来扩展基于GAN的文本到图像合成的最新技术水平。区别于以前的工作,我们的合成图像生成器优化感知损失函数,测量像素,功能激活,纹理差异对自然图像。我们提出了视觉上更引人注目的合成图像的鸟类和花卉产生的文字描述相比,一些最突出的现有工作。
2017-08-30 cs.CV
Enhancing High-Resolution 3D Generation through Pixel-wise Gradient Clipping
Fudan University(复旦大学);University of Surrey(萨里大学)
针对高分辨率3D生成中经冻结VAE编码器反向传播的像素梯度失控问题,提出PGC逐像素裁剪梯度幅度并保留纹理方向,以低成本提升现有模型的渲染质量。
2024-01-18 cs.CV
Patch Correspondences for Interpreting Pixel-level CNNs
Microsoft C + AI(微软 C + AI);Western Virginia University(西弗吉尼亚大学);Carnegie Mellon University(卡内基梅隆大学)
我们提出了组合最近邻(CompNN),这是一种简单的方法,可以直观地解释卷积神经网络(CNN)为像素级任务(例如,图像合成和分割)。它通过从具有相似特征嵌入的训练集中复制粘贴相应的补丁来重建CNN的输入和输出图像。为了有效地做到这一点,它采用了一种基于补丁匹配的算法,该算法利用了CNN为像素级任务学习的补丁表示平滑变化的事实。最后,我们证明了CompNN可以用来建立两个图像之间的语义对应关系,并通过修改训练集中包含的图像来控制输出图像的属性。我们对语义分割和图像到图像的翻译进行了定性和定量实验,证明CompNN是解释像素级CNN学习的嵌入的好工具。
2018-09-04 cs.CV
Edge Guided GANs with Multi-Scale Contrastive Learning for Semantic Image Synthesis
ETH Zurich(苏黎世联邦理工学院);University of Trento(特伦托大学)
针对语义图像合成中细节缺失、语义不一致、忽略全局语义关联三大挑战,提出带边缘引导、类别特征增强和多尺度对比学习的ECGAN,提升合成图像质量与语义一致性。
2023-07-22 cs.CV
Efficient Scale-Invariant Generator with Column-Row Entangled Pixel Synthesis
VinAI Research(VinAI研究院)
本文提出 CREPS 生成模型,通过将特征图分解为粗列与粗行编码的双线表示,在不使用卷积或由粗到细结构的情况下实现高效、尺度等变且无混叠的任意分辨率图像合成。
2023-04-25 cs.CV cs.LG
Efficient Image Synthesis with Sphere Latent Encoder
Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·拉希德人工智能大学)
本文提出分离的固定预训练图像编码器和球形潜在去噪模型,提高效率并独立优化重建与生成。在多个数据集上,方法在生成质量和推理速度上优于Sphere Encoder。
2026-10-27 cs.CV
Harmonizing Pathological and Normal Pixels for Pseudo-healthy Synthesis
Xiamen University(厦门大学);Westlake University(西湖大学);Chinese PLA General Hospital(中国人民解放军总医院);Deepwise AI Laboratory(深睿人工智能实验室);The University of Hong Kong(香港大学)
从病理图像合成对象特定的无病理图像对于算法开发和临床实践是有价值的。近年来,基于生成对抗网络(GAN)的几种方法在伪健康合成方面取得了可喜的成果。然而,该公司(即,分类器)不能准确地识别病变,并且进一步妨碍生成令人满意的伪健康图像。为了解决这个问题,我们提出了一种新型的分割器,分割器,准确定位病变,提高伪健康图像的视觉质量。然后,我们将生成的图像应用于医学图像增强,并利用增强的结果来解决医学图像分割中存在的低对比度问题。此外,提出了一种可靠的度量标准,利用标签噪声的两个属性来衡量合成图像的健康。在T2模态的BraTS上的综合实验表明,该方法大大优于现有的方法。该方法在训练数据量仅为30%的情况下,取得了比现有方法更好的性能。该方法的有效性也被证明在LiTS和T1模态的BraTS。本研究的代码和预训练模型可在https://github.com/Au3C2/Generator-Versus-Segmentor上公开获得。
2022-03-29 cs.CV cs.LG eess.IV
An End-to-End Automated Pipeline for Controllable Crack Data Synthesis
Monash University(莫纳什大学);Shanghai Jiao Tong University(上海交通大学)
本文提出端到端自动化流水线,结合贝塞尔曲线骨架、GAN和双ControlNet扩散框架,实现可控裂缝数据合成,在CRACK500和CrackTree200上优于现有增强方法。
2026-09-16 cs.CV
$\infty$-Brush: Controllable Large Image Synthesis with Diffusion Models in Infinite Dimensions
Stony Brook University(石溪大学)
本文提出$\infty$-Brush,一种基于无限维度扩散模型的可控大图像合成方法,通过交叉注意力神经算子在函数空间中实现条件生成,支持高达4096×4096像素的图像合成,克服了传统方法的限制。
2024-07-20 cs.CV
Dual-Domain Image Synthesis using Segmentation-Guided GAN
University of Bristol(布里斯托大学)
我们引入了一种分割指导的方法来合成图像,集成了来自两个不同领域的功能。由我们的双领域模型合成的图像属于语义掩码内的一个领域,并且属于图像的其余部分中的另一个领域-平滑地集成。我们建立在Few-Shot StyleGAN和单镜头语义分割的成功基础上,以最大限度地减少利用两个域所需的训练量。该方法结合了一个Few-Shot的跨域StyleGAN与潜在的优化器,以实现包含两个不同领域的特征的图像。我们使用分割引导的感知损失,它比较特定领域和双域合成图像之间的像素级和激活。结果定性和定量地表明,我们的模型能够在各种对象(人脸,马,猫,汽车),域(自然,漫画,草图)和基于部分的面具(眼睛,鼻子,嘴,头发,汽车发动机罩)上合成双域图像。该代码可在https://github.com/denabazazian/Dual-Domain-Synthesis上公开获取。
2022-04-19 cs.CV
Precomputed Real-Time Texture Synthesis with Markovian Generative Adversarial Networks
Institut for Informatik, University of Mainz(美因茨大学信息学研究所)
本文提出了马尔可夫生成对抗网络(MGANs),一种用于训练生成神经网络以实现高效纹理合成的方法。虽然深度神经网络方法最近在合成质量方面表现出了显着的效果,但它们仍然具有相当大的计算成本(低分辨率图像的运行时间为几分钟)。我们的论文解决了这个效率问题。我们预先计算了一个前馈的、跨越的卷积网络,而不是以前工作中的数值解卷积,该网络捕获马尔可夫补丁的特征统计,并能够直接生成任意维度的输出。这样的网络可以直接解码布朗噪声到现实的纹理,或照片到艺术绘画。通过对抗训练,我们获得了与最近的神经纹理合成方法相当的质量。由于在生成时不再需要优化,因此我们的运行时性能(25Hz下的0.25 M像素图像)远远超过了以前的神经纹理合成器(至少快500倍)。我们将这个想法应用到纹理合成,风格转移和视频风格化。
2016-04-15 cs.CV
Color Alignment in Diffusion
Hong Kong University of Science and Technology(香港科技大学);Trinity College Dublin(都柏林三一学院);Deakin University(迪肯大学)
本文提出颜色对齐算法,将扩散项投影到条件颜色空间以约束生成过程,在保持生成质量与多样性的同时实现对颜色像素的细粒度控制。
2025-03-09 cs.CV
Stay Positive: Non-Negative Image Synthesis for Augmented Reality
Cornell University(康奈尔大学);Cornell Tech(康奈尔理工学院);University of Copenhagen(哥本哈根大学)
在诸如光学透视和投影仪增强现实的应用中,产生图像相当于解决非负像生成,其中人们只能向现有图像添加光。然而,大多数图像生成方法都不适合这个问题,因为它们假设可以为每个像素分配任意颜色。事实上,现有方法的幼稚应用甚至在诸如MNIST数字的简单域中也失败了,因为不能通过添加光来创建较暗的像素。然而,我们知道,人类的视觉系统可能会被某些亮度和对比度空间配置的视错觉所愚弄。我们的关键见解是,人们可以利用这种行为来产生高质量的图像,可以忽略不计的文物。例如,我们可以通过使周围的像素变亮来创建较暗斑块的错觉。我们提出了一种新的优化过程,以产生满足语义和非负约束的图像。我们的方法可以结合现有的最先进的方法,并在各种任务中表现出强大的性能,包括图像到图像的翻译和风格转移。
2022-02-01 cs.CV cs.GR
High-Resolution Mammogram Synthesis using Progressive Generative Adversarial Networks
Kheiron Medical Technologies Ltd.(Kheiron医疗技术有限公司);Imperial College London(帝国理工学院)
生成合成医学图像的能力对于数据增强、域转移和分布外检测是有用的。然而,由于纹理异质性、精细结构细节和特定组织特性,生成逼真的高分辨率医学图像是具有挑战性的,特别是对于全视野数字乳腺X射线摄影(FFDM)。在本文中,我们探索使用渐进训练的生成对抗网络(GANs)来合成乳房X线照片,克服训练这种对抗模型时的潜在不稳定性。这项工作是第一个表明生成逼真的合成医学图像是可行的,高达1280x1024像素,医学图像合成达到的最高分辨率,使标准乳房摄影悬挂协议内的可视化。我们希望这项工作可以作为一个有用的指导和促进进一步的研究GANs在医学成像领域。
2019-09-03 cs.CV
ReShader: View-Dependent Highlights for Single Image View-Synthesis
Texas A&M University(德克萨斯农工大学);Leia Inc.(莉亚公司)
针对单图像视图合成中高光固定在表面导致不真实的问题,提出ReShader方法,将视图合成拆分为像素重新着色和重新定位两个独立任务,利用神经网络进行重新着色,生成具有逼真移动高光的新视图图像。
2024-06-03 cs.CV cs.GR
UniModel: A Visual-Only Framework for Unified Multimodal Understanding and Generation
Institute of Artificial Intelligence (TeleAI)(人工智能研究所)
UniModel通过统一模型、任务和表示,在单一视觉空间中实现多模态理解和生成的统一框架。
2025-11-21 cs.CV
Pixel Is Not a Barrier: An Effective Evasion Attack for Pixel-Domain Diffusion Models
Academia Sinica(中央研究院);CITI(资讯科技创新研究中心)
针对像素域扩散模型难以被现有扰动攻击影响的空白,本文提出 AtkPDM 框架,通过特征表示攻击损失与潜在优化策略,在保持图像自然性和抗防御能力的同时有效攻击 SDEdit 等方法,并可扩展至 LDM。
2025-02-15 cs.CV
On Hallucinating Context and Background Pixels from a Face Mask using Multi-scale GANs
Affectiva(Affectiva公司);University of Notre Dame(圣母大学)
我们提出了一个多尺度GAN模型,从一个单一的输入面具自动幻觉现实背景(额头,头发,脖子,衣服)和背景像素。我们的模型不是将人脸交换到现有的图片上,而是根据所提供的人脸蒙版的特征直接生成逼真的上下文和背景像素。与面部修复算法不同,即使对于大量缺失的像素,它也可以生成逼真的幻觉。我们的模型由GAN块的级联网络组成,每个块的任务是在特定分辨率下对丢失的像素进行超分辨率处理,同时指导下一个GAN块的合成过程。通过在网络的每个块处使用重建、感知、对抗和身份保持损失的组合,使幻觉化的全脸图像具有照片般的真实感。通过一组广泛的实验,我们证明了我们的模型在从与我们的训练数据不相交的多个数据集收集的不同面部姿势,表情和照明的面罩中产生幻觉的上下文和背景像素中的有效性。我们还比较了我们的方法与两个流行的人脸交换和人脸补全方法的视觉质量和识别性能。此外,我们分析了我们的级联流水线,并将其与最近提出的GANs的渐进增长进行比较。
2020-01-12 cs.CV
APRNet: Attention-based Pixel-wise Rendering Network for Photo-Realistic Text Image Generation
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
风格引导的文本图像生成试图通过模仿参考图像的外观来合成文本图像,同时保持文本内容不变。文本形象的呈现包括很多方面。在本文中,我们专注于将风格图像的背景和前景颜色模式转移到内容图像,以生成照片级真实感的文本图像。为了实现这一目标,我们提出了1)基于内容风格交叉注意的像素采样方法来粗略地模仿风格文本图像的背景; 2)逐像素风格调制技术来空间自适应地将风格图像的变化的颜色模式转移到内容图像; 3)基于交叉注意的多尺度风格融合方法来解决风格图像和内容图像之间的文本前景错位问题; 4)图像块混洗策略,以创建用于训练的风格、内容和地面实况图像元组。在SCUT-HCCDoc和CASIA-OLHWDB数据集上进行的中文手写文本图像合成实验表明,该方法能够提高合成文本图像的质量,使合成文本图像具有更好的照片级真实感。
2022-03-15 cs.CV
Pixel-Space Diffusion Transformers
Peking University(北京大学);Nanjing University(南京大学);Stanford University(斯坦福大学);Cornell University(康奈尔大学);University of Oulu(奥卢大学)
本文探讨像素空间扩散变换器,针对潜在扩散模型的局限,研究直接对原始像素建模的像素空间扩散方法,介绍其在高维建模中的挑战与多模态建模优势,从多方面回顾pDiTs,总结方法、识别挑战并展望未来方向。
2026-08-13 cs.CV
Dense Pixel-to-Pixel Harmonization via Continuous Image Representation
Beihang University(北京航空航天大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出基于隐式神经网络的图像协调方法HINet,首次实现无需手工滤波器的高分辨率稠密像素到像素协调,并通过Retinex解耦MLP和低分辨率图像先验网络缓解边界不一致问题,实验验证了其有效性。
2023-11-30 cs.CV
FREAK: Frequency-modulated High-fidelity and Real-time Audio-driven Talking Portrait Synthesis
School of Computer Science and Engineering, Southeast University(计算机科学与工程学院,东南大学);Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications, Ministry of Education, China(新一代人工智能技术及其交叉应用重点实验室,教育部,中国)
提出频率调制框架FREAK,从频域建模说话肖像,引入VEFM和AVFM模块,联合像素域与频域优化,实现高保真、实时且唇部同步的合成。
2025-04-23 cs.CV
PixelIR: Fidelity-Perception Decoupling via Pixel-Space Image-Residual Flow Matching for Efficient One-Step Real-World Super-Resolution
Shanghai Jiao Tong University(上海交通大学)
PixelIR是基于像素空间图像残差流匹配的保真度-感知解耦Real-ISR框架,经蒸馏后单步重建,在RealSR等数据集指标领先,参数、计算量与延迟低,实现三者平衡。
2026-09-01 cs.CV
Boosting Latent Diffusion with Flow Matching
LMU Munich(慕尼黑大学);CompVis(CompVis实验室);MCML(慕尼黑计算与机器学习中心)
本文提出在冻结扩散模型与卷积解码器之间引入 Flow Matching,以低计算成本兼顾多样性与高分辨率图像合成,并可扩展至 2048²。
2024-12-04 cs.CV
Transformation-Grounded Image Generation Network for Novel 3D View Synthesis
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Adobe Research(Adobe研究院)
我们提出了一种基于变换的图像生成网络,用于从单个图像合成新的3D视图。而不是采取一个'白板'的方法,我们首先明确地推断出的部分几何可见的输入和新的意见,然后重新铸造剩余的合成问题,图像完成。具体来说,我们都预测一个流,将像素从输入移动到新的视图,以及一个新的可见性图,有助于处理遮挡/disocculsion。接下来,以这些中间结果为条件,我们幻觉(推断)输入图像中不可见的对象部分。除了新的网络结构之外,结合对抗性和感知损失的训练还可以减少新视图合成的常见伪影,例如失真和孔洞,同时成功生成高频细节并保留输入图像的视觉方面。我们评估我们的方法在广泛的合成和真实的例子。定性和定量的结果表明,我们的方法取得了显着更好的结果相比,现有的方法。
2017-03-08 cs.CV
Enhanced Sharp-GAN For Histopathology Image Synthesis
University of Idaho(爱达荷大学)
组织学图像合成旨在解决训练深度学习方法以进行准确癌症检测的数据短缺问题。然而,现有的方法难以产生具有准确的细胞核边界和较少伪影的逼真图像,这限制了下游任务中的应用。为了应对这些挑战,我们提出了一种新的方法,通过使用核拓扑结构和轮廓正则化来提高合成图像的质量。该方法利用细胞核的骨架图来整合细胞核的拓扑结构并分离相互接触的细胞核。在损失函数中,我们提出了两个新的轮廓正则化项,增强了轮廓和非轮廓像素之间的对比度,并增加了轮廓像素之间的相似性。我们使用图像质量指标和下游任务(细胞核分割)在两个数据集上评估所提出的方法。该方法在两个数据集上的所有四个图像质量指标上都优于Sharp-GAN。通过将来自所提出的方法的6 k个合成图像集成到训练中,细胞核分割模型在TNBC数据集上实现了最先进的分割性能,其检测质量(DQ)、分割质量(SQ)、全景质量(PQ)和聚合Jaccard指数(AJI)分别为0.855、0.863、0.691和0.683。
2023-01-24 cs.CV eess.IV
Parallel Multiscale Autoregressive Density Estimation
DeepMind
PixelCNN在自然图像的密度估计方面取得了最先进的结果。虽然训练速度很快,但推理成本很高,每个像素需要一次网络评估; N个像素的时间复杂度为O(N)。这可以通过缓存激活来加速,但仍然涉及顺序地生成每个像素。在这项工作中,我们提出了一个并行化的PixelCNN,通过将某些像素组建模为条件独立来实现更有效的推理。我们的新PixelCNN模型实现了有竞争力的密度估计和数量级加速- O(log N)采样而不是O(N)-从而能够实际生成512 x512图像。我们评估模型的类条件图像生成,文本到图像合成,和动作条件视频生成,表明我们的模型实现了最好的结果之间的非像素自回归密度模型,允许有效的采样。
2017-03-10 cs.CV cs.NE
FaithFusion: Harmonizing Reconstruction and Generation via Pixel-wise Information Gain
Baidu Inc.(百度公司);Nanjing University(南京大学)
FaithFusion通过像素级信息增益融合3DGS与扩散模型,实现高保真的驾驶场景生成。
2025-11-26 cs.CV
CT Image Synthesis Using Weakly Supervised Segmentation and Geometric Inter-Label Relations For COVID Image Analysis
Inception Institute of Artificial Intelligence(起源人工智能研究院);Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校)
虽然医学图像分割是计算机辅助诊断的一项重要任务,但像素级手动注释的高专业知识要求使其成为一项具有挑战性且耗时的任务。由于传统的数据增强不能完全代表训练集的潜在分布,因此当对从不同来源捕获的图像进行测试时,训练模型具有不同的性能。用于数据增强的图像合成的大多数先前工作忽略了不同解剖标签之间的交错几何关系。我们通过学习不同解剖标签之间的关系,对以前基于GAN的医学图像合成方法进行了改进。我们使用一种弱监督分割方法来获得图像的像素级语义标签图,用于学习语义标签之间的几何和形状的内在关系。潜在空间变量采样导致从基础图像生成不同的图像,并提高鲁棒性。我们使用我们方法中的合成图像来训练网络,以从肺部CT图像中分割COVID-19感染区域。该方法在公共数据集上的性能优于最先进的分割方法。消融研究也证明了整合几何形状和多样性的好处。
2021-06-15 cs.CV eess.IV
Improving Diffusion-Based Image Synthesis with Context Prediction
Peking University(北京大学);Tsinghua University(清华大学)
提出ConPreDiff框架,通过在训练阶段引入上下文预测使每个点保留邻域语义连接,从而改进基于扩散的图像合成,且在推理时不增加参数,在多项图像生成任务上达到SOTA。
2024-01-04 cs.AI cs.CV cs.LG
Scientific Image Synthesis: Benchmarking, Methodologies, and Downstream Utility
Shanghai Jiao Tong University(上海交通大学);OpenDataLab, Shanghai Artificial Intelligence Laboratory(OpenDataLab,上海人工智能实验室);The University of Hong Kong(香港大学);Peking University(北京大学)
本文提出ImgCoder框架和SciGenBench基准,通过逻辑驱动方法提升科学图像生成的结构精度,并展示微调LMMs在科学图像上的效果,验证了高保真合成在多模态推理中的潜力。
2026-08-26 cs.AI cs.CV