Enhanced Residual Networks for Context-based Image Outpainting
Worcester Polytechnic Institute（伍斯特理工学院）
尽管人类在预测图像边界之外存在的内容方面表现良好，但深度模型很难通过保留的信息来理解上下文和外推。这项任务被称为图像外画，涉及生成图像边界的逼真扩展。目前的模型使用生成式对抗网络来生成结果，这些结果缺乏局部图像特征的一致性，并且看起来很假。我们提出了两种方法来改善这个问题：使用本地和全局的编码器，并在网络的编码部分内添加残差块。我们的模型和基线的L1损失，均方误差（MSE）损失和定性差异的比较表明，我们的模型能够自然地扩展对象边界，并产生更内部一致的图像相比，目前的方法，但产生较低的保真度图像。
2020-05-14 cs.CV eess.IV
Structure-guided Image Outpainting
University of Alberta（阿尔伯塔大学）
在过去的几年里，深度学习技术在图像修补、恢复和重建方面取得了相当大的进展。图像外绘，也被称为图像外推，缺乏关注和实用的方法来实现，由于大规模的区域损失和合法的相邻信息较少所造成的困难。这些困难使得大多数现有模型处理的外绘图像对人眼来说是不现实的，并且在空间上不一致。当通过去卷积进行上采样以生成虚假内容时，朴素的生成方法可能导致缺乏高频细节和结构真实性的结果。因此，作为我们处理图像外画问题的新颖之处，我们引入结构先验作为优化生成质量的条件，并引入新的语义嵌入项来增强感知健全性。我们提出了一种基于生成对抗网络（GAN）的深度学习方法，并将条件边作为结构先验以辅助生成。我们使用多阶段对抗训练方案，包括边缘推理训练，内容修复训练和联合训练。新增加的语义嵌入损失在实践中被证明是有效的。
2022-12-21 cs.AI cs.CV
In-N-Out: Towards Good Initialization for Inpainting and Outpainting
在计算机视觉中，通过填充掩蔽区域来恢复空间信息，例如，修复已经因其对其他各种应用的可用性和广泛适用性而被广泛研究：图像修补、图像外推和环境地图估计。其中大多数是根据应用程序单独研究的。然而，我们的重点是适应相反的任务，例如，图像外画，这将有利于目标应用，例如，图像修补。我们的自我监督方法，In-N-Out，被总结为一种训练方法，它利用相反任务的知识进入目标模型。我们的经验表明，In-N-Out -探索补充信息-有效地利用了传统的管道，在传统的管道中，只有特定任务的学习发生在培训中。在实验中，我们比较了我们的方法与传统的过程，并分析了我们的方法在不同的应用：图像修补，图像外推，和环境地图估计的有效性。对于这些任务，我们表明，在N-出一贯提高性能的最近的作品与在N-出自我监督他们的训练过程。此外，我们表明，我们的方法取得了更好的效果比现有的训练方法进行outpainting。
2021-09-17 cs.CV
Diffusion-based Generative Image Outpainting for Recovery of FOV-Truncated CT Images
Technical University of Munich（慕尼黑工业大学）；Massachusetts General Hospital（麻省总医院）；Imperial College London（伦敦帝国学院）；Harvard Medical School（哈佛医学院）
本文提出一种基于扩散模型的生成式图像外绘方法，用于恢复视野截断的胸部CT切片，在训练数据减少87%的情况下，可靠恢复解剖结构并优于现有最先进方法，助力身体成分分析与疾病预后。
2024-09-26 cs.CV cs.LG eess.IV
High-Resolution Artwork Outpainting with Global Blueprint Guidance and Layout Control
Hanyang University（汉阳大学）
研究针对高分辨率艺术作品外绘画存在的问题，提出全局蓝图引导的两阶段扩散框架，通过布局适配器生成蓝图并提取特征，并行合成局部补丁，实现高效合成与布局控制，提升视觉保真度、语义一致性并减少推理时间。
2026-07-08 cs.CV
Towards Seamless Borders: A Method for Mitigating Inconsistencies in Image Inpainting and Outpainting
Sensetime Research（商汤科技研究院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
针对基于扩散的图像修复模型存在的边界不连续问题，提出改进变分自编码器校正色彩失衡、两步训练策略增强内容融合两种方法，有效提升了修复结果的连贯性与视觉质量。
2025-06-14 cs.CV
GlobalPaint: Spatiotemporal Coherent Video Outpainting with Global Feature Guidance
State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（人机混合增强智能国家重点实验室，人工智能与机器人研究院，西安交通大学）；Microsoft Research Asia（微软亚洲研究院）；University of Science and Technology of China（中国科学技术大学）
GlobalPaint提出一种基于扩散的视频外推框架，通过增强的空间-时间模块和全局特征引导，提升视频外推的时空一致性与重建质量。
2026-01-10 cs.CV
Be-Your-Outpainter: Mastering Video Outpainting through Input-Specific Adaptation
CUHK（香港中文大学）；Avolution AI；Shanghai AI Lab（上海人工智能实验室）；SenseTime Research（商汤科技研究院）
本文提出MOTIA，一个基于扩散模型的视频外绘流程，通过输入特定适应和模式感知外绘两阶段，利用源视频内在模式与生成先验，在广泛基准上超越现有最先进方法且无需大量任务特定调优。
2024-03-20 cs.CV
Autoregressive Omni-Aware Outpainting for Open-Vocabulary 360-Degree Image Generation
The University of Sydney（悉尼大学）；Shanghai AI Laboratory（上海人工智能实验室）
针对窄视场图像与文本条件生成360度图像时细节和提示一致性不足的问题，提出AOG-Net自回归全局-局部全感知外扩框架，实现开放词汇可控生成并达到SOTA。
2024-04-08 cs.AI cs.CV
Fine-Grained Controllable Apparel Showcase Image Generation via Garment-Centric Outpainting
Zhejiang Gongshang University（浙江工商大学）；Inceptio；Zhejiang University（浙江大学）
提出基于潜在扩散模型的GCO框架，通过两阶段方法（姿态预测与图像生成）及多尺度外观定制模块，实现细粒度可控的服装展示图像生成，优于现有方法。
2025-03-03 cs.AI cs.CV
Hierarchical Masked 3D Diffusion Model for Video Outpainting
Alibaba Group（阿里巴巴集团）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出一种掩码3D扩散模型用于视频外扩，通过掩码建模、全局帧提示和混合由粗到细推理流程，提升时间一致性并缓解伪影累积，取得最先进结果。
2024-01-19 cs.CV
Learning Subject-Aware Cropping by Outpainting Professional Photos
Stanford University（斯坦福大学）；Adobe Research（Adobe研究院）
针对主体感知图像裁剪，本文提出弱监督 GenCrop，利用专业库存图像和文本到图像扩散模型外绘未裁剪图像，自动构建训练对，性能媲美监督方法。
2024-04-04 cs.CV cs.GR
CamFreeDiff: Camera-free Image to Panorama Generation with Diffusion Model
The Johns Hopkins University（约翰斯·霍普金斯大学）；ByteDance（字节跳动）；Simon Fraser University（西蒙菲莎大学）
本研究提出CamFreeDiff扩散模型，无需预定义相机位姿，通过在多视图扩散框架中预测输入视图到规范视图的单应性变换，结合对应感知注意力实现无相机输入的360度图像外扩，实验验证其鲁棒性与泛化能力优异。
2024-07-09 cs.CV
Bridging the Visual Gap: Wide-Range Image Blending
National Chiao Tung University (NCTU)（国立交通大学）；MediaTek-NCTU Research Center（联发科技-国立交通大学研究中心）
在本文中，我们提出了一个新的问题的情况下，在图像处理，宽范围的图像融合，其目的是顺利地合并两个不同的输入照片到一个全景图之间的中间区域生成新的图像内容。虽然这个问题与图像修补、图像外画和图像混合等主题密切相关，但这些主题的方法都无法轻松解决这个问题。我们引入了一个有效的深度学习模型来实现大范围的图像混合，其中提出了一种新的双向内容传输模块，通过递归神经网络对中间区域的特征表示进行条件预测，网络.除了在混合过程中保证空间和语义的一致性外，我们还采用了上下文注意力机制以及对抗性学习方案，以提高所得到的全景图的视觉质量。我们的实验表明，我们提出的方法不仅能够产生视觉上有吸引力的结果，大范围的图像混合，但也能够提供优越的性能，相对于几个基线建立在国家的最先进的图像修补和outpainting方法。
2021-03-30 cs.CV
Generalised Image Outpainting with U-Transformer
University of Liverpool（利物浦大学）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）；Duke Kunshan University（昆山杜克大学）
在本文中，我们开发了一种新的基于变换的生成对抗神经网络称为U-变压器的广义图像outpainting问题。与目前大多数进行水平外推的图像外绘方法不同，我们的广义图像外绘可以外推视觉上下文周围的一个给定的图像与合理的结构和细节，即使是复杂的风景，建筑物和艺术图像。具体来说，我们设计了一个发电机作为一个编码器到解码器的结构嵌入流行的Swin Transformer块。因此，我们的新型神经网络可以更好地处理图像的长程依赖关系，这对于广义图像的外绘至关重要。另外，我们提出了一个U形结构和多视图的时间空间预测（TSP）模块，以加强图像的自我重建以及未知部分的预测顺利和逼真。在测试阶段，通过调整TSP模块中的预测步长，我们可以生成给定输入子图像的任意外画尺寸。我们的实验表明，我们提出的方法可以产生视觉上有吸引力的结果，广义的图像外画对国家的最先进的图像外画方法。
2022-09-14 cs.CV
Conditional Panoramic Image Generation via Masked Autoregressive Modeling
School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）；Insta360 Research（Insta360研究院）；National University of Singapore（新加坡国立大学）；The University of Tokyo（东京大学）
针对现有全景图像生成方法依赖扩散模型不适用于ERP全景、文本与图像条件生成任务分离的问题，提出统一框架PAR，通过掩码自回归建模整合双条件并引入循环填充与一致性对齐策略，在两类任务中取得竞争性表现且具良好扩展性。
2025-11-16 cs.CV
ByteEdit: Boost, Comply and Accelerate Generative Image Editing
ByteDance Inc.（字节跳动公司）
本文提出 ByteEdit 反馈学习框架，融合图像与像素级奖励模型及对抗式渐进反馈策略，显著提升图像扩图/补绘的质量、一致性、指令遵循与推理效率。
2024-04-07 cs.CV
Scene Graph Expansion for Semantics-Guided Image Outpainting
National Taiwan University（台湾大学）；Qualcomm Technologies, Inc.（高通技术公司）
在本文中，我们解决的任务语义引导的图像outpainting，这是完成一个图像生成语义实用的内容。与现有的大多数图像外画工作不同，我们通过在场景图层次上理解和完成图像语义来实现上述任务。特别是，我们提出了一种新的网络场景图Transformer（SGT），它的目的是采取节点和边缘功能作为输入建模相关的结构信息。为了更好地理解和处理基于图的输入，我们的SGT在节点和边缘级别上都进行了独特的特征关注。前者将边视为关系正则化，后者观察节点的共现以指导注意过程。我们证明了，给定一个部分输入图像的布局和场景图，我们的SGT可以应用于场景图扩展和转换到一个完整的布局。通过最先进的布局到图像的转换工作，可以完成图像外画的任务，并引入足够的和实用的语义。在MS-COCO和Visual Genome数据集上进行了大量的实验，定量和定性地证实了我们提出的SGT和outpainting框架的有效性。
2022-05-05 cs.CV
Salient Object-Aware Background Generation using Text-Guided Diffusion Models
Yahoo Research（雅虎研究院）；Amazon（亚马逊）；ByteDance（字节跳动）
针对文本引导图像修复模型用于背景外绘时产生的“对象扩张”问题，本文基于 Stable Diffusion 与 ControlNet 提出显著对象感知适配方法及无标注指标，平均将对象扩张降低 3.6 倍且视觉质量不下降。
2024-04-15 cs.CV cs.LG
ReGO: Reference-Guided Outpainting for Scenery Image
Xi’an Jiaotong University（西安交通大学）；Beijing Jiaotong University（北京交通大学）；Zhibian Technology Co. Ltd.（智变科技有限公司）；Zhejiang University（浙江大学）
我们的目标是解决具有挑战性的，但实际的风景图像外绘任务在这项工作中。最近，生成对抗学习通过为给定图像生成语义一致的内容，显着推进了图像的外绘。然而，现有的方法往往存在纹理模糊和生成部分伪影的问题，使得整体的外绘结果缺乏真实性。为了克服这一弱点，这项工作研究了一种通过从其相邻像素（即，参考图像），命名为\textbf{Re}参考- \textbf{G}引导的\textbf{O}外涂（ReGO）。特别地，ReGO设计了一个自适应内容选择（ACS）模块来传输参考图像的像素，用于目标图像的纹理补偿。为了防止生成的部分的风格受到影响的参考图像，风格排名损失进一步提出了增强的ReGO合成风格一致的结果。在NS 6 K \cite{yangzx}和NS 8 K \cite{wang}两个常用的基准测试程序上进行的大量实验很好地证明了我们的ReGO的有效性。我们的代码将公开提供。
2022-08-07 cs.CV
Nested Scale Editing for Conditional Image Synthesis
University of Pennsylvania（宾夕法尼亚大学）
我们提出了一种图像合成方法，提供分层导航的潜在代码空间。对于少量的部分或非常低分辨率的图像，我们的方法可以在生成最接近地面真实的采样图像方面始终优于最先进的同行。我们通过独立于尺度的编辑来实现这一点，同时扩大特定尺度的多样性。尺度独立性是通过嵌套尺度解纠缠损失实现的。特定规模的多样性是通过引入渐进的多样化约束来创建的。我们通过共享共同的潜在代码来引入跨尺度的语义持久性。它们共同提供了对图像合成过程的更好控制。我们通过各种任务来评估我们所提出的方法的有效性，包括图像外绘，图像超分辨率和跨域图像翻译。
2020-06-03 cs.CV
Outpainting by Queries
University of Liverpool（利物浦大学）；Xi’an Jiaotong Liverpool University（西交利物浦大学）；Duke Kunshan University（昆山杜克大学）
基于卷积神经网络（CNN）的图像外绘技术是近年来计算机视觉领域的研究热点。然而，CNN依赖于固有的归纳偏差来实现有效的样本学习，这可能会降低性能上限。在本文中，受Transformer架构中具有最小归纳偏差的灵活自注意力机制的激励，我们将广义图像外绘问题重新构造为逐块序列到序列自回归问题，从而实现基于查询的图像外绘。具体来说，我们提出了一种新的混合视觉变换为基础的编码器-解码器框架，命名为\textbf{Query} \textbf{O} utpainting \textbf{TR} ansformer（\textbf{QueryOTR}），用于外推视觉上下文周围的一个给定的图像。Patch-wise模式的全局建模能力允许我们从注意力机制的查询角度推断图像。一个新的查询扩展模块（QEM）被设计为集成信息的预测查询的基础上编码器的输出，从而加速收敛的纯Transformer，即使是一个相对较小的数据集。为了进一步增强每个补丁之间的连接，建议补丁平滑模块（PSM）重新分配和平均重叠的区域，从而提供无缝的预测图像。我们的实验表明，QueryOTR可以产生视觉上吸引人的结果顺利和现实的国家的最先进的图像outpainting方法。
2022-07-12 cs.CV
Preserving Subject-Clarity in Image Outpainting with Multiscale Wavelet Supervision
Microsoft（微软）；Virginia Tech（弗吉尼亚理工大学）
针对图像外扩中主体清晰度下降问题，提出结合VLM语义条件与多尺度小波监督的框架，并构建主体中心数据流程，在四个基准上显著降低DreamSim误差和FID。
2026-09-15 cs.CV
Continuous-Multiple Image Outpainting in One-Step via Positional Query and A Diffusion-based Approach
Shanghai Jiao Tong University（上海交通大学）；University of Rochester（罗切斯特大学）；INF Tech Co., Ltd.（INF科技有限公司）；Alibaba Group（阿里巴巴集团）
针对图像外扩的倍数限制与多步推理效率问题，提出基于位置查询的扩散模型PQDiff，实现无限制连续倍数单步外扩，在多数据集上取得SOTA精度且推理速度大幅提升。
2024-01-28 cs.CV
Painting Outside as Inside: Edge Guided Image Outpainting via Bidirectional Rearrangement with Progressive Step Learning
Sogang University（西江大学）；POSTECH（浦项工科大学）；NAVER LABS（NAVER实验室）
图像外绘是一个非常有趣的问题，因为给定图像的外部可以通过考虑图像的上下文来连续填充。这项任务有两个主要挑战。第一个是保持生成区域和原始输入内容的空间一致性。二是用少量的相邻信息生成高质量的大图像。传统的图像外绘方法生成不一致的、模糊的和重复的像素。为了解决图像外绘问题，提出了一种基于双向边界区域重排的图像外绘方法。我们重新安排的图像受益于图像修补任务，反映更多的方向信息。双向边界区域重排使得能够使用与图像修补任务的双向信息类似的双向信息来生成缺失区域，从而生成比使用单向信息的传统方法更高的质量。此外，我们使用的边缘地图生成器，认为图像作为原始输入的结构信息和幻觉的未知区域的边缘生成图像。我们提出的方法进行了比较，与其他国家的最先进的outpainting和inpainting方法定性和定量。我们使用BRISQUE（无参考图像质量评估（IQA）指标之一）对它们进行了进一步的比较和评估，以评估输出的自然度。实验结果表明，该方法优于其他方法，并产生新的图像与360°全景的特点。
2020-11-09 cs.CV eess.IV
Cylin-Painting: Seamless {360\textdegree} Panoramic Image Outpainting and Beyond
Beijing Jiaotong University（北京交通大学）；Xi’an Jiaotong University（西安交通大学）；Sun Yat-sen University（中山大学）
本文提出 Cylin-Painting 框架，通过融合图像修复与外绘并引入可学习位置嵌入的圆柱卷积，实现高质量无缝 360° 全景外绘，并可推广到多种全景视觉任务。
2023-12-09 cs.CV
Dream360: Diverse and Immersive Outdoor Virtual Scene Creation via Transformer-Based 360 Image Outpainting
HKUST(GZ)（香港科技大学（广州））；OPPO；USTC（中国科学技术大学）；KAIST（韩国科学技术院）；ICL（帝国理工学院）；HKUST（香港科技大学）
本文提出 Dream360，利用基于 Transformer 的 S-VQGAN 与频率感知精修，从指定窄视口图像生成多样化高保真 360 全景，并通过 FID 与 15 人 VR 用户研究验证其优越性。
2024-01-19 cs.CV cs.HC
Sketch-Guided Scenery Image Outpainting
School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件学院）；University of Technology Sydney（悉尼科技大学）；Centre for Artificial Intelligence, University of Technology Sydney（悉尼科技大学人工智能中心）；School of Software, Xi’an Jiaotong University（西安交通大学软件学院）；Zhibian Technology Co. Ltd.（智变科技有限公司）
现有方法产生的外绘结果往往过于随机，难以满足用户的要求。在这项工作中，我们采取的图像outpainting的一个步骤，允许用户收获个人自定义outpainting结果使用草图作为指导。为此，我们提出了一个基于编码器-解码器的网络进行草图引导的outpainting，其中采用两个对齐模块来施加所生成的内容是现实的，并与所提供的草图一致。首先，我们应用一个整体对齐模块，使合成的部分从整体上看与真实的部分相似。其次，我们从合成的零件中重新生成草图，并使用草图对齐模块鼓励它们与地面实况一致。通过这种方式，学习的生成器将被施加以更多地关注细节，并对指导草图敏感。据我们所知，这项工作是第一次尝试探索具有挑战性的，但有意义的条件风景图像outpainting。我们在两个收集的基准上进行了大量的实验，以定性和定量地验证我们的方法与其他最先进的生成模型相比的有效性。
2021-01-26 cs.CV cs.GT
Towards Reliable Image Outpainting: Learning Structure-Aware Multimodal Fusion with Depth Guidance
Beijing Jiaotong University（北京交通大学）
图像外画技术生成视觉上可信的内容，而不管真实性如何，这使得它在实际应用中不可靠。因此，我们提出了一个可靠的图像outpainting任务，从激光雷达的稀疏深度外推真实的RGB场景。LiDAR的大视野使其能够用于数据增强和进一步的多模式任务。具体地说，我们提出了一个深度引导的外绘网络模型的两个模态的不同特征表示，并学习结构感知的跨模态融合。设计了两个模块：1）多模态学习模块从不同模态特征的角度产生独特的深度和RGB特征表示。2)深度引导融合模块利用完整的深度模态通过渐进的多模态特征融合来引导RGB内容的建立。此外，我们特别设计了一个额外的约束策略，包括跨模态损失和边缘损失，以增强模糊的轮廓，加快可靠的内容生成。在KITTI和Waymo数据集上进行的大量实验证明了我们在定量和定性方面优于最先进的方法。
2023-02-16 cs.CV cs.MM
LLMGA: Multimodal Large Language Model based Generation Assistant
The Chinese University of Hong Kong（香港中文大学）；ByteDance Inc（字节跳动公司）
本文提出基于多模态大语言模型的生成助手LLMGA，通过生成详细语言提示精确控制Stable Diffusion，并采用两阶段训练方案与参考修复网络，提升了图像生成与编辑的精度、可解释性及交互灵活性。
2024-07-27 cs.CV
VIP: Versatile Image Outpainting Empowered by Multimodal Large Language Model
University of Chinese Academy of Sciences（中国科学院大学）；Baidu Research（百度研究院）；University of Michigan（密歇根大学）；Beijing Institute of Mathematical Sciences and Applications（北京数学科学与应用研究院）
本文针对图像外扩任务通用性和定制化不足的问题，提出基于多模态大语言模型提取文本提示并结合CTS交叉注意力模块的框架，在现成SD模型上微调后显著优于现有最佳方法，支持定制化外扩。
2024-11-29 cs.CV
FisheyeEX: Polar Outpainting for Extending the FoV of Fisheye Lens
Beijing Jiaotong University（北京交通大学）；Institute of Information Science（信息科学研究所）；Beijing Key Laboratory of Advanced Information Science and Network Technology（北京先进信息科学与网络技术重点实验室）
鱼眼镜头因其大视场的特点，在计算摄影和辅助驾驶等领域得到了越来越多的应用。然而，鱼眼图像通常包含由其成像模型引起的无效黑色区域。在本文中，我们提出了一种FisheyeEX方法，该方法通过对无效区域进行外绘来扩展鱼眼镜头的FoV，从而提高了捕获场景的完整性。与矩形和无失真图像相比，鱼眼图像的绘制面临两个挑战：不规则的绘制区域和失真合成。观察鱼眼图像的径向对称性，我们首先提出了一种极坐标外绘策略，从中心到外部区域的连贯语义外推。这种出图方式考虑了径向畸变的分布规律和圆边界，有利于更合理的出图方向。对于失真合成，我们提出了一个螺旋失真感知模块，其中的学习路径与鱼眼图像的失真先验保持一致。随后，场景修正模块重新排列具有估计失真的所生成的像素以匹配鱼眼图像，从而扩展FoV。在实验中，我们评估了三个流行的户外数据集：Cityscapes，BDD100k和KITTI，以及一个真实世界的鱼眼图像数据集。结果表明，我们的方法明显优于最先进的方法，比原始鱼眼图像多获得约27%的内容。
2022-06-12 cs.CV eess.IV
DeepCFL: Deep Contextual Features Learning from a Single Image
Indian Institute of Technology Gandhinagar（印度理工学院甘地讷格尔分校）
最近，人们对开发独立于训练数据的图像特征学习方法（例如，深度图像先验、InGAN、SinGAN和DCIL）产生了极大的兴趣。这些方法是无监督的，用于执行低级视觉任务，如图像复原、图像编辑和图像合成。在这项工作中，我们提出了一种新的训练数据无关框架，称为深度上下文特征学习（DeepCFL），以基于输入图像的语义执行图像合成和图像复原。上下文特征仅仅是表示给定图像的语义的高维向量。DeepCFL是一个单图像GAN框架，它从输入图像中学习上下文向量的分布。我们展示了上下文学习在各种具有挑战性的场景中的性能：去除，修复和恢复随机删除的像素。当输入的源图像和生成的目标图像未对齐时，DeepCFL适用。我们说明了使用DeepCFL进行图像合成的任务。
2020-11-07 cs.CV
Multimodal Image Outpainting With Regularized Normalized Diversification
University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们研究的问题，生成一组逼真的和多样化的背景时，只有一个小的前景区域。我们把这个任务称为图像绘制。这项任务的技术挑战是合成不仅合理，而且多样化的图像输出。传统的生成对抗网络会遭受模式坍塌。虽然最近的方法提出最大化或保持生成样本之间的潜在距离，但它们并没有明确地防止不同条件输入的不同样本崩溃。因此，我们提出了一种新的正则化方法，以鼓励条件综合中的多样采样。此外，我们提出了一个特征金字塔判别器，以提高图像质量。我们的实验结果表明，我们的模型可以产生更多的diverseimages相比，在CelebA人脸数据集和城市景观场景数据集的最先进的方法，而不牺牲视觉质量。
2019-10-25 cs.CV
Diverse Plausible 360-Degree Image Outpainting for Efficient 3DCG Background Creation
Keio University（庆应义塾大学）
我们解决的问题，生成一个360度的图像，从一个单一的图像与一个狭窄的视野，通过估计其周围环境。以前的方法遭受过拟合的训练分辨率和确定性生成。本文提出了一种使用Transformer进行场景建模的完成方法，并提出了改进输出图像上360度图像特性的新方法。具体来说，我们使用带有Transformer的CompletionNets来执行不同的完成，并使用AdjustmentNet来将颜色、拼接和分辨率与输入图像相匹配，从而实现任何分辨率的推理。为了改善输出图像上360度图像的属性，我们还提出了WS感知损失和循环推理。实验结果表明，该方法在定性和定量上均优于现有的SOTA方法。例如，与SOTA方法相比，我们的方法在分辨率上完成了16倍的图像，并实现了1.7倍的Frechet起始距离（FID）。此外，我们提出了一个管道，使用完成结果的照明和背景的3DCG场景。我们的似是而非的背景完成，使视觉上自然的结果，在应用程序中插入虚拟物体与镜面。
2022-03-28 cs.CV
NeRF-Enhanced Outpainting for Faithful Field-of-View Extrapolation
University of Louisville（路易斯维尔大学）；Pennsylvania State University（宾夕法尼亚州立大学）；Manycore Tech Inc.（酷家乐科技有限公司）
本文提出NeRF增强外扩绘制方法NEO，利用NeRF生成的扩展视场图像训练场景特定外扩模型，实现忠实视场外推，并在多个数据集上验证了其鲁棒性与潜力。
2023-09-23 cs.CV cs.RO
LightsOut: Diffusion-based Outpainting for Enhanced Lens Flare Removal
National Yang Ming Chiao Tung University（国家阳明交通大学）
提出LightsOut扩散外扩框架，重建画框外光源以增强现有SIFR方法性能，无需重训练，即插即用。
2025-10-17 cs.CV
Preserving Product Fidelity in Large Scale Image Recontextualization with Diffusion Models
Google DeepMind（谷歌DeepMind）
本文提出利用扩散模型和数据增强流程实现高保真产品图像重情境化，通过解耦产品表示提升生成质量，并在ABO及私有数据集上验证了其在电商等场景中的有效性。
2025-03-11 cs.AI cs.CV cs.LG
SiENet: Siamese Expansion Network for Image Extrapolation
Nanjing University of Posts and Telecommunications（南京邮电大学）
与图像修补不同的是，图像外绘在图像中心需要捕获的内容相对较少，而在图像边缘需要预测的内容相对较多。因此，现有方法的经典编码器-解码器流水线可能无法完美地预测扩展的未知内容。本文提出了一种新的两阶段连体对抗图像外推模型，命名为连体扩展网络（SiENet）。在两个阶段中，设计了一种新的边界敏感卷积自适应填充卷积，使编码器能够预测未知内容，减轻解码器的负担。此外，为了将先验知识引入网络，增强编码器的推理能力，设计了siamese对抗机制，使我们的网络能够对未覆盖图像特征的分布进行建模。四个数据集上的结果表明，我们的方法优于现有的最先进的，可以产生现实的结果。
2020-07-08 cs.CV cs.LG eess.IV
HoloDreamer: Holistic 3D Panoramic World Generation from Text Descriptions
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
针对现有文本驱动3D场景生成中基于外绘方法导致的全局不一致和完整度低的问题，提出HoloDreamer框架，通过生成高清全景图作为整体初始化并结合3D Gaussian Splatting快速重建，实现了视觉一致且完全封闭的高质量3D场景生成。
2024-07-21 cs.CV cs.GR
InfinityGAN: Towards Infinite-Pixel Image Synthesis
UC Merced（加州大学默塞德分校）；Snap Inc.（色拉布公司）；Carnegie Mellon University（卡内基梅隆大学）；Yonsei University（延世大学）；Google Research（谷歌研究院）
我们提出了一个新的框架，InfinityGAN，任意大小的图像生成。这项任务涉及若干关键挑战。首先，在计算和大视场训练数据的可用性方面，将现有模型缩放到任意大的图像尺寸是资源受限的。InfinityGAN以无缝的逐补丁方式进行训练和推断，计算资源少。其次，大图像应该在局部和全局上保持一致，避免重复模式，并且看起来逼真。为了解决这些问题，InfinityGAN解开了全局外观，局部结构和纹理。有了这个公式，我们可以生成以前无法达到的空间大小和细节水平的图像。实验评估验证了InfinityGAN生成的图像与基线相比具有更高的真实性，并具有并行推理功能。最后，我们展示了我们的方法解锁的几个应用程序，如空间风格融合，多模式outpainting和图像之间。所有应用程序都可以使用任意输入和输出大小进行操作。请在https://openreview.net/forum?上找到该论文的完整版本id=ufGMqIM0a4b。
2022-03-11 cs.CV
SinDiffusion: Learning a Diffusion Model from a Single Natural Image
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）；Microsoft Research Asia（微软亚洲研究院）
我们提出SinDiffusion，利用去噪扩散模型从单个自然图像中捕获补丁的内部分布。与现有的基于GAN的方法相比，SinDiffusion显著提高了生成样本的质量和多样性。它基于两个核心设计。首先，SinDiffusion是用单个尺度的单个模型训练的，而不是用尺度逐渐增长的多个模型训练的，这是以前工作中的默认设置。这避免了错误的累积，错误的累积会导致生成的结果中出现特征伪影。其次，我们确定了一个补丁级的扩散网络的感受野是至关重要的和有效的捕捉图像的补丁统计，因此，我们重新设计的扩散模型的网络结构。结合这两种设计使我们能够从单个图像生成逼真的多样化图像。此外，SinDiffusion可以应用于各种应用，即，由于扩散模型的固有能力，文本引导的图像生成和图像外画。广泛的图像上的大量实验证明了我们所提出的方法建模的补丁分布的优越性。
2022-11-22 cs.CV
WarpI2I: Image Warping for Image-to-Image Translation
Carnegie Mellon University（卡内基梅隆大学）
提出一种基于显著性的扭曲-反扭曲框架，通过重新分配空间表示至显著区域，在不增加潜在分辨率的情况下保留图像细节，适用于人体重光照、驾驶场景翻译等任务。
2026-07-01 cs.CV
Memory Efficient Patch-based Training for INR-based GANs
NAVER AI Lab（NAVER人工智能实验室）；Seoul National University（首尔国立大学）
最近的研究表明，基于隐式神经表示（INR）的GANs取得了显着进展-这是一种MLP，在给定其（x，y）坐标的情况下产生RGB值。它们将图像表示为基础2D信号的连续版本，而不是2D像素阵列，这为GAN应用开辟了新的视野（例如，zero-shot超分辨率、图像外绘）。然而，训练现有方法需要与图像分辨率成比例的大量计算成本，因为它们为每个（x，y）坐标计算MLP操作。为了缓解这个问题，我们提出了一个多阶段的基于补丁的训练，一种新颖的和可扩展的方法，可以训练基于INR的GANs与灵活的计算成本，无论图像分辨率。具体来说，我们的方法允许通过补丁来生成和区分，以学习图像的局部细节，并通过新的重建损失来学习全局结构信息，从而实现高效的GAN训练。我们在几个基准数据集上进行实验，以证明我们的方法增强了GPU内存中的基线模型，同时将FID保持在合理的水平。
2022-07-09 cs.CV
Kandinsky: an Improved Text-to-Image Synthesis with Image Prior and Latent Diffusion
AIRI；Skoltech（斯科尔科沃科技学院）；Sber AI（俄联邦储蓄银行人工智能实验室）
本研究提出结合图像先验与潜扩散的Kandinsky文本生成图像模型，含33亿参数，支持多种生成模式，在COCO-30K上FID达8.03，为开源顶尖水平，且开源了代码与权重。
2023-10-05 cs.CV
DiT360: High-Fidelity Panoramic Image Generation via Hybrid Training
Insta360 Research（Insta360研究院）；Tsinghua University（清华大学）；Nanyang Technological University（南洋理工大学）；Wuhan University（武汉大学）
本文提出DiT360框架，通过在透视和全景数据上混合训练，结合跨域知识注入与多层监督策略，解决了全景图像生成中的几何保真度与照片级真实感问题。
2025-10-13 cs.CV
PixWizard: Versatile Image-to-Image Visual Assistant with Open-Language Instructions
CUHK（香港中文大学）；Peking University（北京大学）；SCUT（华南理工大学）；Shanghai AI Laboratory（上海人工智能实验室）
PixWizard是一个基于扩散变换器的多功能图像到图像助手，通过统一框架和指令微调数据集，支持多种视觉任务，并展现出强大的生成与泛化能力。
2025-02-27 cs.CV
PanoGen: Text-Conditioned Panoramic Environment Generation for Vision-and-Language Navigation
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出 PanoGen，通过文本条件扩散模型与递归外绘生成多样化全景环境，用于 VLN 预训练和微调，在 Room-to-Room、Room-for-Room 和 CVDN 上取得新 SOTA。
2023-05-30 cs.AI cs.CL cs.CV
OpenSubject: Leveraging Video-Derived Identity and Diversity Priors for Subject-driven Image Generation and Manipulation
HKUST（香港科技大学）；Meituan（美团）；HKUST(GZ)（香港科技大学（广州））
OpenSubject通过视频衍生的大规模数据集提升主体驱动图像生成与操纵的性能，尤其在复杂场景中表现更优。
2025-12-10 cs.CV
Diffusion Model-Based Image Editing: A Survey
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Southern University of Science and Technology（南方科技大学）；NVIDIA（英伟达公司）；Adobe Inc（奥多比公司）；Apple Inc（苹果公司）
本文综述了基于扩散模型的图像编辑方法，从学习策略、输入条件和编辑任务等角度系统分类现有工作，并提出基准EditEval及指标LMM Score以评估文本引导编辑性能。
2025-03-11 cs.CV
Generative Powers of Ten
University of Washington（华盛顿大学）；Google Research（谷歌研究院）；UC Berkeley（加州大学伯克利分校）
提出一种基于文本到图像模型的多尺度扩散采样方法，实现跨尺度一致内容生成，支持极端语义缩放，优于传统超分辨率与外扩技术。
2024-05-22 cs.AI cs.CL cs.CV
Pinterest Canvas: Large-Scale Image Generation at Pinterest
Pinterest, Inc.（Pinterest公司）
本文提出 Pinterest Canvas，一个基于扩散模型的大规模图像生成系统，通过基础模型微调为特定任务（如背景增强和宽高比外扩）生成专用模型，并在线上实验中分别获得18.0%和12.5%的参与度提升。
2026-06-01 cs.CV
Muse: Text-To-Image Generation via Masked Generative Transformers
Google（谷歌）
我们提出了Muse，一个文本到图像的Transformer模型，实现了最先进的图像生成性能，同时比扩散或自回归模型更有效。Muse在离散令牌空间中接受掩蔽建模任务的训练：给定从预训练的大语言模型（LLM）中提取的文本嵌入，Muse被训练来预测随机掩蔽的图像令牌。与像素空间扩散模型（如Imagen和DALL-E 2）相比，Muse的效率明显更高，因为它使用了离散令牌，并且需要更少的采样迭代;与自回归模型（如Parti）相比，Muse的效率更高，因为它使用了并行解码。使用预训练的LLM可以实现细粒度的语言理解，转换为高保真图像生成和对视觉概念的理解，例如对象，它们的空间关系，姿态，基数等。我们的900 M参数模型在CC 3 M上实现了新的SOTA，FID得分为6.06。Muse 3B参数模型在zero-shot COCO评价中获得7.88的FID，以及0.32的CLIP评分。Muse还直接启用了许多图像编辑应用程序，而无需微调或反转模型：补绘、外画和无蒙版编辑。更多结果请访问https://muse-model.github.io
2023-01-02 cs.AI cs.CV cs.LG
BiGR: Harnessing Binary Latent Codes for Image Generation and Improved Visual Representation Capabilities
The University of Hong Kong（香港大学）；Hong Kong University of Science and Technology（香港科技大学）；Intellifusion（云天励飞）；The Chinese University of Hong Kong（香港中文大学）
本文提出条件图像生成模型 BiGR，通过二进制潜码、掩码建模、二进制转码器与熵有序采样统一生成和判别，并在生成质量、表征及零样本视觉任务上验证优势。
2025-01-05 cs.AI cs.CV
