An Edge Information and Mask Shrinking Based Image Inpainting Approach
Inner Mongolia University（内蒙古大学）
在图像修补任务中，对缺失区域中的高频和低频信息的修复能力对恢复图像的质量具有实质性影响。然而，现有的修复方法通常不能同时考虑高频和低频信息。针对这一问题，提出了一种基于边缘信息和掩模收缩的图像修补方法。第一模型是用于从受损图像生成完整边缘信息的边缘生成模型，第二模型是用于利用所生成的边缘信息和受损图像的有效内容来修复缺失区域的图像完整模型。在图像修复模型中采用掩模收缩策略跟踪待修复区域。所提出的方法进行了定性和定量评估的数据集Places2。结果表明，我们的方法优于国家的最先进的方法。
2020-06-11 cs.CV cs.LG eess.IV
Semantic Image Inpainting Through Improved Wasserstein Generative Adversarial Networks
University Pompeu Fabra（庞培法布拉大学）
图像修补是对受损或不完整图像的缺失区域进行填充的任务。在这项工作中，我们解决这个问题，不仅使用现有的视觉数据，但也通过使用生成模型结合图像语义。我们的贡献是双重的：首先，我们通过训练Wasserstein生成对抗网络的改进版本来学习数据潜在空间，为此我们引入了一个新的生成器和网络架构。其次，学习的语义信息与新的优化损失相结合，用于修复，其最小化推断由可用数据调节的缺失内容。它考虑到了图像本身固有的强大的上下文和感知内容。好处包括通过积累语义信息来恢复大区域的能力，即使它不完全存在于受损图像中。实验结果表明，该方法在不同的实验条件下均获得了定性和定量的顶级结果，并达到了与最先进作品相当的精确的照片真实感。
2018-12-03 cs.CV
A Directional Diffusion Algorithm for Inpainting
ETH Zürich（苏黎世联邦理工学院）
修复的问题涉及重建图像的丢失区域。修复有许多应用，例如重建旧的损坏照片或从图像中去除模糊。在本文中，我们提出了方向扩散算法修复。典型的扩散算法在将边缘从图像传播到未知的掩蔽区域方面是不好的。方向扩散算法是对常规扩散算法的改进，它能更精确地重建边缘。在重建被文本掩码混淆的图像时，它的得分优于常规扩散。
2015-11-11 cs.CV
Image Inpainting Using AutoEncoder and Guided Selection of Predicted Pixels
Isfahan University of Technology（伊斯法罕理工大学）；McMaster University（麦克马斯特大学）
图像修补是一种有效的增强失真图像的方法。不同的修复方法使用相邻像素的信息来预测丢失像素的值。最近，深度神经网络已经被用于学习图像的结构和语义细节以用于修复目的。在本文中，我们提出了一个网络的图像修补。该网络类似于U-Net，从图像中提取各种特征，从而获得更好的结果。我们通过用输出图像的恢复像素替换损坏的像素来改进最终结果。我们的实验结果表明，该方法产生高质量的结果相比，传统的方法。
2021-12-17 cs.CV eess.IV
CorrFill: Enhancing Faithfulness in Reference-based Inpainting with Correspondence Guidance in Diffusion Models
National Yang Ming Chiao Tung University（国立阳明交通大学）；National Taiwan University（国立台湾大学）；NVIDIA（英伟达）；MediaTek Inc.（联发科股份有限公司）
本文提出无需训练的 CorrFill 模块，通过修复时估计的对应约束、自注意力掩码和输入张量更新，增强扩散修复对参考图像几何关系的忠实性，并提升多种基线及 SOTA 方法性能。
2025-01-04 cs.CV
DIFAI: Diverse Facial Inpainting using StyleGAN Inversion
Korea University（高丽大学）
图像修补是计算机视觉中的一个老问题，它是恢复被遮挡的区域，完成受损图像。在面部图像修补的情况下，即使存在其他合理的可能性，大多数方法对于每个掩蔽图像仅生成一个结果。为了防止任何潜在的偏见和不自然的约束，只生成一个图像，我们提出了一个新的框架，利用StyleGAN的嵌入空间的各种面部修复。我们的框架采用pSp编码器和SeFa算法来识别StyleGAN嵌入的语义组件，并将其馈送到我们提出的SPARN解码器中，该解码器采用区域归一化进行合理的修复。我们证明，我们提出的方法优于几个国家的最先进的方法。
2023-01-20 cs.CV
Time-variant Image Inpainting via Interactive Distribution Transition Estimation
University of Alberta（阿尔伯塔大学）；IHPC and CFAR, A*STAR（IHPC和CFAR，A*STAR）；Nanyang Technological University（南洋理工大学）；University of South Carolina（南卡罗来纳大学）；School of Artificial Intelligence, Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, Ministry of Education, Jilin University（人工智能学院，知识驱动的人机智能工程研究中心，教育部，吉林大学）；College of Intelligence and Computing, Tianjin University（智能与计算学院，天津大学）；University of Tokyo（东京大学）
针对时变图像修复任务中参考图与目标图差异大且可能受损的问题，提出交互式分布转移估计模块及结合扩散模型的InDiTE-Diff方案，并构建TAMP-Street基准，实验证明其优于现有方法。
2025-06-30 cs.AI cs.CV
A Study on the Efficient Product Search Service for the Damaged Image Information
Ulsan National Institute of Science and Technology（蔚山科学技术院）
随着信息和通信技术的发展以及智能手机的普及，特别是现在可以通过互联网进行图像搜索，电子商务市场更加活跃了各种产品的购买服务。然而，经常发生的情况是，所需产品的图像受损，并且搜索引擎不能正确地识别它。本研究的想法是通过使用图像预处理和受损图像的图像修补算法的图像复原来帮助搜索产品。它通过提供更准确的图像搜索系统，帮助用户轻松购买他们想要的物品。此外，该系统具有按类别有效地显示信息的优点，使得能够有效地销售注册信息。
2021-11-14 cs.CV cs.IR
CLII: Visual-Text Inpainting via Cross-Modal Predictive Interaction
University of South Carolina（南卡罗来纳大学）；IHPC（高性能计算研究院）；CFAR（先进研究中心）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局）
提出视觉-文本修复任务及跨模态预测交互模型CLII，通过图像与文本分支利用互补信息实现场景文本图像与文本的联合修复，并验证了其在提升SOTA文本检测鲁棒性及超越基线方法上的有效性。
2024-07-23 cs.CV
Deep Stacked Networks with Residual Polishing for Image Inpainting
Istanbul Technical University（伊斯坦布尔理工大学）
深度神经网络在图像修补方面已经显示出有希望的结果，即使缺失区域相对较大。然而，大多数现有的修复网络引入不希望的文物和噪声的修复区域。为了解决这个问题，我们提出了一种新的框架，它由两个堆叠的卷积神经网络，修补图像和去除文物，分别。第一个网络考虑受损图像的全局结构，并粗略地填充空白区域。然后，第二个网络修改修复后的图像，以消除由第一个网络引入的噪声。该框架将问题分为两个不同的部分，可以分别进行优化，因此可以通过改变第一个网络来应用于任何修复算法。在我们的框架的第二阶段，其目的是抛光修复的图像可以被视为一个去噪问题，其中可以采用各种算法。我们的研究结果表明，所提出的框架实现了显着的改善视觉和定量评价。
2017-12-31 cs.CV
Towards Seamless Borders: A Method for Mitigating Inconsistencies in Image Inpainting and Outpainting
Sensetime Research（商汤科技研究院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
针对基于扩散的图像修复模型存在的边界不连续问题，提出改进变分自编码器校正色彩失衡、两步训练策略增强内容融合两种方法，有效提升了修复结果的连贯性与视觉质量。
2025-06-14 cs.CV
Fill in the ____ (a Diffusion-based Image Inpainting Pipeline)
University of Washington（华盛顿大学）
本文概述图像修复技术进展，指出现有模型缺乏对生成内容的提示与控制能力，提出基于扩散的修复流水线及多种实现方法，并通过定性评估验证其能按指令生成高质量修复图像。
2024-03-24 cs.AI cs.CV
Multi-stage Progressive Reasoning for Dunhuang Murals Inpainting
Northwest Minzu University（西北民族大学）；Chinese National Information Technology Research Institute（中国民族信息技术研究院）
针对敦煌壁画大面积损坏修复难题，提出多阶段渐进推理网络MPR-Net，结合多尺度特征聚合模块，模拟修复师先全局后局部的流程，实验证明优于现有方法。
2023-05-10 cs.CV
Non-Deterministic Face Mask Removal Based On 3D Priors
Ecole Centrale de Lyon（里昂中央理工学院）；Beihang University（北京航空航天大学）
本文提出了一种新的图像修补框架，以消除人脸面具。虽然目前的方法已经证明了他们令人印象深刻的能力，在恢复受损的人脸图像，他们遭受两个主要问题：手动标记的缺失区域的依赖性和确定性的结果对应于每个输入。所提出的方法解决了这些问题，通过集成一个多任务的三维人脸重建模块与人脸修复模块。给定一个蒙面的人脸图像，前者预测一个基于3DMM的重建的脸连同一个二进制遮挡图，提供密集的几何和纹理先验，大大方便了后者的修复任务。通过逐步控制3D形状参数，我们的方法生成高质量的动态修复结果与不同的表情和嘴部运动。定性和定量实验验证了该方法的有效性。
2022-03-03 cs.CV
Noise Doesn't Lie: Towards Universal Detection of Deep Inpainting
The University of Melbourne（墨尔本大学）；Deakin University（迪肯大学）；Ant Group（蚂蚁集团）；Tsinghua University（清华大学）
深度图像修补的目的是恢复图像中受损或缺失的区域，使其具有真实的内容。虽然深度修复技术具有广泛的应用，如对象去除和图像恢复，但也有被操纵用于图像伪造的风险。深度修复检测是一种很有前途的对策，其目的是定位图像中的修复区域。在本文中，我们首次尝试了深度修复的通用检测，其中检测网络在检测不同的深度修复方法时可以很好地泛化。为此，我们首先提出了一种新的数据生成方法来生成一个通用的训练数据集，该数据集模仿真实图像内容与修复图像内容中存在的噪声差异来训练通用检测器。然后，我们设计了一个噪声图像交叉融合网络（NIX-Net），以有效地利用图像及其噪声模式中包含的判别信息。我们在多个基准数据集上的经验表明，我们的方法比现有的检测方法性能更好，并且可以很好地推广到看不见的深度修复技术。我们的通用训练数据集还可以显着提高现有检测方法的通用性。
2021-06-03 cs.CV
An Analysis of Generative Methods for Multiple Image Inpainting
University Pompeu Fabra（庞培法布拉大学）；Université de Bordeaux（波尔多大学）；Bordeaux INP（波尔多国立理工学院）；CNRS（法国国家科学研究中心）；University of Cambridge（剑桥大学）
图像修补是指以观察者无法检测到的方式恢复具有丢失区域的图像。修复区域可以是任何大小和形状。这是一个不适定的反问题，没有唯一的解决方案。在这项工作中，我们专注于基于学习的图像修复方法，用于多种多样的修复，其目标是为给定的受损图像提供一组独特的解决方案。这些方法利用某些生成模型的概率性质来采样各种解决方案，这些解决方案连贯地恢复丢失的内容。沿着这一章，我们将分析基本理论，并分析最近提出的多重修复。为了研究每种方法的优缺点，我们在常见的数据集上进行了定量和定性的比较，关于修复解决方案的质量和多样性。我们的分析使我们能够确定最成功的生成策略，在修复质量和修复的多样性。这个任务与学习图像的精确概率分布密切相关。根据所使用的数据集，将通过分析讨论训练这种模型所面临的挑战。
2022-05-04 cs.CV
Spherical Image Inpainting with Frame Transformation and Data-driven Prior Deep Networks
City University of Hong Kong（香港城市大学）；The Chinese University of Hong Kong（香港中文大学）；Hong Kong Centre for Cerebro-Cardiovascular Health Engineering（香港脑心血管健康工程中心）；University of Hong Kong（香港大学）
球面图像处理已广泛应用于许多重要领域，例如自动驾驶汽车的全方位视觉、全球气候建模和医学成像。将平面图像的算法扩展到球面图像是很重要的。在这项工作中，我们专注于使用基于深度学习的正则化器进行球形图像修复的挑战性任务。而不是一个天真的应用现有的平面图像模型，我们采用了快速定向球Haar小框架变换和开发一种新的优化框架的稀疏性假设的基础上的小框架变换。此外，通过采用渐进式编码器-解码器架构，精心设计了一种新的且性能更好的深度CNN去噪器，并作为隐式正则化器工作。最后，我们使用即插即用的方法来处理所提出的优化模型，这可以通过训练CNN去噪先验来有效地实现。数值实验表明，与单纯使用深度学习去噪器和即插即用模型相比，本文提出的算法能够极大地恢复受损球面图像，并获得最佳性能。
2022-09-29 cs.CV eess.IV
Mask-Conditioned Voxel Diffusion for Joint Geometry and Color Inpainting
本文提出基于掩码的体素扩散方法，用于修复受损3D物体的几何和颜色，通过两阶段框架实现更完整和一致的修复效果。
2026-01-01 cs.CV
Unbiased Multi-Modality Guidance for Image Inpainting
Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Kitware（Kitware公司）；Nanjing Institute of Software Technology（南京软件技术研究院）
图像修补是一个病态的问题，它是基于带有掩模的不完整图像来恢复丢失或损坏的图像内容。以前的工作通常预测辅助结构（例如，边缘、分割和轮廓）来帮助以多级方式填充视觉上真实的补丁。然而，不精确的辅助先验可能会产生有偏差的修复结果。此外，有些方法需要通过多级复杂的神经网络来实现，这是非常耗时的。为了解决这个问题，我们开发了一个端到端的多模态引导Transformer网络，包括一个修复分支和两个辅助分支的语义分割和边缘纹理。在每个Transformer块中，所提出的多尺度空间感知注意模块可以通过辅助反规范化有效地学习多模态结构特征。不同于以往的方法依赖于有偏见的先验知识的直接指导，我们的方法丰富了语义一致的背景下，在图像的基础上，歧视性的相互作用信息，从多个模态。在几个具有挑战性的图像修补数据集上的综合实验表明，该方法能够有效地处理各种规则/不规则掩模。
2022-08-25 cs.CV
ESDiff: Encoding Strategy-inspired Diffusion Model with Few-shot Learning for Color Image Inpainting
本文提出一种基于编码策略启发的扩散模型，利用虚拟掩码和通道间扰动，结合少样本学习实现彩色图像修复，在定量指标和重建质量上优于现有方法。
2025-04-24 cs.CV
MGAN-CRCM: A Novel Multiple Generative Adversarial Network and Coarse-Refinement Based Cognizant Method for Image Inpainting
Bangladesh University of Professionals（孟加拉国专业大学）；Jahangirnagar University（贾汉吉尔纳加尔大学）；University of New South Wales (UNSW)（新南威尔士大学（UNSW））；Charles Sturt University（查尔斯特大学）
本文提出MGAN-CRCM架构，结合多重GAN与ResNet进行图像修复，通过转置卷积GAN、FR-CNN和Co-Mod GAN分别实现盲修复、目标移除和细化，在多个基准数据集上取得优于现有方法的准确率。
2024-12-25 cs.CV cs.LG eess.IV
Learning Pyramid-Context Encoder Network for High-Quality Image Inpainting
Sun Yat-sen University（中山大学）；Microsoft Research（微软研究院）
高质量的图像修补需要用可信的内容填充受损图像中的缺失区域。现有的工作要么通过复制图像块填充区域，要么从区域上下文生成语义连贯的块，而忽略了视觉和语义连贯性都是高要求的事实。在本文中，我们提出了一个金字塔上下文编码器网络（PEN-Net）的图像修补的深度生成模型。PEN-Net建立在U-Net结构上，它可以通过从全分辨率输入编码上下文语义来恢复图像，并将学习到的语义特征解码回图像。具体来说，我们提出了一个上下文编码器，它逐步学习区域的亲和力，从一个高层次的语义特征图的注意力，并将学习到的注意力转移到以前的低层次的特征图。由于可以通过以金字塔方式从深到浅的注意转移来填充缺失的内容，因此可以确保用于图像修补的视觉和语义一致性。我们进一步提出了一个多尺度解码器，具有深度监督金字塔损失和对抗性损失。这样的设计不仅在训练中快速收敛，而且在测试中得到更真实的结果。在各种数据集上的实验表明了该网络的优越性能
2019-07-11 cs.CV
GLaMa: Joint Spatial and Frequency Loss for General Image Inpainting
Harbin Institute of Technology（哈尔滨工业大学）；Beihang University（北京航空航天大学）
图像修补的目的是使用来自剩余部分的上下文信息来恢复划痕和损坏区域。近年来，由于卷积神经网络（CNN）的兴起，图像修补任务取得了很大的突破。然而，大多数工作考虑的掩模类型不足，当遇到不可见的掩模时，它们的性能会急剧下降。为了应对这些挑战，我们提出了一个简单而通用的方法来解决这个问题的基础上的LaMa图像修补框架，被称为GLaMa。我们提出的GLaMa可以通过使用更多类型的掩码来更好地捕获不同类型的缺失信息。通过在训练阶段引入更多的退化图像，我们可以期望增强模型对各种掩模的鲁棒性。为了得到更合理的结果，除了传统的空间重建损失和对抗损失之外，我们还引入了基于频率的损失。特别地，我们在空间域和频域中引入了有效的重建损失，以减少重建图像中的棋盘效应和波纹。大量的实验表明，我们的方法可以提高性能比原来的LaMa方法为每种类型的面具FFHQ，ImageNet，Places2和WikiArt数据集。GLaMa算法在NTIRE 2022图像修补挑战赛第一轮无监督测试中获得了PSNR、LPIPS和SSIM的第一名。
2022-05-15 cs.CV
Cahn--Hilliard inpainting with the double obstacle potential
Universität Regensburg（雷根斯堡大学）；The Chinese University of Hong Kong（香港中文大学）；University of Sussex（萨塞克斯大学）
受损图像的修复有着广泛的应用，人们提出了许多不同的数学方法来解决这个问题。在Cahn-Hilliard模型的帮助下进行的修复特别成功，事实证明，与使用平滑双阱势进行的修复相比，使用双障碍势进行的Cahn-Hilliard修复可以获得更好的结果。然而，这种方法的数学分析是失踪至今。在本文中，我们给出了第一个分析结果的Cahn-Hilliard双障碍修复模型的存在性的全局解的时间相关的问题和固定的解决方案的时间无关的问题没有约束的参数。数值结果的帮助下，我们表明了该方法的有效性，二进制和灰度图像。
2018-08-31 cs.CV math.AP
Line Drawing Guided Progressive Inpainting of Mural Damage
United International College of Beijing Normal University - HongKong Baptist University（北京师范大学-香港浸会大学联合国际学院）；Wuhan University（武汉大学）；Cleveland State University（克利夫兰州立大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对壁画损伤区域大、主题多样且易出现颜色偏差的问题，提出线条画引导的渐进式修复方法，通过结构重建网络和颜色校正网络分两步完成修复，实验证明其优于现有方法。
2024-07-04 cs.CV
Improving Cross-modal Alignment for Text-Guided Image Inpainting
Australian AI Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）
文本引导的图像修补（TGII）旨在根据受损图像中给定的文本恢复丢失的区域。现有的方法是基于一个强大的视觉编码器和跨模态融合模型来整合跨模态特征。然而，这些方法将大部分计算分配给视觉编码，而在建模模态交互上的计算较少。此外，它们对深度特征进行了跨模态融合，忽略了文本和图像之间的细粒度对齐。最近，视觉语言预训练模型（VLPM）封装了丰富的跨模态对齐知识，在大多数多模态任务中取得了进展。在这项工作中，我们提出了一种新的模型TGII通过改进交叉模态对齐（CMA）。CMA模型由VLPM作为视觉语言编码器、图像生成器和全局-局部判别器组成。为了探索用于图像复原的跨模态对齐知识，我们引入了跨模态对齐蒸馏和样本内分布蒸馏。此外，我们采用对抗训练来增强模型，以有效地填充复杂结构中的缺失区域。实验在两个流行的视觉语言数据集上进行。结果表明，我们的模型实现了国家的最先进的性能相比，其他强大的竞争对手。
2023-01-26 cs.CL cs.CV
SEM-Net: Efficient Pixel Modelling for image inpainting with Spatially Enhanced SSM
提出SEM-Net，一种基于状态空间模型的像素级图像修复网络，通过蛇形曼巴块和空间增强前馈网络捕获长距离依赖，在修复和运动去模糊任务上达到最先进性能。
2024-11-10 cs.CV
Transformer-based Image and Video Inpainting: Current Challenges and Future Directions
United Arab Emirates University（阿联酋大学）
本文综述了基于Transformer的图像与视频修复方法，按架构、损坏类型和性能指标分类，总结当前挑战并指出未来研究方向。
2024-06-28 cs.CV
Contextual Residual Aggregation for Ultra High-Resolution Image Inpainting
Huawei Technologies Canada Co. Ltd.（华为技术加拿大有限公司）
近年来，数据驱动的图像修补方法取得了令人鼓舞的进展，影响了基本的图像编辑任务，如对象删除和损坏的图像修复。这些方法比经典方法更有效，但是由于内存限制，它们只能处理低分辨率输入，通常小于1 K。与此同时，使用移动设备拍摄的照片的分辨率增加到8 K。对低分辨率已修复结果进行简单的上采样只能产生较大但模糊的结果。而将高频残差图像添加到大的模糊图像上可以生成清晰的结果，细节和纹理丰富。受此启发，我们提出了一种上下文残差聚合（CRA）机制，可以通过加权聚合上下文补丁的残差来为丢失的内容产生高频残差，从而只需要网络的低分辨率预测。由于神经网络的卷积层只需要对低分辨率输入和输出进行操作，因此很好地抑制了存储器和计算能力的成本。此外，对高分辨率训练数据集的需求也得到了缓解。在我们的实验中，我们训练所提出的模型与分辨率为512 x512的小图像和高分辨率图像上执行推理，实现令人信服的修复质量。我们的模型可以修复高达8 K且具有相当大的孔尺寸的图像，这对于之前基于学习的方法来说是很棘手的。我们进一步阐述了网络架构的轻量级设计，在GTX 1080 Ti GPU上实现了2K图像的实时性能。代码可在以下位置获得：Pumas 200 dk/sample-imageinpainting-HiFill。
2020-05-19 cs.CV cs.GR
Text Image Inpainting via Global Structure-Guided Diffusion Models
Southeast University（东南大学）
本文针对文本图像修复问题，提出全局结构引导扩散模型GSDM，并构建场景文本与手写文本修复基准数据集，显著提升了识别准确率和图像质量。
2024-08-01 cs.CV
Restoration of Images Corrupted by Impulse Noise and Mixed Gaussian Impulse Noise using Blind Inpainting
University of California, Los Angeles（加州大学洛杉矶分校）
提出基于盲修复和ℓ0最小化的两种方法，同时检测受损像素并恢复图像，实验表明性能优于其他方法，并提供了收敛性分析。
2013-04-04 cs.CV cs.NA math.NA
MxT: Mamba x Transformer for Image Inpainting
Durham University（杜伦大学）
针对现有图像修复方法在全局上下文建模、计算效率和细粒度细节保留上的不足，本研究提出融合Mamba与Transformer的MxT架构，通过双层交互学习提升修复质量，在主流数据集上超越现有最优方法。
2024-08-15 cs.CV
High-Fidelity Image Inpainting with Multimodal Guided GAN Inversion
Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（中国科学院大学杭州高等研究院）；University of North Texas（北得克萨斯大学）
针对现有GAN逆变换图像修复方法忽略未掩码区域一致性约束及单模态限制的问题，提出MMInvertFill，通过多模态引导编码器、F&W+潜在空间及软更新均值潜在模块，在六个数据集上超越现有方法，有效支持域外图像补全。
2025-04-17 cs.CV
E2F-Net: Eyes-to-Face Inpainting via StyleGAN Latent Space
NTNU（挪威科技大学）；Sharif University of Technology（谢里夫理工大学）；Universidad Autonoma de Madrid（马德里自治大学）
本文提出E2F-Net，利用双编码器提取眼周特征并映射至StyleGAN潜空间，通过GAN反演优化实现高质量面部修复，减少训练成本，超越现有方法。
2024-03-18 cs.AI cs.CV
Reconstruction of turbulent data with deep generative models for semantic inpainting from TURB-Rot database
Istituto Italiano di Tecnologia（意大利理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们研究了计算机视觉社区开发的用于特征学习和语义图像修复的工具的适用性，以执行流体湍流配置的数据重建。目的有两个。首先，我们在定量的基础上探索了嵌入深度生成对抗模型（Deep-GAN）的卷积神经网络在湍流（一种典型的高维混沌系统）中生成缺失数据的能力。特别是，我们调查他们在重建二维损坏的快照中提取的一个大型数据库中的三维湍流的数值配置中存在的旋转，多尺度随机功能的情况下，大规模的有组织的结构和小规模的高度间歇性和非高斯波动。其次，遵循逆向工程方法，我们的目标是根据其定性和定量重要性对输入流属性（特征）进行排名，以获得更好的重建场集。我们提出了两种基于上下文编码器的方法。第一个通过L2像素重建损失的最小化加上小的对抗性惩罚来推断缺失数据。第二个搜索从先前训练的生成器的损坏的流配置的最接近的编码。最后，我们提出了一个不同的数据同化工具，Nudging，方程知情的无偏协议，众所周知的数值天气预报社区的基础上进行比较。TURB-Rot数据库http://smart-turb.roma2.infn.it发布了大约300 K的2d湍流图像，并提供了如何下载它的详细信息。
2021-06-14 cond-mat.stat-mech cs.CV cs.LG
MESA: A Training-Free Multi-Exemplar Deep Framework for Restoring Ancient Inscription Textures
Department of Computer Science and Engineering（计算机科学与工程系）；University of Ioannina（伊奥安纳大学）；Inria Paris-Rocquencourt（巴黎-罗克琴堡研究所）；Rajiv Gandhi University（拉朱·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕勒尔研究实验室）
MESA通过多示例和风格感知方法，利用保存良好的铭文示例指导损坏文本的重建，通过编码VGG19卷积特征为Gram矩阵捕捉纹理和笔画结构，并结合OCR估计的字符宽度优化滤波器尺度，实现高效修复。
2026-04-21 cs.AI cs.CV cs.GR
Deep image prior inpainting of ancient frescoes in the Mediterranean Alpine arc
University of Bologna（博洛尼亚大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
针对古代壁画数字重建因数据稀缺面临的挑战，本研究采用Deep Image Prior（DIP）修复方法，通过更新未训练卷积神经网络实现重建，相比现有方法减少伪影、适配上下文信息，并以地中海阿尔卑斯弧中世纪壁画数据集验证，还整合可见与红外信息的应用。
2023-12-11 cs.AI cs.CV
Learning Image Representations by Completing Damaged Jigsaw Puzzles
KAIST（韩国科学技术院）
在本文中，我们探索了使表示学习的自监督任务复杂化的方法。也就是说，我们对数据造成严重损害，并鼓励网络恢复它们。首先，我们将三个强大的自我监督任务候选者中的每一个复杂化：拼图游戏，修复和着色。此外，我们还引入了一个新的复杂的自我监督任务，称为“完成损坏的拼图”，这是拼图与一个缺块和其他块没有颜色。我们训练一个卷积神经网络，不仅可以解决谜题，还可以生成缺失的内容并对谜题进行着色。上述损害的恢复推动网络获得鲁棒和通用的表示。我们证明，复杂化的自我监督任务改善了它们的原始版本，与以前的方法相比，我们的最终任务学习了更强大和可转移的表示，以及我们的候选任务的简单组合。我们的方法在PASCAL分类和语义分割的迁移学习中实现了最先进的性能。
2018-02-06 cs.CV
Elimination of Glass Artifacts and Object Segmentation
Amity University（阿米提大学）
目前很多图像都是从眼镜后面拍摄的，由于玻璃的存在，图像中可能会有一定的污点，必须对图像进行处理，才能区分玻璃和玻璃后面的物体，本文提出了一种去除图像中受损或损坏部分，使其与图像中其他部分一致，并分割玻璃后面物体的算法。采用全变分修复方法去除损伤部分，并采用kmeans聚类、各向异性扩散和分水岭变换进行分割。最后的输出是通过插值得到的。该算法适用于某些图像由于数据传输而损坏或需要从图像中分割对象以进行进一步处理的应用。
2012-04-30 cs.CV
