DE-Net: Dynamic Text-guided Image Editing Adversarial Networks
Nanjing University of Posts and Telecommunications（南京邮电大学）；ETH Zürich（苏黎世联邦理工学院）；Huawei Inc.（华为公司）
文本引导的图像编辑模型已经显示出显著的效果。然而，仍然存在两个问题。首先，它们采用固定的操纵模块用于各种编辑要求（例如，颜色改变、纹理改变、内容添加和移除），这导致过度编辑或编辑不足。第二，它们没有明确区分需要文本的部分和与文本无关的部分，这导致编辑不准确。为了解决这些限制，我们提出：（i）一个动态编辑块（DEBlock），它动态地组成不同的编辑模块，以满足不同的编辑需求。(ii)合成预测器（Comp-Pred），其根据对目标文本和源图像的推断来预测DEBlock的合成权重。(iii)动态文本自适应卷积块（DCBlock），其查询源图像特征以区分文本需要部分和文本无关部分。大量的实验表明，我们的DE-Net取得了优异的性能，更正确，更准确地操纵源图像。代码可在\url{https://github.com/tobran/DE-Net}上获得。
2022-08-20 cs.CV cs.MM
Detection of Tool based Edited Images from Error Level Analysis and Convolutional Neural Network
University of Mumbai（孟买大学）；SJCEM
图像伪造是图像取证的一个问题，可以使用深度学习对其进行检测。在本文中，我们提出了一种方法来识别真实的和篡改的图像完成使用图像编辑工具与错误水平分析和卷积神经网络。该过程在CASIA ITDE v2数据集上执行，并分别训练了50和100个epoch。训练集和验证集的各自准确度使用图表表示。
2022-04-19 cs.CV
A comprehensive survey on semantic facial attribute editing using generative adversarial networks
Amirkabir University of Technology（阿米尔卡比尔理工大学）
由于深度卷积神经网络和生成模型的进步，生成随机照片级真实图像在过去几年中经历了巨大的增长。在不同的领域中，人脸照片受到了极大的关注，并提出了大量的人脸生成和处理模型。语义面部属性编辑是改变面部图像的一个或多个属性的值而图像的其他属性不受影响的过程。所请求的修改被提供为属性向量或以驾驶面部图像的形式，并且整个过程由相应的模型执行。本文综述了语义人脸属性编辑的研究现状和进展。我们涵盖了这些模型的所有相关方面，包括相关的定义和概念，架构，损失函数，数据集，评估指标和应用程序。基于它们的体系结构，最先进的模型进行了分类和研究，编码器解码器，图像到图像，和照片引导模型。目前国家的最先进的方法的挑战和限制进行了讨论。
2022-05-21 cs.CV
MotionFollower: Editing Video Motion via Lightweight Score-Guided Diffusion
Fudan University（复旦大学）；Shanghai Collaborative Innovation Center of Intelligent Visual Computing（上海智能视觉计算协同创新中心）；Microsoft Research Asia（微软亚洲研究院）；Carnegie Mellon University（卡内基梅隆大学）；Huya Inc.（虎牙公司）
本文提出MotionFollower，一种轻量级分数引导扩散模型，通过双分支架构和轻量级信号控制器实现视频运动编辑，在保留外观和背景的同时显著降低GPU内存占用并支持大相机移动。
2024-05-30 cs.CV
ClsGAN: Selective Attribute Editing Model Based On Classification Adversarial Network
Huazhong Agricultural University（华中农业大学）；Stony Brook University（石溪大学）
近年来，由于编码器-解码器结构和生成对抗网络（GAN）的出现，属性编辑取得了显著的进展。然而，它仍然具有挑战性，在生成高质量的图像与准确的属性转换。针对这些问题，该工作提出了一种新的基于分类对抗网络（简称ClsGAN）的选择性属性编辑模型，该模型在属性传输精度和照片级真实感图像之间表现出良好的平衡。考虑到编解码器结构中跳接导致编辑图像容易受到原始属性的影响，提出了一种上卷积残差网络（Tr-resnet）来选择性地提取源图像和目标标签中的信息。此外，为了进一步提高生成图像的迁移准确率，引入属性对抗分类器（Atta-cls），通过学习属性迁移图像的缺陷，从属性的角度指导生成器。在CelebA上的实验结果表明，我们的ClsGAN在图像质量和传输精度方面优于最先进的方法。此外，还设计了消融研究来验证Tr-resnet和Atta-cls的出色性能。
2020-07-29 cs.CV eess.IV
Parameterization-driven Neural Surface Reconstruction for Object-oriented Editing in Neural Rendering
Nanyang Technological University（南洋理工大学）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；Dalian University of Technology（大连理工大学）；Key Laboratory of System Software (Chinese Academy of Sciences) and State Key Laboratory of Computer Science, Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所系统软件重点实验室与计算机科学国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai AI Lab（上海人工智能实验室）；SenseTime Research（商汤科技研究院）
该研究提出一种将神经隐式表面参数化到简单参数域的新型神经算法，可集成到现有神经渲染流水线中自动重建3D几何并生成纹理贴图，支持对象级编辑，在人头与人造物体图像上验证了有效性。
2024-07-13 cs.CV
Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks
Courant Institute（库朗研究所）；New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）
在本文中，我们介绍了一个生成参数模型能够产生高质量的自然图像样本。我们的方法使用拉普拉斯金字塔框架内的卷积网络级联，以粗到细的方式生成图像。在金字塔的每一层，使用生成对抗网络（GAN）方法（Goodfellow等人）训练单独的生成convnet模型。从我们的模型中提取的样本的质量明显高于其他方法。在人类评估人员的定量评估中，我们的CIFAR10样本在大约40%的时间内被误认为是真实图像，而从GAN基线模型中提取的样本只有10%。我们还展示了在LSUN场景数据集的高分辨率图像上训练的模型的样本。
2015-06-18 cs.CV
Neural Photo Editing with Introspective Adversarial Networks
Heriot-Watt University（赫瑞-瓦特大学）；Renishaw plc（雷尼绍公司）
生成图像模型越来越逼真的样本质量表明其在图像生成以外的应用中的可行性。我们提出了神经照片编辑器，一个界面，利用生成神经网络的力量，使大，语义连贯的变化，现有的图像。为了解决在不损失特征质量的情况下实现准确重建的挑战，我们引入了内省对抗网络，这是VAE和GAN的一种新的混合。我们的模型通过使用基于权重共享的扩张卷积的计算块来有效地捕获长程依赖关系，并通过一种新的权重正则化方法正交正则化来提高泛化性能。我们在CelebA，SVHN和CIFAR-100上验证了我们的贡献，并以高视觉保真度制作了样本和重建。
2017-02-06 cs.CV cs.LG cs.NE
MulGAN: Facial Attribute Editing by Exemplar
Beijing Jiaotong University（北京交通大学）
由于深度卷积网络和生成对抗网络的能力不断增强，最近关于样本的人脸属性编辑的研究取得了可喜的成果。这些方法将图像中的属性相关信息编码到潜在特征空间的预定义区域中，通过将一对属性相反的图像作为训练模型的输入，通过交换它们的属性相关潜在特征区域，实现输入图像和样本之间的人脸属性传递。然而，它们存在三个局限性：（1）模型必须使用具有相反属性的图像对作为输入进行训练;（2）样本编辑多个属性的能力弱;（3）生成图像的质量差。在这项工作中，而不是施加相反的属性约束的输入图像，以使图像的属性信息被编码在潜在的特征空间的预定义区域，我们直接应用属性标签约束的潜在特征空间的预定义区域。同时，引入属性分类损失，使模型学习将图像的属性相关信息提取到对应属性的预定义潜特征区域中，从而使该方法能够同时传递样本的多个属性。此外，设计了一种新的模型结构，以增强样本的属性传递能力，同时提高生成图像的质量。通过在CelebA数据集上与其他方法进行比较，证明了该模型在克服上述三个局限性方面的有效性。
2019-12-28 cs.CV
When and How to Cut Classical Concerts? A Multimodal Automated Video Editing Approach
eHealth Center, Faculty of Computer Science, Multimedia and Telecommunications, Universitat Oberta de Catalunya（eHealth中心，计算机科学、多媒体与电信学院，开放大学）
本研究提出一种多模态自动视频编辑方法，将古典音乐会多摄像机录制分解为时间分割与空间选择两个子任务，通过融合音频频谱和CLIP编码器，在剪辑点检测上超越基线，推动该领域发展。
2025-10-07 cs.CV cs.MM
Towards Automatic Image Editing: Learning to See another You
KU Leuven（鲁汶大学）；iMinds（iMinds研究院）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
由于数据的高维性和所涉及的高度非线性关系，学习图像的分布以生成新样本是一项具有挑战性的任务。尽管如此，最近在文献中报道了一些有希望的结果，这些结果建立在深度网络架构的基础上。在这项工作中，我们放大了一种特定类型的图像生成：给定一幅图像，并知道它所属的对象类别（例如人脸），我们的目标是生成一幅类似的、看似合理的图像，但具有一些改变的属性。这是特别具有挑战性的，因为模型需要学习解开每个属性的影响，并将所需的属性更改应用于给定的输入图像，同时保持其他属性和整体对象外观不变。为此，我们学习了一个卷积网络，其中所需的属性信息被编码，然后在特征图级别与编码图像合并。在两个人脸数据集（MultiPie和CAS-PEAL-R1）的检索实验中，我们在定性和定量方面都显示了有希望的结果。
2015-11-26 cs.CV
FaceShop: Deep Sketch-based Face Image Editing
University of Bern（伯尔尼大学）；University of Maryland, College Park（马里兰大学帕克分校）
我们提出了一种新的系统，基于草图的人脸图像编辑，使用户能够直观地编辑图像，通过绘制感兴趣的区域上的几个笔画。我们的界面功能的工具来表达所需的图像操作，提供几何和颜色的约束，用户绘制的笔画。作为一种替代的直接用户输入，我们提出的系统自然支持复制粘贴模式，它允许用户编辑一个给定的图像区域，通过使用另一个示例图像的部分，而不需要手绘草图在所有。拟议的界面实时运行，并促进了互动和迭代的工作流程，以快速表达预期的编辑。我们的系统是基于一个新的草图域和一个卷积神经网络训练的端到端自动学习渲染图像区域对应的输入笔画。为了实现高质量和语义一致的结果，我们训练我们的神经网络上的两个同时进行的任务，即图像完成和图像翻译。据我们所知，我们是第一个将这两项任务结合在一个统一的框架中进行交互式图像编辑的公司。我们的研究结果表明，所提出的草图域，网络架构和训练过程很好地推广到真实的用户输入，并实现高质量的合成结果，而无需额外的后处理。
2018-06-07 cs.CV cs.GR
Fashion Editing with Adversarial Parsing Learning
Sun Yat-sen University（中山大学）；Petuum Inc（Petuum公司）；ByteDance AI Lab（字节跳动AI实验室）
交互式服装图像处理是一个很有应用价值的研究课题，它使用户能够用草图和颜色笔画来编辑图像。现有的作品往往把它作为一个一般的修复任务，并没有充分利用语义结构信息的时装图像。此外，它们直接利用传统的卷积和归一化层来恢复不完整的图像，这往往会洗掉草图和颜色信息。在本文中，我们提出了一种新的时尚编辑生成对抗网络（FE-GAN），它能够通过自由形式的草图和稀疏的颜色笔画来操纵时尚图像。FE-GAN由两个模块组成：1）一个自由形式的解析网络，它通过操纵草图和颜色来学习控制人类解析生成; 2）一个解析感知的修复网络，它通过人类解析图的语义指导来渲染详细的纹理。在修复网络的解码器中，进一步在多个尺度上应用新的注意力归一化层，以提高合成图像的质量。在高分辨率时尚图像数据集上的大量实验表明，该方法在图像处理上的性能明显优于现有的方法。
2019-09-28 cs.CV eess.IV
Laplacian-Steered Neural Style Transfer
School of Computing, National University of Singapore（新加坡国立大学计算学院）；Institute of High Performance Computing, Singapore（新加坡高性能计算研究院）；Shandong University（山东大学）
基于卷积神经网络（CNN）的神经风格转换旨在合成一个新的图像，该图像保留了内容图像的高级结构，并在风格图像的低级纹理中渲染。这是通过将新图像约束为具有类似于内容图像的高级CNN特征和类似于样式图像的低级CNN特征来实现的。然而在传统的优化目标中，内容图像的低层特征是缺失的，并且样式图像的低层特征主导了新图像的低层细节结构。因此，在合成图像中，内容图像的许多细节丢失，并且出现许多不一致和不愉快的伪影。作为一种补救措施，我们提出了一种新的损失函数引导图像合成：拉普拉斯损失。由拉普拉斯算子产生的拉普拉斯矩阵（简称“拉普拉斯”）广泛用于计算机视觉中以检测边缘和轮廓。拉普拉斯损失度量内容图像和新图像之间的拉普拉斯的差异，以及相应的细节结构的差异。它具有灵活性，兼容传统风格的传递约束。通过引入Laplacian损失，我们得到了一个新的优化目标的神经风格转移命名Lapstyle。最小化该目标将产生风格化的图像，其更好地保留内容图像的细节结构并消除伪影。实验表明，Lapstyle产生更有吸引力的风格化图像与更少的文物，而不损害他们的“风格”。
2017-07-30 cs.CV
High-Resolution Photorealistic Image Translation in Real-Time: A Laplacian Pyramid Translation Network
The HongKong Polytechnic University（香港理工大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
现有的图像到图像转换（I2IT）方法要么被限制为低分辨率图像，要么由于其对高分辨率特征图的卷积的沉重计算负担而导致推理时间长。在本文中，我们专注于加速高分辨率的真实感I2IT任务的基础上，封闭形式的拉普拉斯金字塔分解和重建。具体来说，我们揭示了属性变换，如照明和颜色操作，涉及更多的低频分量，而内容细节可以自适应地细化高频分量。因此，我们提出了一个拉普拉斯金字塔翻译网络（LPTN），同时执行这两项任务，在那里我们设计了一个轻量级的网络，用于翻译低频分量，降低分辨率和渐进的掩蔽策略，以有效地改善高频。我们的模型避免了处理高分辨率特征图所消耗的大部分繁重计算，并忠实地保留了图像细节。在不同任务上的大量实验结果表明，该方法可以使用一个普通的GPU实现实时的【形】4K图像的转换，同时实现与现有方法相当的转换性能。数据集和代码可在https://github.com/csjliang/LPTN获得。
2021-05-19 cs.CV
3DiFACE: Synthesizing and Editing Holistic 3D Facial Animation
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Max Planck ETH Center for Intelligent Systems（马克斯·普朗克-苏黎世联邦理工学院智能系统中心）；Technical University of Darmstadt（德累斯顿技术大学）；ETH Zürich（苏黎世联邦理工学院）；Microsoft Mixed Reality & AI Lab, UK（英国微软混合现实与人工智能实验室）
本文提出 3DiFACE，利用全卷积扩散、说话风格个性化与稀疏引导运动扩散，从单一音频生成并可关键帧编辑多样且真实的整体 3D 面部动画。
2025-09-30 cs.AI cs.CV cs.GR
Patch-Based Stochastic Attention for Image Editing
Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院电信学院）；Université Paris Cité（巴黎西岱大学）；CNRS（法国国家科学研究中心）
针对注意力机制计算开销大、难以处理高分辨率图像的问题，提出基于PatchMatch的随机注意力层PSAL，以低内存开销实现高效近似最近邻，支持端到端训练，并在图像修复、着色和超分辨率任务中验证了有效性。
2023-11-01 cs.CV
HiLo-Token: Input-Adaptive High-Low Frequency Token Compression for Efficient Image Editing Model Serving
Adobe ART AI Lab（Adobe ART AI实验室）；Adobe Research（Adobe研究院）
针对扩散变换器（DiT）在图像编辑中延迟高的问题，提出输入自适应的令牌压缩框架HiLo-Token，根据空间频率分配令牌预算，在保持生成质量的同时实现高达3.13倍加速。
2026-11-10 cs.AI cs.CV
Free-form Video Inpainting with 3D Gated Convolution and Temporal PatchGAN
National Taiwan University（台湾大学）
自由格式视频修复是一项非常具有挑战性的任务，可广泛用于视频编辑，如文本删除。现有的基于补丁的方法无法处理非重复结构，如人脸，而直接将基于图像的修复模型应用于视频将导致时间不一致（参见http://bit.ly/2Fu1n6b）。在本文中，我们介绍了一种基于深度学习的自由形式视频修复模型，提出了3D门控卷积来解决自由形式掩模的不确定性，以及一种新的时间PatchGAN损失来增强时间一致性。此外，我们收集视频，并设计了一个自由形式的面具生成算法，以建立自由形式的视频修复（FVI）数据集的训练和评估的视频修复模型。我们展示了这些组件的好处，并在FaceForensics和我们的FVI数据集上进行了实验，表明我们的方法优于现有的方法。相关的源代码，全分辨率结果视频和FVI数据集可以在Github https://github.com/amjltc295/Free-Form-Video-Inpainting上找到。
2019-07-23 cs.CV
High-fidelity GAN Inversion with Padding Space
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；CUHK（香港中文大学）；HKUST（香港科技大学）；University College London（伦敦大学学院）；ByteDance Inc.（字节跳动公司）
反转生成对抗网络（GAN）使用预训练的生成器促进了广泛的图像编辑任务。现有方法通常采用GANs的潜在空间作为反演空间，但观察到空间细节的恢复不足。在这项工作中，我们建议涉及生成器的填充空间，以补充空间信息的潜在空间。具体地，我们替换常量填充（例如，通常为零），其用于具有某些实例感知系数的卷积层。通过这种方式，预先训练的模型中假设的感应偏差可以适当地适应每个单独的图像。通过学习一个精心设计的编码器，我们设法提高反演质量的定性和定量，优于现有的替代品。然后，我们证明了这样的空间扩展几乎不影响原生GAN流形，因此我们仍然可以将GANs学习的先验知识用于各种下游应用。除了在现有技术中探索的编辑任务之外，我们的方法允许更灵活的图像操纵，例如面部轮廓和面部细节的单独控制，并且实现了用户可以高效地定制他们自己的操纵的新颖的编辑方式。
2022-07-27 cs.CV
InstEditSeg: Instruction-Driven Image Editing for Polyp and Skin Lesion Segmentation
School of Information and Control Engineering, Southwest University of Science and Technology（西南科技大学信息与控制工程学院）
本研究提出InstEditSeg生成框架，将医学分割转化为指令驱动的图像编辑问题，通过引入DINOv3等技术优化，在息肉与皮肤病变分割任务中实现了优异性能及跨域泛化等优势。
2026-09-03 cs.AI cs.CV
Global Texture Enhancement for Fake Face Detection in the Wild
University of Oxford（牛津大学）；The University of Hong Kong（香港大学）
生成对抗网络（GANs）可以生成逼真的假人脸图像，很容易欺骗人类，而普通的卷积神经网络（CNN）可以达到99.9%以上的真假图像识别准确率。在本文中，我们对假/真人脸进行了实证研究，并有两个重要的观察结果：首先，假人脸的纹理与真实人脸有很大的不同;其次，全局纹理统计对图像编辑更具鲁棒性，并且可以从不同的GANs和数据集转移到假人脸。受上述观察的启发，我们提出了一种新的架构，称为Gram-Net，它利用全局图像纹理表示进行鲁棒的假图像检测。在几个数据集上的实验结果表明，我们的Gram-Net优于现有的方法。特别是，我们的Gram-Netis更强大的图像编辑，如下采样，JPEG压缩，模糊和噪声。更重要的是，我们的Gram-Net在从训练阶段看不到的GAN模型中检测假面孔方面有更好的泛化能力，并且在检测假自然图像方面表现出色。
2020-03-19 cs.CV
Learning JPEG Compression Artifacts for Image Manipulation Detection and Localization
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；NAVER WEBTOON AI（NAVER网络漫画AI）；Samsung Electronics Co., Ltd.（三星电子株式会社）
检测和定位图像操纵是必要的，以打击恶意使用的图像编辑技术。因此，必须通过分析图像中的固有统计来区分真实区域和篡改区域。我们专注于JPEG压缩文物在图像采集和编辑。我们提出了一种卷积神经网络（CNN），它使用离散余弦变换（DCT）系数，其中压缩伪影仍然存在，以本地化图像操作。标准CNN无法学习DCT系数的分布，因为卷积会丢弃DCT系数所必需的空间坐标。我们说明了如何设计和训练一个神经网络，可以学习DCT系数的分布。此外，我们介绍了压缩伪影跟踪网络（CAT-Net），它联合使用图像采集伪影和压缩伪影。它在检测和定位篡改区域方面明显优于传统和基于深度神经网络的方法。
2022-05-25 cs.CV cs.LG cs.MM
Convolutional Neural Network for Blur Images Detection as an Alternative for Laplacian Method
Wroclaw University of Science and Technology（弗罗茨瓦夫理工大学）
随着数码相机的普及，数字图像的数量迅速增加，这就提出了非人工图像质量评估的需求。虽然有许多方法被认为是有用的检测模糊，在本文中，我们提出并评估了一种新的方法，使用深度卷积神经网络，它可以确定图像是否模糊。实验结果证明了该方案的有效性，并与使用混淆矩阵的确定性方法进行了比较。
2020-10-15 cs.CV
An efficient deep convolutional laplacian pyramid architecture for CS reconstruction at low sampling ratios
Harbin Institute of Technology（哈尔滨工业大学）；Tencent（腾讯）
由于图像信号在某个域上是稀疏的，压缩感知（CS）在过去几年中被成功地应用于图像压缩。已经提出了几种CS重建模型，并获得了优越的性能。然而，在大多数情况下，这些方法在低采样率下遭受块效应或振铃效应。为了解决这个问题，我们提出了一种用于CS的深度卷积拉普拉斯金字塔压缩感知网络（LapCSNet），它由采样子网络和重建子网络组成。在采样子网络中，我们利用卷积层来模拟采样算子。与传统CS方法中使用的固定采样矩阵相比，我们的卷积层中使用的滤波器与重建子网络联合优化。在重建子网络中，设计了两个分支，采用拉普拉斯金字塔结构逐步重建多尺度残差图像和多尺度目标图像。所提出的LapCSNet不仅集成了多尺度信息，以实现更好的性能，但也大大降低了计算成本。基准数据集上的实验结果表明，该方法能够重建更多的细节和更尖锐的边缘对国家的最先进的方法。
2018-04-13 cs.CV
Learning Chebyshev Basis in Graph Convolutional Networks for Skeleton-based Action Recognition
CNRS（法国国家科学研究中心）；Sorbonne University（索邦大学）
谱图卷积网络（GCN）是一种特殊的深度模型，旨在将神经网络扩展到任意不规则域。这些网络的原理在于使用其拉普拉斯算子的特征分解来投影图形信号，然后在将所得滤波信号反向投影到输入图形域之前在谱域中实现滤波。然而，这些操作的成功在很大程度上取决于所使用的拉普拉斯算子的相关性，这些拉普拉斯算子大多是手工制作的，这使得GCN显然是次优的。在本文中，我们介绍了一种新的谱GCN，它不仅学习通常的卷积参数，而且学习拉普拉斯算子。后者被设计为“端到端”的递归切比雪夫分解的一部分，具有传递学习表示的微分和非微分特性的特殊性-随着阶数和鉴别能力的增加-而不会过度参数化训练的GCN。广泛的实验，进行了具有挑战性的任务，基于动作识别，我们提出的拉普拉斯设计w.r.t.的泛化能力和表现优异。不同的基线（建立在手工制作和其他学习拉普拉斯）以及相关的工作。
2021-12-27 cs.CV
Automatically eliminating seam lines with Poisson editing in complex relative radiometric normalization mosaicking scenarios
多幅遥感影像间的相对辐射归一化（RRN）镶嵌是后续制图、影像识别、语义分割、变化检测等任务的关键。然而，在镶嵌边界上经常存在接缝线和留下的辐射对比度，特别是在复杂场景中，使得镶嵌图像的外观不美观，并且降低了后面的分类/识别算法的准确性。本文提出了一种新的自动方法，以消除接缝线在复杂的RRN拼接场景。该算法利用重叠区域的直方图匹配来降低辐射对比度，利用泊松编辑来去除接缝线，利用合并过程来确定归一化传递顺序。我们的方法可以处理拼接接缝线与任意形状和极端拓扑关系的图像（与一个小的交叉区域）。这些条件使得主要的羽化或混合方法，例如，线性加权混合和拉普拉斯金字塔混合，不可用。在实验中，我们的方法在视觉上优于自动方法没有泊松编辑和手动模糊和羽化方法使用GIMP软件。
2021-06-14 cs.CV cs.LG
ASDN: A Deep Convolutional Network for Arbitrary Scale Image Super-Resolution
University of Technology Sydney（悉尼科技大学）；Bytedance（字节跳动）
深度卷积神经网络显著提高了超分辨率（SR）的峰值信噪比。然而，图像查看器应用程序通常允许用户将图像缩放到任意放大比例，因此迄今为止以巨大的计算成本强加了大量所需的训练比例。为了获得一个计算效率更高的任意尺度SR模型，本文采用拉普拉斯金字塔方法来重建任何尺度的高分辨率（HR）图像使用的高频图像细节的拉普拉斯频率表示。对于小尺度（1和2之间）的SR，图像是通过从预先计算的拉普拉斯金字塔水平的稀疏集插值构造的。大尺度的SR由小尺度递归计算，这显著降低了计算成本。为了进行全面的比较，使用各种基准进行固定和任何规模的实验。在固定尺度下，ASDN优于预定义的上采样方法（例如，SRCNN、VDSR、DRRN）在PSNR中降低约1dB。在任何规模上，ASDN通常在许多规模上都超过Meta-SR。
2020-10-06 cs.CV eess.IV
Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution
University of California, Merced（加州大学默塞德分校）；Virginia Tech（弗吉尼亚理工大学）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
卷积神经网络最近已经证明了高质量的重建单图像超分辨率。在本文中，我们提出了拉普拉斯金字塔超分辨率网络（LapSRN）逐步重建高分辨率图像的子带残差。在每个金字塔级别，我们的模型将粗分辨率特征图作为输入，预测高频残差，并使用转置卷积进行上采样到更精细的级别。我们的方法不需要双三次插值作为预处理步骤，从而大大降低了计算复杂性。我们使用强大的Charbonnier损失函数对建议的LapSRN进行训练，并实现高质量的重建。此外，我们的网络通过渐进重建在一次前馈中生成多尺度预测，从而促进了资源感知应用。在基准数据集上的大量定量和定性评估表明，该算法在速度和准确性方面优于现有的方法。
2017-10-09 cs.CV
Better Compression with Deep Pre-Editing
Google Research（谷歌研究院）
我们能否通过标准的编解码器压缩图像，同时避免可见的伪影？答案是显而易见的--只要比特预算足够慷慨，这是可行的。如果分配的压缩比特率不足怎么办？不幸的是，艺术品是生活中的现实多年来，为打击这一现象作出了许多努力，取得了不同程度的成功。在这项工作中，我们的目标是打破比特率和图像质量之间的邪恶的连接，并提出了一种方法来规避压缩伪影预先编辑传入的图像和修改其内容，以适应给定的位。我们将此编辑操作设计为学习的卷积神经网络，并为其训练制定优化问题。我们的损失考虑了原始图像和编辑图像之间的接近度，对建议图像的比特预算惩罚，以及用于迫使结果在视觉上令人愉悦的无参考图像质量度量。所提出的方法是证明流行的JPEG压缩，显示节省比特和/或改善视觉质量，获得复杂的编辑效果。
2021-07-23 cs.CV eess.IV
RefineStyle: Dynamic Convolution Refinement for StyleGAN
East China Normal University（华东师范大学）
针对StyleGAN的$\mathcal{W}^+$空间限制导致域外图像合成效果差的问题，提出基于低秩残差的动态卷积核精炼方法RefineStyle，在图像反转和域适配任务上均取得更优表现。
2024-10-08 cs.CV
Improving Convolutional Neural Networks Via Conservative Field Regularisation and Integration
Polytechnique Montreal（蒙特利尔理工学院）
当前卷积神经网络（CNN）的研究主要集中在改变网络结构、优化超参数和改进梯度下降等方面。然而，大多数工作只使用CNN内部的3个标准操作系列：卷积、激活函数和池化。在这项工作中，我们提出了一个新的家庭的操作的基础上的拉普拉斯算子的格林函数，它允许网络来解决拉普拉斯算子，整合任何向量场，并通过迫使它是保守的正则化的字段。因此，格林函数（Green's function，GF）是第一个通过强制2D或3D特征空间是保守的和物理上可解释的来正则化2D或3D特征空间的操作，而不是正则化权重的范数。我们的研究结果表明，这种正则化可以让网络学习得更快，训练曲线更平滑，泛化能力更好，而无需任何额外的参数。目前的手稿提出了早期的结果，需要更多的工作来基准所提出的方法。
2020-03-11 cs.AI cs.CV
Deep Laplacian Pyramid Network for Text Images Super-Resolution
The University of Danang - University of Science and Technology（岘港大学 - 科技大学）
卷积神经网络最近已经证明了有趣的结果，单图像超分辨率。然而，这些网络被训练来处理自然图像上的超分辨率问题。在本文中，我们将一种用于自然图像超分辨率的深度网络应用于单个文本图像的超分辨率。为了评估网络，我们提出了我们的数据库为单一的文本图像超分辨率。此外，我们提出了结合梯度差分损失（GDL）和L1/L2损失来增强超分辨率图像的边缘。对我们的数据集进行的定量和定性评估表明，添加GDL改善了超分辨率结果。
2018-11-26 cs.CV
Unsupervised Representation Learning with Laplacian Pyramid Auto-encoders
China University of Petroleum(East China)（中国石油大学（华东））
尺度空间表示由于其理论基础而在计算机视觉领域受到广泛关注。生成给定数据集的尺度空间表示的动机源于这样一个基本观察，即现实世界的对象是由不同尺度的不同结构组成的。因此，考虑使用通过平滑和下采样操作生成的图像金字塔来学习特征是合理的。在本文中，我们提出了拉普拉斯金字塔自动编码器，这是对深度卷积自动编码器架构的直接修改，用于无监督表示学习。该方法在拉普拉斯金字塔框架内使用多个编解码子网络来重建原始图像和低通滤波图像。每个编码子网络的最后一层也连接到下一层中的子网络的编码层，其目的是逆转拉普拉斯金字塔生成的过程。实验结果表明，拉普拉斯金字塔有利于深度自动编码器方法的分类和重建性能，而批量归一化对于让深度自动编码器方法开始学习至关重要。
2018-05-12 cs.CV
Deep Inception-Residual Laplacian Pyramid Networks for Accurate Single Image Super-Resolution
通过以有效的方式利用大图像区域上的上下文信息，深度卷积神经网络在单图像超分辨率（SR）方面表现出令人印象深刻的性能。在本文中，我们提出了一种深度卷积网络，通过在深度拉普拉斯金字塔框架内级联设计良好的接收-残差块来逐步恢复高分辨率（HR）图像中丢失的高频细节。通过优化我们的网络结构，所提出的网络的可训练深度获得了显着的改善，这反过来又提高了超分辨精度。然而，随着我们的网络深度的增加，训练精度的饱和和下降仍然是一个关键问题。对此，我们提出了一种有效的两阶段训练策略，其中我们首先使用从地面真实HR图像下采样的图像作为最佳目标，以梯度裁剪实现的极高学习率训练每个金字塔级别中的接收残差块，然后使用地面真实HR图像对所有预训练的接收残差块进行微调，以获得最终的SR模型。此外，我们提出了一个新的损失函数在图像空间和局部秩空间操作，以优化我们的网络，利用不同的输出组件之间的上下文信息。在基准数据集上的大量实验验证了该方法在客观评价和视觉质量方面优于现有的最先进的SR方法。
2017-11-15 cs.CV
BI-GCN: Boundary-Aware Input-Dependent Graph Convolution Network for Biomedical Image Segmentation
University of Liverpool（利物浦大学）；University of Portsmouth（朴茨茅斯大学）；Chinese Academy of Sciences（中国科学院）；Remark AI UK Limited（Remark AI 英国有限公司）
图像分割是图像处理的一项基本操作。卷积运算受到有限的感受野的影响，而全局建模是分割任务的基础。在本文中，我们将图卷积应用到分割任务中，并提出了一种改进的\textit{Laplacian}。与现有的方法不同，我们的\textit{Laplacian}是数据相关的，我们引入了两个注意力对角矩阵，以学习一个更好的顶点关系。此外，它利用区域和边界信息时，执行基于图形的信息传播。具体来说，我们通过学习图表示来建模和推理不同类别的边界感知区域相关性，该表示能够在各个区域之间操纵长距离语义推理，并沿着对象的边界进行空间增强。我们的模型是非常适合于获得全球语义区域信息，同时也适应当地的空间边界特征。在两种具有挑战性的数据集上的实验表明，我们的方法在结肠镜图像中的息肉分割和彩色眼底图像中的视盘和视杯分割方面优于最先进的方法。
2021-10-31 cs.AI cs.CV
Lookup Table meets Local Laplacian Filter: Pyramid Reconstruction Network for Tone Mapping
DJI Technology Co., Ltd（大疆创新科技有限公司）；Hubei Key Laboratory of Brain-inspired Intelligent Systems（湖北省脑机智能系统重点实验室）
本文提出一种结合图像自适应3D LUT与局部拉普拉斯滤波器的金字塔重建网络，通过拉普拉斯金字塔分解实现全局色调调整与局部边缘保留，在端到端框架下有效提升了HDR图像色调映射效果。
2024-01-03 cs.CV eess.IV
Deep Graph Laplacian Regularization for Robust Denoising of Real Images
SenseTime Research（商汤科技研究院）；York University（约克大学）
深度学习的最新发展彻底改变了图像复原的范式。然而，由于其对训练数据的敏感性和真实图像噪声的复杂性，其在真实图像去噪中的应用仍然受到限制。在这项工作中，我们结合了基于模型的方法的鲁棒性优点和数据驱动方法的学习能力，用于真实图像去噪。具体来说，通过将图拉普拉斯正则化作为一个可训练模块集成到深度学习框架中，我们比纯粹的基于CNN的方法更不容易受到过拟合的影响，从而实现对小数据集和跨域去噪的更高鲁棒性。首先，从卷积神经网络（CNN）的输出构建稀疏邻域图。然后通过求解一个无约束二次规划问题来恢复图像，使用相应的图拉普拉斯正则化子作为先验项。所提出的恢复管道是完全可区分的，因此可以进行端到端训练。实验结果表明，我们的工作是不太容易过拟合给定的小训练数据。它也被赋予了强大的跨领域泛化能力，以显着的优势超过了国家的最先进的方法。
2019-05-03 cs.CV
Improving Facial Emotion Recognition Systems Using Gradient and Laplacian Images
Indian Institute of Science（印度科学研究所）；NIT Warangal（瓦朗加尔国家理工学院）
在这项工作中，我们提出了几个增强功能，以提高任何面部情绪识别（FER）系统的性能。我们相信，基准点的位置和强度的变化捕获的关键信息的情感的人脸图像。我们建议使用输入图像的梯度和拉普拉斯算子以及原始输入到卷积神经网络（CNN）中。这些修改有助于网络从图像的梯度和拉普拉斯算子中学习额外的信息。然而，普通的CNN不能从原始图像中提取该信息。我们在两个著名的数据集KDEF和FERplus上进行了大量的实验。我们的方法将最先进的FER系统已经很高的性能提高了3%到5%。
2019-02-12 cs.CV cs.LG stat.ML
Nonlinear Spectral Image Fusion
University of Cambridge（剑桥大学）；Technion IIT（以色列理工学院）
本文展示基于总变分正则化的非线性频谱分解框架在图像融合及更广泛的图像处理任务中的有效性，通过选择特定图像的频率转移特征如面部皱纹，实现图像编辑。
2017-03-23 cs.CV cs.NA math.NA
Fast and Accurate Image Super-Resolution with Deep Laplacian Pyramid Networks
University of California, Merced（加州大学默塞德分校）；Virginia Tech（弗吉尼亚理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
卷积神经网络最近已经证明了高质量的重建单图像超分辨率。然而，现有的方法通常需要大量的网络参数，并且在运行时需要大量的计算负载以生成高精度超分辨率结果。在本文中，我们提出了深度拉普拉斯金字塔超分辨率网络，用于快速准确的图像超分辨率。该网络在多个金字塔层次上逐步重建高分辨率图像的子带残差。与现有的方法，涉及双三次插值预处理（这会导致大的特征图），所提出的方法直接提取的特征，从低分辨率的输入空间，从而需要低的计算负荷。我们使用强大的Charbonnier损失函数对所提出的具有深度监督的网络进行训练，并实现高质量的图像重建。此外，我们利用递归层共享参数以及金字塔内的水平，从而大大减少了参数的数量。在基准数据集上的大量定量和定性评估表明，该算法在运行时间和图像质量方面优于现有的方法。
2018-08-09 cs.CV
Spatial Pyramid Based Graph Reasoning for Semantic Segmentation
Zhejiang Lab（之江实验室）；Peking University（北京大学）；Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所）
卷积运算受到有限的接收场的影响，而全局建模对于密集预测任务（诸如语义分割）是基本的。本文将图卷积应用到语义分割任务中，提出了一种改进的拉普拉斯算子。图推理直接在组织为空间金字塔的原始特征空间中执行。与现有的方法不同，我们的拉普拉斯算子是数据依赖的，我们引入了注意力对角矩阵来学习更好的距离度量。它摆脱了投影和重新投影的过程，这使得我们提出的方法是一个轻量级的模块，可以很容易地插入到当前的计算机视觉架构。更重要的是，直接在特征空间中执行图推理保留了空间关系，并使空间金字塔能够从不同尺度探索多种远程上下文模式。在Cityscapes、COCO Stuff、PASCAL Context和PASCAL VOC上的实验证明了本文提出的语义分割方法的有效性。我们实现了相当的性能，在计算和内存开销的优势。
2020-03-23 cs.CV
Laplacian-Former: Overcoming the Limitations of Vision Transformers in Local Texture Detection
RWTH Aachen University（亚琛工业大学）；Iran University of Science and Technology（伊朗科技大学）；South Dakota State University（南达科他州立大学）；Shahid Beheshti University（沙希德·贝赫什提大学）；Northwestern University（西北大学）；University of Regensburg（雷根斯堡大学）
提出Laplacian-Former，通过拉普拉斯金字塔频率重校准和双重注意力机制增强ViT的高频纹理捕捉能力，在多器官和皮肤病变分割上分别提升Dice分数1.87%和0.76%。
2023-08-31 cs.CV
Small Object Detection Model with Spatial Laplacian Pyramid Attention and Multi-Scale Features Enhancement in Aerial Images
Key Laboratory of Computational Intelligence and Chinese Information Processing of Ministry of Education, School of Computer and Information Technology, Shanxi University（教育部计算智能与中文信息处理重点实验室，计算机与信息技术学院，山西大学）
本文提出了一种结合空间拉普拉斯金字塔注意力和多尺度特征增强的改进模型，以提升航空图像中小目标的检测性能。
2026-02-26 cs.CV
Spatial Frequency Loss for Learning Convolutional Autoencoders
本文提出了一种用于从图像中提取特征的卷积自动编码器（CAE）的学习方法。可以通过利用卷积神经网络以无监督的方式学习对恒等函数的近似来获得CAE。基于像素损失（PL）的损失函数是用于学习的常见选择，像素损失是原始图像和重建图像的像素值之间的均方误差。然而，使用损失函数导致模糊的重建图像。提出了一种使用从反映空间频率的特征计算的损失函数来学习CAE的方法，以减轻该问题。重建图像中的模糊显示出缺乏主要构成边缘和细节纹理的高空间频率分量，这些边缘和细节纹理是诸如目标检测和空间匹配的任务的重要特征。为了评估组件的缺乏，将具有拉普拉斯滤波器组作为权重的卷积层添加到CAE中，并且从每个滤波器的输出计算子带中的特征的均方误差，称为空间频率损失（SFL）。使用基于SFL的损失函数来执行学习。实验结果表明，使用SFL减少了重建图像中的模糊。
2018-06-06 cs.AI cs.CV cs.LG
