具有颜色感知损失和引导重着色的泛锐化

S3：泛锐化网络的谱-空间结构损失

S3: A Spectral-Spatial Structure Loss for Pan-Sharpening Networks

Korea Advanced Institute of Science and Technology（韩国科学技术院）；Korea Aerospace Research Institute（韩国航空宇宙研究院）

最近，已经提出了许多基于深度学习的泛锐化方法来生成高质量的泛锐化（PS）卫星图像。这些方法集中于各种类型的卷积神经网络（CNN）结构，其通过简单地最小化网络输出与对应的高分辨率多光谱（MS）目标图像之间的光谱损失来训练。然而，由于不同的传感器特性和采集时间，高分辨率全色（PAN）和低分辨率MS图像对往往具有大的像素未对准，特别是对于图像中的移动对象。传统的CNN只训练了这些卫星图像数据集的光谱损失，通常会产生低视觉质量的PS图像，包括沿着强边缘的双边缘伪影和移动物体上的重影伪影。在这封信中，我们提出了一种新的损失函数，称为频谱空间结构（S3）的损失，MS目标和PAN输入之间的相关映射的基础上。我们提出的S3损失可以非常有效地用于各种类型的CNN结构的泛锐化，从而在PS图像上产生显著的视觉改善，并抑制伪影。

2019-08-19cs.CVeess.IV

U-Know-DiffPAN：一种用于全色锐化的具备细节增强能力的不确定性感知知识蒸馏扩散框架

U-Know-DiffPAN: An Uncertainty-aware Knowledge Distillation Diffusion Framework with Details Enhancement for PAN-Sharpening

KAIST（韩国科学技术院）；KNU（庆北国立大学）

针对传统全色锐化细节恢复差、扩散法输入利用不充分的问题，提出U-Know-DiffPAN框架，通过不确定性感知知识蒸馏结合频率注意力与小波变换，实现轻量模型的高性能全色锐化，效果优于现有前沿方法。

2024-12-09cs.CVeess.IV

基于高通修正卷积神经网络的全色锐化

Pan-sharpening via High-pass Modification Convolutional Neural Network

Wuhan University（武汉大学）；University of Arkansas（阿肯色大学）；Wuhan Institute of Technology（武汉工程大学）

针对现有的基于深度学习的泛锐化方法普遍存在频谱失真和空间纹理增强不足等问题，提出了一种基于高通修正块的泛锐化卷积神经网络。与现有方法不同的是，所提出的块被设计为学习高通信息，从而增强多光谱分辨率图像中每个波段的空间信息。为了便于产生视觉上吸引人的泛锐化图像，我们提出了一个感知损失函数，并进一步优化模型的基础上，在近红外空间的高层次功能。实验表明，所提出的方法相比，国家的最先进的泛锐化方法，定量和定性的优越性能。拟议的模型在https://github.com/jiaming-wang/HMB上开源。

2021-05-24cs.CVcs.LGeess.IV

用于泛锐化的无监督循环一致生成对抗网络

Unsupervised Cycle-consistent Generative Adversarial Networks for Pan-sharpening

近年来，基于深度学习的泛锐化（pan-sharpening）已经受到了极大的研究兴趣。大多数现有的方法都属于监督学习框架，其中，它们对多光谱（MS）和全色（PAN）图像进行下采样，并将原始MS图像视为地面真值以形成训练样本。虽然可以实现令人印象深刻的性能，但由于尺度差距，它们很难推广到原始的全尺寸图像，这使得它们缺乏实用性。在本文中，我们提出了一个无监督的生成对抗框架，该框架从没有地面事实的全尺寸图像中学习，以缓解这个问题。我们从PAN和MS图像中提取特定于模态的特征，并在特征域中进行融合，然后重建泛锐化图像。此外，我们引入了一种新的混合损失的基础上的周期一致性和对抗计划，以提高性能。在高分二号和世界观三号卫星上进行了与现有方法的对比实验。实验结果表明，该方法能有效提高全色图像的锐化效果，具有一定的实用价值。代码可在https://github.com/zhysora/UCGAN上获得。

2022-04-07cs.CVeess.IV

PC-GANs：用于泛锐化的渐进补偿生成对抗网络

PC-GANs: Progressive Compensation Generative Adversarial Networks for Pan-sharpening

Northwestern Polytechnical University（西北工业大学）；Xidian University（西安电子科技大学）

多光谱和全色图像的融合通常被称为全色锐化。大多数基于深度学习的泛锐化方法都是通过一步方案来锐化多光谱图像，这在很大程度上取决于网络的重建能力。然而，遥感图像往往具有较大的变化，这些一步法容易产生误差积累，不能很好地保留图像的空间细节和光谱信息。在本文中，我们提出了一种新的两步模型的泛锐化，锐化MS图像通过渐进补偿的空间和光谱信息。首先，使用深度多尺度引导的生成对抗网络来初步增强MS图像的空间分辨率。从粗域中的预锐化MS图像开始，我们的方法然后在具有反向架构的几个生成对抗网络（GANs）上逐步细化空间和光谱残差。整个模型由三重GANs组成，并基于具体架构设计了联合补偿损失函数，使三重GANs能够同时训练。此外，本文提出的空间-光谱残差补偿结构可以推广到其他全色锐化方法中，进一步提高其融合效果。在不同的数据集上进行了大量的实验，结果证明了我们提出的方法的有效性和效率。

2022-07-29cs.CVeess.IV

基于卷积LSTM分层空谱特征融合的双通道卷积网络多光谱全色锐化

Multispectral Pan-sharpening via Dual-Channel Convolutional Network with Convolutional LSTM Based Hierarchical Spatial-Spectral Feature Fusion

多光谱全色锐化的目的是通过融合全色（PAN）图像和相应的多光谱（MS）图像，在空间和光谱域产生一个高分辨率（HR）的多光谱（MS）图像。在本文中，我们提出了一种新的双通道网络（DCNet）框架MS泛锐化。在我们的DCNet中，双通道主干涉及一个空间通道，用于使用2D CNN捕获空间信息，以及一个光谱通道，用于使用3D CNN提取光谱信息。这种异构2D/3D CNN架构可以最小化引起的频谱信息失真，这通常发生在传统的2D CNN模型中。为了充分整合从不同层次捕获的空间和光谱特征，我们引入了一个多层次的融合策略。具体而言，空间-光谱CLSTM（S $^2$ -CLSTM）模块提出了融合的层次空间和光谱特征，它可以有效地捕捉多层次特征之间的相关性。S $^2$ -CLSTM模块附加了两种融合方式：通过双向横向连接的层内融合和通过S $^2$ -CLSTM中的单元状态的层间融合。最后，通过重建模块恢复理想的HR-MS图像。在模拟的低尺度和真实世界数据集的原始尺度上进行了广泛的实验。与最先进的方法相比，所提出的DCNet实现了优越的或有竞争力的性能。

2020-07-20cs.MMeess.IV

PanFlowNet：一种用于全色锐化的基于流的深度网络

PanFlowNet: A Flow-Based Deep Network for Pan-sharpening

University of Science and Technology of China（中国科学技术大学）；Xi’an Jiaotong University（西安交通大学）；Nanyang Technological University（南洋理工大学）

提出基于流的PanFlowNet网络，通过可逆网络学习给定LRMS和PAN图像下HRMS图像的条件分布，缓解超分辨率不适定问题，能生成多样HRMS图像且性能优于现有方法。

2023-05-16cs.CVeess.IV

用于全色锐化的局部-全局Transformer增强展开网络

Local-Global Transformer Enhanced Unfolding Network for Pan-sharpening

Shandong University（山东大学）；Heze University（菏泽学院）

针对现有深度学习全色锐化方法可解释性不足、难以同时捕捉局部全局依赖的问题，提出结合迭代PGD算法与局部-全局Transformer的可解释展开网络LGTEUN，在三个卫星数据集上性能优于现有SOTA方法。

2023-04-28cs.CVeess.IV

PGMAN：一种用于泛锐化的无监督生成多对抗网络

PGMAN: An Unsupervised Generative Multi-adversarial Network for Pan-sharpening

Beihang University（北京航空航天大学）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）

全色锐化的目的是融合低分辨率（LR）多光谱（MS）图像和高分辨率（HR）全色（PAN）图像由卫星获取，以生成高分辨率（HR）MS图像。在过去的几年里，已经开发了许多基于深度学习的方法。然而，由于没有预期的HR MS图像作为学习的参考，因此几乎所有现有方法都对MS和PAN图像进行下采样，并将原始MS图像视为目标以形成用于训练的监督设置。这些方法可以在缩小的图像上执行得很好，然而，它们对全分辨率图像的泛化能力很差。为了克服这个问题，我们设计了一个无监督的框架，能够直接从全分辨率图像中学习，而无需任何预处理。该模型是基于一种新的生成式多对抗网络构建的。我们使用一个双流发生器提取的模态特定的功能，分别从PAN和MS图像，并开发一个双重的，以保持光谱和空间信息的输入时，执行融合。此外，引入了一种新的损失函数，以促进在无监督设置下的训练。在高分二号和QuickBird图像上的实验结果表明，该方法在全分辨率图像上的融合效果明显优于其他方法。

2021-06-16cs.CVeess.IV

线性演化Transformer用于全色锐化

Linearly-evolved Transformer for Pan-sharpening

Southeast University（东南大学）；University of Electronic Science and Technology of China（电子科技大学）；University of Science and Technology of China（中国科学技术大学）；Hong Kong Polytechnic University（香港理工大学）；Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）

针对全色锐化中Transformer模型参数和计算量过大的问题，提出一种基于一维线性卷积链的1阶线性演化Transformer变体，构建轻量级框架，在多个卫星数据集上以更少计算资源取得与最先进方法相当的性能。

2024-04-19cs.CVeess.IV

MESSFN：一种用于全色锐化的多层次增强谱空融合网络

MESSFN : a Multi-level and Enhanced Spectral-Spatial Fusion Network for Pan-sharpening

Northwestern Polytechnical University（西北工业大学）

主要的泛锐化框架简单地在特定级别连接MS流和PAN流一次。这种融合方式忽略了两个流之间的多级谱空间相关性，这对于提高融合性能至关重要。考虑到这一点，我们提出了一个多层次和增强的频谱空间融合网络（MESSFN），具有以下创新：首先，充分利用和加强上述相关性，分层多级融合架构（HMFA）是精心设计的。建立了一种新的频谱-空间（SS）流，以分层地从MS流和PAN流中导出和融合多级先验频谱和空间专业知识。这有助于SS流在分层网络中掌握联合频谱-空间表示，以更好地对融合关系进行建模。第二，为了提供高级专业知识，因此，基于MS图像和PAN图像的固有特性，专门开发了两个特征提取块。在MS流中，提出了残余光谱注意块（RSAB），通过相邻的互谱相互作用来挖掘MS图像的不同光谱之间的潜在光谱相关性。而在PAN流中，提出了一种残余多尺度空间注意块（RMSAB），通过改进的基于空间注意的初始结构，从PAN图像中捕获多尺度信息并重建精确的高频细节。增强了光谱和空间特征表示。在两个数据集上的大量实验表明，所提出的网络与最先进的方法相比具有竞争力或更好。我们的代码可以在github上找到。

2021-09-21cs.CVeess.IV

用于全色锐化的三重卷积神经网络

A Triple-Double Convolutional Neural Network for Panchromatic Sharpening

Yingcai Honors College（英才荣誉学院）；University of Electronic Science and Technology of China（电子科技大学）；School of Mathematical Sciences（数学科学学院）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆兹实验室）；National Research Council - Institute of Methodologies for Environmental Analysis（国家研究委员会 - 环境分析方法研究所）；CNR-IMAA（国家研究委员会 - 环境分析方法研究所）

全色锐化是指将具有高空间分辨率的全色图像和具有低空间分辨率的多光谱图像进行融合，以获得高空间分辨率的多光谱图像。在本文中，我们提出了一种新的深度神经网络架构，该架构具有基于水平域的损失函数，用于通过考虑以下双类型结构进行泛锐化：\emph{i.e.,}双层，双分支和双向，称为三重双网络（TDNet）。利用TDNet的结构，可以充分利用全色图像的空间细节，将其逐步注入到低空间分辨率的多光谱图像中，从而得到高空间分辨率的输出。具体的网络设计是由传统的多分辨率分析（MRA）方法的物理公式驱动的。因此，一个有效的MRA融合模块也被集成到TDNet中。此外，我们采用了一些ResNet块和一些多尺度卷积核来加深和扩大网络，以有效地提高特征提取和建议TDNet的鲁棒性。在WorldView-3、QuickBird和GaoFen-2传感器采集的降低分辨率和全分辨率数据集上进行的大量实验表明，与最近一些最先进的泛锐化方法相比，所提出的TDNet具有优越性。消融研究也证实了所提出的方法的有效性。

2021-12-04cs.CVeess.IV

基于交替反向滤波网络的全色与多光谱图像融合

Panchromatic and Multispectral Image Fusion via Alternating Reverse Filtering Network

Hefei Institute of Physical Science, Chinese Academy of Sciences（中国科学院合肥物质科学研究院）；University of Science and Technology of China（中国科学技术大学）；Nanyang Technological University（南洋理工大学）；Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）

全色（PAN）和多光谱（MS）图像融合，又称全色锐化（Pan-sharpening），是指在高分辨率PAN图像的条件下，对低分辨率（LR）多光谱（MS）图像在空间域进行超分辨率处理，生成期望的高分辨率（HR）MS图像。在本文中，我们提出了一个简单而有效的\textit{alternating reverse filtering network}泛锐化。受经典的反向滤波的启发，将图像反转到滤波前的状态，我们将泛锐化制定为交替迭代的反向滤波过程，以可解释的方式融合LR MS和HR MS。不同于现有的模型驱动方法，需要精心设计的先验和退化的假设，反向过滤过程中避免了依赖于预定义的精确先验。为了通过度量空间上的压缩映射来保证迭代过程的稳定性和收敛性，我们开发了可学习的多尺度高斯核模块，而不是使用特定的滤波器。我们证明了这种配方的理论可行性。对不同场景进行了广泛的实验，以彻底验证我们的方法的性能，显著优于现有技术。

2022-10-15cs.CVeess.IV

一种基于分片插值模型和广义Gamma分布的引导边缘平滑锐化滤波器

A guided edge-aware smoothing-sharpening filter based on patch interpolation model and generalized Gamma distribution

平滑和锐化是两种基本的图像处理操作。后者通常通过反锐化掩模算法与前者相关。在本文中，我们开发了一种新型的滤波器，通过调整参数进行平滑或锐化。新滤波器的开发基于（1）统一平滑和锐化操作的新的基于拉普拉斯的滤波器公式，（2）与提供边缘感知能力的引导滤波器中使用的模型类似的补丁插值模型，以及（3）用作参数估计的先验的广义伽马分布。我们已经进行了详细的研究，两个版本的建议过滤器（自我指导和外部指导）的属性。我们还进行了实验，以证明所提出的过滤器的应用。在自我指导的情况下，我们已经开发出自适应平滑和锐化算法的基础上，纹理，深度和模糊信息提取的图像。应用包括增强人脸图像，产生浅景深效果，基于焦点的图像增强和接缝雕刻。在外部指导的情况下，我们已经开发了新的算法，闪光灯和无闪光灯的图像相结合，并使用全色图像增强多光谱图像。

2021-07-30eess.IV

学习图像推理先验渗透深度展开网络用于全色与多光谱图像融合

Learned Image Reasoning Prior Penetrates Deep Unfolding Network for Panchromatic and Multi-Spectral Image Fusion

Nanyang Technological University（南洋理工大学）；University of Science and Technology of China（中国科学技术大学）；Nankai University（南开大学）

提出一种模型驱动的深度展开框架，将掩码自编码器作为推理先验嵌入网络并约束空间-光谱一致性，提升全色锐化的可解释性和性能，优于现有方法。

2023-08-30cs.CVeess.IV

基于引导非局部块正则化和高效滤波的多波段融合反演

Guided Nonlocal Patch Regularization and Efficient Filtering-Based Inversion for Multiband Fusion

在多波段融合中，具有高空间和低光谱分辨率的图像与具有低空间但高光谱分辨率的图像组合，以产生具有高空间和光谱分辨率的单个多波段图像。这出现在遥感应用中，例如全色锐化~（MS+PAN）、高光谱锐化~（HS+PAN）和HS-MS融合~（HS+MS）。遥感图像是纹理化的，具有重复的结构。基于图像恢复的非局部块方法的启发，我们提出了一个凸正则化，（i）考虑到长距离的相关性，（ii）惩罚补丁变化，这是更有效的比像素变化捕捉纹理信息，和（iii）使用更高的空间分辨率的图像作为指导图像的权重计算。我们提出了一个有效的ADMM算法，用于优化正则化以及来自成像模型的标准最小二乘损失函数。我们的算法的新颖之处在于，通过将补丁变化表示为滤波操作，并通过明智地分割原始变量和引入潜变量，我们能够有效地使用基于FFT的卷积和软阈值来解决ADMM子问题。就重建质量而言，我们的方法优于最先进的变分和深度学习技术。

2022-10-09eess.IV

基于卷积神经网络的多光谱卫星图像超分辨率

Super-resolution of multispectral satellite images using convolutional neural networks

UP42 GmbH（UP42有限公司）

超分辨率旨在通过算法手段提高图像分辨率，近年来随着计算机视觉和深度学习领域的进步而取得了进展。基于各种架构的卷积神经网络已被应用于该问题，例如自动编码器和残差网络。虽然大多数研究集中在处理只包括RGB颜色通道的照片，很少有工作可以集中在多波段，分析卫星图像。卫星图像通常包括全色波段，其空间分辨率比其他波段高，但光谱分辨率比其他波段低。在遥感领域，对卫星图像进行全色锐化有着悠久的传统，即通过将多光谱波段与全色波段合并，提高多光谱波段的空间分辨率。据我们所知，到目前为止还没有利用全色波段的超分辨率方法。在本文中，我们提出了一种方法来训练国家的最先进的CNN使用对低分辨率多光谱和高分辨率泛锐化图像瓦片，以创建超分辨率的分析图像。导出的质量度量表明，该方法提高了处理后的图像的信息内容。我们比较了四种CNN架构创建的结果，其中RedNet30表现最好。

2020-04-08cs.CVeess.IV

HyperKon：用于高光谱图像分析的自监督对比网络

HyperKon: A Self-Supervised Contrastive Network for Hyperspectral Image Analysis

针对高光谱数据潜力因缺乏原生CNN主干网络未被充分利用的问题，提出基于EnMAP卫星数据的自监督对比学习网络HyperKon，通过光谱注意力与专门卷积层实现98%检索准确率，在分类与全色锐化任务上超越现有方法。

2023-11-26eess.IV

基于记忆增强深度展开网络的图像超分辨率制导

Memory-augmented Deep Unfolding Network for Guided Image Super-resolution

Hefei Institute of Physical Science, Chinese Academy of Sciences（中国科学院合肥物质科学研究院）；University of Science and Technology of China（中国科学技术大学）；Nanjing University of Science and Technology（南京理工大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Xi’an Jiaotong University（西安交通大学）

引导图像超分辨率（Guided Image Super-resolution，GISR）是在高分辨率（High Resolution，HR）图像的引导下，通过增强低分辨率（Low Resolution，LR）目标图像的空间分辨率，获得高分辨率（High Resolution，HR）目标图像的技术。然而，以往的基于模型的方法主要是将整个图像作为一个整体，并假设HR目标图像和HR引导图像之间的先验分布，简单地忽略了它们之间的许多非局部共同特征。为了缓解这个问题，我们首先提出了一个最大后验（MAP）估计模型的GISR与两种类型的先验的HR目标图像，即，局部隐含先验和全局隐含先验。局部隐式先验旨在从局部角度对HR目标图像和HR引导图像之间的复杂关系进行建模，全局隐式先验从全局角度考虑两幅图像之间的非局部自回归特性。其次，我们设计了一种新的交替优化算法来解决这个模型的GISR。该算法是在一个简洁的框架，便于被复制到常用的深度网络结构。第三，为了减少迭代阶段的信息损失，引入持久记忆机制，通过利用图像和特征空间中的长短期记忆单元（LSTM）来增强信息表示。这样，就构建了一个具有一定解释性和高表示能力的深度网络。大量的实验结果验证了我们的方法在各种GISR任务上的优越性，包括泛锐化，深度图像超分辨率和MR图像超分辨率。

2022-02-12cs.CVeess.IV