Pansharpening by convolutional neural networks in the full resolution framework
University Federico II（费德里科二世大学）；University Parthenope（帕特诺佩大学）
近年来，人们对基于深度学习的泛锐化越来越感兴趣。到目前为止，研究主要集中在架构上。然而，模型训练是一个同样重要的问题。第一个问题是缺乏基本事实，这是锐化中不可避免的。这通常通过在降低的分辨率域中训练网络并使用原始数据作为基础事实来解决，依赖于隐式尺度不变性假设。然而，在全分辨率图像上，结果往往令人失望，这表明这种不变性并不成立。另一个问题是训练数据的缺乏，这导致有限的泛化能力和对非训练测试图像的差的性能。在本文中，我们提出了一个基于深度学习的全色锐化的全分辨率训练框架。该框架是完全通用的，可用于任何基于深度学习的泛锐化模型。训练在高分辨率域中进行，仅依赖于原始数据，从而避免任何信息丢失。为了确保光谱和空间保真度，定义了合适的双分量损耗。光谱分量加强了全色锐化输出和低分辨率多光谱输入之间的一致性。以高分辨率计算的空间分量最大化每个全色锐化带与全色输入之间的局部相关性。在测试时，采用目标自适应的操作方式，实现了良好的泛化能力与有限的计算开销。在WorldView-3，WorldView-2和GeoEye-1图像上进行的实验表明，使用该框架训练的方法在全分辨率数值索引和视觉质量方面都保证了相当好的性能。
2022-04-04 cs.CV eess.IV
Unsupervised Hyperspectral Pansharpening via Low-rank Diffusion Model
School of Mathematics and Statistics（数学与统计学院）；School of Computer Science and Technology（计算机科学与技术学院）；College of Artificial Intelligence（人工智能学院）
提出低秩扩散模型用于无监督高光谱全色锐化，通过低秩张量分解结合预训练扩散模型与贝叶斯方法，在无需配对数据的情况下提升了图像恢复质量与泛化能力。
2023-11-19 cs.CV eess.IV
Band-wise Hyperspectral Image Pansharpening using CNN Model Propagation
University Federico II（费德里科二世大学）；National Research Council, Institute of Methodologies for Environmental Analysis, CNR-IMAA（国家研究委员会环境分析方法研究所）；National Biodiversity Future Center（国家生物多样性未来中心）；University Parthenope（帕尔特诺珀大学）
本文提出一种基于CNN模型传播的波段式高光谱全色锐化方法，通过顺序波段自适应方案传播简单单波段无监督模型，无需大量标注数据，优于传统和深度学习方法。
2023-11-11 cs.CV eess.IV
FGF-GAN: A Lightweight Generative Adversarial Network for Pansharpening via Fast Guided Filter
Xi'an Jiaotong University（西安交通大学）
全色锐化是一种广泛应用的遥感图像增强技术。其原理是将输入的高分辨率单通道全色（PAN）图像和低分辨率多光谱图像进行融合，得到高分辨率多光谱（HRMS）图像。现有的深度学习泛锐化方法有两个缺点。首先，需要将两个输入图像的特征沿通道维度连接以重建HRMS图像，这使得PAN图像的重要性不突出，并且还导致高计算成本。二是难以通过人工设计的损失函数提取特征的隐含信息。为此，我们提出了一个生成对抗网络，通过快速引导滤波器（FGF）的泛锐化。在生成器中，用FGF代替了传统的通道级联，在减少参数数量的同时更好地保留了空间信息。同时，融合对象可以通过空间注意模块进行高亮显示。此外，通过对抗性训练可以有效地保留特征的潜在信息。大量实验表明，我们的网络生成的高质量HRMS图像可以超过现有方法，并且参数较少。
2021-11-30 cs.CV eess.IV
Unsupervised Pansharpening Based on Self-Attention Mechanism
University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）；Applied Research LLC（应用研究有限责任公司）
全色锐化是将低空间分辨率但光谱特征丰富的多光谱图像与高空间分辨率但光谱特征较差的全色图像进行融合。传统的方法通常将PAN中提取的高频细节注入到上采样的MSI中。最近的深度学习努力大多是在假设HR MSI可用的情况下进行监督的，这是不现实的，特别是对于卫星图像。然而，这些方法不能充分利用MSI中丰富的光谱特性。由于卫星图像中广泛存在混合像素，其中每个像素往往覆盖一种以上的组成材料，因此子像素级的全色锐化变得至关重要。在本文中，我们提出了一种基于自注意力机制（SAM）的深度学习框架中的无监督泛锐化（UP）方法来解决上述挑战，称为UP-SAM。本文的贡献有三个方面。首先，提出了自注意力机制，根据亚像素精度的MSI光谱特性的注意力表示，估计空间变化的细节提取和注入函数。其次，这种注意力表示来自混合像素与建议堆叠注意力网络供电的棒打破结构，以满足混合像素配方的物理约束。第三，细节提取和注入函数是基于注意表示的空间变化的，这大大提高了重建精度。大量的实验结果表明，所提出的方法是能够重建更清晰的不同类型的MSI，与国家的最先进的相比，更多的细节和更少的光谱失真。
2020-08-30 cs.CV eess.IV
Hyperspectral Pansharpening Based on Improved Deep Image Prior and Residual Reconstruction
Whiting School of Engineering（怀廷工程学院）；The Johns Hopkins University（约翰斯·霍普金斯大学）
高光谱全色锐化的目的是合成一个低分辨率的高光谱图像（LR-HSI）与注册的全色图像（PAN），以产生一个增强的HSI与高光谱和空间分辨率。最近提出的HS泛锐化方法使用深度卷积网络（ConvNets）获得了显着的结果，其通常由三个步骤组成：（1）对LR-HSI进行上采样，（2）通过ConvNet预测残差图像，以及（3）通过将第一步和第二步的输出相加来获得最终的融合HSI。最近的方法利用深度图像先验（DIP）来对LR-HSI进行上采样，因为它具有出色的保留空间和光谱信息的能力，而无需从大型数据集中学习。然而，我们观察到，通过向传统的谱域能量函数引入额外的空间域约束，可以进一步提高上采样的HSI的质量。我们将我们的空间域约束定义为预测PAN图像和实际PAN图像之间的$L_1$距离。为了估计上采样HSI的PAN图像，我们还提出了一个可学习的光谱响应函数（SRF）。此外，我们注意到，上采样的HSI和参考HSI之间的残差图像主要由边缘信息和非常精细的结构组成。为了准确地估计精细信息，我们提出了一种新的过完备网络，称为HyperKite，它专注于通过限制深层中的接收增加来学习高级特征。我们在三个HSI数据集上进行实验，以证明我们的DIP-HyperKite优于最先进的泛锐化方法。部署代码，预训练模型和我们的DIP-HyperKite的最终融合输出以及用于比较的方法将在https://github…
2021-07-06 cs.CV cs.LG eess.IV
Deep Learning Hyperspectral Pansharpening on large scale PRISMA dataset
本文提出了一个覆盖约262200平方公里的大规模PRISMA高光谱数据集，评估多种深度学习方法在RR和FR设置下的全色锐化表现，发现数据驱动神经网络方法优于无机器学习方法。
2023-07-28 eess.IV
PanBench: Towards High-Resolution and High-Performance Pansharpening
Qinghai University（青海大学）；Tsinghua University（清华大学）
本文提出高分辨率多场景全色锐化数据集PanBench，包含5,898对多卫星样本，并提出级联多尺度融合网络CMFNet实现高保真图像合成，推动遥感研究发展。
2023-11-20 cs.CV eess.IV
LDP-Net: An Unsupervised Pansharpening Network Based on Learnable Degradation Processes
Sichuan University（四川大学）；Hunan University（湖南大学）
遥感图像全色锐化的目的是将全色图像与低分辨率多光谱图像进行融合，直接获得高分辨率多光谱图像。如何将LRMS图像丰富的光谱信息与PAN图像丰富的空间信息有效地结合起来是研究的重点。最近，已经提出了许多基于深度学习的方法来执行pansharpening任务。然而，这些方法通常具有两个主要缺点：1）需要HRMS进行监督学习;以及2）简单地忽略MS和PAN图像之间的潜在关系并直接融合它们。为了解决这些问题，我们提出了一种新的无监督网络的基础上可学习的退化过程，被称为LDP-Net。分别设计了一个再模糊模块和一个灰度化模块来学习相应的退化过程。此外，提出了一种新的混合损失函数，以约束在不同分辨率的泛锐化图像和PAN和LRMS图像之间的空间和光谱的一致性。Worldview 2和Worldview 3图像上的实验表明，我们提出的LDP-Net可以有效地融合PAN和LRMS图像，而无需HRMS样本的帮助，在定性视觉效果和定量指标方面都取得了良好的性能。
2021-11-24 cs.CV eess.IV
Variational Zero-shot Multispectral Pansharpening
Macau University of Science and Technology（澳门科技大学）
针对全色锐化中缺乏训练数据的问题，提出一种变分零样本方法，将神经网络引入优化目标以隐式建模HRMS与PAN关系，无需训练对，实验表明性能优于现有方法。
2024-11-07 cs.CV eess.IV
CrossDiff: Exploring Self-Supervised Representation of Pansharpening via Cross-Predictive Diffusion Model
Northwestern Polytechnical University（西北工业大学）；Research Development Institute of Northwestern Polytechnical University in Shenzhen（西北工业大学深圳研究院）；Shandong Normal University（山东师范大学）
本文提出CrossDiff模型，通过交叉预测扩散任务预训练UNet，冻结编码器后仅训练融合头，实现全色锐化的自监督表示学习，并在多数据集上验证了其优越性和泛化能力。
2024-01-13 cs.CV eess.IV
Multi-Head Attention Residual Unfolded Network for Model-Based Pansharpening
Institute of Applied Computing and Community Code（应用计算与社区代码研究所）
本文提出一种基于变分模型与多头注意力残差网络MARNet的深度展开卫星图像融合方法，通过残差上下采样层利用PAN几何信息，并在多个数据集上验证了其优越性能与跨传感器泛化能力。
2024-09-04 cs.CV eess.IV
Progressive Alignment Degradation Learning for Pansharpening
Department of Computational Mathematics, School of Mathematics, Harbin Institute of Technology（计算数学系，数学学院，哈尔滨工业大学）
针对Wald协议对真实退化近似不准导致深度全色锐化模型泛化受限的问题，提出渐进对齐退化模块（PADM）自适应学习退化过程，并引入融合高频细节的扩散框架HFreqdiff，显著提升了高分辨率多光谱图像的空间锐度与质量。
2025-06-25 cs.AI cs.CV eess.IV
Computational Modeling of Deep Multiresolution-Fractal Texture and Its Application to Abnormal Brain Tissue Segmentation
Old Dominion University（奥多明尼昂大学）；National Laboratory for Cancer Research（国家癌症研究实验室）
提出融合多分辨率 fBm 与深度多分辨率分析的三维 MFDNN，用于从脑 MRI 学习分形纹理特征，并在 BRATS 2021 的 1251 例病例上实现更优或可比的肿瘤分割性能。
2023-06-07 cs.CV cs.LG eess.IV
SDRCNN: A single-scale dense residual connected convolutional neural network for pansharpening
本文提出一种用于全色锐化的单尺度轻量级卷积神经网络SDRCNN，通过新型密集残差连接结构在精度与效率间取得更优平衡，在多卫星数据集上表现优于传统及深度学习方法。
2023-07-01 cs.CV eess.IV
Efficient and Accurate Hyperspectral Pansharpening Using 3D VolumeNet and 2.5D Texture Transfer
最近，卷积神经网络（CNN）在单图像超分辨率的高光谱全色锐化中取得了可喜的成果。然而，用更少的参数和更短的预测时间来增强CNN的表示能力是一项具有挑战性和关键性的任务。在本文中，我们提出了一种新的多光谱图像融合方法，使用先前提出的三维CNN模型VolumeNet和2.5维纹理传输方法使用其他模态高分辨率（HR）图像的组合。由于多光谱（MS）图像由多个波段组成，每个波段都是一个2D图像切片，因此MS图像可以被视为3D数据。因此，我们使用先前提出的VolumeNet融合HR全色（PAN）图像和双三次插值MS图像。由于所提出的3D VolumeNet可以通过扩大模型的感受野来有效地提高精度，并且由于其轻量级的结构，我们可以在不购买大量遥感图像进行训练的情况下实现比现有方法更好的性能。此外，VolumeNet可以尽可能地恢复HR MR图像中丢失的高频信息，降低后续步骤中特征提取的难度：2.5D纹理转移。作为最新技术之一，基于深度学习的纹理转移已被证明可以有效和高效地提高图像重建的视觉性能和质量评价指标。与RGB图像的纹理转移处理不同，我们使用HR PAN图像作为参考图像，对MS图像的每个频段进行纹理转移，称为2.5维纹理转移。实验结果表明，该方法优于现有的方法在客观准确性评估，方法的效率，和视觉主观评价。
2022-03-08 cs.CV eess.IV
A Triple-Double Convolutional Neural Network for Panchromatic Sharpening
Yingcai Honors College（英才荣誉学院）；University of Electronic Science and Technology of China（电子科技大学）；School of Mathematical Sciences（数学科学学院）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆兹实验室）；National Research Council - Institute of Methodologies for Environmental Analysis（国家研究委员会 - 环境分析方法研究所）；CNR-IMAA（国家研究委员会 - 环境分析方法研究所）
全色锐化是指将具有高空间分辨率的全色图像和具有低空间分辨率的多光谱图像进行融合，以获得高空间分辨率的多光谱图像。在本文中，我们提出了一种新的深度神经网络架构，该架构具有基于水平域的损失函数，用于通过考虑以下双类型结构进行泛锐化：\emph{i.e.,}双层，双分支和双向，称为三重双网络（TDNet）。利用TDNet的结构，可以充分利用全色图像的空间细节，将其逐步注入到低空间分辨率的多光谱图像中，从而得到高空间分辨率的输出。具体的网络设计是由传统的多分辨率分析（MRA）方法的物理公式驱动的。因此，一个有效的MRA融合模块也被集成到TDNet中。此外，我们采用了一些ResNet块和一些多尺度卷积核来加深和扩大网络，以有效地提高特征提取和建议TDNet的鲁棒性。在WorldView-3、QuickBird和GaoFen-2传感器采集的降低分辨率和全分辨率数据集上进行的大量实验表明，与最近一些最先进的泛锐化方法相比，所提出的TDNet具有优越性。消融研究也证实了所提出的方法的有效性。
2021-12-04 cs.CV eess.IV
Multiresolution Fully Convolutional Networks to detect Clouds and Snow through Optical Satellite Images
University of Maryland Baltimore County（马里兰大学巴尔的摩郡分校）；Faculty of Geo-Information Science and Earth Observation (ITC), University of Twente（特文特大学地理信息科学与地球观测学院）；Indian Institute of Remote Sensing (IIRS)（印度遥感研究所）
云和雪在可见光和近红外（VNIR）范围内具有相似的光谱特征，因此在高分辨率VNIR图像中很难相互区分。我们通过引入短波红外（SWIR）波段来解决这个问题，其中云具有高度反射性，雪具有吸收性。由于SWIR的分辨率通常低于VNIR，因此本研究提出了一种多分辨率全卷积神经网络（FCN），可以有效地检测VNIR图像中的云和雪。我们融合了深FCN内的多分辨率波段，并在更高的VNIR分辨率下执行语义分割。这种基于融合的分类器以端到端的方式进行训练，在印度北阿坎德邦捕获的Resourcesat-2数据上实现了94.31%的总体准确率和97.67%的F1得分。这些分数比随机森林分类器高30%，比独立的单分辨率FCN高10%。除了用于云检测目的外，该研究还强调了卷积神经网络在多传感器融合问题中的潜力。
2022-01-07 cs.CV eess.IV eess.SP
Guided Deep Decoder: Unsupervised Image Pair Fusion
RIKEN AIP（理化学研究所革新智能综合研究中心）；German Aerospace Center（德国航空航天中心）；Univ. Grenoble Alpes（格勒诺布尔-阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；GIPSA-lab（格勒诺布尔图像语音信号自动控制实验室）；The University of Tokyo（东京大学）
在其信息中具有折衷的输入和引导图像的融合（例如，高光谱和RGB图像融合或全色锐化）可以被解释为一个一般问题。然而，以前的研究采用了特定任务的手工制作的先验，并没有解决一个统一的方法的问题。为了解决这一限制，在这项研究中，我们提出了一个引导深度解码器网络作为一般先验。所提出的网络由利用引导图像的多尺度特征的编码器-解码器网络和生成输出图像的深度解码器网络组成。这两个网络通过特征细化单元连接，以将引导图像的多尺度特征嵌入到深度解码器网络中。所提出的网络允许在没有训练数据的情况下以无监督的方式优化网络参数。我们的研究结果表明，该网络可以实现各种图像融合问题的最先进的性能。
2020-07-23 cs.CV eess.IV
Randomized Multiresolution Scanning in Focal and Fast E/MEG Sensing of Brain Activity with a Variable Depth
我们专注于脑磁电成像的神经活动，特别是，通过层次贝叶斯模型（HBM）找到一个强大的估计的主要电流分布。我们的目标是开发一个合理的快速最大后验（MAP）估计技术，这将是适用于表面和深层地区没有具体的先验知识的数量或位置的活动。为了使任何深度的源可扩展性，我们引入了一种随机多分辨率扫描（RAMUS）的方法，其中的MAP估计的大脑活动是不同的重建过程中。RAMUS旨在为整个大脑提供强大而准确的成像结果，同时将计算成本保持在适当的水平。逆伽马（IG）分布被应用作为主要的超先验，以实现最佳的性能为大脑的深部。在这个概念验证研究中，我们考虑通过模拟14-20 ms刺激后体感诱发电位和电手腕刺激的场响应的数值模拟数据来检测同时的丘脑和体感活动。球模型和真实模型都被用来分析源重建的差异。在数值研究的情况下，RAMUS被观察到，以提高深组件的可见性，也边缘化的离散化和优化的随机效应，而没有显着的计算成本。一个强大的和准确的MAP估计的初级电流密度在大脑的浅表和深部。
2020-02-21 cs.NA eess.IV math.NA
Multiresolution Convolutional Autoencoders
University of Washington（华盛顿大学）；Lawrence Livermore National Lab（劳伦斯利弗莫尔国家实验室）
我们提出了一种多分辨率卷积自动编码器（MrCAE）架构，该架构集成并利用了三种非常成功的数学架构：（i）多重网格方法，（ii）卷积自动编码器和（iii）迁移学习。该方法提供了一个自适应的，分层的架构，利用渐进的训练方法多尺度时空数据。该框架允许跨多个尺度的输入：从紧凑的（少量权重）网络架构和低分辨率数据开始，我们的网络以原则性的方式逐步加深和扩大，以基于其当前重建性能在更高分辨率数据中编码新信息。应用基本的迁移学习技术来确保从先前的训练步骤中学习到的信息可以快速地转移到更大的网络中。因此，网络可以动态地捕获网络的不同深度处的不同缩放特征。这种自适应多尺度架构的性能增益说明通过一系列的数值实验合成的例子和现实世界的时空数据。
2020-04-10 cs.LG cs.NA eess.IV
A training-free recursive multiresolution framework for diffeomorphic deformable image registration
University of Alberta（阿尔伯塔大学）；Servier Virtual Cardiac Centre（施维雅虚拟心脏中心）；Mazankowski Alberta Heart Institute（马赞科夫斯基阿尔伯塔心脏研究所）
微分变形图像配准是医学图像分析中的关键任务之一，其目的是在保持变换的拓扑结构和可逆性的同时找到唯一的变换。深度卷积神经网络（CNN）通过从大型数据集中学习变换先验，已经产生了非常适合图像配准的方法。这些方法性能的提高与它们从难以获得的几个样本医学图像中学习信息的能力有关，并且使框架偏向于特定的数据域。在本文中，我们提出了一种新的非纯训练的方法，这是建立在一个常微分方程的原则。我们的配方产生一个欧拉积分型递归计划，以估计在不同分辨率的固定和移动图像金字塔之间的空间变换的变化。所提出的架构设计简单。运动图像在每个分辨率下连续变形，最后与固定图像对齐;这个过程是递归的，在每个分辨率下，全卷积网络（FCN）对当前变形图像的变形的渐进变化进行建模。整个系统是端到端的，并从头开始为每对图像进行优化。与基于学习的方法相比，该方法既不需要专门的训练集，也不存在任何训练偏差。我们在三个心脏图像数据集上评估了我们的方法。评估结果表明，该方法达到了国家的最先进的配准精度，同时保持理想的仿形属性。
2022-02-01 cs.CV cs.LG eess.IV
Interpretable and Frugal Learning Systems Employing Multiresolution Pyramids and Volterra Kernels
Indian Institute of Technology Bombay（印度孟买理工大学）
提出基于信号理论的可解释学习系统，结合多分辨率分析、Volterra核和可微算子模块，用于逆建模、分类和分割任务，在微波辐射计反演、图像分割等应用中验证有效性。
2026-06-16 eess.AS eess.IV eess.SP
Deep Adaptive Wavelet Network
Universidad Nacional de Colombia（哥伦比亚国立大学）；The University of Tokyo（东京大学）；McGill University（麦吉尔大学）；Target Corporation（塔吉特公司）；Digital Frontier Inc.（数字前沿公司）
尽管卷积神经网络已经成为计算机视觉许多领域的首选方法，但它们仍然缺乏可解释性，并且通常在繁琐的试错过程中手动设计。本文旨在通过将多分辨率分析集成到深度神经网络设计的核心，提出一种以系统方式设计且可解释的深度神经网络来克服这些局限性。通过使用提升方案，可以生成小波表示并设计能够以端到端形式学习小波系数的网络。与最先进的结构相比，该模型需要更少的超参数调整，并在图像分类任务中达到有竞争力的准确性
2019-12-10 cs.CV cs.LG eess.IV
PC-GANs: Progressive Compensation Generative Adversarial Networks for Pan-sharpening
Northwestern Polytechnical University（西北工业大学）；Xidian University（西安电子科技大学）
多光谱和全色图像的融合通常被称为全色锐化。大多数基于深度学习的泛锐化方法都是通过一步方案来锐化多光谱图像，这在很大程度上取决于网络的重建能力。然而，遥感图像往往具有较大的变化，这些一步法容易产生误差积累，不能很好地保留图像的空间细节和光谱信息。在本文中，我们提出了一种新的两步模型的泛锐化，锐化MS图像通过渐进补偿的空间和光谱信息。首先，使用深度多尺度引导的生成对抗网络来初步增强MS图像的空间分辨率。从粗域中的预锐化MS图像开始，我们的方法然后在具有反向架构的几个生成对抗网络（GANs）上逐步细化空间和光谱残差。整个模型由三重GANs组成，并基于具体架构设计了联合补偿损失函数，使三重GANs能够同时训练。此外，本文提出的空间-光谱残差补偿结构可以推广到其他全色锐化方法中，进一步提高其融合效果。在不同的数据集上进行了大量的实验，结果证明了我们提出的方法的有效性和效率。
2022-07-29 cs.CV eess.IV
Embedding Gradient-based Optimization in Image Registration Networks
Imperial College London（帝国理工学院）；Technical University of Munich（慕尼黑工业大学）；University of Edinburgh（爱丁堡大学）
深度学习（DL）图像配准方法通过训练深度神经网络来在一次快速前向传递中预测最佳变换，从而分摊昂贵的成对迭代优化。在这项工作中，我们弥补了传统的迭代能量优化的配准和基于网络的配准之间的差距，并提出梯度下降网络的图像配准（梯度下降网络）。我们提出的方法训练了一个DL网络，该网络在其前向传递中嵌入了展开的基于多分辨率梯度的能量优化，这在其更新步骤中显式地执行图像相异性最小化。使用2D心脏MR和3D脑部MR图像对配准任务进行了广泛评价。我们证明，我们的方法实现了最先进的注册性能，同时使用更少的学习参数，具有良好的数据效率和域鲁棒性。
2022-09-12 cs.CV eess.IV
FD-Net: An Unsupervised Deep Forward-Distortion Model for Susceptibility Artifact Correction in EPI
Bilkent University（比尔肯特大学）；National Magnetic Resonance Research Center (UMRAM)（国家磁共振研究中心（UMRAM））
FD-Net提出无监督深度前向畸变模型，通过强制校正图像与采集数据一致，快速高保真校正EPI磁化率伪影，性能媲美TOPUP且效率更高。
2023-03-18 cs.CV eess.IV
Remote Sensing Image Scene Classification with Deep Neural Networks in JPEG 2000 Compressed Domain
University of Trento（特伦托大学）；Technische Universität Berlin（柏林工业大学）
为了降低存储要求，遥感图像通常采用压缩格式存储。现有的使用深度神经网络（DNN）的场景分类方法需要对图像进行完全分类，这在操作应用中是一项计算要求很高的任务。为了解决这个问题，在本文中，我们提出了一种新的方法来实现场景分类的JPEG 2000压缩RS图像。所提出的方法包括两个主要步骤：i）在JPEG 2000中使用的可逆双正交小波滤波器的分辨率更高的子带的近似;和ii）近似的小波子带和场景分类的学习描述符的基础上的高级语义内容的表征。这是通过将与粗分辨率小波子带相关联的码流作为输入以使用多个转置卷积层来近似更精细分辨率子带来实现的。然后，一系列卷积层对近似小波子带的高级语义内容进行建模。因此，所提出的方法模型的JPEG 2000压缩算法中给出的多分辨率范式在一个端到端的可训练的统一神经网络。在分类阶段，所提出的方法只需要粗分辨率的小波子带作为输入，从而减少所需的时间来应用解码。在两个基准航空图像档案上进行的实验结果表明，与传统的RS场景分类方法（需要完整的图像解压缩）相比，所提出的方法显着减少了计算时间，具有相似的分类精度。
2020-12-15 cs.CV cs.LG eess.IV
Guided Nonlocal Patch Regularization and Efficient Filtering-Based Inversion for Multiband Fusion
在多波段融合中，具有高空间和低光谱分辨率的图像与具有低空间但高光谱分辨率的图像组合，以产生具有高空间和光谱分辨率的单个多波段图像。这出现在遥感应用中，例如全色锐化~（MS+PAN）、高光谱锐化~（HS+PAN）和HS-MS融合~（HS+MS）。遥感图像是纹理化的，具有重复的结构。基于图像恢复的非局部块方法的启发，我们提出了一个凸正则化，（i）考虑到长距离的相关性，（ii）惩罚补丁变化，这是更有效的比像素变化捕捉纹理信息，和（iii）使用更高的空间分辨率的图像作为指导图像的权重计算。我们提出了一个有效的ADMM算法，用于优化正则化以及来自成像模型的标准最小二乘损失函数。我们的算法的新颖之处在于，通过将补丁变化表示为滤波操作，并通过明智地分割原始变量和引入潜变量，我们能够有效地使用基于FFT的卷积和软阈值来解决ADMM子问题。就重建质量而言，我们的方法优于最先进的变分和深度学习技术。
2022-10-09 eess.IV
