Spectral Super-Resolution via Adversarial Unfolding and Data-Driven Spectrum Regularization: From Multispectral Satellite Data to NASA Hyperspectral Image
National Cheng Kung University(国立成功大学)
本研究提出了一种基于对抗展开和数据驱动光谱正则化的深度学习框架,实现从12到186波段的光谱超分辨率,并统一Sentinel-2数据的空间分辨率至5米。
2026-03-01 eess.IV
Underdetermined Blind Source Separation via Weighted Simplex Shrinkage Regularization and Quantum Deep Image Prior
National Cheng Kung University(国立成功大学)
本文提出一种基于量子深度图像先验和加权简单形收缩正则化的多谱段解混算法,通过虚拟波段分割生成虚拟超谱图像,解决欠定盲源分离问题,实现高精度多谱段解混。
2026-03-26 eess.IV
Hyperspectral Image Classification Based on Adaptive Sparse Deep Network
Shantou University(汕头大学)
稀疏模型广泛应用于高光谱图像分类中,然而稀疏度和正则化参数的不同对分类结果有很大影响,本文提出了一种基于深度结构的自适应稀疏深度网络,通过深度网络构造最优稀疏表示和正则化参数。基于交替方向乘法(ADMM)算法,设计了一个数据流图来表示每次更新迭代,推导了前向网络和反向传播网络,反向传播网络中所有参数采用梯度下降法进行更新。在此基础上,提出了一种自适应稀疏深度网络(Adaptive Sparse Deep Network,ANN),并与传统的分类器或其他稀疏模型算法进行了比较,实验结果表明,该方法在HSI分类中取得了很大的改进。
2019-10-21 cs.CV eess.IV
Graph Spatio-Spectral Total Variation Model for Hyperspectral Image Denoising
Tokyo Institute of Technology(东京工业大学)
空间-光谱全变分(SSTV)模型作为一种有效的高光谱图像(HSI)正则化方法,在混合噪声去除等应用中得到了广泛的应用。然而,由于SSTV均匀地计算局部空间差异,因此很难在去除噪声的同时保留具有精细边缘和纹理的复杂空间结构,特别是在高噪声强度的情况下。为了解决这个问题,我们提出了一种新的TV型正则化称为图形SSTV(GSSTV),它生成一个图,明确反映了空间结构的目标HSI从嘈杂的HSI,并采用了加权空间差分算子设计的基础上,这个图。此外,我们制定的混合噪声去除问题作为一个凸优化问题,涉及GSSTV和开发一个有效的算法的基础上的原始-对偶分裂方法来解决这个问题。最后,我们证明了GSSTV的有效性相比,现有的HSI正则化模型,通过实验混合噪声去除。源代码将在https://www.mdi.c.titech.ac.jp/publications/gsstv上提供。
2022-07-22 cs.CV eess.IV
Adaptive Regularized Low-Rank Tensor Decomposition for Hyperspectral Image Denoising and Destriping
本文提出自适应超拉普拉斯正则化低秩张量分解方法,通过单独建模条带噪声并自适应估计梯度分布参数,有效实现高光谱图像去噪与去条带。
2024-01-11 eess.IV
Hyperspectral Image Denoising Using Non-convex Local Low-rank and Sparse Separation with Spatial-Spectral Total Variation Regularization
Qingdao University(青岛大学);Harbin Institute of Technology(哈尔滨工业大学);University of Electronic Science and Technology of China(电子科技大学);University of Kentucky(肯塔基大学);University of California, Santa Barbara(加州大学圣巴巴拉分校)
在本文中,我们提出了一种新的非凸方法来鲁棒的主成分分析HSI去噪,重点是同时开发更准确的近似秩和列稀疏的低秩和稀疏的组件,分别。特别地,新方法采用对数行列式秩近似和一种新的$\ell_{2,\log}$范数,分别限制了分量矩阵的局部低秩或列稀疏性。对于$\ell_{2,\log}$-正则化收缩问题,我们给出了一个有效的封闭形式的解,称之为$\ell_{2,\log}$-收缩算子.新的正则化和相应的算子可以普遍用于其他需要列稀疏性的问题。此外,我们在基于对数的非凸RPCA模型中施加空间-光谱全变分正则化,这增强了恢复的HSI中空间和光谱视图的全局分段平滑性和光谱一致性。仿真和真实HSI上的大量实验证明了该方法在去噪HSI方面的有效性。
2022-01-08 cs.CV cs.LG eess.IV
A Dual Symmetric Gauss-Seidel Alternating Direction Method of Multipliers for Hyperspectral Sparse Unmixing
School of Information Science and technology, and the Provincial Key Lab of Information Coding and Trans- mission, Southwest Jiaotong University(信息科学与技术学院,信息编码与传输省重点实验室,西南交通大学);School of Mathematics, Southwest Jiaotong University(数学学院,西南交通大学);School of Computer and Computing Science, Zhejiang University City College(计算机与计算科学学院,浙江大学城市学院)
本文提出了一种高效的双对称Gauss-Seidel交替方向乘子法(sGS-ADMM)用于带有总变分正则化的超光谱稀疏解混,解决了传统ADMM在计算效率和收敛性方面的不足,并通过实验验证了该方法在解混效率和图像质量上的优越性。
2020-07-11 cs.CV cs.NA eess.IV
HyperKon: A Self-Supervised Contrastive Network for Hyperspectral Image Analysis
针对高光谱数据潜力因缺乏原生CNN主干网络未被充分利用的问题,提出基于EnMAP卫星数据的自监督对比学习网络HyperKon,通过光谱注意力与专门卷积层实现98%检索准确率,在分类与全色锐化任务上超越现有方法。
2023-11-26 eess.IV
Preventing Overfitting in Deep Image Prior for Hyperspectral Image Denoising
Robotics Institute, Athena Research and Innovation Center(雅典娜研究与创新中心机器人研究所);School of Electrical and Computer Engineering, National Technical University of Athens(雅典国家技术大学电气与计算机工程学院)
本文提出结合鲁棒数据保真与显式敏感性正则化的深度图像先验方法,有效防止超光谱图像去噪中的过拟合问题,提升去噪性能。
2026-04-09 cs.CV eess.IV
Pixel-to-Abundance Translation: Conditional Generative Adversarial Networks Based on Patch Transformer for Hyperspectral Unmixing
Xidian University(西安电子科技大学)
本文提出基于补丁 Transformer 的条件生成对抗网络 HyperGAN,将高光谱解混视为像素到丰度的模态转换,实现高效解混并取得优异实验结果。
2023-12-20 cs.CV eess.IV
Unrolling Plug-and-Play Network for Hyperspectral Unmixing
针对深度学习解混可解释性不足、传统方法依赖人工正则化的问题,提出展开即插即用算法的深度网络,融合内外部先验并用动态卷积与注意力建模多尺度信息,实验性能优于对比方法。
2024-09-07 eess.IV
AE-RED: A Hyperspectral Unmixing Framework Powered by Deep Autoencoder and Regularization by Denoising
Northwestern Polytechnical University(西北工业大学);University of Toulouse(图卢兹大学);IRIT/INP-ENSEEIHT(图卢兹计算机科学研究所/国立图卢兹应用科学学院-高等电力与电子工程师学院);CNRS(法国国家科学研究中心)
本文提出名为AE-RED的高光谱解混框架,通过将深度自编码器与去噪正则化相结合,分解优化问题以融合隐式正则化与显式先验,从而提升解混性能与可解释性。
2023-07-01 cs.CV eess.IV
Hyperspectral-Multispectral Image Fusion with Weighted LASSO
光谱成像使遥感、生物医学和天文学中的材料的空间分辨识别成为可能。然而,采集时间需要平衡频谱和空间分辨率与信噪比。高光谱成像提供了优越的材料特异性,而多光谱图像更快地收集更高的保真度。我们提出了一种融合高光谱和多光谱图像,以提供高质量的高光谱输出的方法。所提出的优化利用最小绝对收缩和选择算子(LASSO)来执行变量选择和正则化。通过应用交替方向乘法器(ADMM),以及初始化融合图像估计它使用最大后验概率(MAP)基于Hardie的方法,减少了计算时间。我们表明,建议稀疏融合和重建提供了定量优越的结果相比,现有的方法公开可用的图像。最后,我们展示了如何所提出的方法可以实际应用于生物医学红外光谱显微镜。
2020-03-15 cs.CV eess.IV
Low-rank Meets Sparseness: An Integrated Spatial-Spectral Total Variation Approach to Hyperspectral Denoising
imec(比利时微电子研究中心);Ghent University(根特大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
空间-光谱全变分(SSTV)能够量化图像结构的局部平滑性,因此被广泛应用于高光谱图像(HSI)处理任务。本质上,SSTV假设沿空间和频谱方向计算的梯度图的稀疏结构。实际上,这些梯度张量不仅是稀疏的,而且在FFT下是(近似)低秩的,我们已经通过数值试验和理论分析验证了这一点。基于这一事实,我们提出了一种新的TV正则化,同时表征稀疏性和低秩先验的梯度映射(LRSTV)。新的正则化不仅赋予了梯度映射本身的稀疏性,而且对傅里叶变换后的梯度映射沿谱维的秩进行了惩罚。它自然地对梯度图的稀疏性和低秩先验进行编码,从而期望更忠实地反映原始图像的内在结构。此外,我们使用LRSTV来取代传统的SSTV,并将其嵌入到HSI处理模型中,以提高其性能。在多个含有强混合噪声的公开数据集上的实验结果表明,该模型可以使PSNR提高1.5dB。
2022-04-27 cs.CV eess.IV
Row-Sparse Discriminative Deep Dictionary Learning for Hyperspectral Image Classification
在最近的高光谱成像,生物识别和能量分析研究中,深度字典学习的框架已经显示出了希望。当训练数据有限时,深度字典学习优于其他传统的深度学习工具;因此,高光谱成像就是受益于这种框架的一个例子。大多数先前的研究都是基于无监督的公式;在所有情况下,训练算法都是贪婪的,因此是次优的。这是第一个展示如何以联合方式学习深度字典学习问题的工作。此外,我们提出了一个新的歧视性的惩罚,上述框架。这项工作的第三个贡献是展示了如何将随机正则化技术纳入深度字典学习框架。高光谱图像分类的实验结果表明,所提出的技术优于所有国家的最先进的深度和浅(传统)的学习为基础的方法在最近的时间。
2019-12-11 cs.LG eess.IV
Connections between Deep Equilibrium and Sparse Representation Models with Application to Hyperspectral Image Denoising
University of Patras(帕特雷大学)
在这项研究中,计算多维视觉数据的稀疏表示的问题被认为是。一般来说,这些数据,例如,高光谱图像、彩色图像或视频数据由表现出强局部依赖性的信号组成。一个新的计算效率的稀疏编码优化问题是通过采用正则化项,适应感兴趣的信号的属性。利用可学习正则化技术的优点,神经网络被用来作为结构先验,并揭示潜在的信号依赖性。为了解决优化问题,开发了基于深度展开和深度平衡的算法,形成了高度可解释和简洁的基于深度学习的架构,以逐块的方式处理输入数据集。在高光谱图像去噪的背景下,提供了大量的仿真结果,这表明所提出的算法明显优于其他稀疏编码方法,并表现出优于最近最先进的基于深度学习的去噪模型的性能。从更广泛的角度来看,我们的工作在经典方法(即稀疏表示理论)和基于深度学习建模的现代表示工具之间提供了一个独特的桥梁。
2023-03-14 cs.CV cs.NE eess.IV
Spectro-spatial hyperspectral image reconstruction from interferometric acquisitions
针对干涉式高光谱成像逐像素反演忽略空间结构信息的问题,本研究结合光谱与空间正则化进行图像重建,提升了重建性能,且可与Plug-and-Play技术的去噪器引入策略无缝结合。
2023-10-03 eess.IV
Matrix cofactorization for joint spatial-spectral unmixing of hyperspectral images
University of Toulouse(图卢兹大学);IRIT/INP-ENSEEIHT;Centre National d’Études Spatiales (CNES)(法国国家空间研究中心);Institut Universitaire de France (IUF)(法国大学研究院)
高光谱解混的目的是确定一组基本光谱和相应的混合系数为每个像素的图像。由于基本光谱对应于真实材料的反射光谱,它们通常非常相关,从而产生病态问题。为了丰富模型并减少由于高相关性引起的模糊性,通常引入空间信息来补充光谱信息。引入空间信息的最常见方式是依赖于丰度图的空间规则化。在本文中,而不是考虑一个简单的,但有限的正则化过程中,空间信息直接纳入通过新提出的上下文空间解混。提取每个像素的上下文特征,并根据线性模型分解这组额外的观察结果。最后,空间和光谱观测解混共同通过一个余因子分解模型。特别是,该模型引入了一个耦合项,用于识别共享的空间和光谱特征的集群。所提出的方法进行的合成和真实数据的评估,结果是准确的,也是非常有意义的,因为它们描述了空间和光谱的场景的各个领域。
2020-02-14 cs.CV eess.IV
Hyperspectral Spatial Super-Resolution using Keystone Error
针对高光谱图像空间分辨率提升难题,提出一种无需辅助数据、基于盲反卷积估计 PSF 并结合自适应先验的模型化超分辨率方法,在 HySIS VNIR 数据上实现约 1.3 倍分辨率提升。
2024-10-24 eess.IV
Operational Neural Networks for Parameter-Efficient Hyperspectral Single-Image Super-Resolution
本文提出将超分辨率模型的卷积滤波器扩展为基于麦克劳林级数展开的操作滤波器,构建参数高效的操作神经网络,在高光谱图像上实现更优的超分辨率性能。
2023-10-25 eess.IV
Learning to Enhance Visual Quality via Hyperspectral Domain Mapping
BITS Pilani(皮拉尼比尔拉理工学院);IIIT Kota(印度国立信息技术学院科塔分校)
基于深度学习的方法在图像恢复和增强方面取得了显着的成功,但大多数此类方法依赖于RGB输入图像。这些方法没有考虑到自然图像丰富的光谱分布。我们提出了一个深度架构SpecNet,它计算光谱轮廓来估计给定图像的像素动态范围调整。首先,我们采用不成对的周期一致性框架,从低光输入图像生成高光谱图像(HSI)。HSI还用于生成同一场景的正常光图像。我们结合了一个自我监督和光谱轮廓正则化网络来推断一个合理的HSI从RGB图像。我们评估了在LOL数据集上低光条件下优化真实和假图像的光谱轮廓的好处。
2021-02-10 cs.CV eess.IV
DACN: Dual-Attention Convolutional Network for Hyperspectral Image Super-Resolution
Department of Computer Science, Aalto University(奥卢大学计算机科学系)
本文提出双注意力卷积网络DACN,通过融合多头注意力与通道-空间注意力并设计空间-光谱梯度损失,提升高光谱图像超分辨率性能。
2025-06-05 cs.CV eess.IV
Robust Hyperspectral Image Fusion with Simultaneous Guide Image Denoising via Constrained Convex Optimization
Tokyo Institute of Technology(东京工业大学)
提出了一种基于凸优化的高空间分辨率高光谱图像估计方法。该方法假设一个低空间分辨率HS(LR-HS)的图像和指导图像的意见,其中两个意见被噪声污染。我们的方法同时估计HR-HS图像和无噪声的引导图像,因此该方法可以利用引导图像中的空间信息,即使它被严重的噪声污染。该方法采用混合空间-谱全变分作为正则化方法,通过评估HR-HS图像和引导图像之间的边缘相似性,有效地利用HR-HS图像的先验知识和引导图像的空间细节信息。为了有效地解决这个问题,我们应用原始-对偶分裂方法。实验证明了我们的方法的性能以及与现有方法相比的优势。
2022-11-25 cs.CV eess.IV
Hyperspectral image reconstruction by deep learning with super-Rayleigh speckles
本文提出结合超瑞利散斑调制的端到端GISCnet,通过深度学习重建三维高光谱图像,将平均峰值信噪比从27 dB提升至31 dB,有效改善GISC光谱相机成像质量。
2025-02-26 eess.IV
COS2A: Conversion from Sentinel-2 to AVIRIS Hyperspectral Data Using Interpretable Algorithm With Spectral-Spatial Duality
本文提出可解释的COS2A算法,利用光谱-空间对偶性将Sentinel-2多分辨率数据转换为AVIRIS级高光谱图像,首次解决该高度病态超分辨率问题,实验验证效果优越。
2025-07-09 eess.IV eess.SP
Hyperspectral Super-Resolution via Coupled Tensor Ring Factorization
RIKEN AIP(理化学研究所人工智能研究中心);UESTC(电子科技大学)
高光谱超分辨率(HSR)融合低分辨率高光谱图像(HSI)和高分辨率多光谱图像(MSI),以获得高分辨率HSI(HR-HSI)。在本文中,我们提出了一个新的模型,命名为耦合张量环分解(CTRF),高速铁路。提出的CTRF方法同时从HSI学习高光谱分辨率核心张量和从MSI学习高空间分辨率核心张量,并通过张量环(TR)表示重建HR-HSI(图~ \ref{fig:framework})。CTRF模型可以单独利用每个类的低秩属性(第\ref{sec:analysis}节),这在以前的耦合张量模型中从未被探索过。同时,它继承了耦合矩阵/CP分解的简单表示和耦合Tucker分解的灵活低秩探索。在定理~ \ref{th:1}的指导下,我们进一步提出了一种谱核范数正则化方法来研究全局谱低秩性质。实验表明,与以前的矩阵/张量和深度学习方法相比,所提出的核范数正则化CTRF(NCTRF)具有优势。
2020-01-06 cs.CV eess.IV
Super-résolution non supervisée d'images hyperspectrales de télédétection utilisant un entraînement entièrement synthétique
LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI,Telecom Paris,巴黎高等理工学院)
本文提出一种基于合成数据的无监督方法,用于提升遥感超光谱图像的空间分辨率,通过解混和神经网络训练实现有效重建。
2026-01-30 cs.CV eess.IV
High-Resolution Hyperspectral Video Imaging Using A Hexagonal Camera Array
本文提出一种基于六边形相机阵列的高分辨率快照高光谱视频成像方法,利用现成硬件实现37通道400-760nm光谱采集,并通过配准管线在合成和真实数据上验证了优于现有快照方案的重建质量。
2024-11-07 eess.IV
Hyperspectral Image Fusion via Logarithmic Low-rank Tensor Ring Decomposition
Hunan University(湖南大学);Nanchang Institute of Technology(南昌工程学院);Southern University of Science and Technology(南方科技大学)
本文提出一种基于对数低秩张量环分解的高光谱图像融合方法,结合LTNN正则化与加权全变分,并设计高效近端交替最小化算法,在视觉质量和定量指标上超越现有最先进方法。
2023-10-16 cs.CV eess.IV
Pan-denoising: Guided Hyperspectral Image Denoising via Weighted Represent Coefficient Total Variation
School of Mathematics and Statistics, Northwestern Polytechnical University(西北工业大学数学与统计学院);Research and Development Institute of Northwestern Polytechnical University in Shenzhen(西北工业大学深圳研究院)
本文提出 pan-denoising 范式,利用低噪声 PAN 图像引导 HSI 去噪,并设计 PWRCTV 正则化与 ADMM 求解模型,实验证明其去噪及提升下游分类性能的优势。
2024-09-09 cs.CV eess.IV
Hyperspectral Super-resolution: A Coupled Nonnegative Block-term Tensor Decomposition Approach
高光谱超分辨率(HSR)是将高光谱图像(HSI)和多光谱图像(MSI)进行融合,生成超分辨率图像(SRI)。最近,耦合张量分解方法被提出来处理这个具有挑战性的问题,它承认了一系列的优势,经典的矩阵分解为基础的方法。特别是,建模的HSI和MSI作为低秩张量以下的{ \it规范polyadic分解}(CPD)模型,该方法能够证明识别SRI,在一些温和的条件下。然而,CPD模型中的潜在因素没有物理意义,这使得利用光谱图像的先验信息作为约束或正则化困难-但使用这些信息在实践中往往是重要的,特别是当数据是有噪声的。在这项工作中,我们提出了一种替代的耦合张量分解方法,假设HSI和MSI遵循{ \it块项分解(BTD)}模型。值得注意的是,新方法还需要在现实条件下的SRI的可识别性。更重要的是,当将光谱图像建模为BTD张量时,潜在因素具有明确的物理意义,因此可以自然地并入关于光谱图像的先验知识。使用真实的高光谱图像的仿真显示所提出的方法与非负约束的有效性。
2019-10-22 eess.IV eess.SP
Tensor Alignment Based Domain Adaptation for Hyperspectral Image Classification
National University of Defense Technology(国防科技大学);University of Trento(特伦托大学)
提出了一种基于张量对齐(TA)的高光谱图像(HSI)区域自适应分类方法。具体来说,首先将两个域中的HSI分割成超像素,并构造两个域的张量以包括来自单个超像素的相邻样本。然后将两个域之间的子空间不变性作为投影矩阵,利用Tucker分解将原始张量作为低维的核张量投影到不变张量子空间中。为了保持原始张量中的几何信息,我们在分解过程中使用了核心张量的流形正则化项。采用交替优化的方法求解投影矩阵和核张量,并分析了TA算法的收敛性。此外,通过对每个超像素进行纯样本提取来定义后处理策略,以进一步提高分类性能。实验结果表明,在源标记样本数量有限的情况下,与现有的子空间学习方法相比,该方法具有更好的性能。
2018-09-04 cs.CV eess.IV
Optimal Transport Based Hyperspectral Unmixing for Highly Mixed Observations
Centre for Mathematical Morphology (CMM), Mines Paris, PSL University(数学形态学中心(CMM)、巴黎 Mines、PSL 大学)
提出基于最优传输的高光谱解混方法,通过约束丰度分布逼近狄利克雷分布,提升高度混合数据下的端元估计精度并保持鲁棒性。
2025-09-24 cs.CV eess.IV stat.AP
Hyperspectral Image Denoising via Global Spatial-Spectral Total Variation Regularized Nonconvex Local Low-Rank Tensor Approximation
Northwest A&F University(西北农林科技大学)
高光谱图像去噪的目的是从被噪声污染的图像中恢复出干净的高光谱图像。在数据采集和转换过程中经常会产生噪声污染。本文提出了一种新的空间谱全变分(SSTV)正则化非凸局部低秩(LR)张量近似方法来去除HSI中的混合噪声。从一个方面,干净的HSI数据具有其潜在的局部LR张量属性,即使真实的HSI数据可能由于离群值和非高斯噪声而不是全局低秩。根据这一事实,我们提出了一种新的张量$L_γ$ -范数来表示局部LR先验。从另一个方面来看,假设HSI在全局空间域和谱域中是分段平滑的。代替传统的波段全变分,我们使用SSTV正则化,同时考虑全球的空间结构和相邻波段的光谱相关性。模拟和真实HSI数据集上的结果表明,局部LR张量惩罚和全局SSTV的使用可以提高HSI中局部细节和整体结构信息的保留。
2020-05-30 cs.CV eess.IV
Deep connections between learning from limited labels & physical parameter estimation -- inspiration for regularization
Computational Geosciences Inc.(计算地球科学公司)
最近建立的微分方程和神经网络的结构之间的等价性使得将神经网络的训练解释为偏微分方程(PDE)约束优化。我们添加到先前建立的连接,明确的正则化,这是特别有益的情况下,单个大规模的例子与部分注释。我们表明,显式正则化的模型参数在PDE约束优化转化为正则化的网络输出。相应的拉格朗日和反向传播算法的结构检查没有发现额外的计算挑战。一个高光谱图像的例子表明,最小的先验信息与交叉验证的最佳正则化参数提高了分割精度。
2020-03-17 cs.CV eess.IV physics.geo-ph
A Generalized Tensor Formulation for Hyperspectral Image Super-Resolution Under General Spatial Blurring
针对现有张量方法假设空间模糊可分离的局限,提出基于Kronecker分解的广义张量公式,处理任意空间退化矩阵,并通过块组稀疏正则化实现精确恢复,实验证明在各项异性模糊下优于现有方法。
2024-09-27 cs.CV eess.IV
Unsupervised Super-Resolution of Hyperspectral Remote Sensing Images Using Fully Synthetic Training
Télécom Paris - Institut Polytechnique de Paris(巴黎电信学院-巴黎理工学院)
本文提出一种无监督方法,通过合成丰度数据训练神经网络,提高超分辨率遥感图像的空间分辨率,实验验证了方法有效性。
2026-01-23 cs.GR eess.IV eess.SP
Self-supervised Hyperspectral Image Restoration using Separable Image Prior
The University of Kitakyushu(北九州市立大学)
使用卷积神经网络的监督学习被认为是图像恢复的强大手段。然而,大多数这样的方法已被设计为应用于灰度和/或彩色图像,因此,它们具有有限的成功时,应用于高光谱图像恢复。这部分是由于难以收集大型数据集,以及与恢复具有许多光谱带的图像相关的繁重计算负荷。为了解决这个困难,我们提出了一种新的自监督学习策略应用于高光谱图像恢复。我们的方法从单个退化图像自动创建训练数据集,并在没有任何清晰图像的情况下训练去噪网络。我们方法的另一个显著特点是使用了可分离的卷积层。我们进行实验,以证明使用一个可分离的网络,使我们能够获得先验的高光谱图像,并实现有效的恢复。我们通过大量的实验证明了我们的方法的有效性,并表明我们的方法具有更好的特性比那些目前被认为是最先进的。
2019-07-01 cs.CV eess.IV
HyperAIRI: a plug-and-play algorithm for precise hyperspectral image reconstruction in radio interferometry
University of Edinburgh, EPCC(爱丁堡大学, EPCC);Heriot-Watt University, Institute of Sensors, Signal(赫里奥特-瓦特大学, 传感器与信号研究所)
HyperAIRI是一种基于学习的即插即用算法,用于高精度超光谱图像重建,通过结合幂律光谱模型和动态范围匹配的去噪器,实现高分辨率和高动态范围的射电干涉成像。
2026-02-11 astro-ph.IM cs.LG eess.IV
Feedback Refined Local-Global Network for Super-Resolution of Hyperspectral Imagery
Tianjin University(天津大学);Beihang University(北京航空航天大学);Nankai University(南开大学)
随着深度学习技术的发展,基于卷积神经网络的多光谱图像超分辨率方法近年来取得了很大进展。然而,由于高光谱数据的高维、复杂光谱特性,难以同时获取空间信息和光谱信息,使得单幅高光谱图像的超分辨率处理成为一个具有挑战性的问题。为了解决这个问题,我们提出了一种新的反馈精化局部-全局网络(FRLGN)的超分辨率的高光谱图像。具体而言,我们提出了一种新的反馈结构和局部-全局谱块,以减轻空间和光谱特征提取的困难。反馈结构通过有限开折的递归结构实现高层信息的传递,指导底层特征的生成。此外,为了有效地利用高层信息传递回来,一个局部-全局谱块被构造来处理反馈连接。局部-全局谱块利用反馈的高层信息来校正来自局部谱带的低层特征,并在全局谱带之间生成强大的高层表示。通过引入反馈结构和局部-全局谱块,FRLGN可以充分利用光谱波段之间的空间-光谱相关性,逐步重建高分辨率的高光谱图像。FRLGN的源代码可在https://github.com/tangzhenjie/FRLGN上获得。
2022-01-10 cs.CV eess.IV
Spatial-Spectral Residual Network for Hyperspectral Image Super-Resolution
Northwestern Polytechnical University(西北工业大学)
基于深度学习的高光谱图像超分辨率(SR)方法近年来取得了巨大的成功。然而,现有的模型大多不能同时有效地探索波段间的空间信息和光谱信息,获得的性能相对较低。为了解决这个问题,在本文中,我们提出了一种新的光谱空间残差网络的高光谱图像超分辨率(SSRNet)。我们的方法可以通过使用3D卷积而不是2D卷积来有效地探索空间光谱信息,这使得网络能够更好地提取潜在的信息。此外,我们设计了一个频谱-空间残差模块(SSRM),通过局部特征融合,自适应地从单元中的所有层次特征中学习更多有效的特征,显着提高了算法的性能。在每个单元中,我们采用空间和时间可分离的三维卷积来提取空间和光谱信息,这不仅减少了无法负担的内存使用和高计算成本,而且使网络更容易训练。在三个基准数据集上的广泛评估和比较表明,与现有的最先进的方法相比,所提出的方法具有更好的性能。
2020-01-14 cs.CV eess.IV
Dual-Stage Approach Toward Hyperspectral Image Super-Resolution
Northwestern Polytechnical University(西北工业大学);University of New South Wales(新南威尔士大学)
高光谱图像是以牺牲空间分辨率为代价获得高光谱分辨率的。在不降低光谱分辨率的情况下,提高空间域的分辨率是一个非常具有挑战性的问题。基于高光谱图像在大光谱范围内相邻波段间具有高度相似性这一发现,本文提出了一种新的高光谱图像超分辨率结构(DualSR),即双级设计,粗阶段和细阶段。在粗处理阶段,将一定光谱范围内相似度高的5个波段分为3组,引导当前波段进行潜在知识的学习。在交替光谱融合机制的作用下,对粗SR图像进行逐波段超分辨。为了从全局角度建模,在精细阶段提出了一种基于光谱角约束的增强反投影方法,用于学习空间-光谱一致性的内容,显著提高了性能增益。大量的实验证明了所提出的粗级和精级的有效性。此外,我们的网络在空间重建和光谱保真度方面产生了与现有作品相比最先进的结果。
2022-04-09 cs.CV eess.IV
HSRMamba: Efficient Wavelet Stripe State Space Model for Hyperspectral Image Super-Resolution
College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院)
针对Visual Mamba一维扫描易产生伪影的问题,提出用于单幅高光谱图像超分辨率的HSRMamba模型,采用条纹扫描与小波分解优化,在效率和性能上均达SOTA。
2025-05-16 cs.CV eess.IV
Learning Spatial-Spectral Prior for Super-Resolution of Hyperspectral Imagery
Harbin Institute of Technology(哈尔滨工业大学);Wuhan University(武汉大学)
近年来,基于深度卷积神经网络(Deep Convolutional Neural Networks,DCNN)的先进机器学习技术在单灰度/RGB图像超分辨率重建任务中得到了广泛研究并取得了显著进展。然而,由于高光谱图像的高维和复杂的光谱模式,限制了单光谱图像超分辨率技术的发展。在本文中,我们通过研究如何适应最先进的残差学习为基础的单灰度/RGB图像超分辨率的方法,计算效率高的单高光谱图像超分辨率,简称SSPSR向前迈进了一步。具体来说,我们引入了一个空间光谱先验网络(SSPN),以充分利用空间信息和光谱之间的相关性的高光谱数据。考虑到高光谱训练样本的稀缺性和高光谱图像数据的光谱维数很高,训练一个稳定有效的深度网络是不平凡的。因此,提出了一种组卷积(具有共享网络参数)和渐进式上采样框架。这不仅可以缓解高光谱数据高维数给特征提取带来的困难,而且可以使训练过程更加稳定。为了充分利用空间和频谱的先验信息,我们设计了一个空间-频谱块(SSB),它包括一个空间残差模块和一个频谱注意残差模块。在高光谱图像上的实验结果表明,所提出的SSPSR方法增强了恢复的高分辨率高光谱图像的细节,并优于最先进的。源代码可从\url {https://www.example.com}获得github.com/junjun-jiang/SSPSR
2020-05-24 cs.CV cs.LG cs.MM
Cross-Scope Spatial-Spectral Information Aggregation for Hyperspectral Image Super-Resolution
Wuhan University(武汉大学);Hubei Luojia Laboratory(湖北珞珈实验室)
本文提出跨范围空间-光谱Transformer(CST),通过空间与光谱维度的交叉注意力机制有效捕获长程依赖,在三个高光谱数据集上实现了优于现有方法的超分辨率性能。
2023-11-29 cs.CV eess.IV
Overcoming the Identity Mapping Problem in Self-Supervised Hyperspectral Anomaly Detection
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院);School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences(中国科学院大学电子电气与通信工程学院);School of Geography and Information Engineering, China University of Geosciences (Wuhan)(中国地质大学(武汉)地理与信息工程学院);School of Computer Science, China University of Geosciences (Wuhan)(中国地质大学(武汉)计算机学院);College of Information, Beijing Forestry University(北京林业大学信息学院)
本文深入探索自监督高光谱异常检测中的恒等映射问题,从扰动、重建和正则化三方面提出统一框架,并引入超像素池化与上池化、误差自适应卷积和在线背景像素挖掘三种解决方案,经实验验证有效。
2025-04-05 cs.CV eess.IV
Deep Learning Approach for Hyperspectral Image Demosaicking, Spectral Correction and High-resolution RGB Reconstruction
Hypervision Surgical Ltd(Hypervision Surgical 有限公司)
高光谱成像是术中组织表征的最有前途的技术之一。快照镶嵌相机,它可以捕捉高光谱数据在一个单一的曝光,有可能使一个实时的高光谱成像系统的手术决策。然而,捕获的数据的最佳利用需要解决不适定的去马赛克问题,并应用额外的光谱校正来恢复图像的空间和光谱信息。在这项工作中,我们提出了一个基于深度学习的图像去马赛克算法的快照高光谱图像使用监督学习方法。由于缺乏公开可用的医学图像采集与快照马赛克相机,合成图像生成方法,提出了模拟快照图像从现有的医学图像数据集捕获的高分辨率,但速度慢,高光谱成像设备。图像重建使用卷积神经网络实现高光谱图像超分辨率,然后使用传感器特定的校准矩阵进行串扰和泄漏校正。所得到的去马赛克图像进行定量和定性评估,显示出明显的改善图像质量相比,基线去马赛克方法,使用线性插值。此外,我们的算法的~ 45 ms的快速处理时间,以获得超分辨率的RGB或氧合饱和度地图,每帧图像的国家的最先进的快照马赛克相机证明了其无缝集成到实时手术高光谱成像应用的潜力。
2021-09-03 cs.CV eess.IV
Hierarchical Homogeneity-Based Superpixel Segmentation: Application to Hyperspectral Image Analysis
Federal University of Santa Catarina(圣卡塔琳娜联邦大学);Catholic University of Pelotas(佩洛塔斯天主教大学)
提出一种基于层次同质性的多尺度超像素分割方法,通过扩展SLIC算法并引入鲁棒同质性检验,生成高光谱同质性的可变大小超像素,在光谱解混和分类任务中表现优异。
2024-07-22 cs.CV eess.IV
Learning A 3D-CNN and Transformer Prior for Hyperspectral Image Super-Resolution
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室);Wuhan University(武汉大学)
为了解决高光谱图像超分辨率(HSISR)的不适定问题,通常的方法是利用高光谱图像的先验信息作为正则化项来约束目标函数。使用手工制作的先验的基于模型的方法不能完全表征HSI的性质。基于学习的方法通常使用卷积神经网络(CNN)来学习HSI的隐式先验。然而,CNN的学习能力有限,它只考虑了HSI的空间特征,而忽略了光谱特征,并且卷积对于长程相关建模效果不佳。还有很大的改进空间。在本文中,我们提出了一种新的HSISR方法,使用Transformer代替CNN来学习HSI的先验。具体来说,我们首先使用近似梯度算法来求解HSISR模型,然后使用展开网络来模拟迭代求解过程。Transformer的自关注层使其具有空间全局交互的能力。此外,我们在Transformer层后面添加了3D-CNN,以更好地探索HSI的空间-频谱相关性。在两个广泛使用的HSI数据集和真实世界数据集上的定量和可视化结果表明,与所有主流算法相比,该方法实现了相当大的增益,包括最具竞争力的传统方法和最近提出的基于深度学习的方法。
2021-11-27 cs.CV eess.IV
Towards Lightweight Hyperspectral Image Super-Resolution with Depthwise Separable Dilated Convolutional Network
Department of Computer Science, Aalto University, Finland(艾尔沃斯大学计算机科学系);School of Electrical and Electronic Engineering, University of Sheffield, United Kingdom(谢菲尔德大学电子与电气工程学院)
针对高光谱图像超分辨率中模型参数多、训练样本少的问题,提出轻量级深度可分离膨胀卷积网络DSDCN,结合定制损失函数,在两个公开数据集上取得极具竞争力的性能。
2025-05-01 cs.CV eess.IV
Hyperspectral Image Super-resolution with Deep Priors and Degradation Model Inversion
CNRS(法国国家科学研究中心);OCA(尼斯天文台);Northwestern Polytechnical University(西北工业大学)
为了克服高光谱成像系统在空间分辨率方面固有的硬件限制,基于融合的高光谱图像超分辨率研究正受到越来越多的关注。该技术旨在融合低分辨率(LR)HSI和传统的高分辨率(HR)RGB图像,以获得HR HSI。最近,深度学习架构已被用于解决HSI超分辨率问题,并取得了显着的性能。然而,他们忽略了退化模型,即使这个模型有一个明确的物理解释,并可能有助于提高性能。我们解决这个问题,提出了一种方法,一方面,利用目标函数的数据保真度项的线性退化模型,另一方面,利用卷积神经网络的输出设计一个深先验正则化在光谱和空间梯度域。实验结果表明,该策略能有效提高系统的性能.
2022-01-24 cs.CV eess.IV
3DeepRep: 3D Deep Low-rank Tensor Representation for Hyperspectral Image Inpainting
SUSTech(南方科技大学)
提出3DeepRep模型,沿高光谱图像张量三个模式进行深度非线性变换并最小化核范数,通过可学习聚合融合三方向结果,实现自监督的高光谱图像修复,性能优于现有最先进方法。
2025-06-20 cs.CV eess.IV
Onboard Hyperspectral Super-Resolution with Deep Pushbroom Neural Network
Department of Electronics and Telecommunications, Politecnico di Torino(电子电信系,都灵理工大学)
本文提出深度推扫超分辨率网络DPSR,通过逐行处理与因果记忆机制匹配高光谱传感器的推扫式采集,在低功耗星载硬件上实现实时超分辨率,性能优于更复杂的主流方法。
2025-11-10 cs.CV eess.IV
Synthetic Abundance Maps for Unsupervised Super-Resolution of Hyperspectral Remote Sensing Images
LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院电信学院)
本文提出基于合成丰度数据的无监督超分辨率方法,通过神经网络处理超光谱图像的丰度信息,提升空间分辨率,实验验证了方法的有效性。
2026-04-21 cs.GR eess.IV eess.SP