SSCU-Net: Spatial-Spectral Collaborative Unmixing Network for Hyperspectral Images
线性光谱解混是高光谱图像处理和判读中的一项重要技术。近年来，基于深度学习的方法在高光谱解混中表现出了巨大的潜力，特别是基于自编码器网络的无监督解混方法是最近的趋势。自动编码器模型，自动学习低维表示（丰度）和重建数据与其相应的基地（端元），在高光谱解混取得了优异的性能。在这篇文章中，我们探讨了在基于自动编码器的解混网络中空间和光谱信息的有效利用。在自动编码器框架中使用的空间和光谱信息的重要发现进行了讨论。受这些发现的启发，我们提出了一种空间-光谱协作解混网络，称为SSCU-Net，它以端到端的方式学习空间自动编码器网络和光谱自动编码器网络，以更有效地提高解混性能。SSCU-Net是一个双流深度网络，共享一个交替的架构，其中两个自动编码器网络以协作的方式进行有效训练，以估计端元和丰度。同时，通过引入基于丰富信息的超像素分割方法，提出了一种新的空间自编码网络，极大地方便了空间信息的利用，提高了解混网络的精度。此外，进行了广泛的烧蚀研究，以调查的性能增益的SSCU-Net。合成和真实高光谱数据集上的实验结果表明，与几种最先进的高光谱解混方法相比，所提出的SSCU-Net的有效性和竞争力。
2022-08-09 eess.IV
Unsupervised Super-Resolution of Hyperspectral Remote Sensing Images Using Fully Synthetic Training
Télécom Paris - Institut Polytechnique de Paris（巴黎电信学院-巴黎理工学院）
本文提出一种无监督方法，通过合成丰度数据训练神经网络，提高超分辨率遥感图像的空间分辨率，实验验证了方法有效性。
2026-01-23 cs.GR eess.IV eess.SP
Self-supervised Hyperspectral Image Restoration using Separable Image Prior
The University of Kitakyushu（北九州市立大学）
使用卷积神经网络的监督学习被认为是图像恢复的强大手段。然而，大多数这样的方法已被设计为应用于灰度和/或彩色图像，因此，它们具有有限的成功时，应用于高光谱图像恢复。这部分是由于难以收集大型数据集，以及与恢复具有许多光谱带的图像相关的繁重计算负荷。为了解决这个困难，我们提出了一种新的自监督学习策略应用于高光谱图像恢复。我们的方法从单个退化图像自动创建训练数据集，并在没有任何清晰图像的情况下训练去噪网络。我们方法的另一个显著特点是使用了可分离的卷积层。我们进行实验，以证明使用一个可分离的网络，使我们能够获得先验的高光谱图像，并实现有效的恢复。我们通过大量的实验证明了我们的方法的有效性，并表明我们的方法具有更好的特性比那些目前被认为是最先进的。
2019-07-01 cs.CV eess.IV
Spectral Super-Resolution via Adversarial Unfolding and Data-Driven Spectrum Regularization: From Multispectral Satellite Data to NASA Hyperspectral Image
National Cheng Kung University（国立成功大学）
本研究提出了一种基于对抗展开和数据驱动光谱正则化的深度学习框架，实现从12到186波段的光谱超分辨率，并统一Sentinel-2数据的空间分辨率至5米。
2026-03-01 eess.IV
DACN: Dual-Attention Convolutional Network for Hyperspectral Image Super-Resolution
Department of Computer Science, Aalto University（奥卢大学计算机科学系）
本文提出双注意力卷积网络DACN，通过融合多头注意力与通道-空间注意力并设计空间-光谱梯度损失，提升高光谱图像超分辨率性能。
2025-06-05 cs.CV eess.IV
Learning Spatial-Spectral Prior for Super-Resolution of Hyperspectral Imagery
Harbin Institute of Technology（哈尔滨工业大学）；Wuhan University（武汉大学）
近年来，基于深度卷积神经网络（Deep Convolutional Neural Networks，DCNN）的先进机器学习技术在单灰度/RGB图像超分辨率重建任务中得到了广泛研究并取得了显著进展。然而，由于高光谱图像的高维和复杂的光谱模式，限制了单光谱图像超分辨率技术的发展。在本文中，我们通过研究如何适应最先进的残差学习为基础的单灰度/RGB图像超分辨率的方法，计算效率高的单高光谱图像超分辨率，简称SSPSR向前迈进了一步。具体来说，我们引入了一个空间光谱先验网络（SSPN），以充分利用空间信息和光谱之间的相关性的高光谱数据。考虑到高光谱训练样本的稀缺性和高光谱图像数据的光谱维数很高，训练一个稳定有效的深度网络是不平凡的。因此，提出了一种组卷积（具有共享网络参数）和渐进式上采样框架。这不仅可以缓解高光谱数据高维数给特征提取带来的困难，而且可以使训练过程更加稳定。为了充分利用空间和频谱的先验信息，我们设计了一个空间-频谱块（SSB），它包括一个空间残差模块和一个频谱注意残差模块。在高光谱图像上的实验结果表明，所提出的SSPSR方法增强了恢复的高分辨率高光谱图像的细节，并优于最先进的。源代码可从\url {https：//www.example.com}获得github.com/junjun-jiang/SSPSR
2020-05-24 cs.CV cs.LG cs.MM
Feedback Refined Local-Global Network for Super-Resolution of Hyperspectral Imagery
Tianjin University（天津大学）；Beihang University（北京航空航天大学）；Nankai University（南开大学）
随着深度学习技术的发展，基于卷积神经网络的多光谱图像超分辨率方法近年来取得了很大进展。然而，由于高光谱数据的高维、复杂光谱特性，难以同时获取空间信息和光谱信息，使得单幅高光谱图像的超分辨率处理成为一个具有挑战性的问题。为了解决这个问题，我们提出了一种新的反馈精化局部-全局网络（FRLGN）的超分辨率的高光谱图像。具体而言，我们提出了一种新的反馈结构和局部-全局谱块，以减轻空间和光谱特征提取的困难。反馈结构通过有限开折的递归结构实现高层信息的传递，指导底层特征的生成。此外，为了有效地利用高层信息传递回来，一个局部-全局谱块被构造来处理反馈连接。局部-全局谱块利用反馈的高层信息来校正来自局部谱带的低层特征，并在全局谱带之间生成强大的高层表示。通过引入反馈结构和局部-全局谱块，FRLGN可以充分利用光谱波段之间的空间-光谱相关性，逐步重建高分辨率的高光谱图像。FRLGN的源代码可在https://github.com/tangzhenjie/FRLGN上获得。
2022-01-10 cs.CV eess.IV
Spatial-Spectral Residual Network for Hyperspectral Image Super-Resolution
Northwestern Polytechnical University（西北工业大学）
基于深度学习的高光谱图像超分辨率（SR）方法近年来取得了巨大的成功。然而，现有的模型大多不能同时有效地探索波段间的空间信息和光谱信息，获得的性能相对较低。为了解决这个问题，在本文中，我们提出了一种新的光谱空间残差网络的高光谱图像超分辨率（SSRNet）。我们的方法可以通过使用3D卷积而不是2D卷积来有效地探索空间光谱信息，这使得网络能够更好地提取潜在的信息。此外，我们设计了一个频谱-空间残差模块（SSRM），通过局部特征融合，自适应地从单元中的所有层次特征中学习更多有效的特征，显着提高了算法的性能。在每个单元中，我们采用空间和时间可分离的三维卷积来提取空间和光谱信息，这不仅减少了无法负担的内存使用和高计算成本，而且使网络更容易训练。在三个基准数据集上的广泛评估和比较表明，与现有的最先进的方法相比，所提出的方法具有更好的性能。
2020-01-14 cs.CV eess.IV
HyperBench: Standardizing and Scaling Synthetic Evaluation for Hyperspectral Super-Resolution
University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校）
本文提出HyperBench框架，通过标准化和扩展合成实验来评估超光谱超分辨率方法，以解决现有评估方法中配置不一致、结果难以比较和复现的问题。
2026-05-20 cs.CV eess.IV
Dual-Stage Approach Toward Hyperspectral Image Super-Resolution
Northwestern Polytechnical University（西北工业大学）；University of New South Wales（新南威尔士大学）
高光谱图像是以牺牲空间分辨率为代价获得高光谱分辨率的。在不降低光谱分辨率的情况下，提高空间域的分辨率是一个非常具有挑战性的问题。基于高光谱图像在大光谱范围内相邻波段间具有高度相似性这一发现，本文提出了一种新的高光谱图像超分辨率结构（DualSR），即双级设计，粗阶段和细阶段。在粗处理阶段，将一定光谱范围内相似度高的5个波段分为3组，引导当前波段进行潜在知识的学习。在交替光谱融合机制的作用下，对粗SR图像进行逐波段超分辨。为了从全局角度建模，在精细阶段提出了一种基于光谱角约束的增强反投影方法，用于学习空间-光谱一致性的内容，显著提高了性能增益。大量的实验证明了所提出的粗级和精级的有效性。此外，我们的网络在空间重建和光谱保真度方面产生了与现有作品相比最先进的结果。
2022-04-09 cs.CV eess.IV
HSRMamba: Efficient Wavelet Stripe State Space Model for Hyperspectral Image Super-Resolution
College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）
针对Visual Mamba一维扫描易产生伪影的问题，提出用于单幅高光谱图像超分辨率的HSRMamba模型，采用条纹扫描与小波分解优化，在效率和性能上均达SOTA。
2025-05-16 cs.CV eess.IV
Cross-Scope Spatial-Spectral Information Aggregation for Hyperspectral Image Super-Resolution
Wuhan University（武汉大学）；Hubei Luojia Laboratory（湖北珞珈实验室）
本文提出跨范围空间-光谱Transformer（CST），通过空间与光谱维度的交叉注意力机制有效捕获长程依赖，在三个高光谱数据集上实现了优于现有方法的超分辨率性能。
2023-11-29 cs.CV eess.IV
Deep Learning Approach for Hyperspectral Image Demosaicking, Spectral Correction and High-resolution RGB Reconstruction
Hypervision Surgical Ltd（Hypervision Surgical 有限公司）
高光谱成像是术中组织表征的最有前途的技术之一。快照镶嵌相机，它可以捕捉高光谱数据在一个单一的曝光，有可能使一个实时的高光谱成像系统的手术决策。然而，捕获的数据的最佳利用需要解决不适定的去马赛克问题，并应用额外的光谱校正来恢复图像的空间和光谱信息。在这项工作中，我们提出了一个基于深度学习的图像去马赛克算法的快照高光谱图像使用监督学习方法。由于缺乏公开可用的医学图像采集与快照马赛克相机，合成图像生成方法，提出了模拟快照图像从现有的医学图像数据集捕获的高分辨率，但速度慢，高光谱成像设备。图像重建使用卷积神经网络实现高光谱图像超分辨率，然后使用传感器特定的校准矩阵进行串扰和泄漏校正。所得到的去马赛克图像进行定量和定性评估，显示出明显的改善图像质量相比，基线去马赛克方法，使用线性插值。此外，我们的算法的~ 45 ms的快速处理时间，以获得超分辨率的RGB或氧合饱和度地图，每帧图像的国家的最先进的快照马赛克相机证明了其无缝集成到实时手术高光谱成像应用的潜力。
2021-09-03 cs.CV eess.IV
Hierarchical Homogeneity-Based Superpixel Segmentation: Application to Hyperspectral Image Analysis
Federal University of Santa Catarina（圣卡塔琳娜联邦大学）；Catholic University of Pelotas（佩洛塔斯天主教大学）
提出一种基于层次同质性的多尺度超像素分割方法，通过扩展SLIC算法并引入鲁棒同质性检验，生成高光谱同质性的可变大小超像素，在光谱解混和分类任务中表现优异。
2024-07-22 cs.CV eess.IV
Hyperspectral Super-resolution: A Coupled Nonnegative Block-term Tensor Decomposition Approach
高光谱超分辨率（HSR）是将高光谱图像（HSI）和多光谱图像（MSI）进行融合，生成超分辨率图像（SRI）。最近，耦合张量分解方法被提出来处理这个具有挑战性的问题，它承认了一系列的优势，经典的矩阵分解为基础的方法。特别是，建模的HSI和MSI作为低秩张量以下的{ \it规范polyadic分解}（CPD）模型，该方法能够证明识别SRI，在一些温和的条件下。然而，CPD模型中的潜在因素没有物理意义，这使得利用光谱图像的先验信息作为约束或正则化困难-但使用这些信息在实践中往往是重要的，特别是当数据是有噪声的。在这项工作中，我们提出了一种替代的耦合张量分解方法，假设HSI和MSI遵循{ \it块项分解（BTD）}模型。值得注意的是，新方法还需要在现实条件下的SRI的可识别性。更重要的是，当将光谱图像建模为BTD张量时，潜在因素具有明确的物理意义，因此可以自然地并入关于光谱图像的先验知识。使用真实的高光谱图像的仿真显示所提出的方法与非负约束的有效性。
2019-10-22 eess.IV eess.SP
Hyperspectral Image Super-resolution with Deep Priors and Degradation Model Inversion
CNRS（法国国家科学研究中心）；OCA（尼斯天文台）；Northwestern Polytechnical University（西北工业大学）
为了克服高光谱成像系统在空间分辨率方面固有的硬件限制，基于融合的高光谱图像超分辨率研究正受到越来越多的关注。该技术旨在融合低分辨率（LR）HSI和传统的高分辨率（HR）RGB图像，以获得HR HSI。最近，深度学习架构已被用于解决HSI超分辨率问题，并取得了显着的性能。然而，他们忽略了退化模型，即使这个模型有一个明确的物理解释，并可能有助于提高性能。我们解决这个问题，提出了一种方法，一方面，利用目标函数的数据保真度项的线性退化模型，另一方面，利用卷积神经网络的输出设计一个深先验正则化在光谱和空间梯度域。实验结果表明，该策略能有效提高系统的性能.
2022-01-24 cs.CV eess.IV
Onboard Hyperspectral Super-Resolution with Deep Pushbroom Neural Network
Department of Electronics and Telecommunications, Politecnico di Torino（电子电信系，都灵理工大学）
本文提出深度推扫超分辨率网络DPSR，通过逐行处理与因果记忆机制匹配高光谱传感器的推扫式采集，在低功耗星载硬件上实现实时超分辨率，性能优于更复杂的主流方法。
2025-11-10 cs.CV eess.IV
Hyperspectral Super-Resolution via Coupled Tensor Ring Factorization
RIKEN AIP（理化学研究所人工智能研究中心）；UESTC（电子科技大学）
高光谱超分辨率（HSR）融合低分辨率高光谱图像（HSI）和高分辨率多光谱图像（MSI），以获得高分辨率HSI（HR-HSI）。在本文中，我们提出了一个新的模型，命名为耦合张量环分解（CTRF），高速铁路。提出的CTRF方法同时从HSI学习高光谱分辨率核心张量和从MSI学习高空间分辨率核心张量，并通过张量环（TR）表示重建HR-HSI（图~ \ref{fig:framework}）。CTRF模型可以单独利用每个类的低秩属性（第\ref{sec:analysis}节），这在以前的耦合张量模型中从未被探索过。同时，它继承了耦合矩阵/CP分解的简单表示和耦合Tucker分解的灵活低秩探索。在定理~ \ref{th:1}的指导下，我们进一步提出了一种谱核范数正则化方法来研究全局谱低秩性质。实验表明，与以前的矩阵/张量和深度学习方法相比，所提出的核范数正则化CTRF（NCTRF）具有优势。
2020-01-06 cs.CV eess.IV
Synthetic Abundance Maps for Unsupervised Super-Resolution of Hyperspectral Remote Sensing Images
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院电信学院）
本文提出基于合成丰度数据的无监督超分辨率方法，通过神经网络处理超光谱图像的丰度信息，提升空间分辨率，实验验证了方法的有效性。
2026-04-21 cs.GR eess.IV eess.SP
Hyperspectral Image Reconstruction for Predicting Chick Embryo Mortality Towards Advancing Egg and Hatchery Industry
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究提出从标准RGB图像重建高光谱图像以无损早期预测鸡胚死亡率，比较了HRNET等算法的重建性能，并利用XGBoost和Random Forest分类活死胚蛋，发现HRNET重建效果最佳。
2024-05-22 cs.CV eess.IV
Hyperspectral-Multispectral Image Fusion with Weighted LASSO
光谱成像使遥感、生物医学和天文学中的材料的空间分辨识别成为可能。然而，采集时间需要平衡频谱和空间分辨率与信噪比。高光谱成像提供了优越的材料特异性，而多光谱图像更快地收集更高的保真度。我们提出了一种融合高光谱和多光谱图像，以提供高质量的高光谱输出的方法。所提出的优化利用最小绝对收缩和选择算子（LASSO）来执行变量选择和正则化。通过应用交替方向乘法器（ADMM），以及初始化融合图像估计它使用最大后验概率（MAP）基于Hardie的方法，减少了计算时间。我们表明，建议稀疏融合和重建提供了定量优越的结果相比，现有的方法公开可用的图像。最后，我们展示了如何所提出的方法可以实际应用于生物医学红外光谱显微镜。
2020-03-15 cs.CV eess.IV
A Generalized Tensor Formulation for Hyperspectral Image Super-Resolution Under General Spatial Blurring
针对现有张量方法假设空间模糊可分离的局限，提出基于Kronecker分解的广义张量公式，处理任意空间退化矩阵，并通过块组稀疏正则化实现精确恢复，实验证明在各项异性模糊下优于现有方法。
2024-09-27 cs.CV eess.IV
Efficient Feedback Gate Network for Hyperspectral Image Super-Resolution
School of Electronic and Information Engineering, Anhui University（安徽大学电子与信息工程学院）；School of Artificial intelligence, Anhui University（安徽大学人工智能学院）；Institutes of Physical Science, Chinese Academy Sciences（中国科学院物理科学研究院）
本文提出高效反馈门控网络，通过分组反馈、大核卷积及空间-光谱强化门控模块，提升单幅高光谱图像超分辨率性能，在三个数据集上优于现有方法。
2025-06-20 cs.CV cs.LG eess.IV
A self-supervised and adversarial approach to hyperspectral demosaicking and RGB reconstruction in surgical imaging
School of Biomedical Engineering & Imaging Sciences King’s College London London, UK（生物医学工程与成像科学学院 英国伦敦国王学院）；Department of Neurosurgery King’s College Hospital NHS Foundation Trust, London, UK（神经外科部门 英国伦敦国王学院医院 NHS基金会信托）
提出一种自监督对抗学习方法，用于外科成像中的高光谱去马赛克与RGB重建，无需配对高分辨率数据，在空间和光谱保真度及视觉评估上优于现有方法。
2024-07-27 cs.CV eess.IV
Unsupervised Hyperspectral Image Super-Resolution via Self-Supervised Modality Decoupling
Institute of Mathematics, Physics and Computer Science, Aberystwyth University（数学、物理与计算机科学学院，阿伯里斯特维斯大学）
本文提出一种自监督模态解耦框架，通过解耦模态共享与互补信息，提升超分辨率性能，实验表明其在多个数据集上优于现有方法，参数更少，推理更快。
2026-03-24 cs.CV eess.IV
Hyperspectral Image Super-resolution via Deep Spatio-spectral Convolutional Neural Networks
University of Electronic Science and Technology of China（电子科技大学）；Southwestern University of Finance and Economics（西南财经大学）；University of Salerno（萨勒诺大学）；Institute of Methodologies for Environmental Analysis, CNR-IMAA（意大利国家研究委员会环境分析方法研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
高光谱图像对于更好地了解不同材料的特性至关重要。为了实现这一目标，他们利用了大量的光谱波段。然而，这种有趣的特性往往是支付的空间分辨率降低相比，传统的多光谱图像系统。为了缓解这个问题，在这项工作中，我们提出了一种简单有效的深度卷积神经网络架构，用于融合低分辨率高光谱图像（LR-HSI）和高分辨率多光谱图像（HR-MSI），产生高分辨率高光谱图像（HR-HSI）。该网络的设计是为了保留空间和光谱信息，这要归功于两个方面的架构：一个是利用不同尺度的HR-HSI来获得具有满意光谱保留的输出;另一个是应用多分辨率分析的概念来提取高频信息，旨在输出高质量的空间细节。最后，一个普通的均方误差损失函数被用来衡量在训练过程中的性能。大量的实验表明，所提出的网络架构实现最佳的性能（定性和定量）相比，最近的国家的最先进的高光谱图像超分辨率的方法。此外，其他显着的优点，可以指出，通过使用所提出的方法，如更好的网络泛化能力，有限的计算负担，以及相对于训练样本的数量的鲁棒性。
2020-05-29 cs.CV eess.IV
Towards Lightweight Hyperspectral Image Super-Resolution with Depthwise Separable Dilated Convolutional Network
Department of Computer Science, Aalto University, Finland（艾尔沃斯大学计算机科学系）；School of Electrical and Electronic Engineering, University of Sheffield, United Kingdom（谢菲尔德大学电子与电气工程学院）
针对高光谱图像超分辨率中模型参数多、训练样本少的问题，提出轻量级深度可分离膨胀卷积网络DSDCN，结合定制损失函数，在两个公开数据集上取得极具竞争力的性能。
2025-05-01 cs.CV eess.IV
Enhanced Hyperspectral Image Super-Resolution via RGB Fusion and TV-TV Minimization
Institute of Sensors, Signals and Systems, Heriot-Watt University（赫瑞-瓦特大学传感器、信号与系统研究所）；State Key Laboratory of Rail Traffic Control and Safety, Beijing Jiaotong University（北京交通大学轨道交通控制与安全国家重点实验室）
高光谱（HS）图像包含详细的光谱信息，已被证明在遥感，监视和天文学等应用中至关重要。然而，由于HS相机的硬件限制，所捕获的图像具有低空间分辨率。为了改善它们，低分辨率的高光谱图像与传统的高分辨率RGB图像通过一种称为基于融合的HS图像超分辨率的技术进行融合。目前，这项任务的最佳性能是通过深度学习（DL）方法实现的。然而，这样的方法不能保证在恢复的图像中满足输入测量，因为通过网络学习的参数被应用于每个测试图像。相反，基于模型的算法通常可以保证这种测量的一致性。受这些观察的启发，我们提出了一个框架，集成了学习和基于模型的方法。实验结果表明，我们的方法相比，目前领先的方法，无论是基于模型或DL产生优越的空间和光谱分辨率的图像。
2021-06-13 cs.LG eess.IV eess.SP
SASSI -- Super-Pixelated Adaptive Spatio-Spectral Imaging
Rice University（莱斯大学）；Carnegie Mellon University（卡内基梅隆大学）
我们介绍了一种新的视频速率高光谱成像仪具有高的空间和时间分辨率。我们的关键假设是，光谱轮廓的像素在超像素的过分割图像往往是非常相似的。因此，场景自适应空间采样的高光谱场景，其超像素分割图像的指导下，能够获得高质量的重建。为了实现这一点，我们获取场景的RGB图像，计算其超像素，从中我们生成测量高分辨率光谱的位置的空间掩模。高光谱图像随后估计融合的RGB图像和光谱测量使用可学习的引导滤波方法。由于超像素估计步骤的计算复杂度较低，我们的设置可以捕获场景的高光谱图像，与传统的快照高光谱相机相比开销很小，但具有显着更高的空间和光谱分辨率。我们验证了所提出的技术与广泛的模拟，以及实验室原型，测量高光谱视频的空间分辨率为$600 \times 900$像素，在可见光波段的光谱分辨率为10 nm，并实现帧速率为$18$ fps。
2020-12-28 cs.CV cs.GR cs.LG
Real HSI-MSI-PAN image dataset for the hyperspectral/multi-spectral/panchromatic image fusion and super-resolution fields
School of Remote Sensing and Information Engineering, Wuhan University（武汉大学遥感信息工程学院）；Hubei Luojia Laboratory（湖北珞珈实验室）
针对现有高光谱融合实验依赖模拟数据导致算法比较不公平的问题，本文发布了一个空间配准的真实 HSI/MSI/PAN 图像数据集，支持多种图像组合融合，以促进高光谱图像融合领域的发展。
2024-07-04 cs.CV eess.IV
Deep unfolding Network for Hyperspectral Image Super-Resolution with Automatic Exposure Correction
提出UHSR-AEC深度展开网络，联合低光增强与超分辨率，自动校正曝光，在极端光照下生成高质量高光谱融合图像，性能优于现有基准方法。
2024-03-14 cs.CV eess.IV
Equivariant Imaging for Self-supervised Hyperspectral Image Inpainting
School of Engineering University of Edinburgh
针对机载和星载高光谱成像中因姿态变化等因素导致的图像残缺问题，提出了一种无需大规模训练数据和预训练模型的自监督修复算法Hyper-EI，实现了最先进的修复性能。
2024-04-19 cs.CV cs.LG eess.IV
Coupled Convolutional Neural Network with Adaptive Response Function Learning for Unsupervised Hyperspectral Super-Resolution
Key Laboratory of Digital Earth Science, Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院数字地球科学重点实验室）；Flemish Institute for Technological Research (VITO)（弗拉芒技术研究院）；IMEC Research Group, Ghent University（根特大学IMEC研究组）；Remote Sensing Technology Institute (IMF), German Aerospace Center (DLR)（德国航空航天中心遥感技术研究所）
由于高光谱成像系统的局限性，高光谱图像的空间分辨率往往很低，从而阻碍了图像的许多应用。高光谱超分辨率是指融合HSI和MSI以生成具有高空间分辨率和高光谱分辨率的图像。近年来，提出了一些新的融合方法来解决这一问题，这些方法大多假设点扩散函数（PSF）和谱响应函数（SRF）的先验信息是已知的。然而，在实践中，这种信息往往有限或无法获得。在这项工作中，提出了一种基于无监督深度学习的融合方法- HyCoNet -可以解决在没有先验PSF和SRF信息的情况下HSI-MSI融合中的问题。HyCoNet由三个耦合的自动编码器网络组成，其中HSI和MSI基于线性解混模型被解混成端元和丰度。两个特殊的卷积层被设计成与三个自动编码器网络协调的桥梁，并且在训练过程中在两个卷积层中自适应地学习PSF和SRF参数。此外，在联合损失函数的驱动下，所提出的方法是简单的，并且易于以端到端的训练方式实现。实验结果表明，该方法对不同的数据集、任意的PSF和SRF都能得到较好的结果。
2020-07-28 cs.CV eess.IV
MXR-U-Nets for Real Time Hyperspectral Reconstruction
Pixxel (Numancia Aerospace Limited)（Pixxel（努曼西亚航空航天有限公司））；Workbench Projects
近年来，CNN在图像生成、超分辨率和风格转移等方面的应用做出了重大贡献。在本文中，我们建立在霍华德和古格，他等。和米斯拉，D。并提出了一种CNN架构，可以从RGB对应物中准确重建高光谱图像。我们还提出了一个更浅的版本，我们的最佳模型具有10%的相对内存占用和3倍的推理速度，从而实现实时视频应用程序，同时仍然只经历了约0.5%的性能下降。
2020-04-15 cs.CV eess.IV
Endmember-Guided Unmixing Network (EGU-Net): A General Deep Learning Framework for Self-Supervised Hyperspectral Unmixing
German Aerospace Center (DLR)（德国航空航天中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心）
在过去的几十年里，人们已经做出了巨大的努力，以提高性能的线性或非线性混合模型的高光谱解混，但他们的能力，同时概括各种光谱变异和提取物理意义的端元仍然是有限的，由于在数据拟合和重建的能力差和各种光谱变异的敏感性。受深度学习强大的学习能力的启发，本文试图通过充分考虑从高光谱图像中提取的端元的性质，开发一种通用的高光谱解混深度学习方法--端元引导解混网络（EGU-Net）。除了单独的自动编码器式架构之外，EGU-Net是一个双流连体深度网络，它从纯或接近纯的端元学习额外的网络，以通过共享网络参数和添加频谱有意义的约束（例如，非负性和和为一）朝向更准确和可解释的解混解决方案。此外，所得到的一般框架不仅限于逐像素的光谱解混，但也适用于空间信息建模与卷积算子的空间-光谱解混。在三个不同的数据集上进行的实验结果与对应于每种材料的丰度图的地面实况证明了EGU-Net的有效性和优越性，超过了最先进的解混算法。这些代码可从以下网站获得：https://github.com/danfenghong/IEEE_TNNLS_EGU-Net。
2021-05-21 cs.CV eess.IV
DDS2M: Self-Supervised Denoising Diffusion Spatio-Spectral Model for Hyperspectral Image Restoration
Wuhan University（武汉大学）；JD Explore Academy（京东探索研究院）；University of Sydney（悉尼大学）
扩散模型由于其在图像复原中令人印象深刻的性能，特别是在噪声鲁棒性方面，最近受到了极大的关注。然而，现有的基于扩散的方法是在大量训练数据上训练的，并且在分布中表现得非常好，但是可能非常容易受到分布偏移的影响。这对于数据匮乏的高光谱图像（HSI）恢复尤其不合适。为了解决这个问题，这项工作提出了一个自我监督的扩散模型HSI恢复，即去噪扩散空间谱模型（\texttt{DDS2M}），它的工作原理是通过推断的参数提出的变分空间谱模块（VS2 M）在反向扩散过程中，只使用退化的HSI没有任何额外的训练数据。在VS2M中，基于变分推理的损失函数被定制，以使未经训练的空间和光谱网络能够学习后验分布，后验分布作为采样链的过渡，以帮助逆转扩散过程。得益于其自我监督的性质和扩散过程，\texttt{DDS2M}享有更强的泛化能力，以各种不同的HSI相比，现有的扩散为基础的方法和优越的鲁棒性，以现有的HSI恢复方法。大量的HSI去噪，噪声HSI完成和各种HSI的超分辨率的实验证明了\texttt{DDS2M}的优越性比现有的特定任务的最先进的。
2023-03-19 cs.CV eess.IV
Learning A 3D-CNN and Transformer Prior for Hyperspectral Image Super-Resolution
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）；Wuhan University（武汉大学）
为了解决高光谱图像超分辨率（HSISR）的不适定问题，通常的方法是利用高光谱图像的先验信息作为正则化项来约束目标函数。使用手工制作的先验的基于模型的方法不能完全表征HSI的性质。基于学习的方法通常使用卷积神经网络（CNN）来学习HSI的隐式先验。然而，CNN的学习能力有限，它只考虑了HSI的空间特征，而忽略了光谱特征，并且卷积对于长程相关建模效果不佳。还有很大的改进空间。在本文中，我们提出了一种新的HSISR方法，使用Transformer代替CNN来学习HSI的先验。具体来说，我们首先使用近似梯度算法来求解HSISR模型，然后使用展开网络来模拟迭代求解过程。Transformer的自关注层使其具有空间全局交互的能力。此外，我们在Transformer层后面添加了3D-CNN，以更好地探索HSI的空间-频谱相关性。在两个广泛使用的HSI数据集和真实世界数据集上的定量和可视化结果表明，与所有主流算法相比，该方法实现了相当大的增益，包括最具竞争力的传统方法和最近提出的基于深度学习的方法。
2021-11-27 cs.CV eess.IV
Cross-Attention in Coupled Unmixing Nets for Unsupervised Hyperspectral Super-Resolution
Remote Sensing Technology Institute, German Aerospace Center（德国航空航天中心遥感技术研究所）；Technical University of Munich（慕尼黑工业大学）；Univ. Grenoble Alpes, INRIA, CNRS, Grenoble INP, LJK（格勒诺布尔阿尔卑斯大学、法国国家信息与自动化研究所、法国国家科学研究中心、格勒诺布尔理工学院、LJK实验室）；Macau University of Science and Technology（澳门科技大学）
近年来，深度学习技术在高光谱图像超分辨率（HSI-SR）方面取得了很大进展。然而，无监督深度网络的开发仍然是这项任务的挑战。为此，我们提出了一种新的耦合解混网络与交叉注意机制，CUCaNet为短，以提高空间分辨率的HSI的空间分辨率，通过更高的空间分辨率的多光谱图像（MSI）。受耦合频谱解混的启发，采用双流卷积自动编码器框架作为骨干，将MS和HS数据联合分解为频谱有意义的基础和相应的系数。CUCaNet能够通过对网络实施合理的一致性假设，自适应地从HS-MS对应关系中学习光谱和空间响应函数。此外，设计了一个交叉注意模块，以产生更有效的空间光谱信息传输的网络。在三个广泛使用的HS-MS数据集上进行了大量的实验，并与最先进的HSI-SR模型进行了比较，证明了CUCaNet在HSI-SR应用中的优越性。此外，代码和数据集将在https://github.com/danfenghong/ECCV2020_CUCaNet上提供。
2020-08-01 cs.CV eess.IV
Self-supervised Deep Hyperspectral Inpainting with the Sparsity and Low-Rank Considerations
University of Edinburgh（爱丁堡大学）
针对高光谱图像易受噪声、失真、数据丢失影响降质的问题，提出两种无需外部训练数据的自监督修复算法LRS-PnP与LRS-PnP-DIP，经稳定性分析验证收敛性，实验达当前最优性能。
2023-06-13 cs.CV cs.LG eess.IV
SpectraLift: Physics-Guided Spectral-Inversion Network for Self-Supervised Hyperspectral Image Super-Resolution
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
该研究提出了一种自监督的频谱反演网络SpectraLift，利用多谱段图像的光谱响应函数实现高光谱图像与多谱段图像的融合，无需点扩散函数校准或高分辨率高光谱图像的地面真实数据，从而在PSNR、SAM、SSIM和RMSE等指标上优于现有方法。
2025-10-20 cs.CV eess.IV
Hyperspectral Image Super-Resolution in Arbitrary Input-Output Band Settings
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University at Buffalo（布法罗大学）；Syracuse University（雪城大学）
窄光谱波段的高光谱图像能够获取丰富的光谱信息，但在获取过程中牺牲了高光谱图像的空间分辨率。近年来，许多基于机器学习的HSI超分辨率（SR）算法被提出。然而，这些方法的基本限制之一是它们高度依赖于图像和相机设置，并且只能学习将具有一个特定设置的输入HSI映射到具有另一个特定设置的输出HSI。然而，由于HSI相机的多样性，不同相机捕获的图像具有不同的光谱响应函数和波段数。因此，现有的基于机器学习的方法无法学习针对各种各样的输入-输出频带设置来超分辨HSI。我们提出了一个单一的基于元学习的超分辨率（MLSR）模型，该模型可以在任意数量的输入波段的峰值波长处接收HSI图像，并生成具有任意数量的输出波段的峰值波长的SR HSI。我们利用NTIRE 2020和ICVL数据集来训练和验证MLSR模型的性能。结果表明，该模型可以在任意输入输出波段设置下成功地产生超分辨HSI波段。结果更好，或者至少与在特定输入-输出带设置上单独训练的基线相当。
2021-11-15 cs.CV eess.IV
Unsupervised Alternating Optimization for Blind Hyperspectral Imagery Super-resolution
Northwestern Polytechnical University（西北工业大学）
尽管高光谱图像（HSI）超分辨率（SR）的深度模型在模拟数据上取得了巨大的成功，但大多数方法在应用于实际数据时效果并不理想，特别是对于无监督的HSI SR方法。其中一个主要原因是大多数HSI SR方法所使用的预定义退化模型（例如空间域模糊）往往与真实模型存在很大差异，这导致这些深度模型过拟合并最终降低其在真实数据上的性能。为了很好地缓解这样的问题，我们探索了无监督的盲HSI SR方法。具体而言，我们研究如何有效地获得退化模型在空间和谱域，分别，并使它们能够很好地兼容基于融合的SR重建模型。为此，我们首先提出了一种基于交替优化的深度框架来估计退化模型和重建潜像，退化模型估计和HSI重建可以相互促进。然后，进一步提出了一种基于元学习的机制来预训练网络，可以有效提高网络的速度和适应不同复杂退化的泛化能力。三个基准HSI SR数据集上的实验报告了所提出的方法在处理盲HSI融合问题上优于其他竞争方法。
2020-12-03 cs.CV eess.IV
Implicit Neural Representation Learning for Hyperspectral Image Super-Resolution
Shanghai Jiao Tong University（上海交通大学）
高光谱图像（HSI）由于其高维光谱模式，在没有额外辅助图像的情况下实现超分辨率一直是一个挑战，其中学习有效的空间和光谱表示是一个基本问题。近年来，内隐神经表征（INRs）作为一种新颖而有效的表征方法，尤其是在重建任务中的应用取得了长足的进展。因此，在这项工作中，我们提出了一种新的HSI重建模型的基础上INR表示HSI的连续函数映射的空间坐标到其相应的光谱辐射亮度值。特别地，作为INR的具体实现，参数模型的参数通过使用卷积网络对特征提取进行操作的超网络来预测。它使连续函数以内容感知的方式将空间坐标映射到像素值。此外，周期性的空间编码与重建过程中，这使得我们的模型能够恢复更多的高频细节。为了验证我们模型的有效性，我们在三个HSI数据集（CAVE、NUS和NTIRE 2018）上进行了实验。实验结果表明，该模型可以实现竞争力的重建性能相比，国家的最先进的方法。此外，我们提供了一个消融研究的影响，我们的模型的各个组成部分。希望本文能为今后的研究提供有力的参考。
2021-12-20 cs.CV eess.IV
Spectral Dynamic Attention Network for Hyperspectral Image Super-Resolution
Sanya Oceanographic Institution, Ocean University of China（南海海洋研究所，中国海洋大学）；State Key Laboratory of Physical Oceanography, Ocean University of China（物理海洋学国家重点实验室，中国海洋大学）；Department of Electrical and Computer Engineering, Mississippi State University（密苏里州立大学电气与计算机工程系）
本文提出SDANet，通过动态通道稀疏注意力模块和频增强前馈网络，解决超分辨率重建中的光谱冗余和非线性建模能力不足问题，实验表明其在两个基准数据集上达到最先进的性能。
2026-04-30 cs.CV eess.IV
SHARE: A Fully Unsupervised Framework for Single Hyperspectral Image Restoration
School of Mathematical and Computer Sciences, Heriot-Watt University（数学与计算机科学学院，赫里奥特-瓦特大学）；School of Engineering, University of Edinburgh（工程学院，爱丁堡大学）
SHARE提出了一种完全无监督的单超光谱图像恢复框架，结合几何等变原理和低秩光谱建模，无需地面真实数据，通过自监督信号和动态自适应光谱注意力模块提升恢复性能。
2026-01-20 cs.CV eess.IV
Tensor Alignment Based Domain Adaptation for Hyperspectral Image Classification
National University of Defense Technology（国防科技大学）；University of Trento（特伦托大学）
提出了一种基于张量对齐（TA）的高光谱图像（HSI）区域自适应分类方法。具体来说，首先将两个域中的HSI分割成超像素，并构造两个域的张量以包括来自单个超像素的相邻样本。然后将两个域之间的子空间不变性作为投影矩阵，利用Tucker分解将原始张量作为低维的核张量投影到不变张量子空间中。为了保持原始张量中的几何信息，我们在分解过程中使用了核心张量的流形正则化项。采用交替优化的方法求解投影矩阵和核张量，并分析了TA算法的收敛性。此外，通过对每个超像素进行纯样本提取来定义后处理策略，以进一步提高分类性能。实验结果表明，在源标记样本数量有限的情况下，与现有的子空间学习方法相比，该方法具有更好的性能。
2018-09-04 cs.CV eess.IV
Deep Posterior Distribution-based Embedding for Hyperspectral Image Super-resolution
City University of Hong Kong（香港城市大学）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；Huaqiao University（华侨大学）；Xidian University（西安电子科技大学）；University of Macau（澳门大学）
本文研究了基于深度学习的高光谱图像空间超分辨率问题。特别是，我们专注于如何嵌入的高维空间光谱信息的HS图像的高效和有效的。具体而言，在现有的方法采用精心设计的网络模块相比，我们制定HS嵌入作为一组精心定义的HS嵌入事件，包括逐层的空间光谱特征提取和网络级的特征聚合的后验分布的近似。然后，我们将所提出的特征嵌入方案纳入一个源一致的超分辨率框架，这是物理上可解释的，产生轻量级的PDE-Net，其中高分辨率（HR）HS图像迭代细化输入低分辨率（LR）HS图像和伪LR-HS图像退化重建HR-HS图像之间的残差通过概率启发HS嵌入。在三个常见的基准数据集上进行的大量实验表明，PDE-Net比最先进的方法具有更好的性能。此外，这种网络的概率特性可以提供网络输出的认知不确定性，这可能会带来额外的好处时，用于其他HS基于图像的应用程序。该代码将在https://github.com/jinnh/PDE-Net上公开发布。
2022-08-23 cs.CV eess.IV
Leveraging pretrained RGB denoisers for hyperspectral image restoration
Univ. Grenoble Alpes, CNRS, Grenoble INP, GIPSA-Lab（格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、格勒诺布尔INP、GIPSA实验室）
提出一种轻量级适配器，通过投影映射重用冻结的预训练RGB去噪器，实现高光谱图像的去噪、去模糊和超分辨率恢复，实验表明RGB先验具有良好的迁移性。
2026-05-23 cs.AI cs.CV eess.IV
Hyperspectral Super-Resolution via Global-Local Low-Rank Matrix Estimation
The Chinese University of Hong Kong（香港中文大学）；Oregon State University（俄勒冈州立大学）；University of Electronic Science and Technology of China（电子科技大学）
高光谱超分辨率（HSR）是一个问题，旨在从一对共配准的多光谱（MS）和高光谱（HS）图像，这分别具有较粗的光谱和空间分辨率，估计高光谱和空间分辨率的图像。在本文中，我们追求一个低秩矩阵估计方法的HSR。我们假设与整个图像和图像的局部区域相关联的谱空间矩阵具有低秩结构。局部低秩假设的目的是提供一个更灵活的模型，用于解释端元变异引起的局部变异效应。我们制定的HSR问题作为一个全球局部秩正则化最小二乘问题。利用非凸大规模优化的最新进展，即光滑Schatten-p逼近和加速优化最小化方法，我们提出了一种求解全局-局部低秩问题的有效算法.仿真、半真实和真实数据的实验结果表明，该算法在恢复性能上优于一些基准算法。
2020-03-08 cs.LG eess.IV eess.SP
HSR-Diff:Hyperspectral Image Super-Resolution via Conditional Diffusion Models
Northwestern Polytechnical University（西北工业大学）；Yan’an University（延安大学）
针对高光谱图像空间分辨率低的问题，提出基于条件扩散模型的HSR-Diff方法，融合高分辨率多光谱图像与低分辨率高光谱图像，通过条件去噪Transformer迭代细化生成高分辨率图像，在四个公开数据集上超越现有方法。
2023-06-21 cs.CV eess.IV
Lightweight Interpretable RGB-Guided Hyperspectral Super-Resolution under Real Cross-resolution Misalignment
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS Grenoble INP（法国国家科学研究中心格勒诺布尔国立理工学院）；GIPSA-Lab（格勒诺布尔图像、信号、声学与自动化实验室）；Institut Universitaire de France (IUF)（法国大学研究院）
本文针对真实跨分辨率失配问题，提出一种轻量可解释的RGB引导高光谱超分辨率框架，结合跨模态流对齐与Gram-Schmidt正交化融合，在提升重建精度的同时加快了速度，支持多光谱与尺度因子且无需重训。
2026-09-02 cs.CV eess.IV
Decoupled-and-Coupled Networks: Self-Supervised Hyperspectral Image Super-Resolution with Subpixel Fusion
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；The University of Tokyo（东京大学）；RIKEN（日本理化学研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）
近年来，人们在高空间分辨率多光谱图像的辅助下，对超分辨率高光谱图像进行了大量的研究。以往的融合方法大多采用像素级的先验信息。然而，由于空间和光谱分辨率的差异，HS-MS数据之间的大分布差距的内在影响较少研究。该间隙可能是由未知的传感器特定属性或一个像素内的高度混合的光谱信息（由于低空间分辨率）引起的。为此，我们提出了一个亚像素级的HS超分辨率框架，通过设计一种新的耦合和耦合网络，称为DC-Net，逐步融合HS-MS信息从像素到亚像素级，从图像到特征级。顾名思义，DC-Net首先将输入转换为公共（或交叉传感器）和传感器特定的分量，以消除HS-MS图像之间的差距，然后进一步融合，然后通过模型引导的耦合光谱解混（CSU）网络将它们完全混合。更重要的是，我们通过保证材料的一致性，在CSU网络后面添加了一个自监督学习模块，以增强恢复的HS产品的细节外观。大量的实验结果表明，我们的方法在视觉和定量上的优越性，并取得了显着的改善，与国家的最先进的。此外，为了重现性，代码和数据集将在https://sites.google.com/view/danfeng-hong上提供。
2022-05-07 cs.CV eess.IV
Hyperspectral and multispectral image fusion with arbitrary resolution through self-supervised representations
Southern University of Science and Technology（南方科技大学）；The Chinese University of Hong Kong（香港中文大学）；University of Electronic Science and Technology of China（电子科技大学）；Hong Kong Baptist University（香港浸会大学）
本文提出连续低秩分解（CLoRF）方法，将神经表示融入矩阵分解，以自监督方式实现任意分辨率的高光谱与多光谱图像融合，无需重新训练即可显著超越现有方法。
2024-11-25 cs.CV eess.IV
Hyperspectral and LiDAR data classification based on linear self-attention
Ocean University of China（中国海洋大学）
针对高光谱图像和激光雷达数据的联合分类问题，提出了一种有效的线性自注意融合模型。该方法由特征提取模块、注意模块和融合模块组成。注意力模块是一个即插即用的线性自我注意力模块，可以广泛用于任何模型。该模型在Houston数据集上的总体精度达到95.40%.实验结果表明，该方法优于其他国家的最先进的模型。
2021-04-06 cs.CV eess.IV
