Fusformer: A Transformer-based Fusion Approach for Hyperspectral Image Super-resolution
University of Electronic Science and Technology of China(电子科技大学)
高光谱图像因其丰富的光谱信息而变得越来越重要。但由于现有成像机制的限制,其空间分辨率较低。目前,针对高光谱图像的超分辨率问题,已经提出了许多卷积神经网络。然而,基于卷积神经网络(CNN)的方法只考虑局部信息,而不是在卷积运算中的有限核大小的感受野的全局信息。本文设计了一种基于Transformer的网络,将低分辨率高光谱图像和高分辨率多光谱图像进行融合,得到高分辨率的高光谱图像。由于Transformer的表示能力,我们的方法是能够探索的内在关系的功能全球。此外,考虑到LR-HSI拥有主要的光谱结构,网络侧重于空间细节估计,从而减轻了重建整个数据的负担。它减少了所提出的网络的映射空间,从而提高了最终的性能。各种实验和质量指标表明,我们的方法相比,其他国家的最先进的方法的优越性。
2021-09-05 cs.CV
Transfer learning RGB models to hyperspectral images with trainable tensor decompositions
KU Leuven, Dept. of Computer Science(库勒芬大学计算机科学系);Leuven.AI - KU Leuven Institute for AI(莱文人工智能 - 库勒芬大学人工智能研究所)
提出一种通过可训练张量分解将预训练RGB模型的卷积滤波器分解为空间和光谱成分,并替换光谱成分以适应高光谱图像通道数的方法,实现高光谱图像迁移学习,实验表明该方法比其他方法更准确和鲁棒。
2026-05-27 cs.CV
Deep Learning for Classification of Hyperspectral Data: A Comparative Review
ONERA(法国航空航天研究院);University Paris Saclay(巴黎-萨克雷大学);Univ. Bretagne Sud(南布列塔尼大学);IRISA(法国信息与随机系统研究所)
近年来,深度学习技术彻底改变了遥感数据的处理方式。高光谱数据的分类也不例外,但具有内在的特殊性,这使得深度学习的应用不如其他光学数据那么简单。本文介绍了以前的机器学习方法的最新技术水平,回顾了目前提出的用于高光谱分类的各种深度学习方法,并确定了为此任务实现深度神经网络所出现的问题和困难。特别是,空间和光谱分辨率,数据量,并从多媒体图像的模型转移到高光谱数据的问题得到解决。此外,还提供了各种网络体系结构的比较研究,并公开发布了一个软件工具箱,以允许试验这些方法。1本文面向对高光谱数据感兴趣的数据科学家和渴望将深度学习技术应用于自己的数据集的遥感专家。
2019-04-24 cs.CV cs.LG cs.NE
Unsupervised Band Selection of Hyperspectral Images via Multi-dictionary Sparse Representation
Dalian University of Technology(大连理工大学);Shenyang Aerospace University(沈阳航空航天大学);University of Adelaide(阿德莱德大学)
高光谱图像具有比普通多光谱图像多得多的光谱波段。丰富的波段信息为海量应用提供了更为有利的条件。然而,光谱带维数的显著增加可能导致维数灾难,特别是对于分类应用。此外,由于水分蒸发、传感器噪声等因素的影响,原始图像立方体之间存在大量的冗余信息。波段选择是一种直接有效的去除冗余信息、降低谱维数的方法,可以降低计算复杂性,避免维数灾难。在本文中,我们提出了一种新的学习框架的基础上的思想稀疏表示的波段选择。更具体地,首先,每个带由其他带的线性组合近似地表示,然后原始带图像可以由多字典学习机制表示。因此,一组权重可以通过稀疏优化获得的所有波段。最后,如果特定波段在原始图像的表示中获得比其他波段更高的权重,则将选择特定波段。在三个广泛使用的高光谱数据集上的实验结果表明,该算法在高光谱图像分类中取得了较好的性能,与其他最先进的波段选择方法相比。
2018-02-20 cs.CV
HyperGS: Hyperspectral 3D Gaussian Splatting
University of Surrey(萨里大学);I3D Robotics(I3D机器人公司)
HyperGS提出基于潜在三维高斯泼溅的高光谱新视角合成框架,实现空间与光谱同步渲染,并引入首个HNVS基准,精度较现有方法提升14分贝。
2024-12-17 cs.CV
A CNN With Multi-scale Convolution for Hyperspectral Image Classification using Target-Pixel-Orientation scheme
Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校)
最近,CNN是处理高光谱图像分类挑战的流行选择。尽管高光谱图像(HSI)具有如此大的光谱信息,但它产生了维数灾难。此外,光谱特征的大的空间变异性增加了分类问题的难度。此外,用稀缺的训练样本以端到端的方式训练CNN是另一个具有挑战性和有趣的问题。本文提出了一种新的目标块定位方法,用于训练基于CNN的神经网络。此外,我们还引入了一种基于3D-CNN和2D-CNN的混合网络架构,分别实现了频带缩减和特征提取方法。实验结果表明,我们的方法优于现有的最先进的方法中报告的准确性。
2021-05-05 cs.CV
MatSpectNet: Material Segmentation Network with Domain-Aware and Physically-Constrained Hyperspectral Reconstruction
Baidu Inc.(百度公司)
本文提出MatSpectNet,通过物理约束、域适应与感知增强从RGB重建高光谱图像以提升材料分割,在LMD和OpenSurface上分别取得1.60%和3.42%的准确率提升。
2023-08-17 cs.CV eess.IV
Convolution Based Spectral Partitioning Architecture for Hyperspectral Image Classification
University College London(伦敦大学学院);Imperial College London(帝国理工学院);China Academy of Space Technology(中国空间技术研究院)
高光谱图像具有高光谱分辨率的特点,在遥感应用中得到了广泛的应用,有利于高精度的土地覆盖分类。然而,HSIs处理与高维和有限数量的标记数据的问题纠缠在一起。为了解决这些挑战,本文提出了一种深度学习架构,该架构使用具有谱分区的三维卷积神经网络来执行有效的特征提取。我们进行实验,使用美国宇航局机载可见光/红光成像光谱仪获得的印度松树和萨利纳斯场景。在以前的结果相比,我们的架构显示出竞争力的性能,分类结果超过目前的方法。
2019-06-27 cs.CV cs.LG eess.IV
Hyperspectral Adapter for Semantic Segmentation with Vision Foundation Models
Department of Computer Science, University of Freiburg(弗赖堡大学计算机科学系);Baden-Württemberg Stiftung gGmbH(巴登-符腾堡基金会);Bosch Research(博世研究)
提出一种高光谱适配器,利用预训练视觉基础模型,通过光谱变换器、空间先验模块和模态感知交互块,在自动驾驶数据集上实现最先进的语义分割性能。
2025-09-25 cs.AI cs.CV cs.LG
HyperFake: Hyperspectral Reconstruction and Attention-Guided Analysis for Advanced Deepfake Detection
Department of Electrical Engineering, Indian Institute of Technology Indore(印度理工学院印度尔分校电子工程系)
HyperFake是首个利用高光谱成像重建的深度伪造检测方法,通过改进的MST++架构、光谱注意力机制与EfficientNet分类器,从RGB视频重建31通道高光谱数据,实现了更准确且泛化性更强的深度伪造检测。
2026-08-11 cs.AI cs.CV
Interpretable Hyperspectral AI: When Non-Convex Modeling meets Hyperspectral Remote Sensing
Remote Sensing Technology Institute (IMF), German Aerospace Center (DLR)(德国航空航天中心遥感技术研究所);Univ. Grenoble Alpes(格勒诺布尔大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);RIKEN Center for Advanced Intelligence Project (AIP)(理化学研究所智能情报研究中心);Graduate School of Frontier Sciences, the University of Tokyo(东京大学前沿科学研究生院);Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院);Wuhan University(武汉大学);INRIA(法国国家信息与自动化研究所);LJK(格勒诺布尔大学-法国国家科学研究中心-格勒诺布尔理工学院联合实验室)
高光谱成像,也称为图像光谱法,是地球科学和遥感(RS)领域的一项里程碑式的技术。在过去的十年中,已经做出了巨大的努力,主要是通过经验丰富的专家来处理和分析这些高光谱(HS)产品。然而,随着数据量的不断增长,大量的人力和物力成本对减轻体力劳动负担和提高效率提出了新的挑战。因此,迫切需要为各种HS RS应用开发更智能化和自动化的方法。具有凸优化的机器学习(ML)工具已成功承担了众多人工智能(AI)相关应用的任务。然而,他们在处理复杂的实际问题的能力仍然有限,特别是对于HS数据,由于各种光谱变化的影响,在HS成像的过程中和高维HS信号的复杂性和冗余。与凸模型相比,非凸模型能够表征更复杂的真实场景,并在技术和理论上提供模型可解释性,已被证明是一种可行的解决方案,可以缩小具有挑战性的HS视觉任务与当前先进的智能数据处理模型之间的差距。
2021-03-02 cs.AI cs.CV eess.IV
Dual-Stage Approach Toward Hyperspectral Image Super-Resolution
Northwestern Polytechnical University(西北工业大学);University of New South Wales(新南威尔士大学)
高光谱图像是以牺牲空间分辨率为代价获得高光谱分辨率的。在不降低光谱分辨率的情况下,提高空间域的分辨率是一个非常具有挑战性的问题。基于高光谱图像在大光谱范围内相邻波段间具有高度相似性这一发现,本文提出了一种新的高光谱图像超分辨率结构(DualSR),即双级设计,粗阶段和细阶段。在粗处理阶段,将一定光谱范围内相似度高的5个波段分为3组,引导当前波段进行潜在知识的学习。在交替光谱融合机制的作用下,对粗SR图像进行逐波段超分辨。为了从全局角度建模,在精细阶段提出了一种基于光谱角约束的增强反投影方法,用于学习空间-光谱一致性的内容,显著提高了性能增益。大量的实验证明了所提出的粗级和精级的有效性。此外,我们的网络在空间重建和光谱保真度方面产生了与现有作品相比最先进的结果。
2022-04-09 cs.CV eess.IV
Hyperspectral Band Selection for Multispectral Image Classification with Convolutional Networks
Montana State University(蒙大拿州立大学)
近年来,高光谱成像(HSI)已成为遥感、农业和生物医学等应用中可靠数据的强大来源。然而,高光谱图像是高度数据密集的,并且通常受益于减少光谱带数量的方法,同时保留对特定应用最有用的信息。我们提出了一种新的波段选择方法来选择一组减少的波长,从HSI系统中获得的图像分类的上下文中。我们的方法包括两个主要步骤:第一个是利用基于滤波器的方法,找到相关的光谱带的基础上的共线性分析波段和它的邻居。这种分析有助于去除冗余频带,并大大减少搜索空间。第二步应用基于包装器的方法来基于其信息熵值从缩减集中选择频带,并训练紧凑的卷积神经网络(CNN)来评估当前选择的性能。我们目前从我们的方法获得的分类结果,并将它们与其他两个高光谱图像数据集上的特征选择方法进行比较。此外,我们使用原始的高光谱数据立方体来模拟在多光谱成像仪中使用实际滤波器的过程。我们表明,我们的方法产生更合适的多光谱传感器设计的结果。
2021-06-01 cs.CV eess.IV
Hyperspectral Image Dataset for Benchmarking on Salient Object Detection
National Institute of Advanced Industrial Science and Technology(产业技术综合研究所);Jiangxi University of Finance and Economics(江西财经大学)
该研究发布了一个包含60幅高光谱图像及其标注和渲染彩色图像的高光谱显著目标检测数据集,并利用AUC指标评估了现有模型性能,以推动该领域发展。
2026-10-01 cs.CV
Curriculum Multi-Task Self-Supervision Improves Lightweight Architectures for Onboard Satellite Hyperspectral Image Segmentation
Univ. Toulouse, IRIT, France(法国图卢兹大学IRIT研究所);CNRS, France(法国国家科学研究中心);CLLE, CNRS, France(法国国家科学研究中心CLLE);University of Bucharest, Romania(罗马尼亚布加勒斯特大学)
课程多任务自监督学习提升轻量级架构用于车载卫星超光谱图像分割,通过统一设计解决空间与光谱推理,实现高效且紧凑的模型训练。
2026-02-16 cs.AI cs.CV cs.LG
Beyond RGB: Benchmarking and Enhancing MLLMs for Hyperspectral Image Understanding via Training-Free Reasoning Framework
Sun Yat-sen University(中山大学);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);China Agricultural University(中国农业大学);Southwest Jiaotong University(西南交通大学);Southwest University(西南大学);National Supercomputing Center in Shenzhen(国家超级计算深圳中心)
本文提出HM-Bench,首个用于评估多模态大语言模型在高光谱图像理解中的基准,通过构建19337对问题-答案对,探索模型在处理高维高光谱数据中的挑战,揭示视觉输入在空间-光谱推理中的优势。
2026-11-10 cs.AI cs.CV
An automatic bad band preremoval algorithm for hyperspectral imagery
对于大多数高光谱遥感应用,去除坏波段,如水吸收波段,是一个必要的预处理步骤。目前,常用的方法是通过目视检查,这是非常耗时的,很容易忽略一些噪声带。在这项研究中,我们发现目标检测算法和损坏的频带去除之间的内在联系。作为一个例子,对于匹配滤波器(MF),这是最广泛使用的目标检测方法的高光谱数据,我们提出了一个自动的MF为基础的坏带识别算法。MF检测器是滤波器向量,并且所得到的滤波器输出是由MF系数加权的所有频带的和。因此,我们只能通过使用MF滤波器向量本身来识别坏频带,其条目的绝对值占每个频带对于目标检测的重要性。对于感兴趣的特定目标,具有小MF权重的频带对应于有噪声或坏的频带。基于这一事实,我们开发了一种自动坏带预去除算法,利用MF权重的平均绝对值为场景内的多个目标。实验结果表明,该方法能够有效地识别出通常被人工选择为不良波段的吸水率和其他低信噪比波段。
2016-10-19 cs.CV
Feature Extraction for Hyperspectral Imagery: The Evolution from Shallow to Deep (Overview and Toolbox)
Helmholtz-Zentrum Dresden-Rossendorf(亥姆霍兹德累斯顿-罗森多夫研究中心);Univ. Grenoble Alpes(格勒诺布尔-阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);Nanjing University of Information Science and Technology(南京信息工程大学);Hunan University(湖南大学);Inria(法国国家信息与自动化研究所);University of Iceland(冰岛大学)
高光谱图像通过数百个(窄)光谱通道(也称为维度或波段)提供详细的光谱信息,具有连续的光谱信息,可以准确地对各种感兴趣的材料进行分类。这种数据的增加的维度使得有可能显着提高数据信息内容,但提供了一个挑战的传统技术(所谓的维数灾难)的高光谱图像的准确分析。特征提取作为高光谱领域中一个充满活力的研究领域,经过几十年的研究,逐渐解决了这个问题,并提取出适合数据表示和分类的信息特征。特征提取的进展受到两个研究领域的启发,包括图像和信号处理以及机器(深度)学习的普及,导致两种类型的特征提取方法,称为浅技术和深技术。本文概述了高光谱图像特征提取方法的进展,提供了一个技术概述的国家的最先进的技术,提供了有用的切入点,在不同层次的研究人员,包括学生,研究人员和高级研究人员,愿意探索新的调查这一具有挑战性的话题。更详细地说,本文提供了一个鸟瞰图浅(包括监督和无监督)和深特征提取的方法,专门致力于高光谱特征提取的主题和它的高光谱图像分类的应用。此外,本文比较了15种先进的技术,强调其方法论基础的分类精度。此外,代码和库在https://github.com/BehnoodRasti/HyFTech-Hyperspectral-Shallow-Deep-Feature-Extraction-Toolbox上共享。
2020-07-29 cs.CV cs.LG eess.IV
Super-Resolution for Hyperspectral and Multispectral Image Fusion Accounting for Seasonal Spectral Variability
Federal University of Santa Catarina(圣卡塔琳娜联邦大学);Northeastern University(东北大学);Catholic University of Pelotas(佩洛塔斯天主教大学)
图像融合结合来自不同异构源的数据以获得关于底层场景的更精确的信息。高光谱-多光谱(HS-MS)图像融合目前在遥感领域引起了人们的极大兴趣,因为它可以生成高空间分辨率的HS图像,从而规避了这种成像方式的主要限制。然而,现有的HS-MS融合算法忽略了在不同时刻获取的图像之间经常存在的光谱变化。由于不同的采集和季节条件,这一时间差导致底层组成材料的光谱特征发生变化。本文介绍了一种新的HS-MS图像融合策略,它结合了一个基于解混的配方与一个显式的参数模型,两个图像之间的典型光谱变化。仿真与合成和真实数据表明,所提出的策略导致显着的性能改善下的光谱变化和国家的最先进的性能,否则。
2019-07-02 cs.CV
Learning Hyperspectral Images with Curated Text Prompts for Efficient Multimodal Alignment
Jadavpur University(贾瓦帕尔大学)
本文提出 CLIP 风格的高光谱视觉-语言对比对齐框架,用冻结 LEM、可训练探针、困难/半困难负样本及语义提示,仅更新 0.07% 参数便在 IP 与 PU 上达到最优。
2025-09-20 cs.AI cs.CV cs.LG
Data-Efficient Spectral Classification of Hyperspectral Data Using MiniROCKET and HDC-MiniROCKET
Institute of Computational Visualistics, University of Koblenz(计算视觉学研究所,科布伦茨大学);Chair of Automation Technology, TU Chemnitz(自动化技术教授团,泰克尼茨技术大学)
针对1D-Justo-LiuNet在训练数据有限时性能下降的问题,研究提出利用无需可训练参数的MiniROCKET和HDC-MiniROCKET进行高光谱光谱分类,证明其在有限数据场景下优于现有模型且在一般情况下表现持平。
2025-09-17 cs.CV
NukesFormers: Unpaired Hyperspectral Image Generation with Non-Uniform Domain Alignment
本文提出NukesFormers,通过范围-零空间分解和非均匀Kolmogorov-Arnold网络解决非配对高光谱图像生成中的域对齐与零空间补偿难题,在UnHIG任务上建立新基准。
2025-03-10 cs.AI cs.CV
Object Detection in Hyperspectral Image via Unified Spectral-Spatial Feature Aggregation
China University of Geosciences(中国地质大学);National University of Defense Technology(国防科技大学);Qilu University of Technology (Shandong Academy of Sciences)(齐鲁工业大学(山东省科学院));Shandong Computer Science Center (National Supercomputing Center in Jinan)(山东省计算中心(国家超级计算济南中心));Hexagon AB(海克斯康集团)
针对高光谱目标检测中光谱与空间信息利用割裂的问题,提出S2ADet检测器,通过HID模块和双流网络聚合互补特征,并构建HOD3K数据集,实验性能优于现有方法。
2023-08-18 cs.CV
ADRN: Attention-based Deep Residual Network for Hyperspectral Image Denoising
Harbin Institute of Technology(哈尔滨工业大学)
高光谱图像去噪对于高光谱图像的分类、解译等后续应用具有重要意义。在本文中,我们提出了一种基于注意力的深度残差网络,可以直接学习从噪声HSI到干净HSI的映射。为了联合利用空间-频谱信息,当前频带及其$K$相邻频带被同时利用作为输入。然后,我们采用不同滤波器大小的卷积层来融合多尺度特征,并使用快捷连接来合并多层次信息以更好地去除噪声。此外,采用通道注意机制,使网络集中在最相关的辅助信息和最有利于去噪过程的特征。为了简化训练过程,我们通过残差模式而不是直接预测来重建输出。实验结果表明,我们提出的ADRN计划优于国家的最先进的方法在定量和视觉评价。
2020-03-04 cs.CV eess.IV
Deep Hyperspectral Unmixing using Transformer Network
Jalpaiguri Engineering College(贾尔派古里工程学院);University of Antwerp(安特卫普大学);Helmholtz-Zentrum Dresden-Rossendorf(亥姆霍兹德累斯顿罗森多夫研究中心);Helmholtz Institute Freiberg for Resource Technology(亥姆霍兹弗赖贝格资源技术研究所)
目前,这篇论文正在IEEE进行评审。Transformers以其在自然语言处理方面的最先进性能引起了视觉研究界的兴趣。Transformers凭借其优越的性能,在高光谱图像分类领域找到了自己的道路,并取得了可喜的成果。在这篇文章中,我们利用Transformers的力量来克服高光谱解混的任务,并提出了一种新的深度解混模型与Transformers。我们的目标是利用Transformers的能力,以更好地捕捉全球功能的依赖关系,以提高端元光谱和丰度图的质量。所提出的模型是卷积自动编码器和Transformer的组合。高光谱数据由卷积编码器编码。Transformer捕获从编码器导出的表示之间的长范围依赖性。使用卷积解码器重建数据。我们将所提出的解混模型应用于三个广泛使用的解混数据集,即,Samson、Apex和Washington DC mall的数据,并在均方根误差和光谱角距离方面将其与最新技术进行了比较。拟议模型的源代码将在\url{https://github.com/preetam22n/DeepTrans-HSU}上公开提供。
2022-03-31 cs.CV eess.IV
Few-Shot Hyperspectral Image Classification With Unknown Classes Using Multitask Deep Learning
The University of Hong Kong(香港大学);Sun Yat-sen University(中山大学);Wuhan University(武汉大学)
当前的高光谱图像分类假设一个预定义的分类系统是封闭和完整的,并且在看不见的数据中不存在未知的或新的类别。然而,这种假设对于现实世界来说可能过于严格。在构建分类系统时,新的类别往往被忽视。封闭的性质迫使模型在给定新样本的情况下分配标签,并且可能导致对已知土地覆盖的高估(例如,作物区)。为了解决这个问题,我们提出了一种多任务深度学习方法,该方法在可能存在未知类的开放世界(名为MDL 4 OW)中同时进行分类和重建。重建的数据与原始数据进行比较;那些未能重建的数据被认为是未知的,基于这样的假设,即由于缺乏标签,它们在潜在特征中没有很好地表示。需要定义一个阈值来分离未知和已知的类,我们提出了两种策略的基础上的极值理论的Few-Shot和多杆的情况下。所提出的方法在真实世界的高光谱图像上进行了测试;取得了最先进的结果,例如,将萨利纳斯数据的整体准确度提高了4.94%。通过考虑开放世界中未知类的存在,该方法实现了更准确的高光谱图像分类,特别是在Few-Shot背景下。
2020-09-08 cs.CV
PIF-Net: Ill-Posed Prior Guided Multispectral and Hyperspectral Image Fusion via Invertible Mamba and Fusion-Aware LoRA
PIF-Net通过可逆Mamba和融合感知LoRA模块,有效解决多光谱与高光谱图像融合中的病态问题,实现高质量图像恢复与高效模型性能。
2025-11-30 cs.CV
Hyperspectral band selection using genetic algorithm and support vector machines for early identification of charcoal rot disease in soybean
Iowa State University(爱荷华州立大学)
炭腐病是一种真菌病害,在温暖干燥的条件下茁壮成长,影响全球大豆和其他重要农作物的产量。需要对疾病症状进行稳健、自动和一致的早期检测和量化,这在用于开发改良品种的育种计划和用于实施病害控制措施以保护产量的作物生产中是重要的。目前的植物疾病表型分析方法主要是视觉的,因此是缓慢的,易于人为错误和变化。人们对高光谱成像应用于疾病症状的早期检测越来越感兴趣。然而,高光谱数据的高维性使得建立有效的分析管道来识别疾病变得非常重要,这样就可以做出有效的作物管理决策。这项工作的重点是确定最有效的高光谱波段的最小数量,可以区分健康和患病的标本在生长季节的早期。在接种后3、6、9、12和15天捕获健康和患病的高光谱数据立方体。我们使用来自4种不同基因型的接种标本和对照标本。每张高光谱图像都是在383至1032纳米范围内的240种不同波长下拍摄的。我们使用遗传算法作为优化器和支持向量机作为分类器的组合,用于识别最大有效波段组合。健康和感染的样本之间的二进制分类使用六个选定的波段组合获得了97%的分类准确度和F1得分为0.97的感染类。结果表明,这些精心挑选的波段比RGB图像信息量更大,可用于多光谱相机对大豆炭腐病的远程识别。
2017-10-12 cs.CV
Hyperspectral and multispectral image fusion under spectrally varying spatial blurs -- Application to high dimensional infrared astronomical imaging
University of Toulouse(图卢兹大学);IRIT/INP-ENSEEIHT(图卢兹计算机研究所/国立图卢兹应用科学学院-国立高等电力技术、电子学、计算机、水力学与电信学院);CNRS(法国国家科学研究中心);Institut Universitaire de France (IUF)(法国大学研究院);ISAE-SUPAERO(法国高等航空航天学院);Institut de Recherche en Astrophysique et Planétologie (IRAP)(天体物理与行星学研究所)
在过去的几十年里,高光谱成像已经成为天文学家宝贵数据的重要来源。目前的仪器和观测时间限制允许直接获取空间分辨率高但光谱分辨率低的多光谱图像和空间分辨率低但光谱分辨率高的超光谱图像。为了提高数据的科学解释,我们提出了一种数据融合方法,它结合了每个图像的优点,以恢复一个高的空间-光谱分辨率数据立方体。所提出的逆问题占天文仪器的特殊性,如光谱变化模糊。我们通过在频域和低维子空间中解决问题来提供快速实现,以有效地处理卷积算子以及高维数据。我们进行实验的一个现实的合成数据集的模拟观测即将到来的詹姆斯韦伯太空望远镜,我们表明,我们的融合算法优于国家的最先进的方法,通常用于遥感地球观测。
2019-12-26 astro-ph.IM cs.CV eess.IV
CMTNet: Convolutional Meets Transformer Network for Hyperspectral Images Classification
针对 CNN 局部建模局限和样本不平衡问题,本文提出融合 CNN 与 Transformer 的 CMTNet,通过光谱-空间提取、双分支和多输出约束提升高光谱作物分类性能。
2025-01-10 cs.CV cs.GR
HYDRA: HYbrid knowledge Distillation and spectral Reconstruction Algorithm for high channel hyperspectral camera applications
University of Surrey(萨里大学);i3D Robotics(i3D机器人)
提出 HYDRA 混合知识蒸馏与光谱重建架构,通过 Teacher-Student 模型从三通道彩色图像恢复数百通道 HSI,在所有指标上达到 SOTA,准确率提升 18% 且推理更快。
2025-10-18 cs.CV
HSR-KAN: Efficient Hyperspectral Image Super-Resolution via Kolmogorov-Arnold Networks
College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院)
HSR-KAN 通过 Kolmogorov-Arnold 网络实现超分辨率 hyperspectral 图像的高效融合与提升,结合通道注意力机制以增强细节模拟和避免维度灾难。
2025-11-30 cs.CV
A consensus-constrained parsimonious Gaussian mixture model for clustering hyperspectral images
University College Dublin(都柏林大学学院)
针对高光谱图像像素标注中基于阈值方法的主观性与泛化性问题,提出共识约束简约高斯混合模型(ccPGMM),通过潜变量模型和共识聚类提升聚类性能与计算效率,在食品样本高光谱图像中验证有效。
2024-12-10 cs.CV eess.IV stat.ME
FactoFormer: Factorized Hyperspectral Transformers with Self-Supervised Pretraining
Robotics and Autonomous Systems, DATA61, CSIRO(CSIRO DATA61 机器人与自主系统);Queensland University of Technology (QUT)(昆士兰科技大学)
提出分解式光谱-空间Transformer结合自监督预训练,解决高光谱图像空间信息利用不足与数据依赖问题,在六个数据集上达到SOTA。
2024-01-04 cs.AI cs.CV
Fine-grained Hierarchical Crop Type Classification from Integrated Hyperspectral EnMAP Data and Multispectral Sentinel-2 Time Series: A Large-scale Dataset and Dual-stream Transformer Method
Jockey Club STEM Lab of Quantitative Remote Sensing, Department of Geography, The University of Hong Kong, Hong Kong, China(香港大学地理系定量遥感实验室);Department of Aerospace Intelligent Science and Technology, School of Astronautics, Beihang University, Beijing, China(北航航天智能科学与技术系)
本文构建融合 EnMAP 高光谱影像与 Sentinel-2 时间序列的百万地块 H2Crop 数据集,并提出双流 Transformer 实现四级细粒度作物分类,显著提升准确率。
2025-06-09 cs.CV cs.LG
Dynamic 3D KAN Convolution with Adaptive Grid Optimization for Hyperspectral Image Classification
iFLYTEK;Aegon THTF
针对高光谱图像分类中的高维、稀疏和冗余问题,提出基于改进3D-DenseNet的KANet,利用3D KAN卷积和自适应网格更新捕获谱-空非线性关系,在IN、UP和KSC数据集上优于主流方法。
2025-04-21 cs.CV
Pillar-Voxel Fusion Network for 3D Object Detection in Airborne Hyperspectral Point Clouds
School of Electronics and Information Engineering, Harbin Institute of Technology(电子与信息工程学院,哈尔滨工业大学)
本文提出PiV-AHPC网络,通过柱体-体素双分支编码器和多级特征融合机制,有效解决空中超光谱点云中3D目标检测的几何-光谱失真问题,实现高精度检测与泛化能力。
2025-07-05 cs.CV
A self-supervised and adversarial approach to hyperspectral demosaicking and RGB reconstruction in surgical imaging
School of Biomedical Engineering & Imaging Sciences King’s College London London, UK(生物医学工程与成像科学学院 英国伦敦国王学院);Department of Neurosurgery King’s College Hospital NHS Foundation Trust, London, UK(神经外科部门 英国伦敦国王学院医院 NHS基金会信托)
提出一种自监督对抗学习方法,用于外科成像中的高光谱去马赛克与RGB重建,无需配对高分辨率数据,在空间和光谱保真度及视觉评估上优于现有方法。
2024-07-27 cs.CV eess.IV
Learnable Quantum Efficiency Filters for Urban Hyperspectral Segmentation
School of Engineering, University of Galway(Galway大学工程学院);Ryan Institute, University of Galway(Galway大学Ryan研究所);Valeo Vision Systems(Valeo视觉系统)
本文提出可学习量子效率(LQE)方法,通过物理启发的降维技术提升城市超光谱分割性能,实验表明其在多个数据集上均优于传统和可学习方法,同时保持参数效率和推理延迟。
2026-03-27 cs.CV
SHARE: A Fully Unsupervised Framework for Single Hyperspectral Image Restoration
School of Mathematical and Computer Sciences, Heriot-Watt University(数学与计算机科学学院,赫里奥特-瓦特大学);School of Engineering, University of Edinburgh(工程学院,爱丁堡大学)
SHARE提出了一种完全无监督的单超光谱图像恢复框架,结合几何等变原理和低秩光谱建模,无需地面真实数据,通过自监督信号和动态自适应光谱注意力模块提升恢复性能。
2026-01-20 cs.CV eess.IV
Multitask Learning of Vegetation Biochemistry from Hyperspectral Data
Rochester Institute of Technology(罗切斯特理工学院)
统计模型已经成功地从反射光谱中准确地估计植被的生物化学含量。然而,当缺乏相当数量的地面实况数据用于对光谱和生化量之间发生的复杂非线性关系进行建模时,它们的性能恶化。我们提出了一种新的基于高斯过程的多任务学习方法,用于通过从用于预测相关生化物质的学习模型中转移知识来改善对生化物质的预测。当感兴趣的生物化学物质的真实数据很少,但相关生物化学物质的真实数据很多时,该方法是最有利的。建议的多任务高斯过程假设,生化量之间的相互关系是更好地使用两个或更多的协方差函数和任务间的相关矩阵的组合建模。在实验中,我们的方法优于目前的方法在两个真实世界的数据集。
2016-10-22 cs.CV
LegoQ: Density-Matrix Representation Learning with Spectral-Spatial State Transitions for Hyperspectral Classification
本文针对高光谱图像分类的难点,提出LegoQ密度矩阵表示学习框架,通过谱-空间状态转移实现分类,在两个公开数据集上取得优于传统方法的分类性能。
2026-08-03 cs.CV
Hyperspectral and LiDAR data for the prediction via machine learning of tree species, volume and biomass: a possible contribution for updating forest management plans
University of Padova(帕多瓦大学);Fondazione Edmund Mach(埃德蒙·马赫基金会);Provincia Autonoma di Trento(特伦托自治省)
这项工作的目的是利用现有的遥感解决办法,为查明特伦托自治省的主要森林类型和划定私人森林清单内的森林单位奠定基础。特别是,获取并处理了PAT提供的2014年激光雷达和高光谱调查数据。这种研究在森林管理设想方案中非常重要。该方法包括通过用多边形勾勒单个树冠并标记它们来定义树种地面实况。相继使用了两种有监督的机器学习分类器,K-近邻和支持向量机(SVM)。结果表明,通过设置特定的超参数,支持向量机方法对树种的分类效果最好。生物量估计使用冠层参数和Jucker方程的地上生物量(AGB)和Scrinzi的关税量。预测值与11个固定半径的田间地块进行了比较,其中体积和生物量在2017年进行了实地估计。结果表明,相关系数为0.94的干体积和0.90的地上总生物量。
2022-09-30 cs.CV
Vision-Language Guided Hyperspectral Object Tracking via Semantics Fusion and Contextual Template Updating
China University of Mining and Technology(中国矿业大学);University of Ottawa(渥太华大学)
提出VLHTrack框架,通过语言引导波段选择模块缓解光谱冗余,利用多模态融合模块整合视觉与语言特征,并采用动态模板更新策略应对目标形变,在HOT2023/2024上超越现有方法。
2026-06-08 cs.CV
Hyperspectral Sensors and Autonomous Driving: Technologies, Limitations, and Opportunities
School of Engineering, University of Galway(Galway大学工程学院);Ryan Institute, University of Galway(Galway大学Ryan学院);Valeo Vision Systems(Valeo视觉系统)
本文综述了高光谱成像在自动驾驶中的技术、限制与机遇,分析了现有设备性能及数据集的局限性,指出其在实际应用中的挑战与发展方向。
2025-08-27 cs.CV cs.ET
An Open-source Tool for Hyperspectral Image Augmentation in Tensorflow
Washington University in St. Louis(圣路易斯华盛顿大学)
卫星图像可用于从天气预报到土地勘测等多种应用。计算机视觉系统的迅速发展可以为卫星数据的利用开辟新的前景,因为卫星数据具有丰富的海量数据。然而,当前最先进的计算机视觉系统主要迎合主要涉及自然图像的应用。这些图像虽然有用,但除了具有更多的光谱通道外,还表现出与卫星图像不同的分布。这允许仅在等同于自然图像的光谱通道的子集中使用预训练的深度学习模型,从而丢弃来自其他光谱通道的有价值的信息。这就要求开展研究工作,优化卫星图像的深度学习模型,以便能够评估其在遥感领域的效用。Tensorflow工具允许对深度学习模型进行快速原型设计和测试,但其内置图像生成器的设计最多可处理四个光谱通道。本文介绍了一个开源工具,该工具允许在Tensorflow中实现高光谱图像的图像增强。鉴于Tensorflow的可访问性和易用性,该工具将为许多研究人员提供实现、测试和部署用于遥感应用的深度学习模型的方法。
2020-07-09 cs.CV cs.LG eess.IV
Uncertainty Quantification in HSI Reconstruction using Physics-Aware Diffusion Priors and Optics-Encoded Measurements
King Abdullah University of Science and Technology(国王阿卜杜勒·阿齐兹大学科学与技术学院);Shearwater Geoservices(Shearwater地服务公司)
本文提出HSDiff框架,利用物理感知扩散先验和光学编码测量,提升超光谱图像重建的不确定性校准能力。
2025-11-23 cs.CV
Mixed Attention Network for Hyperspectral Image Denoising
Beijing Institute of Technology(北京理工大学)
高光谱图像去噪是一种特殊的处理方法,它需要充分考虑光谱信息的高度相似性和相关性。然而,现有的方法在探索不同波段之间的光谱相关性和每个波段内的特征相互作用方面存在局限性。此外,低层和高层特征通常表现出不同的重要性,不同的空间光谱区域,这是目前的算法没有充分利用。在本文中,我们提出了一个混合注意力网络(MAN),同时考虑了间和内的光谱相关性,以及低和高层次的空间光谱有意义的功能之间的相互作用。具体来说,我们引入了一个多头经常性的光谱注意,有效地整合了所有光谱带的光谱间的功能。通过探索频谱内关系,利用渐进的频谱通道注意力进一步增强这些特征。此外,我们提出了一个细心的跳跃连接,自适应控制的比例,低和高层次的空间频谱特征的编码器和解码器,以更好地提高聚合功能。大量的实验表明,我们的MAN优于现有的最先进的方法在模拟和真实的噪声设置,同时保持低成本的参数和运行时间。
2023-01-27 cs.CV cs.LG eess.IV
On-chip Hyperspectral Image Segmentation with Fully Convolutional Networks for Scene Understanding in Autonomous Driving
University of the Basque Country(巴斯克大学)
针对ADAS在复杂条件下可靠性不足问题,本研究探索快照式高光谱相机应用,分析标准小型FCN模型编码的空间特征对HSI分割系统性能的提升作用,以增强自动驾驶场景理解。
2024-11-28 cs.AI cs.CV cs.LG
MVNet: Hyperspectral Remote Sensing Image Classification Based on Hybrid Mamba-Transformer Vision Backbone Architecture
iFLYTEK;Aegon THTF
本文提出 MVNet 架构,融合 3D-CNN、Transformer 和 Mamba 的优势,通过双分支 Mamba 模块与优化的 HSI-MambaVision Mixer 实现高效双向空间-光谱特征提取,在多个高光谱数据集上取得领先的分类精度与计算效率。
2025-07-06 cs.CV
GlobalMind: Global Multi-head Interactive Self-attention Network for Hyperspectral Change Detection
本文提出GlobalMind高光谱变化检测网络,通过全局轴向分割策略和全局空间/时间多头交互自注意力模块,充分挖掘全局空间-光谱特征与跨时相变化关联,在五个数据集上以高精度和高效率超越现有方法。
2023-04-18 cs.CV eess.IV
Coarse-Fine Spectral-Aware Deformable Convolution For Hyperspectral Image Reconstruction
Northwestern Polytechnical University(西北工业大学);Westlake University(西湖大学)
针对CASSI高光谱图像重建中CNN难捕长程依赖、Transformer计算成本高的问题,提出融合可变形卷积与粗细光谱交互的CFSDCN,在模拟与真实数据集上性能超现有SOTA。
2024-06-18 cs.CV eess.IV
Hyperspectral Image Analysis with Subspace Learning-based One-Class Classification
Izmir University of Economics(伊兹密尔经济大学);Tampere University(坦佩雷大学)
本文针对高光谱图像分类中的维度灾难和标签不平衡问题,提出基于子空间学习的单类分类框架,无需单独降维即可直接从单类样本学习数据描述,实验验证了其有效性。
2023-04-19 cs.CV
Multiview Subspace Clustering of Hyperspectral Images based on Graph Convolutional Networks
China University of Geosciences(中国地质大学);Geophysical and Geochemical Exploration Institute of Ningxia Hui Autonomous Region(宁夏回族自治区地球物理地球化学勘查院)
针对高光谱图像单视图子空间聚类未充分利用空间与纹理信息的问题,提出基于图卷积网络的双视图子空间及注意力融合聚类方法,在三个基准数据集上显著提升聚类精度。
2024-03-03 cs.CV