Compressive Hyperspectral Imaging: Fourier Transform Interferometry meets Single Pixel Camera
UCLouvain(鲁汶大学);Instituto de Telecomunicações(电信研究所);Instituto Superior Técnico(高等技术学院);Universidade de Lisboa(里斯本大学)
介绍了一种基于傅里叶变换干涉术(FTI)的单像素超光谱(HS)成像框架。通过将光照明的时空编码与准直光束(由单个像素观察)的部分干涉观察相结合,我们的系统受益于(i)与普通(奈奎斯特)FTI成像器相比降低的测量速率和观察对象的曝光,以及(ii)如在例如,荧光光谱(FS)。从压缩感知与多级采样的原理,我们的方法利用稀疏的FS数据的“在水平上”,在频谱和空间域。这使我们能够使用时间调制的阿达玛图案来优化空时光编码。我们确认我们的方法的有效性,通过一些数值实验。
2018-09-04 cs.CV
Multilayer Structured NMF for Spectral Unmixing of Hyperspectral Images
Tarbiat Modares University(塔比亚特·莫达雷斯大学)
高光谱数据分析中的挑战之一是混合像素的存在。混合像素是高光谱传感器空间分辨率低的结果。光谱解混方法将混合像元分解成一组端元和丰度分数。由于丰度分数值的非负性约束,基于NMF的方法非常适合这个问题。本文在线性混合框架下,利用多层NMF方法改进了高光谱数据混合光谱分解的NMF方法。本文对光谱特征和丰度分数矩阵进行了稀疏约束。所提出的算法进行评估,使用合成和真实数据集的光谱角和丰度角距离。实验结果表明,该算法优于其他先前提出的方法。
2015-06-04 cs.CV
Nonparametric Detection of Nonlinearly Mixed Pixels and Endmember Estimation in Hyperspectral Images
Université de Toulouse, IRIT/INP-ENSEEIHT/TéSA(图卢兹大学);Federal University of Santa Catarina(圣卡塔琳娜联邦大学)
高光谱图像中的混合现象取决于多种因素,例如观测设备的分辨率、材料的性质以及这些材料如何与场景中的入射光相互作用。不同的参数和非参数模型已被认为是解决高光谱解混问题。最简单的是线性混合模型。然而,已经认识到混合现象也可以是非线性的。相应的非线性分析技术必然比线性分解技术更具挑战性和复杂性。在这种情况下,在分析之前检测图像中的非线性混合像素,然后采用最简单的解混技术来分析每个像素是有意义的。在本文中,我们提出了一种检测非线性混合像素的技术。检测方法是基于使用高斯过程回归模型和线性回归模型的重建误差的比较。这两个错误被组合成一个检测统计,概率密度函数可以合理地近似。我们还提出了一个迭代端元提取算法与检测算法相结合。建议的检测,然后,Unmix策略,其中包括提取端元,检测非线性混合像素和unmixing,测试与合成和真实图像。
2015-03-18 cs.CV
Sparsity Constrained Graph Regularized NMF for Spectral Unmixing of Hyperspectral Data
由于高光谱传感器的空间分辨率较低,高光谱图像包含混合像素。混合像素是包含多个不同材质(称为端元)的像素。混合像元中端元的存在百分比称为丰度分数。光谱解混问题是指将这些像元分解成一组端元和丰度分数。由于丰度分数的非负性约束,非负矩阵分解方法(NMF)被广泛用于解决光谱分解问题。本文采用图正则化NMF(GNMF)方法结合稀疏约束对高光谱图像混合像元进行分解。该方法在保持数据几何结构的同时,将其表示在低维空间中。对于稀疏项,本文还采用了模拟退火算法中基于温度的自适应正则化参数。该算法适用于合成和真实数据集。合成数据是基于来自USGS光谱库的端元生成的。AVIRIS Cuprite数据集用作评价所提出方法的真实数据集。基于光谱角距离(SAD)和丰度角距离(AAD)测量结果进行量化。实验结果表明,该方法能更有效地对混合数据进行分解。特别是对于Cuprite数据集,所提出的方法的性能在SAD的均方根方面比VCA和稀疏NMF好大约10%。
2014-11-03 cs.CV
A CNN With Multi-scale Convolution for Hyperspectral Image Classification using Target-Pixel-Orientation scheme
Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校)
最近,CNN是处理高光谱图像分类挑战的流行选择。尽管高光谱图像(HSI)具有如此大的光谱信息,但它产生了维数灾难。此外,光谱特征的大的空间变异性增加了分类问题的难度。此外,用稀缺的训练样本以端到端的方式训练CNN是另一个具有挑战性和有趣的问题。本文提出了一种新的目标块定位方法,用于训练基于CNN的神经网络。此外,我们还引入了一种基于3D-CNN和2D-CNN的混合网络架构,分别实现了频带缩减和特征提取方法。实验结果表明,我们的方法优于现有的最先进的方法中报告的准确性。
2021-05-05 cs.CV
Unmixing of Hyperspectral Data Using Robust Statistics-based NMF
Tarbiat Modares University(塔比阿特莫达雷斯大学)
由于高光谱传感器的空间分辨率较低,高光谱图像中存在混合像元。光谱分解将混合像元光谱分解为端元光谱和丰度分数。本文研究了基于稳健几何的非负矩阵分解(RNMF)方法在高光谱数据混合光谱分解中的应用。RNMF使用了一个鲁棒的代价函数和迭代更新过程,因此对离群值不敏感。该方法已被应用到模拟数据使用USGS光谱库,AVIRIS和ROSIS数据集。并与传统的基于SAD和AAD的NMF方法进行了比较。结果表明,该方法可以有效地用于高光谱混合的目的。
2012-12-04 cs.CV
From Image- to Pixel-level: Label-efficient Hyperspectral Image Reconstruction
本文提出像素级光谱超分辨率范式Pixel-SSR,利用RGB和点光谱重建高光谱图像,并通过Gamma建模合成点光谱和DyPro-Mamba三分支提示机制,在降低标签成本的同时实现有竞争力的重建精度。
2025-03-10 cs.CV
Toulouse Hyperspectral Data Set: a benchmark data set to assess semi-supervised spectral representation learning and pixel-wise classification techniques
CNES(法国国家空间研究中心);Toulouse Mathematics Institute(图卢兹数学研究所);CNRS(法国国家科学研究中心);University of Toulouse(图卢兹大学);ONERA-DOTA(法国航空航天研究院DOTA部门);Magellium(马哲利姆公司)
针对现有高光谱数据集不适合评估泛化性能的问题,发布大规模Toulouse Hyperspectral Data Set基准,并基于Masked Autoencoder等自监督技术建立像素级分类基线,实现85%准确率。
2024-03-25 cs.CV
Deep Neural Network Based Hyperspectral Pixel Classification With Factorized Spectral-Spatial Feature Representation
Zhejiang University(浙江大学)
深度学习因其能够生成深度特征表示而被广泛应用于高光谱像元分类。然而,如何构建一个高效和强大的网络适用于高光谱数据仍在探索中。为了充分利用高光谱数据的光谱-空间结构,设计了一种新的神经网络模型。首先,我们从丰富而冗余的光谱波段提取基于像素的内在特征的子网络与监督的预训练计划。其次,为了利用像素间的局部空间相关性,我们将前一个子网络作为图像块中每个像素的光谱特征提取器,然后将块中所有像素的光谱特征组合并馈送到后续的分类子网络中。最后,对整个网络进行进一步微调,以提高其分类性能。特别地,在模型结构中引入了光谱-空间分解机制,使得网络规模和参数数量大大少于现有的光谱-空间深度网络用于高光谱图像分类。在高光谱数据集上的实验表明,与现有的深度学习方法相比,该方法在网络规模较小、参数较少的情况下取得了更好的分类效果。
2019-04-16 cs.AI cs.CV
Archetypal Analysis for Sparse Representation-based Hyperspectral Sub-pixel Quantification
University of Bonn(波恩大学)
从遥感图像中估算土地覆盖率是一种常用的环境质量指标。本文重点对德国柏林市区土地覆盖率的量化,使用模拟的高光谱EnMAP数据与空间分辨率为30米$\times$ 30米。我们使用约束稀疏表示,其中每个像素与未知的表面特性表示的加权线性组合的基本光谱与已知的土地覆盖类。我们使用原型分析的单纯形体积最大化的图像参考数据自动确定的基本光谱,并结合可逆跳马尔可夫链蒙特卡罗方法。在我们的实验中,自动推导的基本光谱的估计相比,通过手动设计的光谱库的重建误差,平均绝对误差的分数估计,分数,$R^2$,和使用的基本光谱的数量的总和获得的估计。实验表明,收集的原型可以是一个足够的和有效的替代手动设计的光谱库相对于上述标准。
2018-02-08 cs.CV
A CNN-based Spatial Feature Fusion Algorithm for Hyperspectral Imagery Classification
Tianjin University(天津大学)
训练样本的不足是人工神经网络(ANN)应用于高光谱图像分类的主要障碍之一。为了融合空间和光谱信息,通常使用像素块来训练模型,这可能进一步聚合该问题。在现有的工作中,引入了一个由中心损失监督的人工神经网络模型(ANNC)。仅用光谱信息训练,ANNC产生适合于后续分类任务的有区别的光谱特征。本文提出了一种基于神经网络的空间特征融合(CSFF)算法,该算法可以将空间信息智能地融合到由ANNC提取的光谱特征中。作为CSFF的关键部分,引入了基于CNN的判别模型来判断两个配对像素是否属于同一类。在测试阶段,通过将判别模型应用于由测试像素及其邻居生成的像素对,估计局部结构并表示为定制的卷积核。通过估计的核与邻域内的对应谱特征之间的卷积运算来获得谱空间特征。最后,通过对得到的光谱-空间特征进行分类,预测测试像素的标签。在不增加训练样本的数量或在训练阶段不涉及像素块的情况下,CSFF框架通过在三个著名的高光谱图像上的实验中降低$20\%-50\%$分类失败来实现最先进的。
2018-08-07 cs.CV
Deep Learning Hyperspectral Image Classification Using Multiple Class-based Denoising Autoencoders, Mixed Pixel Training Augmentation, and Morphological Operations
Mississippi State University(密西西比州立大学)
在这里,我们提出了一个系统的高光谱图像分割,利用多个类-基于去噪自动编码器,有效地训练。此外,我们提出了一种新的高光谱数据增强方法标记HSI数据使用线性混合像素从每个类,这有助于系统的边缘像素几乎总是混合像素。最后,我们利用深度神经网络和形态学孔洞填充来提供鲁棒的图像分类。在Salinas数据集上的运行结果验证了该算法的高性能。
2018-07-11 cs.CV cs.LG stat.ML
On Hyperspectral Classification in the Compressed Domain
Michigan State University(密歇根州立大学)
在本文中,我们研究了高光谱像元分类的基础上,最近提出的架构压缩拂帚高光谱成像仪,而不需要重建完整的数据立方体的问题。在压缩域中分类的一个明显的优点是其适合于感测数据的实时现场处理。此外,假设训练过程也发生在压缩域中,因此,在接收器侧将分类单元与恢复单元隔离。我们发现,也许令人惊讶的是,使用不同的测量矩阵为不同的像素结果更准确的学习分类器和一致的分类性能,支持信息多样性在学习中的作用。
2015-08-02 cs.CV
A graph Laplacian regularization for hyperspectral data unmixing
CNRS(法国国家科学研究中心)
本文介绍了一种图形拉普拉斯正则化的高光谱解混公式。所提出的正则化依赖于高光谱图像的图形表示的构造。图中的每个节点代表一个像素的光谱,边缘连接光谱和空间相似的像素。建议的图形框架促进平滑估计的丰度图和图像的均匀区域之间的协作估计。由此产生的凸优化问题求解使用交替方向乘法(ADMM)。特别关注的是该算法的计算复杂性,并提出了图割方法,以减少计算负担。最后,在合成数据上进行的模拟说明了图拉普拉斯正则化相对于其他经典正则化用于高光谱解混的有效性。
2014-10-14 cs.CV
Dual-stage Hyperspectral Image Classification Model with Spectral Supertoken
Beijing Institute of Technology(北京理工大学)
提出双阶段光谱超标记分类器DSTC,通过光谱导数聚类生成超标记并投影至图像空间以保持分类一致性与精确边界,结合基于类别比例的软标签处理数据不平衡,显著提升了高光谱图像分类性能。
2024-07-13 cs.CV
PNEC-Mamba: Prototype-Guided Positive-Negative Evidence Calibration for Hyperspectral Image Classification
针对高光谱图像分类中像素表征歧义问题,提出PNEC-Mamba框架,通过正负证据校准与不确定性估计提升分类性能,在三个基准数据集上优于现有最优方法。
2026-08-04 cs.CV
AI-enabled Satellite Edge Computing: A Single-Pixel Feature based Shallow Classification Model for Hyperspectral Imaging
State Key Laboratory of Regional and Urban Ecology(区域与城市生态学国家重点实验室);Institute of Urban Environment(城市环境研究所);Chinese Academy of Sciences(中国科学院);School of Resources and Environmental Sciences(资源与环境科学学院);Wuhan University(武汉大学);University of Chinese Academy of Sciences(中国科学院大学)
本文提出了一种基于单像素特征的浅层分类模型,用于超光谱成像的AI赋能卫星边缘计算,解决卫星资源限制和图像质量下降问题。
2026-01-26 cs.CV
SpecDM: Hyperspectral Dataset Synthesis with Pixel-level Semantic Annotations
Electronic Information School, Wuhan University(武汉大学电子信息学院)
本文提出SpecDM,首个利用双流VAE和扩散模型生成带像素级标注的高光谱图像的方法,用于语义分割和变化检测数据集合成,实验证明其能有效提升下游任务性能。
2025-02-24 cs.CV
The Effects of Spectral Dimensionality Reduction on Hyperspectral Pixel Classification: A Case Study
University of Ontario Institute of Technology(安大略理工大学);University of Toronto(多伦多大学)
本文提出了一个系统的研究高光谱像元降维对像元分类任务的影响。我们使用五种降维方法- PCA,KPCA,ICA,AE和DAE -压缩301维高光谱像素。压缩像素随后用于执行像素分类。像素分类精度与压缩方法、压缩率和重建误差一起提供了一个新的镜头来研究压缩方法对像素分类任务的适用性。我们使用三个高分辨率的高光谱图像数据集,代表三种常见的景观类型(即城市,过渡郊区和森林)收集的遥感和空间生态系统建模实验室的多伦多大学。我们发现,PCA,KPCA和ICA后更大的信号重建能力,然而,当压缩率超过90%,这些方法显示较低的分类得分。AE和DAE方法在95%的压缩率下具有较好的分类精度,但当压缩率接近97%时,其性能下降。我们的研究结果表明,在设计高光谱像素分类流水线时,压缩方法和压缩率都是重要的考虑因素。
2022-01-27 cs.CV cs.LG eess.IV
Hyperspectral Image Compression Using Implicit Neural Representation
Ontario Tech University(安大略理工大学)
高光谱图像记录场景图像中像素的电磁频谱,通常每个像素存储数百个通道,并且包含比典型的类似大小的彩色图像多一个数量级的信息。因此,伴随着捕获这些图像的成本降低,需要开发用于存储、传输和分析高光谱图像的有效技术。本文开发了一种高光谱图像压缩方法,使用隐式神经表示,其中多层感知器网络$Φ_θ$与正弦激活函数“学习”映射像素位置像素强度为给定的高光谱图像$I$。因此,$Φ_θ$充当该图像的压缩编码。通过评估每个像素位置处的$Φ_θ$来重建原始图像。我们已经评估了我们的方法在四个基准-印度松树,Cuprite,帕维亚大学,和贾斯珀岭-我们表明,该方法实现了更好的压缩比JPEG,JPEG 2000,和PCA DCT在低比特率。
2023-02-09 cs.CV eess.IV
Pixel-to-Abundance Translation: Conditional Generative Adversarial Networks Based on Patch Transformer for Hyperspectral Unmixing
Xidian University(西安电子科技大学)
本文提出基于补丁 Transformer 的条件生成对抗网络 HyperGAN,将高光谱解混视为像素到丰度的模态转换,实现高效解混并取得优异实验结果。
2023-12-20 cs.CV eess.IV
Lumosaic: Hyperspectral Video via Active Illumination and Coded-Exposure Pixels
Department of Computer Science, University of Toronto, Canada(计算机科学系,多伦多大学);Department of Electrical & Computer Engineering, University of Toronto, Canada(电气与计算机工程系,多伦多大学)
Lumosaic通过主动照明和编码曝光像素技术,实现高光谱视频的实时捕捉与高保真重建。
2026-02-25 cs.CV eess.IV
A Gaussian mixture model representation of endmember variability in hyperspectral unmixing
University of Florida(佛罗里达大学)
考虑端元变化的高光谱解混通常由正态组成模型(NCM)进行,其中每个像素的端元被假设为从单峰高斯分布中采样。然而,在实际应用中,材料的分布往往不是高斯分布。在本文中,我们使用高斯混合模型(GMM)来表示端元变异性。我们表明,给定GMM的起始前提,混合像素的分布(在线性混合模型下)也是GMM(这是从两个角度来看)。第一种观点源于随机变量变换,并给出了给定丰度和GMM参数的像素的条件密度函数。适当的光滑性和稀疏性先验约束的丰度,条件密度函数导致一个标准的最大后验概率(MAP)的问题,可以解决广义期望最大化。第二个视角源于GMM中的端元边缘化,这为我们解决每个像素处的端元提供了基础。因此,我们的模型不仅可以估计丰度和分布参数,但也为每个像素的不同端元集。我们在几个合成和真实数据集上测试了所提出的GMM,并通过将其与当前流行的方法进行比较来展示其潜力。
2018-01-15 cs.CV
Spectral-spatial classification of hyperspectral images: three tricks and a new supervised learning setting
Radboud University Nijmegen(拉德堡德大学奈梅亨分校);Corbion(科碧恩);Open University of the Netherlands(荷兰开放大学)
近年来,高光谱图像的光谱-空间分类一直是许多研究的主题。在只有很少的标记像素的存在下,这项任务变得具有挑战性。在本文中,我们解决了以下两个研究问题:1)可以一个简单的神经网络只有一个单一的隐藏层实现国家的最先进的性能在存在的标记像素很少?2)当使用不相交的训练集和测试集时,高光谱图像分类方法的性能如何受到影响?我们通过在一个非常基本的浅层卷积神经网络(CNN)架构中使用三个技巧来对第一个问题给出肯定的答案:一个定制的损失函数,以及基于平滑和标签的数据增强。定制的损失函数强制邻域波长对训练期间生成的特征具有类似的贡献。这里提出的一种新的基于标签的技术有利于在较小的类中选择像素,这在存在很少的标记像素和倾斜的类分布时是有益的。为了解决第二个问题,我们引入了一个新的抽样过程来产生不相交的训练和测试集。然后,使用训练集来获得CNN模型,然后将其应用于测试集中的像素以估计它们的标签。我们评估了简单的神经网络方法对五个公开的高光谱图像的有效性。在这些图像上,我们的方法显着优于考虑的基线。值得注意的是,每个类别只有1%的标记像素,在这些数据集上,我们的方法实现了从86.42%(具有挑战性的数据集)到99.52%(简单数据集)的准确率。此外,我们表明,简单的神经网络方法在新的具有挑战性的监督设置,提高了其他基线。我们的分析证实了使用整个图像(因此训练和测试数据)构建模型的高度有益效果。
2018-07-23 cs.CV
Toward Efficient Hyperspectral Image Processing inside Camera Pixels
University of Southern California(南加利福尼亚大学);Information Sciences Institute(信息科学研究所)
高光谱相机生成大量的数据,因为它有数百个光谱波段,而传统相机只有三个通道(红色,绿色和蓝色)。这需要在高光谱图像传感器和用于逐帧分类/检测/跟踪图像的处理器之间进行大量的数据传输,从而消耗高能量并导致带宽和安全瓶颈。为了缓解这个问题,我们提出了一种像素处理(PIP)的形式,它利用先进的CMOS技术,使像素阵列能够执行现代卷积神经网络(CNN)所需的各种复杂操作,用于高光谱图像识别(HSI)。因此,我们的PIP优化自定义CNN层可有效压缩输入数据,显著降低将数据下行传输到HSI处理单元所需的带宽。与现有硬件实现相比,这将与相机的像素阵列和CNN处理单元相关联的平均能耗分别降低了25.06倍和3.90倍。我们的自定义模型的平均测试精度在标准HSI基准的基准模型的0.56%以内。
2022-03-11 cs.CV eess.IV
SpecDETR: A transformer-based hyperspectral point object detection network
College of Electronic Science and Technology, National University of Defense Technology(电子科学与技术学院,国防科技大学);Aviation University of Air Force(空军航空大学)
SpecDETR提出了一种基于变换器的超光谱点目标检测网络,通过空间-光谱协同表示方法,直接提取超光谱立方体的深层联合特征,首次在超光谱点目标检测上评估视觉目标检测网络和HTD方法的性能。
2026-01-09 cs.CV
SpACNN-LDVAE: Spatial Attention Convolutional Latent Dirichlet Variational Autoencoder for Hyperspectral Pixel Unmixing
Birla Inst. of Tech. & Sci. Pilani(比拉理工学院皮拉尼分校);Ontario Tech University(安大略理工大学)
本文提出SpACNN-LDVAE模型,通过空间注意力卷积网络扩展LDVAE,在高光谱像素解混中利用局部空间上下文,提升端元提取与丰度估计精度。
2024-05-24 cs.CV cs.LG eess.IV
Hyperspectral CNN Classification with Limited Training Samples
Australian Centre for Field Robotics(澳大利亚野外机器人中心);University of Sydney(悉尼大学)
高光谱成像传感器在农业和采矿等机器人应用中越来越受欢迎,并允许基于其独特的光谱特征对场景中的材料进行逐像素专题分类。最近,卷积神经网络在分类任务中表现出了出色的性能,但需要大量的标记训练数据。这些数据必须充分涵盖环境中预期会遇到的可变性。对于高光谱数据,户外遇到的主要变化之一是由于入射照明,这可能会改变光谱形状和强度取决于场景的几何形状。例如,被太阳遮挡的区域具有较低的强度,并且它们的入射辐照度向较短的波长倾斜。在这项工作中,一个数据增强策略的基础上重新照明的高光谱卷积神经网络的训练过程中使用。它允许在室外环境中进行训练,只需给定一个小的标记区域,该区域不需要充分代表整个场景的几何变化性。这对于获得大量训练数据是费力的、危险的或困难的应用是重要的,例如标记阴影内的像素。辐射归一化方法预处理的高光谱数据进行了分析,它示出的方法的基础上的原始像素数据是足以被用作输入的分类器。这消除了对校准板等外部硬件的需求,这些硬件可能会限制高光谱传感器在机器人应用中的应用。实验进行了评估的分类系统上捕获的两个数据集从基于字段的平台。
2016-11-28 cs.CV
Spectral Angle Based Unary Energy Functions for Spatial-Spectral Hyperspectral Classification using Markov Random Fields
Rochester Institute of Technology(罗切斯特理工学院)
在本文中,我们提出并比较了两种基于光谱角的空间光谱分类方法。我们的方法使用的光谱角产生一元能量在一个网格结构的马尔可夫随机场定义的像素标签的高光谱图像。第一种方法是使用指数光谱角映射器(ESAM)核/协方差函数,一种基于光谱角的函数,具有支持向量机和高斯过程分类器。第二种方法是直接使用测试像素和训练像素之间的最小光谱角作为一元能量。我们比较所提出的方法与最先进的马尔可夫随机场的方法,使用支持向量机和高斯过程的平方指数核/协方差函数。在我们对两个数据集的实验中,可以看出,使用最小光谱角作为一元能量在较小的运行时间内产生比现有方法更好或相当的结果。
2016-10-22 cs.CV
GAF-NAU: Gramian Angular Field encoded Neighborhood Attention U-Net for Pixel-Wise Hyperspectral Image Classification
Michigan Technological University(密歇根理工大学)
高光谱图像分类是高光谱领域最具活力的研究领域,因为高光谱图像中包含丰富的光谱信息,可以极大地帮助识别感兴趣的目标。然而,材料和相应的光谱轮廓之间的固有的非线性带来了两个主要的挑战,在HSI分类:类间相似性和类内变异。许多先进的深度学习方法试图从基于区域/块的方法的角度来解决这些问题,而不是基于像素的替代方法。然而,基于块的方法假设,在一个固定的空间窗口中的目标像素的邻域像素属于同一类。这个假设并不总是正确的。为了解决这个问题,本文提出了一种新的深度学习架构,即Gramian角场编码的邻域注意力U-网(GAF-NAU),用于基于像素的HSI分类。该方法不需要以原始目标像素为中心的区域或补丁来执行基于2D-CNN的分类,相反,我们的方法使用Gramian角场(GAF)将HSI中的1D像素向量转换为2D角特征空间,然后将其嵌入到新的邻域注意力网络中,以抑制不相关的角特征,同时强调对HSI分类任务有用的相关特征。对三个公开的HSI数据集的评估结果证明了该模型的优越性能。
2022-04-21 cs.CV eess.IV
A distribution-dependent Mumford-Shah model for unsupervised hyperspectral image segmentation
RWTH Aachen University(亚琛工业大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
高光谱图像为每个像素提供了基础光谱的丰富表示,允许逐像素分类/分割成不同的类别。由于获取标记的训练数据非常耗时,无监督方法成为高光谱图像分析的关键。高光谱数据中的光谱可变性和噪声使得这项任务非常具有挑战性,并定义了对此类方法的特殊要求。在这里,我们提出了一种新的无监督高光谱分割框架。它首先通过完善的最小噪声分数(MNF)变换进行去噪和降维步骤。然后,应用Mumford-Shah(MS)分割函数对数据进行分割。我们配备了一个新的强大的分布相关的指标函数,旨在处理高光谱数据的特征挑战的MS功能。为了优化我们的目标函数的参数,没有封闭形式的解决方案是可用的,我们提出了一个有效的不动点迭代计划。在四个公共基准数据集上的数值实验表明,我们的方法产生了有竞争力的结果,在其中三个数据集上的性能大大优于三种最先进的方法。
2023-01-24 cs.CV
Pixel-Superpixel Contrastive Learning and Pseudo-Label Correction for Hyperspectral Image Clustering
National University of Defense Technology(国防科技大学);China University of Geosciences(中国地质大学)
针对高光谱图像聚类中像素级对比学习耗时高、超像素级结果粗糙的问题,提出融合两者的PSCPC方法,结合伪标签校正模块对齐两类伪标签并实现监督,兼具有效性与高效性。
2023-12-15 cs.AI cs.CV
Absorption-Feature-Guided Distance-Decoupled Estimation and Band Selection for LWIR Hyperspectral Passive Ranging
College of Intelligence Science and Technology, National University of Defense Technology(国防科技大学智能科学学院)
提出ADER框架,利用大气吸收特征解耦温度与发射率,通过臭氧吸收分类像素并优化距离估计,结合贪婪波段选择,实现快速高精度被动测距。
2026-07-01 cs.CV
Hyperspectral Unmixing of Agricultural Images taken from UAV Using Adapted U-Net Architecture
Institute of Data Science and Digital Technologies, Vilnius University(维尔纽斯大学数据科学与数字技术研究所)
本文针对无人机高光谱农业图像解混问题,构建蓝莓田高光谱解混数据集,并提出基于U-Net的解混算法以提升解混精度。
2024-09-29 cs.CV eess.IV
Probabilistic Deep Metric Learning for Hyperspectral Image Classification
Tsinghua University(清华大学);Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院);University of Chinese Academy of Sciences(中国科学院大学)
提出了一种用于高光谱图像分类的概率深度度量学习(PDML)框架,旨在预测高光谱传感器捕获图像的每个像素的类别。高光谱图像分类的核心问题是类内材料之间的光谱变异性和类间材料之间的光谱相似性,从而促使进一步结合空间信息来区分基于其周围斑块的像素。然而,由于大多数高光谱传感器的低空间分辨率,不同像素甚至同一像素在一个补丁中可能不编码相同的材料,导致对特定像素的判断不一致。为了解决这个问题,我们提出了一个概率深度度量学习框架来对观察到的像素的光谱分布的分类不确定性进行建模。我们建议学习补丁中每个像素的全局概率分布和概率度量来模拟分布之间的距离。我们把补丁中的每个像素作为训练样本,使我们能够利用更多的信息,从补丁相比,传统的方法。我们的框架可以很容易地应用到现有的高光谱图像分类方法与各种网络架构和损失函数。在IN、UP、KSC和Houston 2013数据集上进行的大量实验表明,我们的框架提高了现有方法的性能,并进一步达到了最先进的水平。代码可在https://github.com/wzzheng/PDML上获得。
2022-11-15 cs.AI cs.CV cs.LG
Hyperspectral Image Recovery via Hybrid Regularization
Commonwealth Scientific and Industrial Research Organisation(澳大利亚联邦科学与工业研究组织)
自然图像往往主要由平滑区域组成,其中各个像素具有高度相关的光谱。这些信息可以用来从不完整和有噪声的测量中恢复自然场景的高光谱图像。为了在充分利用先验知识的同时进行恢复,我们制定了一个复合成本函数,其中包含一个平方误差数据拟合项和两个不同的正则化项,涉及空间和光谱域。空间域的正则化是对应于所有光谱带的图像帧的总变差的和。谱域的正则化是通过对像素的谱应用合适的稀疏化变换而获得的系数矩阵的l1范数。我们使用一个加速的近似次梯度方法来最小化制定的成本函数。我们分析了该算法的性能,并证明了其收敛性。使用真实的高光谱图像的数值模拟表明,该算法提供了一个很好的恢复性能与一些测量,这只是一小部分的高光谱图像数据大小。仿真结果也表明,该算法显着优于加速近似梯度算法,解决了经典的基追踪去噪问题,恢复高光谱图像。
2016-08-26 cs.CV
Unsupervised Spatial-spectral Hyperspectral Image Reconstruction and Clustering with Diffusion Geometry
City University of Hong Kong(香港城市大学);Hong Kong Centre for Cerebro-Cardiovascular Health Engineering(香港脑心血管健康工程中心);Tufts University(塔夫茨大学);Wake Forest University(维克森林大学)
高光谱图像是自然科学和社会科学的重要数据源,它存储了上百个或更多的光谱波段。高光谱图像通常以相对粗糙的空间分辨率大量生成。因此,需要在高光谱图像中结合已知结构的无监督机器学习算法来自动分析这些图像。本文介绍了空间光谱图像重建和扩散几何聚类(DSIRC)算法,用于分割高度混合的高光谱图像。DSIRC通过形状自适应重建过程降低测量噪声。特别是,对于每个像素,DSIRC定位光谱相关的像素内的数据自适应的空间邻域和重建像素的光谱特征使用其邻居。然后,DSIRC将高密度、高纯度像素定位在远离其他高密度、高纯度像素的扩散距离(一种依赖于数据的距离度量)上,并将这些像素视为聚类样本,为每个像素提供唯一的标签。非模态像素被分配其扩散距离的标签-已经标记的具有更高密度和纯度的最近邻。强有力的数值结果表明,通过图像重建的空间信息,大大提高了性能的像素级聚类。
2022-04-28 cs.CV cs.LG stat.AP
Sparsity Constrained Distributed Unmixing of Hyperspectral Data
Qom University of Technology(库姆理工大学);Shiraz University(设拉子大学)
光谱解混是一种对遥感高光谱图像混合像元进行特征化的技术。大多数光谱分解算法都是基于线性混合模型的。在盲问题中,非负矩阵分解(NMF)及其发展被广泛应用于端元和分数丰度矩阵的估计。NMF中加入的约束之一是稀疏性,它通过Lq范数进行正则化。本文提出了一种基于分布式优化的混合光谱分解新算法。在该算法中,一个网络,包括单节点集群。高光谱图像中的每个像素被认为是该网络中的一个节点。采用扩散最小平均p幂(LMP)策略对稀疏约束分布式解混进行优化,得到了分数丰度和特征矩阵的更新方程。然后,针对不同的LMP功率和Lq范数值,对所提出的算法进行了分析。基于定义的性能指标的仿真结果表明,与其他方法相比,该算法在高光谱数据的光谱分解中具有优势。
2019-02-20 cs.CV
Superpixel Based Graph Laplacian Regularization for Sparse Hyperspectral Unmixing
Gaziantep University(加济安泰普大学)
针对稀疏高光谱混合分解方法,提出了一种基于超像素分割和图拉普拉斯正则化的空间正则化方法。由于它是可能找到光谱相似的像素在一个均匀的区域,我们使用超像素分割算法提取均匀的区域,考虑到图像的边界。我们首先提取均匀区域,这是所谓的超像素,然后在每个超像素的加权图构造通过选择$K$ -最近的像素在每个超像素。图中的每个节点表示像素的光谱,并且边缘连接超像素内的类似像素。利用图拉普拉斯正则化研究空间相似性。利用加权稀疏提升范数对丰度矩阵进行稀疏正则化。仿真和真实数据集上的实验结果表明,该算法优于文献中的知名算法。
2020-09-12 cs.CV eess.IV
Augmenting Prototype Network with TransMix for Few-shot Hyperspectral Image Classification
Henan University(河南大学);Beijing Electro-Mechanical Engineering Institute(北京机电工程研究所)
针对小样本高光谱图像分类中边界块混合多类光谱导致难分类的问题,提出APNT,以Transformer增强原型网络并用TransMix合成边界块及混合标签,取得最先进性能与更强鲁棒性。
2024-01-22 cs.AI cs.CV
Spectral Unmixing of Hyperspectral Imagery using Multilayer NMF
Tarbiat Modares University(塔比阿特莫达勒斯大学)
由于高光谱传感器的空间分辨率较低,高光谱图像包含混合像素。光谱解混问题是指将混合像元分解为一组端元和丰度分数。由于丰度分数的非负性约束,非负矩阵分解(NMF)方法被广泛应用于光谱解混问题。在这封信中,我们提出了使用多层NMF(MLNMF)的高光谱解混的目的。在这种方法中,频谱特征矩阵可以被建模为稀疏矩阵的乘积。事实上,MLNMF在许多层中迭代地分解观测矩阵。在每一层中,我们应用稀疏约束的光谱特征矩阵以及丰度分数矩阵。以这种方式,签名矩阵可以被稀疏地分解,尽管它通常不是稀疏矩阵。该算法适用于合成和真实数据集。合成数据是基于来自USGS光谱库的端元生成的。AVIRIS Cuprite数据集已被用作评价拟议方法的真实数据集。实验结果基于SAD和AAD措施进行量化。结果表明,与以前提出的方法相比,多层方法可以更有效地解混数据。
2014-08-12 cs.CV
SAWU-Net: Spatial Attention Weighted Unmixing Network for Hyperspectral Images
Ocean University of China(中国海洋大学);Chongqing University of Posts and Telecommunications(重庆邮电大学)
本文提出SAWU-Net,通过空间注意力机制和加权解混网络端到端地利用高光谱图像空间先验信息,提升解混精度。
2023-04-22 cs.CV eess.IV
Graph Regularized Nonnegative Matrix Factorization for Hyperspectral Data Unmixing
光谱解混是高光谱数据分析中估算混合像元端元和丰度的重要工具。本文探讨了最近开发的算法称为图正则化非负矩阵分解(GNMF)的适用性。该方法利用了数据的内在几何结构,同时考虑了正性和完全可加性约束。仿真数据的基础上测得的光谱特征,用于评估所提出的算法。丰度角距离(AAD)和光谱角距离(SAD)结果表明,该方法可以有效地分离高光谱数据。
2011-11-03 cs.CV
SASSI -- Super-Pixelated Adaptive Spatio-Spectral Imaging
Rice University(莱斯大学);Carnegie Mellon University(卡内基梅隆大学)
我们介绍了一种新的视频速率高光谱成像仪具有高的空间和时间分辨率。我们的关键假设是,光谱轮廓的像素在超像素的过分割图像往往是非常相似的。因此,场景自适应空间采样的高光谱场景,其超像素分割图像的指导下,能够获得高质量的重建。为了实现这一点,我们获取场景的RGB图像,计算其超像素,从中我们生成测量高分辨率光谱的位置的空间掩模。高光谱图像随后估计融合的RGB图像和光谱测量使用可学习的引导滤波方法。由于超像素估计步骤的计算复杂度较低,我们的设置可以捕获场景的高光谱图像,与传统的快照高光谱相机相比开销很小,但具有显着更高的空间和光谱分辨率。我们验证了所提出的技术与广泛的模拟,以及实验室原型,测量高光谱视频的空间分辨率为$600 \times 900$像素,在可见光波段的光谱分辨率为10 nm,并实现帧速率为$18$ fps。
2020-12-28 cs.CV cs.GR cs.LG
Spatial-Aware Dictionary Learning for Hyperspectral Image Classification
Sharif University of Technology(谢里夫理工大学)
本文提出了一种结构化的字典为基础的高光谱数据模型,结合了光谱样本的光谱和上下文特征,高光谱图像分类的目标。其思想是将高光谱图像的像素划分为多个称为上下文组的空间邻域,并使用从数据中学习的几个字典元素的线性组合来对每个像素进行建模。由于上下文组中的像素通常由相同的材料组成,因此它们的线性组合被限制为使用字典中的公共元素。为此,字典学习进行联合稀疏正则化,以诱导一个共同的稀疏模式中的稀疏系数的每个上下文组。然后,稀疏系数用于使用线性SVM的分类。对多幅真实高光谱图像的实验结果证实了该方法在高光谱图像分类中的有效性。此外,模拟多光谱数据的实验表明,该模型能够找到表示,可有效地用于多光谱分辨率样本的分类。
2013-08-06 cs.CV cs.LG
Spectral Unmixing of Hyperspectral Images Based on Block Sparse Structure
Qom University of Technology(库姆理工大学);Freie Universität Berlin(柏林自由大学)
高光谱图像的光谱解混是遥感应用中的一个重要问题。尽管高光谱数据的高光谱分辨率,但传感器的相对低的空间分辨率可能导致图像像素内不同纯材料的混合。在这种情况下,由传感器记录的给定像素的光谱可以是多个光谱的组合,每个光谱属于该像素中的独特材料。光谱解混然后被用作一种技术,以提取混合像素内的不同材料的光谱特性,并恢复每个纯光谱签名的光谱,称为端元。块稀疏性是高光谱图像中相邻像素间光谱相似性的结果。在块稀疏信号中,非零样本以簇的形式出现,并且簇的模式通常被认为是不可用的先验信息。提出了一种基于块稀疏结构的混合光谱分解方法。采用模式耦合稀疏贝叶斯学习策略(PCSBL)解决高光谱图像的混合分解问题。为了评估所提出的SU算法的性能,它是合成和真实的高光谱数据和定量结果进行了比较,与其他国家的最先进的方法在丰度角距离和均方误差。所取得的结果表明,该算法的优越性比其他竞争方法的显着保证金。
2023-02-17 cs.CV eess.IV
Structured Sparse Method for Hyperspectral Unmixing
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
高光谱解混(HU)由于能够揭示高光谱数据中隐藏的信息,在过去的几十年里受到了越来越多的关注。遗憾的是,大多数现有的方法未能利用数据中的空间信息。为了克服这一局限性,我们从以下两个方面提出了一种结构化稀疏正则化非负矩阵分解(SS-NMF)方法。首先,我们将一个图形拉普拉斯编码嵌入在高光谱数据空间的流形结构。以这种方式,高度相似的相邻像素可以被分组在一起。其次,套索惩罚被用于SS-NMF中,因为相同流形结构中的像素被一组公共的相关基稀疏混合。这两个因素作为一个新的结构化稀疏约束。有了这个约束,我们的方法可以学习一个紧凑的空间,其中高度相似的像素被分组以共享相关的稀疏表示。在具有不同噪声水平的真实高光谱数据集上的实验表明,我们的方法明显优于现有的方法。
2014-03-19 cs.AI cs.CV
Physics-Informed Untrained Learning for RGB-Guided Superresolution Single-Pixel Hyperspectral Imaging
College of Science, Northwest Agriculture & Forestry University(西北农林科技大学理学院);Key Laboratory of Photoelectronic Imaging Technology and System, School of Optics and Photonics, Beijing Institute of Technology(北京理工大学光电学院光电成像技术与系统教育部重点实验室);State Key Laboratory of Digital Manufacturing Equipment and Technology, Huazhong University of Science and Technology(华中科技大学数字制造装备与技术国家重点实验室)
本文提出一种基于物理的无训练框架,利用未训练的神经网络和RGB引导,实现超分辨率和超光谱重建,无需外部训练数据,实验表明其在重建精度和光谱保真度上优于现有方法。
2026-04-04 cs.CV physics.optics
A 3-stage Spectral-spatial Method for Hyperspectral Image Classification
City University of Hong Kong(香港城市大学);Hong Kong Centre for Cerebro-Cardiovascular Health Engineering(香港心脑血管健康工程中心)
高光谱图像通常有数百个不同波长的光谱带,由飞机或卫星捕获,记录土地覆盖范围。由于高光谱图像的光谱和空间分辨率的增强,识别详细的像素类别变得可行。在这项工作中,我们提出了一个新的框架,利用空间和光谱信息的高光谱图像中的像素进行分类。该方法包括三个阶段。在预处理阶段,首先采用嵌套滑动窗口算法对原始数据进行{增强相邻像素的一致性}重建,然后采用主成分分析法对数据进行降维处理。在第二阶段中,支持向量机被训练以使用来自图像的光谱信息来估计每个类别的逐像素概率图。最后,平滑的总变分模型被应用到平滑的类概率向量通过{确保空间连接}在图像中。我们证明了我们的方法对三个国家的最先进的算法在六个基准高光谱数据集的优越性,每个类有10至50个训练标签。结果表明,我们的方法在准确性方面具有整体最佳性能。特别是,当标记像素的数量减少时,我们的准确性增加,因此我们的方法更有利于应用于小训练集的问题。由于专家注释价格昂贵且不易收集,因此具有重要的现实意义。
2022-04-20 cs.CV stat.ML
Spatial-Spectral Manifold Embedding of Hyperspectral Data
German Aerospace Center (DLR)(德国航空航天中心);Univ. Grenoble Alpes(格勒诺布尔大学);Technical University of Munich (TUM)(慕尼黑工业大学);Xi’an Jiaotong University(西安交通大学);Beijing Institute of Technology (BIT)(北京理工大学);INRIA(法国国家信息与自动化研究所)
近年来,高光谱成像,又称成像光谱学,越来越受到地球科学和遥感界的关注。高光谱图像的特点是具有非常丰富的光谱信息,这使我们能够更容易地识别位于地球表面的感兴趣的材料。然而,我们不得不承认,高光谱维数不可避免地带来了一些缺点,如昂贵的数据存储和传输,信息冗余等。因此,为了有效地降低光谱维数,学习更具鉴别力的光谱低维嵌入,本文提出了一种新的高光谱嵌入方法,同时考虑空间和光谱信息,空间谱流形嵌入(SSME)除了逐像素光谱嵌入方法之外,SSME以基于块的方式联合对空间和光谱信息进行建模。SSME不仅利用光谱特征间相似性度量得到的邻接矩阵学习光谱嵌入,而且在学习嵌入过程中通过共享相同的权值(或边)对高光谱场景中目标像素的空间邻居进行建模。分类探索作为一种潜在的策略,定量评估学习嵌入表示的性能。分类探索作为一个潜在的应用定量评估这些高光谱嵌入算法的性能。在广泛使用的高光谱数据集上进行的大量实验表明,与几种最先进的嵌入方法相比,所提出的SSME的优越性和有效性。
2020-07-17 cs.CV
Classification of Hyperspectral Images Using SVM with Shape-adaptive Reconstruction and Smoothed Total Variation
City University of Hong Kong(香港城市大学);Hong Kong Centre for Cerebro-Cardiovascular Health Engineering(香港心脑血管健康工程研究中心);Wake Forest University(维克森林大学)
在这项工作中,一种新的算法称为形状自适应重建和平滑全变分支持向量机(SaR-SVM-STV)的高光谱图像分类,它充分利用了空间和光谱信息。引入形状自适应重建算法(Shape Adaptive Reconstruction,SaR),根据形状自适应区域内像素间的皮尔逊相关性对每个像素进行预处理。训练支持向量机(SVM)来估计每个类的逐像素概率图。然后,平滑的总变差(STV)模型被应用到去噪和生成最终的分类图。实验结果表明,SaR-SVM-STV方法在训练标签较少的情况下,分类效果优于SVM-STV方法,证明了高光谱图像分类前重建的重要性。
2022-04-14 cs.CV stat.ML
3D-ANAS: 3D Asymmetric Neural Architecture Search for Fast Hyperspectral Image Classification
Northwestern Polytechnical University(西北工业大学);University of Adelaide(阿德莱德大学)
高光谱图像包含丰富的光谱和空间信息,在土地覆盖分类中具有不可替代的作用。最近,基于深度学习技术,已经提出了越来越多的HSI分类方法,这些方法表现出良好的性能。然而,之前的研究存在两大缺陷:1)大多数深度学习模型的架构是手动设计的,依赖于专业知识,相对繁琐。此外,在HSI分类中,由不同传感器捕获的数据集具有不同的物理属性。相应地,不同的数据集需要设计不同的模型,这进一步增加了设计架构的工作量; 2)主流框架是补丁到像素的框架。重复计算相邻像素块的重叠区域,这增加了计算成本和时间成本。此外,分类精度是敏感的斑块大小,这是人为设置的基础上广泛的调查实验。为了克服上述问题,我们首先提出了一种3D非对称神经网络搜索算法,并利用它自动搜索HSI分类的有效架构。通过分析HSI的特点,我们专门建立了一个三维非对称分解搜索空间,其中的光谱和空间信息处理不同的分解卷积。此外,我们提出了一个新的快速分类框架,即,像素到像素的分类框架,它没有重复的操作,降低了整体成本。在不同传感器捕获的三个公共HSI数据集上的实验表明,与几种最先进的方法相比,我们的3D-ANAS设计的网络具有竞争力的性能,同时具有更快的推理速度。
2021-01-12 cs.CV
Hyperspectral Image Compression Using Sampling and Implicit Neural Representations
University of Ontario Institute of Technology(安大略理工大学)
本文提出一种基于隐式神经表示的高光谱图像压缩方法,利用正弦激活的多层感知机将像素位置映射为像素强度,并结合窗口大小与采样率的采样策略加速压缩,在多个基准数据集上取得了优于传统和学习型压缩方法的效果。
2023-12-04 cs.CV eess.IV
Inertia-Constrained Pixel-by-Pixel Nonnegative Matrix Factorisation: a Hyperspectral Unmixing Method Dealing with Intra-class Variability
IRAP(天体物理与行星学研究所);Toulouse University(图卢兹大学);ONERA The French Aerospace Lab(法国航空航天实验室(ONERA))
盲源分离是分析高光谱图像像元构成的常用处理工具。这种方法通常假设纯像素光谱(端元)是相同的,在所有的图像中的每一类材料。在遥感的框架内,这样的假设是没有更有效的类内变量的存在下,由于光照条件,风化,纯材料的轻微变化,等等。在本文中,我们首先描述的调查结果,突出类内的变化,在真实的图像测量。考虑到这些结果,一个新的配方的线性混合模型,导致两个新的方法。无约束逐像素NMF(UP-NMF)是一种基于线性混合模型假设的盲源分离新方法,能够处理类内变异性。为了克服UP-NMF的局限性,提出了一种扩展方法,称为惯性约束逐像素NMF(IP-NMF)。对于每个感测到的频谱,NMF的这些扩展版本提取对应的源频谱集合。在IP-NMF算法中,对每个信源的估计值的扩展进行了限制。该方法进行了测试,建立一个半合成的数据集,从一个真正的高光谱图像中提取的光谱,然后数值混合。因此,我们证明了我们的方法对现实源变量的兴趣。最后,IP-NMF在一个真实的数据集上进行了测试,结果表明,它比最先进的方法产生更好的性能。
2017-02-24 cs.CV physics.data-an stat.ME