Hyperspectral Image Reconstruction from Multispectral Images Using Non-Local Filtering
使用光谱是许多应用中的基本要素，例如在材料分类中。通常，这些信息是通过使用高光谱相机获得的。不幸的是，这些相机有一些主要的缺点，如不能录制视频。因此，使用具有宽带滤波器的多光谱相机，其便宜得多并且通常能够捕获视频。然而，使用多光谱相机需要额外的重建步骤来产生光谱信息。通常，该重建步骤必须在存在成像噪声的情况下进行，这严重地降低了重建光谱。通常，在图像上发现相同或相似的像素，其优点是具有独立的噪声。与现有的仅利用相邻像素进行基于块的处理的光谱重建方法相比，本文在光谱重建中引入了非局部滤波。首先，块匹配过程找到类似的非本地多光谱块。此后，通过使用重建维纳滤波器协作地对匹配的多光谱像素进行滤波来重建高光谱像素。所提出的新方法甚至在非常强的噪声下也能工作。该方法是能够降低频谱角高达18%，并增加峰值信噪比高达1.1dB的噪声场景相比，国家的最先进的方法。此外，视觉效果更吸引人。
2022-09-16 eess.IV
Optimal Filter Selection for Multispectral Object Classification Using Fast Binary Search
当设计用于分类不同光谱的多光谱成像系统时，有必要从具有几百个不同的滤波器的集合中选择少量滤波器。通过全面搜索来解决这个问题会导致大量需要检查的可能性，并且是NP困难的。在本文中，我们介绍了一种新的快速二进制搜索的最佳过滤器选择，保证最小的距离度量不同的光谱之间进行分类。在我们的实验中，这个过程达到了相同的最佳解决方案，完全搜索在低得多的复杂性。所需的过滤器数量会影响阶乘顺序的全搜索，而快速二分搜索保持不变。因此，快速二进制搜索允许在足够的时间内找到所有组合的最优解，并避免流行的搜索。此外，我们的快速二进制搜索算法优于其他过滤器选择技术的误分类光谱在现实世界中的分类问题。
2023-01-18 eess.IV
Hierarchical Filter Band Selection for Multispectral Object Classification
本文提出一种层次化波段选择方法，通过引入材质估计的第二分类阶段并结合决策树策略，在SMM50数据集上实现分类误差相对降低28.9%，并将所需相机数从7台减至4台。
2026-09-22 eess.IV
Translating multispectral imagery to nighttime imagery via conditional generative adversarial networks
University of South Carolina（南卡罗来纳大学）；East China Normal University（华东师范大学）
夜间卫星图像已应用于广泛的领域。然而，我们对观测光强如何形成以及能否模拟的认识有限，极大地阻碍了它的进一步应用。本研究探讨了条件生成对抗网络（cGAN）在将多光谱图像转换为夜间图像方面的潜力。一个流行的cGAN框架，pix2pix，通过和修改，以促进这种翻译使用网格训练图像对来自陆地卫星8和可见光红外成像辐射计套件（VIIRS）。这项研究的结果证明了多光谱到夜间转换的可能性，并进一步表明，通过额外的社交媒体数据，生成的夜间图像可以非常类似于地面实况图像。该研究填补了卫星观测夜间光组成的空白，并为解决夜间遥感领域的新兴问题提供了新的范例，包括夜间系列构建，光去饱和和多传感器校准。
2019-12-28 cs.CV eess.IV stat.ML
Longwave infrared multispectral image sensor system using aluminum-germanium plasmonic filter arrays
University of Melbourne（墨尔本大学）
多光谱照相机记录电磁光谱中各种波长的图像数据，以获取常规照相机无法捕获的附加信息。随着高分辨率图像传感器和滤色器技术的出现，可见光波段的多光谱成像仪在过去十年中变得越来越受欢迎，商业可行性也越来越高。然而，长波红外（LWIR：8至14微米）的多光谱成像仍然是一个新兴的领域，由于光学材料，滤波器技术和高分辨率传感器的有限可用性。来自长波红外多光谱相机的图像可以捕获物体的发射光谱，以提取人眼无法捕获的额外信息，因此在精确农业，林业，医学和物体识别中具有重要的应用。在这项工作中，我们实验证明了一个LWIR多光谱图像传感器与三个波段使用的光学元件制成的铝基等离子体滤波器阵列夹在锗。为了实现多光谱传感器，滤波器阵列然后被集成到堆叠在低分辨率单色热传感器上的3D打印轮中。我们的原型设备使用黑体进行校准，其热输出已与计算机视觉方法增强。通过应用最先进的深度学习方法，我们还将多光谱图像重建为更好的空间分辨率。科学上，我们的工作展示了一种多功能的光谱热成像技术，用于检测长波红外范围内的目标特征和其他先进的光谱分析。
2023-03-03 cs.LG eess.IV physics.app-ph
Structure-Preserving Spectral Reflectance Estimation using Guided Filtering
光谱是用于不同分类问题的非常重要的信息源，例如，材料的歧视。为了降低获取这些信息的成本，使用了多光谱相机。存在几种技术用于通过利用关于光谱的特性来从多光谱图像中估计光谱。不幸的是，特别是在拍摄多光谱视频时，由于视频中曝光时间有限的性质，图像受到噪声的严重影响。因此，明确地试图降低噪声对重构频谱的影响的模型是非常期望的。因此，提出了一种新的重建算法。这种新的估计方法是基于引导滤波技术，保留基本结构，同时使用空间信息，以减少噪声的影响。基于自然图像光谱的评估表明，这种新技术在噪声场景中比其他最先进的空间重建方法产生更好的定量和主观结果。具体而言，该算法降低了均方误差和频谱角高达46%和35%，在嘈杂的情况下，分别。此外，它表明，所提出的重建技术的工程开箱即用，不需要任何校准或训练，从现实世界的多光谱相机与九个通道重建光谱。
2022-09-16 eess.IV
A Single Sensor Based Multispectral Imaging Camera using a Narrow Spectral Band Colour Mosaic Integrated on the Monochrome CMOS Image Sensor
多光谱图像相机捕获整个电磁波谱中窄波长带中特定波长范围内的图像数据。来自多光谱相机的图像可以提取人眼或普通相机无法捕获的额外信息，因此可能在精确农业，林业，医学和物体识别中具有重要应用。传统的多光谱相机由多个图像传感器组成，每个图像传感器都配有窄通带波长滤波器和光学器件，这使得它们笨重，体积庞大，耗电量大并且非常昂贵。多个光学器件还产生图像配准问题。在这里，我们展示了一个单一的传感器为基础的三波段多光谱相机使用窄光谱带RGB彩色马赛克在拜耳模式集成在一个单色CMOS传感器。窄带彩色马赛克由等离子体滤色器和异质结构电介质多层膜的混合组合制成。与传统的多光谱相机相比，所展示的相机技术将成本、重量、尺寸和功率降低了近n倍（其中n是波段数）。
2020-12-03 eess.IV physics.optics
Hyperspectral and Multispectral Image Fusion Using the Conditional Denoising Diffusion Probabilistic Model
本文提出DDPM-Fus，利用条件去噪扩散概率模型，以高分辨率多光谱和低分辨率高光谱图像为条件，通过反向去噪生成融合的高分辨率高光谱图像，并在多个数据集上验证了其优越性。
2023-07-07 cs.CV cs.LG eess.IV
Optimal Multispectral Imaging using RGB Cameras
Faculty of Electrical Engineering；Computing University of Zagreb Zagreb, Croatia
本文提出了一种物理驱动框架，通过低成本多光谱设置实现离散光谱带的准确评估，通过优化波长分配提升系统稳定性与噪声鲁棒性。
2026-04-21 eess.IV eess.SP
Online multi-resolution fusion of space-borne multispectral images
卫星成像在监测、探测和估计主要自然现象的强度方面发挥着核心作用。卫星图像的一个重要特点是空间/光谱分辨率与重访时间之间的权衡，这是卫星轨道所施加的设计和物理限制以及其他技术限制的结果。在本文中，我们专注于融合多时相，多光谱图像，其中使用不同的空间分辨率从不同的仪器获得的数据。我们利用多模态图像之间的空间关系，以更高的重访率生成高分辨率的图像序列。为了实现这一目标，我们制定的融合方法作为一个递归的状态估计问题，并研究其性能在过滤和平滑的上下文中。拟议的战略显然优于竞争的方法，这是在文件中所示的大地卫星和中分辨率成像光谱仪仪器获得的实际数据。
2022-04-26 eess.IV
Targeted Multispectral Filter Array Design for Endoscopic Cancer Detection in the Gastrointestinal Tract
本研究利用扩展后的 Opti-MSFA 工具箱，基于食管和结肠临床光谱数据优化3至9波段 MSFA，以简单内镜尖端芯片硬件实现接近全光谱的癌症分类准确率。
2023-08-15 eess.IV physics.med-ph physics.optics
Hyperspectral Band Selection for Multispectral Image Classification with Convolutional Networks
Montana State University（蒙大拿州立大学）
近年来，高光谱成像（HSI）已成为遥感、农业和生物医学等应用中可靠数据的强大来源。然而，高光谱图像是高度数据密集的，并且通常受益于减少光谱带数量的方法，同时保留对特定应用最有用的信息。我们提出了一种新的波段选择方法来选择一组减少的波长，从HSI系统中获得的图像分类的上下文中。我们的方法包括两个主要步骤：第一个是利用基于滤波器的方法，找到相关的光谱带的基础上的共线性分析波段和它的邻居。这种分析有助于去除冗余频带，并大大减少搜索空间。第二步应用基于包装器的方法来基于其信息熵值从缩减集中选择频带，并训练紧凑的卷积神经网络（CNN）来评估当前选择的性能。我们目前从我们的方法获得的分类结果，并将它们与其他两个高光谱图像数据集上的特征选择方法进行比较。此外，我们使用原始的高光谱数据立方体来模拟在多光谱成像仪中使用实际滤波器的过程。我们表明，我们的方法产生更合适的多光谱传感器设计的结果。
2021-06-01 cs.CV eess.IV
Multispectral Household Plastic Classification for Recycling Using a Camera Array
Friedrich-Alexander University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希·亚历山大大学）
该研究提出一种基于9台带近红外滤波器相机的多光谱成像分类方法，结合4种梯度提升类分类器，实现7种家用塑料的高精度分类，准确率达86.7%，装置采用现成硬件易复制，可集成至工业分选流水线。
2026-08-25 eess.IV
Online Fusion of Multi-resolution Multispectral Images with Weakly Supervised Temporal Dynamics
实时卫星成像在监测、探测和估计洪水、地震等关键自然现象的强度方面发挥着核心作用。卫星成像的一个重要制约因素是空间/光谱分辨率与其重访时间之间的权衡，这是卫星轨道所施加的设计和物理限制以及其他技术限制的结果。在本文中，我们专注于融合多时相，多光谱图像，其中使用不同的空间分辨率从不同的仪器获得的数据。我们利用多模态图像之间的空间关系，以更高的重访率生成高分辨率的图像序列。为了实现这一目标，我们制定的融合方法作为一个递归的状态估计问题，并研究其性能在过滤和平滑的上下文中。此外，提出了一种校准策略，仅使用少量的历史图像数据来估计图像序列的时变时间动态。与传统机器学习算法中的训练过程（其通常需要大的数据集和计算时间）不同，时间动态模型的参数基于仅使用历史数据集中的两个图像的解析表达式来校准。分布式版本的贝叶斯滤波和平滑策略，也提出了减少其计算复杂度。为了评估所提出的方法，我们考虑一个水映射任务，其中的陆地卫星和中分辨率成像光谱仪仪器获得的真实数据融合生成高时空分辨率的图像估计。我们的实验表明，所提出的方法优于竞争的方法在估计精度和水映射任务。
2023-01-06 eess.IV
Single-shot multispectral imaging with a monochromatic camera
多光谱成像在天文成像、对地观测和生物医学成像等领域有着重要的应用。然而，目前的技术是复杂的，多个散射敏感组件，预定的空间和光谱参数的制造商。在这里，我们展示了一种单次拍摄的多光谱成像技术，它为最终用户提供了非常简单的光学设置的灵活性，这要归功于散斑图案的空间相关性和光谱去相关性。这些看似随机的散斑图案是由来自点源的光通过强散射介质传播而产生的点扩展函数（PSF）。PSF的空间相关性允许使用去卷积技术进行图像恢复，而光谱去相关性允许它们在去卷积过程中扮演可调谐光谱滤波器的角色。我们的演示利用强散射介质的光学物理和计算成像提出了最具成本效益的方法，多光谱成像具有很大的优势。
2017-07-29 eess.IV eess.SP physics.app-ph
Generative Model-Assisted Demosaicing for Cross-multispectral Cameras
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院）；School of Automation, Northwestern Polytechnical University（西北工业大学自动化学院）；Image Processing and Interpretation, IMEC Research Group, Ghent University（根特大学IMEC研究组图像处理与解释方向）
提出一种自监督生成模型辅助的混合监督训练方法，通过预训练、伪配对和微调三步策略，结合频域困难图像块选择方法，有效解决了跨多光谱相机去马赛克中真实数据表现差、跨相机泛化难和视觉伪影的问题。
2025-03-04 cs.CV eess.IV
Multispectral Stereo-Image Fusion for 3D Hyperspectral Scene Reconstruction
Fraunhofer HHI（弗劳恩霍夫HHI研究所）；Humboldt University（洪堡大学）
本文提出将两台覆盖不同光谱范围的实时多光谱快照相机组成立体系统，通过去马赛克与光谱数据融合，同时实现三维重建和高光谱视频流获取，并验证其在手术辅助监测中的可行性。
2023-12-15 cs.CV eess.IV
Spec-NeRF: Multi-spectral Neural Radiance Fields
Ningbo University（宁波大学）
提出Spec-NeRF方法，利用低成本三色相机和彩色滤镜获取的图像，联合重建多光谱辐射场和相机光谱敏感函数，实现高保真光谱重建与新视角合成。
2023-09-14 cs.CV cs.GR eess.IV
Identification of Seed Cells in Multispectral Images for GrowCut Segmentation
Instituto de Ingeniería（工程研究所）；Instituto Nacional de Bioingeniería, Universidad Central de Venezuela（委内瑞拉中央大学国家生物工程研究所）；Algorithmic Nature Lab, LABORES for the Natural and Digital Sciences（LABORES自然与数字科学 Algorithmic Nature 实验室）
卫星图像的分割是进行面向对象的图像分类的必要步骤，由于其对具有高空间分辨率的图像的适用性而变得相关。为了进行面向对象的图像分类，所研究的图像必须首先被分割成均匀的区域。这种分割需要专家用户的手动工作，专家用户必须彻底地探索图像以建立阈值，该阈值生成有用的和代表性的片段而不过度分割并且不丢弃代表性片段。我们提出了一种技术，自动分割的多光谱图像，同时面对这些问题。我们通过使用形态滤波器根据其光谱特征识别图像中的同质区域。这些均匀的区域代表了图像中不同类型的土地覆盖，并用作GrowCut多光谱分割算法的种子。GrowCut是一种具有竞争性区域生长的细胞自动机，它的细胞通过三个参数与图像中的每个像素相关联：像素的光谱特征，标签和强度因子，该强度因子表示细胞捍卫其标签的强度。种子细胞拥有最大的力量，并在整个自动机的进化过程中保持其状态。从种子细胞开始，图像中的每个细胞都受到其相邻细胞的迭代攻击。当自动机停止更新其状态时，我们得到一个分割的图像，其中每个像素都取了它的一个单元格的标签。在本文中，该算法被应用在农业土地上的Calabozo，瓜里科，委内瑞拉，有不同类型的土地覆盖：农业，城市地区，水体和稀树草原与不同程度的人为干预的Landsat8获得的图像。分割得到的不规则多边形包围地理对象。
2018-01-17 cs.CV eess.IV
Simultaneous Super-Resolution of Spatial and Spectral Imaging with a Camera Array and Notch Filters
本研究提出一种基于陷波滤波器相机阵列系统的算法，通过整合多孔径超分辨率、全色锐化及光谱重建技术，利用9个孔径的亚像素偏移与光谱差异重建31幅光谱图像，实现35.6dB峰值信噪比，较现有系统提升5dB且降低处理时间。
2025-06-30 eess.IV
Seeing Through the Clouds: Cloud Gap Imputation with Prithvi Foundation Model
Graduate School of Geography（地理学院）；Clark Center for Geospatial Analytics（克拉克地理空间分析中心）；Clark University（克拉克大学）
本文比较了Prithvi基础ViT模型与CGAN在卫星影像时间序列云遮挡填补中的性能，通过真实云掩膜训练和多种指标评估，验证了基础模型在云隙填补任务中的准确性与上下文保留优势。
2024-04-30 cs.CV eess.IV
Convolutional Neural Network-Based Automatic Classification of Colorectal and Prostate Tumor Biopsies Using Multispectral Imagery: System Development Study
Northumbria University at Newcastle（纽卡斯尔诺森比亚大学）；College of Computer and Information Sciences, King Saud University（沙特国王大学计算机与信息科学学院）
结直肠癌和前列腺癌是全世界男性最常见的癌症类型。为了诊断结直肠癌和前列腺癌，病理学家对穿刺活检样本进行组织学分析。这种手动过程耗时且容易出错，导致观察者内和观察者间的高度变异性，从而影响诊断可靠性。本研究旨在开发一种自动计算机化系统，通过使用活检样本的图像来诊断结直肠和前列腺肿瘤，以减少与人类分析相关的时间和诊断错误率。我们提出了一个CNN模型，用于从活检样本的多光谱图像中分类结直肠和前列腺肿瘤。关键思想是删除卷积层的最后一个块，并将每层的滤波器数量减半。我们的结果显示了出色的性能，前列腺和结直肠数据集的平均测试准确率分别为99.8%和99.5%。与预训练的CNN和其他分类方法相比，该系统表现出出色的性能，因为它避免了预处理阶段，同时使用单个CNN模型进行分类。总的来说，所提出的CNN架构是全球性能最好的系统，用于分类结直肠和前列腺肿瘤图像。详细介绍了所提出的CNN，并与以前训练的网络模型作为特征提取器进行了比较。这些CNN还与其他分类技术进行了比较。与预先训练的CNN和其他分类方法相反，所提出的CNN产生了出色的结果。CNN的计算复杂度也进行了研究，它表明，建议的CNN是更好地在分类图像比预训练的网络，因为它不需要预处理。因此，总体分析表明，所提出的CNN架构是全球最佳的结肠直肠和前列腺肿瘤图像分类系统。
2023-01-30 cs.CV cs.LG eess.IV
Model-based image adjustment for a successful pansharpening
German Aerospace Center (DLR)（德国航空航天中心）
提出了一种新的基于模型的图像调整方法，用于增强多分辨率图像融合或泛锐化。对于使用全色带和/或强度图像（计算为多光谱带的加权和）作为输入的大多数全色锐化方法，需要这样的图像调整。由于各种原因，例如校准不准确、使用不同的传感器、用于全色锐化的输入图像：低分辨率多光谱图像或更精确地计算的强度图像和高分辨率全色图像可能在它们的物理属性的值上不同，例如取决于处理水平的辐射率或反射率。但两个图像中的相同对象/类应该表现出相似的值或更一般地相似的统计数据。相似性定义将取决于特定的应用。为了成功融合来自两个传感器的数据，两个传感器的辐射/反射率之间的能量平衡应该保持。引入虚拟频带来补偿不同传感器中的总能量不平衡。它的估计由几个步骤组成：首先，在低分辨率尺度中估计各个光谱带的权重，其中多光谱和全色图像（低通滤波版本）都可用，然后，将估计的虚拟带上采样到高尺度，最后，通过减去虚拟带来校正高分辨率全色带。此经校正的全色带用于在以下全色锐化中代替原始全色图像。它示出，例如，基于组件替换的方法的性能质量可以显着增加。
2021-03-04 cs.CV eess.IV
CFNet: Conditional Filter Learning with Dynamic Noise Estimation for Real Image Denoising
Jiangxi University of Finance and Economics（江西财经大学）；Chinese Academy of Sciences（中国科学院）
用于真实图像去噪的基于卷积神经网络（CNN）的主流类型的现有技术（SOTA）包含两个子问题，即，噪声估计和非盲去噪。本文考虑了真实噪声近似异方差高斯/泊松高斯分布与摄像机内的信号处理管道。相关的工作总是利用估计的噪声之前，通过信道级级联，然后是卷积层与空间共享内核。由于所有特征位置的噪声强度和频率细节的可变模式，该设计不能自适应地调整相应的去噪模式。为了解决这个问题，我们提出了一种新的条件滤波器，在该滤波器中，不同特征位置的最佳内核可以通过图像和噪声图的局部特征自适应地推断。同时，将噪声估计和非盲去噪交替进行的思想引入到CNN结构中，在引导迭代特征去噪之前不断更新噪声。此外，根据异方差高斯分布的特性，设计了一种新的仿射变换块来预测平稳噪声分量和信号相关噪声分量。与SOTA相比，在5个人工数据集和3个真实数据集上进行了大量的实验，结果表明了CFNet的改进。
2022-11-26 cs.CV eess.IV
Stochastic Conditional Generative Networks with Basis Decomposition
Duke University（杜克大学）
虽然生成对抗网络（GANs）已经彻底改变了机器学习，但仍有一些悬而未决的问题需要完全理解它们并利用它们的力量。这些问题之一是如何有效地实现多模式数据空间的适当多样性和采样。为了解决这个问题，我们引入了BasisGAN，一个随机条件多模式图像生成器。通过利用卷积滤波器可以很好地近似为一小组基本元素的线性组合的观察结果，我们学习了一个即插即用的基础生成器来随机生成基本元素，只需几百个参数，将随机性完全嵌入卷积滤波器。通过对基本元素而不是滤波器进行采样，我们大大降低了参数空间建模的成本，而不会牺牲图像的多样性或保真度。为了说明这种即插即用的框架，我们基于最先进的条件图像生成网络构建BasisGAN的变体，并通过简单地插入基础生成器来训练网络，而无需额外的辅助组件，超参数或训练目标。实验成功的补充与理论结果表明如何引入的扰动所提出的采样的基本元素可以传播到生成的图像的外观。
2020-02-24 cs.CV cs.LG eess.IV
