Optimal Filter Selection for Multispectral Object Classification Using Fast Binary Search
当设计用于分类不同光谱的多光谱成像系统时,有必要从具有几百个不同的滤波器的集合中选择少量滤波器。通过全面搜索来解决这个问题会导致大量需要检查的可能性,并且是NP困难的。在本文中,我们介绍了一种新的快速二进制搜索的最佳过滤器选择,保证最小的距离度量不同的光谱之间进行分类。在我们的实验中,这个过程达到了相同的最佳解决方案,完全搜索在低得多的复杂性。所需的过滤器数量会影响阶乘顺序的全搜索,而快速二分搜索保持不变。因此,快速二进制搜索允许在足够的时间内找到所有组合的最优解,并避免流行的搜索。此外,我们的快速二进制搜索算法优于其他过滤器选择技术的误分类光谱在现实世界中的分类问题。
2023-01-18 eess.IV
Conditional Optimal Filter Selection for Multispectral Object Classification
针对多光谱图像光谱带冗余问题,提出纳入噪声、滤波器带宽等预设条件的最优滤波器选择方法,可降冗余、降成本,在SMM数据集上大幅减少误分类数。
2024-10-30 eess.IV
Hierarchical Filter Band Selection for Multispectral Object Classification
本文提出一种层次化波段选择方法,通过引入材质估计的第二分类阶段并结合决策树策略,在SMM50数据集上实现分类误差相对降低28.9%,并将所需相机数从7台减至4台。
2026-09-22 eess.IV
Structure-Preserving Spectral Reflectance Estimation using Guided Filtering
光谱是用于不同分类问题的非常重要的信息源,例如,材料的歧视。为了降低获取这些信息的成本,使用了多光谱相机。存在几种技术用于通过利用关于光谱的特性来从多光谱图像中估计光谱。不幸的是,特别是在拍摄多光谱视频时,由于视频中曝光时间有限的性质,图像受到噪声的严重影响。因此,明确地试图降低噪声对重构频谱的影响的模型是非常期望的。因此,提出了一种新的重建算法。这种新的估计方法是基于引导滤波技术,保留基本结构,同时使用空间信息,以减少噪声的影响。基于自然图像光谱的评估表明,这种新技术在噪声场景中比其他最先进的空间重建方法产生更好的定量和主观结果。具体而言,该算法降低了均方误差和频谱角高达46%和35%,在嘈杂的情况下,分别。此外,它表明,所提出的重建技术的工程开箱即用,不需要任何校准或训练,从现实世界的多光谱相机与九个通道重建光谱。
2022-09-16 eess.IV
Longwave infrared multispectral image sensor system using aluminum-germanium plasmonic filter arrays
University of Melbourne(墨尔本大学)
多光谱照相机记录电磁光谱中各种波长的图像数据,以获取常规照相机无法捕获的附加信息。随着高分辨率图像传感器和滤色器技术的出现,可见光波段的多光谱成像仪在过去十年中变得越来越受欢迎,商业可行性也越来越高。然而,长波红外(LWIR:8至14微米)的多光谱成像仍然是一个新兴的领域,由于光学材料,滤波器技术和高分辨率传感器的有限可用性。来自长波红外多光谱相机的图像可以捕获物体的发射光谱,以提取人眼无法捕获的额外信息,因此在精确农业,林业,医学和物体识别中具有重要的应用。在这项工作中,我们实验证明了一个LWIR多光谱图像传感器与三个波段使用的光学元件制成的铝基等离子体滤波器阵列夹在锗。为了实现多光谱传感器,滤波器阵列然后被集成到堆叠在低分辨率单色热传感器上的3D打印轮中。我们的原型设备使用黑体进行校准,其热输出已与计算机视觉方法增强。通过应用最先进的深度学习方法,我们还将多光谱图像重建为更好的空间分辨率。科学上,我们的工作展示了一种多功能的光谱热成像技术,用于检测长波红外范围内的目标特征和其他先进的光谱分析。
2023-03-03 cs.LG eess.IV physics.app-ph
Panchromatic and Multispectral Image Fusion via Alternating Reverse Filtering Network
Hefei Institute of Physical Science, Chinese Academy of Sciences(中国科学院合肥物质科学研究院);University of Science and Technology of China(中国科学技术大学);Nanyang Technological University(南洋理工大学);Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院)
全色(PAN)和多光谱(MS)图像融合,又称全色锐化(Pan-sharpening),是指在高分辨率PAN图像的条件下,对低分辨率(LR)多光谱(MS)图像在空间域进行超分辨率处理,生成期望的高分辨率(HR)MS图像。在本文中,我们提出了一个简单而有效的\textit{alternating reverse filtering network}泛锐化。受经典的反向滤波的启发,将图像反转到滤波前的状态,我们将泛锐化制定为交替迭代的反向滤波过程,以可解释的方式融合LR MS和HR MS。不同于现有的模型驱动方法,需要精心设计的先验和退化的假设,反向过滤过程中避免了依赖于预定义的精确先验。为了通过度量空间上的压缩映射来保证迭代过程的稳定性和收敛性,我们开发了可学习的多尺度高斯核模块,而不是使用特定的滤波器。我们证明了这种配方的理论可行性。对不同场景进行了广泛的实验,以彻底验证我们的方法的性能,显著优于现有技术。
2022-10-15 cs.CV eess.IV
A Single Sensor Based Multispectral Imaging Camera using a Narrow Spectral Band Colour Mosaic Integrated on the Monochrome CMOS Image Sensor
多光谱图像相机捕获整个电磁波谱中窄波长带中特定波长范围内的图像数据。来自多光谱相机的图像可以提取人眼或普通相机无法捕获的额外信息,因此可能在精确农业,林业,医学和物体识别中具有重要应用。传统的多光谱相机由多个图像传感器组成,每个图像传感器都配有窄通带波长滤波器和光学器件,这使得它们笨重,体积庞大,耗电量大并且非常昂贵。多个光学器件还产生图像配准问题。在这里,我们展示了一个单一的传感器为基础的三波段多光谱相机使用窄光谱带RGB彩色马赛克在拜耳模式集成在一个单色CMOS传感器。窄带彩色马赛克由等离子体滤色器和异质结构电介质多层膜的混合组合制成。与传统的多光谱相机相比,所展示的相机技术将成本、重量、尺寸和功率降低了近n倍(其中n是波段数)。
2020-12-03 eess.IV physics.optics
Online multi-resolution fusion of space-borne multispectral images
卫星成像在监测、探测和估计主要自然现象的强度方面发挥着核心作用。卫星图像的一个重要特点是空间/光谱分辨率与重访时间之间的权衡,这是卫星轨道所施加的设计和物理限制以及其他技术限制的结果。在本文中,我们专注于融合多时相,多光谱图像,其中使用不同的空间分辨率从不同的仪器获得的数据。我们利用多模态图像之间的空间关系,以更高的重访率生成高分辨率的图像序列。为了实现这一目标,我们制定的融合方法作为一个递归的状态估计问题,并研究其性能在过滤和平滑的上下文中。拟议的战略显然优于竞争的方法,这是在文件中所示的大地卫星和中分辨率成像光谱仪仪器获得的实际数据。
2022-04-26 eess.IV
Optimal Multispectral Imaging using RGB Cameras
Faculty of Electrical Engineering;Computing University of Zagreb Zagreb, Croatia
本文提出了一种物理驱动框架,通过低成本多光谱设置实现离散光谱带的准确评估,通过优化波长分配提升系统稳定性与噪声鲁棒性。
2026-04-21 eess.IV eess.SP
Targeted Multispectral Filter Array Design for Endoscopic Cancer Detection in the Gastrointestinal Tract
本研究利用扩展后的 Opti-MSFA 工具箱,基于食管和结肠临床光谱数据优化3至9波段 MSFA,以简单内镜尖端芯片硬件实现接近全光谱的癌症分类准确率。
2023-08-15 eess.IV physics.med-ph physics.optics
Multispectral Household Plastic Classification for Recycling Using a Camera Array
Friedrich-Alexander University Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希·亚历山大大学)
该研究提出一种基于9台带近红外滤波器相机的多光谱成像分类方法,结合4种梯度提升类分类器,实现7种家用塑料的高精度分类,准确率达86.7%,装置采用现成硬件易复制,可集成至工业分选流水线。
2026-08-25 eess.IV
Hyperspectral Band Selection for Multispectral Image Classification with Convolutional Networks
Montana State University(蒙大拿州立大学)
近年来,高光谱成像(HSI)已成为遥感、农业和生物医学等应用中可靠数据的强大来源。然而,高光谱图像是高度数据密集的,并且通常受益于减少光谱带数量的方法,同时保留对特定应用最有用的信息。我们提出了一种新的波段选择方法来选择一组减少的波长,从HSI系统中获得的图像分类的上下文中。我们的方法包括两个主要步骤:第一个是利用基于滤波器的方法,找到相关的光谱带的基础上的共线性分析波段和它的邻居。这种分析有助于去除冗余频带,并大大减少搜索空间。第二步应用基于包装器的方法来基于其信息熵值从缩减集中选择频带,并训练紧凑的卷积神经网络(CNN)来评估当前选择的性能。我们目前从我们的方法获得的分类结果,并将它们与其他两个高光谱图像数据集上的特征选择方法进行比较。此外,我们使用原始的高光谱数据立方体来模拟在多光谱成像仪中使用实际滤波器的过程。我们表明,我们的方法产生更合适的多光谱传感器设计的结果。
2021-06-01 cs.CV eess.IV
Online Fusion of Multi-resolution Multispectral Images with Weakly Supervised Temporal Dynamics
实时卫星成像在监测、探测和估计洪水、地震等关键自然现象的强度方面发挥着核心作用。卫星成像的一个重要制约因素是空间/光谱分辨率与其重访时间之间的权衡,这是卫星轨道所施加的设计和物理限制以及其他技术限制的结果。在本文中,我们专注于融合多时相,多光谱图像,其中使用不同的空间分辨率从不同的仪器获得的数据。我们利用多模态图像之间的空间关系,以更高的重访率生成高分辨率的图像序列。为了实现这一目标,我们制定的融合方法作为一个递归的状态估计问题,并研究其性能在过滤和平滑的上下文中。此外,提出了一种校准策略,仅使用少量的历史图像数据来估计图像序列的时变时间动态。与传统机器学习算法中的训练过程(其通常需要大的数据集和计算时间)不同,时间动态模型的参数基于仅使用历史数据集中的两个图像的解析表达式来校准。分布式版本的贝叶斯滤波和平滑策略,也提出了减少其计算复杂度。为了评估所提出的方法,我们考虑一个水映射任务,其中的陆地卫星和中分辨率成像光谱仪仪器获得的真实数据融合生成高时空分辨率的图像估计。我们的实验表明,所提出的方法优于竞争的方法在估计精度和水映射任务。
2023-01-06 eess.IV
Reading hidden writing and drawings on papyrus using speckle optical technique and multispectral images
我们进行了一个实验装置,用于读取一个隐藏的图纸下纸莎草纸使用的光学技术的基础上观察到的斑点现象时,粗糙的表面被激光照射。我们建议使用几个波长的光照明和自适应算法来处理散斑图像。我们采用了一套过滤器,以产生更好的歧视的结果,视觉判断。这种方法是一种便宜且相对简单的非破坏性和非侵入性的过程,可以扩展到其他有考古意义的绘画物体或地下隐藏物,以及其他动态散斑实验。
2023-03-21 eess.IV physics.optics
Single-shot multispectral imaging with a monochromatic camera
多光谱成像在天文成像、对地观测和生物医学成像等领域有着重要的应用。然而,目前的技术是复杂的,多个散射敏感组件,预定的空间和光谱参数的制造商。在这里,我们展示了一种单次拍摄的多光谱成像技术,它为最终用户提供了非常简单的光学设置的灵活性,这要归功于散斑图案的空间相关性和光谱去相关性。这些看似随机的散斑图案是由来自点源的光通过强散射介质传播而产生的点扩展函数(PSF)。PSF的空间相关性允许使用去卷积技术进行图像恢复,而光谱去相关性允许它们在去卷积过程中扮演可调谐光谱滤波器的角色。我们的演示利用强散射介质的光学物理和计算成像提出了最具成本效益的方法,多光谱成像具有很大的优势。
2017-07-29 eess.IV eess.SP physics.app-ph
Generative Model-Assisted Demosaicing for Cross-multispectral Cameras
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院);School of Automation, Northwestern Polytechnical University(西北工业大学自动化学院);Image Processing and Interpretation, IMEC Research Group, Ghent University(根特大学IMEC研究组图像处理与解释方向)
提出一种自监督生成模型辅助的混合监督训练方法,通过预训练、伪配对和微调三步策略,结合频域困难图像块选择方法,有效解决了跨多光谱相机去马赛克中真实数据表现差、跨相机泛化难和视觉伪影的问题。
2025-03-04 cs.CV eess.IV
Motion rejection and spectral unmixing for accurate estimation of in vivo oxygen saturation using multispectral optoacoustic tomography
提出一种基于超快超声图像门控抑制呼吸运动伪影并直接评估像素噪声以剔除噪声主导像素的两步图像处理方法,显著提升了多光谱光声断层成像对深部组织氧饱和度的估计精度。
2023-09-15 eess.IV physics.med-ph physics.optics
Multispectral Stereo-Image Fusion for 3D Hyperspectral Scene Reconstruction
Fraunhofer HHI(弗劳恩霍夫HHI研究所);Humboldt University(洪堡大学)
本文提出将两台覆盖不同光谱范围的实时多光谱快照相机组成立体系统,通过去马赛克与光谱数据融合,同时实现三维重建和高光谱视频流获取,并验证其在手术辅助监测中的可行性。
2023-12-15 cs.CV eess.IV
Spec-NeRF: Multi-spectral Neural Radiance Fields
Ningbo University(宁波大学)
提出Spec-NeRF方法,利用低成本三色相机和彩色滤镜获取的图像,联合重建多光谱辐射场和相机光谱敏感函数,实现高保真光谱重建与新视角合成。
2023-09-14 cs.CV cs.GR eess.IV
Simultaneous Super-Resolution of Spatial and Spectral Imaging with a Camera Array and Notch Filters
本研究提出一种基于陷波滤波器相机阵列系统的算法,通过整合多孔径超分辨率、全色锐化及光谱重建技术,利用9个孔径的亚像素偏移与光谱差异重建31幅光谱图像,实现35.6dB峰值信噪比,较现有系统提升5dB且降低处理时间。
2025-06-30 eess.IV
Identification of Seed Cells in Multispectral Images for GrowCut Segmentation
Instituto de Ingeniería(工程研究所);Instituto Nacional de Bioingeniería, Universidad Central de Venezuela(委内瑞拉中央大学国家生物工程研究所);Algorithmic Nature Lab, LABORES for the Natural and Digital Sciences(LABORES自然与数字科学 Algorithmic Nature 实验室)
卫星图像的分割是进行面向对象的图像分类的必要步骤,由于其对具有高空间分辨率的图像的适用性而变得相关。为了进行面向对象的图像分类,所研究的图像必须首先被分割成均匀的区域。这种分割需要专家用户的手动工作,专家用户必须彻底地探索图像以建立阈值,该阈值生成有用的和代表性的片段而不过度分割并且不丢弃代表性片段。我们提出了一种技术,自动分割的多光谱图像,同时面对这些问题。我们通过使用形态滤波器根据其光谱特征识别图像中的同质区域。这些均匀的区域代表了图像中不同类型的土地覆盖,并用作GrowCut多光谱分割算法的种子。GrowCut是一种具有竞争性区域生长的细胞自动机,它的细胞通过三个参数与图像中的每个像素相关联:像素的光谱特征,标签和强度因子,该强度因子表示细胞捍卫其标签的强度。种子细胞拥有最大的力量,并在整个自动机的进化过程中保持其状态。从种子细胞开始,图像中的每个细胞都受到其相邻细胞的迭代攻击。当自动机停止更新其状态时,我们得到一个分割的图像,其中每个像素都取了它的一个单元格的标签。在本文中,该算法被应用在农业土地上的Calabozo,瓜里科,委内瑞拉,有不同类型的土地覆盖:农业,城市地区,水体和稀树草原与不同程度的人为干预的Landsat8获得的图像。分割得到的不规则多边形包围地理对象。
2018-01-17 cs.CV eess.IV
The Whole Pathological Slide Classification via Weakly Supervised Learning
针对全切片病理图像分类,本文融合核异质性与图块空间相关性两种病理先验,构建含染色分离对比增强和邻接空间建模的MIL框架,在Camelyon16与TCGA-NSCLC上优于现有方法。
2023-07-12 cs.CV eess.IV q-bio.QM
Breast Cancer Molecular Subtypes Prediction on Pathological Images with Discriminative Patch Selecting and Multi-Instance Learning
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Xiangya Hospital, Central South University(中南大学湘雅医院);University of Chinese Academy of Sciences(中国科学院大学);Central South University(中南大学)
乳腺癌的分子亚型是临床个体化治疗的重要参考。为了节省成本和人力,通常只选择患者的一个石蜡块进行后续免疫组织化学(IHC)以获得分子亚型。由于肿瘤的异质性,不可避免的采样误差是有风险的,可能导致治疗延迟。使用AI方法从常规H&E病理全切片图像(WSI)预测分子亚型对于帮助病理学家预筛选用于IHC的适当石蜡块是有用的和关键的。这是一项具有挑战性的任务,因为从IHC中只能获得分子亚型的WSI水平标记。千兆像素的WSI被分成大量的补丁,以便在计算上对深度学习是可行的。虽然使用粗糙的载玻片级别标签,但基于块的方法可能遭受大量噪声块,例如折叠、过度染色区域或非肿瘤组织。提出了一种基于判别块选择和多示例学习的弱监督学习框架,用于乳腺癌分子亚型的H&E WSIs预测。首先,采用协同教学策略学习分子亚型表征,滤除噪声块。然后,使用平衡抽样策略来处理数据集中亚型的不平衡。此外,提出了一种基于聚类中心的局部离群因子的噪声块滤波算法,以进一步选择有区别的块。最后,结合分片和滑动约束信息的损失函数,对MIL框架进行微调,进一步提高分子分型的性能。实验结果证实了所提出的方法的有效性,我们的模型甚至优于高级病理学家,有可能帮助病理学家在临床上预筛选石蜡块用于IHC。
2022-03-15 cs.CV eess.IV
Convolutional Neural Network-Based Automatic Classification of Colorectal and Prostate Tumor Biopsies Using Multispectral Imagery: System Development Study
Northumbria University at Newcastle(纽卡斯尔诺森比亚大学);College of Computer and Information Sciences, King Saud University(沙特国王大学计算机与信息科学学院)
结直肠癌和前列腺癌是全世界男性最常见的癌症类型。为了诊断结直肠癌和前列腺癌,病理学家对穿刺活检样本进行组织学分析。这种手动过程耗时且容易出错,导致观察者内和观察者间的高度变异性,从而影响诊断可靠性。本研究旨在开发一种自动计算机化系统,通过使用活检样本的图像来诊断结直肠和前列腺肿瘤,以减少与人类分析相关的时间和诊断错误率。我们提出了一个CNN模型,用于从活检样本的多光谱图像中分类结直肠和前列腺肿瘤。关键思想是删除卷积层的最后一个块,并将每层的滤波器数量减半。我们的结果显示了出色的性能,前列腺和结直肠数据集的平均测试准确率分别为99.8%和99.5%。与预训练的CNN和其他分类方法相比,该系统表现出出色的性能,因为它避免了预处理阶段,同时使用单个CNN模型进行分类。总的来说,所提出的CNN架构是全球性能最好的系统,用于分类结直肠和前列腺肿瘤图像。详细介绍了所提出的CNN,并与以前训练的网络模型作为特征提取器进行了比较。这些CNN还与其他分类技术进行了比较。与预先训练的CNN和其他分类方法相反,所提出的CNN产生了出色的结果。CNN的计算复杂度也进行了研究,它表明,建议的CNN是更好地在分类图像比预训练的网络,因为它不需要预处理。因此,总体分析表明,所提出的CNN架构是全球最佳的结肠直肠和前列腺肿瘤图像分类系统。
2023-01-30 cs.CV cs.LG eess.IV
Model-based image adjustment for a successful pansharpening
German Aerospace Center (DLR)(德国航空航天中心)
提出了一种新的基于模型的图像调整方法,用于增强多分辨率图像融合或泛锐化。对于使用全色带和/或强度图像(计算为多光谱带的加权和)作为输入的大多数全色锐化方法,需要这样的图像调整。由于各种原因,例如校准不准确、使用不同的传感器、用于全色锐化的输入图像:低分辨率多光谱图像或更精确地计算的强度图像和高分辨率全色图像可能在它们的物理属性的值上不同,例如取决于处理水平的辐射率或反射率。但两个图像中的相同对象/类应该表现出相似的值或更一般地相似的统计数据。相似性定义将取决于特定的应用。为了成功融合来自两个传感器的数据,两个传感器的辐射/反射率之间的能量平衡应该保持。引入虚拟频带来补偿不同传感器中的总能量不平衡。它的估计由几个步骤组成:首先,在低分辨率尺度中估计各个光谱带的权重,其中多光谱和全色图像(低通滤波版本)都可用,然后,将估计的虚拟带上采样到高尺度,最后,通过减去虚拟带来校正高分辨率全色带。此经校正的全色带用于在以下全色锐化中代替原始全色图像。它示出,例如,基于组件替换的方法的性能质量可以显着增加。
2021-03-04 cs.CV eess.IV
MSFA-Frequency-Aware Transformer for Hyperspectral Images Demosaicing
IMEC-IPI-UGent(IMEC-IPI-根特大学);NWPU(西北工业大学);CUG(中国地质大学);ETH Zurich(苏黎世联邦理工学院);HIT(哈尔滨工业大学);WHU(武汉大学)
使用多光谱滤波器阵列(MSFA)的高光谱成像系统在每个像素中仅捕获一个光谱分量。高光谱去马赛克用于恢复非测量分量。虽然深度学习方法在这一领域显示出了希望,但它们仍然面临着一些挑战,包括非局部依赖关系的建模有限,缺乏对可能与周期性伪影相关的周期性MSFA模式的考虑,以及难以恢复高频细节。为了解决这些问题,本文提出了一种新的去马赛克框架,MSFA频率感知Transformer网络(FDM-Net)。FDM-Net集成了一种新的MSFA频率感知多头自注意机制(MaFormer)和一种基于滤波器的傅立叶补零方法,分别重建难度较大的高通分量和相对容易的低通分量。Maformer的优点是它可以利用MSFA信息和数据中存在的非本地依赖关系。此外,我们引入了一个联合的空间和频率损失来传输MSFA信息,并增强对难以恢复的频率分量的训练。实验结果表明,FDM-Net在6dB PSNR的情况下优于现有的方法,并且成功地重建了高保真的细节。
2023-03-23 cs.CV eess.IV
D$^\text{2}$UF: Deep Coded Aperture Design and Unrolling Algorithm for Compressive Spectral Image Fusion
Universidad Industrial de Santander(桑坦德工业大学)
提出D2UF方法,通过端到端联合优化CASSI与MCFA系统的编码孔径及基于ADMM的展开重建网络,解决了压缩光谱图像融合中的空间与光谱分辨率权衡问题。
2022-05-24 cs.LG eess.IV math.OC