基于光谱分解的多波段图像融合

技术报告：作为最大团问题的高光谱图像非线性解混的波段选择

Technical Report: Band selection for nonlinear unmixing of hyperspectral images as a maximal clique problem

Federal University of Santa Catarina（圣卡塔琳娜联邦大学）；University of Nice Sophia-Antipolis（尼斯索菲亚-安蒂波利斯大学）；Lagrange Laboratory (CNRS, OCA)（拉格朗日实验室（法国国家科学研究中心、蔚蓝海岸天文台））；INRIA Sophia-Antipolis（法国国家信息与自动化研究所索菲亚-安蒂波利斯中心）

基于核的非线性混合模型已被应用于高光谱图像的混合光谱信息的解混时，发生在场景中的混合类型是太复杂或未知的。然而，这样的方法通常需要大小等于谱带数目的矩阵的求逆。减少这些方法的计算负荷在大规模应用中仍然是一个挑战。提出了一种再生核希尔伯特空间（RKHS）中的集中式频带选择方法。它基于相干性准则，该准则设置了表征解混模型的基核函数之间的相关性所允许的最大值。我们表明，所提出的BS方法是相当于解决最大团问题（MCP），即寻找最大的完全子图的图。此外，我们还设计了一种使用线性独立基的相干界来选择相干阈值和高斯核带宽的策略。仿真结果表明了该方法的有效性。

2016-09-19cs.CV

基于相关熵度量的高光谱稳健解混

Robust Hyperspectral Unmixing with Correntropy based Metric

Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）

高光谱解混是高光谱应用的关键步骤之一。在端元和丰度都未知的无监督工作环境中，高光谱解混问题已被证明是一项艰巨的任务。更重要的是，这个任务变得更具挑战性的情况下，频谱带退化的噪声。本文提出了一种鲁棒的非监督高光谱解混模型。具体来说，我们的模型是开发与相关熵为基础的度量，其中的非负约束端元和丰度施加保持物理意义。此外，稀疏事先明确制定约束的丰度分布的每个端元。为了解决我们的模型，一个半二次优化技术的开发，将原来复杂的优化问题转化为一个迭代重新加权稀疏约束的NMF。因此，我们的模型的优化可以自适应地分配小的权重到噪声带，并给予更多的重视，无噪声带。此外，通过稀疏性约束，我们的模型可以自然地生成稀疏丰度。合成和真实数据上的实验证明了我们的模型的有效性相比，相关的国家的最先进的混合模型。

2013-05-31cs.CV

WS-Net: 低信号表示学习与门控丰度重建用于超光谱解混的态空间与弱信号注意力融合

WS-Net: Weak-Signal Representation Learning and Gated Abundance Reconstruction for Hyperspectral Unmixing via State-Space and Weak Signal Attention Fusion

School of Information and Communication Technology, Griffith University（信息与通信技术学院，格里菲斯大学）；School of Computing, Engineering and Mathematical Sciences, La Trobe University（计算、工程与数学科学学院，拉特罗布大学）；CSIRO Agriculture and Food（澳大利亚农业与食品CSIRO）

WS-Net通过态空间建模和弱信号注意力融合，提升超光谱解混中弱信号的准确性和效率。

2026-03-10cs.AIcs.CV

用于HyperSpectral解混的深度谱卷积网络

Deep Spectral Convolution Network for HyperSpectral Unmixing

Middle East Technical University（中东技术大学）

本文提出了一种新的基于深度谱卷积网络（DSCN）的高光谱解混技术。特别是，三个重要的贡献，提出了整个文件。首先，用谱卷积代替全连接线性运算，以更深层次的网络结构从高光谱特征中提取局部光谱特征。第二，而不是批量归一化，我们提出了一个光谱归一化层，提高了过滤器的选择性，通过归一化他们的光谱响应。第三，我们介绍了两种融合配置，通过使用从先前的层计算的抽象表示产生理想的丰度图。在实验中，我们使用两个真实的数据集来评估我们的方法与其他基线技术的性能。实验结果表明，该方法优于基于均方根误差（RMSE）的基线。

2018-06-22cs.CV

用于高光谱单图像超分辨率的混合深度学习

Hybrid Deep Learning for Hyperspectral Single Image Super-Resolution

Department of Computer Science, Aalto University, Finland（计算机科学系，艾尔沃斯大学，芬兰）

针对高光谱单图像超分辨率中空间细节恢复与光谱保真难以兼顾的问题，提出可集成到2D卷积架构的SSUF模块和定制空间-光谱梯度损失，构建的混合深度学习模型在降低复杂度的同时取得了有竞争力的性能。

2025-09-26cs.AIcs.CVcs.LG

基于光谱混合结果的高光谱和全色图像融合

Fusion of Hyperspectral and Panchromatic Images using Spectral Uumixing Results

Tarbiat Modares University（塔比亚特莫达雷斯大学）

高光谱成像技术由于能够提供高光谱分辨率的图像，是遥感领域最重要的工具之一。由于技术限制，超光谱传感器的空间分辨率有限。另一方面，全色图像具有更好的空间分辨率。将这些信息结合在一起可以更好地理解目标场景。高光谱图像中混合像元的光谱解混得到端元的光谱特征和丰度分数，但没有给出它们在混合像元中的位置信息。本文利用高光谱图像的光谱分解结果和全色图像的分割结果进行数据融合。所提出的方法已应用于模拟数据使用AVRIS印度松数据集。实验结果表明，该方法能有效地融合高光谱图像和全色图像中的信息。

2013-10-22cs.CV

基于求解Sylvester方程的多波段图像快速融合

Fast Fusion of Multi-Band Images Based on Solving a Sylvester Equation

University of Toulouse（图卢兹大学）

提出了一种快速多波段图像融合算法，将高空间分辨率的低光谱分辨率图像与低空间分辨率的高光谱分辨率图像进行融合。被公认的前向模型进行了探索，以形成观测的似然度。最大化的可能性导致解决西尔维斯特方程。通过利用与融合问题相关联的循环矩阵和下采样矩阵的性质，显式地获得了对应的Sylvester方程的封闭形式的解，摆脱了任何迭代更新步骤。再加上交替方向的乘法器和块坐标下降法，该算法可以很容易地推广到融合问题的先验信息，允许贝叶斯估计。仿真结果表明，该算法在与现有算法性能相当的基础上，显著降低了现有算法的计算复杂性。

2015-02-10cs.CV

R-FUSE：基于求解Sylvester方程的多波段图像鲁棒快速融合

R-FUSE: Robust Fast Fusion of Multi-Band Images Based on Solving a Sylvester Equation

University of Cambridge（剑桥大学）；University of Toulouse（图卢兹大学）；Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（高等技术学院）；Universidade de Lisboa（里斯本大学）

提出了一种鲁棒的快速多波段图像融合方法，将高空间低光谱分辨率图像和低空间高光谱分辨率图像进行融合。在文献[1]的基础上，利用Woodbury公式，避免了文献[1]中所要求的模糊核可逆性假设和频域中的置换运算，以一种更鲁棒、更有效的方式求解了与多波段图像融合问题相关的广义Sylvester矩阵方程。由于这种改进，所提出的算法需要更少的计算操作，并且与[1]中的算法相比，对于模糊核也更鲁棒。在[1]中考虑了不同的先验知识，对所提出的新算法进行了测试。我们的结论是，所提出的融合算法比[1]中的算法更鲁棒，计算量更小。

2016-04-06cs.CV

解耦耦合网络：亚像素融合的自监督超光谱图像超分辨率

Decoupled-and-Coupled Networks: Self-Supervised Hyperspectral Image Super-Resolution with Subpixel Fusion

Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；The University of Tokyo（东京大学）；RIKEN（日本理化学研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）

近年来，人们在高空间分辨率多光谱图像的辅助下，对超分辨率高光谱图像进行了大量的研究。以往的融合方法大多采用像素级的先验信息。然而，由于空间和光谱分辨率的差异，HS-MS数据之间的大分布差距的内在影响较少研究。该间隙可能是由未知的传感器特定属性或一个像素内的高度混合的光谱信息（由于低空间分辨率）引起的。为此，我们提出了一个亚像素级的HS超分辨率框架，通过设计一种新的耦合和耦合网络，称为DC-Net，逐步融合HS-MS信息从像素到亚像素级，从图像到特征级。顾名思义，DC-Net首先将输入转换为公共（或交叉传感器）和传感器特定的分量，以消除HS-MS图像之间的差距，然后进一步融合，然后通过模型引导的耦合光谱解混（CSU）网络将它们完全混合。更重要的是，我们通过保证材料的一致性，在CSU网络后面添加了一个自监督学习模块，以增强恢复的HS产品的细节外观。大量的实验结果表明，我们的方法在视觉和定量上的优越性，并取得了显着的改善，与国家的最先进的。此外，为了重现性，代码和数据集将在https://sites.google.com/view/danfeng-hong上提供。

2022-05-07cs.CVeess.IV

图像融合及融合图像的再修正SPIHT

Image Fusion and Re-Modified SPIHT for Fused Image

本文提出了基于离散小波的融合技术，结合感知重要的图像特征。SPIHT（Set Partitioning in Hierarchical Trees）算法是一种有效的融合图像无损和有损编码方法。本文对SPIHT算法作了一些改进。该方法基于中高频子带间小波系数相关性不显著的思想。在RE-MSPIHT算法中，小波系数在SPIHT编码之前根据子带重要性进行缩放，目标是最小化MSE。

2012-02-29cs.CV

用于高光谱分解评价的实验室创建的具有真值的数据集

A laboratory-created dataset with ground-truth for hyperspectral unmixing evaluation

Northwestern Polytechnical University（西北工业大学）；University of Calgary（卡尔加里大学）

光谱解混是高光谱数据处理中的一个重要而又具有挑战性的问题。这一主题已被广泛研究，并在文献中提出了各种解混算法。然而，缺乏公开可用的数据集与真值，使得它很难评估和比较的性能，在一个定量和客观的方式去混合算法。大多数现有的工作依赖于使用数值合成数据和直观的检查结果的实际数据。为了缓解这种困境，在这项研究中，我们在我们的实验室设计了几个实验场景，包括印刷棋盘，混合石英砂，和反射与垂直板。然后通过使用我们实验室的高光谱相机对这些场景进行成像来创建数据集，提供36个混合物，超过130，000个像素，256个波长波段，从400 nm到1000 nm。实验设置受到严格控制，以便知道纯材料的光谱特征和材料成分。据我们所知，该数据集是第一个公开可用的数据集，以系统的方式创建的真值光谱解混。一些典型的线性和非线性解混算法也进行了测试与此数据集，并导致有意义的结果。

2019-02-22cs.CV

基于Dykstra交替投影的快速光谱分解

Fast Spectral Unmixing based on Dykstra's Alternating Projection

University of Toulouse（图卢兹大学）；Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（高等技术学院）；Universidade de Lisboa（里斯本大学）

提出了一种基于Dykstra交替投影的快速混合光谱分解算法。所提出的算法制定的完全约束的最小二乘优化问题与光谱分解任务作为一个无约束的回归问题，然后投影到几个封闭的凸集的交集。这种投影是通过迭代地投影到每个凸集上来实现的，遵循Dyktra的方案。由此获得的序列保证收敛到所寻求的投影。由于初步的矩阵分解和变量替换，投影本质上是在子空间中实现的，子空间的维数通常远低于频带的数量。该策略的益处在于，每个投影的计算复杂性的阶从二次时间降低到线性时间。考虑不同光谱解混场景的数值实验提供了证据，表明所提出的算法与最先进的算法竞争，即当端元数量相对较少时，这是在实际高光谱应用中经常观察到的情况。

2015-05-07cs.CV

通过ADMM的相关熵最大化-应用于鲁棒高光谱解混

Correntropy Maximization via ADMM - Application to Robust Hyperspectral Unmixing

Institut Charles Delaunay (CNRS), Université de Technologie de Troyes（特鲁瓦技术大学，夏尔·德洛内研究所（法国国家科学研究中心））；School of Engineering and Physical Sciences, Heriot-Watt University（赫瑞瓦特大学，工程与物理科学学院）；LITIS lab, Université de Rouen（鲁昂大学，LITIS实验室）

在高光谱图像中，一些光谱波段由于噪声采集和大气影响而遭受低信噪比，因此需要鲁棒的技术来解决混合问题。提出了一种稳健的高光谱图像监督光谱分解方法。鲁棒性是通过将解混问题写为受最常用约束的相关熵准则的最大化来实现的。推导出两个解混合问题：第一个问题考虑完全约束解混合，具有非负性和和对一约束，而第二个问题处理丰度的非负性和稀疏性提升。相应的优化问题有效地解决了交替方向的乘法器（ADMM）的方法。合成和真实高光谱图像上的实验验证了所提出的算法在不同场景下的性能，表明基于相关性的解混对离群波段具有鲁棒性。

2016-02-04cs.CVcs.NEstat.ML

用于图像融合与曝光校正的整体动态频率 Transformer

Holistic Dynamic Frequency Transformer for Image Fusion and Exposure Correction

School of Biomedical Engineering and Instrument Science, Zhejiang University（浙江大学生物医学工程与仪器科学学院）；School of Software Technology, Dalian University of Technology（大连理工大学软件学院）；School of Mechanical Engineering, Dalian University of Technology（大连理工大学机械工程学院）

本文提出整体动态频率 Transformer，利用频率注意力、动态前馈网络与 Laplacian 金字塔统一低光增强、曝光校正和多曝光融合，并在主流基准上达到最先进性能。

2024-08-03cs.CV

基于边缘描述子的多光谱图像配准与融合

Registration and Fusion of Multi-Spectral Images Using a Novel Edge Descriptor

在本文中，我们介绍了一个完全端到端的多光谱图像配准和融合的方法。我们的融合方法将不同光谱通道的图像融合成一个单一的融合图像，通过不同的方法，低，高频率信号。融合的先决条件是光谱带之间的几何对准阶段，通常称为配准。不幸的是，用于单个光谱通道的图像配准的常见方法在来自不同模态的图像上不产生合理的结果。为此，我们介绍了一种新的算法多光谱图像配准，基于一种新的边缘描述符的特征点。我们的方法实现了水平的精确对齐，使我们能够进一步融合图像。实验结果表明，该方法在许多具有挑战性的场景下都能获得高质量的多光谱图像配准和融合。

2018-05-28cs.CV

多光谱图像融合与光谱波段及融合尺度无关性

Hyperspectral Image Fusion with Spectral-Band and Fusion-Scale Agnosticism

University of Electronic Science and Technology of China, School of Mathematical Sciences, Chengdu, China（电子科技大学数学学院）；University of Electronic Science and Technology of China, Multi-Hazard Early Warning Key Laboratory of Sichuan Province, Chengdu, China（电子科技大学四川省多灾种早期预警重点实验室）；University of Electronic Science and Technology of China, School of Computer Science and Engineering (School of Cyber Security), Chengdu, China（电子科技大学计算机科学与工程学院（网络安全学院））

本文提出SSA框架，通过Matryoshka核和隐式神经表示实现光谱波段和融合尺度无关性，使单个模型能适应不同传感器和空间尺度，实现超光谱图像融合的高效泛化。

2026-02-02cs.CVcs.MMeess.IV

基于自适应响应函数学习的耦合卷积神经网络无监督超光谱分辨

Coupled Convolutional Neural Network with Adaptive Response Function Learning for Unsupervised Hyperspectral Super-Resolution

Key Laboratory of Digital Earth Science, Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院数字地球科学重点实验室）；Flemish Institute for Technological Research (VITO)（弗拉芒技术研究院）；IMEC Research Group, Ghent University（根特大学IMEC研究组）；Remote Sensing Technology Institute (IMF), German Aerospace Center (DLR)（德国航空航天中心遥感技术研究所）

由于高光谱成像系统的局限性，高光谱图像的空间分辨率往往很低，从而阻碍了图像的许多应用。高光谱超分辨率是指融合HSI和MSI以生成具有高空间分辨率和高光谱分辨率的图像。近年来，提出了一些新的融合方法来解决这一问题，这些方法大多假设点扩散函数（PSF）和谱响应函数（SRF）的先验信息是已知的。然而，在实践中，这种信息往往有限或无法获得。在这项工作中，提出了一种基于无监督深度学习的融合方法- HyCoNet -可以解决在没有先验PSF和SRF信息的情况下HSI-MSI融合中的问题。HyCoNet由三个耦合的自动编码器网络组成，其中HSI和MSI基于线性解混模型被解混成端元和丰度。两个特殊的卷积层被设计成与三个自动编码器网络协调的桥梁，并且在训练过程中在两个卷积层中自适应地学习PSF和SRF参数。此外，在联合损失函数的驱动下，所提出的方法是简单的，并且易于以端到端的训练方式实现。实验结果表明，该方法对不同的数据集、任意的PSF和SRF都能得到较好的结果。

2020-07-28cs.CVeess.IV

退化感知融合的双域视角：一种VLM引导的鲁棒红外与可见光图像融合框架

Dual-Domain Perspective on Degradation-Aware Fusion: A VLM-Guided Robust Infrared and Visible Image Fusion Framework

针对现有IVIF方法难以处理双源退化场景、解耦流水线易累积误差的问题，提出VLM引导的GD^2Fusion框架，通过频域、空间域双模块协同实现退化感知与融合，在双源退化场景下性能优于现有方法。

2025-09-05cs.CV

基于卷积自编码的高光谱图像盲解混

Convolutional Autoencoder for Blind Hyperspectral Image Unmixing

在遥感背景下，光谱分解是一种将混合像元分解为两个基本代表：端元和丰度的技术。提出了一种新的高光谱图像盲解混算法。所提出的架构由卷积层和自动编码器组成。编码器将通过卷积层产生的特征空间转换为潜在空间表示。然后，解码器从这些潜在特征重构在架构的输入处的单色图像的展开图像;并且顺序地馈送每个单频带图像。在实际高光谱数据上的实验结果表明，该算法在丰度估计方面优于现有的解混方法，在分别以RMSE和SAD为度量的端元提取方面也有较好的效果。

2020-11-18cs.CVeess.IV

面向带宽受限数据融合的层级感知与信道自适应语义通信

Hierarchy-Aware and Channel-Adaptive Semantic Communication for Bandwidth-Limited Data Fusion

State Key Laboratory of Advanced Rail Autonomous Operation（先进轨道交通自主运行全国重点实验室）；Beijing Jiaotong University（北京交通大学）；School of Electronic and Information Engineering, Beijing Jiaotong University（北京交通大学电子与信息工程学院）；Linköping University（林雪平大学）；Singapore University of Technology and Design（新加坡科技设计大学）

针对高光谱图像融合传统方法带宽消耗大的问题，提出层级感知与信道自适应语义通信方法，通过层级相关模块和Transformer信道自适应注意力机制，在降低三分之二带宽的同时实现更高质量的高分辨率高光谱图像重建。

2025-03-22cs.CVeess.IV

基于双流融合网络的遥感图像融合

Remote Sensing Image Fusion Based on Two-stream Fusion Network

Beihang University（北京航空航天大学）

遥感图像融合（也称为全色锐化）的目的是从高空间分辨率的单波段全色（PAN）图像和低空间分辨率的多光谱图像的输入生成高分辨率的多光谱（MS）图像。受卷积神经网络（CNN）在各种计算机视觉任务中取得的惊人成就的启发，本文提出了一种双流融合网络（TFNet）来解决全色锐化问题。与以前的基于CNN的方法，认为泛锐化作为一个超分辨率的问题，并在像素级执行泛锐化，建议TFNet的目的是融合PAN和MS图像的特征级和重建泛锐化图像从融合的功能。TFNet主要由三部分组成。第一部分由两个网络组成，分别从PAN和MS图像中提取特征。随后的网络将它们融合在一起，形成紧凑的功能，同时代表PAN和MS图像的空间和光谱信息。最后，通过图像重建网络从融合特征恢复期望的高空间分辨率MS图像。在Quickbird和\mbox{GaoFen-1}卫星图像上的实验表明，该算法能够有效地融合PAN和MS图像，并产生具有竞争力的泛锐化图像，甚至优于现有技术。

2018-01-26cs.CV

降级即升级：用于弱光图像增强的学习降级

Degrade is Upgrade: Learning Degradation for Low-light Image Enhancement

School of Computer Science, Wuhan University（武汉大学计算机学院）；University of Central Florida（中佛罗里达大学）；Wuhan Institute of Technology（武汉工程大学）；National Tsing Hua University（清华大学（台湾））

弱光图像增强的目的是在保持图像视觉自然度的同时提高图像的可见度。不同于现有的方法往往直接完成重光照任务，忽略了保真度和自然度恢复，我们调查的内在退化和重光照的低光图像，同时细化的细节和颜色分两步。受彩色图像公式（漫射照明颜色加上环境照明颜色）的启发，我们首先估计来自低光输入的退化以模拟环境照明颜色的失真，然后细化内容以恢复漫射照明颜色的损失。为此，我们提出了一种新的降级到细化生成网络（DRGN）。它的显著特点可以概括为：1）一种新的两步生成网络，用于退化学习和内容细化。该方法不仅优于一步法，而且能够合成足够多的成对样本，有利于模型训练; 2）采用多分辨率融合网络，以多尺度协同的方式表示目标信息（退化或内容），更有效地解决复杂的解混问题。在增强任务和联合检测任务上的大量实验都验证了该方法的有效性和效率，分别以\textit{0.70dB on average and 3.18\% in mAP}的优势超过了SOTA。代码可在\url{https://github.com/kuijiang0802/DRGN}上获得。

2021-12-13cs.CV

面向多光谱与高光谱图像融合的傅里叶增强隐式神经融合网络

Fourier-enhanced Implicit Neural Fusion Network for Multispectral and Hyperspectral Image Fusion

UESTC（电子科技大学）

本文提出傅里叶增强隐式神经融合网络（FeINFN），通过空间与频率隐式融合函数和复Gabor小波激活解码器，解决INR易丢失高频信息与缺乏全局感知能力的问题，在MHIF任务上实现了SOTA性能。

2024-04-23cs.CV

TriFusion-SR：联合三模态医学图像融合与超分辨率

TriFusion-SR: Joint Tri-Modal Medical Image Fusion and SR

TriFusion-SR通过联合三模态医学图像融合与超分辨率技术，利用小波引导的条件扩散框架实现频率感知的跨模态交互，提升图像质量和分辨率。

2026-03-10cs.CV

FuseFormer：一种用于视觉与热成像图像融合的Transformer

FuseFormer: A Transformer for Visual and Thermal Image Fusion

Middle East Technical University（中东技术大学）

本研究提出FuseFormer，一种基于Transformer的多尺度图像融合方法，结合CNN与Transformer提取并融合局部与全局特征，采用两阶段训练并设计新损失函数以克服传统指标偏向，在多个基准上表现优越。

2024-04-24cs.CV

基于边缘区域的卫星图像融合空间和光谱质量评价

Spatial And Spectral Quality Evaluation Based On Edges Regions Of Satellite Image Fusion

Yeshwant Mahavidyala College (SRTMU)（耶什万特·马哈维迪亚拉学院（SRTMU））

图像融合的质量是决定图像融合应用价值的重要因素。空间质量和光谱质量是评价融合图像质量的两个重要指标。然而，如果将融合图像与原始图像进行比较，陪审团仍然无法看到融合图像的好处。此外，缺乏用于评估融合方法的空间分辨率的客观质量的措施。因此，需要对融合图像的空间分辨率进行客观的评价。图像的最重要的细节是在边缘区域，但大多数图像估计的标准并不依赖于指定图像中的边缘和测量它们的边缘。然而，它们依赖于一般的估计或均匀区域的估计，因此，本文提出了一种新的方法，通过计算边缘、非边缘区域的对比度和边缘区域的比率，利用对比度统计分析（CSA）来估计空间分辨率。利用Soble算子，采用不同的阈值，对图像中的边缘进行去噪。此外，基于RGB各颜色段边缘亮度值的直方图分析和L分量估计了图像融合所带来的颜色失真。

2012-07-08cs.CV

用于Sentinel-2影像超分辨率的多时相与多光谱数据融合

Multitemporal and multispectral data fusion for super-resolution of Sentinel-2 images

Silesian University of Technology（西里西亚理工大学）；KP Labs（KP Labs公司）；University of Malta（马耳他大学）

针对Sentinel-2波段分辨率受限问题，提出DeepSent深度网络，在单一架构中同时融合多时相与多光谱信息，并在实验和真实影像上验证其优于单类融合及顺序融合。

2023-01-26cs.CVeess.IV

DiffFuSR：利用扩散模型实现所有Sentinel-2多光谱波段的超分辨率处理

DiffFuSR: Super-Resolution of all Sentinel-2 Multispectral Bands using Diffusion Models

Norwegian Computing Center（挪威计算中心）；Department of Physics and Technology, UiT The Arctic University of Norway（物理与技术系，UiT 北极大学）

DiffFuSR通过扩散模型和融合策略实现Sentinel-2多光谱波段的超分辨率处理，提升反射率保真度和光谱一致性。

2025-11-28cs.CVeess.IV

SWAN：用于高光谱图像解混的自监督小波神经网络

SWAN: Self-supervised Wavelet Neural Network for Hyperspectral Image Unmixing

Info Edge India Ltd；Department of Artificial Intelligence and Machine Learning（人工智能与机器学习系）；Acharya Institute of Technology（阿查里亚理工学院）；Indian Institute of Information Technology Vadodara (IIITV)（瓦多拉印度信息科技学院）

本文提出SWAN，一种三阶段自监督小波神经网络，通过双正交小波变换与组合损失函数，实现高光谱图像端元与丰度的联合估计，在多个基准数据集上验证了其性能提升。

2025-10-26cs.CV

历史油画横截面的ATR-μFTIR光谱图像解混

Unmixing ATR-μFTIR spectroscopic images of cross-sections of historical oil paintings

Belgian Federal Science Policy（比利时联邦科学政策）；FED-tWIN project（FED-tWIN项目）；Prf-2022-050 BALaTAI；Prf-2021-002 MatCoRe

提出一种无监督CNN自编码器，结合加权光谱角距离损失，用于解混ATR-μFTIR高光谱图像，自动估计端元光谱和丰度图，在污染区域提升可解释性。

2026-06-05cs.CVcs.LG

基于深度学习的3-D SAR超分辨率多波段信号融合

Deep Learning-Based Multiband Signal Fusion for 3-D SAR Super-Resolution

The University of Texas at Dallas（德克萨斯大学达拉斯分校）

针对高带宽3-D SAR成像成本高、现有多波段融合方法不适用于复杂真实场景的问题，提出基于双域复值CNN的kR-Net融合多波段信号填补频率间隙，实现复杂目标高分辨率成像，并搭建了集成毫米波雷达系统。

2023-05-03cs.AIcs.CVeess.SP

通过滤波像素潜变量从欠采样体积测量中解混光学信号

Unmixing Optical Signals from Undersampled Volumetric Measurements by Filtering the Pixel Latent Variables

CERVO Brain Research Centre, Université Laval（拉瓦尔大学CERVO脑研究中心）；Institute Intelligence and Data, Université Laval（拉瓦尔大学智能与数据研究所）；Centre for Optics, Photonics and Lasers, Université Laval（拉瓦尔大学光学、光子学与激光中心）；MILA-Québec AI Institute（MILA-魁北克人工智能研究所）

针对欠采样导致信号解混效能下降的问题，提出 Latent Unmixing 方法，利用带通滤波器处理多维卷积神经网络潜空间以解耦重叠信号，在荧光寿命显微镜和光纤模式分解中验证了其能有效分离复杂信号分量。

2025-07-11cs.CVeess.IV

基于模型的图像调整，实现成功的全色锐化

Model-based image adjustment for a successful pansharpening

German Aerospace Center (DLR)（德国航空航天中心）

提出了一种新的基于模型的图像调整方法，用于增强多分辨率图像融合或泛锐化。对于使用全色带和/或强度图像（计算为多光谱带的加权和）作为输入的大多数全色锐化方法，需要这样的图像调整。由于各种原因，例如校准不准确、使用不同的传感器、用于全色锐化的输入图像：低分辨率多光谱图像或更精确地计算的强度图像和高分辨率全色图像可能在它们的物理属性的值上不同，例如取决于处理水平的辐射率或反射率。但两个图像中的相同对象/类应该表现出相似的值或更一般地相似的统计数据。相似性定义将取决于特定的应用。为了成功融合来自两个传感器的数据，两个传感器的辐射/反射率之间的能量平衡应该保持。引入虚拟频带来补偿不同传感器中的总能量不平衡。它的估计由几个步骤组成：首先，在低分辨率尺度中估计各个光谱带的权重，其中多光谱和全色图像（低通滤波版本）都可用，然后，将估计的虚拟带上采样到高尺度，最后，通过减去虚拟带来校正高分辨率全色带。此经校正的全色带用于在以下全色锐化中代替原始全色图像。它示出，例如，基于组件替换的方法的性能质量可以显着增加。

2021-03-04cs.CVeess.IV

基于小波变换的双流网络水下图像增强

A Wavelet-based Dual-stream Network for Underwater Image Enhancement

Queen Mary University of London（伦敦玛丽女王大学）

我们提出了一个基于小波的双流网络，解决水下图像的偏色和模糊的细节。我们通过使用离散小波变换将输入图像分解成多个频带来分别处理这些伪影，从而生成下采样的结构图像和细节图像。这些子带图像被用作我们的双流网络的输入，该双流网络包含两个子网络：多色空间融合网络和细节增强网络。多颜色空间融合网络将分解后的结构图像作为输入，并通过使用来自输入的不同颜色空间的特征表示来估计颜色校正后的输出。细节增强网络通过改善高频子带的图像细节来解决原始水下图像的模糊问题。我们在真实世界和合成水下数据集上验证了所提出的方法，并显示了我们的模型在颜色校正和模糊去除方面的有效性，具有低计算复杂性。

2022-04-27cs.CVeess.IV

一种用于 Sentinel-2 图像融合的全分辨率训练框架

A full-resolution training framework for Sentinel-2 image fusion

University Federico II（费德里科二世大学）；University Parthenope（帕特诺佩大学）

提出一种无监督框架，通过融合 Sentinel-2 的 10-m 和 20-m 波段实现超分辨率，利用循环一致性损失避免分辨率降级，初步实验结果优于监督方法。

2023-07-27cs.CVeess.IV

基于信息互补性的可见光与近红外图像融合算法

Visible and NIR Image Fusion Algorithm Based on Information Complementarity

Beihang University（北京航空航天大学）

本文针对可见光与近红外图像融合中的颜色失真和伪影问题，提出基于物理信号层的互补融合模型，利用权重引导滤波、扩展DoG滤波和arctanI函数构建互补权重图，在保持自然度的同时提升融合质量。

2023-09-19cs.AIcs.CV

HSLiNets：评估高光谱与LiDAR融合中的波段排序策略

HSLiNets: Evaluating Band Ordering Strategies in Hyperspectral and LiDAR Fusion

本文系统评估波段顺序对HSI-LiDAR融合分类的影响，提出一种能学习多种波段顺序配置的新融合架构，在Houston 2013和Trento数据集上超越现有最先进融合模型。

2025-03-27cs.CV

用于局地气候区分类的波段提示辅助SAR与多光谱数据融合框架

Band Prompting Aided SAR and Multi-Spectral Data Fusion Framework for Local Climate Zone Classification

College of Computer Science and Technology, Harbin Engineering University（哈尔滨工程大学计算机科学与技术学院）；School of Astronautics, Beihang University（北京航空航天大学宇航学院）；School of Software, Dalian University of Technology（大连理工大学软件学院）；State Key Laboratory of Space-Ground Integrated Information Technology（天地一体化信息技术国家重点实验室）

本文提出一种波段提示辅助的SAR与多光谱数据融合框架BP-LCZ，通过波段组提示策略对齐视觉表示并提取语义，结合多变量监督矩阵训练策略缓解正负样本混淆，有效提升了局地气候区分类性能。

2024-12-24cs.CV

长波红外光谱中基于CMC的分数级融合人耳识别

Ear Recognition With Score-Level Fusion Based On CMC In Long-Wave Infrared Spectrum

Istanbul Technical University（伊斯坦布尔理工大学）

在长波红外波段的人耳识别方面的研究很少。因此，我们建立了基于长波红外波段的人耳数据库。我们称之为长波红外波段MIDAS数据库，包括81个主题的2430条记录。热带提供了无缝的操作，无论是晚上和白天，鲁棒的欺骗与理解活耳和不变的照明条件，人耳识别。我们已经提出使用不同的算法来揭示不同的特征。然后，我们使用子空间方法减少了维数。最后，根据分类器方法对数据进行降维。在此之后，通过最佳得分或将一些最佳得分与匹配融合相结合来确定决策。结果表明，融合技术是成功的。我们已经达到了97.71%的秩-1与567测试探针。此外，我们还定义了最佳秩，即在累积匹配曲线上识别率达到100%时的秩数。这种评估对于法医学特别重要，例如尸体鉴定、刑事调查等。

2018-01-27cs.CV

MR3D-Net：面向基于激光雷达的协同感知的动态多分辨率3D稀疏体素网格融合

MR3D-Net: Dynamic Multi-Resolution 3D Sparse Voxel Grid Fusion for LiDAR-Based Collective Perception

University of Tübingen（蒂宾根大学）

针对协同感知中早期融合带宽需求大、晚期融合性能差的问题，提出动态多分辨率3D稀疏体素网格融合架构MR3D-Net，在OPV2V基准上实现SOTA性能，带宽较早期融合最多降94%。

2024-08-12cs.CV

AI驱动的高光谱成像：多模态、融合、挑战与深度学习革命

AI-Driven HSI: Multimodality, Fusion, Challenges, and the Deep Learning Revolution

School of Electrical Engineering and Computer Science, Gwangju Institute of Science and Technology (GIST)（光州科学技术院电气工程与计算机科学学院）；Artificial Intelligence Graduate School, GIST（光州科学技术院人工智能研究生院）

本研究概述高光谱成像（HSI）的应用、数据融合挑战及深度学习的作用，探讨多模态HSI与AI集成对分类精度和效率的提升，介绍其与大型语言模型融合的新兴方向及行业现状，为技术与非技术受众提供见解。

2025-02-09cs.AIcs.CV

基于稀疏和低秩联合学习的多光谱图像光谱超分辨

Spectral Superresolution of Multispectral Imagery with Joint Sparse and Low-Rank Learning

Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；University of Chinese Academy of Sciences（中国科学院大学）；University of Pavia（帕维亚大学）；INRIA（法国国家信息与自动化研究所）

利用多光谱图像提高高光谱图像的空间分辨率是遥感领域的一个重要研究方向。然而，在HS和MS图像的融合的能力仍然有待提高，特别是在大规模的场景，由于有限的采集HS图像。或者，我们超分辨率MS图像在光谱域的部分重叠HS图像的手段，产生一个新的和有前途的主题：光谱超分辨率（SSR）的MS图像。这是一个具有挑战性和较少研究的任务，由于其在逆成像的高不适定性。为此，我们开发了一种简单但有效的方法，称为联合稀疏和低秩学习（J-SLoL），通过联合学习重叠区域的低秩HS-MS字典对来增强MS图像的光谱。J-SLoL通过对学习的字典对进行稀疏编码，在更大的覆盖范围内推断和恢复未知的高光谱信号。此外，我们验证了SSR性能的三个HS-MS数据集（两个用于分类和一个用于解混）的重建，分类，和解混方面与现有的几个国家的最先进的基线进行比较，显示所提出的J-SLoL算法的有效性和优越性。此外，代码和数据集将在https：//github.com/danfenghong/IEEE\_TGRS\_J-SLoL上提供，为RS社区做出贡献。

2020-07-28cs.CVeess.IV

一种基于小波域的视频运动前景检测融合框架

A Fusion Framework for Camouflaged Moving Foreground Detection in the Wavelet Domain

University of Wollongong（伍伦贡大学）；Microsoft Research（微软研究院）；Nanjing Forestry University（南京林业大学）

由于前景对象和背景之间的相似性，已知检测隐藏的运动前景对象是困难的。传统的方法不能区分前景和背景，由于它们之间的差异很小，从而遭受不足检测的前景物体。在本文中，我们提出了一个融合框架，以解决这个问题，在小波域。我们首先表明，在图像域中的小差异可以突出在某些小波频带。然后，通过为每个小波带制定前景和背景模型来估计每个小波系数是前景的可能性。该框架根据小波变换的特点，有效地聚合了不同小波带的似然度。实验结果表明，该方法在检测遮挡前景目标方面明显优于现有方法。具体而言，所提出的算法的平均F-测量值为0.87，而其他最先进的方法为0.71至0.8。

2018-04-16cs.CV

基于核的传感器融合及其在音视频活动检测中的应用

Kernel-based Sensor Fusion with Application to Audio-Visual Voice Activity Detection

Technion-Israel Institute of Technology（以色列理工学院）

在本文中，我们解决的问题，多个视图的数据融合中存在的噪声和干扰。最近的研究已经接近这个问题，使用内核的方法，特别是依赖于产品的内核分别为每个视图构建。从图论的角度来看，我们分析这种融合方法在一个离散的设置。更具体地说，基于一个统计模型的数据点之间的连接，我们提出了一个算法的内核带宽的选择，一个参数，其中，正如我们所示，有重要的影响，这种融合方法的鲁棒性的干扰。然后，我们考虑融合视听语音信号测量由一个单一的麦克风和由一个视频摄像机指向说话人的脸。具体来说，我们解决语音活动检测的任务，即，在存在诸如键盘敲击和办公室噪声的结构化干扰的情况下，检测语音和非语音段。提出了一种基于音视频信号的语音端点检测算法。仿真结果表明，该算法优于竞争的融合和语音活动检测方法。此外，我们证明了一个适当的选择的内核带宽确实会导致性能的提高。

2016-04-11cs.CV

到凸多面体的欧氏距离及其在光谱图像类表示中的应用

Euclidean Distance to Convex Polyhedra and Application to Class Representation in Spectral Images

Center for Mathematical Morphology (CMM), Mines Paris, PSL University（巴黎矿业学院 数学形态学中心（CMM），PSL大学）；Laboratoire de Réactivité et Chimie des Solides (LRCS), CNRS UMR 7314, Université de Picardie Jules Verne（皮卡第儒勒·凡尔纳大学 固体反应性与化学实验室（LRCS），法国国家科研中心UMR 7314）

提出一种基于任意线性分类器计算到多面体欧氏距离的新方法，用于光谱图像丰度图估计，在Samson数据集上优于现有方法，并验证了对锂离子电池光谱图像的适用性。

2025-03-26cs.CVeess.IV

用于高光谱波段选择与图像分类的LiDAR引导交叉注意力融合

LiDAR-Guided Cross-Attention Fusion for Hyperspectral Band Selection and Image Classification

School of Information and Communication Technology, Griffith University（格里菲斯大学信息与通信技术学院）；Queensland Department of Agriculture and Fisheries（昆士兰州农业与渔业厅）

针对现有高光谱与LiDAR融合方法忽略高光谱冗余的问题，提出LiDAR引导的交叉注意力波段选择法，在三个数据集上验证其以更少波段实现更优分类精度。

2024-04-15cs.CVeess.IV

多波段图像的贝叶斯融合

Bayesian Fusion of Multi-Band Images

University of Toulouse（图卢兹大学）

提出了一种多波段遥感图像的贝叶斯融合方法。所观察到的图像与要通过物理退化恢复的高光谱和高空间分辨率图像相关，由传感器特性定义的空间和光谱模糊和/或子采样。在贝叶斯估计框架内制定的融合问题。一个适当的先验分布，利用几何考虑。为了从感兴趣场景的后验分布计算其贝叶斯估计，设计了马尔可夫链蒙特卡罗算法来根据目标分布生成渐近分布的样本。为了有效地从这种高维分布中采样，在Gibbs采样策略中引入了Hamilton Monte Carlo步骤。相对于几个国家的最先进的融合技术，所提出的融合方法的效率进行评估。特别地，低空间分辨率的高光谱和多光谱图像被融合以产生高空间分辨率的高光谱图像。

2014-08-26cs.CVphysics.data-anstat.ME

LGBP-OrgaNet：用于鲁棒类器官分割与跟踪的CNN与Transformer特征可学习高斯带通融合方法

LGBP-OrgaNet: Learnable Gaussian Band Pass Fusion of CNN and Transformer Features for Robust Organoid Segmentation and Tracking

School of Optoelectronic Science and Engineering（光电科学与工程学院）；Translational Chinese Medicine Key Laboratory of Sichuan, Sichuan-Chongqing Joint Key Laboratory of innovation of New Drugs of Traditional, Chinese Medicine Sichuan Institute for Translational Chinese Medicine（四川 translational 中医关键实验室，四川-重庆联合新药创新中药关键实验室，四川 translational 中医研究所）；Sichuan Cancer Hospital and Institute（四川癌症医院与研究所）

针对传统荧光标记法易破坏类器官结构的问题，提出融合CNN与Transformer特征的LGBP-OrgaNet深度学习系统，通过可学习高斯带通融合等模块实现精准的类器官分割与跟踪，为相关研究提供有力工具。

2025-09-03cs.AIcs.CV

HHTrack：使用混合注意力的高光谱目标跟踪

HHTrack: Hyperspectral Object Tracking Using Hybrid Attention

School of Aerospace Science and Technology, Xidian University（西安电子科技大学航天科学与技术学院）

提出基于混合注意力的高光谱目标跟踪器HHTrack，通过HHA模块统一特征提取与融合，并引入HBF模块聚合空间光谱特征，在多个基准数据集上达到最先进性能。

2023-08-30cs.CV

复用融合时频谱可靠性用于RGB-红外目标检测的自适应融合与专家路由

Bridging Multimodal Fusion and Expert Routing via Spectral Reliability Descriptors for Robust Object Detection

Tsinghua University（清华大学）

提出一种无参数的7维频谱可靠性描述符，通过频谱可靠性融合和可靠性条件专家路由，提升RGB-红外目标检测在退化条件下的性能。

2026-08-04cs.CV

互补监督的频带路由用于多模态情感识别

Complementarity-Supervised Spectral-Band Routing for Multimodal Emotion Recognition

Great Bay University（大湾大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；City University of Hong Kong (Dongguan)（香港城市大学（东莞））；Tencent Youtu Lab（腾讯优图实验室）

本文提出互补监督多频带专家网络Atsuko，通过多尺度频带分解和专家协作，解决多模态情感识别中模态间互补性不足和粗粒融合的问题，提升情感任务的细粒表示能力。

2026-03-07cs.CV

Trinity Detector：基于文本辅助与注意力机制的光谱融合扩散生成图像检测

Trinity Detector:text-assisted and attention mechanisms based spectral fusion for diffusion generation image detection

本文提出专为扩散模型设计的Trinity Detector，通过CLIP编码器融合粗粒度文本特征与像素域细粒度伪影，并设计MCAF单元提取光谱不一致性，实现多模态检测，迁移性最高提升17.6%。

2024-04-26cs.CV

具有门控注入的频率感知语义融合用于AI生成图像检测

Frequency-Aware Semantic Fusion with Gated Injection for AI-generated Image Detection

University of Electronic Science and Technology of China（电子科技大学）；Harbin Institute of Technology（哈尔滨工业大学）

本文提出FGINet，通过BMFE和LGFI机制提升AI生成图像检测的泛化能力，采用HCL框架学习紧凑且分离的表示。

2026-04-30cs.CV

多波段光学图像间无监督变化检测的鲁棒融合算法--综合案例研究

Robust fusion algorithms for unsupervised change detection between multi-band optical images - A comprehensive case study

University of Toulouse（图卢兹大学）；IRIT/INP-ENSEEIHT（图卢兹大学综合理工学院图像与信号处理研究所（IRIT/INP-ENSEEIHT））

无监督的变化检测技术通常被限制到两个多波段光学图像，在不同的时间通过传感器共享相同的空间和光谱分辨率。这种情况适合于同源像素的直接比较，例如逐像素差分。然而，在某些特定情况下，如紧急情况下，唯一可用的图像可能是通过具有不同分辨率的不同类型的传感器获取的图像。最近，一些变化检测技术处理不同的空间和光谱分辨率的图像，已被提出。然而，他们专注于一个特定的场景，其中一个图像具有高空间和低光谱分辨率，而另一个具有低空间和高光谱分辨率。本文讨论了检测任何两个多波段光学图像之间的变化，而不管其空间和光谱分辨率的差异的问题。我们提出了一种方法，有效地利用现有的信息，通过建模的两个观察到的图像的空间和光谱退化的版本的两个（未观察到的）潜像，其特征在于相同的高空间和高光谱分辨率。覆盖相同的场景，潜在的图像被期望是全球相似的，除了空间稀疏的位置可能的变化。因此，通过鲁棒融合任务来设想变化检测任务，该鲁棒融合任务强制所估计的潜像之间的差异在空间上稀疏。我们表明，这种强大的融合可以制定为一个逆问题，迭代求解使用交替的最小化策略。所提出的框架实现了一个详尽的列表的应用场景，并适用于真正的多波段光学图像。与国家的最先进的变化检测方法的比较证明了所提出的鲁棒的基于融合的策略的准确性。

2018-04-09cs.CVeess.IVphysics.data-an