IncepDeHazeGAN: Novel Satellite Image Dehazing
本文提出IncepDeHazeGAN，结合Inception块和多层特征融合的GAN，用于单图像去雾，通过多尺度特征提取和特征重用提升去雾效果，实验显示在多个数据集上取得最佳性能。
2026-04-17 cs.CV
HighRes-net: Recursive Fusion for Multi-Frame Super-Resolution of Satellite Imagery
Element AI；Mila；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）
生成式深度学习引发了新一轮的超分辨率（SR）算法，这些算法可以增强单个图像，并获得令人印象深刻的美学效果，尽管其中包含虚构的细节。多帧超分辨率（MFSR）通过对多个低分辨率视图进行调节，为不适定问题提供了一种更接地的方法。这对于卫星监测人类对地球的影响-从砍伐森林到侵犯人权-十分重要，因为这些影响依赖于可靠的图像。为此，我们提出了HighRes-net，这是MFSR的第一种深度学习方法，它以端到端的方式学习其子任务：（i）共配准，（ii）融合，（iii）上采样，（iv）丢失配准。低分辨率视图的共配准是通过参考帧通道隐式地学习的，没有显式的配准机制。我们学习了一个全局融合算子，该算子递归地应用于任意数量的低分辨率对。我们引入了注册损失，通过学习将SR输出与ShiftNet的地面实况对齐。我们表明，通过学习多个视图的深度表示，我们可以超分辨率低分辨率信号并大规模增强地球观测数据。我们的方法最近在欧洲航天局的MFSR真实世界卫星图像竞赛中名列前茅。
2020-02-15 cs.CV cs.LG eess.IV
Handheld Burst Super-Resolution Meets Multi-Exposure Satellite Imagery
Université Paris-Saclay（巴黎萨克雷大学）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；CNRS（法国国家科学研究中心）；Centre Borelli（博雷利中心）
图像分辨率是基于卫星图像的许多应用的重要标准。在这项工作中，我们采用了最先进的核回归技术，用于智能手机相机突发超分辨率卫星。该技术利用图像的局部结构来优化融合内核，限制最终高分辨率预测中的模糊，对图像进行降噪，并将细节恢复到缩放因子2。我们将这种方法扩展到多次曝光的情况下，从一系列的多次曝光的低分辨率帧的高分辨率和无噪声的预测。在单次曝光和多次曝光场景下的实验表明了该方法的优点。由于融合是无学习的，所提出的方法是确保不幻觉的细节，这是许多遥感应用的关键。
2023-03-10 cs.CV eess.IV
The Statistical methods of Pixel-Based Image Fusion Techniques
Yeshwant Mahavidyala College (SRTMU)（耶什万特·马哈维亚拉学院（SRTMU））
有许多图像融合方法可用于从高分辨率全色（PAN）图像和低分辨率多光谱（MS）遥感图像产生高分辨率多光谱图像。本文主要对局部均值匹配（LMM）、局部均值方差匹配（LMVM）、回归变量替换（RVS）、局部相关模型（LCM）等图像融合统计技术进行了研究，并对它们进行了比较，从而选择出最适合于多分辨率卫星图像的融合统计技术。研究了图像融合质量评价的分析方法，采用标准差（SD）、熵（En）、相关系数（CC）、信噪比（SNR）、归一化均方根误差（NRMSE）和偏差指数（DI）等方法定量评价融合图像的质量和信息改善程度。
2011-08-12 cs.CV
Image Fusion Techniques in Remote Sensing
Scientific Research Group in Egypt (SRGE)（埃及科学研究组）；Benha University（本哈大学）；Damietta University（达米埃塔大学）；Cairo University（开罗大学）
遥感图像融合是利用多传感器图像中大量数据的有效途径。大多数地球卫星，如SPOT、Landsat 7、IKONOS和QuickBird，既提供较高空间分辨率的全色图像，又提供较低空间分辨率的多光谱图像，许多遥感应用，特别是基于地理信息系统的应用，既要求高空间分辨率，又要求高光谱分辨率。有效的图像融合技术可以产生这样的遥感图像。图像融合是将两幅或多幅不同的图像通过一定的算法组合成一幅新的图像，以获得比原图像更多、更好的关于某一目标或研究区域的信息。根据融合发生的阶段，在像素级、特征级和决策级三个不同的处理层次上进行图像融合。有许多图像融合方法可用于从高分辨率全景图像和低分辨率多光谱图像产生高分辨率多光谱图像。本文探讨了像元级遥感数据融合的主要技术，并对每种技术的概念、原理、局限性和优势进行了评述。本文重点介绍了灰度饱和度法、Brovey法、主成分分析法和小波变换等传统的灰度饱和度分析方法。
2014-03-11 cs.CV
Self-Supervised Super-Resolution for Multi-Exposure Push-Frame Satellites
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；Centre Borelli（博雷利中心）；Kayrros SAS（凯罗斯公司）
现代地球观测卫星捕捉多曝光的推帧图像，可以通过计算手段进行超分辨率。在这项工作中，我们提出了一个超分辨率的方法，这样的多次曝光序列，一个问题，在文献中很少受到关注。所提出的方法可以处理输入中的信号相关噪声，处理任何长度的序列，并且对曝光时间的不准确性具有鲁棒性。此外，它可以通过自我监督进行端到端的训练，而不需要地面真实高分辨率帧，这使得它特别适合处理真实数据。我们的方法的核心是三个关键贡献：i）用于处理曝光时间中的错误的基本细节分解，ii）用于改进具有不同信噪比的帧的融合的噪声水平感知特征编码和iii）通过时间池算子的置换不变融合策略。我们评估所提出的方法的合成和真实的数据，并表明它优于现有的单次曝光的方法，我们适应了多次曝光的情况下，一个显着的利润率。
2022-05-04 cs.CV eess.IV
Remote Sensing Image Fusion Based on Two-stream Fusion Network
Beihang University（北京航空航天大学）
遥感图像融合（也称为全色锐化）的目的是从高空间分辨率的单波段全色（PAN）图像和低空间分辨率的多光谱图像的输入生成高分辨率的多光谱（MS）图像。受卷积神经网络（CNN）在各种计算机视觉任务中取得的惊人成就的启发，本文提出了一种双流融合网络（TFNet）来解决全色锐化问题。与以前的基于CNN的方法，认为泛锐化作为一个超分辨率的问题，并在像素级执行泛锐化，建议TFNet的目的是融合PAN和MS图像的特征级和重建泛锐化图像从融合的功能。TFNet主要由三部分组成。第一部分由两个网络组成，分别从PAN和MS图像中提取特征。随后的网络将它们融合在一起，形成紧凑的功能，同时代表PAN和MS图像的空间和光谱信息。最后，通过图像重建网络从融合特征恢复期望的高空间分辨率MS图像。在Quickbird和\mbox{GaoFen-1}卫星图像上的实验表明，该算法能够有效地融合PAN和MS图像，并产生具有竞争力的泛锐化图像，甚至优于现有技术。
2018-01-26 cs.CV
SIRF: Simultaneous Image Registration and Fusion in A Unified Framework
University of Texas at Arlington（德克萨斯大学阿灵顿分校）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
在本文中，我们提出了一种新的方法，图像融合的高分辨率全色图像和低分辨率多光谱图像在同一地理位置。融合被制定为一个凸优化问题，最小化的最小二乘拟合项和动态梯度稀疏正则化的线性组合。前者是为了保持多光谱图像的精确光谱信息，而后者是为了保持高分辨率全色图像的锐利边缘。我们进一步建议，同时注册的两个图像在融合过程中，这是自然实现凭借动态梯度稀疏属性。然后设计了一种有效的算法来解决优化问题，在每次迭代中实现输出图像大小的线性计算复杂性。我们比较我们的方法对七个国家的最先进的图像融合方法的多光谱图像数据集，从四颗卫星。大量的实验结果表明，所提出的方法大大优于其他的空间和光谱质量。我们还表明，我们的方法可以提供高质量的产品，从粗糙注册的真实世界的数据集。最后，提供了一个MATLAB实现，以方便未来的研究。
2015-01-01 cs.CV
Leveraging Large-Scale Pretrained Spatial-Spectral Priors for General Zero-Shot Pansharpening
本文提出利用大规模模拟数据预训练空间-光谱先验，提升遥感图像融合在不同传感器和条件下的泛化能力。
2025-12-02 cs.CV
Parallax estimation for push-frame satellite imagery: application to super-resolution and 3D surface modeling from Skysat products
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；Centre Borelli（博雷利中心）；Kayrros SAS（凯罗斯公司）
最近的卫星星座，包括Skysat星座，能够获得图像的突发。这种新的采集模式允许现代图像复原技术，包括多帧超分辨率。当卫星在采集爆发的过程中移动时，场景中的海拔变化会转化为明显的视差。这种视差妨碍了修复的效果。为了解决这个问题，我们提出了一种新的视差估计方法。该方法是由一个线性平面+视差分解的表观运动和多帧光流算法，同时利用所有帧。使用SkySat L1A图像，我们表明，估计的每像素位移是重要的应用多帧超分辨率的场景包含海拔变化，也可以用来估计一个粗糙的3D表面模型。
2021-02-03 cs.CV
Weakly-supervised Camera Localization by Ground-to-satellite Image Registration
ShanghaiTech University（上海科技大学）；The Australian National University（澳大利亚国立大学）；Ford Motor Company（福特汽车公司）
针对地对卫星图像配准依赖精确GPS标签的问题，提出仅用噪声位姿标签的弱监督对比学习与自监督旋转估计方法，在跨区域评估中超过依赖精确标签的方法。
2024-09-10 cs.CV
Cross-directional Feature Fusion Network for Building Damage Assessment from Satellite Imagery
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Nanjing University of Science and Technology（南京理工大学）
当发生自然灾害（例如，地震、飓风等）罢工。在采取有效应对措施之前，利用卫星图像进行建筑物损坏评估至关重要。高分辨率卫星图像提供了丰富的灾前和灾后情况信息，可供分析。然而，大多数现有的作品只是使用灾前和灾后的图像作为输入，而不考虑它们的相关性。在本文中，我们提出了一种新的横向融合策略，以更好地探索灾害前和灾后图像之间的相关性。此外，利用数据增强方法CutMix来应对硬类的挑战。该方法在大规模建筑物损伤评估数据集xBD上取得了最佳的性能。
2020-11-18 cs.CV
Super-Resolving Commercial Satellite Imagery Using Realistic Training Data
Google Inc.（谷歌公司）
在基于机器学习的单幅图像超分辨率中，退化模型被嵌入到训练数据生成中。然而，大多数现有的卫星图像超分辨率方法使用具有固定核的简单下采样模型来创建训练图像。这些方法在合成数据上工作良好，但在真实卫星图像上表现不佳。提出了一种实用的商业卫星影像产品训练数据生成模型，该模型不仅包括卫星上的成像过程，还包括地面上的后处理过程。我们还提出了一个卷积神经网络优化的卫星图像。实验结果表明，所提出的训练数据生成模型能够有效提高真实卫星图像的超分辨率性能。
2020-02-26 cs.CV eess.IV
Towards High-Resolution Alignment and Super-Resolution of Multi-Sensor Satellite Imagery
The Pennsylvania State University（宾夕法尼亚州立大学）；NASA Marshall Space Flight Center（美国国家航空航天局马歇尔空间飞行中心）；University of Alabama in Huntsville（阿拉巴马大学亨茨维尔分校）
本研究提出一个初步框架，利用HLS10影像作为参考，对HLS30影像进行对齐和超分辨率重建，以弥合多传感器卫星影像的分辨率差距，实验验证了其有效性。
2025-08-01 cs.CV eess.IV
Building Disaster Damage Assessment in Satellite Imagery with Multi-Temporal Fusion
Massachusetts Institue of Technology（麻省理工学院）；WL Research
自动变化检测和灾害损失评估目前是需要卫星图像分析人员进行大量劳动和手工工作的程序。在自然灾害发生时，及时发现变化可以挽救生命。在这项工作中，我们报告的问题框架，数据处理和培训程序，这是特别有助于使用新发布的xBD数据集的建筑物损坏评估的任务的调查结果。我们的见解导致xBD基准模型的实质性改进，我们在xView2挑战排行榜上名列前茅。我们发布了用于比赛的代码。
2020-04-12 cs.CV
Standardization for improved Spatio-Temporal Image Fusion
Department of Statistics, Computer Science and Mathematics（统计、计算机科学与数学系）；Public University of Navarre（纳瓦拉公共大学）；InaMat$^2$ Institute（InaMat²研究所）；Lancaster Environment Centre（兰卡斯特环境中心）
本文提出并比较两种时空图像融合标准化方法，其中基于异常的锐化方法ABSIS显著提升USTFIP融合精度，光谱和空间精度分别提高达49.46%和78.40%。
2025-10-17 cs.CV stat.CO
Self-Supervised Uncertainty Estimation For Super-Resolution of Satellite Images
本文提出一种自监督损失方法，用于估计图像超分辨率中的不确定性，无需地面真实高分辨率数据，通过贝叶斯风险最小化获得最优估计器，验证了其在合成数据集上的有效性。
2026-03-14 cs.CV cs.LG
Multi-Modal Building Inspection via Perceiver IO Fusion of Satellite and Street-Level Imagery
University of Amsterdam (UvA)（阿姆斯特丹大学）；Spotr
提出一种通过Perceiver IO架构融合卫星和街景图像的多模态分类框架，使用共享DINOv2骨干网络的空间补丁令牌，无需填充或固定大小池化即可处理可变数量的街景视图，并联合预测屋顶元素和材料类别，在包含10个国家32135栋建筑的数据集上验证了RGB-M掩码策略和融合模型的有效性。
2026-05-25 cs.CV
FusionRF: High-Fidelity Satellite Neural Radiance Fields from Multispectral and Panchromatic Acquisitions
Johns Hopkins University（约翰霍普金斯大学）
FusionRF提出一种无需全色锐化预处理的卫星神经辐射场框架，通过跨分辨率核和多模态外观嵌入联合融合多光谱与全色图像，在WorldView-3数据上平均降低17%深度重建误差。
2025-11-05 cs.CV eess.IV
An Integrated Framework for the Heterogeneous Spatio-Spectral-Temporal Fusion of Remote Sensing Images
School of Resource and Environmental Science, Wuhan University（武汉大学资源与环境科学学院）；School of Geodesy and Geomatics, Wuhan University（武汉大学测绘学院）；Collaborative Innovation Center of Geospatial Technology, Wuhan University（武汉大学地球空间信息技术协同创新中心）；State Key Laboratory of Information Engineering, Survey Mapping and Remote Sensing, Wuhan University（武汉大学测绘遥感信息工程国家重点实验室）
本研究提出基于深度残差循环GAN的异质集成融合框架，通过前向融合与后向退化反馈结构，实现多源遥感影像异质空谱时信息的同步融合，可适配多种融合任务，经多卫星数据在两类场景下验证有效。
2021-09-01 cs.CV eess.IV
M3Fusion: A Deep Learning Architecture for Multi-{Scale/Modal/Temporal} satellite data fusion
IRSTEA（法国农业科学与环境研究所）；University of Montpellier（蒙彼利埃大学）；LIRMM（蒙彼利埃计算机科学、机器人与微电子研究所）；CIRAD（法国农业国际合作研究发展中心）；AgroParisTech（巴黎高等农业学院）；CNRS（法国国家科学研究中心）
现代地球观测系统提供不同时间和空间分辨率的传感数据。在光学传感器中，今天的Sentinel-2计划提供高分辨率的时间（每5天）和高空间分辨率（10米）图像，可用于监测土地覆盖动态。另一方面，甚高空间分辨率图像（VHSR）仍然是绘制具有精细空间格局特征的土地覆盖图的重要工具。了解如何有效地利用这些互补的信息来源来处理土地覆盖制图仍然是一项挑战。为了通过融合多时相高空间分辨率和极高空间分辨率卫星图像来解决土地覆盖制图问题，我们提出了一个名为M3 Fusion的端到端深度学习框架，该框架能够同时利用时间序列数据中包含的时间知识以及VHSR信息中可用的精细空间信息。在留尼汪岛研究区进行的实验评估了我们的建议，考虑定量和定性方面的质量。
2018-03-05 cs.CV
UFA-FUSE: A novel deep supervised and hybrid model for multi-focus image fusion
Yunnan University（云南大学）
传统的融合方法和基于深度学习的融合方法通过一系列后处理过程生成中间决策图来获得融合图像。然而，这些方法产生的融合结果容易丢失一些源图像的细节或导致伪影。受基于深度学习的图像重建技术的启发，本文提出了一种无需任何后处理的多聚焦图像融合网络框架，以端到端和监督学习的方式解决这些问题。为了充分训练融合模型，我们生成了一个大规模的多聚焦图像数据集与地面真理融合图像。此外，为了得到信息量更大的融合图像，本文进一步设计了一种基于统一融合注意力的融合策略，该融合策略由通道注意力模块和空间注意力模块组成。具体地说，该融合方法主要包括三个关键部分：特征提取，特征融合和图像重建。我们首先利用七个卷积块从源图像中提取图像特征。然后，在特征融合层中，利用所提出的融合策略对提取的卷积特征进行融合。最后，通过四个卷积块重建融合后的图像特征。实验结果表明，所提出的多聚焦图像融合方法相比，19个国家的最先进的融合方法取得了显着的融合性能。
2021-04-20 cs.AI cs.CV
Single Image Super-resolution with a Switch Guided Hybrid Network for Satellite Images
Indian Institute of Science（印度科学学院）
卫星图像的主要缺点是分辨率低，分辨率低使得难以识别卫星图像中存在的对象。我们已经在SpaceNet数据集上试验了几种可用于单图像超分辨率的深度模型，并评估了每个模型在卫星图像数据上的性能。我们将深入研究过去几年SISR背景下深度模型的最新演变，并将对这些模型进行比较研究。一个区域的整个卫星图像被分成大小相等的块。每个贴片将单独用于训练。这些补丁将在性质上有所不同。例如，城市地区的斑块由于车辆、建筑物、道路等不同类型的物体而具有非均匀的背景。另一方面，丛林上的斑块在性质上更加均匀。因此，不同的深度模型将适合不同类型的补丁。在这项研究中，我们将尝试在开关卷积网络的帮助下进一步探索这一点。这个想法是训练一个开关分类器，将自动分类补丁到一个类别的模型最适合它。
2020-11-29 cs.CV eess.IV
SG-BEV: Satellite-Guided BEV Fusion for Cross-View Semantic Segmentation
Sun Yat-Sen University（中山大学）；Shanghai AI Laboratory（上海人工智能实验室）；SenseTime Research（商汤科技研究院）；Zhejiang University（浙江大学）
针对卫星与街景图像跨视图建筑属性分割，本文提出 SG-BEV，通过 BEV 空间映射和卫星引导重投影融合多视角特征，在四个城市数据集上显著提升 mIOU。
2024-04-03 cs.CV
Data fusion of satellite imagery for generation of daily cloud free images at high resolution level
National University of Water and Environmental Engineering（国立水利与环境工程大学）；EOS Data Analytics Ukraine（乌克兰EOS数据分析公司）；Oles Honchar Dnipro National University（奥列西·贡恰尔第聂伯国立大学）
在本文中，我们讨论了一种新的变分方法的日期融合问题的多光谱卫星图像从哨兵-2和MODIS已被捕获在不同的分辨率水平，可以说，在不同的日子。我们的方法的关键点是MODIS图像是无云的，而Sentinel-2的图像可能会被云或噪声破坏。
2023-02-24 cs.CV math.OC
FedFusion: Manifold Driven Federated Learning for Multi-satellite and Multi-modality Fusion
Xidian University（西安电子科技大学）；Hunan University（湖南大学）
本文提出流形驱动的联邦学习框架 FedFusion，通过低秩压缩多模态特征并利用全局加权平均更新客户端子网络，在三个数据集上以 4 倍通信压缩实现 94.35% 平均准确率，并在 Jetson TX2 在轨架构上减少 48.4 分钟训练时间。
2023-11-16 cs.CV
SRMF: A Data Augmentation and Multimodal Fusion Approach for Long-Tail UHR Satellite Image Segmentation
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Haina Institute of Zhejiang University, Advanced Technology Institute, Zhejiang University（浙江大学海纳研究院、先进技术研究院）；Binjiang Research Institute of Zhejiang University（浙江大学滨江研究院）
针对超高分辨率卫星图像语义分割中的长尾问题，提出SRMF框架，通过多尺度裁剪、语义重排序与重采样的数据增强策略，结合无需区域文本描述的多模态特征融合知识注入方法，有效提升了分割性能并在多个数据集上达到SOTA。
2025-04-28 cs.CV
Solar Power Plant Detection on Multi-Spectral Satellite Imagery using Weakly-Supervised CNN with Feedback Features and m-PCNN Fusion
National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；AIST Tokyo WaterFront（产业技术综合研究所东京临海中心）
传统的卷积神经网络（CNN）大多采用自底向上的方法（前馈）进行图像分类。然而，许多科学研究表明，灵长类动物的视觉感知依赖于自下而上和自上而下的连接。因此，在这项工作中，我们提出了一个CNN网络与反馈结构的太阳能发电厂检测中分辨率的卫星图像。为了表达自上而下的连接的强度，我们引入反馈CNN网络（FB-Net）的基线CNN模型用于太阳能发电厂分类的多光谱卫星数据。此外，我们引入了一种方法来改善类激活映射（CAM）到我们的FB-Net，它利用多通道脉冲耦合神经网络（m-PCNN）的弱监督定位的太阳能发电厂从建议FB-Net的功能。对于建议FB-Net CAM与m-PCNN，实验结果表明，有前途的结果太阳能发电厂图像分类和检测任务。
2017-06-21 cs.CV
FuseVis: Interpreting neural networks for image fusion using per-pixel saliency visualization
Visualisation, Faculty of Computer Science, Technische Universit\" a t Dresden, N\" o thnitzer Stra e 46, 01187 Dresden, Germany
图像融合有助于合并两个或多个图像，以构建信息量更大的单个融合图像。最近，基于无监督学习的卷积神经网络（CNN）已经被用于不同类型的图像融合任务，诸如医学图像融合、用于自动驾驶的红外-可见光图像融合以及用于卫星图像的多聚焦和多曝光图像融合。然而，分析这些CNN用于图像融合任务的可靠性是具有挑战性的，因为没有可用的地面实况。这导致了使用各种各样的模型架构和优化功能，从而产生完全不同的融合结果。此外，由于这种神经网络的高度不透明性，很难解释其融合结果背后的内部机制。为了克服这些挑战，我们提出了一种新的实时可视化工具，名为FuseVis，最终用户可以计算每像素的显着性图，检查输入图像像素对融合图像的每个像素的影响。我们在医学图像对上训练了几种基于图像融合的CNN，然后使用我们的FuseVis工具，通过解释每种融合方法的显着性图，对特定的临床应用进行了案例研究。我们具体可视化的相对影响，每个输入图像的融合图像的预测，并表明，一些评估的图像融合方法更适合于特定的临床应用。据我们所知，目前，还没有一种方法用于图像融合的神经网络的视觉分析。因此，这项工作为提高深度融合网络的可解释性开辟了一个新的研究方向。FuseVis工具还可以适用于其他基于深度神经网络的图像处理应用程序，以使其可解释。
2020-12-06 cs.CV cs.LG eess.IV
Unsupervised Super-Resolution of Satellite Imagery for High Fidelity Material Label Transfer
University of Maryland（马里兰大学）
遥感图像中的城市物质识别是一个高度相关的，但极具挑战性的问题，由于难以获得人类的注释，特别是在低分辨率的卫星图像。为此，我们提出了一个无监督的领域自适应为基础的方法，使用对抗学习。我们的目标是从少量的高分辨率数据（源域）中获取信息，并利用这些信息来超分辨率低分辨率图像（目标域）。这可能有助于语义以及材料标签从注释丰富的源到目标域的转移。
2021-05-16 cs.CV cs.LG eess.IV
3D Reconstruction through Fusion of Cross-View Images
The Ohio State University（俄亥俄州立大学）
多立体和立体图像的三维重建是基于图像的透视几何的一个重要应用，在计算机视觉、遥感和地理信息学等领域有着广泛的应用。在这一章中，作者利用成像几何和目前的方法，执行3D重建从交叉视图图像是在他们的观点截然不同。我们介绍了我们的框架，采取地面视图图像和卫星图像的全三维恢复，其中包括必要的方法，卫星和地面为基础的点云生成图像，三维数据配准，融合和网格生成。我们展示了我们提出的框架上的数据集，包括12个卫星图像和150 k的视频帧通过车载Go-pro摄像机采集，并展示重建结果。我们还将我们的结果与从涉及典型地理配准和网格化方法的直观处理管道生成的结果进行了比较。
2021-06-27 cs.CV
Multi-step feature fusion for natural disaster damage assessment on satellite images
Institute of Theoretical and Applied Informatics, Polish Academy of Sciences（波兰科学院理论与应用信息研究所）
本研究针对自然灾害后建筑物损伤快速准确评估的需求，提出带多步特征融合模块及Fuse Module的新方法，在IDA-BD、xView2数据集上使Vision Transformer准确率提升超3个百分点。
2024-10-29 cs.CV
Temporally-Similar Structure-Aware Spatiotemporal Fusion of Satellite Images
Department of Computer Science, Institute of Science Tokyo（计算机科学系，科学研究所东京）
本文提出TSSTF方法，通过时间引导的总变分和边缘约束提升卫星图像在噪声下的时空融合性能。
2026-01-28 cs.CV eess.SP
Multi-Modal Vision Transformers for Crop Mapping from Satellite Image Time Series
BIFOLD - Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）
针对卫星图像时间序列作物制图任务，提出多种多模态多时相Transformer架构，在TSViT中探究三类融合策略的效果，性能显著优于现有主流架构。
2024-06-24 cs.CV
Robust 3D Reconstruction from Multi-View Optical Satellite Imagery via Reliability-Aware Height-Evidence Fusion in Gaussian Splatting
Wuhan University（武汉大学）；Hubei Luojia Laboratory（湖北珞珈实验室）
针对3DGS重建DSM时高度层混合导致非物理高程的问题，提出风险图引导的高度层一致性高斯泼溅方法HLC-GS，通过风险图定位及可靠性校正与次要层抑制，在DFC2019和IARPA2016上超越六种SOTA方法，显著降低MAE和RMSE并提升PAG指标。
2026-09-29 cs.CV
Multimodal Diffusion Bridge with Attention-Based SAR Fusion for Satellite Image Cloud Removal
Washington University in St. Louis（圣路易斯华盛顿大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
提出扩散桥去云方法DB-CR，通过双分支多模态架构与跨模态融合块有效融合SAR与光学图像，在SEN12MS-CR数据集上实现高保真且计算高效的去云。
2025-04-04 cs.CV
Spatiotemporal Fusion in Remote Sensing
The Ohio State University（俄亥俄州立大学）
遥感图像和技术是研究地球表面的有力工具。数据质量是增强遥感应用的关键，在大多数情况下，由于不同的采集（例如，大气和季节）、传感器和平台（例如，卫星角度和传感器特性）条件。随着卫星的不断发展，现在每天可以获得TB级的遥感图像。因此，信息和数据融合在遥感界可能特别重要。该融合集成了来自异步获取的各种源的数据，用于信息抽取、分析和质量改进。在这一章中，我们的目标是讨论时空融合的理论，通过调查以前的工作，除了描述的基本概念和它的一些应用，总结我们以前和正在进行的工作。
2021-07-06 cs.CV
Enhancing Maritime Domain Awareness on Inland Waterways: A YOLO-Based Fusion of Satellite and AIS for Vessel Characterization
University of Arkansas（阿肯色大学）；Center for Advanced Spatial Technologies（高级空间技术中心）
本文提出一种融合高分辨率卫星图像与AIS数据的框架，利用YOLOv11模型检测并特征化内河航道船舶，有效识别暗船并验证协作交通，在多项指标上取得高准确率。
2025-10-13 cs.CV
When Satellite and Street Views Disagree: Cross-View Complementarity in Disaster Damage Assessment
Texas A&M University（德克萨斯A&M大学）
本文通过挖掘单视角模型间的冲突样本，提出可见性条件可靠性门控，在灾害损毁评估中动态选择可信视角，显著优于对称融合方法。
2026-10-14 cs.CV
Meteorological Satellite Images Prediction Based on Deep Multi-scales Extrapolation Fusion
Beijing Aviation Meteorological Institute（北京航空气象研究所）
气象卫星图像对气象学家至关重要。这些数据在监测和分析天气和气候变化方面发挥了重要作用。然而，卫星图像是一种观测数据，在将数据传回地球时存在明显的时间延迟。对气象卫星云图进行准确的预报，特别是提前2小时的临近预报，具有重要意义。近年来，基于深度学习的天气雷达图像临近预报应用研究受到了越来越多的关注。与天气雷达图像预报问题相比，气象卫星图像预报的主要挑战是大尺度观测区域，因此观测产品的尺寸也很大。针对气象卫星图像临近预报问题，提出了一种多尺度深度外推融合方法。首先，将原始的大尺度卫星影像数据集下采样为多个分辨率较小的影像数据集，然后采用深度时空序列预测方法分别生成不同分辨率的多尺度预测影像。其次，通过条件生成对抗网络将多尺度预测结果融合到具有原始尺寸的目标预测图像中。基于FY-4A气象卫星数据的实验表明，该方法能够生成逼真的预报图像，有效地捕捉到天气系统演变的细节。我们相信，这项工作的总体思路可以潜在地应用到其他时空序列预测任务的大规模。
2022-09-19 cs.CV eess.IV
SGFormer: Satellite-Ground Fusion for 3D Semantic Scene Completion
Zhejiang University（浙江大学）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
SGFormer首次提出卫星-地面协同的三维语义场景补全框架，通过双分支编码、地面视图引导校正和自适应加权策略，在SemanticKITTI与SSCBench-KITTI-360上超越现有方法。
2025-04-10 cs.CV cs.RO
Fusing Satellite Imagery and Planimetric Maps for Cross-View Localization
École Polytechnique Fédérale de Lausanne（瑞士联邦理工学院洛桑校区）
提出一种融合卫星图像与平面地图的模块，通过跨模态条件化和补丁级融合规则，将定位误差降低30.13%。
2026-06-08 cs.CV
Active Wildfires Detection and Dynamic Escape Routes Planning for Humans through Information Fusion between Drones and Satellites
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；Institute for Computer Science and Control (SZTAKI)（计算机与控制研究所（SZTAKI））
本文融合 Sentinel 2 卫星影像与无人机视觉，利用 D-linkNet、NDVI、动态火势模型和加权 A* 算法实现野火检测、道路评估与实时最优逃生路线规划。
2023-12-06 cs.AI cs.CV
Combining Transformers and CNNs for Efficient Object Detection in High-Resolution Satellite Imagery
L2TI Laboratory, Institut Galilée Université Sorbonne Paris Nord SAS Impact（L2TI实验室，Galilée研究所，巴黎十一大学SAS Impact）
提出GLOD架构，结合Swin Transformer与CNN模块处理高分辨率卫星图像，通过多尺度融合与注意力机制在xView上超越SOTA 11.46%。
2025-07-15 cs.CV
A Novel VHR Image Change Detection Algorithm Based on Image Fusion and Fuzzy C-Means Clustering
Cornell University（康奈尔大学）；GoPerception Laboratory（GoPerception实验室）
本文研究了基于二维离散小波变换和模糊C均值聚类算法的图像融合方法对超高分辨率卫星图像进行变化检测。本研究还对多种其他方法进行了定量和定性比较。
2017-06-22 cs.CV
Fusion of Satellite Images and Weather Data with Transformer Networks for Downy Mildew Disease Detection
INSA CVL（INSA中央卢瓦尔河谷分校）；University of Orléans（奥尔良大学）；PRISME Laboratory EA 4229（PRISME实验室（EA 4229））
针对天气与卫星图像异构数据融合难题，本文用 ConvLSTM 补齐缺失图像，并提出由 Vision Transformer 与两个 transformer-encoder 组成的三 transformer 架构，实现霜霉病检测且总体准确率达97%。
2022-09-06 cs.AI cs.CV
Data level and decision level fusion of satellite multi-sensor AOD retrievals for improving PM2.5 estimations, a study on Tehran
University of Isfahan（伊斯法罕大学）
用于估计直径小于2.5微米的表面颗粒物浓度（PM2.5）的技术之一是使用气溶胶光学厚度（AOD）产品。不同的AOD产品从不同的卫星传感器，如MODIS和VIIRS，通过不同的算法，如深蓝和暗目标检索。因此，它们不具有相同的精度和空间分辨率。此外，AOD检索算法的弱点减少了产品的空间覆盖范围，特别是在多云或下雪的地区。因此，第一次，本研究调查的可能性融合AOD产品从观测的MODIS和VIIRS传感器检索深蓝和暗目标算法，以更准确地估计PM2.5。为此，采用机器学习算法，在数据层和决策层两个层次上采用不同的融合策略对AOD产品进行融合。首先，评估了使用AOD数据估计PM2.5的各种机器学习算法的性能。在此基础上，选择XGBoost算法作为所提出的融合策略的基础模型。然后，将AOD产物进行熔融。融合结果表明，在所有三个指标，RMSE，MAE和R2，在数据水平上的估计PM2.5的准确性得到改善（R2=0.64）。尽管数据级融合方法简单且计算成本较低，但由于通过融合过程消除了质量差的数据，空间覆盖没有显著改善。之后，在决策层的产品融合，其次是在十一个场景。在此基础上，将MODIS和VIIRS的深蓝产品进行融合得到了最佳的结果（R2=0.81）。
2023-02-01 cs.CV eess.SP
Complementing Onboard Sensors with Satellite Map: A New Perspective for HD Map Construction
National Key Laboratory of Human-Machine Hybrid Augmented Intelligence（人机混合增强智能全国重点实验室）；National Engineering Research Center for Visual Information and Applications（国家视觉信息与应用工程技术研究中心）；The Chinese University of Hong Kong（香港中文大学）
针对车载传感器构建高清地图存在的检测范围有限、易遮挡等问题，提出融合卫星地图的分层融合模块，在nuScenes数据集上验证了其可提升现有方法的语义分割和实例检测性能。
2024-01-30 cs.AI cs.CV
ReLATE: Reliability-Guided Evidence Fusion for Robust UAV--Satellite cross-view Geo-Localization
School of Electronics and Information Engineering, Harbin Institute of Technology（哈尔滨工业大学电子与信息工程学院）；National Key Laboratory of Radar Detection and Sensing, Nanjing Research Institute of Electronics Technology（南京电子技术研究所雷达探测与感知国家重点实验室）；School of Electrical and Electronic Engineering, University of Manchester（曼彻斯特大学电气与电子工程学院）
针对无人机-卫星跨视角地理定位在实际飞行中受多种因素影响、现有方法稳健性不足的问题，提出ReLATE框架，通过可靠性自适应特征融合提升稳健性，在UAVSat-Deg基准测试中表现最佳，且干净图像精度具竞争力。
2026-09-09 cs.AI cs.CV
Deep Built-Structure Counting in Satellite Imagery Using Attention Based Re-Weighting
Information Technology University（信息技术大学）
在本文中，我们试图解决具有挑战性的问题，计数建成结构的卫星图像。建筑密度比建成区分割更能准确地估计人口密度、城市面积扩展及其对环境的影响。然而，构建形状变化、重叠边界和变化密度使这成为一项复杂的任务。为了解决这个难题，我们提出了一种基于深度学习的回归技术，用于计算卫星图像中的建筑结构。我们提出的框架智能地结合了卫星图像的不同区域的功能，使用基于注意力的重新加权技术。多个并行卷积网络被设计用于捕获不同粒度的信息。这些特征被组合到FusionNet中，FusionNet经过训练，以不同的粒度对特征进行不同的加权，使我们能够预测精确的建筑数量。为了训练和评估所提出的方法，我们提出了一个新的大规模和具有挑战性的内置结构计数数据集。我们的数据集是通过收集来自不同地理区域（飞机，城市中心，沙漠等）的卫星图像构建的。在全球范围内（亚洲，欧洲，北美和非洲），并捕捉建筑结构的广泛密度。详细的实验结果和分析验证了所提出的技术。FusionNet在测试数据中的平均绝对误差为3.65，R平方测量值为88%。最后，我们在274：3上进行测试。103平方米的不可见区域，该区域的656栋建筑物中有19栋建筑物的误差。
2019-04-01 cs.CV
NGPS: GPS-Denied Aerial Geo-Localization and 2.5D Reconstruction via Deep Satellite Image Matching and Multi-Rate Sensor Fusion
研究针对高空无人机视觉地理定位问题，提出NGPS框架，通过深度卫星图像匹配及多速率传感器融合实现无GPS绝对定位，结合多种技术，经实验在五个飞行序列上取得良好效果，相比单目VIO有显著提升，且能实时运行并部分开源。
2026-07-22 cs.CV cs.RO
Multi$^{\mathbf{3}}$Net: Segmenting Flooded Buildings via Fusion of Multiresolution, Multisensor, and Multitemporal Satellite Imagery
University of Oxford（牛津大学）；TU Munich（慕尼黑工业大学）；University of Kent（肯特大学）；LIST Luxembourg（卢森堡LIST研究所）；DFKI（德国人工智能研究中心）；TU Kaiserslautern（凯泽斯劳滕工业大学）；Czech Geological Survey（捷克地质调查局）；University of Warsaw（华沙大学）
我们提出了一种新的方法，通过融合多分辨率，多传感器，多时相的卫星图像在卷积神经网络被淹没的建筑物的快速分割。我们的模型大大加快了基于卫星图像的洪水地图的生成，这对于洪水事件早期阶段的第一响应者和地方当局至关重要。通过整合多时相卫星图像，我们的模型可以快速准确地进行灾后损失评估，并可供政府用于更好地协调受灾地区的中长期财政援助计划。该网络由多个编码器-解码器架构流组成，这些架构从中分辨率图像中提取时空信息，并从高分辨率图像中提取空间信息，然后将所得表示融合到被淹没建筑物的单个中分辨率分割图中。我们将我们的模型与最先进的建筑物足迹分割方法以及用于淹没建筑物分割的替代融合方法进行比较，发现我们的模型在这两项任务上都表现最好。我们还证明，我们的模型只使用公开的中等分辨率数据，而不是更详细，但稀疏可用的非常高分辨率的数据，产生高度准确的分割地图的淹没建筑物。我们发布了第一个完全预处理和标记的灾难现场多分辨率，多光谱和多时相卫星图像的开源数据集以及我们的源代码。
2018-12-05 cs.AI cs.CV cs.LG
SATMapTR: Satellite Image Enhanced Online HD Map Construction
City University of Hong Kong（香港城市大学）；Hon Hai Research Institute（鸿海研究研究院）
SATMapTR通过融合卫星图像与BEV视角，提升自动驾驶HD地图构建的准确性和鲁棒性，实验显示其在多种环境下均优于现有方法。
2025-12-12 cs.CV
Exploring the design space of diffusion and flow models for data fusion
Northeastern University（东北大学）；Western Kentucky University（西肯塔基大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Leibniz-Centre for Agricultural Landscape Research (ZALF)（莱布尼茨农业景观研究中心）
本研究探索扩散与流模型在数据融合中的设计空间，发现基于UNet的扩散模型在卫星遥感夜间灯光数据融合中效果最佳，并提供了噪声调度器选择与量化优化建议。
2025-10-20 cs.CV physics.ins-det
