UnCRtainTS: Uncertainty Quantification for Cloud Removal in Optical Satellite Time Series
Technical University of Munich（慕尼黑工业大学）；University of Zurich（苏黎世大学）；University of the Bundeswehr Munich（慕尼黑联邦国防军大学）
本文提出UnCRtainTS方法，结合注意力架构与多变量不确定性预测，在多时相云去除中实现最先进的重建性能，并利用校准不确定性精确控制重建质量。
2023-04-11 cs.CV eess.IV
Seeing Through the Clouds: Cloud Gap Imputation with Prithvi Foundation Model
Graduate School of Geography（地理学院）；Clark Center for Geospatial Analytics（克拉克地理空间分析中心）；Clark University（克拉克大学）
本文比较了Prithvi基础ViT模型与CGAN在卫星影像时间序列云遮挡填补中的性能，通过真实云掩膜训练和多种指标评估，验证了基础模型在云隙填补任务中的准确性与上下文保留优势。
2024-04-30 cs.CV eess.IV
CloudFindr: A Deep Learning Cloud Artifact Masker for Satellite DEM Data
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对卫星DEM数据的云伪影去除难题，提出结合传统图像处理与U-Net深度学习的CloudFindr方法，无需多通道光谱图像即可在单通道DEM上生成云伪影掩膜，可服务于多领域地形相关应用。
2021-10-26 cs.CV cs.GR cs.LG
Removal of clouds from satellite images using time compositing techniques
Regional Remote Sensing Service Centre - Bangalore（班加罗尔区域遥感服务中心）；ISRO（印度空间研究组织）
本研究测试两种时间合成方法去除卫星图像云层，发现'min'函数图像质量更优但云层难提取，故提出将云层编码为255并运行'min'函数的混合技术，兼顾图像质量与云层提取优势。
2024-09-26 cs.CV eess.IV
U-TILISE: A Sequence-to-sequence Model for Cloud Removal in Optical Satellite Time Series
ETH Zürich（苏黎世联邦理工学院）；University of Zürich（苏黎世大学）
本文提出序列到序列模型 U-TILISE，通过卷积空间编解码器与注意力时间编码器重建光学卫星时间序列中的云遮挡缺失像素，并在 EarthNet2021 上显著优于插值基线。
2023-12-04 cs.CV eess.IV
DiffCR: A Fast Conditional Diffusion Framework for Cloud Removal from Optical Satellite Images
本文提出DiffCR条件扩散框架，通过解耦编码器和高效时间与条件融合模块实现光学卫星影像高性能去云，以极低参数量和计算复杂度在多个基准上取得最优性能。
2023-08-08 cs.CV cs.LG eess.IV
Deep Learning for In-Orbit Cloud Segmentation and Classification in Hyperspectral Satellite Data
Brno University of Technology（布尔诺理工大学）；Zaitra s.r.o.（扎伊特拉有限责任公司）；Norwegian University of Science and Technology（挪威科技大学）
本文评估了1D和2D CNN在高光谱卫星云分割中的性能，发现1D-Justo-LiuNet精度最高但推理慢，2D-Justo-UNet-Simple在轨部署平衡最佳。
2024-03-13 cs.CV eess.IV
Deep Learning Guided Building Reconstruction from Satellite Imagery-derived Point Clouds
Purdue University（普渡大学）；Columbia University（哥伦比亚大学）；Kitware, Inc（Kitware公司）
基于遥感影像的城市建筑物三维重建在过去的二十年里引起了人们的极大关注。虽然航空图像和激光雷达提供更高的分辨率，但卫星图像更便宜，更有效地获取大规模需求。然而，卫星观测的高轨道高度带来了内在的挑战，如不可预测的大气影响，多视角，由于必要的多个视图，不同的土地覆盖和城市结构在场景中，小的基高比或窄视场的显着辐射差异，所有这些都可能降低3D重建质量。为了解决这些主要挑战，我们提出了一个可靠的和有效的方法来建立模型重建从多视角卫星图像生成的点云。我们利用多种类型的原始形状来拟合输入点云。具体而言，采用深度学习方法来区分复杂但嘈杂的场景中建筑物屋顶的形状。对于属于同一屋顶形状的点，提出了一种多线索，分层RANSAC方法，有效和可靠的分割和重建建筑物点云。在四个选定的城市地区（0.34至2.04平方公里的大小）的实验结果表明，该方法可以生成详细的屋顶结构在嘈杂的数据环境。建筑物形状识别的平均成功率为83.0%，而整体的完整性和正确性超过70%，参考地面真理从机载激光雷达创建。作为解决大规模城市模型生成的公众需求的第一次努力，开发被部署为开源软件。
2020-05-19 cs.CV cs.LG eess.IV
PMAA: A Progressive Multi-scale Attention Autoencoder Model for High-performance Cloud Removal from Multi-temporal Satellite Imagery
Qinghai University（青海大学）；Tsinghua University（清华大学）
本文提出渐进式多尺度注意力自编码器PMAA，通过多尺度注意力模块和局部交互模块联合建模全局与局部上下文，以极低参数量和计算复杂度超越CTGAN，实现高效轻量的多时相卫星影像去云。
2023-08-08 cs.CV cs.LG eess.IV
Multiresolution Fully Convolutional Networks to detect Clouds and Snow through Optical Satellite Images
University of Maryland Baltimore County（马里兰大学巴尔的摩郡分校）；Faculty of Geo-Information Science and Earth Observation (ITC), University of Twente（特文特大学地理信息科学与地球观测学院）；Indian Institute of Remote Sensing (IIRS)（印度遥感研究所）
云和雪在可见光和近红外（VNIR）范围内具有相似的光谱特征，因此在高分辨率VNIR图像中很难相互区分。我们通过引入短波红外（SWIR）波段来解决这个问题，其中云具有高度反射性，雪具有吸收性。由于SWIR的分辨率通常低于VNIR，因此本研究提出了一种多分辨率全卷积神经网络（FCN），可以有效地检测VNIR图像中的云和雪。我们融合了深FCN内的多分辨率波段，并在更高的VNIR分辨率下执行语义分割。这种基于融合的分类器以端到端的方式进行训练，在印度北阿坎德邦捕获的Resourcesat-2数据上实现了94.31%的总体准确率和97.67%的F1得分。这些分数比随机森林分类器高30%，比独立的单分辨率FCN高10%。除了用于云检测目的外，该研究还强调了卷积神经网络在多传感器融合问题中的潜力。
2022-01-07 cs.CV eess.IV eess.SP
C3DIR: A Deep Learning 3-Dimensional Cloud Property Retrieval Scheme for Passive Satellite Imagers
CIRA（大气研究合作研究所）；ECE（电气与计算机工程）
研究针对被动卫星成像仪，开发C3DIR深度学习模型估计三维云属性。采用体素级搭配方法，经定性和定量评估，其在水凝物检测等方面表现出色，虽有不足，但证明有潜力为多领域提供云结构三维输出。
2026-07-21 cs.CV eess.IV physics.ao-ph
A knowledge-based data-driven (KBDD) framework for all-day identification of cloud types using satellite remote sensing
Southern University of Science and Technology（南方科技大学）；Peng Cheng Laboratory（鹏城实验室）；Eastern Institute of Technology（东方理工大学）；Ningbo Institute of Digital Twin（宁波数字孪生研究院）；Peking University（北京大学）
本文提出基于知识的KBDD框架和轻量级CldNet网络，利用Himawari-8/9光谱数据实现全天候云类型识别，以0.46M参数量达到80.89%准确率并具备强泛化能力。
2023-12-01 cs.CV eess.IV stat.AP
Analysis of critical parameters of satellite stereo image for 3D reconstruction and mapping
The Ohio State University（俄亥俄州立大学）
虽然目前先进的密集图像匹配（DIM）算法能够从卫星立体图像中产生与LiDAR（Light Detection And Ranging）相当的密集点云，但这些点云的准确性和完整性严重依赖于卫星立体图像的几何参数。两个图像之间的交叉角通常被视为立体数据采集中最重要的一个，因为最先进的DIM算法在窄基线（较小的交叉角）立体图像上工作得最好（例如，半全局匹配将15 - 25度视为良好的交叉角）。这一因素与传统航空摄影测量配置一致，因为交汇角直接关系到视差方向上的基高比和纹理畸变，从而影响水平和垂直精度。然而，我们的实验发现，即使具有非常相似（且良好）的相交角度，应用于不同立体对（相同区域）的相同DIM算法产生的点云与地面实况LiDAR数据相比具有显着不同的精度。这就提出了一个非常实际的问题，从业人员经常问：什么因素构成了一个良好的卫星立体对，使它产生准确和最佳的结果，为测绘目的？在这项工作中，我们提供了一个全面的分析，通过执行立体匹配超过1,000个卫星立体对与不同的采集参数，包括他们的交叉角，离天底角，太阳仰角和方位角，以及时间差，从而提供一个彻底的答案。这项工作将为从事多视角卫星图像重建的研究人员以及工业从业人员提供有价值的参考，以最大限度地降低高质量大规模测绘的成本。
2019-05-17 cs.CV eess.IV
SEN12MS-CR-TS: A Remote Sensing Data Set for Multi-modal Multi-temporal Cloud Removal
Technical University of Munich（慕尼黑工业大学）；German Aerospace Center（德国航空航天中心）；Bundeswehr University Munich（慕尼黑联邦国防军大学）
通过星载卫星收集的所有光学观测数据中，约有一半受到烟雾或云的影响。因此，云层覆盖影响到遥感从业者对我们的星球进行连续和无缝监测的能力。本文针对光学卫星图像重建和云去除的挑战，提出了一种新的多模态和多时相数据集SEN 12 MS-CR-TS。我们提出了两个模型，突出了SEN 12 MS-CR-TS的优点和用例：首先，多模态多时相3D卷积神经网络，它可以从一系列多云的光学和雷达图像中预测无云图像。第二，序列到序列转换模型，从云覆盖的时间序列预测无云的时间序列。这两种方法都进行了实验评估，其各自的模型在SEN 12 MS-CR-TS上进行了训练和测试。所进行的实验突出了我们的数据集的遥感社区的贡献，以及多模态和多时相信息重建噪声信息的好处。我们的数据集可在https://patrickTUM.github.io/cloud_removal上获得
2022-01-24 cs.CV eess.IV
A Recommender System-Inspired Cloud Data Filling Scheme for Satellite-based Coastal Observation
Rutgers, the State University of New Jersey（罗格斯，新泽西州立大学）
填补卫星成像云覆盖区域的缺失数据是提高对地观测数据数量和质量的重要任务。传统的云填充研究集中在连续的数值数据，如温度和蓝藻浓度在开放的海洋。由于海岸带地形复杂，对海岸带成像中的云数据填充问题研究较少。受网上购物推荐系统中数据填充方法的成功启发，本研究探讨了它们在卫星云数据填充任务中的应用。设计了一个数值实验，并进行了一系列的合成云覆盖的LandSat数据集，以检查不同的数据填充方案的性能。推荐系统启发的矩阵因子分解算法Funk-SVD在复杂沿海地区恢复景观类型的任务中表现出比传统数据填充方案DINEOF（数据插值经验正交函数）和Datawig的深度学习方法更高的计算精度和效率。新方法实现了最佳的填充精度，并达到了与DINEOF相当的速度，比深度学习快得多。建立了一个理论框架来分析DINEOF中的误差传播，并发现该算法需要修改以收敛到地面真值。本研究表明，Funk-SVD具有很大的潜力，以提高云数据填充性能，并连接推荐系统和云填充领域，以促进有用的算法的改进和共享。
2021-12-10 cs.LG eess.IV stat.AP
Cloud removal in remote sensing images using generative adversarial networks and SAR-to-optical image translation
Iran University of Science and Technology（伊朗科技大学）
卫星图像经常被云污染。由于卫星图像应用的广泛性，去云技术受到了广泛的关注。随着云层的移动，移除云层的过程变得更具挑战性。在这种情况下，通常使用诸如近红外或合成孔径雷达（SAR）的辅助图像进行重建。在这项研究中，我们试图使用两个生成对抗网络（GANs）来解决这个问题。第一种方法将SAR图像转换为光学图像，第二种方法使用先前GAN的转换图像去除云。此外，我们提出了扩张的剩余初始块（DRIBs），而不是香草U-网的生成器网络，并使用结构相似性指标（SSIM）除了L1损失函数。通过扩张卷积减少下采样的数量和扩大感受野可以提高输出图像的质量。我们使用SEN 1 -2数据集来训练和测试两个GANs，并通过向光学图像添加合成云来制作多云图像。用PSNR和SSIM对恢复后的图像进行了评价。我们将所提出的方法与最先进的深度学习模型进行了比较，并在SAR到光学转换和云去除部分获得了更准确的结果。
2020-12-22 cs.CV eess.IV
An optical flow approach to tracking ship track behavior using GOES-R satellite imagery
本文提出一种基于GOES-17卫星影像的光流方法，用于精确追踪船舶排放气溶胶在低云中的运动轨迹，证明船舶航迹作为可见线状特征可持续超过9小时甚至24小时以上。
2023-08-14 eess.IV
Multi-Modal Temporal Attention Models for Crop Mapping from Satellite Time Series
LASTIG, ENSG, IGN, Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；EA G&E Bordeaux INP, Univ Bordeaux Montaigne（波尔多蒙田大学）
光学和雷达卫星时间序列是协同作用的：光学图像包含丰富的光谱信息，而C波段雷达捕获有用的几何信息，不受云层覆盖的影响。最近成功的时间注意力为基础的方法在多个作物映射任务的动机，我们建议调查这些模型可以适应操作的几种方式。我们实现和评估多个融合方案，包括一种新的方法和简单的调整训练过程，显着提高性能和效率，几乎没有增加复杂性。我们发现，大多数融合方案有优点和缺点，使它们相关的特定设置。然后，我们评估多模态的好处，在几个任务：包裹分类，基于像素的分割，和全景包裹分割。我们表明，通过利用光学和雷达时间序列，基于多模态时间注意力的模型在性能和对云层覆盖的弹性方面可以胜过单模态模型。为了进行这些实验，我们增加了PASTIS数据集与空间对齐的雷达图像时间序列。由此产生的数据集PASTIS-R构成了第一个具有语义和实例注释的大规模、多模式和开放访问的卫星时间序列数据集。
2021-12-14 cs.CV eess.IV
Towards Transformer-based Homogenization of Satellite Imagery for Landsat-8 and Sentinel-2
Otto-von-Guericke University Magdeburg（马格德堡奥托·冯·格里克大学）；BASF Digital Farming GmbH（巴斯夫数字农业有限公司）
Landsat-8（美国航天局）和Sentinel-2（欧空局）是两个主要的多光谱成像卫星项目，提供可公开获得的数据。卫星的多光谱成像传感器在电磁频谱的可见光和红外区域捕获地球表面的图像。由于地球表面的大部分区域经常被云层覆盖，云层在这些波长下是不透明的，因此许多图像不能提供太多信息。为了增加某个地区无云图像的时间可用性，可以将来自多个来源的观测结果结合起来。然而，卫星的传感器可能在其属性上有所不同，从而使图像不兼容。这项工作提供了一个初步的可能性，使用基于变换器的模型，以减少光谱和空间观测两个卫星项目之间的差异。我们将结果与基于完全卷积UNet架构的模型进行比较。令人惊讶的是，我们发现，虽然深度模型优于经典方法，但UNet在我们的实验中显着优于Transformer。
2022-10-14 cs.CV cs.LG eess.IV
Enhancing Satellite Imagery using Deep Learning for the Sensor To Shooter Timeline
PeopleTec Inc.（PeopleTec公司）
从传感器到射手的时间轴受两个主要变量的影响：卫星定位和资产定位。通过增加更多的传感器或减少处理时间来加速卫星定位只有在有准备的射手的情况下才是重要的，否则时间的主要来源是让射手就位。然而，情报界应该努力以最快的速度和最高的效率利用传感器。在保持高速度的同时实现高效率是必须在传感器到射手时间轴中考虑的权衡。在本文中，我们研究了两个主要的想法，通过图像处理，提高卫星图像的有效性，以及如何在船上的图像处理将影响传感器的射手时间轴。我们涵盖这些想法在四个场景：离散事件模拟机载处理与地面站处理，信息质量与云层覆盖去除，信息改善与超分辨率，和数据减少与图像字幕。本文将展示如何图像处理技术，如超分辨率，除云，图像字幕将提高交付信息的质量，除了显示这些过程如何影响传感器的射手时间轴。
2022-03-30 cs.CV cs.LG eess.IV
On-board Change Detection for Resource-efficient Earth Observation with LEO Satellites
本文针对星地通信瓶颈，提出一种联合云去除与变化编码的语义通信框架，利用三阶段端到端评分机制（含Cloud-Net和Change-Net模型）识别并压缩变化多光谱像素，有效优化卫星能耗并保障高质量数据传输。
2023-11-27 eess.IV eess.SP
Clear-Weighted Bit Allocation for Satellite Downlinks
Coovally（库瓦利公司）；Technical University of Vienna（维也纳技术大学）；Peking University（北京大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；ICREA（加泰罗尼亚研究与高级研究所）
该研究针对卫星下行链路图像传输问题，提出清晰加权比特分配方法，训练带清晰概率加权损失的神经编解码器，设计因果调度器，在匹配清晰区域质量时减少字节需求，提升截止日期完整交付量。
2026-08-04 cs.CV cs.NI eess.IV
Vulnerability Liquefaction Mapping in Padang City Based on Cloud Computing Using Optical Satellite Imagery Data
本研究利用光学卫星影像与NDWI（832.8 nm NIR、2202.4 nm SWIR波段）绘制巴东市水体分布，并结合地质与地震数据识别液化高风险区，验证了NDWI低成本区域评估的价值。
2025-01-04 eess.IV physics.geo-ph
Cross-Sensor Adversarial Domain Adaptation of Landsat-8 and Proba-V images for Cloud Detection
本文提出了一种跨传感器对抗域适应方法，通过减少Landsat-8和Proba-V图像间的统计差异，提升云检测模型的性能。
2020-06-10 cs.LG eess.IV
