A Benchmark Study of Segmentation Models and Adaptation Strategies for Landslide Detection from Satellite Imagery
University of Central Florida(佛罗里达中央大学)
本文系统评估了CNN、Transformer分割模型和大预训练模型在滑坡检测中的性能,比较了全微调与参数高效微调方法,发现Transformer模型表现优异,参数高效微调在保持精度的同时大幅降低参数量。
2026-04-17 cs.CV
Towards On-Board Panoptic Segmentation of Multispectral Satellite Images
Queensland University of Technology(昆士兰科技大学)
针对多光谱卫星图像星上全景分割需求,提出基于跨模态注意力融合的多模态教师网络与在线知识蒸馏框架,将知识迁移至单模态学生网络适配星上环境,在PASTIS数据集上精度显著优于现有SOTA模型。
2022-04-05 cs.CV
Road Segmentation in SAR Satellite Images with Deep Fully-Convolutional Neural Networks
German Aerospace Center (DLR)(德国航空航天中心(DLR))
遥感广泛用于制图。随着交通网络的发展和变化,从卫星图像中自动提取道路对于保持地图最新至关重要。合成孔径雷达卫星可以提供高分辨率的地形图。然而,道路很难在这些数据中识别,因为它们在视觉上与河流和铁路等目标相似。大多数合成孔径雷达图像上的道路提取方法仍然依赖于由经典计算机视觉算法执行的先验分割。很少有研究深度学习技术的潜力,尽管它们成功地应用于光学图像。这封信提出了一个评估的全卷积神经网络的道路分割的SAR图像。我们研究了早期和国家的最先进的网络的相对性能后,仔细提高其对薄对象的敏感性,通过添加空间容差规则。我们的模型显示出令人鼓舞的结果,成功地提取了我们测试数据集中的大部分道路。这表明,尽管全卷积神经网络本身缺乏道路分割的效率,但如果适当调整,它们能够获得良好的结果。由于分割质量不能随着网络深度的增加而很好地扩展,因此用于道路提取的专用架构的设计应该产生更好的性能。
2018-08-16 cs.CV
Improving land cover segmentation across satellites using domain adaptation
土地利用和土地覆盖物制图对于包括林业、农业和城市管理在内的各个研究领域都是必不可少的。使用地球观测卫星既方便又加速了这项任务。最近,深度学习方法已被证明在通过语义图像分割自动化映射方面非常出色。然而,由于深度神经网络需要大量的标记数据,因此要充分利用卫星图像的潜力并不容易。此外,土地覆被往往在外观上从一个区域到另一个区域不同;因此,从一个位置标记数据并不一定有助于映射其他位置。此外,卫星图像有各种多光谱波段(波段范围从RGB到12个以上波段)。在本文中,我们的目标是使用领域自适应来解决上述问题。我们在使用Sentinel-2、WorldView-2和Pleiades-1卫星的RGB图像构建的数据集上应用了性能良好的领域自适应方法,并将Corine土地覆盖作为地面实况标签。我们还使用了DeepGlobe土地覆盖数据集。实验表明,在不使用领域自适应的情况下获得的结果显着改善。在某些情况下,改善超过20% MIoU。有时,它甚至设法纠正地面实况标签中的错误。
2020-04-01 cs.CV
Scale-based Approach for Active Wildfire Segmentation on Satellite Imagery
该研究针对卫星图像主动野火分割的稀疏不平衡问题,提出数据驱动协议评估模型鲁棒性,对比U-Net等架构与SWIR波段,发现U-Net鲁棒性最强、SWIR2效果最优,明确光谱选择与架构设计的重要性。
2026-09-02 cs.CV
Weakly Supervised Semantic Segmentation of Satellite Images
Qwant Research(Qwant研究院)
当想要训练神经网络来执行语义分割时,为数据库中的每个图像创建像素级注释是一项繁琐的任务。如果他的作品与航空或卫星图像,这通常是非常大的,这是更糟。考虑到这一点,我们研究如何使用图像级注释,以执行语义分割。图像级注释的获取成本比像素级注释低得多,但我们在模型训练中丢失了大量信息。从图像的注释中,模型必须自己找到如何对图像的不同区域进行分类。在这项工作中,我们使用由Anh和Kwak [1]提出的方法从图像级注释产生像素级注释。我们将生成的数据集的整体质量与原始数据集进行比较。此外,我们提出了一个适应的AffinityNet,使我们能够直接执行语义分割。我们的研究结果表明,生成的标签导致几个分割网络的训练相同的性能。此外,AffinityNet和Random Walk直接执行的语义分割的质量接近最好的全监督方法之一。
2019-04-08 cs.CV
Wildfire smoke plume segmentation using geostationary satellite imagery
Stanford University(斯坦福大学)
在过去的二十年里,野火的频率和严重程度都有所增加,特别是在美国西部。除了这些野火事件造成的物理基础设施破坏外,研究人员越来越多地发现野火烟雾产生的颗粒物对呼吸系统,心血管和认知健康的有害影响。这种推断是困难的,因为空间和时间的不确定性,有多少颗粒物是专门归因于野火烟雾。造成这一挑战的一个因素是依赖于手动绘制的烟羽注释,这些注释通常是仅限于美国的嘈杂表示。这项工作使用深度卷积神经网络从地球同步卫星图像中分割烟羽。我们使用因果推理方法比较预测的羽流分割与噪声注释的性能,以估计环境保护局(EPA)测量的直径<2.5 μ m的表面水平颗粒物($\textrm{PM}_{2.5}$)中每个解释的变化量。
2021-09-03 cs.CV
SISP: A Benchmark Dataset for Fine-grained Ship Instance Segmentation in Panchromatic Satellite Images
State Key Laboratory of Space-Ground Integrated Information Technology, CAST(天地一体化信息技术国家重点实验室);College of Computer Science and Technology, Harbin Engineering University(哈尔滨工程大学计算机科学与技术学院);College of Electrical and Mechanical Engineering, Dalian Minzu University(大连民族大学机电工程学院);School of Geography and Ocean Science, Nanjing University(南京大学地理与海洋科学学院)
针对卫星图像细粒度船舶实例分割数据集稀缺问题,提出SISP基准数据集(含56,693实例、四类、0.5米分辨率)及DFRInst基准方法,增强关键特征表示,提升分割性能。
2024-02-06 cs.CV
Convolutional Neural Network Segmentation for Satellite Imagery Data to Identify Landforms Using U-Net Architecture
School of Computer Engineering, Kalinga Institute of Industrial Technology(卡林加工业技术学院计算机工程学院)
本研究将U-Net架构应用于卫星影像语义分割以识别地貌,通过CNN特征提取、Dropout正则化和Adam优化提升性能,经大量样本验证其高分辨率输出等优势,为机器学习与图像处理技术发展及多实际场景应用提供支持。
2025-02-08 cs.CV
Satellite Image Semantic Segmentation
CNRS(法国国家科学研究中心);LIRIS - INSA Lyon(里昂国立应用科学学院LIRIS实验室);Ubisoft(育碧公司)
本文提出了一种将卫星图像自动语义分割为六类(疏林、密林、沼泽、草本层、建筑物和道路)的方法。我们依赖于Swin Transformer架构,并从IGN开放数据中构建数据集。我们报告了该数据集的定量和定性分割结果,并讨论了优势和局限性。数据集和训练的模型是公开的。
2021-10-12 cs.CV cs.GR
Cross-Scale Pretraining: Enhancing Self-Supervised Learning for Low-Resolution Satellite Imagery for Semantic Segmentation
Carnegie Mellon University Africa(卡内基梅隆大学非洲分校)
本文提出跨尺度预训练方法,利用高分辨率数据提升低分辨率图像的表示学习和分割性能,通过设计空间亲和组件改进自监督学习框架。
2026-05-02 cs.CV
Saliency based Semi-supervised Learning for Orbiting Satellite Tracking
University of Chinese Academy of Sciences(中国科学院大学);Key Laboratory of Space Utilization, Chinese Academy of Sciences(中国科学院空间利用重点实验室)
在轨卫星的轨道和边界是空间机器人进行在轨修复和操作的基础信息。然而,由于在轨卫星的自由和快速运动、快速变化的背景和照明条件的突然变化,这项任务具有挑战性。传统的跟踪通常依赖于目标物体的单个限界框,然而,视觉跟踪需要提供更详细的信息,如二进制掩码。在本文中,我们提出了一种SSLT(基于显着性的半监督学习跟踪)算法,提供了限界框和目标卫星的分割二进制掩码在12帧/秒,而不需要注释数据。我们的方法,SSLT,提高了分割性能,通过生成一个显着图为基础的半监督在线学习方法内的初始限界框估计跟踪。一旦训练了定制的分割模型,将使用二进制分割结果来细化限界框和卫星轨迹。实验使用来自NASA(国家航空航天局)的真实在轨交会对接视频,来自ESA(欧洲航天局)的模拟卫星动画序列和我们实验室拍摄的3D打印卫星模型的图像序列,与最先进的跟踪和分割方法相比,我们的方法具有鲁棒性,通用性和快速性。我们的数据集将在未来发布用于学术用途。
2019-09-09 cs.CV
Effective Cloud Detection and Segmentation using a Gradient-Based Algorithm for Satellite Imagery; Application to improve PERSIANN-CCS
The Pennsylvania State University(宾夕法尼亚州立大学);University of California, Irvine(加州大学欧文分校)
能够有效地识别云并监测其演变是实现更准确的定量降水估计和预报的重要一步。在这项研究中,一个新的基于梯度的云图像分割技术开发使用的工具,从图像处理技术。该方法将形态学图像的梯度幅度集成到可分离的云系统和补丁边界。为了降低图像分割对噪声的敏感性,并捕获具有各种边缘精细度的遥感图像中的目标,实现了一种变尺度核。所提出的方法是灵活的和可扩展的单到多光谱图像。通过将所提出的分割算法应用于由高分辨率天气预报模型模拟的地球同步业务环境卫星(GOES-R)通道的合成辐射度,进行了案例研究以验证该算法。所提出的方法相比,毫不逊色于现有的云补丁为基础的分割技术实现的PERSIANN-CCS(降水估计从遥感信息使用人工神经网络-云分类系统)降雨反演算法。基于事件的图像的评估表明,该算法有可能提高降雨检测和估计技能,与PERSIANN-CCS中使用的分割技术相比,平均增益超过45%,并将云区域识别为准确率高达98%的对象。
2018-09-27 cs.CV
MariSat: A Maritime Dataset for Instance Segmentation of Objects in Satellite and Aerial Images
University of Carthage(迦太基大学);University of Gabes(加贝斯大学);University of Rouen Normandie(鲁昂诺曼底大学);ESIGELEC(法国高等电气与电子工程学院)
该研究提出新的海事基准数据集MariSat,经半自动化标注流程生成,用于卫星与航拍图像中8类海事物体的实例分割,已被用于微调及基准测试SAM 3、YOLO11模型以实现实时海事监视。
2026-09-01 cs.CV
SG-BEV: Satellite-Guided BEV Fusion for Cross-View Semantic Segmentation
Sun Yat-Sen University(中山大学);Shanghai AI Laboratory(上海人工智能实验室);SenseTime Research(商汤科技研究院);Zhejiang University(浙江大学)
针对卫星与街景图像跨视图建筑属性分割,本文提出 SG-BEV,通过 BEV 空间映射和卫星引导重投影融合多视角特征,在四个城市数据集上显著提升 mIOU。
2024-04-03 cs.CV
SatReg: Regression-based Neural Architecture Search for Lightweight Satellite Image Segmentation
Johns Hopkins University(约翰霍普金斯大学)
SatReg通过回归方法在边缘平台实现轻量级遥感分割,利用CM-UNet作为教师模型,减少搜索空间,通过知识蒸馏高效训练学生模型,提升部署效率。
2026-04-11 cs.CV
Active Learning for Improved Semi-Supervised Semantic Segmentation in Satellite Images
Orbital Insight(轨道洞察公司);Yale University(耶鲁大学)
遥感数据对于从监测森林火灾和森林砍伐到跟踪城市化的各种应用至关重要。这些任务中的大多数都需要模型的密集像素级注释,以便从这些卫星图像可用的有限标记数据中解析视觉信息。由于缺乏高质量的标记训练数据在这个领域,有必要集中在半监督技术。这些技术从一小组标记的示例中生成伪标签,这些示例用于增强标记的训练集。这就需要有一个高度代表性和多样性的标记训练集。因此,我们建议使用基于主动学习的采样策略来选择具有高度代表性的标记训练数据集。我们证明了我们提出的方法的有效性,现有的两个语义分割数据集包含卫星图像:UC Merced土地利用分类数据集和DeepGlobe土地覆盖分类数据集。我们报告了27%的改进mIoU与少至2%的标记数据,使用主动学习采样策略随机采样标记的训练数据的小集合。
2021-10-15 cs.CV
Source-Free Online Domain Adaptive Semantic Segmentation of Satellite Images under Image Degradation
University of California, Riverside(加州大学河滨分校);Sungkyunkwan University(成均馆大学)
针对卫星图像退化引起的分布偏移,提出一种无需反向传播的轻量级测试时适应方法,通过逐步估计全局BN统计量和使用全局类中心细化掩码,实现快速稳定的在线域自适应。
2024-01-04 cs.CV
DynamicEarthNet: Daily Multi-Spectral Satellite Dataset for Semantic Change Segmentation
Technical University of Munich(慕尼黑工业大学);German Aerospace Center(德国航空航天中心);Planet Labs(行星实验室)
对地观测是监测具体有关地区土地使用演变情况的一个基本工具。在这种情况下,观察和精确定义变化需要时间序列数据和像素分割。为此,我们提出了DynamicEarthNet数据集,该数据集由分布在全球的75个选定感兴趣区域的日常多光谱卫星观测数据组成,这些区域的图像来自Planet Labs。这些观察配对像素每月语义分割标签的7个土地利用和土地覆盖(LULC)类。DynamicEarthNet是第一个提供这种独特的每日测量和高质量标签组合的数据集。在我们的实验中,我们比较了几个已建立的基线,这些基线要么利用日常观察作为额外的训练数据(半监督学习),要么同时利用多个观察(时空学习)作为未来研究的参考点。最后,我们提出了一个新的评估指标SCS,解决了与时间序列语义变化分割相关的具体挑战。数据可在https://mediatum.ub.tum.de/1650201上查阅。
2022-03-23 cs.CV
Dynamic Class-Aware Active Learning for Unbiased Satellite Image Segmentation
Space Applications Centre, Indian Space Research Organisation(印度空间研究组织空间应用中心)
本文提出动态类感知主动学习方法,通过实时跟踪类性能差距,解决类别不平衡问题,提升分割精度和标注效率。
2026-04-10 cs.CV
A Comparison and Strategy of Semantic Segmentation on Remote Sensing Images
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software Chinese Academy of Sciences(中国科学院软件研究所)
近年来,随着航天技术的发展,我们越来越多地使用卫星拍摄的图像来获取信息。但大量的无用的原始图像、有限的数据存储资源和卫星传输能力差阻碍了我们对有价值图像的利用。因此,有必要部署在轨语义分割模型,在数据传输前过滤掉无用图像。在本文中,我们详细比较了最近的深度学习模型。考虑到卫星的计算环境,我们从精度,参数和资源消耗在同一个公共数据集上的方法进行了比较。并分析了它们之间的关系。基于实验结果,我们进一步提出了一种可行的在轨语义分割策略。它将被部署在支持深度学习方法的天智二号卫星上,并将很快投入使用。
2019-05-24 cs.CV
WakeupUrban: Unsupervised Semantic Segmentation of Mid-20$^{th}$ century Urban Landscapes with Satellite Imagery
Tsinghua University, SIGS(清华大学 SIGS);National Supercomputing Center in Shenzhen(深圳国家超算中心);New York University Shanghai(纽约大学上海分校);Tsinghua University, DESS(清华大学 DESS);Sun Yat-sen University(中山大学)
WakeupUrban通过无监督语义分割框架WakeupUSM,利用历史卫星图像分析20世纪中叶城市景观,提升长期城市变化的定量研究能力。
2025-12-15 cs.CV
Position Prediction Self-Supervised Learning for Multimodal Satellite Imagery Semantic Segmentation
Carnegie Mellon University Africa(卡内基梅隆大学非洲分校)
针对卫星图像语义分割中标注数据受限且现有自监督方法侧重重建忽视定位的问题,提出适配多模态数据的LOCA位置预测自监督学习方法,通过扩展通道分组与同组注意力掩码促进跨模态交互,在Sen1Floods11数据集上显著优于基于重建的方法。
2025-07-16 cs.AI cs.CV
An Atmospheric Correction Integrated LULC Segmentation Model for High-Resolution Satellite Imagery
Indian Institute of Science(印度科学学院);Université du Québec à Rimouski(里穆斯基魁北克大学)
本文提出将基于查找表辐射传输模拟的大气校正与监督及半监督分割模型结合,用于 CARTOSAT-3 MX 高分辨率影像,并在稀疏标签场景下稳定提升多类 LULC 分割。
2024-09-10 cs.CV
An unsupervised approach towards promptable defect segmentation in laser-based additive manufacturing by Segment Anything
School of Mathematical and Data Sciences, WVU(西弗吉尼亚大学数学与数据科学学院)
本研究提出一种基于Segment Anything模型与无监督聚类提示生成的无标签缺陷分割框架,在激光粉末床熔融中实现高精度孔隙分割,助力实时检测与工业4.0。
2024-06-26 cs.CV
TEA: Temporal Adaptive Satellite Image Semantic Segmentation
Institute of Computing Technology, Chinese Academy of Sciences(计算技术研究所,中国科学院)
TEA提出一种时间自适应的卫星图像语义分割方法,通过教师-学生模型和全序列重建提升模型在不同时间长度下的分割性能。
2026-01-08 cs.CV
Automatic Volumetric Segmentation of Additive Manufacturing Defects with 3D U-Net
Stanford University(斯坦福大学);National Institute of Standards and Technology (NIST)(美国国家标准与技术研究院)
X射线计算机断层扫描(XCT)图像中的增材制造(AM)缺陷的分割是具有挑战性的,这是由于缺陷的对比度差、尺寸小和外观变化。然而,自动分割可以为增材制造提供质量控制。近年来,三维卷积神经网络(3D CNN)在医学图像的体积分割中表现良好。在这项工作中,我们利用来自医学成像领域的技术,并提出训练3D U-Net模型来自动分割AM样本的XCT图像中的缺陷。这项工作不仅有助于使用机器学习进行AM缺陷检测,还首次展示了AM中的3D体积分割。我们在AM数据集上用3D U-Net的三种变体进行了训练和测试,实现了88.4%的平均交集(IOU)值。
2021-01-22 cs.CV eess.IV
Segmentation-Aware Latent Diffusion for Satellite Image Super-Resolution: Enabling Smallholder Farm Boundary Delineation
Google DeepMind(谷歌DeepMind);Google(谷歌);Google Research(谷歌研究)
针对小农户农田边界划定中现有Ref-SR方法难以适配大尺度因子、易丢失分割关键特征的问题,提出SEED-SR分割感知潜扩散超分辨率方法,在20倍尺度下实现了分割精度的显著提升。
2025-11-18 cs.CV
Building Segmentation on Satellite Images and Performance of Post-Processing Methods
Huawei Turkey R&D Center(华为土耳其研发中心)
随着计算机视觉算法的发展和卫星图像的可访问性,研究人员正在对卫星图像进行密集的工作,因为它包含的信息。卫星图像的建筑物分割可以用于许多潜在的应用,如城市,农业和通信网络规划。然而,由于每个区域都不存在数据集,因此在区域中训练的模型必须具有通用性。在这项研究中,我们在中国训练了几个模型,并对其中选出的最佳模型进行了后处理工作。这些模型在INRIA数据集的芝加哥地区进行了评估。从结果中可以看出,虽然在这一领域尚未取得最先进的成果,但成果是有希望的。我们的目标是在这项研究中提出我们的初步实验结果的卫星图像的建筑物分割。
2022-12-28 cs.CV eess.IV
Forest and Water Bodies Segmentation Through Satellite Images Using U-Net
Aimech Technologies Corp.(Aimech科技公司);Air University(航空大学)
全球环境监测是一项在当代气候迅速变化的环境中需要给予更多关注的任务。这包括监测森林砍伐率和受洪水影响的地区。卫星成像极大地帮助了监测地球,而深度学习技术有助于使这一监测过程自动化。本文提出了一种观测森林和水域覆盖面积的解决方案。为了实现这一任务,提出了UNet模型,这是一种图像分割模型。该模型实现了82.55%和82.92%的森林和水域覆盖的区域分割的验证精度分别。
2022-07-12 cs.CV eess.IV
Building Height Prediction with Instance Segmentation
Huawei Turkey R&D Center(华为土耳其研发中心)
从卫星图像中提取建筑物高度是一个活跃的研究领域,用于许多领域,如电信,城市规划等,许多研究利用DSM(数字表面模型)生成激光雷达或立体图像用于此目的。由于数据量不足、数据质量低、建筑物类型多样、光影角度不同等原因,仅使用RGB图像预测建筑物高度具有挑战性。在这项研究中,我们提出了一种基于实例分割的建筑物高度提取方法,从单个RGB卫星图像中预测建筑物掩模及其各自的高度。我们使用了带有某些城市建筑物高度注释的卫星图像以及带有迁移学习方法的开源卫星数据集。我们达到了,限界框mAP 59,掩模mAP 52.6,和属于我们的测试集中的每个高度类的建筑物的平均准确度值为70%。
2022-12-19 cs.CV
SRMF: A Data Augmentation and Multimodal Fusion Approach for Long-Tail UHR Satellite Image Segmentation
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Haina Institute of Zhejiang University, Advanced Technology Institute, Zhejiang University(浙江大学海纳研究院、先进技术研究院);Binjiang Research Institute of Zhejiang University(浙江大学滨江研究院)
针对超高分辨率卫星图像语义分割中的长尾问题,提出SRMF框架,通过多尺度裁剪、语义重排序与重采样的数据增强策略,结合无需区域文本描述的多模态特征融合知识注入方法,有效提升了分割性能并在多个数据集上达到SOTA。
2025-04-28 cs.CV
PathMamba: A Hybrid Mamba-Transformer for Topologically Coherent Road Segmentation in Satellite Imagery
Thales CortAIx Labs(泰勒斯 CortAIx 实验室)
PathMamba通过结合Mamba和Transformer的优势,实现了卫星图像中高精度且拓扑连续的道路分割,同时保持计算效率。
2025-11-26 cs.CV
Fixation Data Analysis for High Resolution Satellite Images
Indian Institute of Technology, Roorkee(印度理工学院鲁尔基分校)
本研究是一个高分辨率卫星影像的眼动追踪实验。所报告的实验探索了基于感兴趣区域(AOI)的复杂HRS图像的眼睛注视数据的分析。该研究反映了自下而上显著性分割对参考数据的需求以及复杂卫星图像眼动追踪数据分析的困难。预期固定数据分析的目的是为高分辨率卫星图像的自下而上的基于显著性的分割创建参考数据。这项实验研究的分析结果提供了一个解决方案,为固定数据在复杂的环境中的卫星图像和参考数据建设的建议,这是一个正在进行的努力AOI为基础的分析。
2018-05-01 cs.CV
SeasoNet: A Seasonal Scene Classification, segmentation and Retrieval dataset for satellite Imagery over Germany
TU Dortmund University(多特蒙德工业大学)
本文介绍了一种新的大规模多标签土地覆盖和土地利用场景理解数据集SeasoNet。它包括来自Sentinel-2磁贴的$1\,759\,830$图像,具有12个光谱波段和高达$ 120 \ \mathrm{px} \times 120 \ \mathrm{px}$的补丁大小。每个图像都使用德国土地覆盖模型LBM-DE 2018的大尺度像素级标签进行注释,土地覆盖类别基于CORINE土地覆盖数据库(CLC)2018和比原始CLC地图小五倍的最小映射单元(MMU)。我们提供了四季的像素同步示例,外加一个额外的雪景集。这些属性使SeasoNet成为目前最通用和最大的遥感场景理解数据集,其可能的应用范围从土地覆盖映射的场景分类到基于内容的跨季节图像检索和自监督特征学习。我们通过在场景分类和语义分割场景中对新数据集进行最先进的深度网络评估来提供基线结果。
2022-07-19 cs.CV
Weakly Supervised Semantic Segmentation of Satellite Images for Land Cover Mapping -- Challenges and Opportunities
Technical University of Munich(慕尼黑工业大学);German Aerospace Center (DLR)(德国航空航天中心(DLR))
全自动大比例尺土地覆盖制图属于遥感界所面临的核心挑战。通常,该任务的基础由(监督的)机器学习模型形成。然而,尽管最近卫星观测的可利用性有所增加,但准确的训练数据仍然非常缺乏。另一方面,有许多全球土地覆被产品,而且往往可以免费获得。不幸的是,这些地图的分辨率通常比现代卫星图像低得多。此外,它们总是带有大量的噪声,因为它们不能被认为是地面实况,而是以前(半)自动预测任务的产物。因此,本文试图使弱监督学习策略的应用,以获得最大的可用数据源,并在高分辨率的大规模土地覆盖制图取得进展的情况下。基于SEN 12 MS数据集讨论了挑战和机遇,并显示了一些基线结果。这些基线表明,仍有很大的潜力,可以采取专门的办法来处理遥感特有的监督薄弱形式。
2020-04-28 cs.CV
A large-scale climate-aware satellite image dataset for domain adaptive land-cover semantic segmentation
School of Remote Sensing Information Engineering, Wuhan University(武汉大学遥感信息工程学院);State Key Laboratory of Geo-information Engineering(地理信息工程国家重点实验室);Advanced Research Institute of Multidisciplinary Science, Beijing Institute of Technology(北京理工大学多学科先进研究院);School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机学院);School of Electronics and Communication Engineering, Sun Yat-sen University(中山大学电子与通信工程学院)
该研究针对现有土地覆盖语义分割数据集忽略气候差异导致域差距的问题,构建了首个多域气候感知卫星图像数据集CASID,并开展实验提供方法基线。
2026-10-16 cs.CV
Semi-Supervised Domain Adaptation for Semantic Segmentation of Roads from Satellite Images
Huawei Turkey R&D Center(华为土耳其研发中心)
本文提出了一种半监督分割方法从卫星图像中提取道路的初步研究结果。人工神经网络和图像分割方法是从卫星图像中提取道路数据的最成功的方法之一。然而,这些模型需要来自不同区域的大量训练数据来实现高准确率。在这些数据需要更多数量或质量的情况下,通过从不同来源获得的注释数据中转移知识来训练深度神经网络是一种标准方法。本研究提出一种利用半监督学习方法进行路径分割的方法。提出了一种基于伪标记和最小类混淆方法的半监督场自适应方法,并观察到它在目标数据集上的性能提高。
2022-12-26 cs.CV eess.IV
Material Segmentation of Multi-View Satellite Imagery
Rutgers University(罗格斯大学);Kitware(Kitware公司);Purdue University(普渡大学)
材料识别方法使用图像上下文和局部线索进行逐像素分类。在许多情况下,只有单个图像可用于进行材料预测。图像序列,经常在应用程序中获得,如多视图立体,可以提供一个采样的基本反射函数,揭示像素级的材料属性。我们研究多视图材料分割使用两个数据集生成的建筑材料分割和场景材料分割的SpaceNet挑战卫星图像数据集。在本文中,我们通过引入\textit{reflectance residual encoding}来探索多角度反射信息的影响,该方法可以捕获数据集中的多角度和多光谱信息。通过将稀疏采样反射率函数与预定义的密集采样反射率函数的字典进行差分来计算残差。我们提出的反射率残差功能提高材料分割性能时,集成到像素和语义分割架构。在测试时,来自各个分割的预测通过softmax融合进行组合,并通过建筑分段投票进行细化。我们证明了强大的和准确的像素分割结果使用建议的材料分割管道。
2019-04-17 cs.AI cs.CV
PaRK-Detect: Towards Efficient Multi-Task Satellite Imagery Road Extraction via Patch-Wise Keypoints Detection
从卫星图像中自动提取道路是遥感领域中一项基本而又具有挑战性的计算机视觉任务。基于像素的语义分割方法和基于图的方法是两种流行的方案。然而,现有的工作表明,基于语义分割的方法产生低连通性的道路图,而基于图的方法与迭代探索范式和较小的感受野更侧重于本地信息,也是耗时的不完善之处。在本文中,我们提出了一种新的多任务卫星图像道路提取方案,Patch-wise道路关键点检测(PaRK-Detect)。该框架基于D-LinkNet架构,采用关键点检测的结构,通过预测道路关键点的位置以及它们之间的相邻关系来构建道路图。同时,多任务框架还执行逐像素语义分割并生成道路分割掩模。我们对DeepGlobe、Massachusetts Roads和RoadTracer数据集上现有的最先进方法进行了评估,并取得了有竞争力或更好的结果。我们还证明了相当的推理速度方面的表现。
2023-02-26 cs.CV
S3Net: Innovating Stereo Matching and Semantic Segmentation with a Single-Branch Semantic Stereo Network in Satellite Epipolar Imagery
State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing(测绘遥感信息工程国家重点实验室);Wuhan University(武汉大学)
本文提出单分支语义立体网络 S3Net,通过 Self-Fuse 和 Mutual-Fuse 模块联合语义分割与立体匹配,在 US3D 数据集上同时提升分割精度和视差估计性能。
2024-10-01 cs.CV
Improving satellite imagery segmentation using multiple Sentinel-2 revisits
Center for Data Science(数据科学中心);New York University(纽约大学)
本文研究如何利用 Sentinel-2 多次重访数据改进卫星影像分割,通过多模型架构实验证明在潜在空间融合多时相表征效果最佳,且 SWIN Transformer 架构优于 U-net 和 ViT,并在建筑密度估计任务上验证了普适性。
2024-09-30 cs.CV
H2O-Net: Self-Supervised Flood Segmentation via Adversarial Domain Adaptation and Label Refinement
Department of Computer and Electrical Engineering, Rutgers University(计算机与电气工程系,罗格斯大学);Cloud to Street(云街(Cloud to Street))
通过高分辨率、高延迟的卫星图像进行近乎实时的准确的洪水检测,对于通过提供快速和可操作的信息来防止生命损失至关重要。用于洪水探测的仪器和传感器只能在低分辨率、低延迟的卫星上使用,区域重访期长达16天,使得使用这种卫星的洪水警报系统不可靠。这项工作提出了H2O-Network,一种自监督的深度学习方法,通过桥接低延迟和高延迟卫星之间的域间隙和从粗到细的标签细化来从卫星和航空图像中分割洪水。H2O-Net学习合成与水存在高度相关的信号,作为高分辨率卫星图像中语义分割的领域自适应步骤。我们的工作还提出了一种自我监督机制,它不需要任何手动注释,在训练过程中使用,以生成高质量的地面实况数据。我们证明,H2O-Net优于国家的最先进的语义分割方法卫星图像的10%和12%的像素精度和mIoU分别为洪水分割的任务。我们通过将在卫星图像上训练的模型权重转移到无人机图像(一个高度不同的传感器和领域)来强调我们模型的通用性。
2020-10-11 cs.AI cs.CV
Concurrent Segmentation and Object Detection CNNs for Aircraft Detection and Identification in Satellite Images
Earthcube
探测和识别卫星图像中的物体是一项非常具有挑战性的任务:感兴趣的物体通常非常小,即使使用非常高分辨率的图像也难以识别特征。对于大多数应用程序来说,这意味着在查全率和查准率之间进行权衡。我们在这里提出了一种专门的方法来检测和识别飞机,结合两个非常不同的卷积神经网络(CNN):分割模型,基于修改后的U-网架构,和检测模型,基于RetinaNet架构。我们目前的结果表明,这种组合显着优于每一个单一的模型,大大降低了假阴性率。
2020-05-27 cs.CV eess.IV
Can SAM recognize crops? Quantifying the zero-shot performance of a semantic segmentation foundation model on generating crop-type maps using satellite imagery for precision agriculture
UC Riverside(加州大学河滨分校)
本文研究Meta AI的SAM模型在零样本条件下利用卫星影像生成作物类型图的性能,提出用聚类一致性指标评估其分割能力,发现SAM虽难以直接完成作物分类,但能快速准确勾勒田块轮廓,为精准农业提供低成本数据基础。
2023-12-04 cs.CV
Methane-Plume Segmentation From Hyperspectral Satellite Imagery Via Multimodal Deep Learning
Department of Computer Science, Universidad Industrial de Santander(计算机科学系,圣安德烈斯工业大学)
提出一种多模态深度学习模型,集成特征引导的甲烷增强机制,在MPDataset上取得优于现有方法的性能,实现高精度与高效率的甲烷羽流分割。
2026-06-26 cs.CV
Satellite Sunroof: High-res Digital Surface Models and Roof Segmentation for Global Solar Mapping
Google(谷歌);University of Toronto(多伦多大学)
本文提出利用卫星影像和深度学习模型,从低分辨率单一倾斜视图构建25cm数字表面模型和屋顶分割,以扩展Google Solar API的全球覆盖范围并提升太阳能潜力评估能力。
2024-08-29 cs.CV cs.LG
VistaFormer: Scalable Vision Transformers for Satellite Image Time Series Segmentation
University of Victoria(维多利亚大学)
本研究提出轻量级遥感图像语义分割模型VistaFormer,采用无位置自注意力与多尺度编解码结构,通过邻域注意力替换多头自注意力提升可扩展性,在两个作物分割基准上以更低运算量和参数实现了更优性能。
2024-09-13 cs.CV
Segmenting across places: The need for fair transfer learning with satellite imagery
New York University(纽约大学)
高分辨率卫星图像的日益可用性使得能够利用机器学习来支持土地覆盖测量并为决策提供信息。然而,给卫星图像贴标签的费用很高,而且只有部分地点可以使用。这促使使用迁移学习来将模型从数据丰富的位置调整到其他位置。鉴于卫星图像在不同地理区域的高影响应用潜力,有必要对迁移学习的影响进行系统评估。在这项工作中,我们考虑的任务,土地覆盖分割和研究的公平性的影响,跨地点传输模型。我们利用来自18个地区(9个城市和9个农村)的5987张图像的大型卫星图像分割基准。通过公平性指标,我们量化了模型性能沿两个轴的差异-跨城乡地区和跨土地覆盖类。研究结果表明,与城市地区相比,最先进的模型在农村地区具有更好的整体准确性,通过无监督的领域自适应方法,迁移学习更好地向城市和农村地区转移,并扩大公平差距。在分析这些发现的原因,我们表明,原始卫星图像是整体上更不一样的来源和目标地区的农村比城市的位置。这项工作突出了对卫星图像分割模型进行公平分析的必要性,并促进了公平迁移学习方法的开发,以便不引入地方之间的差异,特别是城市和农村地区之间的差异。
2022-04-15 cs.CV
PolyWorld: Polygonal Building Extraction with Graph Neural Networks in Satellite Images
Graz University of Technology(格拉茨工业大学);VRVis(VRVis视觉计算研究中心)
虽然大多数最先进的实例分割方法产生二进制分割掩码,但地理和制图应用通常需要提取对象的精确矢量多边形,而不是光栅化输出。本文介绍了PolyWorld,这是一个神经网络,它直接从图像中提取建筑顶点,并正确连接它们以创建精确的多边形。该模型使用图神经网络预测每对顶点之间的连接强度,并通过求解可微最优运输问题来估计分配。此外,顶点位置通过最小化组合分割和多边形角度差损失来优化。PolyWorld在建筑物多边形化方面的表现明显优于最先进的技术水平,不仅取得了显著的定量结果,而且还产生了视觉上令人愉悦的建筑物多边形。代码和训练权重可在https://github.com/zorzi-s/PolyWorldPretrainedNetwork上公开获得。
2022-04-06 cs.CV
End-to-end Cloud Segmentation in High-Resolution Multispectral Satellite Imagery Using Deep Learning
National Institute of Research and Training in Telecommunications (INICTEL-UNI)(国家电信研究与培训学院(INICTEL-UNI));National University of Engineering(国立工程大学)
在高分辨率卫星图像中分割云是一项艰巨而具有挑战性的任务,因为卫星可以捕获许多类型的地理和云。因此,它需要自动化和优化,特别是对于那些经常处理大量卫星图像的人,如政府机构。从这个意义上说,这项工作的贡献是双重的:我们提出了CloudPeru 2数据集,由22,400张512x512像素的图像及其各自的手绘云掩模组成,以及基于Deeplab v3+架构使用卷积神经网络(CNN)的云端到端分割方法的建议。结果表明,该方法的准确性为96.62%,精密度为96.46%,特异性为98.53%,敏感性为96.72%,优于其他方法。
2019-04-29 cs.CV eess.IV
Evaluating the Efficacy of Cut-and-Paste Data Augmentation in Semantic Segmentation for Satellite Imagery
Sapienza University of Rome(罗马大学);Department of Computer, Control and Management Engineering(计算机、控制与管理工程系)
针对卫星图像语义分割中数据稀缺和类别不平衡问题,本文提出一种基于连通组件的剪切粘贴数据增强方法,在DynamicEarthNet数据集上使用U-Net模型将mIoU从37.9提升至44.1,显著增强了模型泛化能力。
2025-01-21 cs.CV cs.LG eess.IV
A Semantic Segmentation Network for Urban-Scale Building Footprint Extraction Using RGB Satellite Imagery
UC Berkeley(加州大学伯克利分校);Lawrence Berkeley Lab(劳伦斯伯克利实验室)
城市地区消耗了世界上三分之二以上的能源,占全球二氧化碳排放量的70%以上。正如政府间气候变化专门委员会的《全球变暖1.5摄氏度》报告所述,到2050年实现碳中和需要对城市几何结构有清晰的认识。从卫星图像中生成高质量的建筑物足迹可以加速这一预测过程,并为市政决策提供支持。然而,以前基于深度学习的方法面临着诸如尺度不变性和有缺陷的足迹等后果性问题,部分原因是始终存在的类间不平衡。此外,大多数方法需要补充数据,如点云数据、建筑物高度信息和多波段图像,这些数据的可用性有限,制作起来也很繁琐。在本文中,我们提出了一个修改后的DeeplabV 3+模块,具有扩展的Res-Net主干,仅从三通道RGB卫星图像生成建筑物足迹的掩模。此外,我们在目标函数中引入了F-Beta度量,以帮助模型考虑倾斜的类分布并防止假阳性足迹。除了F-Beta之外,我们还引入了指数加权边界损失,并使用跨数据集训练策略来进一步提高预测质量。因此,我们在三个公共基准测试中实现了最先进的性能,并证明了我们的仅RGB方法产生更高质量的视觉效果,并且不受卫星图像的规模,分辨率和城市密度的影响。
2021-11-19 cs.CV
Rapid Distributed Fine-tuning of a Segmentation Model Onboard Satellites
University of Cambridge(剑桥大学);AI Sweden(瑞典人工智能研究院);European Space Astronomy Centre(欧洲空间天文中心);European Centre for Earth Observation(欧洲地球观测中心)
本研究在Unibap iX10-100卫星硬件上验证轻量级预训练分割模型MobileSAM的星载应用,集成PASEOS模拟卫星运行,探索多星去中心化快速微调潜力,为星载AI快速响应灾害提供新方向。
2024-11-26 cs.CV cs.DC cs.LG