A Comparison and Strategy of Semantic Segmentation on Remote Sensing Images
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software Chinese Academy of Sciences(中国科学院软件研究所)
近年来,随着航天技术的发展,我们越来越多地使用卫星拍摄的图像来获取信息。但大量的无用的原始图像、有限的数据存储资源和卫星传输能力差阻碍了我们对有价值图像的利用。因此,有必要部署在轨语义分割模型,在数据传输前过滤掉无用图像。在本文中,我们详细比较了最近的深度学习模型。考虑到卫星的计算环境,我们从精度,参数和资源消耗在同一个公共数据集上的方法进行了比较。并分析了它们之间的关系。基于实验结果,我们进一步提出了一种可行的在轨语义分割策略。它将被部署在支持深度学习方法的天智二号卫星上,并将很快投入使用。
2019-05-24 cs.CV
SG-BEV: Satellite-Guided BEV Fusion for Cross-View Semantic Segmentation
Sun Yat-Sen University(中山大学);Shanghai AI Laboratory(上海人工智能实验室);SenseTime Research(商汤科技研究院);Zhejiang University(浙江大学)
针对卫星与街景图像跨视图建筑属性分割,本文提出 SG-BEV,通过 BEV 空间映射和卫星引导重投影融合多视角特征,在四个城市数据集上显著提升 mIOU。
2024-04-03 cs.CV
Cross-Scale Pretraining: Enhancing Self-Supervised Learning for Low-Resolution Satellite Imagery for Semantic Segmentation
Carnegie Mellon University Africa(卡内基梅隆大学非洲分校)
本文提出跨尺度预训练方法,利用高分辨率数据提升低分辨率图像的表示学习和分割性能,通过设计空间亲和组件改进自监督学习框架。
2026-05-02 cs.CV
Position Prediction Self-Supervised Learning for Multimodal Satellite Imagery Semantic Segmentation
Carnegie Mellon University Africa(卡内基梅隆大学非洲分校)
针对卫星图像语义分割中标注数据受限且现有自监督方法侧重重建忽视定位的问题,提出适配多模态数据的LOCA位置预测自监督学习方法,通过扩展通道分组与同组注意力掩码促进跨模态交互,在Sen1Floods11数据集上显著优于基于重建的方法。
2025-07-16 cs.AI cs.CV
DynamicEarthNet: Daily Multi-Spectral Satellite Dataset for Semantic Change Segmentation
Technical University of Munich(慕尼黑工业大学);German Aerospace Center(德国航空航天中心);Planet Labs(行星实验室)
对地观测是监测具体有关地区土地使用演变情况的一个基本工具。在这种情况下,观察和精确定义变化需要时间序列数据和像素分割。为此,我们提出了DynamicEarthNet数据集,该数据集由分布在全球的75个选定感兴趣区域的日常多光谱卫星观测数据组成,这些区域的图像来自Planet Labs。这些观察配对像素每月语义分割标签的7个土地利用和土地覆盖(LULC)类。DynamicEarthNet是第一个提供这种独特的每日测量和高质量标签组合的数据集。在我们的实验中,我们比较了几个已建立的基线,这些基线要么利用日常观察作为额外的训练数据(半监督学习),要么同时利用多个观察(时空学习)作为未来研究的参考点。最后,我们提出了一个新的评估指标SCS,解决了与时间序列语义变化分割相关的具体挑战。数据可在https://mediatum.ub.tum.de/1650201上查阅。
2022-03-23 cs.CV
Source-Free Online Domain Adaptive Semantic Segmentation of Satellite Images under Image Degradation
University of California, Riverside(加州大学河滨分校);Sungkyunkwan University(成均馆大学)
针对卫星图像退化引起的分布偏移,提出一种无需反向传播的轻量级测试时适应方法,通过逐步估计全局BN统计量和使用全局类中心细化掩码,实现快速稳定的在线域自适应。
2024-01-04 cs.CV
Weakly Supervised Semantic Segmentation of Satellite Images for Land Cover Mapping -- Challenges and Opportunities
Technical University of Munich(慕尼黑工业大学);German Aerospace Center (DLR)(德国航空航天中心(DLR))
全自动大比例尺土地覆盖制图属于遥感界所面临的核心挑战。通常,该任务的基础由(监督的)机器学习模型形成。然而,尽管最近卫星观测的可利用性有所增加,但准确的训练数据仍然非常缺乏。另一方面,有许多全球土地覆被产品,而且往往可以免费获得。不幸的是,这些地图的分辨率通常比现代卫星图像低得多。此外,它们总是带有大量的噪声,因为它们不能被认为是地面实况,而是以前(半)自动预测任务的产物。因此,本文试图使弱监督学习策略的应用,以获得最大的可用数据源,并在高分辨率的大规模土地覆盖制图取得进展的情况下。基于SEN 12 MS数据集讨论了挑战和机遇,并显示了一些基线结果。这些基线表明,仍有很大的潜力,可以采取专门的办法来处理遥感特有的监督薄弱形式。
2020-04-28 cs.CV
Semantics from Space: Satellite-Guided Thermal Semantic Segmentation Annotation for Aerial Field Robots
California Institute of Technology(加州理工学院);Pomona College(波莫纳学院)
提出利用卫星数据和机载定位姿态估计自动生成热红外图像语义分割标注的方法,结合视觉基础模型实现低成本高精度标注,性能接近高分辨率选项且显著优于零样本方法。
2024-03-21 cs.CV cs.RO
A large-scale climate-aware satellite image dataset for domain adaptive land-cover semantic segmentation
School of Remote Sensing Information Engineering, Wuhan University(武汉大学遥感信息工程学院);State Key Laboratory of Geo-information Engineering(地理信息工程国家重点实验室);Advanced Research Institute of Multidisciplinary Science, Beijing Institute of Technology(北京理工大学多学科先进研究院);School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机学院);School of Electronics and Communication Engineering, Sun Yat-sen University(中山大学电子与通信工程学院)
该研究针对现有土地覆盖语义分割数据集忽略气候差异导致域差距的问题,构建了首个多域气候感知卫星图像数据集CASID,并开展实验提供方法基线。
2026-10-16 cs.CV
A Semantic Segmentation Network for Urban-Scale Building Footprint Extraction Using RGB Satellite Imagery
UC Berkeley(加州大学伯克利分校);Lawrence Berkeley Lab(劳伦斯伯克利实验室)
城市地区消耗了世界上三分之二以上的能源,占全球二氧化碳排放量的70%以上。正如政府间气候变化专门委员会的《全球变暖1.5摄氏度》报告所述,到2050年实现碳中和需要对城市几何结构有清晰的认识。从卫星图像中生成高质量的建筑物足迹可以加速这一预测过程,并为市政决策提供支持。然而,以前基于深度学习的方法面临着诸如尺度不变性和有缺陷的足迹等后果性问题,部分原因是始终存在的类间不平衡。此外,大多数方法需要补充数据,如点云数据、建筑物高度信息和多波段图像,这些数据的可用性有限,制作起来也很繁琐。在本文中,我们提出了一个修改后的DeeplabV 3+模块,具有扩展的Res-Net主干,仅从三通道RGB卫星图像生成建筑物足迹的掩模。此外,我们在目标函数中引入了F-Beta度量,以帮助模型考虑倾斜的类分布并防止假阳性足迹。除了F-Beta之外,我们还引入了指数加权边界损失,并使用跨数据集训练策略来进一步提高预测质量。因此,我们在三个公共基准测试中实现了最先进的性能,并证明了我们的仅RGB方法产生更高质量的视觉效果,并且不受卫星图像的规模,分辨率和城市密度的影响。
2021-11-19 cs.CV
LULC classification by semantic segmentation of satellite images using FastFCN
Military Institute of Science & Technology(军事科学技术研究院);Independent University, Bangladesh(孟加拉国独立大学)
本文分析了如何以及快速全卷积网络(FastFCN)语义分割卫星图像,从而分类土地利用/土地覆盖(LULC)类。在高分二号卫星(GID-2)数据集上,利用Fast-FCN算法对植被进行了5类分割:建筑群、草地、农田、水域和森林。结果显示,与使用FCN-8或eCognition(一种现成的软件)等其他方法相比,准确率(0.93)、精确率(0.99)、召回率(0.98)和平均交集(mIoU)(0.97)更好。我们对结果进行了比较。我们建议FastFCN是比其他现有的LULC分类方法更快,更准确的自动化方法。
2020-12-03 cs.CV cs.LG
TEA: Temporal Adaptive Satellite Image Semantic Segmentation
Institute of Computing Technology, Chinese Academy of Sciences(计算技术研究所,中国科学院)
TEA提出一种时间自适应的卫星图像语义分割方法,通过教师-学生模型和全序列重建提升模型在不同时间长度下的分割性能。
2026-01-08 cs.CV
A Joint Learning Framework with Feature Reconstruction and Prediction for Incomplete Satellite Image Time Series in Agricultural Semantic Segmentation
Central South University(中南大学);University of Twente(特文特大学)
提出联合学习框架,通过特征重建与预测处理不完整卫星图像时间序列,提升农业语义分割性能,在多个数据集上显著提高F1分数。
2025-05-25 cs.CV
WakeupUrban: Unsupervised Semantic Segmentation of Mid-20$^{th}$ century Urban Landscapes with Satellite Imagery
Tsinghua University, SIGS(清华大学 SIGS);National Supercomputing Center in Shenzhen(深圳国家超算中心);New York University Shanghai(纽约大学上海分校);Tsinghua University, DESS(清华大学 DESS);Sun Yat-sen University(中山大学)
WakeupUrban通过无监督语义分割框架WakeupUSM,利用历史卫星图像分析20世纪中叶城市景观,提升长期城市变化的定量研究能力。
2025-12-15 cs.CV
Evaluating the Efficacy of Cut-and-Paste Data Augmentation in Semantic Segmentation for Satellite Imagery
Sapienza University of Rome(罗马大学);Department of Computer, Control and Management Engineering(计算机、控制与管理工程系)
针对卫星图像语义分割中数据稀缺和类别不平衡问题,本文提出一种基于连通组件的剪切粘贴数据增强方法,在DynamicEarthNet数据集上使用U-Net模型将mIoU从37.9提升至44.1,显著增强了模型泛化能力。
2025-01-21 cs.CV cs.LG eess.IV
PaRK-Detect: Towards Efficient Multi-Task Satellite Imagery Road Extraction via Patch-Wise Keypoints Detection
从卫星图像中自动提取道路是遥感领域中一项基本而又具有挑战性的计算机视觉任务。基于像素的语义分割方法和基于图的方法是两种流行的方案。然而,现有的工作表明,基于语义分割的方法产生低连通性的道路图,而基于图的方法与迭代探索范式和较小的感受野更侧重于本地信息,也是耗时的不完善之处。在本文中,我们提出了一种新的多任务卫星图像道路提取方案,Patch-wise道路关键点检测(PaRK-Detect)。该框架基于D-LinkNet架构,采用关键点检测的结构,通过预测道路关键点的位置以及它们之间的相邻关系来构建道路图。同时,多任务框架还执行逐像素语义分割并生成道路分割掩模。我们对DeepGlobe、Massachusetts Roads和RoadTracer数据集上现有的最先进方法进行了评估,并取得了有竞争力或更好的结果。我们还证明了相当的推理速度方面的表现。
2023-02-26 cs.CV
SRMF: A Data Augmentation and Multimodal Fusion Approach for Long-Tail UHR Satellite Image Segmentation
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Haina Institute of Zhejiang University, Advanced Technology Institute, Zhejiang University(浙江大学海纳研究院、先进技术研究院);Binjiang Research Institute of Zhejiang University(浙江大学滨江研究院)
针对超高分辨率卫星图像语义分割中的长尾问题,提出SRMF框架,通过多尺度裁剪、语义重排序与重采样的数据增强策略,结合无需区域文本描述的多模态特征融合知识注入方法,有效提升了分割性能并在多个数据集上达到SOTA。
2025-04-28 cs.CV
Semi-Supervised Domain Adaptation for Semantic Segmentation of Roads from Satellite Images
Huawei Turkey R&D Center(华为土耳其研发中心)
本文提出了一种半监督分割方法从卫星图像中提取道路的初步研究结果。人工神经网络和图像分割方法是从卫星图像中提取道路数据的最成功的方法之一。然而,这些模型需要来自不同区域的大量训练数据来实现高准确率。在这些数据需要更多数量或质量的情况下,通过从不同来源获得的注释数据中转移知识来训练深度神经网络是一种标准方法。本研究提出一种利用半监督学习方法进行路径分割的方法。提出了一种基于伪标记和最小类混淆方法的半监督场自适应方法,并观察到它在目标数据集上的性能提高。
2022-12-26 cs.CV eess.IV
Task-Oriented Semantic Feature Transmission for Multi-Task Satellite Remote Sensing over Low-SNR Channels
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出一种任务导向的语义特征传输框架,绕过图像重建直接传输多任务预训练特征,在低信噪比信道下显著提升分类与检测性能。
2026-09-18 cs.CV cs.LG
Can SAM recognize crops? Quantifying the zero-shot performance of a semantic segmentation foundation model on generating crop-type maps using satellite imagery for precision agriculture
UC Riverside(加州大学河滨分校)
本文研究Meta AI的SAM模型在零样本条件下利用卫星影像生成作物类型图的性能,提出用聚类一致性指标评估其分割能力,发现SAM虽难以直接完成作物分类,但能快速准确勾勒田块轮廓,为精准农业提供低成本数据基础。
2023-12-04 cs.CV
DeepTriNet: A Tri-Level Attention Based DeepLabv3+ Architecture for Semantic Segmentation of Satellite Images
Military Institute of Science and Technology (MIST)(军事科学技术学院(MIST))
针对卫星图像中小尺度物体分割困难,提出基于三级注意力的DeepTriNet架构,结合SENet与TAU,在Land-Cover.ai和GID-2数据集上显著优于传统方法。
2023-09-05 cs.AI cs.CV cs.LG
Benchmarking Object Detectors under Real-World Distribution Shifts in Satellite Imagery
Qatar Computing Research Institute(卡塔尔计算研究所);College of Science and Engineering, HBKU(哈迈德·本·哈利法大学科学与工程学院)
针对卫星图像中目标检测器在真实世界分布偏移下的性能退化问题,提出RWDS基准数据集套件,涵盖气候带与灾害区域域偏移,用于评估和提升检测器的鲁棒性与泛化能力。
2025-03-24 cs.CV
Exact: Exploring Space-Time Perceptive Clues for Weakly Supervised Satellite Image Time Series Semantic Segmentation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
针对SITS作物制图像素级标注困难,提出弱监督Exact方法,通过空间线索与时间—类别交互生成基于线索的CAM以训练分割网络,性能达到全监督的95%。
2024-12-05 cs.CV
A Comprehensive Analysis of Weakly-Supervised Semantic Segmentation in Different Image Domains
University of Toronto(多伦多大学)
最近提出的弱监督语义分割方法在预测像素类方面取得了令人印象深刻的性能,尽管只使用缺乏位置信息的图像标签进行训练。由于图像注释更便宜,生成速度更快,因此弱监督比训练分割算法的完全监督更实用。这些方法主要用于解决自然场景图像的背景分离和部分分割问题,目前还不清楚它们是否可以简单地转移到其他具有不同特征的领域,如组织病理学和卫星图像,并且仍然表现良好。本文评估了最先进的弱监督语义分割方法对自然场景,组织病理学和卫星图像数据集,并分析了如何确定哪种方法是最适合于给定的数据集。我们的实验表明,组织病理学和卫星图像提出了一套不同的问题,弱监督语义分割比自然场景图像,如模糊的边界和类同现。方法在它们开发的数据集上表现良好,但在其他数据集上往往表现不佳。我们提出了一些实用的技术,这些方法看不见的数据集,并认为需要更多的工作,一个可推广的方法,弱监督语义分割。我们的完整代码实现可在GitHub上获得:https://github.com/lyndonchan/wsss-analysis。
2020-10-17 cs.CV
Generalize or Detect? Towards Robust Semantic Segmentation Under Multiple Distribution Shifts
ShanghaiTech University(上海科技大学);EPFL(洛桑联邦理工学院);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心)
针对开放世界语义分割中域偏移与语义偏移混杂的问题,提出生成式增强与不确定性重校准策略,实现OOD检测与域泛化双重最优。
2024-11-06 cs.CV
DAugNet: Unsupervised, Multi-source, Multi-target, and Life-long Domain Adaptation for Semantic Segmentation of Satellite Images
Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所);Centre National d’Études Spatiales(法国国家空间研究中心);LuxCarta Technology(LuxCarta科技公司);ACRI-ST(ACRI-ST公司)
卫星图像的领域自适应在分割大尺度卫星图像时克服了机器学习模型泛化能力的局限性,近年来得到了越来越多的关注。大多数现有的方法寻求适应模型从一个域到另一个域。然而,这样的单源和单目标设置阻止了方法成为可扩展的解决方案,因为如今具有不同数据分布的多个源和目标域通常是可用的。此外,卫星图像的不断扩散需要分类器,以适应不断增加的数据。我们提出了一种新的方法,创造DAugNet,无监督,多源,多目标,和终身的领域自适应的卫星图像。它由一个分类器和一个数据扩充器组成。数据增强器是一个浅层网络,能够以无监督的方式在多个卫星图像之间进行风格转换,即使随着时间的推移添加了新的数据。在每次训练迭代中,它为分类器提供了多样化的数据,这使得分类器对领域之间的大数据分布差异具有鲁棒性。我们广泛的实验证明,DAugNet比现有方法更好地推广到新的地理位置。
2020-06-07 cs.CV cs.LG eess.IV
DV3+HED+: A DCNNs-based Framework to Monitor Temporary Works and ESAs in Railway Construction Project Using VHR Satellite Images
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院);Institute of Remote Sensing and Digital Earth, Chinese Academy of Sciences(中国科学院遥感与数字地球研究所);Ping An Technology (Shenzhen) Co., Ltd(平安科技(深圳)有限公司);China Institute of Water Resources and Hydropower Research(中国水利水电科学研究院)
目前的VHR(甚高分辨率)卫星图像可以对地球进行详细的监测,并可以捕捉到正在进行的铁路建设工程。在本文中,我们提出了一个集成的框架,适用于监测在中国的铁路建设,使用QuickBird,GF-2和谷歌地球VHR卫星图像。我们还构建了一种新的基于DCNNs(深度卷积神经网络)的语义分割网络,以标记整个铁路建设项目中的临时工程,如取土场,营地,梁场和ESA(环境敏感区),如居民房屋使用VHR卫星图像。此外,我们使用HED边缘检测子网络来细化边界细节,并使用注意力交叉熵损失函数来拟合样本类别不均衡问题。我们的语义分割网络在572幅VHR真彩色图像上进行了训练,并在2015-2017年瑞九铁路沿线的15幅QuickBird真彩色图像上进行了测试。实验结果表明,与现有的国家的最先进的方法相比,我们的方法有明显的改善,总体准确率超过80%。
2019-08-29 cs.CV
PP-LinkNet: Improving Semantic Segmentation of High Resolution Satellite Imagery with Multi-stage Training
Grabtaxi Holdings(Grab出租车控股公司)
道路网络和建筑物足迹提取对于许多应用至关重要,例如更新地图、交通法规、城市规划、叫车、灾难响应\textit{etc}。绘制道路网络图目前既昂贵又劳动密集。最近,通过应用深度神经网络对图像分割的改进在从大规模、高分辨率卫星图像中提取道路段方面显示出有希望的结果。然而,由于缺乏足够的标记训练数据来构建用于工业级应用的模型,因此仍然存在重大挑战。在本文中,我们提出了一个两阶段的迁移学习技术,以提高卫星图像的语义分割的鲁棒性,该技术利用了从众包OpenStreetMap(OSM)数据自动(无需人工)获得的噪声伪地面真实掩模。我们进一步提出了金字塔池链接网络(PP-LinkNet),这是一种改进的深度神经网络,用于分割,使用焦点丢失,聚学习率和上下文模块。我们证明了我们的方法的优势,通过对三个流行的数据集在两个任务,即道路提取和建筑物足迹检测进行评估。具体来说,我们在SpaceNet建筑足迹数据集上获得了78.19\%的平均IoU,在SpaceNet和DeepGlobe道路提取数据集上分别获得了67.03\%和77.11\%的道路拓扑度量。
2020-10-14 cs.CV cs.LG eess.IV
Shift and matching queries for video semantic segmentation
Nagoya Institute of Technology(名古屋工业大学)
本文提出利用特征移位和查询匹配将基于查询的图像分割模型扩展至视频,以解决逐帧分割无法保持时间一致性的问题,在CityScapes-VPS和VSPW数据集上显著优于基线。
2024-10-10 cs.CV
Satellite Imagery Feature Detection using Deep Convolutional Neural Network: A Kaggle Competition
True Accord;Open Data Science(开放数据科学);AeroState
本文介绍了我们的方法,由Kaggle运行的DSTL卫星图像特征检测挑战。这项挑战的主要目标是对卫星图像中的不同类别进行准确的语义分割。我们的方法是基于适应的全卷积神经网络多光谱数据处理。此外,我们定义了几个修改的训练目标和整个训练管道,例如边界效应估计,我们还讨论了使用数据增强策略和反射率指数。我们的解决方案在419个参赛作品中获得第三名。它的准确性与前两个地方相当,但与这些解决方案不同的是,它不依赖于复杂的集成技术,因此可以很容易地扩展到生产中部署,作为卫星图像分析自动特征标记系统的一部分。
2017-06-19 cs.CV
Leveraging Segment Anything Model in Identifying Buildings within Refugee Camps (SAM4Refugee) from Satellite Imagery for Humanitarian Operations
Paris Lodron Universität Salzburg(巴黎洛顿萨尔茨堡大学)
本研究利用SAM及其轻量级适配版本SAM-Adapter从卫星影像中提取难民营建筑,在数据有限时优于U-Net和Transformer,并发现超分辨率放大可提升性能及加速收敛,代码已开源。
2024-07-16 cs.CV
IGraSS: Learning to Identify Infrastructure Networks from Satellite Imagery by Iterative Graph-constrained Semantic Segmentation
Biocomplexity Institute, University of Virginia(弗吉尼亚大学生物复杂性研究所);Department of Computer Science, University of Virginia(弗吉尼亚大学计算机科学系);Department Biomedical Systems Engineering, Washington State University(华盛顿州立大学生物医学系统工程系);Earth System Science Center, University of Alabama in Huntsville(阿拉巴马大学亨茨维尔分校地球系统科学中心)
提出IGraSS迭代框架,结合语义分割与图约束优化,将不可达运河段从18%降至3%,并提升道路网络完整性。
2025-06-11 cs.AI cs.CV
A Semantic Segmentation-guided Approach for Ground-to-Aerial Image Matching
Sapienza University of Rome(罗马智慧大学);European Space Agency (ESA)(欧洲空间局)
提出语义对齐网络SAN,融合卫星图像及其语义分割掩码,通过三流Siamese网络实现无GPS的地面-卫星图像匹配,在CVUSA数据集上提升各视场性能。
2024-05-23 cs.CV cs.LG
StandardGAN: Multi-source Domain Adaptation for Semantic Segmentation of Very High Resolution Satellite Images by Data Standardization
Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所);LuxCarta;Centre National d’Études Spatiales(法国国家空间研究中心);ACRI-ST
语义分割的领域自适应最近被积极研究,以提高深度学习模型的泛化能力。绝大多数的域自适应方法都是针对单源的情况,在这种情况下,在单个源域上训练的模型被适应到目标域。然而,这些方法具有有限的实际现实世界的应用,因为通常一个具有不同的数据分布的多个源域。在这项工作中,我们处理的多源域适应问题。我们的方法,即StandardGAN,对每个源和目标域进行分类,使所有数据具有相似的数据分布。然后,我们使用标准化的源域训练分类器和分割标准化的目标域。我们在两个遥感数据集上进行了广泛的实验,其中第一个由来自一个国家的多个城市组成,另一个包含来自不同国家的多个城市。我们的实验结果表明,StandardGAN生成的标准化数据允许分类器生成更好的分割。
2020-04-14 cs.CV cs.LG eess.IV
Enhancing DeepLabV3+ to Fuse Aerial and Satellite Images for Semantic Segmentation
Ibnou Zohr University(伊本·佐赫尔大学);INSA CVL(中央卢瓦尔河谷国立应用科学学院);University of Orleans(奥尔良大学);Polytech(综合理工学院)
本文通过引入转置卷积层块融合航空与卫星图像,增强DeepLabV3+架构,在LandCover.ai数据集上实现84.91%的mIoU,提升多模态语义分割性能。
2025-03-28 cs.AI cs.CV
AI for Agriculture: the Comparison of Semantic Segmentation Methods for Crop Mapping with Sentinel-2 Imagery
DeepPlanet(迪普兰特);Queen Mary University(伦敦玛丽女王大学)
本文针对低分辨率免费卫星影像下葡萄园纹理信息缺失导致的分割难题,评估了多种主流机器学习与语义分割方法的有效性,并为不同场景下的模型选择提供了指导。
2023-11-21 cs.CV eess.IV
Land Cover Semantic Segmentation Using ResUNet
NTUA(雅典国立技术大学);Harokopio University(哈科皮奥大学)
在本文中,我们提出了我们的工作,开发一个自动化系统的土地覆盖分类。该系统以一个地区的多波段卫星图像作为输入,并以与输入相同的分辨率输出该地区的土地覆盖图。为此,在预测卫星图像的土地覆盖语义分割的任务中训练了卷积机器学习模型。这是一个监督学习的例子。土地覆盖标签数据取自CORINE土地覆盖清单,卫星图像取自哥白尼中心。至于模型,采用了U-Net架构变体。我们感兴趣的地区是爱奥尼亚群岛(希腊)。我们从头开始创建了一个数据集,覆盖了这个特定的区域。此外,还从BigEarthNet数据集[1]进行了迁移学习。在[1]中,对卫星图像进行了简单的分类,但没有像我们一样进行分割。然而,他们的模型已经被训练成比我们大得多的数据集,所以我们应用了迁移学习,使用他们的预训练模型作为我们网络的第一部分,利用这些网络已经开发的能力从卫星图像中提取有用的特征(我们将预训练的ResNet 50转移到U-Res-Net)。除了迁移学习之外,还应用了其他技术来克服我们感兴趣的区域的小尺寸所设置的限制。我们使用了数据增强(将图像切割成重叠的小块,应用旋转和翻转等随机变换)和交叉验证。在《中图法》的3个类层次上进行了检验,并对不同方法的结果进行了比较研究。
2020-10-13 cs.CV cs.LG
U-net super-neural segmentation and similarity calculation to realize vegetation change assessment in satellite imagery
University of Shanghai for Science and Technology(上海理工大学);Indiana University Bloomington(印第安纳大学伯明顿分校);Tianjin University(天津大学);Suffolk University(萨福克大学)
植被是连接土壤、大气和水的天然纽带。它可以在一定程度上代表土地覆盖的变化,可以作为全球变化研究的一个指标。测量覆盖率的方法可分为两类:地面测量和遥感。由于植被覆盖具有显著的时空分异特征,遥感已成为估算植被覆盖的重要技术手段。本文首先利用U网对遥感图像进行语义分割训练,然后利用语义分割的结果,采用积分递进法计算林地变化率,最终实现林地变化率的自动化评价。
2019-09-10 cs.CV eess.IV
Semantic Segmentation in Satellite Hyperspectral Imagery by Deep Learning
Norwegian University of Science and Technology(挪威科技大学);University of Bucharest(布加勒斯特大学);Brno University of Technology(布尔诺理工大学)
本文训练测试20种高光谱多类别分割模型,提出仅利用光谱特征的轻量级1D-Justo-LiuNet,以4,563个参数达到0.93准确率,并在HYPSO-1与EO-1等卫星数据上验证其星载部署适用性。
2024-10-25 cs.CV eess.IV
Semantic Labeling of Large-Area Geographic Regions Using Multi-View and Multi-Date Satellite Images and Noisy OSM Training Labels
Purdue University(普渡大学)
本研究提出多视角训练框架与CNN架构,利用含噪OSM标签和多视角卫星影像实现大区域地理语义标注,提升了分割精度且具备推理高效、内存开销小、端到端自动化的优势。
2021-06-27 cs.CV cs.DC cs.LG
Label Calibration for Semantic Segmentation Under Domain Shift
The University of Edinburgh(爱丁堡大学);Samsung AI Center(三星人工智能中心)
针对域偏移导致预训练语义分割模型性能下降的问题,提出基于软标签原型的无监督适配方法,计算成本低且能显著提升性能,在合成到真实的语义分割任务中验证了有效性。
2023-07-20 cs.CV cs.LG stat.ML
Learning Semantic Segmentation with Query Points Supervision on Aerial Images
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
针对航空图像像素级标注昂贵的问题,提出利用查询点标注生成超像素伪标签的弱监督语义分割方法,在降低标注成本的同时取得接近全监督的性能。
2024-08-05 cs.AI cs.CV cs.LG
Semantic Neural Radiance Fields for Multi-Date Satellite Data
Fraunhofer Institute of Optronics, System Technologies and Image Exploitation(弗劳恩霍夫光学技术、系统技术和图像利用研究所)
提出一种卫星专用神经辐射场模型,利用多日期卫星图像和像素级语义标签生成三维语义表示,增强颜色预测并改善噪声标签,附带数据集和代码。
2025-02-24 cs.CV
Semantic Stereo for Incidental Satellite Images
The Johns Hopkins University(约翰斯·霍普金斯大学)
与严格任务的双目或三目一致收集相比,越来越普遍地使用附带卫星图像进行立体重建有助于及时实现全球规模的3D映射;然而,由于季节性外观差异和场景变化,来自多日期图像对的可靠立体对应仍然非常具有挑战性。最近有前途的工作表明,语义场景分割可以提供一个强大的正则化解决立体对应和重建问题的歧义。为了使成对语义立体和多视图语义3D重建与附带的卫星图像的研究,我们已经建立了一个大规模的公共数据集,包括多视图,多波段卫星图像和地面真理的几何和语义标签的两个大城市。为了证明立体声和分割任务的互补性,我们提出了适应最新技术水平的卷积神经网络模型的轻量级公共基线,并评估其性能。
2018-11-21 cs.CV
VectorSynth: Fine-Grained Satellite Image Synthesis with Structured Semantics
Washington University in St. Louis(华盛顿大学圣路易斯分校)
提出VectorSynth扩散框架,以带语义属性的多边形地理标注为条件实现像素级精确卫星图像合成,通过视觉语言对齐模块生成像素级嵌入引导生成,支持交互式工作流,在语义保真度和结构真实性上优于现有方法。
2025-11-11 cs.CV
GeoISF: Instance Semantic Forest Inspired Large-Scale Cross-View Geo-Localization via Ground LiDAR-to-Satellite Image
提出GeoISF管道,利用WordNet构建实例语义森林增强语义表示,弥合点云与卫星图像模态差异,在KITTI数据集上R@10指标比并行方法提升13.22倍。
2026-06-17 cs.CV
Progressively Growing Generative Adversarial Networks for High Resolution Semantic Segmentation of Satellite Images
Louisiana State University(路易斯安那州立大学);Northeastern University(东北大学);NASA Ames Research Center/BAERI(美国国家航空航天局艾姆斯研究中心/BAERI);BAER Institute(BAER研究所);NASA Ames Research Center(美国国家航空航天局艾姆斯研究中心)
机器学习已被证明在图像的分类和分割中是有用的。在本文中,我们评估了一种训练方法,用于在高分辨率卫星图像上使用生成对抗网络的渐进增长进行逐像素分割。我们应用我们的模型分割建筑物屋顶,并将这些结果与传统的屋顶分割方法进行比较。我们使用SpaceNet版本2数据集展示了我们的发现。渐进式GAN训练实现了93%的测试准确率,而传统GAN训练为89%。
2019-02-12 cs.CV
How to Reduce Localization Ambiguity? Geometry-Semantic Constrained BEV Representation Learning for Satellite-Ground Localization
The Hong Kong Polytechnic University(香港理工大学);Southern University of Science and Technology(南方科技大学);Wuhan University(武汉大学);The Chinese University of Hong Kong(香港中文大学);Huawei Technologies Co., Ltd(华为技术有限公司)
针对卫星-地面定位中的几何与描述符歧义,提出GeoSem-BEV方法,通过径向深度、垂直高度和共享语义监督约束BEV表示学习,显著降低方向误差。
2026-10-01 cs.CV
SpaceRipple: Lightweight Semantic Delivery for Mission-Oriented LEO Earth Observation Satellite Networks
Beijing University of Posts and Telecommunications(北京邮电大学)
提出SpaceRipple框架,通过感知卫星自适应压缩与元数据生成、边缘计算卫星语义恢复与推理,实现面向任务的轻量级语义传输,在节省带宽的同时提升语义检测性能。
2026-06-26 cs.AI cs.CV cs.GR
SGFormer: Satellite-Ground Fusion for 3D Semantic Scene Completion
Zhejiang University(浙江大学);Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
SGFormer首次提出卫星-地面协同的三维语义场景补全框架,通过双分支编码、地面视图引导校正和自适应加权策略,在SemanticKITTI与SSCBench-KITTI-360上超越现有方法。
2025-04-10 cs.CV cs.RO
Scale-Aware UAV-to-Satellite Cross-View Geo-Localization: A Semantic Geometric Approach
College of Aerospace Science and Engineering, National University of Defense Technology(航天工程学院,国防科技大学);Hunan Provincial Key Laboratory of Image Measurement and Vision Navigation(湖南省图像测量与视觉导航重点实验室);School of Information Science and Engineering, Lanzhou University(信息科学与工程学院,兰州大学)
本文提出一种基于语义几何的框架,通过利用小型车辆作为度量参考,恢复无人机图像的绝对尺度,从而提升无人机与卫星间跨视角地理定位的鲁棒性,并应用于被动高度估计和3D模型恢复。
2026-03-08 cs.CV
From Pixels to Semantics: A Multi-Stage AI Framework for Structural Damage Detection in Satellite Imagery
The Beacom College of Computer & Cyber Sciences, Dakota State University(达科他州立大学比康计算机与网络科学学院)
本文提出一种多阶段AI框架,结合超分辨率、目标检测和视觉-语言模型,提升灾害后建筑损坏评估的语义解读能力,通过CLIPScore和多模型策略提高检测可靠性。
2026-03-24 cs.CV
Supervised learning on graphs of spatio-temporal similarity in satellite image sequences
INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMATIQUE(法国国家信息与自动化研究所)
高分辨率卫星图像序列是由与众多和各种现象相关的时空模式组成的多维信号。贝叶斯方法先前已经在(Heas和Datcu,2005)中提出,以使用贝叶斯方法将卫星图像序列中包含的信息编码为图形表示。在此基础上,提出了一种基于时空模式的卫星图像序列语义监督学习方法。它能够识别和概率检索类似的事件。事实上,图形是附加到时空过程的统计模型,而时空过程又描述了所观察到的场景中的物理变化。因此,我们调整了一个参数模型,以表示用户特定的语义附加到时空现象的图形模式之间的相似性类型进行评估。学习步骤是通过用户提供的时空模式的例子附加到积极或/和消极的语义的相似性类型的增量定义。从这些示例中,使用贝叶斯网络和狄利克雷模型来推断概率。这使得能够将用户兴趣链接到图形模式之间的特定相似性模型。根据当前的学习状态,语义后验概率更新的所有可能的图形模式,使类似的时空现象可以识别和检索的图像序列。几个实验上进行的多光谱SPOT图像序列说明所提出的时空识别方法。
2007-09-20 cs.CV
Semantic Segmentation of Medium-Resolution Satellite Imagery using Conditional Generative Adversarial Networks
Radiant Earth Foundation(Radiant Earth基金会);Benson Hill(Benson Hill公司);Sunbird AI(Sunbird AI公司)
卫星图像的语义分割是识别模式和检测地球周围变化的常用方法。大多数最先进的语义分割模型都是使用卷积神经网络(CNN)以完全监督的方式进行训练的。对于卫星图像,CNN的泛化性能较差,因为数据在景观类型、图像分辨率以及不同地理和季节的标签稀缺性方面可能非常多样化。因此,CNN的性能并不能很好地转化为来自看不见的地区或季节的图像。受基于条件生成对抗网络(CGAN)的高分辨率卫星影像图像间转换方法的启发,提出了一种基于CGAN的中分辨率Sentinel-2影像土地覆盖分类框架。我们发现,CGAN模型优于CNN模型的相似的复杂性的显着保证金上看不见的不平衡的测试数据集。
2020-12-05 cs.CV cs.LG eess.IV