Subimage Overlap Prediction: Task-Aligned Self-Supervised Pretraining For Semantic Segmentation In Remote Sensing Imagery
Instacart;New York University(纽约大学);University of Washington(华盛顿大学)
本文提出子图像重叠预测任务,通过少量预训练数据提升遥感图像语义分割性能,实现更快收敛和同等或更优的mIoU表现。
2026-01-05 cs.AI cs.CV cs.LG
Urban feature analysis from aerial remote sensing imagery using self-supervised and semi-supervised computer vision
The University of Melbourne(墨尔本大学);Royal Netherlands Meteorological Institute (KNMI)(荷兰皇家气象研究所);University of Melbourne(墨尔本大学);Environment Protection Authority Victoria(维多利亚州环境保护局)
利用计算机视觉分析俯视图像是一个在学术文献中受到相当关注的问题。在这个领域中运行的大多数技术都是高度专业化的,并且需要对大型数据集进行昂贵的手动注释。这些问题在这里通过开发一个更通用的框架,结合表示学习的进步,它允许更灵活地分析新类别的图像有限的标记数据。首先,一个强大的表示的未标记的航空影像数据集创建的基础上的动量对比机制。这随后专门用于不同的任务,通过构建精确的分类器,只有200个标记的图像。从6000万张未标记的图像中成功地对10年来的城市基础设施演变进行了低水平检测,证明了我们的方法在推进定量城市研究方面的巨大潜力。
2022-08-17 cs.CV
Rapid Wildfire Hotspot Detection Using Self-Supervised Learning on Temporal Remote Sensing Data
LINKS Foundation(LINKS基金会);Politecnico di Torino(都灵理工大学)
提出基于自监督学习的多时相遥感模型及欧洲火灾数据集,实现近实时野火热点检测,F1分数达63.58。
2024-05-30 cs.CV
A generic self-supervised learning (SSL) framework for representation learning from spectra-spatial feature of unlabeled remote sensing imagery
Manchester Metropolitan University(曼彻斯特城市大学)
本文提出一种通用自监督学习框架,从无标签遥感影像的光谱-空间特征中学习表示,通过两个新预文本任务在Sentinel-2和超光谱数据集上显著提升下游任务性能。
2023-06-27 cs.CV
Self-supervised Audiovisual Representation Learning for Remote Sensing Data
Technical University of Munich(慕尼黑工业大学);Renmin University of China(中国人民大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
本文提出一种自监督视听表示学习方法,利用地理标记音频与遥感影像的对应关系预训练ResNet模型,无需人工标注,并在多个遥感数据集上微调验证其优于现有预训练策略。
2024-08-21 cs.CV
Rank-based Geographical Regularization: Revisiting Contrastive Self-Supervised Learning for Multispectral Remote Sensing Imagery
BIFOLD;TU Berlin(柏林技术大学);University of Trento(特伦托大学)
本文提出GeoRank,一种改进对比自监督学习的地理正则化方法,通过优化球面距离嵌入地理关系,提升多光谱遥感图像的特征学习效果。
2026-01-05 cs.CV
Weakly supervised marine animal detection from remote sensing images using vector-quantized variational autoencoder
INRAE(法国国家农业食品与环境研究院);AgroParisTech(巴黎高等农业学院)
提出基于 VQ-VAE 重建的弱监督航拍海洋动物检测框架,直接在输入空间计算异常指标,在两个专用数据集上优于现有方法并提升定位与可解释性。
2023-07-13 cs.CV
Cross-sensor self-supervised training and alignment for remote sensing
ESA Φ-lab(欧洲航天局 Φ-lab);CNAM(法国国立工艺学院);IGN(法国国家地理和林业信息局)
针对遥感基础模型跨传感器泛化难题,提出X-STARS框架,利用新损失MSAD对齐多分辨率表征,并在新数据集MSC-France上训练,在七项下游任务中以更少数据显著超越现有方法。
2025-06-24 cs.CV
Unsupervised Stereo Matching Network For VHR Remote Sensing Images Based On Error Prediction
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院)
针对遥感立体匹配监督数据集不足的问题,提出基于误差预测的VHR遥感影像无监督立体匹配网络,通过轻量化误差关联模块与鲁棒损失优化,在多数据集上实现优于现有无监督方法的精度与比监督模型更强的泛化能力。
2024-08-14 cs.CV
Look, Radiate, and Learn: Self-Supervised Localisation via Radio-Visual Correspondence
Nokia Bell Labs(诺基亚贝尔实验室)
下一代蜂窝网络将在常规通信的同时实现无线电传感功能,从而实现前所未有的全球户外传感覆盖。深度学习已经彻底改变了计算机视觉,但在无线电感知任务中的应用有限,部分原因是缺乏专门用于研究无线电感知性能和前景的系统数据集和基准。为了解决这一差距,我们提出了MaxRay:一个合成的无线电视觉数据集和基准,有助于在无线电中精确定位目标。我们还建议学习本地化目标在无线电中没有监督提取自坐标从无线电-视觉对应。我们使用这种自我监督的坐标来训练无线电定位器网络。我们根据许多最先进的基线来描述我们的表现。我们的研究结果表明,准确的无线电目标定位可以自动学习配对的无线电视觉数据没有标签,这是很重要的经验数据。这为巨大的数据可扩展性打开了大门,并可能成为在统一的通信感知蜂窝基础设施上实现强大的无线电传感承诺的关键。数据集将托管在IEEE数据端口上。
2023-03-29 cs.LG cs.NI
Evaluating Self and Semi-Supervised Methods for Remote Sensing Segmentation Tasks
Google Research India(谷歌印度研究院);Google LLC(谷歌有限责任公司)
自监督和半监督机器学习技术利用未标记的数据来提高下游任务性能。这些方法对于遥感任务特别有价值,因为制作标记的地面实况数据集可能非常昂贵,但可以轻松获得大量未标记的图像。我们进行了严格的评估Simplified,一种自我监督的方法,和FixMatch,一种半监督的方法,在三个遥感任务:河床分割,土地覆盖制图,洪水制图。当原始监督数据集之外的其他图像可用于训练时,我们量化了这些遥感分割任务的性能改进。我们还设计了实验来测试这些技术的有效性时,测试集是域转移到不同的地理区域的样本相比,训练和验证集。我们发现,这种技术显着提高泛化性能时,标记的数据是有限的,有地理域之间的训练数据和验证/测试数据的变化。
2022-06-19 cs.CV cs.LG
Semi-Supervised Fine-Tuning for Deep Learning Models in Remote Sensing Applications
提出了一种结合深度学习和半监督学习的方法来解决土地覆盖识别问题。所提出的方法展示了在训练期间使用SSL方法作为性能函数时对深度学习模型性能的影响。在正射图像的像素级分割任务中,所获得的结果表明SSL增强的损失函数可以有益于模型的性能。
2020-05-30 cs.CV cs.LG
Supervised Classification Performance of Multispectral Images
Madurai Kamaraj University(马杜赖卡马尔吉大学)
如今,政府和私人机构将遥感图像用于从军事应用到农业发展的广泛应用。这些图像可以是全色、多光谱、高光谱甚至超光谱的。遥感图像分类是遥感最重要的应用领域之一。一些图像分类算法在遥感数据分类中已被证明具有较好的精度。但是,近年来,随着遥感数据的时空维度的增加,传统的分类算法暴露出了不足,需要在遥感图像分类领域进行进一步的研究。因此,需要一个有效的分类器对遥感图像进行分类,提取信息。我们正在试验监督和非监督分类。在这里,我们比较不同的分类方法和它们的性能。实验结果表明,马氏分类器的分类效果最好。
2010-02-22 cs.CV cs.LG
Self-Supervised Learning of Remote Sensing Scene Representations Using Contrastive Multiview Coding
University of Banja Luka(巴尼亚卢卡大学)
近年来,自监督学习已成为无监督表示学习的一个有前途的候选者。在视觉领域,其应用主要是在自然场景图像的背景下研究的。然而,它的适用性在特定领域特别有趣,如遥感和医学,在这些领域很难获得大量的标记数据。本文对自监督学习在遥感图像分类中的应用进行了深入的分析。我们分析了用于自监督预训练的图像的数量和域对下游任务性能的影响。我们表明,对于遥感图像分类的下游任务,使用自监督的遥感图像预训练可以得到更好的结果比使用监督的预训练的图像的自然场景。此外,我们还表明,自我监督的预训练可以很容易地扩展到多光谱图像,在我们的下游任务中产生更好的结果。
2021-06-03 cs.CV
Supervised and Contrastive Self-Supervised In-Domain Representation Learning for Dense Prediction Problems in Remote Sensing
本文针对遥感密集预测问题中自然图像与遥感图像的领域差异,提出结合监督与自监督的域内表示学习方法,利用SimSiam算法在遥感数据上预训练,在语义分割和目标检测任务中取得最先进结果。
2023-01-29 cs.CV
Do we still need ImageNet pre-training in remote sensing scene classification?
University of Banja Luka(巴尼亚卢卡大学)
由于标记数据的稀缺性,使用ImageNet上预训练的监督模型是遥感场景分类的事实标准。近年来,随着高分辨率遥感图像数据集的不断涌现和自监督学习的发展,人们开始思考是否需要对ImageNet进行监督预训练,以及在目标遥感场景分类任务中,对HRRS图像数据集进行监督预训练和对ImageNet进行自监督预训练是否能取得更好的效果。为了回答这些问题,在本文中,我们从头开始训练模型,并在几个HRRS图像数据集上微调监督和自监督ImageNet模型。我们还评估了HRRS场景分类任务的学习表示的可转移性,并表明自监督预训练优于监督预训练,而HRRS预训练的性能与自监督预训练相似或略低。最后,我们建议使用ImageNet预训练模型结合使用域内HRRS图像的第二轮预训练,即域自适应预训练。实验结果表明,域自适应预训练的结果在HRRS场景分类基准上达到了最先进的结果。源代码和预训练模型可在\url{https://github.com/risojevicv/RSSC-transfer}上获得。
2022-05-25 cs.CV
NFANet: A Novel Method for Weakly Supervised Water Extraction from High-Resolution Remote Sensing Imagery
Hunan University(湖南大学);State Key Laboratory of Integrated Services Networks, Xidian University(西安电子科技大学综合业务网理论及关键技术国家重点实验室);Peng Cheng Laboratory(鹏城实验室);Australian National University(澳大利亚国立大学);University of Macau(澳门大学);Sichuan University(四川大学);Helmholtz-Zentrum Dresden-Rossendorf(亥姆霍兹德累斯顿-罗森多夫研究中心);Helmholtz Institute Freiberg for Resource Technology(亥姆霍兹弗莱贝格资源技术研究所)
使用深度学习进行水提取需要精确的像素级标签。然而,在像元级别上对高分辨率遥感图像进行标注是非常困难的。因此,我们研究如何利用点标签提取水体,并提出了一种新的方法称为邻居特征聚合网络(NFANet)。与像素级标签相比,点标签更容易获取,但会丢失大量信息。本文利用局部水体相邻像元之间的相似性,提出了一种邻域采样器对遥感图像进行重采样。然后,将采样的图像发送到网络进行特征聚合。此外,我们使用了一种改进的递归训练算法,进一步提高了提取精度,使水体边界更加自然。此外,我们的方法利用相邻的功能,而不是全局或局部功能,以学习更多的代表性的功能。实验结果表明,所提出的NFANet方法不仅优于其他研究的弱监督方法,但也获得了类似的结果,最先进的。
2022-01-10 cs.CV cs.LG
SAda-Net: A Self-Supervised Adaptive Stereo Estimation CNN For Remote Sensing Image Data
Graz University of Technology(格拉茨工业大学);German Aerospace Center (DLR)(德国航空航天中心)
针对遥感图像缺乏真实值数据的问题,本文提出自监督自适应立体估计网络SAda-Net,利用左右一致性检查生成并迭代更新伪真实值,以不一致点总和跟踪收敛,实现无需人工标注的立体估计。
2024-10-17 cs.CV cs.LG
Self-Supervised In-Domain Representation Learning for Remote Sensing Image Scene Classification
将ImageNet预训练的权重转移到各种遥感任务中,产生了可接受的结果,并减少了对标记样本的需求。然而,地面图像和遥感图像之间的领域差异导致这种迁移学习的性能受到限制。最近的研究表明,自监督学习方法捕获的视觉特征比监督的ImageNet权重更具鉴别力和可转移性。我们的动机是这些事实,使用对比自监督学习的遥感图像的域内表示进行预训练,并将学习到的功能转移到其他相关的遥感数据集。具体而言,我们使用SimSiam算法对遥感数据集的域内知识进行预训练,然后将获得的权重传递到其他场景分类数据集。因此,我们已经获得了国家的最先进的五个土地覆被分类数据集与不同数量的类和空间分辨率的结果。此外,通过进行适当的实验,包括使用具有不同属性的数据集进行特征预训练,我们已经确定了使数据集成为获取域内特征的良好选择的最有影响力的因素。我们已经将通过在遥感数据集上预训练SimSiam获得的特征转移到各种下游任务中,并将其用作微调的初始权重。此外,我们已经线性评估所获得的表示的情况下,每个类的样本数量是有限的。我们的实验已经证明,在自我监督的预训练阶段使用更高分辨率的数据集可以学习更多的区分性和一般性表示。
2023-02-03 cs.CV
Optical Remote Sensing Image Understanding with Weak Supervision: Concepts, Methods, and Perspectives
Hunan University(湖南大学);Xidian University(西安电子科技大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心)
近年来,监督学习被广泛应用于光学遥感图像理解的各种任务中,包括遥感图像分类、逐像素分割、变化检测和目标检测。基于监督学习的方法需要大量高质量的训练数据,其性能高度依赖于标签的质量。然而,在实际的遥感应用中,往往是昂贵的和耗时的大规模数据集获得高质量的标签,这导致了缺乏足够的监督信息。在某些情况下,只能获得粗粒度的标签,导致缺乏精确的监督。此外,人工获取的监管信息可能有误,导致监管不准确。因此,遥感图像理解往往面临着监督信息不完整、不准确、不准确的问题,影响着遥感应用的广度和深度。为了解决上述问题,研究人员探索了弱监督下遥感图像理解的各种任务。综述了遥感领域弱监督学习的研究进展,包括3种典型的弱监督范式:1)不完全监督,即只给训练数据的一个子集加标签; 2)不精确监督,即只给训练数据的粗粒度标签; 3)不精确监督,即给出的标签在地面上并不总是正确的。
2022-04-18 cs.CV
Single-Temporal Supervised Learning for Universal Remote Sensing Change Detection
LIESMARS, Wuhan University(武汉大学LIESMARS);Stanford University(斯坦福大学)
针对双时相遥感变化检测标注成本高的问题,提出单时相监督学习方法STAR,搭配统一架构的ChangeStar2检测器,仅用未配对标注图像训练即可泛化到真实双时相场景,在8个公开数据集上取得SOTA性能。
2024-06-22 cs.CV
Harnessing Self-Supervised Deep Learning and Geostationary Remote Sensing for Advancing Wildfire and Associated Air Quality Monitoring: Improved Smoke and Fire Front Masking using GOES and TEMPO Radiance Data
Spatial Informatics Group, LLC.(空间信息集团有限责任公司);ADNET systems, INC.(ADNET系统公司);NASA Langley Research Center(美国国家航空航天局兰利研究中心);University at Albany(奥尔巴尼大学)
本研究利用NASA TEMPO卫星任务的每小时数据和自监督深度学习,提出了一种创新系统,通过GOES-18和TEMPO数据有效区分烟雾与云层,实时绘制野火火锋和烟雾羽流,显著优于现有业务产品。
2025-10-10 cs.AI cs.CV cs.LG
Domain Adaptable Self-supervised Representation Learning on Remote Sensing Satellite Imagery
Luleå Tekniska Universitet(吕勒奥理工大学);Chandigarh College of Engineering and Technology(昌迪加尔工程技术学院);Punjab University(旁遮普大学)
提出面向遥感卫星图像的领域自适应对比自监督表征迁移框架,通过源域预训练与目标域轮询下游任务,在 UCMD、SIRI-WHU 和 MLRSNet 上以高标签效率超越全监督方法。
2023-04-19 cs.CV
In-Domain Self-Supervised Learning Improves Remote Sensing Image Scene Classification
Bias Variance Labs(偏差方差实验室);Faculty of Computer Science and Engineering, University ’Ss. Cyril and Methodius’(圣西里尔与美多德大学计算机科学与工程学院);Jozef Stefan Institute(约瑟夫· Stefan 研究所);University of Cambridge(剑桥大学)
本文研究域内自监督预训练对遥感图像分类的作用,采用iBOT框架在Million-AID数据集上训练,经14个下游数据集验证,该方法优于标准预训练策略。
2024-02-05 cs.CV
Scribble-based Weakly Supervised Deep Learning for Road Surface Extraction from Remote Sensing Images
利用深度学习方法从遥感图像中提取道路表面已经取得了良好的性能,而现有的大多数方法都是基于完全监督学习的,这需要大量的训练数据和费力的逐像素标注。在本文中,我们提出了一种基于涂鸦的弱监督道路表面提取方法,名为ScRoadExtractor,它从易于访问的涂鸦(例如中心线)中学习,而不是从密集注释的道路表面地面实况中学习。为了将语义信息从稀疏的涂鸦传播到未标记的像素,我们引入了一种道路标签传播算法,该算法同时考虑了道路网络的基于缓冲区的属性和超像素的颜色和空间信息。利用道路标签传播算法生成的建议模板训练一个由语义分割分支和辅助边界检测分支组成的双分支编解码器网络。我们在三个不同的道路数据集上进行实验,这些数据集由世界各地的高分辨率遥感卫星和航空图像组成。结果表明,ScRoadExtractor在交集(IoU)指标上超过经典的涂鸦监督分割方法20%,并且优于最先进的基于涂鸦的弱监督方法至少4%。
2020-10-25 cs.CV
Remote Sensing Image Scene Classification with Self-Supervised Paradigm under Limited Labeled Samples
Central South University(中南大学)
随着深度学习的发展,监督学习方法在遥感影像场景分类中取得了良好的效果。然而,监督学习需要大量的注释数据进行训练。当标记的样本不够时,最常见的解决方案是使用大型自然图像数据集(例如ImageNet)微调预训练模型。然而,这种学习范式并不是万能的,特别是当目标遥感图像(例如多光谱和高光谱数据)具有与RGB自然图像不同的成像机制时。为了解决这个问题,我们引入了新的自监督学习(SSL)机制,以获得高性能的预训练模型,从大规模的未标记数据的RSIs场景分类。在三个常用的RSIs场景分类数据集上的实验表明,这种新的学习范式优于传统的主流ImageNet预训练模型。此外,我们分析了SSL中的几个因素对RSIs场景分类任务的影响,包括自监督信号的选择,源和目标数据集之间的域差异,以及预训练数据的量。从我们的研究中提炼出的见解可以帮助促进SSL在遥感界的发展。由于SSL可以从非常容易获得的未标记的大量RSI中学习,因此它将是一种潜在的有希望的方法,以减轻对标记样本的依赖,从而有效地解决许多问题,例如全局映射。
2020-10-02 cs.CV
Debiased Learning for Remote Sensing Data
University of California, Berkeley(加州大学伯克利分校);University of Michigan, Ann Arbor(密歇根大学安娜堡分校);Etegent Technologies, Ltd.(Etegent科技有限公司);National Geospatial-Intelligence Agency(国家地理空间情报局)
针对遥感数据标注稀缺问题,提出适配FixMatch的去偏半监督方法,通过设计域增强和去除标签偏差,仅用30%标注在xView上提升7.1%准确率。
2023-12-24 cs.CV
Joint multi-modal Self-Supervised pre-training in Remote Sensing: Application to Methane Source Classification
针对遥感任务标注数据需求大的问题,本文探究利用多传感器遥感数据的多模态特性开展自监督预训练,评估了联合嵌入方法训练的编码器在甲烷源分类任务上的性能。
2023-06-16 cs.CV
Task-Related Self-Supervised Learning for Remote Sensing Image Change Detection
Northwestern Polytechnical University(西北工业大学)
遥感影像变化检测在城市变化检测、灾害评估等领域有着广泛的应用。然而,大多数现有的基于CNN的变化检测方法仍然存在伪变化抑制不足和特征表示不足的问题。本文提出了一种基于平滑机制的任务相关自监督学习变化检测网络(TSLCD)的无监督变化检测方法,主要贡献包括:(1)引入任务相关自监督学习模块,更有效地提取空间特征。(2)应用硬样本挖掘损失函数来更多地关注难以分类的样本。(3)利用平滑机制来去除一些伪变化和噪声。在四个遥感变化检测数据集上的实验表明,所提出的TSLCD方法实现了最先进的变化检测任务。
2021-05-23 cs.CV eess.IV
Change is Everywhere: Single-Temporal Supervised Object Change Detection in Remote Sensing Imagery
Wuhan University(武汉大学)
本文提出单时相监督学习(STAR)框架,利用非成对图像中的目标变化作为监督信号,并设计ChangeStar检测器,仅需非成对标注图像即可训练高精度变化检测器,显著优于基线。
2023-10-14 cs.CV
Pattern Integration and Enhancement Vision Transformer for Self-Supervised Learning in Remote Sensing
Chinese Academy of Surveying and Mapping(中国测绘科学研究院);Emory University(埃默里大学);University of Science and Technology Beijing(北京科技大学)
针对遥感图像缺乏显著目标的问题,提出PIEViT框架,利用教师-学生架构和地理空间模式凝聚及特征整合模块,增强补丁特征表示,在目标检测、语义分割和变化检测中超越现有自监督方法。
2024-11-09 cs.CV
Distributionally Robust Semi-Supervised Learning for People-Centric Sensing
University of New South Wales(新南威尔士大学);Monash University(莫纳什大学);University of Technology Sydney(悉尼科技大学);Griffith University(格里菲斯大学)
半监督学习对于减轻以人为中心的感知中的标签负担至关重要。然而,由于人类的不同生物条件和行为模式,人类生成的数据固有地遭受半监督学习中的分布偏移。为了解决这个问题,我们提出了一个通用的分布鲁棒模型的半监督学习分布移位数据。考虑到标记数据和未标记数据之间的差异性和一致性,我们学习潜在特征,减少特定于人的差异和保持特定于任务的一致性。我们在现实世界数据集上的各种以人为本的识别任务中评估了我们的模型,包括意图识别,活动识别,肌肉运动识别和手势识别。实验结果表明,该模型优于现有的方法。
2018-11-12 cs.CV cs.HC
Adaptively Augmented Consistency Learning: A Semi-supervised Segmentation Framework for Remote Sensing
University of Sydney(悉尼大学);Beijing Technology and Business University(北京工商大学)
针对遥感图像标注数据稀缺导致分割困难的问题,提出半监督分割框架AACL,通过USAug和AdaCM提取未标注图像信息,在多个数据集上性能显著提升。
2024-11-14 cs.CV
Active Learning Guided Fine-Tuning for enhancing Self-Supervised Based Multi-Label Classification of Remote Sensing Images
BIFOLD - Berlin Institute for the Foundations of Learning and Data(BIFOLD——柏林学习与数据基础研究所)
该研究提出将主动学习与自监督预训练结合,通过迭代选择信息样本引导微调,以提升遥感图像多标签分类性能,尤其在类别不平衡场景下效果显著。
2023-06-21 cs.CV
SAMST: A Transformer framework based on SAM pseudo label filtering for remote sensing semi-supervised semantic segmentation
Zhejiang University(浙江大学);Zhejiang Dahua Technology Co., Ltd(浙江大华技术有限公司)
本文提出SAMST,一种基于SAM伪标签过滤的遥感半监督语义分割Transformer框架,通过结合大模型泛化能力与小模型训练效率迭代优化伪标签,提升分割性能。
2025-07-16 cs.CV
Scribble-based Boundary-aware Network for Weakly Supervised Salient Object Detection in Remote Sensing Images
University of Electronic Science and Technology of China(电子科技大学);Inception Institute of Artificial Intelligence (IIAI)(人工智能初始研究所);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
现有的基于CNN的显著目标检测(SOD)严重依赖于大规模像素级标注,这是劳动密集型的,耗时的,并且昂贵。相比之下,稀疏注释变得对突出的目标检测社区有吸引力。然而,很少有人致力于学习显着的目标检测稀疏注释,特别是在遥感领域。此外,稀疏注释通常包含很少的信息,这使得训练性能良好的模型具有挑战性,导致其性能大大落后于全监督模型。虽然一些SOD方法采用一些先验线索来提高检测性能,但它们通常缺乏对对象边界的有针对性的区分,从而提供边界定位较差的显著图。为此,在本文中,我们提出了一种新的弱监督显着目标检测框架来预测显着性的遥感图像稀疏潦草的注释。为了实现它,我们首先构建基于涂鸦的遥感显著性数据集,通过重新标记现有的大规模SOD数据集与涂鸦,即S-EOR数据集。在此基础上,我们提出了一种新的基于涂鸦的边界感知网络(SBA-Net)的遥感显著目标检测。具体来说,我们设计了一个边界感知模块(BAM)来探索对象边界语义,该语义由边界标签生成(BLG)模块生成的高置信度对象边界(伪)标签显式监督,迫使模型学习突出对象结构的特征,从而提高对象的边界定位。然后,边界语义与高层特征相结合,指导涂鸦标签监督下的显著目标检测。
2022-02-07 cs.CV
X-ModalNet: A Semi-Supervised Deep Cross-Modal Network for Classification of Remote Sensing Data
German Aerospace Center(德国航空航天中心);Technical University of Munich(慕尼黑工业大学);The University of Tokyo(东京大学);RIKEN(日本理化学研究所);Wuhan University(武汉大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);INRIA(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院)
本文研究了遥感中有限跨模态数据的半监督迁移学习问题。大量的多模式地球观测图像,如多光谱图像(MSI)或合成孔径雷达(SAR)数据,在全球范围内公开提供,使分析全球城市场景通过遥感图像。然而,由于嘈杂的收集环境和差的判别信息以及有限数量的良好注释的训练图像,它们在识别材料(逐像素分类)方面的能力仍然有限。为此,我们提出了一种新的跨模态深度学习框架,称为X-ModalNet,具有三个精心设计的模块:自对抗模块,交互式学习模块和标签传播模块,通过学习将更多的区分信息从小规模高光谱图像(HSI)转移到使用大规模MSI或SAR数据的分类任务中。值得注意的是,X-ModalNet的泛化能力很好,因为它在网络顶部的高级特征构建的可更新图上传播标签,从而产生半监督的跨模态学习。我们在两个多模态遥感数据集(HSI-MSI和HSI-SAR)上评估了X-ModalNet,并与几种最先进的方法相比取得了显着的改进。
2020-07-11 cs.CV
ReSAM: Refine, Requery, and Reinforce: Self-Prompting Point-Supervised Segmentation for Remote Sensing Images
本文提出ReSAM框架,通过自提示点监督方法改进SAM在遥感图像上的分割性能,利用稀疏点注释提升模型的泛化能力,实验证明在三个遥感数据集上均优于现有方法。
2026-03-28 cs.CV
Global and Local Contrastive Self-Supervised Learning for Semantic Segmentation of HR Remote Sensing Images
Central South University(中南大学);Wuhan University(武汉大学);Southwest Jiaotong University(西南交通大学)
用于语义分割的监督学习需要大量的标记样本,这在遥感领域是很难获得的。自监督学习(SSL)可以用来解决这样的问题,通过用大量未标记的图像预训练一个通用模型,然后用很少的标记样本在下游任务上对其进行微调。对比学习是SSL的一种典型方法,它可以学习一般的不变特征。然而,大多数现有的对比学习方法被设计用于分类任务以获得图像级表示,这对于需要像素级区分的语义分割任务来说可能是次优的。因此,我们提出了一种全局风格和局部匹配的对比学习网络(GLCNet)的遥感图像语义分割。具体而言,1)全局风格对比学习模块用于更好地学习图像级表示,因为我们认为风格特征可以更好地表示整体图像特征。2)局部特征匹配对比学习模块用于学习局部区域的表示方法,有利于语义分割。实验结果表明,我们的方法在很大程度上优于SOTA自监督方法和ImageNet预训练方法。具体来说,从原始数据集的1\ %的注释,我们的方法提高Kappa 6\ %的ISPRS波茨坦数据集相对于现有的基线。此外,我们的方法优于监督学习方法时,有上游任务和下游任务的数据集之间的一些差异。由于SSL可以直接从未标记的数据中学习数据的本质特征,这在遥感领域很容易获得,这对于全球制图等任务可能具有重要意义。源代码可在www.example.com上获得。
2022-01-29 cs.CV
Self-supervised remote sensing feature learning: Learning Paradigms, Challenges, and Future Works
Central South University(中南大学);Southwest Jiaotong University(西南交通大学)
该研究从特征学习信号角度对比无监督、监督、自监督三类遥感特征学习范式,提出统一框架,综述自监督遥感特征学习的现有研究,分析相关影响因素,并指出未来研究方向。
2022-11-15 cs.AI cs.CV
A survey of active learning algorithms for supervised remote sensing image classification
University of València(瓦伦西亚大学);University of Lausanne(洛桑大学);SARMAP SA(SARMAP公司)
定义一个有效的训练集是遥感图像分类例程成功的最微妙的阶段之一。问题的复杂性,有限的时间和财务资源,以及高的类内方差,如果用次优数据集训练算法,可能会导致算法失败。主动学习旨在通过采样迭代地提高模型性能来构建有效的训练集。一个用户定义的启发式排名未标记的像素根据其类成员的不确定性的函数,然后用户被要求提供最不确定的像素的标签。本文回顾和测试了主动学习算法的主要家族:委员会,大边缘和后验概率为基础的。对于每一个,在遥感界的最新进展进行了讨论,并详细介绍和测试了一些化学。几个具有挑战性的遥感场景,包括非常高的空间分辨率和高光谱图像分类。最后,为新用户和/或没有经验的用户提供了选择好的体系结构的指南。
2021-04-15 cs.CV
Weakly-supervised ROI extraction method based on contrastive learning for remote sensing images
Beijing Foreign Studies University(北京外国语大学)
针对遥感图像ROI提取中地形复杂、标注昂贵且弱监督方法精度不足的问题,提出基于对比学习的两步法,利用多尺度Grad-CAM生成伪标注并对比学习分离前景背景,实验验证其优越性。
2023-05-10 cs.CV
C2F-SemiCD: A Coarse-to-Fine Semi-Supervised Change Detection Method Based on Consistency Regularization in High-Resolution Remote Sensing Images
针对遥感图像变化检测标注成本高的问题,提出基于一致性正则化的半监督方法C2F-SemiCD,通过多尺度注意力网络C2FNet与均值教师机制实现由粗到细的特征提取,在三个数据集上验证了其高效性。
2024-04-22 cs.CV
Feature Guided Masked Autoencoder for Self-supervised Learning in Remote Sensing
Technical University of Munich (TUM)(慕尼黑工业大学);German Aerospace Center (DLR)(德国航空航天中心);Munich Center for Machine Learning(慕尼黑机器学习中心)
针对MAE在遥感图像中过度关注像素细节、语义理解不足的问题,提出FG-MAE,通过重建HOG和NDI等特征提升自监督预训练效果,并在SAR和多光谱图像上验证其有效性。
2023-10-28 cs.CV
Semi-Supervised Object Detection with Uncurated Unlabeled Data for Remote Sensing Images
Southwest Jiaotong University(西南交通大学);I2R, A-STAR(A*STAR资讯通信研究院);South China University of Technology(华南理工大学);Beihang University(北京航空航天大学)
针对遥感图像半监督目标检测中无标注数据混有分布外样本的问题,提出基于类别特征库与自适应阈值的开集半监督检测方法,在DIOR和DOTA数据集上取得更优性能。
2023-10-09 cs.CV
Hierarchical Semi-Supervised Active Learning for Remote Sensing
Chair of Data Science in Earth Observation, Technical University of Munich(地球观测数据科学教授职位,慕尼黑技术大学)
本文提出层次化半监督主动学习框架,通过整合半监督学习和层次化主动学习,在遥感场景分类中实现高效样本选择,显著提升模型性能。
2025-12-01 cs.CV
Boosting Semi-Supervised Object Detection in Remote Sensing Images With Active Teaching
Wuhan University(武汉大学);School of Computer Science, Wuhan University(武汉大学计算机学院)
本文提出SSOD-AT主动教学方法,结合RoICM高置信伪标签、不确定性选图与目标原型多样性筛选,提升遥感图像半监督目标检测。
2024-02-29 cs.CV
Scribble-Supervised Target Extraction Method Based on Inner Structure-Constraint for Remote Sensing Images
Beijing Foreign Studies University(北京外国语大学)
针对遥感图像涂鸦监督目标提取中标注稀疏导致结构识别困难的问题,提出基于内部结构约束的方法,通过变形一致性损失和可训练主动轮廓损失优化网络,优于五种最先进算法。
2023-05-18 cs.AI cs.CV
Seasonal Contrast: Unsupervised Pre-Training from Uncurated Remote Sensing Data
Element AI;Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
遥感和自动地球监测是解决灾害预防、土地利用监测或应对气候变化等全球性挑战的关键。虽然存在大量的遥感数据,但其中大部分是未标记的,因此监督学习算法无法访问。迁移学习方法可以减少深度学习算法的数据需求。然而,大多数这些方法都是在ImageNet上进行预训练的,由于领域差距,它们对遥感图像的推广并不能得到保证。在这项工作中,我们提出了季节对比度(SeCo),这是一种有效的管道,可以利用未标记的数据进行遥感表示的域内预训练。SeCo管道由两部分组成。首先,一个原则性的程序来收集大规模的,未标记的和未经策划的遥感数据集,其中包含来自不同时间戳的多个地球位置的图像。第二,一个自我监督的算法,利用时间和位置的不变性来学习遥感应用的可转移表示。我们的经验表明,使用SeCo训练的模型在多个下游任务上的性能优于ImageNet预训练的模型和最先进的自监督学习方法。SeCo中的数据集和模型将予以公布,以便利迁移学习,并使遥感应用能够迅速取得进展。
2021-05-03 cs.CV
C-SAW: Self-Supervised Prompt Learning for Image Generalization in Remote Sensing
Indian Institute of Technology Bombay(印度理工学院孟买分校)
针对光学遥感图像的领域和类别泛化问题,提出C-SAW方法,通过自监督损失和强调领域及内容特征的提示学习技术,增强CLIP的视觉特征表达能力,在多个遥感基准上取得优越性能。
2023-11-27 cs.CV
Weakly Supervised Semantic Segmentation of Remote Sensing Images for Tree Species Classification Based on Explanation Methods
Technische Universitaet Berlin(柏林工业大学)
在实际林业应用中,收集大量基于像素的标记训练样本用于树种识别是耗时且昂贵的。为了解决这个问题,在本文中,我们研究了深度神经网络的解释方法在仅使用图像级标签执行弱监督语义分割中的有效性。具体来说,我们考虑四种方法:i)类激活图(CAM); ii)基于梯度的CAM; iii)像素相关模块; iv)自增强图(SEM)。我们比较这些方法彼此使用定量和定性的措施,他们的分割精度,以及他们的计算要求。航空影像档案上获得的实验结果表明:i)考虑解释技术是高度相关的树种识别与弱监督;和ii)SEM优于其他考虑的方法。本文的代码可在https://git.tu-berlin.de/rsim/rs_wsss上公开获取。
2022-01-19 cs.CV
Single Image Compressed Sensing MRI via a Self-Supervised Deep Denoising Approach
The University of Queensland(昆士兰大学);School of Electrical Engineering and Computer Science(电气工程与计算机科学学院)
本文提出一种单图像自监督CS-MRI框架,通过联合深度与稀疏正则化抑制结构化伪影,在脑和膝关节数据上使PSNR平均提升2-4dB。
2023-11-22 cs.CV eess.IV
Scalable Label-efficient Footpath Network Generation Using Remote Sensing Data and Self-supervised Learning
University of Melbourne(墨尔本大学);Swinburne University of Technology(斯威本科技大学)
本文提出一种基于遥感图像和自监督学习的低成本人行道网络自动生成流水线,通过预训练编码器与U-Net分割减少标注需求,并将分割掩膜转换为GIS可加载的人行道网络。
2023-09-18 cs.CV
Self-Supervision, Remote Sensing and Abstraction: Representation Learning Across 3 Million Locations
University of Melbourne(墨尔本大学)
基于自我监督的深度学习分类方法在学术文献中受到了相当大的关注。然而,这些方法在遥感图像领域的性能仍然没有得到充分的探索。在这项工作中,我们探索对比表示学习方法的任务,基于图像的城市分类,在城市计算的一个重要问题。我们使用卫星和地图图像覆盖2个领域、300万个地点和1500多个城市。我们发现,自监督方法可以从200个城市中构建一个可推广的表示,在看不见的城市中,表示的准确率超过95%,只需最少的额外训练。我们还发现,这种方法的性能差异,相比监督方法,自然图像和抽象图像之间的域差异引起的遥感图像是显着的。我们将所有分析与来自学术文献的现有监督模型进行比较,并将我们的模型开源,以获得更广泛的使用和进一步的批评。
2022-03-08 cs.CV