Robust Semantic Segmentation By Dense Fusion Network On Blurred VHR Remote Sensing Images
Shenzhen Institutes of Advanced Technology, CAS(中国科学院深圳先进技术研究院);Beijing Futong Dongfang Technology Co, Ltd(北京富通东方科技有限公司);Beijing University of Chemical Technology(北京化工大学)
无人机遥感影像的鲁棒语义分割对于地球观测、土地利用、土地覆盖或制图等应用具有重要意义。阴影、天气干扰和相机抖动等多种因素使得这个问题极具挑战性,特别是仅使用RGB图像。在本文中,我们提出了使用多模态数据,包括近红外,RGB和DSM的模糊或部分损坏的VHR遥感图像,以增加分割的鲁棒性。通过提出一个级联的密集编码器-解码器网络和基于SELayer的融合和组装技术,所提出的RobustDenseNet实现了稳定的性能,当图像质量下降,与最先进的语义分割模型相比。
2020-12-01 cs.CV
Contextual Learning in Fourier Complex Field for VHR Remote Sensing Images
Chongqing University of Posts and Telecommunications(重庆邮电大学);Xidian University(西安电子科技大学)
甚高分辨率(VHR)遥感(RS)图像分类是遥感图像分析和理解的基础性工作。最近,基于transformer的模型表现出出色的潜力,学习高阶上下文关系的自然图像与一般分辨率(224 × 224像素),并取得了显着的成果一般图像分类任务。然而,朴素Transformer的复杂性随着图像大小的增加而二次增长,这阻止了基于变换的模型进行VHR RS图像(500 × 500像素)分类和其他计算上昂贵的下游任务。为此,我们建议通过离散傅立叶变换(DFT)将昂贵的自注意力(SA)分解为实部和虚部,从而提出一种有效的复杂自注意力(CSA)机制。利用DFT的共轭对称性质,CSA能够以不到朴素SA一半的计算量来建模高阶上下文信息。为了克服傅立叶复场中的梯度爆炸,我们用精心设计的Logmax函数代替Softmax函数来规范CSA的注意力图并稳定梯度传播。通过堆叠不同层次的CSA块,我们提出了傅立叶复Transformer(FCT)模型来学习全局上下文信息的VHR航空图像以下的分层方式。在常用的遥感分类数据集上进行的通用实验证明了FCT的有效性和效率,特别是在非常高分辨率的遥感图像上。
2022-10-28 cs.CV
A Dual Neighborhood Hypergraph Neural Network for Change Detection in VHR Remote Sensing Images
甚高空间分辨率遥感影像是监测地表变化的重要手段。然而,由于地面物体之间关系的复杂性,精确检测VHR图像中的相关变化仍然是一个挑战。为了解决这一问题,本文提出了一种双邻域超图神经网络,它结合了多尺度超像素分割和超图卷积来建模和利用复杂的关系。首先,在两个尺度下对双时图像对进行分割,并将其馈送到预先训练好的U-网络,通过将细尺度下的每个对象视为节点来获得节点特征。然后使用分割对象的父子关系和相邻关系来定义对偶邻域以构建超图,这允许模型表示比成对关系复杂得多的高阶结构化信息。对构造的超图进行超图卷积,通过节点-边-节点变换将标记信息从少量标记节点传播到其他未标记节点。此外,为了解决样本不平衡的问题,采用了焦点损失函数对超图神经网络进行训练。在光学、SAR和异构光学/SAR数据集上的实验结果表明,该方法具有更好的有效性和鲁棒性。
2022-02-27 cs.CV
RS-Mamba for Large Remote Sensing Image Dense Prediction
Nanjing University(南京大学);School of Geography and Ocean Science, Nanjing University(南京大学地理与海洋科学学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对大尺寸超高分辨率遥感影像密集预测中Transformer模型计算复杂度高、裁剪图块损失上下文的问题,提出带全向选择性扫描的RSM模型,以线性复杂度实现全局上下文建模,在相关任务上取得SOTA性能,效率精度优于Transformer模型。
2024-04-10 cs.CV
A Novel Multi-scale Attention Feature Extraction Block for Aerial Remote Sensing Image Classification
The University of Melbourne(墨尔本大学);Indian Institute of Technology Bombay(印度理工学院孟买分校)
针对甚高分辨率航空遥感图像中复杂小物体表征能力有限导致性能不稳定的问题,提出一种基于多尺度卷积和跳跃连接的即插即用多尺度注意力特征提取块,在AID和NWPU数据集上实现了稳定且优异的分类性能。
2023-08-27 cs.CV
Segment Change Model (SCM) for Unsupervised Change detection in VHR Remote Sensing Images: a Case Study of Buildings
State Key Laboratory of Information Engineering in Surveying, Mapping;Remote Sensing, Wuhan University, Wuhan 430079, China
本文提出基于SAM和CLIP的无监督变化检测模型SCM,通过多尺度特征重校准、自顶向下融合及PSA语义注意力抑制伪变化,在LEVIR-CD和WHU-CD上显著提升mIoU。
2024-09-06 cs.CV
Prompting DirectSAM for Semantic Contour Extraction in Remote Sensing Images
College of Computer Science and Software Engineering, Hohai University(河海大学计算机与软件学院);Hong Kong University of Science and Technology(香港科技大学);School of Computer and Electronic Information, Nanjing Normal University(南京师范大学计算机与电子信息学院);School of Information and Communication Technology, Griffith University(格里菲斯大学信息与通信技术学院)
本研究针对遥感图像语义轮廓提取现有方法依赖小数据集训练专用模型的问题,基于DirectSAM构建集成提示器模块的DirectSAM-RS,搭配超3.4万三元组的大规模数据集,在零样本和微调设置下均达SOTA性能。
2024-10-08 cs.CV
Explicit Change Relation Learning for Change Detection in VHR Remote Sensing Images
Nanjing University of Science and Technology (NJUST)(南京理工大学);Kennesaw State University (KSU)(肯尼索州立大学)
提出一种名为NAME的三分支网络,结合Transformer和CNN显式挖掘变化前、变化后及变化关系特征,并设计连续变化关系分支,在四个VHR数据集上提升了变化检测的F1、IoU和OA性能。
2023-11-14 cs.CV
Building Extraction from Remote Sensing Images via an Uncertainty-Aware Network
本文针对遥感图像建筑物提取中因尺度风格多样导致的预测不确定和漏检误检问题,提出不确定性感知网络UANet,并在三个公开数据集上验证其性能显著优于现有方法。
2023-07-23 cs.CV
Lightweight Structure-aware Transformer Network for VHR Remote Sensing Image Change Detection
Shaanxi University of Science and Technology(陕西科技大学);Xi’an University of Posts and Telecommunications(西安邮电大学);Xi’an University of Technology(西安理工大学);Bielefeld University(比勒费尔德大学);Brunel University London(伦敦布鲁内尔大学);Xi’an Jiaotong University(西安交通大学)
针对 Transformer 在 VHR 遥感变化检测中的二次复杂度与细粒度结构信息丢失问题,提出 LSAT,通过线性复杂度 CISA 和 SAEM 实现精度与计算成本的更优平衡。
2023-06-03 cs.CV
GeoSay: A Geometric Saliency for Extracting Buildings in Remote Sensing Images
Wuhan University(武汉大学);Technische Universität München(慕尼黑工业大学)
遥感图像中建筑物的自动提取是一项重要而又具有挑战性的任务,在城市规划、导航等领域有着广泛的应用前景,本文研究了超高空间分辨率遥感图像中建筑物的自动提取问题。基于VHSR-RS图像中建筑物在几何特征上的可分辨性往往大于纹理或光谱特征的可分辨性,提出了一种通过计算VHSR-RS图像中建筑物的几何显著性来精确提取建筑物的几何建筑物指数(GBI)。更确切地说,给定图像,几何显著性是从基于有意义的连接的中间级几何表示导出的,该连接可以局部地描述图像的几何结构。最后通过整合建筑物的几何显著性来测量所得到的GBI。在三个公共和常用数据集上的实验表明,所提出的GBI达到了最先进的性能,并显示出令人印象深刻的泛化能力。此外,与现有方法相比,GBI保留了单个建筑物的精确位置和精确形状。
2018-11-07 cs.CV
Accurate Urban Road Centerline Extraction from VHR Imagery via Multiscale Segmentation and Tensor Voting
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
从甚高分辨率遥感影像中提取精确的道路中心线对于道路地图的生成和更新等应用具有重要的意义。现有方法存在三个不足:(1)由于噪声和遮挡的影响,道路中心线的提取存在一定的局限性(由于车辆和树木的影响),大多数道路提取方法会带来分类结果的不均匀性;(2)形态学细化算法被广泛应用于道路中心线的提取,但它在中心线周围产生小的毛刺;(3)许多方法对道路交叉口周围的中心线提取效果不佳。针对以上三个问题,本文提出了一种新的道路中心线提取方法,该方法采用了三种技术:多尺度联合协同表示(MJCR)和图割(GC)、张量投票(TV)和非最大值抑制(NMS)以及基于拟合的连接算法。提出了一种融合多尺度特征和空间信息的基于MJCR-GC的道路区域分割方法。通过这种方式,实现了同质的道路分割结果。然后,为了获得平滑、准确的道路中心线网络,提出了一种基于TV-NMS的道路中心线提取方法。该方法不仅能提取出光滑的道路中心线,而且能连接不连续的道路中心线。最后,针对现有道路交叉口连接方法的不足,提出了一种基于拟合的道路中心线连接算法。从而得到一个完整的道路中心线网络。在两个数据集上的大量实验表明,与现有的方法相比,我们的方法获得了更高的定量结果,以及更令人满意的视觉性能。
2016-02-25 cs.CV
Building Extraction from Remote Sensing Imagery under Hazy and Low-light Conditions: Benchmark and Baseline
MOE Key Lab of ICSP(教育部ICSP重点实验室);Anhui Provincial Key Lab of Multimodal Cognitive Computation(安徽省多模态认知计算重点实验室);IMIS Lab of Anhui Province(安徽省IMIS实验室);School of Computer Science and Technology, Anhui University(安徽大学计算机科学与技术学院);Graduate School of Frontier Sciences, The University of Tokyo(东京大学前沿科学研究生院)
本文提出HaLoBuilding基准测试和HaLoBuild-Net框架,通过SFFM和GMGM模块提升在雾霾和低光照条件下建筑提取的性能,实验表明其优于现有方法。
2026-04-16 cs.CV
Building extraction with vision transformer
University of Warwick(华威大学);Wuhan University(武汉大学)
建筑物作为人类生产活动的重要载体,其提取不仅是城市动态监测的必要条件,也是郊区建设检查的必要条件。由于遥感图像中建筑物的背景复杂、外观多样,如何从遥感图像中准确提取建筑物是一个难题。基于卷积神经网络(CNN)的建筑物提取方法虽然显著提高了准确性,但因其无法对全局依赖性进行建模而受到批评。因此,本文将视觉Transformer应用于建筑物的提取。然而,视觉Transformer的实际使用通常具有两个限制。首先,与CNN相比,视觉Transformer需要更多的GPU内存和计算成本。当遇到像高分辨率遥感图像这样的大尺寸输入时,这种限制进一步放大。第二,空间细节没有得到充分的保留,在特征提取的视觉Transformer,导致无法细粒度的建筑物分割。为了解决这些问题,我们提出了一种新的视觉Transformer(BuildFormer),具有双路径结构。具体来说,我们设计了一个空间详细的上下文路径编码丰富的空间细节和全局上下文路径捕获全局依赖。此外,本文还提出了一种基于窗口的线性多头自注意算法,使多头自注意算法的复杂度与窗口大小成线性关系,利用大窗口增强了全局上下文提取能力,极大地提高了视觉Transformer处理大尺寸遥感图像的潜力。该方法在马萨诸塞州建筑数据集上获得了最先进的性能(75.74% IoU)。代码将可用。
2022-04-13 cs.CV
Tucker Bilinear Attention Network for Multi-scale Remote Sensing Object Detection
本文针对超高分辨率遥感图像中小目标因细节特征丢失而漏检的问题,提出引导注意力和Tucker双线性注意力两个模块,分别用于早期与后期特征融合,构建多尺度检测框架,在DOTA、DIOR和NWPU VHR-10上取得最高平均精度均值。
2023-05-28 cs.CV
Swin Transformer coupling CNNs Makes Strong Contextual Encoders for VHR Image Road Extraction
Beijing University of Chemical Technology(北京化工大学);College of Information Science & Technology(信息科学与技术学院)
本文提出ConSwin双分支网络块,融合ResNet的局部细节提取能力与Swin Transformer的全局上下文感知能力,构建沙漏形道路提取网络,并设计两种新连接结构增强细节传递,在Massachusetts和CHN6-CUG数据集上取得最优性能。
2023-05-28 cs.CV
Curriculum-style Local-to-global Adaptation for Cross-domain Remote Sensing Image Segmentation
Fudan University(复旦大学)
虽然领域自适应在自然图像分割中得到了广泛的研究,但对于高分辨率遥感图像的跨领域分割研究还很薄弱。基于VHR RSSI的跨域分割主要面临两个关键挑战:1)大面积土地覆盖和多种多样的目标类别会带来严重的局部块级数据分布偏差,从而对不同的局部块产生不同的适应困难; 2)不同的VHR传感器类型或动态变化的模式导致即使对于相同的地理位置,VHR图像也经历密集的数据分布差异,导致不同的全局特征级域间隙。为了解决这些挑战,我们提出了一个基于局部到全局的跨领域自适应框架来分割VHR RSI。所提出的基于熵的自适应算法根据目标域中每个块的熵值来确定自适应难度,以一种由易到难的方式实现自适应过程,从而很好地将域图像中的局部块对齐。局部到全局的自适应执行从局部语义到全局结构特征差异的特征对齐过程,并由语义级域分类器和熵级域分类器组成,可以减少上述跨域特征差异。在不同的跨域场景下进行了大量的实验,包括地理位置变化和成像模式变化,实验结果表明,该方法可以显著提高VHR遥感影像分割网络的域适应性。我们的代码可在https://github.com/BOBrown/CCDA_LGFA上获取。
2022-03-03 cs.CV eess.IV
ESFNet: Efficient Network for Building Extraction from High-Resolution Aerial Images
Northeast Forestry University(东北林业大学);Embry-Riddle Aeronautical University(安柏瑞德航空大学)
从高分辨率航空影像中提取建筑物足迹一直是城市动态监测、规划和管理的重要组成部分。这也是遥感研究中的一项具有挑战性的任务。近年来,深度神经网络在提高遥感影像建筑物提取精度方面取得了很大的成就。然而,现有的大多数方法通常需要大量的参数和浮点运算才能达到高精度,这导致了高内存消耗和低推理速度,不利于研究。在本文中,我们提出了一种新的高效网络命名为ESFNet,它采用可分离因子分解的残差块,并利用扩张卷积,旨在保持轻微的精度损失,低计算成本和内存消耗。我们的ESFNet在准确性和效率之间获得了更好的权衡,它可以在单个Tesla V100上以超过100 FPS的速度运行,所需的FLOP比最先进的实时架构ERFNet少6倍,参数少18倍,同时保持类似的准确性,而无需任何额外的上下文模块,后处理和预训练方案。我们在WHU Building Dataset上评估了我们的网络,并将其与其他最先进的架构进行了比较。综合分析表明,该网络有利于有效的遥感研究,并可进一步推广到其他领域。该代码可在https://github.com/mrluin/ESFNet-Pytorch上公开获取
2019-04-19 cs.CV
SpaceNet: A Remote Sensing Dataset and Challenge Series
In-Q-Tel(In-Q-Tel公司);Radiant Solutions(Radiant Solutions公司)
在世界许多地方,基础测绘仍然是一项挑战,特别是在自然灾害等动态情况下,及时更新至关重要。更新地图目前是一个高度手动的过程,需要大量的人工标注人员来创建特征或严格验证自动化输出。我们认为,地球成像卫星星座的频繁重访可能会加速现有的努力,快速更新基础地图时,结合先进的机器学习技术。因此,SpaceNet的合作伙伴(CosmiQ Works、Radiant Solutions和NVIDIA)在亚马逊网络服务(AWS)上发布了一个名为SpaceNet的大型标记卫星图像语料库。SpaceNet合作伙伴还发起了一系列公开有奖竞赛,以鼓励改进遥感机器学习算法。前两个竞赛集中在自动建筑物足迹提取,最近的挑战集中在道路网络提取。在本文中,我们讨论了SpaceNet图像,标签,评估指标,迄今为止的奖品挑战结果,以及SpaceNet挑战系列的未来计划。
2019-07-15 cs.CV
Segmentation of arbitrary features in very high resolution remote sensing imagery
Imperial College London(帝国理工学院);Vattenfall Europe Information Services GmbH(Vattenfall欧洲信息服务有限公司)
本文提出可扩展的EcoMapper框架,实现VHR遥感影像中任意特征的自动化分割,其性能媲美特定模型,并发现从特征大小推导最佳地面采样距离的Cording Index关系。
2024-12-20 cs.CV
P2PFormer: A Primitive-to-polygon Method for Regular Building Contour Extraction from Remote Sensing Images
School of Remote Sensing and Information Engineering, Wuhan University(武汉大学遥感信息工程学院);College of Oceanography and Space Informatics, China University of Petroleum (East China)(中国石油大学(华东)海洋与空间信息学院);School of Surveying and Geoinformation Engineering, East China University of Technology(东华理工大学测绘与地理信息工程学院)
针对遥感图像建筑物轮廓提取中不规则形状、后处理繁琐等问题,提出P2PFormer,通过分割几何基元并预测其序列直接构建规则轮廓,无需后处理,在多数据集上超越现有SOTA方法。
2024-11-29 cs.CV
BD-MSA: Body decouple VHR Remote Sensing Image Change Detection method guided by multi-scale feature information aggregation
East China University of Technology(东华理工大学);Ningbo Alatu Digital Technology Co., Ltd(宁波阿拉图数字科技有限公司)
针对遥感影像变化区域边缘模糊问题,提出BD-MSA模型,通过通道与空间维度的多尺度全局、局部特征聚合及主体—边界解耦提取边界,在三个公开数据集上取得最优评估效果。
2024-03-03 cs.AI cs.CV
Arbitrary-Oriented Ship Detection through Center-Head Point Extraction
National University of Defense Technology(国防科技大学)
遥感图像中的船舶检测在各种应用中发挥着至关重要的作用,近年来越来越受到人们的关注。然而,现有的任意方向的船舶检测方法通常是在一组预定义的旋转锚箱上开发的。这些预定义的框不仅导致不准确的角度预测,而且还引入额外的超参数和高计算成本。此外,现有的方法没有充分利用船舶尺寸的先验知识,这阻碍了其检测精度的提高。针对上述问题,提出一种基于中心-头部点提取的检测器(CHPDet),实现遥感图像中任意方向的舰船检测。我们的CHPDet制定了任意方向的船舶作为旋转的盒子与头点,用于确定方向。旋转高斯核用于将注释映射到目标热图。通过关键点估计来确定舰船的中心位置。然后,回归了船舶的尺寸和首点。方向不变模型(OIM)也被用来产生方向不变的特征图。最后,我们使用之前的目标大小来微调结果。此外,我们引入了一个新的数据集,用于在固定的地面采样距离(GSD)的遥感图像中的多类任意方向的船舶检测,命名为FGSD 2021。在FGSD 2021和另外两个广泛使用的数据集上的实验结果,HRSC 2016和UCAS-AOD证明我们的CHPDet达到了最先进的性能,可以很好地区分船头和船尾。代码和FGSD 2021数据集可在https://github.com/zf020114/CHPDet上获得。
2021-10-13 cs.CV
Terrain-Informed Self-Supervised Learning: Enhancing Building Footprint Extraction from LiDAR Data with Limited Annotations
Norwegian Institute of Science and Technology(挪威科技大学);Science and Technology AS(科技公司)
本文提出一种利用LiDAR数字高程模型的地形感知自监督学习方法,通过区分裸地表与叠加结构学习领域相关特征,在仅1%标注数据下即优于ImageNet预训练,显著提升遥感建筑物足迹提取的标签效率和泛化能力。
2024-04-18 cs.CV
UniBuild: Unified Building Mapping From Multi-Source Optical Remote Sensing Imagery With Detail Decoding and Geometry Regularization
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
针对现有建筑物提取方法泛化差、细节缺失和几何不规则问题,提出UniBuild统一框架,通过多数据集训练、HR-DPT解码器和几何正则化,提升多源RGB影像的建筑物提取精度与泛化能力。
2026-09-30 cs.CV
SCANet: Split Coordinate Attention Network for Building Footprint Extraction
School of Artificial Intelligence, Guilin University of Electronic Technology(人工智能学院,桂林电子科技大学)
针对遥感影像建筑物足迹提取,本文提出即插即用的分割坐标注意力模块 SCA 并构建 SCANet,在 WHU 和马萨诸塞州数据集上以 91.61%、75.49% 的 IoU 超越现有 SOTA。
2025-07-28 cs.CV
Balanced Diffusion-Guided Fusion for Multimodal Remote Sensing Classification
Department of Information Engineering and Computer Science, University of Trento(特伦托大学信息工程与计算机科学系);College of Electrical and Information Engineering, Hunan University(湖南大学电气与信息工程学院);Key Laboratory of Collaborative Intelligent Systems of Ministry of Education, Xidian University(西安电子科技大学教育部协同智能系统重点实验室);School of Electronic Engineering, Xidian University(西安电子科技大学电子工程学院);Academy of Artificial Intelligence, Inner Mongolia Normal University(内蒙古师范大学人工智能学院)
本文提出平衡扩散引导融合框架,通过多模态扩散特征指导多分支网络进行土地覆盖分类,采用自适应模态掩码策略和跨模态注意力机制提升分类性能。
2026-04-09 cs.CV
SAAN: Similarity-aware attention flow network for change detection with VHR remote sensing images
Hubei Key Laboratory of Multimedia and Network Communication Engineering, Wuhan University(武汉大学多媒体网络通信工程湖北省重点实验室)
针对甚高分辨率遥感影像变化检测中深层编码器易受背景干扰、解码器各阶段变化置信度不一致的问题,提出融合深度监督相似性优化与相似性引导注意力流的SAAN网络,在多项任务上取得优异性能。
2023-08-28 cs.CV
Hierarchical Adaptive Feature Refinement Network for VHR Remote Sensing Image Segmentation
针对VHR遥感图像分割中预训练分层编码器利用难的问题,提出HAFR-Net框架,含HG-SAF、FRA、CATP模块,在多个数据集上较UPerNet基线取得显著mIoU提升。
2026-08-18 cs.AI cs.CV
Recurrent Multiresolution Convolutional Networks for VHR Image Classification
甚高分辨率(VHR)卫星图像的分类有三个主要挑战:1)固有的低类内和高类间光谱相似性,2)可用波段的不匹配分辨率,以及3)需要正则化噪声分类图。传统方法通过采用图像融合、特征提取和分类后映射正则化的单独阶段来解决这些挑战。然而,这些处理阶段并没有联合优化手头的分类任务。在这项研究中,我们提出了一个单阶段框架,将处理阶段嵌入到以端到端方式训练的递归多分辨率卷积网络中。该网络的前馈版本称为FuseNet,旨在使用卷积层与相应的下采样和上采样操作来匹配VHR图像中全色和多光谱波段的分辨率。上下文标签信息通过称为ReuseNet的经常性版本并入FuseNet。我们将FuseNet和ReuseNet与使用单独的处理步骤进行图像融合进行比较,例如通过插值进行泛锐化和恢复,以及使用条件随机场进行地图正则化。我们进行了我们的实验上的土地覆盖分类任务使用Worldview-03图像奎松市,菲律宾和ISPRS的2D语义标记基准数据集Vaihingen,德国。FuseNet和ReuseNet在定量和定性结果方面都超过了基线方法。
2018-06-15 cs.CV
Segmentation of VHR EO Images using Unsupervised Learning
Technical University of Munich(慕尼黑工业大学);German Aerospace Center (DLR)(德国航空航天中心)
语义分割是许多地球观测任务中的关键步骤。需要大量的像素级注释来训练深度网络以进行语义分割。地球观测技术应用于各种应用,并且由于类别根据应用而变化很大,因此,通常需要领域知识来标记地球观测图像,这阻碍了在许多地球观测应用中标记的训练数据的可用性。为了应对这些挑战,在本文中,我们提出了一种无监督的语义分割方法,可以使用一个单一的未标记的场景进行训练。遥感场景一般都很大。所提出的方法利用该属性从较大场景中采样较小的补丁,并使用深度聚类和对比学习来细化由一系列卷积层以及嵌入式通道注意力组成的轻量级深度模型的权重。在对目标图像/场景进行无监督训练后,该模型自动分离场景中存在的主要类别并生成分割图。在Vaihingen数据集上的实验结果证明了该方法的有效性。
2021-08-10 cs.CV
Deep Multimodal Fusion for Semantic Segmentation of Remote Sensing Earth Observation Data
Faculty of Computer Science and Engineering(计算机科学与工程学院);University Ss Cyril and Methodius(圣西里尔与美多德大学)
本文提出后期融合深度学习模型LF-DLM,结合VHR航空影像与Sentinel-2时间序列的互补优势,在FLAIR基准上取得最优语义分割结果。
2024-10-01 cs.CV
Buildings Detection in VHR SAR Images Using Fully Convolution Neural Networks
National University of Sciences & Technology(国家科学技术大学);Graz University of Technology(格拉茨技术大学);German Aerospace Center(德国航空航天中心)
针对超高分辨率合成孔径雷达(SAR)图像中人工建筑物的自动检测这一极具挑战性的问题。在这方面,本文有两个主要贡献:首先,它提出了一种新颖的通用工作流程,该工作流程首先将星载TomoSAR点云$ - $分类,该点云是通过使用称为SAR层析成像(TomoSAR)$ - $的先进干涉技术处理VHR SAR图像堆栈而生成的,并借助辅助信息(即,使用公开可用的2-D建筑物覆盖区或采用光学图像分类方案),然后将提取的建筑物点反向投影到SAR成像坐标上,以产生自动的大规模基准标记(建筑物/非建筑物)SAR数据集。其次,这些标记的数据集(即,建筑物掩模)已被用于构建和训练最先进的深度全卷积神经网络,其具有表示为递归神经网络的附加条件随机场,以检测单个VHR SAR图像中的建筑物区域。这种级联形式已成功地应用于计算机视觉和遥感领域的光学图像分类,但据我们所知,还没有被应用到SAR图像。建筑物检测的结果是说明和验证的TerraSAR-X VHR聚束SAR图像覆盖约39公里的$ ^2 $ $ - $几乎整个城市的柏林$ - $与平均像素精度约93.84%
2018-08-14 cs.CV eess.IV
Dual skip connections in U-Net, ResUnet and U-Net3+ for remote extraction of buildings
The University of Melbourne(墨尔本大学)
本文为 U-Net、ResUnet 和 U-Net3+ 设计选择性双重跳跃连接,在多分辨率建筑物数据集上以更少参数取得最高 0.905 F1。
2023-10-23 cs.CV eess.IV
A multi-task convolutional neural network for mega-city analysis using very high resolution satellite imagery and geospatial data
The State Key Laboratory of Information Engineering in Surveying, Mapping, and Remote Sensing, Wuhan University(武汉大学测绘遥感信息工程国家重点实验室);School of Computer, Wuhan University(武汉大学计算机学院)
利用甚高分辨率(VHR)卫星图像进行大城市分析在城市规划和社会调查领域引起了越来越多的兴趣。众所周知,准确的土地利用、城市密度和人口分布信息是特大城市监测和环境研究的关键。因此,如何利用VHR卫星影像制作高比例尺的土地利用、城市密度和人口分布图成为研究热点。以往的研究只关注具有精细手工特征的单个任务,而忽略了不同任务之间的关系。在这项研究中,我们的目标是提出一个通用的框架,它可以:1)自动学习的内部特征表示从原始图像数据;和2)同时产生精细尺度的土地利用,城市密度和人口分布图。对于第一目标,应用深度卷积神经网络(CNN)以从原始图像数据学习分层特征表示。对于第二个目标,提出了一种新的基于CNN的通用框架来处理VHR卫星图像,并生成土地利用,城市密度和人口分布图。据我们所知,这是第一个基于CNN的大城市分析方法,可以处理这样一个大数据量的VHR遥感图像。一个VHR卫星图像(1.2米的空间分辨率)的武汉市中心,覆盖面积为2606平方公里,以评估所提出的方法。实验结果证实,该方法可以实现一个有前途的精度为土地利用,城市密度,人口分布图。
2017-02-26 cs.CV
SBSS: Stacking-Based Semantic Segmentation Framework for Very High Resolution Remote Sensing Image
针对超高分辨率遥感影像中物体尺度差异大导致的分割难题,本文提出基于Stacking的SBSS框架,通过学习不同类别物体的偏好重缩放尺度优化分割,兼具有效性与灵活性。
2022-12-15 cs.CV
Change Detection in Multi-temporal VHR Images Based on Deep Siamese Multi-scale Convolutional Networks
Wuhan University(武汉大学)
甚高分辨率影像能够提供丰富的地面细节和空间几何信息。多时相VHR影像变化检测在城市扩展和区域内部变化分析中具有重要作用。然而,传统的变化检测方法既不能充分利用空间上下文信息,也不能处理VHR图像复杂的内部异质性。在本文中,一个强大的特征提取模型,称为多尺度特征卷积单元(MFCU)的变化检测在多时相VHR图像。MFCU可以在同一层中提取多尺度空间-光谱特征。在此基础上,设计了两种新的深度连体卷积神经网络,分别用于无监督和有监督的变化检测,称为深度连体多尺度卷积网络(DSMS-CN)和深度连体多尺度全卷积网络(DSMS-FCN)。对于无监督的变化检测,实现自动预分类以获得可靠的训练样本,然后DSMS-CN通过MFCU模块和深度连体架构拟合来自所选训练样本的变化和未变化区域的统计分布。对于监督变化检测,端到端深度全卷积网络DSMS-FCN在任何大小的多时相VHR图像中进行训练,并直接输出二进制变化图。此外,为了解决定位不准确的问题,完全连接的条件随机场(FC-CRF)与DSMS-FCN相结合,以改善结果。具有挑战性的数据集的实验结果证实,所提出的两个架构比最先进的方法表现更好。
2020-07-10 cs.CV cs.LG eess.IV
Can Synthetic Data Improve Object Detection Results for Remote Sensing Images?
State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University(武汉大学测绘遥感信息工程国家重点实验室)
深度学习方法需要足够的训练样本才能表现良好,但收集足够多的真实训练数据并手动标记它们是一个挑战。在这封信中,我们建议使用现实的合成数据与广泛的分布,以提高遥感图像飞机检测的性能。具体来说,为了增加合成数据的可变性,我们在渲染过程中随机设置参数,例如实例的大小和背景图像的类别。为了使合成图像更加逼真,我们使用CycleGAN在像素级上对真实的未标记图像进行优化。我们还用少量的实际数据对模型进行了微调,以获得更高的精度。在NWPU VHR-10、UCAS-AOD和DIOR数据集上的实验表明,该方法可以用于增强不充分的真实数据。
2020-06-09 cs.CV
Transformers in Remote Sensing: A Survey
MBZ University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Wuhan University(武汉大学)
在过去的十年中,基于深度学习的算法在遥感图像分析的不同领域中受到了广泛的欢迎。最近,最初在自然语言处理中引入的基于变换器的架构已经遍布计算机视觉领域,其中自注意力机制已经被用作流行的卷积算子的替代,用于捕获长程依赖性。受计算机视觉最新进展的启发,遥感界也见证了对用于各种任务的视觉Transformer的更多探索。虽然一些调查集中在Transformers在计算机视觉一般,据我们所知,我们是第一个提出了一个系统的审查Transformers器在遥感的基础上的最新进展。我们的调查涵盖了60多个最近的变压器为基础的方法,不同的遥感问题在遥感的子领域:非常高分辨率(VHR),高光谱(HSI)和合成孔径雷达(SAR)图像。最后,我们通过讨论遥感Transformers器的不同挑战和开放性问题来结束调查。此外,我们打算经常更新和维护遥感论文中的最新Transformers,其各自的代码在:https://github.com/VIROBO-15/Transformer-in-Remote-Sensing
2022-09-02 cs.CV
FCCDN: Feature Constraint Network for VHR Image Change Detection
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院);University of Chinese Academy of Sciences(中国科学院大学);German Aerospace Center (DLR)(德国航空航天中心);Technical University of Munich (TUM)(慕尼黑工业大学)
变化检测是识别双时共配准图像中像素差异的过程。对地球观测具有重要意义。最近,随着深度学习(DL)的出现,基于深度卷积神经网络(CNN)的方法的强大性和可行性已经在变化检测领域得到了展示。然而,仍然缺乏对变化特征学习的有效监督。在这项工作中,提出了一个特征约束变化检测网络(FCCDN)。我们在双时态特征提取和特征融合中都对特征进行了约束。更具体地说,我们提出了一个双编码器-解码器网络骨干的变化检测任务。在主干的中心,我们设计了一个非局部特征金字塔网络来提取和融合多尺度特征。为了以稳健的方式融合双时态特征,我们构建了一个基于稠密连接的特征融合模块。此外,提出了一种基于自监督学习的策略来约束特征学习。基于FCCDN,我们在两个建筑物变化检测数据集(LEVIR-CD和WHU)上实现了最先进的性能。在LEVIR-CD数据集上,我们实现了0.8569的IoU和0.9229的F1得分。在WHU数据集上,我们实现了0.8820的IoU和0.9373的F1得分。此外,首次实现了在不使用语义分割标签的情况下获得准确的双时态语义分割结果。这对于变化检测的应用至关重要,因为它节省了标记的成本。
2021-09-02 cs.CV
KAO: Kernel-Adaptive Optimization in Diffusion for Satellite Image
Chulalongkorn University(朱拉隆功大学)
本文提出KAO框架,通过在扩散模型中引入核自适应优化、潜在空间条件化和显式传播,高效准确地实现了超高分辨率卫星图像修复,平衡了预条件模型的效率与后条件模型的灵活性。
2025-11-04 cs.CV
Very high resolution Airborne PolSAR Image Classification using Convolutional Neural Networks
Univ. Bretagne Sud(南布列塔尼大学);IRISA(法国国家信息与自动化研究所雷恩分院);CNRS(法国国家科学研究中心)
在这项工作中,我们利用卷积神经网络(CNN)的甚高分辨率(VHR)极化SAR(PolSAR)数据的分类。由于这些数据中的异质纹理的显着外观,不仅极化特征,而且结构张量被利用来馈送CNN模型。对于深度网络,我们使用SegNet模型进行语义分割,这对应于遥感中的逐像素分类。我们对机载F-SAR数据的实验表明,对于VHR PolSAR图像,SegNet可以为分类任务提供高精度;引入结构张量和极化特征作为输入可以帮助网络更多地关注几何信息,以显着提高分类性能。
2020-04-09 cs.CV cs.LG
Deep Adaptive Proposal Network for Object Detection in Optical Remote Sensing Images
Xidian University(西安电子科技大学)
目标检测是航空和卫星图像分析中的一个基本和具有挑战性的问题。最近,两阶段检测器Faster R-CNN被提出,并被证明是光学遥感图像中目标检测的一个很有前途的工具,而遥感图像中目标的稀疏和密集特性是复杂的。用同一个区域建议策略处理所有图像是不合理的,这种处理限制了两级检测器的性能。在本文中,我们提出了一种新颖有效的方法,称为深度自适应建议网络(DAPNet),通过在现有的Faster R-CNN架构的基础上学习新的类别先验网络(CPN)来解决对象的这种复杂性特征。此外,DAPNet模型产生的候选区域不同于传统的区域建议网络(RPN),DAPNet预测每个候选区域的细节类别。这些候选区域结合类别先验网络生成的对象数目,为每幅图像获得合适数目的候选框。这些候选框可以满足稀疏和密集场景中的检测任务。所提出的框架的性能进行了评估具有挑战性的NWPU VHR-10数据集。实验结果表明,该框架的优越性,国家的最先进的。
2018-07-19 cs.CV
RSPrompter: Learning to Prompt for Remote Sensing Instance Segmentation based on Visual Foundation Model
Beihang University(北京航空航天大学);Shanghai AI Laboratory(上海人工智能实验室);The University of Hong Kong(香港大学)
本文提出RSPrompter方法,通过提示学习自动为SAM生成语义提示,实现遥感图像实例分割,并在多个数据集上验证了其有效性。
2023-11-29 cs.CV
Bring Remote Sensing Object Detect Into Nature Language Model: Using SFT Method
Shanghai Maritime University(上海海事大学)
针对现有VLM在遥感图像目标检测中效果不佳的问题,研究构建基于公开遥感数据集的SFT数据集,将标注转为JSON格式自然语言描述微调模型,在不改架构的前提下实现了有效遥感目标检测,还具备一定VQA能力。
2025-03-20 cs.CV
Pushing the Limits of Vision-Language Models in Remote Sensing without Human Annotations
SI Analytics
针对遥感领域视觉-语言数据集规模不足的问题,本研究提出无需人工标注、利用图像解码模型构建960万对VHR图文数据集的方法,训练的模型在多类下游任务中性能优于现有同类模型。
2024-09-11 cs.CV
A Deep Learning Pipeline for Solid Waste Detection in Remote Sensing Images
Politecnico di Milano(米兰理工大学)
本文提出一种基于深度学习的半自动固体废物检测流水线,通过优化网络架构与预训练等设计,在VHR RS图像中高效定位非法倾倒点,实现92.02%的F1分数,并使专家检测时间减少30%。
2025-09-17 cs.AI cs.CV
RSRWKV: A Linear-Complexity 2D Attention Mechanism for Efficient Remote Sensing Vision Task
Harbin Institute of Technology(哈尔滨工业大学);School of Electronic and Communication Engineering, Guangzhou University(广州大学电子与通信工程学院)
针对高分辨率遥感分析中全局上下文建模效率低的问题,提出RSRWKV模型,通过2D-WKV扫描机制实现线性复杂度的各向同性上下文聚合,并在分类、检测和分割任务上超越CNN和Transformer基线。
2025-03-26 cs.CV
Urban Change Detection by Fully Convolutional Siamese Concatenate Network with Attention
Shiraz University(设拉子大学)
变化检测是遥感中的一个重要问题,特别是在灾害时期的城市管理中。现有的传统变化检测方法大多是基于像素或对象进行分类的。在处理甚高分辨率遥感图像时,基于对象的模型比基于像素的方法更可取。这些方法可以从正在进行的深度学习研究中受益。本文提出了一种基于全卷积Siamese级联网络(FC-Siam-Conc)的VHR遥感影像变化检测算法。该方法使用预处理和注意力门层来提高准确性。高斯注意力(GA)作为一种软视觉注意力机制用于预处理。GA帮助网络像生物视觉系统一样处理特征图。由于GA参数在网络训练过程中无法调整,因此引入了一个注意门层来扮演GA的角色,其参数可以在其他网络参数中进行调整。在Onera卫星变化检测(OSCD)和RIVER-CD数据集上获得的实验结果证实了所提出的架构优于最先进的算法。
2021-01-31 cs.CV cs.LG eess.IV
InfRS: Incremental Few-Shot Object Detection in Remote Sensing Images
School of Remote Sensing and Information Engineering, Wuhan University(武汉大学遥感信息工程学院);Electronic Information School, Wuhan University(武汉大学电子信息学院);Electrical and Computer Engineering, King Abdullah University of Science and Technology(阿卜杜拉国王科技大学电气与计算机工程学院)
针对遥感图像增量小样本目标检测,本文提出 InfRS 微调框架,通过类别原型、HPC 编码和 Wasserstein 原型校准缓解遗忘,并在两个数据集上验证有效。
2024-05-18 cs.CV
Unsupervised Deep Feature Extraction for Remote Sensing Image Classification
Universitat de Barcelona(巴塞罗那大学)
本文介绍了使用单层和深度卷积网络进行遥感数据分析。直接应用于监督(浅或深)卷积网络的多光谱和高光谱图像是非常具有挑战性的高输入数据维度和相对少量的可用标记数据。因此,我们提出了使用贪婪逐层无监督预训练,再加上一个高效的算法,无监督学习的稀疏特征。该算法是植根于稀疏表示和强制人口和生命周期稀疏的提取功能,同时。我们成功地说明了在几种情况下提取的表示的表达能力:空中场景的分类,以及土地利用分类在非常高的分辨率(VHR),或土地覆盖分类从多和高光谱图像。所提出的算法明显优于标准主成分分析(PCA)及其内核(kPCA),以及目前最先进的航空分类算法,同时在学习数据表示方面具有极高的计算效率。结果表明,单层卷积网络可以提取强大的区分功能,只有当感受野占相邻像素,并在分类需要高分辨率和详细的结果时,是首选。然而,深度架构的性能明显优于单层变体,在整个功能层次结构中捕获了越来越多的抽象和复杂性。
2015-11-25 cs.CV
Comparative analysis of common edge detection techniques in context of object extraction
MA National Institute of Technology(MA国立理工学院)
边缘特征的边界,因此是一个具有实际意义的问题,在遥感,本文提出了一种比较研究的各种边缘检测技术和波段分析这些算法的背景下,对象提取方面的遥感卫星图像从印度遥感卫星(IRS)传感器LISS 3,LISS 4和Cartosat 1以及谷歌地球。
2014-02-05 cs.CV
Transformation-Invariant Network for Few-Shot Object Detection in Remote Sensing Images
Southwest Jiaotong University(西南交通大学);I2R, A*STAR(新加坡科技研究局资讯通信研究院);University of the Witwatersrand(金山大学)
针对遥感图像中少样本目标检测面临尺度与方向变化挑战,提出强基线与变换不变网络TINet,对齐特征并保持推理速度,在三个数据集上验证了有效性。
2023-11-16 cs.CV
Towards Multi-class Object Detection in Unconstrained Remote Sensing Imagery
German Aerospace Center(德国航空航天中心);Technical University of Munich(慕尼黑工业大学)
遥感图像多类目标检测在交通监控、灾害管理等领域具有重要的应用价值。目标的尺度、方向、类别、复杂背景以及不同的摄像机传感器的巨大变化给现有算法带来了巨大的挑战。在这项工作中,我们提出了一种新的方法,包括一个新的联合图像级联和特征金字塔网络与多尺寸卷积核提取多尺度强和弱语义特征。这些特征被馈送到基于旋转的区域建议和感兴趣区域网络中以产生目标检测。最后,应用旋转非最大值抑制来去除冗余检测。在训练过程中,我们最小化联合水平和定向限界框损失函数,以及强制定向框为矩形的新损失。我们的方法在具有挑战性的DOTA数据集上实现了68.16%的水平mAP和72.45%的定向限界框检测任务mAP,大大优于所有已发表的方法(分别为+6%和+12%的绝对改进)。此外,它还可以推广到另外两个数据集,NWPU VHR-10和UCAS-AOD,即使在DOTA上进行训练,也可以获得与基线有竞争力的结果。我们的方法可以部署在多类目标检测应用程序,无论图像和对象的规模和方向,使其成为一个伟大的选择不受约束的航空和卫星图像。
2018-11-01 cs.CV