Deep Learning-based Aerial Image Segmentation with Open Data for Disaster Impact Assessment
The University of Manchester（曼彻斯特大学）
在飓风和海啸等自然灾害发生后，卫星图像是一种极为宝贵的资源，可用于风险评估和灾害管理。为了提供及时和可操作的灾害响应信息，本文提出了一个框架，利用分段神经网络来确定受灾地区和可进入的道路在灾后的情况。分析了ImageNet预训练在航空图像分割任务中的有效性，并比较了流行的分割模型的性能。实验结果表明，ImageNet上的预训练通常会提高许多模型的分割性能。OpenStreetMap（OSM）提供的开放数据用于训练，无需耗时的手动注释。该方法还利用图论来更新OSM提供的道路网络数据，并检测自然灾害引起的变化。对2018年袭击印度尼西亚帕卢的海啸数据进行的广泛实验表明了拟议框架的有效性。与ENet相比，ENetSeparable的参数减少了30%，实现了与最先进网络相当的分割结果。
2020-06-10 cs.CV eess.IV
A Contrastive Distillation Approach for Incremental Semantic Segmentation in Aerial Images
Politecnico di Torino（都灵理工大学）；LINKS Foundation（LINKS基金会）
增量学习是航空图像处理中的一项重要任务，特别是在大规模注释数据集有限的情况下。关于当前深度神经架构的一个主要问题被称为灾难性遗忘，即一旦提供了一组新的数据进行再训练，就无法忠实地保持过去的知识。多年来，已经提出了几种技术来缓解图像分类和目标检测的这个问题。然而，直到最近，焦点才转向更复杂的下游任务，如实例或语义分割。从语义分割任务的增量类学习开始，我们的目标是使这种策略适应航空领域，利用一个独特的功能，将其与自然图像区分开来，即方向。除了标准的知识蒸馏方法，我们提出了一种对比正则化，其中任何给定的输入与其增强版本（即翻转和旋转）进行比较，以最大限度地减少两个输入产生的分割特征之间的差异。我们展示了我们的解决方案在波茨坦数据集上的有效性，在每次测试中都优于增量基线。代码可在：https://github.com/edornd/contrastive-distillation获得。
2021-12-07 cs.CV eess.IV
Deep Level Set for Box-supervised Instance Segmentation in Aerial Images
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
框监督实例分割是近年来研究的热点，而在航空图像领域的研究还很少。与一般的目标集合相比，空中目标具有较大的类内方差和类间相似性，且背景复杂。此外，在高分辨率的卫星图像中有许多微小的物体。这使得目前的成对仿射建模方法不可避免地涉及噪声监督，结果较差。为了解决这些问题，我们提出了一种新的空中实例分割方法，该方法驱动网络以端到端的方式学习一系列仅具有框注释的空中对象的水平集函数。水平集方法通过精心设计的能量函数，将目标分割视为曲线演化，而不是学习两两相似度，从而能够准确地恢复目标边界，并防止难以区分的背景和相似目标的干扰。实验结果表明，该方法优于最先进的框监督实例分割方法。源代码可在https://github.com/LiWentomng/boxlevelset上获得。
2021-12-07 cs.CV
Multi-Class Segmentation from Aerial Views using Recursive Noise Diffusion
Imperial College London（帝国理工学院）
针对航拍图像中视角多样、尺度变化大和场景复杂等挑战，本文提出一种端到端多类语义分割扩散模型，通过递归去噪和分层多尺度方法，在UAVid数据集和Vaihingen基准上取得优异性能。
2024-05-22 cs.CV
Depth-Assisted ResiDualGAN for Cross-Domain Aerial Images Semantic Segmentation
Institute of Remote Sensing and Geographic Information System, Peking University（北京大学遥感与地理信息系统研究所）
无监督领域自适应（UDA）是一种最小化领域间隙的方法。生成方法是最小化空间图像的域间隙的常用方法，其提高下游任务的性能，例如，跨领域语义分割。对于航空影像，数字表面模型（DSM）通常在源域和目标域都可用。DSM中的深度信息为生成模型带来了外部信息。本文提出了一种深度辅助的ResidDualGAN（DRDG）算法，该算法利用深度监督损失（DSL）和深度周期一致性损失（DCCL）将深度信息引入到生成模型中。实验结果表明，DRDG在跨领域语义分割任务中达到了生成方法之间最先进的准确性。
2022-08-27 cs.CV
AF$_2$: Adaptive Focus Framework for Aerial Imagery Segmentation
航空影像分割作为一种特殊的语义分割任务，在高空间分辨率遥感影像理解中得到了广泛的应用。航空影像分割除了面临一般语义分割任务所面临的大尺度变化等问题外，还面临着一些独特的挑战，其中最关键的挑战在于前景-背景不平衡。最近已经有一些尝试通过提出复杂的神经网络架构来解决这个问题的努力，因为它们可以用于提取信息丰富的多尺度特征表示并增加对象边界的区分。然而，他们中的许多人只是利用这些多尺度表示在特设的措施，但忽略了一个事实，即不同大小的对象的语义可以更好地识别通过不同范围的感受野。在本文中，我们提出了自适应焦点框架（AF $_2$），它采用了分层分割过程，并侧重于自适应地利用广泛采用的神经网络架构产生的多尺度表示。特别是，一个可学习的模块，称为自适应置信度机制（ACM），提出了确定表示的规模应用于分割不同的对象。综合实验表明，AF $_2$在三种广泛使用的航空基准上的精度有了显著提高，与主流方法一样快。
2022-02-18 cs.AI cs.CV
A Local-Global Approach to Semantic Segmentation in Aerial Images
航空图像通常是在光照条件差的情况下拍摄的，包含低分辨率的物体，很多时候被其他物体遮挡。在这一领域，视觉上下文可能有很大的帮助，但仍然有很少的论文，考虑在航空图像理解的上下文，仍然是一个开放的问题，在计算机视觉。我们提出了一种双流深度神经网络，它沿着两条独立的路径处理信息。我们的模型学习以互补的方式将局部和全局外观结合起来，从而形成一个强大的分类器。我们测试了我们的双流网络在航空图像中的建筑物分割的任务，并获得了最先进的马萨诸塞州建筑物数据集的结果。我们研究了局部外观与较大场景的相对重要性，以及它们在三个新建筑物数据集上的组合性能。我们清楚地证明了视觉背景与深度神经网络结合用于航空图像理解的有效性。
2016-07-19 cs.CV
Contextual Pyramid Attention Network for Building Segmentation in Aerial Imagery
Eindhoven University of Technology（埃因霍温理工大学）
从航空图像中提取建筑物在城市规划、变化检测和灾害管理等问题中有着广泛的应用。随着数据可用性的不断提高，近年来，用于遥感图像语义分割的卷积神经网络（CNN）得到了显著的改进。然而，卷积在局部邻域中操作，并且未能捕获在航空图像的语义理解中必不可少的非局部特征。在这项工作中，我们建议通过使用上下文金字塔注意力（CPA）捕获长距离依赖关系来改善不同大小的建筑分割。这些路径有效地处理多个尺度的输入，并以加权的方式将它们组合起来，类似于集成模型。所提出的方法获得国家的最先进的性能的Inria航空图像标注数据集以最小的计算成本。我们的方法比目前最先进的方法提高了1.8个点，比现有的交集超过并集（IoU）度量基准高出12.6个点，而无需任何后处理。代码和模型将公开发布。
2020-04-15 cs.CV
MSNet: A Multilevel Instance Segmentation Network for Natural Disaster Damage Assessment in Aerial Videos
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们研究的问题，有效地评估建筑物损坏后，自然灾害，如飓风，洪水或火灾，通过航空视频分析。我们做出了两个主要贡献。第一个贡献是一个新的数据集，由来自社交媒体的用户生成的空中视频组成，并带有实例级建筑损坏遮罩的注释。这为定量评估模型提供了第一个基准，以使用航空视频评估建筑物损坏。第二个贡献是一个新的模型，即MSNet，其中包含新的区域建议网络设计和一个无监督的分数细化网络的置信度评分校准在限界框和掩码分支。我们表明，与我们数据集中以前的方法相比，我们的模型实现了最先进的结果。我们将发布我们的数据、模型和代码。
2020-12-31 cs.CV
PointFlow: Flowing Semantics Through Points for Aerial Image Segmentation
Key Laboratory of Machine Perception (MOE), Peking University（北京大学（MOE）机器感知重点实验室）；NLPR, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所NLPR）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；ETH Zurich（苏黎世联邦理工学院）；SenseTime Research（商汤科技研究院）
航空图像分割是一个特殊的语义分割问题，具有一般语义分割所不具有的一些挑战性的特点。有两个关键问题：一种是前景-背景极不平衡的分布，另一种是复杂背景中的多个小目标。这些问题使得最近的密集亲和度上下文建模由于过度引入背景上下文而与基线相比表现不佳。为了解决这些问题，我们提出了一个逐点的亲和力传播模块的基础上的特征金字塔网络（FPN）的框架，命名为PointFlow。在相邻特征之间的选定点上生成稀疏亲和图，而不是密集亲和学习，这在保持效率的同时减少了背景引入的噪声。特别地，我们设计了一个双点匹配器，分别从显著区域和对象边界中选择点。在三个不同的航空图像分割数据集上的实验结果表明，该方法比现有的一般语义分割方法更有效。特别是，我们的方法实现了最好的速度和精度的权衡三个空中基准。在三个一般语义分割数据集上的实验证明了该方法的通用性。代码将在（https：//github.com/lxtGH/PFSegNets）中提供。
2021-03-11 cs.CV
AeroReformer: Aerial Referring Transformer for UAV-based Referring Image Segmentation
Intelligent Control \& Smart Energy (ICSE) Research Group, School of Engineering, University of Warwick, Coventry, CV4 7AL, UK
针对无人机影像指代图像分割研究不足、缺乏专用数据集的问题，提出带自动标注流水线和AeroReformer框架的方案，在新数据集上性能优于现有方法并建立新基准。
2025-02-28 cs.CV
TTPLA: An Aerial-Image Dataset for Detection and Segmentation of Transmission Towers and Power Lines
Department of Electrical Engineering, University of South Carolina, USA（南卡罗来纳大学电气工程系，美国）；Department of Computer Science and Engineering, University of South Carolina, USA（南卡罗来纳大学计算机科学与工程系，美国）
从航拍图像中准确检测和分割输电塔和输电线对保障电网安全和低空无人机安全具有重要意义。同时，航空图像的TT和PL提出了一些新的挑战，计算机视觉研究人员谁的工作目标检测和分割-PL是长而薄，并可能显示类似的颜色作为背景; TT可以是各种形状，最有可能由各种稀疏的线结构;背景场景，照明和对象的大小可以显着变化，从一个图像到另一个。在本文中，我们收集并发布了一个新的TT/PL航空图像（TTPLA）数据集，包括1,100张分辨率为3,840 $\times$ 2,160像素的图像，以及手动标记的8,987个TT和PL实例。我们开发了新的策略来收集，注释和标记TTPLA中的图像。与其他相关数据集不同，TTPLA除了支持检测和语义分割外，还支持对实例分割的评估。为了在TTPLA上建立检测和分割任务的基线，我们报告了几种最先进的深度学习模型在我们的数据集上的性能。TTPLA数据集可在https://github.com/r3ab/ttpla_dataset上公开获取
2020-10-20 cs.CV
Adversarial Loss for Semantic Segmentation of Aerial Imagery
Eindhoven University of Technology（埃因霍温理工大学）
从航空图像中自动提取建筑物在城市规划、灾害管理和变化检测中有多种应用。近年来，一些作品采用深度卷积神经网络（CNN）进行建筑物提取，因为它们产生了丰富的特征，这些特征对照明条件，阴影等是不变的。大多数深度学习分割方法在不了解上下文的情况下，相对于地面真实值优化了每像素损失。这通常会导致不完美的输出，从而可能导致缺失或未细化的区域。在这项工作中，我们提出了一种新的损失函数，结合了对抗性和交叉熵损失，学习理解语义分割的局部和全局上下文。部署在DeepLab v3+网络上的新提出的损失函数在马萨诸塞州建筑数据集上获得了最先进的结果。损失函数改进了结构并细化了建筑物的边缘，而不需要任何常用的后处理方法，如条件随机场。我们还进行消融研究，以了解对抗性损失的影响。最后，该方法在马萨诸塞州建筑数据集上获得了95.59%的宽松F1分数，而之前的最佳F1分数为94.88%。
2020-01-18 cs.CV eess.IV
Domain Adaptation on Semantic Segmentation for Aerial Images
Illinois Institute of Technology（伊利诺伊理工学院）
语义分割近年来取得了显著的进展。虽然深度神经网络可以很好地执行语义分割，但它们的成功依赖于像素级监督，这是昂贵且耗时的。此外，由于不同域中的数据分布之间的域间隙，使用来自一个域的数据进行训练可能无法很好地推广到来自新域的数据。这种域差距在航空图像中特别明显，其中视觉外观取决于成像环境的类型、季节、天气和成像环境的时间。随后，当使用预训练的分割模型来分析具有不同特征的新数据时，这种分布差距会导致严重的准确性损失。在本文中，我们提出了一种新的无监督领域自适应框架，以解决领域转移的背景下，航空语义图像分割。为此，我们通过学习源域和目标域之间的软标签分布差异来解决域偏移问题。此外，我们还在目标域上应用熵最小化来产生高置信度预测，而不是通过伪标记来使用高置信度预测。我们证明了我们的领域自适应框架使用ISPRS的挑战图像分割数据集的有效性，并显示出在各种指标方面的最先进的方法的改进。
2020-12-11 cs.CV
Agriculture-Vision: A Large Aerial Image Database for Agricultural Pattern Analysis
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Intelinair；University of Oregon（俄勒冈大学）
深度学习在视觉识别任务中的成功推动了多个研究领域的进步。特别是，越来越多的注意力被吸引到其在农业中的应用。然而，尽管农田上的视觉模式识别具有巨大的经济价值，但由于缺乏合适的农业图像数据集，将计算机视觉与作物科学相结合的进展甚微。与此同时，农业问题也对计算机视觉提出了新的挑战。例如，航空农田图像的语义分割需要对具有极端注释稀疏性的极大尺寸图像进行推断。这些挑战并不存在于大多数常见的对象数据集，我们表明，它们比许多其他航空图像数据集更具挑战性。为了鼓励农业计算机视觉的研究，我们提出了一个大规模的航空农田图像数据集的农业模式的语义分割。我们收集了来自美国3，432个农场的94，986张高质量航空图像，每张图像由RGB和近红外（NIR）通道组成，分辨率高达每像素10厘米。我们注释九种类型的字段异常模式，是最重要的农民。作为航空农业语义分割的试点研究，我们使用流行的语义分割模型进行综合实验，我们还提出了一个有效的模型设计的航空农业模式识别。我们的实验展示了几个挑战，视觉构成的计算机视觉和农业社区。该数据集的未来版本将包括更多的航空图像，异常模式和图像通道。更多信息请访问https://www.agriculture-vision.com。
2020-03-19 cs.CV cs.CY cs.LG
Learning Semantic Segmentation with Query Points Supervision on Aerial Images
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
针对航空图像像素级标注昂贵的问题，提出利用查询点标注生成超像素伪标签的弱监督语义分割方法，在降低标注成本的同时取得接近全监督的性能。
2024-08-05 cs.AI cs.CV cs.LG
Enhancing DeepLabV3+ to Fuse Aerial and Satellite Images for Semantic Segmentation
Ibnou Zohr University（伊本·佐赫尔大学）；INSA CVL（中央卢瓦尔河谷国立应用科学学院）；University of Orleans（奥尔良大学）；Polytech（综合理工学院）
本文通过引入转置卷积层块融合航空与卫星图像，增强DeepLabV3+架构，在LandCover.ai数据集上实现84.91%的mIoU，提升多模态语义分割性能。
2025-03-28 cs.AI cs.CV
Edge-guided and Class-balanced Active Learning for Semantic Segmentation of Aerial Images
School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院）；School of Engineering Science, University of Chinese Academy of Sciences（中国科学院大学工程科学学院）；School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院）
针对航空影像语义分割中标注成本高和类别不平衡问题，提出边缘引导标注单元与全流程类别平衡策略，在三个基准数据集上显著优于现有方法。
2024-05-28 cs.CV
Semantic Segmentation of Unmanned Aerial Vehicle Remote Sensing Images using SegFormer
Faculty of Computer Science and Engineering（计算机科学与工程学院）
针对无人机遥感图像语义分割需求，评估了SegFormer框架从B0到B5各变体在UAVid数据集上的表现，验证了其兼具高效率与高精度的地物分割能力。
2024-10-01 cs.CV
Aerial LaneNet: Lane Marking Semantic Segmentation in Aerial Imagery using Wavelet-Enhanced Cost-sensitive Symmetric Fully Convolutional Neural Networks
German Aerospace Center (DLR)（德国航空航天中心（DLR））；Technical University of Munich（慕尼黑工业大学）
了解车道标记的位置和外观是创建高精度地图的先决条件，这对于自动驾驶、基础设施监控、车道交通管理和城市规划是必要的。车道标记是此类地图的重要组成部分之一。车道标记向驾驶员传达道路规则。虽然这些规则是由人类学习的，但自动驾驶汽车应该学会学习它们以定位自己。因此，需要在道路和高速公路的图像中准确且可靠的车道标记语义分割来实现这些目标。我们使用机载图像，它可以通过引入空中车道标记数据集在短时间内捕获大面积。在这项工作中，我们提出了一个对称的全卷积神经网络增强小波变换，以自动进行车道线分割航空影像。由于车道标记像素与背景像素的数量严重不平衡的问题，我们使用自定义的损失函数以及一种新型的数据增强步骤。我们实现了一个非常高的精度，在像素的车道标记定位，而不使用第三方信息。在这项工作中，我们介绍了我们的实验中使用的第一个高质量的数据集，其中包含广泛的情况和类别的车道标记代表当前的交通系统。该数据集将公开提供，因此，它可以用作该领域内未来算法的基准数据集。
2018-11-01 cs.CV
UVid-Net: Enhanced Semantic Segmentation of UAV Aerial Videos by Embedding Temporal Information
Manipal Institute of Technology（马尼帕尔理工学院）；Manipal Academy of Higher Education（马尼帕尔高等教育学院）
航拍视频的语义分割已被广泛用于环境变化监测、城市规划和灾害管理等决策中。这些决策支持系统的可靠性依赖于视频语义分割算法的准确性。现有的基于CNN的视频语义分割方法已经通过结合诸如LSTM或光流的附加模块来增强图像语义分割方法，该附加模块用于计算视频的时间动态，这是计算开销。建议的研究工作修改的CNN架构，将时间信息，以提高视频语义分割的效率。在这项工作中，一个增强的编码器-解码器为基础的CNN架构（UVid-Net）提出了无人机视频语义分割。所提出的架构的编码器嵌入时间信息的时间一致的标签。通过引入特征细化模块增强了解码器，该模块有助于准确定位类标签。在扩展的ManipalUAVid数据集上对所提出的无人机视频语义分割UVid-Net架构进行了定量评估。已经观察到0.79的性能度量mIoU，其显著大于其他最先进的算法。此外，所提出的工作甚至对于城市街道场景的UVid-Net预训练模型也产生了有希望的结果，并对无人机空中视频的最终层进行了微调。
2021-05-27 cs.CV
DUFormer: Solving Power Line Detection Task in Aerial Images using Semantic Segmentation
Autel Robotics（道通智能）；Fujian College, University of Chinese Academy of Sciences（中国科学院大学福建学院）；Quanzhou Institute of Equipment Manufacturing, Fujian Institute of Research on the Structure of Matter, Chinese Academy of Sciences（中国科学院福建物质结构研究所泉州装备制造研究所）；Fujian Agriculture and Forestry University（福建农林大学）；RWTH Aachen University（亚琛工业大学）
针对航拍图像中电力线前景小、背景复杂导致检测难的问题，提出DUFormer语义分割算法，结合CNN强归纳偏置与Transformer全局建模，并采用联合多权重损失，在TTPLA数据集上超越现有方法。
2023-08-31 cs.CV
SAN: Scale-Aware Network for Semantic Segmentation of High-Resolution Aerial Images
Northeast Forestry University（东北林业大学）；Embry-Riddle Aeronautical University（安柏瑞德航空大学）
高分辨率航空影像有着广泛的应用，如军事勘探、城市规划等。语义分割是高分辨率航空影像分析中广泛使用的基本方法。然而，高分辨率航空影像中的地物具有尺度不一致的特点，这一特点往往会导致预测结果的意外。为了解决这个问题，我们提出了一种新的规模感知模块（SAM）。在SAM中，我们采用重采样方法，旨在使像素调整其位置，以适应不同尺度的地面对象，它隐含地引入空间注意力，采用重采样地图作为加权地图。结果表明，该网络具有较强的区分尺度不一致地物的能力。除此之外，我们提出的模块可以很容易地嵌入到大多数现有网络中，以提高其性能。在国际摄影测量与遥感学会Vaihingen数据集上对所提出的模块进行了测试，实验结果和综合分析证明了所提出模块的有效性。
2019-07-06 cs.CV
Semantics from Space: Satellite-Guided Thermal Semantic Segmentation Annotation for Aerial Field Robots
California Institute of Technology（加州理工学院）；Pomona College（波莫纳学院）
提出利用卫星数据和机载定位姿态估计自动生成热红外图像语义分割标注的方法，结合视觉基础模型实现低成本高精度标注，性能接近高分辨率选项且显著优于零样本方法。
2024-03-21 cs.CV cs.RO
End-to-End Trainable Deep Active Contour Models for Automated Image Segmentation: Delineating Buildings in Aerial Imagery
University of California, Los Angeles（加州大学洛杉矶分校）
遥感图像中建筑物的自动分割是一项具有挑战性的任务，需要在通常较大的图像区域上准确描绘多个建筑物实例。手动方法通常很费力，目前基于深度学习的方法无法描述所有建筑实例，并且无法以足够的准确性做到这一点。作为一种解决方案，我们提出了可训练的深度活动轮廓（TDACs），这是一种自动图像分割框架，它将卷积神经网络（CNN）和活动轮廓模型（ACM）紧密结合在一起。ACM分量的欧拉能量泛函包括由骨干CNN预测的每像素参数图，其也对ACM进行建模。重要的是，ACM和CNN组件都在TensorFlow中完全实现，整个TDAC架构是端到端自动可区分和反向传播可训练的，无需用户干预。TDAC产生快速，准确，全自动同时描绘任意多个建筑物的图像。我们在两个公开的航空图像数据集上验证了该模型用于建筑物分割，我们的结果表明，TDAC建立了一个新的最先进的性能。
2020-07-22 cs.CV
Semi-Supervised Classification and Segmentation on High Resolution Aerial Images
Manipal Institute of Technology（马尼帕尔理工学院）
FloodNet是一个小型无人机平台DJI Mavic Pro四轴飞行器在飓风哈维之后获得的高分辨率图像数据集。该数据集提出了一个独特的挑战，即使用未标记和有限的标记数据集推进灾后场景的损害评估过程。我们提出了一个解决方案，以解决他们的分类和语义分割的挑战。我们通过在训练过程中为分类和分割生成伪标签来解决这个问题，并慢慢增加伪标签丢失对最终丢失的影响。使用这种半监督的训练方法帮助我们通过分类的巨大幅度改善了基线监督损失，使模型能够泛化并在数据集的验证和测试分割上表现得更好。在本文中，我们比较和对比的各种方法和模型的图像分类和语义分割的FloodNet数据集。
2021-06-24 cs.AI cs.CV
COSTA: A Cluster-Centric Paradigm for Annotation-Free Open-Set Semantic Segmentation of Aerial Point Clouds with Domain Shifts
Fujian Institute of Research on the Structure of Matter, Chinese Academy of Sciences（中国科学院福建物质结构研究所）；Institute of Urban Environment, Chinese Academy of Sciences（中国科学院城市环境研究所）；University of Chinese Academy of Sciences（中国科学院大学）；School of Resource and Environmental Sciences, Wuhan University（武汉大学资源与环境科学学院）
COSTA提出以聚类为中心的范式，无需额外训练即可在推理阶段将预训练航拍点云分割模型适配到偏移目标域，在三个基准上实现按需分割，mIoU达70.09%。
2026-08-20 cs.CV
Contextual Hourglass Network for Semantic Segmentation of High Resolution Aerial Imagery
University of Michigan（密歇根大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
针对航空图像语义分割中目标尺寸多变和类别不平衡的挑战，提出Contextual Hourglass Network，通过结合注意力机制的上下文沙漏模块和堆叠编码器-解码器结构提取多尺度特征，在Potsdam和Vaihingen数据集上取得最佳总体性能。
2024-06-05 cs.AI cs.CV cs.LG
MariSat: A Maritime Dataset for Instance Segmentation of Objects in Satellite and Aerial Images
University of Carthage（迦太基大学）；University of Gabes（加贝斯大学）；University of Rouen Normandie（鲁昂诺曼底大学）；ESIGELEC（法国高等电气与电子工程学院）
该研究提出新的海事基准数据集MariSat，经半自动化标注流程生成，用于卫星与航拍图像中8类海事物体的实例分割，已被用于微调及基准测试SAM 3、YOLO11模型以实现实时海事监视。
2026-09-01 cs.CV
ECLAIR: A High-Fidelity Aerial LiDAR Dataset for Semantic Segmentation
Sharper Shape（夏普形状公司）；Aalto University（阿尔托大学）
本研究推出大规模机载LiDAR数据集ECLAIR，覆盖10平方千米、含近6亿点与11类标注类别，经专家标注保障质量，并基于Minkowski Engine的体素分割方法做基准测试，推动3D城市建模等领域发展。
2024-04-16 cs.CV
Semantic Segmentation on Swiss3DCities: A Benchmark Study on Aerial Photogrammetric 3D Pointcloud Dataset
Nomoko AG（Nomoko股份公司）；The Dalle Molle Institute for Artificial Intelligence (IDSIA)（达莱莫勒人工智能研究所（IDSIA））
我们引入了一个新的室外城市三维点云数据集，覆盖总面积为2.7 $km^2$，从三个瑞士城市具有不同的特点。该数据集被手动注释为语义分割与每点标签，并建立使用摄影测量从多旋翼配备高分辨率相机获得的图像。与地面LiDAR传感器获取的数据集相比，生成的点云密度均匀且完整，适用于不同的应用，包括自动驾驶、游戏和智能城市规划。作为基准，我们报告了PointNet++的定量结果，PointNet++是一种基于点的深度3D语义分割模型;在此模型上，我们还研究了使用不同城市进行模型泛化的影响。
2020-12-23 cs.CV
SegForestNet: Spatial-Partitioning-Based Aerial Image Segmentation
Leibniz Universität Hannover（莱布尼茨汉诺威大学）
本文改进预测BSP树的SegForestNet，通过新解码器、可微渲染器和损失函数实现多边形式航空图像分割，并揭示训练优化对架构优势的影响。
2024-04-08 cs.CV
Predicting Ground-Level Scene Layout from Aerial Imagery
University of Kentucky（肯塔基大学）
我们介绍了一种新的学习策略，从航空图像中提取语义有意义的功能。而不是手动标记的航空图像，我们建议预测（嘈杂）语义特征自动提取的共定位地面图像。我们的网络架构以航拍图像为输入，使用卷积神经网络提取特征，然后应用自适应变换将这些特征映射到地面透视图中。我们使用一个端到端的学习方法，以尽量减少直接从地面图像提取的语义分割和仅基于航拍图像预测的语义分割之间的差异。我们表明，使用这种策略学习的模型，没有额外的训练，已经能够粗略的航空图像的语义标记。此外，我们证明，通过微调这个模型，我们可以实现更准确的语义分割比两个基线初始化策略。我们使用我们的网络来处理估计地面图像的地理位置和地理方向的任务。最后，我们展示了如何从航空图像中提取的功能可以用来幻觉一个似是而非的地面全景。
2016-12-08 cs.CV
Towards Open-Set Semantic Segmentation of Aerial Images
Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）；University of Stirling（斯特灵大学）
经典和最近的深度计算机视觉方法针对可见光谱图像进行了优化，这些图像通常以从智能手机或相机获取的灰度或RGB颜色空间进行编码。在遥感领域利用的一种较不常见的图像来源是卫星和航空图像。然而，这些数据的模式识别方法的发展是相对较新的，主要是由于这类图像的可用性有限，因为直到最近它们还专门用于军事目的。获得航空图像，包括光谱信息，一直在增加，主要是由于无人机的成本低，成像卫星发射成本便宜，和新的公共数据集。通常遥感应用采用严格建模的闭集场景下的分类任务的计算机视觉技术。然而，现实世界的任务很少适合封闭集上下文，经常呈现以前未知的类，将它们描述为开放集场景。针对这一问题，本文首次研究和发展了遥感图像开集场景的语义分割技术。本文的主要贡献是：1）开集语义分割的相关工作的讨论，这些技术可以适用于开集遥感任务的证据; 2）开发和评估一种新的方法，开集语义分割。我们的方法产生了竞争力的结果相比，闭集方法相同的数据集。
2020-01-27 cs.CV
A Semantic Segmentation-guided Approach for Ground-to-Aerial Image Matching
Sapienza University of Rome（罗马智慧大学）；European Space Agency (ESA)（欧洲空间局）
提出语义对齐网络SAN，融合卫星图像及其语义分割掩码，通过三流Siamese网络实现无GPS的地面-卫星图像匹配，在CVUSA数据集上提升各视场性能。
2024-05-23 cs.CV cs.LG
Tree semantic segmentation from aerial image time series
Mila；Quebec AI Institute（魁北克人工智能研究所）；School of Computer Science（计算机科学学院）；McGill University（麦吉尔大学）
本研究针对树种识别问题，提出结合时空卷积块与分类学层级损失的航空图像时间序列树木语义分割方法，验证了时间序列模态和分类标签信息对分割性能的提升作用。
2024-07-18 cs.CV
Aerial Map-Based Navigation Using Semantic Segmentation and Pattern Matching
Nearthlab
提出了一种基于地图的无人机导航系统设计方法。所提出的系统尝试标签到标签匹配，而不是图像到图像匹配，航空图像和地图数据库之间。地面对象可以通过深度学习方法标记，并且对象的配置用于在地图数据库中找到对应的位置。使用深度学习技术作为提取高级特征的工具，将基于图像的定位问题简化为模式匹配问题。本文提出了一种不需要高度信息或相机模型来估计绝对水平位置的模式匹配算法。仿真图像的可行性分析表明，所提出的基于地图的导航可以实现与建议的模式匹配算法，它是能够提供位置给定的标记的对象。
2022-05-30 cs.CV cs.RO
A Relation-Augmented Fully Convolutional Network for Semantic Segmentation in Aerial Scenes
German Aerospace Center (DLR)（德国航空航天中心）；Technical University of Munich (TUM)（慕尼黑工业大学）
大多数当前的语义分割方法都依赖于深度卷积神经网络（CNN）。然而，他们使用的卷积运算与当地的感受野导致失败的建模上下文空间关系。先前的工作试图通过在网络中使用图形模型或空间传播模块来解决这个问题。但这种模型往往无法捕捉实体之间的长期空间关系，这导致空间碎片化的预测。此外，最近的工作表明，通道信息也在CNN中起着关键作用。在这项工作中，我们引入了两个简单而有效的网络单元，空间关系模块和通道关系模块，学习和推理任何两个空间位置或特征图之间的全局关系，然后产生关系增强的特征表示。空间和信道关系模块是通用的和可扩展的，并且可以以即插即用的方式与现有的全卷积网络（FCN）框架一起使用。我们评估关系模块配备网络的语义分割任务使用两个航空图像数据集，这从根本上取决于远程空间关系推理。这些网络取得了非常有竞争力的结果，比基线有了重大改进。
2020-05-19 cs.CV
Unveiling Ancient Maya Settlements Using Aerial LiDAR Image Segmentation
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Davidson College（戴维森学院）
针对LiDAR考古图像人工识别效率低、需专业知识的问题，提出结合新型LiDAR预处理与数据增强的YOLOv8分割方法，在玛雅两类建筑分割上IoU达0.842和0.809，优于现有方法，可加速历史景观分析。
2024-03-09 cs.CV
FRACTAL: An Ultra-Large-Scale Aerial Lidar Dataset for 3D Semantic Segmentation of Diverse Landscapes
Institut national de l’information géographique et forestière (IGN)（法国国家地理与森林信息研究所）
本文提出FRACTAL超大规模航空激光雷达数据集，包含10万个密集点云、7类语义标签并覆盖250平方公里，通过从法国五个地区采样稀有类别和复杂地貌提升多样性，为大规模土地监测的3D深度学习方法提供基准支持。
2024-08-30 cs.CV cs.LG
TreeSegNet: Adaptive Tree CNNs for Subdecimeter Aerial Image Segmentation
Beijing University of Chemical Technology（北京化工大学）；College of Information Science & Technology（信息科学与技术学院）
对于亚分米级航空影像分割任务，由于遥感内容和光学条件的复杂性，通常很难获得细粒度的语义分割结果。最近，卷积神经网络（CNN）在这项任务上表现出了出色的性能。尽管许多深层神经网络结构和技术已被应用于提高准确性，但很少有人注意更好地区分容易混淆的类别。在本文中，我们提出了TreeSegNet，它采用自适应网络来提高像素级的分类率。具体而言，基于DeepUNet的基础设施，根据混淆矩阵和所提出的TreeCutting算法自适应地构造Tree-CNN块，其中每个节点表示ResNeXt单元。通过级联连接传输特征图，Tree-CNN块融合了多尺度特征，并学习模型的最佳权重。在ISPRS 2D语义标注波茨坦数据集上的实验中，TreeSegNet获得的结果优于其他已发表的最先进的方法。详细的比较和分析表明，自适应Tree-CNN块带来的改善是显着的。
2018-08-25 cs.CV
Co-SemDepth: Fast Joint Semantic Segmentation and Depth Estimation on Aerial Images
University of Genova（热那亚大学）
针对无人机自主导航中场景几何与语义信息的实时获取需求，提出Co-SemDepth联合深度学习架构，可同时快速完成航空图像的深度估计与语义分割，在相关基准上性能优异且速度快、内存占用低。
2025-03-23 cs.AI cs.CV
Benchmarking Deep Learning Models for Aerial LiDAR Point Cloud Semantic Segmentation under Real Acquisition Conditions: A Case Study in Navarre
Department of Statistics, Computer Science and Mathematics and Institute of Smart Cities (ISC), Public University of Navarre (UPNA)（统计、计算机科学与数学系和智能城市研究所（ISC），纳瓦拉公共大学（UPNA））；Tracasa Instrumental
本文评估了四种深度学习模型在真实飞行条件下大规模空中LiDAR数据集上的性能，揭示了空中数据中类别不平衡和几何变化的挑战，结果显示KPConv在多个类别上表现最佳。
2026-03-23 cs.CV
Joint Instance Segmentation and Geometric Attribute Regression for Roof Structures in Aerial Imagery
University of Amsterdam (UvA)（阿姆斯特丹大学）
提出一种从单张航空正射影像中联合预测屋顶实例分割掩码和三个连续几何属性（建筑高度、屋顶坡度、屋顶方位角）的方法，通过条件方位角损失和对数归一化高度表示解决数据噪声和分布偏斜问题，在荷兰大规模数据集上实现了高精度，并可从单张图像重建简化3D建筑模型。
2026-05-25 cs.CV
Augmentation Invariance and Adaptive Sampling in Semantic Segmentation of Agricultural Aerial Images
Politecnico di Torino（都灵理工大学）；LINKS Foundation（LINKS基金会）；Consorzio Interuniversitario Nazionale per l’Informatica（全国大学信息学联盟）
本文研究了农业航空影像的语义分割问题。我们观察到，用于该任务的现有方法在设计时没有考虑航空数据的两个特征：（i）自顶向下的视角意味着模型不能依赖于场景的固定语义结构，因为传感器的不同旋转可能会经历相同的场景;（ii）由于场景的相关对象可能以极其不同的尺度出现（例如，一片庄稼地和一辆小车）。我们基于两个想法提出了一个解决这些问题的方案：（i）我们一起使用一组合适的增强和一致性损失来指导模型学习语义表示，这些语义表示对于自顶向下视角的典型光度和几何变化是不变的（增广不变性）;（ii）我们使用采样方法（自适应采样），该方法基于类的逐像素分布和实际网络置信度的测量来选择训练图像。通过在Aidure-Vision数据集上进行的一组广泛的实验，我们证明了我们提出的策略提高了当前最先进方法的性能。
2022-04-17 cs.CV
Real-Time Semantic Segmentation of Aerial Images Using an Embedded U-Net: A Comparison of CPU, GPU, and FPGA Workflows
Viveris Technologies（维弗里斯技术公司）
本研究提出轻量级U-Net，在保持航拍图像分割精度的同时将参数量和MAC运算降低16倍，并系统对比CPU、GPU、FPGA上五种工具链的性能、功耗与能效，为嵌入式实时语义分割部署提供选型依据。
2025-03-07 cs.AI cs.AR cs.CV
Hybrid Multiple Attention Network for Semantic Segmentation in Aerial Images
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）；School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences（中国科学院大学电子电气与通信工程学院）
超高分辨率航空影像的语义分割是遥感影像理解中最具挑战性的任务之一。目前的大多数方法都是基于深度卷积神经网络（DCNN）的。然而，局部感受野的标准卷积无法对全局依赖性进行建模。先前的研究表明，基于注意力的方法可以捕获长范围的依赖关系，并进一步重建的特征图更好的表示。然而，受限于空间和通道注意力的单一视角以及自注意力机制的巨大计算复杂度，难以对复杂光谱遥感数据中各像元之间的语义相关性进行有效建模。在这项工作中，我们提出了一种新的基于注意力的框架命名为混合多注意力网络（HMANet），以自适应地捕捉全局相关性的角度来看，空间，通道和类别在一个更有效和高效的方式。具体地，嵌入有类通道注意力（CCA）模块的类增强注意力（CAA）模块可以用于计算基于类别的相关性并重新校准类级信息。此外，我们引入了一个简单而有效的区域洗牌注意力（RSA）模块，以减少特征冗余，提高效率的自我注意力机制，通过区域明智的表示。ISPRS Vaihingen和波茨坦基准上的大量实验结果表明，我们的HMANet的有效性和效率超过其他国家的最先进的方法。
2020-09-15 cs.CV eess.IV
Application of a semantic segmentation convolutional neural network for accurate automatic detection and mapping of solar photovoltaic arrays in aerial imagery
Duke University（杜克大学）
我们考虑的问题，自动检测小规模的太阳能光伏阵列背后的米能源资源评估在高分辨率航空影像。这种算法提供了一种更快、更经济的解决方案来收集分布式太阳能光伏（PV）阵列的信息，例如它们的位置、容量和产生的能量。光伏阵列的表面积是一个可以从航空图像中估计的特征，它为阵列容量和能量产生提供了一个重要的代理。在这项工作中，我们采用了最先进的卷积神经网络架构，称为SegNet（Badrinarayanan et.例如，2015年），语义分割（或映射）光伏阵列在航空图像。这是建立在以前的工作重点是确定光伏阵列的位置，而不是他们的具体形状和大小。我们测量我们的SegNet实现的能力，以估计光伏阵列的表面积上的一个大的，公开的，数据集，已在以前的几项研究。结果表明，与最近提出的卷积神经网络PV检测算法相比，SegNet模型在估计形状和大小方面产生了实质性的性能改进。
2018-01-11 cs.CV
Learning Aerial Image Segmentation from Online Maps
ETH Zurich（苏黎世联邦理工学院）
本研究处理高分辨率（航空）图像的语义分割，其中语义类标签被分配给每个像素通过监督分类作为自动地图生成的基础。最近，深度卷积神经网络（CNN）表现出令人印象深刻的性能，并迅速成为语义分割的事实标准，其额外的好处是不再需要特定于任务的特征设计。然而，深度学习方法的一个主要缺点是它们非常需要数据，从而加剧了监督分类的长期瓶颈，以获得足够的注释训练数据。另一方面，已经观察到它们对训练标签中的噪声相当鲁棒。这开辟了一种有趣的可能性，可以避免注释大量的训练数据，而是从现有的遗留数据或可能表现出高噪声水平的众包地图中训练分类器。本文所解决的问题是：大规模的，公开的标签培训可以取代人工标注工作的很大一部分，仍然取得足够的性能？这些数据将不可避免地包含很大一部分错误，但作为回报，在世界上更大的地区，几乎可以获得无限数量的数据。我们采用了最先进的CNN架构，用于对航拍图像中的建筑物和道路进行语义分割，并比较了使用不同训练数据集时的性能，这些数据集包括手动标记的、同一城市的像素精确地面实况，以及从遥远位置的OpenStreetMap数据中获得的自动训练数据。我们报告我们的结果表明，满意的性能，可以得到显着减少人工注释的努力，通过利用嘈杂的大规模训练数据。
2017-07-21 cs.CV
UAV-OVVIS: Unmanned Aerial Vehicles Also Need Open-Vocabulary Video Instance Segmentation
研究针对无人机视频感知在开放场景中支持灵活查询和细粒度实例级动态理解不足的问题，提出无需训练的AeroTrack统一框架，构建AeroVIS评估基准，其实例化变体在无人机场景表现优异，还发布框架和基准以支持后续研究。
2026-07-23 cs.CV
Instance segmentation of fallen trees in aerial color infrared imagery using active multi-contour evolution with fully convolutional network-based intensity priors
The Hong Kong Polytechnic University（香港理工大学）；Bavarian Forest National Park（巴伐利亚森林国家公园）
在本文中，我们介绍了一个框架分割实例的一个共同的对象类的多个活动轮廓进化的语义分割地图的图像，通过完全卷积网络。轮廓演变被铸造作为一个能量最小化的问题，其中的总能量功能结合了一个数据拟合项，一个明确的形状模型，并占对象重叠。提出了有效的解决方案邻域算子，使优化通过元算法，如模拟退火。我们实例化的背景下分割个人下降的干高分辨率航空多光谱图像的建议框架。我们在3个不同复杂度的真实场景上验证了我们的方法。试验地块位于德国巴伐利亚森林国家公园的地区，那里遭受了严重的树皮甲虫侵扰。在多边形和线段两个层次上进行了评价，表明多轮廓分割可以达到0.93的精度和0.82的召回率。与迭代样本共识线段检测相比，召回率提高了7个百分点（PP），精确度提高了6个百分点。尽管简单的应用形状参数化，明确的形状模型纳入能量函数提高了结果高达4 PP的召回。最后，我们展示了使用基于深度学习的语义分割方法作为个体词干检测基础的重要性。我们的方法是一个步骤，增加自动倒树映射的可访问性，由于更高的成本效益相比，激光扫描的航空图像采集。精确的倒木图可进一步用作植物和动物生境模拟、森林生态系统固碳和土壤质量研究的基础。
2021-05-05 cs.CV
AIFloodSense: A Global Aerial Imagery Dataset for Semantic Segmentation and Understanding of Flooded Environments
Department of Management Science and Technology（管理科学与技术系）；Hellenic Mediterranean University（希伯伦地中海大学）；Institute of Computer Science, FORTH（信息科学研究所，FORTH）
本文提出AIFloodSense数据集，包含470张高分辨率图像，覆盖64个国家和六个大洲，支持图像分类、语义分割和视觉问答三个任务，旨在提升洪水环境的灾害评估能力。
2025-12-19 cs.CV
Stable Diffusion For Aerial Object Detection
Microsoft Corp（微软公司）
针对航空目标检测的数据稀缺与长尾分布问题，提出一种基于Stable Diffusion的合成数据增强框架，通过ROI提取、LORA微调和Copy-Paste组合方法提升检测性能。
2023-11-21 cs.AI cs.CV cs.LG
Improving Semantic Segmentation of Aerial Images Using Patch-based Attention
University of Trento（特伦托大学）
特征表示能力和空间定位精度之间的权衡对于航空图像的密集分类/语义分割至关重要。从神经网络的后期层提取的高级特征包含丰富的语义信息，但具有模糊的空间细节;从网络的早期层提取的低级特征包含更多的像素级信息，但孤立且有噪声。因此，很难弥合高层次和低层次特征之间的差距，因为它们在物理信息内容和空间分布方面存在差异。在这项工作中，我们有助于解决这个问题，以两种方式增强功能表示。一方面，提出了一个补丁注意模块（PAM），以增强嵌入的上下文信息的局部注意的补丁式计算的基础上。另一方面，提出了一个注意力嵌入模块（AEM），通过从高层特征中嵌入局部焦点来丰富底层特征的语义信息。这两个模块都是轻量级的，可以应用于处理卷积神经网络（CNN）的提取特征。实验表明，通过将所提出的模块集成到基准全卷积网络（FCN）中，所得到的局部注意力网络（LANet）在两个航空图像数据集上的性能比基准显著提高，并且优于其他基于注意力的方法。
2019-11-20 cs.CV
