Automatic Building Extraction in Aerial Scenes Using Convolutional Networks
Oak Ridge National Laboratory（橡树岭国家实验室）
由于建筑物外观变化非常大，从航空和卫星图像中自动提取建筑物具有很大的挑战性。为了解决这个问题，我们设计了一个卷积网络，它的最后一级集成了来自多个前级的激活，用于像素级预测，并引入了建筑边界的符号距离函数作为输出表示，它具有增强的表示能力。我们充分利用地理信息系统（GIS）提供的丰富的建筑物足迹数据来编译训练数据。经过训练的网络在比先前工作中使用的数据集更大、更复杂的数据集上实现了卓越的性能，表明所提出的方法为自动化这项劳动密集型任务提供了一种有前途的可扩展解决方案。
2016-02-21 cs.CV
Adversarial Loss for Semantic Segmentation of Aerial Imagery
Eindhoven University of Technology（埃因霍温理工大学）
从航空图像中自动提取建筑物在城市规划、灾害管理和变化检测中有多种应用。近年来，一些作品采用深度卷积神经网络（CNN）进行建筑物提取，因为它们产生了丰富的特征，这些特征对照明条件，阴影等是不变的。大多数深度学习分割方法在不了解上下文的情况下，相对于地面真实值优化了每像素损失。这通常会导致不完美的输出，从而可能导致缺失或未细化的区域。在这项工作中，我们提出了一种新的损失函数，结合了对抗性和交叉熵损失，学习理解语义分割的局部和全局上下文。部署在DeepLab v3+网络上的新提出的损失函数在马萨诸塞州建筑数据集上获得了最先进的结果。损失函数改进了结构并细化了建筑物的边缘，而不需要任何常用的后处理方法，如条件随机场。我们还进行消融研究，以了解对抗性损失的影响。最后，该方法在马萨诸塞州建筑数据集上获得了95.59%的宽松F1分数，而之前的最佳F1分数为94.88%。
2020-01-18 cs.CV eess.IV
AIM2PC: Aerial Image to 3D Building Point Cloud Reconstruction
German Aerospace Center (DLR)（德国航空航天中心）；Digital Research Center of Sfax（斯法克斯数字研究中心）；Higher School of Communication of Tunis（突尼斯高等通信学院）
本文提出AIM2PC方法，利用包含完整点云和相机位姿的新数据集，结合CDPM扩散模型与边缘条件，实现航空图像到完整建筑点云的高质量重建，性能优于现有基线。
2025-03-25 cs.CV
Leveraging Crowdsourced GPS Data for Road Extraction from Aerial Imagery
Tongji University（同济大学）
深度学习正在彻底改变地图行业。在轻量级的人工管理下，计算机使用高分辨率的航空图像在OpenStreetMap（OSM）上生成了泰国近一半的道路。Bing地图在美国显示了1.25亿个计算机生成的建筑多边形。虽然比手动地图效率高得多，但人们不能从空中绘制出所有的东西。特别是对于道路，由图像遮挡引起的小的预测间隙使得整个道路对于路由无用。错误的连接可能更危险。因此，基于计算机的测绘通常需要本地验证，这仍然是劳动密集型的。在本文中，我们建议利用众包的GPS数据来改进和支持从航空图像中提取道路。通过新的数据增强，GPS渲染和1D转置卷积技术，我们表现出近5%的改进，比以前的竞争获胜的模型，更好的鲁棒性时，预测新的领域没有任何新的训练数据或领域自适应。
2019-05-04 cs.CV
RoadTracer: Automatic Extraction of Road Networks from Aerial Images
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Qatar Computing Research Institute, HBKU（卡塔尔计算研究所，哈马德·本·哈利法大学）
绘制道路网络图目前既昂贵又劳动密集。高分辨率航空影像提供了一个有前途的途径，自动推断的道路网络。先前的工作使用卷积神经网络（CNN）来检测哪些像素属于道路（分割），然后使用复杂的后处理算法来推断图形的连通性。我们表明，这些分割方法有很高的出错率，因为嘈杂的CNN输出是难以纠正的。我们提出了RoadTracer，一种新的方法来自动构建精确的道路网络地图从航空影像。RoadTracer使用由基于CNN的决策函数指导的迭代搜索过程，直接从CNN的输出中推导出道路网络图。我们比较了我们的方法与分割方法对15个城市，并发现在5%的出错率，RoadTracer正确地捕捉45%以上的路口在这些城市。
2018-04-26 cs.CV
DeepDualMapper: A Gated Fusion Network for Automatic Map Extraction using Aerial Images and Trajectories
School of Computer Science, Fudan University（复旦大学计算机学院）；Systems and Shanghai Key Laboratory of Data Science, Fudan University（复旦大学系统与上海数据科学重点实验室）；Shanghai Insitute of Intelligent Electroics & Systems（上海智能电子与系统研究所）；Bytedance AI Lab（字节跳动AI实验室）；Singapore Management University（新加坡管理大学）
地图自动提取对于城市计算和基于位置的服务具有重要意义。航空图像和GPS轨迹数据是指可用于生成地图的两个不同数据源，尽管它们携带不同类型的信息。以往大多数航空影像与辅助传感器数据融合的研究都没有充分利用两者的信息，存在信息丢失的问题。我们提出了一种称为DeepDualMapper的深度卷积神经网络，它以更无缝的方式融合航空图像和轨迹数据来提取数字地图。我们设计了一个门控融合模块，以互补的方式明确控制来自两种模式的信息流。此外，我们提出了一种新的密集监督细化解码器，以粗到细的方式生成预测。我们的综合实验表明，DeepDualMapper可以比现有方法更有效地融合图像和轨迹的信息，并且能够生成更高精度的地图。
2020-02-17 cs.CV
Deep cross-domain building extraction for selective depth estimation from oblique aerial imagery
Fraunhofer IOSB（弗劳恩霍夫IOSB）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
随着航空影像技术的进步和城市环境的精确三维重建，城市区域的自动分析越来越受到重视。在我们的工作中，我们研究了两个重要的方面，允许在倾斜的航拍图像，即自动建筑物提取与卷积神经网络（CNN）和选择性的实时深度估计从航拍图像的城市模型中的建筑结构的实时分析。我们使用迁移学习来训练更快的R-CNN方法，通过将用于城市场景理解的大型地面数据集与来自空中数据集的少量图像相结合来进行实时深度目标检测。对于在选定的评估数据集上进行构建提取的任务，我们实现了约80%的平均精度（AP）。我们的评估集中在特定的学习和迁移学习。此外，我们提出了一种算法，允许多视图深度估计从航空图像的实时。我们采用半全局匹配（SGM）的优化策略，以保持在对象边界的尖锐边缘。结合Faster R-CNN，它允许从倾斜的航空图像中选择性地重建建筑物，识别感兴趣的区域（ROI）。
2019-09-21 cs.CV cs.LG
Self-Supervised Pretraining for Aerial Road Extraction
FZI Research Center for Information Technology（FZI信息技术研究中心）；Institute of Applied Informatics and Formal Description Methods, Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院应用信息学与形式化描述方法研究所）
针对航空图像道路提取标注数据稀缺问题，提出基于图像修复的自监督预训练方法，通过重建缺失区域学习图像固有结构，显著提升低数据量下的分割精度与泛化能力。
2025-04-01 cs.CV cs.LG
A Novel Multi-scale Attention Feature Extraction Block for Aerial Remote Sensing Image Classification
The University of Melbourne（墨尔本大学）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
针对甚高分辨率航空遥感图像中复杂小物体表征能力有限导致性能不稳定的问题，提出一种基于多尺度卷积和跳跃连接的即插即用多尺度注意力特征提取块，在AID和NWPU数据集上实现了稳定且优异的分类性能。
2023-08-27 cs.CV
Domain Adaptive Transfer Attack (DATA)-based Segmentation Networks for Building Extraction from Aerial Images
National Institute of Standards and Technology（国家标准与技术研究院）；Rice University（莱斯大学）；Colorado State University（科罗拉多州立大学）；National Research Institute for Metals（金属材料研究所）
基于卷积神经网络（CNN）的语义分割模型在遥感领域得到了广泛的关注，并在高分辨率航空影像建筑物提取方面取得了显著的效果。然而，对于不可见图像的有限概括的问题仍然存在。当训练数据集和测试数据集之间存在域间隙时，由训练数据集训练的基于CNN的分割模型无法为测试数据集分割建筑物。在本文中，我们提出了分割网络的基础上域自适应转移攻击（DATA）计划从航空图像中提取建筑物。所提出的系统结合了域转移和对抗攻击的概念。基于DATA方案，可以将输入图像的分布转移到目标图像的分布，同时将图像转化为针对目标网络的对抗性示例。防御对抗性的例子适应于目标域可以克服由于域间隙的性能下降，并增加分割模型的鲁棒性。针对三个不同的数据集进行了跨数据集实验和消融研究：Inria航空图像标记数据集，马萨诸塞州建筑数据集和WHU东亚数据集。与没有DATA方案的分段网络的性能相比，所提出的方法在整体IoU方面有所改进。此外，它被验证，所提出的方法优于即使相比，特征自适应（FA）和输出空间自适应（OSA）。
2020-04-29 cs.CV cs.LG eess.IV
CMAB: A First National-Scale Multi-Attribute Building Dataset in China Derived from Open Source Data and GeoAI
School of Architecture, Tsinghua University（清华大学建筑学院）
本文提出GeoAI框架并构建中国首个国家级多属性建筑数据集CMAB，覆盖3667个城市、2900万栋建筑，融合多源数据生成屋顶、高度、功能、房龄和质量属性，精度大多超过80%，为城市规划和可持续发展目标提供关键数据支撑。
2024-08-31 cs.CV
ESFNet: Efficient Network for Building Extraction from High-Resolution Aerial Images
Northeast Forestry University（东北林业大学）；Embry-Riddle Aeronautical University（安柏瑞德航空大学）
从高分辨率航空影像中提取建筑物足迹一直是城市动态监测、规划和管理的重要组成部分。这也是遥感研究中的一项具有挑战性的任务。近年来，深度神经网络在提高遥感影像建筑物提取精度方面取得了很大的成就。然而，现有的大多数方法通常需要大量的参数和浮点运算才能达到高精度，这导致了高内存消耗和低推理速度，不利于研究。在本文中，我们提出了一种新的高效网络命名为ESFNet，它采用可分离因子分解的残差块，并利用扩张卷积，旨在保持轻微的精度损失，低计算成本和内存消耗。我们的ESFNet在准确性和效率之间获得了更好的权衡，它可以在单个Tesla V100上以超过100 FPS的速度运行，所需的FLOP比最先进的实时架构ERFNet少6倍，参数少18倍，同时保持类似的准确性，而无需任何额外的上下文模块，后处理和预训练方案。我们在WHU Building Dataset上评估了我们的网络，并将其与其他最先进的架构进行了比较。综合分析表明，该网络有利于有效的遥感研究，并可进一步推广到其他领域。该代码可在https://github.com/mrluin/ESFNet-Pytorch上公开获取
2019-04-19 cs.CV
Aerial Images Meet Crowdsourced Trajectories: A New Approach to Robust Road Extraction
Sun Yat-Sen University（中山大学）；The Guangdong University of Technology（广东工业大学）
土地遥感分析是地球科学中的一项重要研究。在这项工作中，我们专注于土地分析的一项具有挑战性的任务，即，从遥感数据中自动提取交通道路，在城市发展和扩展预测中有着广泛的应用。然而，常规方法要么仅利用空间图像的有限信息，要么简单地融合多模态信息（例如，车辆轨迹），因此不能很好地识别无约束的道路。为了解决这个问题，我们引入了一个新的神经网络框架，称为跨模态消息传播网络（CMMPNet），它充分利用了互补的不同模态数据（即，航空图像和众包轨迹）。具体来说，CMMPNet由两个用于特定模态表示学习的深度自动编码器和一个用于跨模态表示细化的定制设计的双重增强模块组成。特别是，全面提取并动态传播每个模态的补充信息，以增强另一模态的表示。在三个真实世界的基准上进行的大量实验证明了我们的CMMPNet在鲁棒道路提取方面的有效性，这些道路提取受益于混合不同的模态数据，无论是使用图像和轨迹数据还是图像和激光雷达数据。从实验结果中，我们观察到，所提出的方法优于当前国家的最先进的方法大幅margins.Our源代码重新密封的项目页面http://lingboliu.com/multimodal_road_extraction.html。
2022-05-25 cs.AI cs.CV
Prompt-Driven Building Footprint Extraction in Aerial Images with Offset-Building Model
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences（中国科学院大学电子电气与通信工程学院）；City University of Hong Kong（香港城市大学）
提出可提示的偏移建筑物模型（OBM），结合距离NMS优化，在航空图像中提升建筑物足迹提取精度，显著降低偏移误差并提高屋顶IoU。
2025-02-22 cs.CV
PCFootprint: A Large-Scale Dataset and Benchmark for Vectorized Building Footprint Extraction from Aerial LiDAR Point Clouds
School of Architecture and Urban Planning, Shenzhen University（深圳大学建筑与城市规划学院）
提出首个大规模航空激光扫描点云建筑足迹提取数据集PCFootprint，含33000个瓦片及跨域测试集，通过评估主流方法揭示复杂地理环境下的挑战。
2026-06-19 cs.CV
DUFormer: Solving Power Line Detection Task in Aerial Images using Semantic Segmentation
Autel Robotics（道通智能）；Fujian College, University of Chinese Academy of Sciences（中国科学院大学福建学院）；Quanzhou Institute of Equipment Manufacturing, Fujian Institute of Research on the Structure of Matter, Chinese Academy of Sciences（中国科学院福建物质结构研究所泉州装备制造研究所）；Fujian Agriculture and Forestry University（福建农林大学）；RWTH Aachen University（亚琛工业大学）
针对航拍图像中电力线前景小、背景复杂导致检测难的问题，提出DUFormer语义分割算法，结合CNN强归纳偏置与Transformer全局建模，并采用联合多权重损失，在TTPLA数据集上超越现有方法。
2023-08-31 cs.CV
RoadGIE: Towards A Global-Scale Aerial Benchmark for Generalizable Interactive Road Extraction
NKIARI, Shenzhen Futian（深圳福田NKIARI）；VCIP, CS, Nankai University（南开大学VCIP研究所）；AAIS, Nankai University（南开大学AAIS）；College of Electronic Engineering, National University of Defense Technology, Changsha, China（国防科技大学电子工程学院，长沙，中国）
提出最大、最多样的道路分割数据集WorldRoadSeg-360K，并设计支持连通性感知提示的交互式方法RoadGIE，在分割精度和拓扑一致性上达到最优。
2026-05-26 cs.CV
Multi-Temporal Aerial Image Registration Using Semantic Features
The University of Manchester（曼彻斯特大学）
提出了一种多时相高分辨率航空影像配准的语义特征提取方法。这些特征对诸如道路之类的时间不变对象的属性或信息进行编码，并帮助处理诸如图像配准中的树叶变化等问题，这些问题是经典手工特征无法解决的。这些特征是从语义分割网络中提取的，在实验中，这些特征在跨年份和季节的航空图像配准中表现出良好的鲁棒性和准确性。
2019-09-19 cs.CV
Supervised domain adaptation for building extraction from off-nadir aerial images
The University of Melbourne（墨尔本大学）
针对离天底航空影像标签错位导致的建筑物提取问题，提出在含噪与干净数据集间对编码器-解码器网络进行监督域适应，并通过大规模基准验证其显著优于KD和DML。
2024-08-07 cs.CV
Polylidar3D -- Fast Polygon Extraction from 3D Data
University of Michigan（密歇根大学）
由3D点云捕获的平面通常用于定位、映射和建模。密集点云处理具有高计算和存储器成本，使得平坦表面（诸如多边形）的低维表示是期望的。我们提出了Polylidar 3D，一种非凸多边形提取算法，它以无组织的3D点云（例如，LiDAR数据）、组织的点云（例如，范围图像）或用户提供的网格。非凸多边形表示环境中的平坦表面，内部切口表示障碍物或孔洞。Polylidar 3D前端将输入数据转换为半边三角形网格。此表示为后续后端处理提供了一个通用的输入数据抽象级别。Polylidar 3D后端由四个核心算法组成：网格平滑，主平面法线估计，平面段提取，最后是多边形提取。Polylidar 3D显示出相当快的速度，在可用时利用CPU多线程和GPU加速。我们通过真实世界的数据集展示了Polylidar 3D的多功能性和速度，包括用于屋顶测绘的航空LiDAR点云，用于路面检测的自动驾驶LiDAR点云，以及用于室内地板/墙壁检测的RGBD相机。我们还评估了一个具有挑战性的平面分割基准数据集上的Polylidar 3D。结果始终显示出出色的速度和准确性。
2020-07-23 cs.CV cs.RO
Multiple-environment Self-adaptive Network for Aerial-view Geo-localization
Hangzhou Dianzi University（杭州电子科技大学）；University of Macau（澳门大学）；Lishui Institute of Hangzhou Dianzi University（杭州电子科技大学丽水研究院）；Zhejiang University（浙江大学）
针对航拍地理定位中训练与测试环境域偏移导致性能下降的问题，本文提出多环境自适应网络MuSe-Net，通过风格提取与自适应调制动态缩小环境风格差距，在多个基准上取得有竞争力的定位结果。
2024-02-25 cs.CV
Lane Graph Extraction from Aerial Imagery via Lane Segmentation Refinement with Diffusion Models
Riemann Lab , Huawei（里曼实验室，华为）；Center for Cognitive Interaction Technology (CITEC), Faculty of Technology, Bielefeld University（认知交互技术中心（CITEC），技术学院，比勒菲尔德大学）
针对现有方法从航空影像提取车道图时掩码质量差的问题，提出用扩散模型优化CNN输出的车道掩码，实验证明该方法在车道图提取指标上显著优于现有方法。
2025-11-16 cs.CV
Precision in Building Extraction: Comparing Shallow and Deep Models using LiDAR Data
University of Stavanger（斯塔万格大学）；NORCE Norwegian Research Centre（NORCE挪威研究中心）
本文利用NORA MapAI基准数据比较浅层模型与深度学习模型在建筑分割中的表现，发现浅层模型IoU更高，而边界掩膜可提升BIoU分数。
2023-09-21 cs.CV
AI-driven Structure Detection and Information Extraction from Historical Cadastral Maps (Early 19th Century Franciscean Cadastre in the Province of Styria) and Current High-resolution Satellite and Aerial Imagery for Remote Sensing
University of Graz（格拉茨大学）；Know Center, Graz（格拉茨知识中心）
针对19世纪地籍资料利用难度大的问题，研究训练了CNN与Vision Transformer等深度学习模型，用于从历史地籍图与遥感影像中提取信息，并开发浏览器工具助力相关研究与文化遗产保护。
2023-12-08 cs.CV cs.LG
Georeferencing of Photovoltaic Modules from Aerial Infrared Videos using Structure-from-Motion
Forschungszentrum Jülich GmbH（尤利希研究中心）；Helmholtz-Institute Erlangen-Nuremberg for Renewable Energies (HI ERN)（亥姆霍兹埃尔兰根-纽伦堡可再生能源研究所（HI ERN））；Institute Materials for Electronics and Energy Technology（电子与能源技术材料研究所）；Universität Erlangen-Nürnberg (FAU)（埃尔兰根-纽伦堡大学（FAU））
为了经济地识别大型光伏电站中的异常光伏（PV）模块，经常使用无人机安装的红外（IR）摄像机和自动视频处理算法。虽然大多数相关的工作集中在异常模块的检测，很少有人做了自动定位这些模块在工厂内。在这项工作中，我们使用增量运动恢复结构自动获得的所有光伏组件在工厂的基础上的视觉线索和测量的GPS轨迹的无人机的地理坐标。此外，我们提取多个红外图像的每个光伏组件。使用我们的方法，我们成功地映射99.3%的35084模块在四个大规模和一个屋顶工厂和提取超过220万个模块的图像。与我们以前的工作相比，提取丢失的模块减少了18倍（140个模块中有一个，而八个模块中有一个）。此外，两个或三个植物行可以同时处理，增加模块的吞吐量和减少飞行时间的2.1和3.7倍，分别。与一个精确的正射影像的大型工厂之一的比较产生的均方根误差的估计模块的地理坐标为5.87米和相对误差内的每一个植物行0.22米至0.82米。最后，我们使用模块地理坐标和提取的IR图像来可视化模块温度的分布和深度学习分类器在地图上的异常预测。虽然温度分布有助于识别断开连接的字符串，但我们也发现，其对模块异常的检测精度达到甚至超过了深度学习分类器对十种常见异常类型中的七种的检测精度。该软件发布于https://github.com/LukasBommes/PV-Hawk。
2022-04-06 cs.CV
Stable Diffusion For Aerial Object Detection
Microsoft Corp（微软公司）
针对航空目标检测的数据稀缺与长尾分布问题，提出一种基于Stable Diffusion的合成数据增强框架，通过ROI提取、LORA微调和Copy-Paste组合方法提升检测性能。
2023-11-21 cs.AI cs.CV cs.LG
Automated National Urban Map Extraction
National Center for Remote Sensing - CNRS（国家遥感中心 - CNRS）；Faculty of Engineering Lebanese University（黎巴嫩大学工程学院）；WASDI Luxembourg（卢森堡WASDI公司）
本文提出基于全卷积神经网络的自动化流程，利用高分辨率卫星图像实现国家尺度建筑实例分割，并在黎巴嫩生成首个含约100万单元、准确率84%的全国建筑足迹地图。
2024-05-03 cs.CV
Recurrently Exploring Class-wise Attention in A Hybrid Convolutional and Bidirectional LSTM Network for Multi-label Aerial Image Classification
German Aerospace Center (DLR)（德国航空航天中心）；Technical University of Munich (TUM)（慕尼黑工业大学）
航空图像分类在遥感领域具有重要的意义，近年来国内外学者对此进行了大量的研究。在这些研究中，大多数研究集中在将图像分类为一个语义标签，而在现实世界中，航空图像通常与多个标签相关联，例如，多个对象级别的标签。此外，在一个给定的高分辨率航空图像中的当前对象的全面图片可以提供更深入的了解所研究的区域。因此，航空影像多标记分类越来越受到人们的关注。然而，社区中现有方法共享的一个共同限制是，各种类的同现关系（所谓的类依赖）未被充分探索，并导致轻率的决定。在本文中，我们提出了一种新的端到端网络，即基于类注意力的卷积和双向LSTM网络（CA-Conv-BiLSTM）。该网络由三个不可或缺的部分组成：1）一个特征提取模块，2）一个类注意力学习层，和3）一个双向LSTM为基础的子网络。特别地，特征提取模块被设计用于提取细粒度的语义特征图，而类注意力学习层旨在捕获区分性的类特定特征。作为最重要的部分，基于LSTM的双向子网络在两个方向上对底层的类依赖进行建模，并产生结构化的多个对象标签。在UCM多标签数据集和DFC 15多标签数据集上的实验结果从定量和定性上验证了该模型的有效性。
2019-12-13 cs.CV
Automatic vehicle tracking and recognition from aerial image sequences
University of St Andrews（圣安德鲁斯大学）
本文研究了从航空图像序列中自动跟踪和识别车辆的问题。由于其在现有文献中的成功，重点关注使用线性外观子空间来描述多视图对象外观，并强调其作为实际系统的一部分的应用所涉及的挑战。描述了一个工作解决方案，其中包括数据提取和归一化的步骤。在对真实世界数据的实验中，所提出的方法取得了令人鼓舞的结果，具有较高的正确识别率和很少的有意义的错误（第二类错误，即真正相似的目标有时会相互混淆）。未来的研究方向和可能的改进所提出的方法进行了讨论。
2015-06-23 cs.CV
Relation Network for Multi-label Aerial Image Classification
German Aerospace Center（德国航空航天中心）；Technical University of Munich（慕尼黑工业大学）
多标签分类在感知航空影像的复杂内容方面发挥着重要作用，并在过去几年中引发了一些相关的研究。然而，他们中的大多数部署在利用标签关系的努力很少，而这种依赖关系是至关重要的，使准确的预测。虽然可以引入LSTM层以链传播方式对此类标签依赖关系进行建模，但当某些标签被不正确地推断时，效率可能会受到质疑。为了解决这个问题，我们提出了一种新的航空图像多标签分类网络，注意力感知标签关系推理网络。特别地，我们的网络由三个基本模块组成：1）标签式特征包学习模块，2）注意区域提取模块，以及3）标签关系推理模块。更具体地说，标签式特征包学习模块被设计用于提取高级标签特定特征。注意区域提取模块的目标是定位这些特征中的区分区域，并产生注意标签特定的特征。标签关系推理模块最后预测标签的存在，使用从前一个模块的输出推理的标签关系。该网络的特点是能够以无命题的方式提取有区别的标签特征，并自然地和可解释地推理标签关系。在我们的实验中，我们在UCM多标签数据集和新产生的数据集AID多标签数据集上评估了所提出的模型。这两个数据集上的定量和定性结果证明了我们的模型的有效性。为促进多标记航空图像分类的进展，将向公众提供国际开发署多标记数据集。
2020-02-10 cs.CV
Advancements in Road Lane Mapping: Comparative Fine-Tuning Analysis of Deep Learning-based Semantic Segmentation Methods Using Aerial Imagery
本研究比较了十二种深度学习语义分割模型在部分标注数据集下的迁移学习性能，发现基于Transformer的模型优于卷积神经网络，微调后显著提升了从航空影像提取道路车道线的性能，对自动驾驶HD地图开发具有重要意义。
2024-10-15 cs.CV
Building Footprint Extraction in Dense Areas using Super Resolution and Frame Field Learning
University of Houston（休斯顿大学）；Skymap Global；Nanyang Technological University（南洋理工大学）；Hanoi University of Science and Technology（河内科技大学）
针对密集区域建筑物足迹提取难题，提出结合超分辨率与帧场学习的多任务框架，通过自适应损失加权提升边缘与多边形精度，在印度贫民窟数据集上大幅超越现有方法。
2023-09-04 cs.CV
Contextual Pyramid Attention Network for Building Segmentation in Aerial Imagery
Eindhoven University of Technology（埃因霍温理工大学）
从航空图像中提取建筑物在城市规划、变化检测和灾害管理等问题中有着广泛的应用。随着数据可用性的不断提高，近年来，用于遥感图像语义分割的卷积神经网络（CNN）得到了显著的改进。然而，卷积在局部邻域中操作，并且未能捕获在航空图像的语义理解中必不可少的非局部特征。在这项工作中，我们建议通过使用上下文金字塔注意力（CPA）捕获长距离依赖关系来改善不同大小的建筑分割。这些路径有效地处理多个尺度的输入，并以加权的方式将它们组合起来，类似于集成模型。所提出的方法获得国家的最先进的性能的Inria航空图像标注数据集以最小的计算成本。我们的方法比目前最先进的方法提高了1.8个点，比现有的交集超过并集（IoU）度量基准高出12.6个点，而无需任何后处理。代码和模型将公开发布。
2020-04-15 cs.CV
Field-Based Plot Extraction Using UAV RGB Images
Purdue University（普渡大学）
无人驾驶飞行器（UAV）由于其在田间试验中获得高分辨率数据的能力而在基于田间的作物（例如玉米和高粱）的植物表型分析中变得流行。田间试验可能包括数千株植物，根据试验设计种植以评估品种或管理实践。对于许多类型的表型分析，我们检查较小的植物群体，称为“地块”。“在本文中，我们提出了一种新的情节提取方法，将无人机图像分割成情节。我们将证明，我们的方法实现了更高的情节提取精度比现有的方法。
2021-09-01 cs.CV
Neighborhood Attention Makes the Encoder of ResUNet Stronger for Accurate Road Extraction
Simon Fraser University（西蒙弗雷泽大学）；Jalpaiguri Government Engineering College（贾尔派古里政府工程学院）；University of Waterloo（滑铁卢大学）；Helmholtz-Zentrum Dresden-Rossendorf (HZDR)（亥姆霍兹德累斯顿罗森多夫研究中心（HZDR））；Institute of Advanced Research in Artificial Intelligence (IARAI)（人工智能高级研究院（IARAI））
本文提出融合残差学习、HetConvs、UNet 与 vision transformer 的 ResUNetFormer，用于高分辨率航空影像道路提取，并在 Massachusetts 数据集上验证其优于现有 CNN 与 transformer 方法。
2023-06-08 cs.CV eess.IV
Unsupervised Automatic Building Extraction Using Active Contour Model on Unregistered Optical Imagery and Airborne LiDAR Data
IMT Atlantique（大西洋国立高等矿业电信学院）；Université Laval（拉瓦尔大学）
城市场景中建筑物的自动提取已经成为摄影测量和遥感领域越来越感兴趣的主题，特别是自20世纪90年代中期以来，LiDAR系统的出现。然而，在现实中，由于建筑物的尺寸和形状以及周围环境的复杂性，这项任务仍然非常具有挑战性。活动轮廓模型（Active Contour Model），俗称蛇模型（Snake Model），在计算机视觉和图像处理中有着广泛的应用，也被用于从航空/卫星图像中提取建筑物。针对现有Snake模型在建筑物提取中的局限性，提出了一种基于光学图像和未注册机载LiDAR数据集的无监督、全自动Snake模型，该模型无需人工初始点和训练数据，即可实现建筑物的提取。所提出的方法被证明是能够从复杂的环境中提取不同颜色的建筑物，并产生高的整体精度。
2019-07-14 cs.CV eess.IV
ULSR-GS: Ultra Large-scale Surface Reconstruction Gaussian Splatting with Multi-View Geometric Consistency
School of Advanced Technology（高级技术学院）；Urban Governance and Design Thrust（城市治理与设计方向）；Department of Electrical Engineering and Electrnics（电气工程与电子系）；Department of Civil,Environmental and Geodetic Engineering（土木、环境与大地测量工程系）；School of Information Engineering（信息工程学院）；Institute for Digital Engineering and Autonomous Systems（数字工程与自主系统研究所）
提出ULSR-GS框架，通过点对图像划分与多视图几何一致性致密化策略，解决大规模航拍图像的高保真表面提取问题，显著提升复杂城市环境提取精度。
2025-06-25 cs.CV
Multi-task deep learning for large-scale building detail extraction from high-resolution satellite imagery
Nanjing Normal University（南京师范大学）；Peking University（北京大学）；Technical University of Munich（慕尼黑工业大学）；Shenyang Jianzhu University（沈阳建筑大学）；Nanjing University（南京大学）
本文提出多任务建筑物精炼器MT-BR，结合代表性空间采样与增强技术，从高分辨率卫星影像中高效提取建筑物屋顶、功能类型和建筑类型，并在上海大规模应用中验证了其优于现有方法的精度与实用性。
2023-10-29 cs.CV
Revisiting Street-to-Aerial View Image Geo-localization and Orientation Estimation
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
街道到航空影像地理定位是将查询的街景影像与参考集中的GPS标记的航空影像进行匹配，近年来受到越来越多的关注。在本文中，我们重新审视这个问题，并指出被忽视的问题，图像对齐信息。我们表明，一个简单的暹罗网络的性能是高度依赖于对齐设置和以前的作品的比较，如果他们有不同的假设是不公平的。而不是专注于对齐假设下的特征提取，我们表明，度量学习技术的改进显着提高性能，无论对齐。在不利用对齐信息的情况下，我们的管道在全景和裁剪数据集上的性能都优于之前的工作。此外，我们进行可视化，以帮助理解学习的模型和对齐信息的效果使用Grad-CAM。我们发现的近似旋转不变的激活地图，我们提出了一种新的方法来估计一对交叉视图图像与未知的对齐信息之间的方向/对齐。它在CVUSA数据集上实现了最先进的结果。
2020-12-07 cs.CV
Automatic Extraction of Open Space Area from High Resolution Urban Satellite Imagery
在21世纪，航空和卫星图像信息丰富。分析起来也很复杂。对于GIS系统，许多功能需要快速和可靠的提取开放空间区域从高分辨率的卫星图像。本文将研究一种高效可靠的自动提取算法，从高分辨率的城市卫星影像中提取出空地区域。这种自动提取算法使用一些滤波器和分割和分组是适用于卫星图像。所得影像可用来计算总可用开放空间面积及建筑面积。它也可以用来比较现在和过去的开放空间面积之间的差异，使用相同投影的历史城市卫星图像
2022-02-02 cs.CV
Solar potential analysis over Indian cities using high-resolution satellite imagery and DEM
本研究利用高分辨率卫星影像和DEM，结合地面站辐射数据，提出了一种考虑阴影和屋顶结构等因素的屋顶太阳能潜力估算方法，发现发电损失可达50%，且高分辨率数据在城市区域结果更准确。
2024-11-07 cs.CV
Geoseg: A Computer Vision Package for Automatic Building Segmentation and Outline Extraction
The University of Tokyo（东京大学）
最近，深度学习算法，特别是基于全卷积网络的方法，在遥感领域变得非常流行。然而，这些方法是通过各种数据集和深度学习框架来实现和评估的。目前还没有一个以统一方式涵盖这些方法的一揽子计划。在这项研究中，我们介绍了一个计算机视觉包称为Geoseg，专注于建筑物分割和轮廓提取。Geoseg实现了九种最先进的模型以及进行模型训练、记录、评估和可视化所需的实用程序脚本。Geoseg的实现强调统一性、简单性和灵活性。通过一个统一的，高质量的航空影像数据集的比较实验，所有实现的方法的性能和计算效率进行了评估。
2018-09-10 cs.CV
Leveraging Photogrammetric Mesh Models for Aerial-Ground Feature Point Matching Toward Integrated 3D Reconstruction
Southwest Jiaotong University（西南交通大学）；Shenzhen University（深圳大学）；Wuhan University（武汉大学）
航空影像与地面影像的融合已被证明是一种有效的方法，以提高在城市环境中的表面重建。然而，作为第一步，空中和地面图像之间的特征点匹配是非常困难的，由于在视点和照明条件的巨大差异。基于几何感知的图像校正方法已经缓解了这一问题，但其性能和便利性受到二次图像对、描述符分离提取和遮挡等缺陷的限制。为了解决这些问题，我们提出了一种新的方法：利用摄影测量网格模型的空中地面图像匹配。所提出的方法具有关于图像数量的线性时间复杂度，可以使用多视图图像显式地处理低重叠，并且可以直接注入到现成的运动恢复结构（SfM）和多视图立体视觉（MVS）解决方案中。首先，航空和地面图像分别重建，并初步共同注册通过弱地理参考数据。其次，将航空模型绘制为初始地面视图，获得颜色、深度和法线图像。然后，合成的彩色图像和相应的地面图像通过比较描述符进行匹配，通过局部几何信息进行滤波，然后使用深度图像和基于块的匹配传播到鸟瞰图。使用各种数据集的实验评估证实了所提出的方法在航空地面图像匹配的优越性能。此外，将现有的SfM和MVS解决方案纳入这些方法中，可以直接获得更完整和准确的模型。
2020-05-28 cs.CV
Tracking in Aerial Hyperspectral Videos using Deep Kernelized Correlation Filters
Rochester Institute of Technology（罗切斯特理工学院）；Chester F. Carlson Center for Imaging Science（切斯特·F·卡尔森成像科学中心）；School of Mathematical Sciences, Rochester Institute of Technology（罗切斯特理工学院数学科学学院）
高光谱成像具有巨大的潜力，以提高国家的最先进的飞行器跟踪与低空间和时间分辨率。最近，自适应多模态高光谱传感器由于其能够快速记录来自空中平台的扩展数据而引起了越来越多的兴趣。在这项研究中，我们将传统目标跟踪中的流行概念，即（1）核相关滤波器（KCF）和（2）深度卷积神经网络（CNN）特征应用于高光谱域中的空中跟踪。我们提出了基于深度高光谱核相关滤波器的跟踪器（DeepHKCF），使用自适应多模态高光谱传感器有效地跟踪飞行器。我们通过设计一个单一的KCF在多个感兴趣区域（ROI）的方法来解决时间分辨率低，以覆盖一个合理的大面积。为了提高从多个ROI中提取深度卷积特征的速度，我们设计了一种有效的ROI映射策略。所提出的跟踪器还提供了灵活性，以耦合到更先进的相关滤波器跟踪器。DeepHKCF跟踪器在数字成像和遥感图像生成（DIRSIG）软件生成的合成高光谱视频中设置的深度特征表现非常出色。此外，我们使用DIRSIG生成一个大型的合成单通道数据集，以在广域运动图像（WAMI）平台中执行车辆分类。通过这种方式，DIRSIG软件的高保真度得到了证明，并发布了大规模的飞行器分类数据集，以支持在WAMI平台上进行飞行器检测和跟踪的研究。
2018-05-06 cs.CV
Road Extraction by Deep Residual U-Net
Beihang University（北京航空航天大学）
从航空影像中提取道路一直是遥感影像分析领域的研究热点。在这封信中，语义分割神经网络，它结合了剩余学习和U-网络的优势，提出了道路区域提取。该网络由剩余单元组成，具有与U-Net类似的结构。这种模型的好处有两个：首先，剩余单元简化了深度网络的训练。其次，网络中丰富的跳跃连接可以促进信息传播，使我们能够设计参数更少但性能更好的网络。我们在公共道路数据集上测试了我们的网络，并将其与U-Net和其他两种基于深度学习的道路提取方法进行了比较。所提出的方法优于所有的比较方法，这表明其优越性，最近开发的艺术状态。
2017-11-29 cs.CV
Learning to Extract Building Footprints from Off-Nadir Aerial Images
Wuhan University（武汉大学）；SenseTime Research（商汤科技研究院）；University of Electronic Science and Technology of China（电子科技大学）；Sun Yat-Sen University（中山大学）；CUHK-SenseTime joint Lab（香港中文大学-商汤科技联合实验室）
从航空影像中提取建筑物足迹是利用摄影测量计算机视觉技术进行城市精确制图的关键。现有的方法主要假设建筑物的屋顶和覆盖区很好地重叠，这可能不适用于非天底航空图像，因为它们之间通常存在很大的偏移。在本文中，我们提出了一个偏移矢量学习计划，它把建筑物的足迹提取问题在离最低点图像到建筑物屋顶和其相应的“屋顶足迹”偏移矢量的实例级联合预测问题。因此，可以通过根据预测的偏移矢量平移预测的屋顶掩模来估计足迹。我们进一步提出了一个简单但有效的特征级偏移增强模块，它可以通过引入很少的额外成本来显着改进偏移向量预测。此外，本文还创建并发布了一个新的数据集，即离地航拍图像中的建筑物（BONAI）。它包含268，958个建筑实例，跨越3，300个航拍图像，具有完全注释的实例级屋顶，足迹和每个建筑物的相应偏移矢量。在BONAI数据集上的实验表明，我们的方法达到了最先进的水平，在F1得分上超过其他竞争对手3.37到7.39分。代码、数据集和训练模型可在https://github.com/jwwangchn/BONAI.git上获得。
2022-04-28 cs.CV
Unsupervised Deep Feature Extraction for Remote Sensing Image Classification
Universitat de Barcelona（巴塞罗那大学）
本文介绍了使用单层和深度卷积网络进行遥感数据分析。直接应用于监督（浅或深）卷积网络的多光谱和高光谱图像是非常具有挑战性的高输入数据维度和相对少量的可用标记数据。因此，我们提出了使用贪婪逐层无监督预训练，再加上一个高效的算法，无监督学习的稀疏特征。该算法是植根于稀疏表示和强制人口和生命周期稀疏的提取功能，同时。我们成功地说明了在几种情况下提取的表示的表达能力：空中场景的分类，以及土地利用分类在非常高的分辨率（VHR），或土地覆盖分类从多和高光谱图像。所提出的算法明显优于标准主成分分析（PCA）及其内核（kPCA），以及目前最先进的航空分类算法，同时在学习数据表示方面具有极高的计算效率。结果表明，单层卷积网络可以提取强大的区分功能，只有当感受野占相邻像素，并在分类需要高分辨率和详细的结果时，是首选。然而，深度架构的性能明显优于单层变体，在整个功能层次结构中捕获了越来越多的抽象和复杂性。
2015-11-25 cs.CV
Fully Automated Photogrammetric Data Segmentation and Object Information Extraction Approach for Creating Simulation Terrain
University of Southern California（南加州大学）；Institute for Creative Technologies（创意技术研究所）；Ubisoft（育碧）；New York University（纽约大学）
我们以前的工作已经证明，视觉上逼真的三维网格可以自动重建低成本，现成的无人机系统（UAS）配备有能力的相机，和有效的摄影测量软件技术。然而，这样生成的数据不包含对象的语义信息/特征（即，人造物体、植被、地面、物体材料等）并且不允许复杂的用户级和系统级交互。考虑到数据在创建用于训练和模拟的逼真虚拟环境中的用例（即，任务规划、演习、威胁检测等），分割数据和提取对象信息是基本任务。因此，本研究的目的是设计和开发一个全自动摄影测量数据分割和对象信息抽取框架。为了验证所提出的框架，分割的数据和提取的特征被用于在作者先前设计的仿真工具中创建虚拟环境，即，空中地形视线分析系统（ATLAS）。结果表明，三维网格树可以使用提取的个体树位置替换为具有地理典型性的三维树模型。提取的树特征（即，颜色、宽度、高度）对选择合适的树种和提高视觉质量有价值。此外，所识别的地面材料信息可以被考虑用于寻路。最短路径的计算不仅要考虑物理距离，还要考虑越野车在不同地面材料上的性能。
2020-08-09 cs.CV
Hybrid Feature Embedding For Automatic Building Outline Extraction
the University of Tokyo（东京大学）；Center for Spatial Information Science, the University of Tokyo（东京大学空间信息科学中心）
针对传统CNN模型难以精准提取高分辨率航空影像建筑轮廓的问题，提出结合CNN、Transformer与主动轮廓模型的方法，搭配三分支解码器，在两个数据集上取得优于基线的mIoU表现。
2023-07-20 cs.CV
Efficient Oriented Object Detection with Enhanced Small Object Recognition in Aerial Images
School of Artificial Intelligence Beijing Normal University Beijing, China
针对航空图像中旋转目标检测的效率和精度平衡问题，提出基于YOLOv8的轻量级模型，通过小波C2f、ASFP和GhostDynamicConv模块，以21.6M参数在DOTAv1.0上达到与DecoupleNet相当的精度。
2024-12-17 cs.CV
Height estimation from single aerial images using a deep ordinal regression network
New York University（纽约大学）
了解地球表面的3D几何结构几十年来一直是摄影测量和遥感界的一个活跃的研究课题，是3D数字城市建模、变化检测和城市管理等各种应用的重要组成部分。基于立体或多视角影像匹配的航空影像高程估计问题已被广泛研究。这些方法需要来自不同视角的两个或更多个图像，以利用所提供的相机信息来重建3D坐标。在本文中，我们处理的模糊和未解决的问题，高度估计从一个单一的航空影像。在深度学习，特别是深度卷积神经网络（CNN）的巨大成功的推动下，一些研究提出了通过用大规模注释数据集训练深度CNN模型来估计单个航空图像的高度信息。这些方法将高度估计视为回归问题，并直接使用编码器-解码器网络来回归高度值。在本文中，我们提出了将高度值划分为间距增加的区间，并将回归问题转化为有序回归问题，使用有序损失进行网络训练。为了实现多尺度特征提取，我们进一步结合了Atrous空间金字塔池（ASPP）模块，以从多个扩张卷积层中提取特征。在此基础上，设计了一种后处理技术，将每个面片的预测高度图转换为无缝高度图。最后，我们进行了广泛的实验ISPRS Vaihingen和波茨坦数据集。实验结果表明，我们的方法相比，国家的最先进的方法显着更好的性能。
2020-06-04 cs.CV
Super-Resolution-based Snake Model -- An Unsupervised Method for Large-Scale Building Extraction using Airborne LiDAR Data and Optical Image
IMT Atlantique（大西洋国立高等工业技术与矿业学校）；Université Laval（拉瓦尔大学）
自20世纪90年代中期以来，城市和居民区场景中建筑物的自动提取已成为摄影测量和遥感领域日益关注的主题。活动轮廓模型，俗称蛇模型，已被研究用于从航空和卫星图像中提取建筑物。然而，由于建筑物的尺寸、形状及其周围环境的复杂性，这项任务仍然非常具有挑战性。这种复杂性导致进行可靠的大规模建筑物提取的主要障碍，因为所涉及的先验信息和假设的建筑物，如形状，大小和颜色不能在大面积上推广。本文提出了一种有效的Snake模型，称为基于超分辨率的Snake模型（SRSM）。SRSM对基于LiDAR的高分辨率高程图像（称为z图像）进行操作，该图像由应用于LiDAR数据的超分辨率过程生成。同时，对气球的受力模型进行了改进，使其能够自适应地收缩或膨胀，而不是不断地膨胀。该方法适用于大规模，例如城市规模甚至更大，同时具有高水平的自动化，并且不需要任何先验知识，也不需要来自城市场景的训练数据（因此是无监督的）。在各种数据集上测试时，它实现了很高的整体准确性。例如，在ISPRS Vaihingen基准数据集上，建议的SRSM产生平均86.57%的基于区域的质量和81.60%的基于对象的质量。与使用此基准数据集的其他方法相比，即使对于监督方法，这种精度水平也是非常理想的。同样理想的结果时，进行建议SRSM对整个魁北克市（总面积656平方公里），产生基于区域的质量为62.37%和基于对象的质量为63.21%。
2020-04-18 cs.CV eess.IV
Iterative Deep Learning for Road Topology Extraction
Universitat Oberta de Catalunya（加泰罗尼亚开放大学）；ETH Zürich（苏黎世联邦理工学院）
本文处理的任务，估计从航空影像的道路网络的拓扑结构。在对图像像素进行密集语义分类的全局模型的基础上，我们设计了一个卷积神经网络（CNN），它预测输入补丁的中心像素及其边界点之间的局部连通性。通过迭代这种局部连通性，我们扫描整个图像并推断道路网络的全局拓扑结构，灵感来自人类用指尖描绘复杂网络。我们对道路网络估计任务进行了广泛而全面的定性和定量评估，并表明我们的方法在移动到视网膜血管网络时也具有很好的泛化能力。
2018-08-28 cs.CV
YOLOv3 with Spatial Pyramid Pooling for Object Detection with Unmanned Aerial Vehicles
University of Brawijaya（布拉维贾亚大学）
为解决无人机图像中目标尺寸小难以检测的问题，本文在YOLOv3主干网络末端添加SPP层以提升特征提取效率，实验证明该方法在VisDrone2019-Det数据集上比原YOLOv3的mAP提高0.6%，且在不同输入尺度下保持高准确率。
2023-05-21 cs.CV
