Measuring Human and Economic Activity from Satellite Imagery to Support City-Scale Decision-Making during COVID-19 Pandemic
Universidade Tecnológica Federal do Paraná（巴拉那联邦理工大学）；University of South Florida（南佛罗里达大学）
COVID-19爆发迫使世界各国政府实施封锁和隔离，以防止病毒传播。因此，全球各地的人类和经济活动都受到干扰。预计恢复过程也将是艰难的。经济活动影响社会行为，这些行为在卫星图像中留下可以自动检测和分类的特征。卫星图像可以通过提供对正在发生的经济变化的不同的可见度来支持分析人员和政策制定者的决策。在这项工作中，我们使用了一种深度学习方法，该方法将战略位置采样和轻量级卷积神经网络（CNN）集成在一起，以识别卫星图像中的特定元素，这些元素可用于自动计算基于它的经济指标。这个CNN集成框架在美国国防部xView挑战赛中排名第三，xView挑战赛是卫星图像中目标检测的最先进基准。我们展示了我们的框架使用美国IARPA世界功能图（fMoW）数据集进行时间分析的潜力。我们还展示了COVID-19爆发前后不同地点的真实示例结果，以说明不同的可衡量指标。我们的代码和疫情爆发前后的高分辨率空中场景可在GitHub上获得（https：//github.com/maups/covid19-satellite-analysis）。
2020-11-12 cs.CV
Sensor Adaptation for Improved Semantic Segmentation of Overhead Imagery
The Johns Hopkins University - Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）
语义分割是促进视觉场景理解的有力方法。每个像素根据对象类和语义实体的预定义列表被分配一个标签。这是一种非常有用的方法来总结大规模的架空图像。在本文中，我们提出了我们的工作语义分割与应用程序的开销图像。我们提出了一种基于DeepLab框架构建和扩展的算法，能够细化和解析车辆等小对象（相对于图像大小）。我们还研究了传感器自适应作为一种手段，以增加可用的训练数据，以便能够减少神经网络部署在新的环境和新的传感器时的一些缺点。我们报告了几个数据集的结果，并与其他最先进的架构进行了性能比较。
2018-11-20 cs.CV
Cross-View Open-Vocabulary Object Detection in Aerial Imagery
Center for Research in Computer Vision, University of Central Florida（计算机视觉研究中心，中央佛罗里达大学）
针对航空图像开放词汇目标检测的跨域迁移难题，提出结合图像间对比对齐与多实例词汇关联的结构化域对齐框架，在多个航空数据集零样本任务中显著优于封闭词汇微调模型。
2025-10-04 cs.CV
xView3-SAR: Detecting Dark Fishing Activity Using Synthetic Aperture Radar Imagery
Global Fishing Watch（全球渔业观察）；Cambrio；Defense Innovation Unit（国防创新单元）；UC Berkeley（加州大学伯克利分校）
全世界不可持续的捕捞做法对海洋资源和生态系统构成重大威胁。识别在传统监测系统中没有出现的船只-被称为"黑暗船只"-是管理和保障海洋环境健康的关键。随着基于卫星的合成孔径雷达（SAR）成像和现代机器学习（ML）的兴起，现在可以在全天候条件下白天或晚上自动检测黑暗船只。然而，SAR图像需要特定领域的处理，并且ML社区无法广泛访问。海洋物体（船舶和海上基础设施）相对较小且稀疏，这对传统的计算机视觉方法构成了挑战。我们提出了用于训练ML模型的最大标记数据集，以检测和表征SAR图像中的船只和海洋结构。xView3-SAR由来自Sentinel-1任务的近1，000张可供分析的SAR图像组成，平均每张图像为29，400 x 24，400像素。使用自动和手动分析的组合对图像进行注释。每一幅SAR图像都附有同地测深和风态栅格。我们还提供了一个概述的xView3计算机视觉挑战赛，一个国际竞争使用xView3-SAR船舶检测和表征在大规模。我们发布数据（\href{https://iuu.xview.us/}{https://iuu.xview.us/}）和代码（\href{https://github.com/DIUx-xView}{https://github.com/DIUx-xView}），以支持这一重要应用的ML方法的持续开发和评估。
2022-11-05 cs.CV cs.CY
The Weaknesses of Adversarial Camouflage in Overhead Imagery
IQT Labs（IQT实验室）
机器学习对于分析不断增长的头顶图像语料库越来越重要。先进的计算机视觉目标检测技术在从卫星和无人机图像中识别船舶、汽车和飞机等感兴趣的目标方面取得了巨大成功。然而，依赖于计算机视觉会暴露出重大的漏洞，即目标检测算法对对抗攻击的敏感性。在本文中，我们探讨了对抗性伪装的有效性和缺点，在一个开销的图像背景下。虽然最近的一些论文已经证明了使用对抗补丁可靠地欺骗深度学习分类器和对象检测器的能力，但大多数工作都是在相对统一的数据集上进行的，并且只有一类对象。在这项工作中，我们利用VisDrone数据集，它具有广泛的视角和对象大小。我们探索四种不同的对象类：公共汽车，汽车，卡车，货车。我们构建了一个包含24个对抗性补丁的库来伪装这些对象，并为我们的补丁引入了一个补丁透明度变量。贴片的透明度（或α值）与其功效高度相关。此外，我们还表明，虽然对抗性补丁可能会欺骗对象检测器，但这种补丁的存在往往很容易被发现，补丁平均比补丁要隐藏的对象高出24%。这就提出了这样的补丁是否真正构成伪装的问题。源代码可在https://github.com/IQTLabs/camolo上获得。
2022-07-06 cs.CV
Impact of Label Types on Training SWIN Models with Overhead Imagery
Pennsylvania State University（宾夕法尼亚州立大学）；New York University（纽约大学）；National Geospatial-Intelligence Agency（美国国家地理空间情报局）
本研究探讨了在航空影像中训练SWIN模型时，使用边界框与分割标签对分类和检测性能的影响，发现边界框足以满足多数任务，可能降低数据标注成本。
2023-10-11 cs.CV
Centerpoints Are All You Need in Overhead Imagery
Booz Allen Hamilton（博思艾伦汉密尔顿）；National Geospatial-Intelligence Agency（美国国家地理空间情报局）
标记用于训练对象检测器的数据是昂贵且耗时的。用于目标检测的公开可用开销数据集使用图像对齐的边界框、对象对齐的边界框或对象遮罩进行标记，但不清楚是否需要这样详细的标记。为了测试这个想法，我们开发了新颖的单级和两级网络架构，使用中心点进行标记。在本文中，我们表明，这些架构实现了几乎相同的性能，使用更详细的标签上的三个开销目标检测数据集的方法。
2022-10-04 cs.AI cs.CV
Overhead Detection: Beyond 8-bits and RGB
MITRE（米特雷公司）；NGA（国家地理空间情报局）
这项研究使用具有挑战性和公开可用的SpaceNet数据集，为卫星图像中最先进的物体探测器建立性能基线。具体来说，我们研究了数据的各种功能如何影响建筑物检测精度的交集在联合度量。我们证明了R-FCN检测算法在1.5米地面采样距离和三个光谱波段的图像上的性能通过使用13位数据增加了32%以上，而不是在相同的空间和光谱分辨率下的8位数据。我们还建立了建筑物大小和场景密度方面的准确性趋势。最后，我们提出并评估了多种方法，用于将额外的光谱信息集成到现成的深度学习架构中。有趣的是，我们的方法对光谱波段的选择是鲁棒的，并且我们注意到在添加额外波段时没有显着的性能改善。
2018-08-07 cs.CV
Synthetic Data and Hierarchical Object Detection in Overhead Imagery
Maxar Technologies Inc.（马克萨尔技术公司）
神经网络模型的性能通常受到大数据集可用性的限制。为了解决这个问题，我们调查和开发新的合成数据生成和增强技术，以提高低/零样本学习卫星图像。除了扩展合成数据生成方法之外，我们还提出了一种分层检测方法来提高合成训练样本的效用。我们考虑了现有的合成图像生成技术-3D模型和神经风格转移-以及引入我们自己的对抗训练的重新蒙皮网络GAN-Reskinner来混合3D模型。此外，我们测试的价值合成数据在两个阶段，分层检测/分类模型，我们自己的建设。为了测试合成图像的有效性，我们将其用于检测模型和我们的两阶段模型的训练，并在真实卫星图像上评估所得到的模型。所有形式的合成数据都在实际的地理空间分析问题上进行了广泛的测试。我们的实验表明，使用我们的方法开发的合成数据通常可以提高检测性能，特别是当与一些真实的训练图像相结合时。当唯一的数据源是合成数据时，我们的GAN-Reskinner通常会提高传统渲染3D模型的性能，并且在所有情况下，分层模型的性能都优于基线端到端检测架构。
2021-01-29 cs.CV cs.LG
Physical Adversarial Attacks on an Aerial Imagery Object Detector
The University of Adelaide（阿德莱德大学）；University of South Australia（南澳大学）
深度神经网络（DNN）对于处理使用地球观测卫星平台收集的大量航空图像至关重要。然而，DNN容易受到对抗性示例的影响，预计这一弱点也会困扰DNN的航空图像。在这项工作中，我们展示了对航空图像进行物理对抗攻击的第一批努力之一，其中对抗补丁被优化，制造并安装在目标物体（汽车）上或附近，以显着降低应用于头顶图像的物体检测器的功效。对空中图像，特别是从卫星平台捕获的图像进行的物理对抗攻击受到大气因素（光照、天气、季节）和观察者与目标之间距离的挑战。为了研究这些挑战的影响，我们设计了新的实验和指标来评估空中场景中物体探测器的物理对抗攻击的有效性。我们的研究结果表明，物理对抗攻击对处理卫星图像的DNN构成了明显的威胁。
2021-10-20 cs.CV
Multi-Spectral Image Classification with Ultra-Lean Complex-Valued Models
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）；University of Michigan（密歇根大学）；Etegent Technologies（Etegent技术公司）；National Geospatial-Intelligence Agency（美国国家地理空间情报局）
多光谱图像对于遥感是非常宝贵的，因为在灰度和RGB图像中通常看起来相同的材料显示出不同的光谱特征。与现代深度学习方法相结合，这种模式在人道主义援助和灾后恢复工作等各种遥感应用中具有巨大的潜在效用。最先进的深度学习方法极大地受益于ImageNet中的大规模注释，但现有的MSI图像数据集缺乏类似规模的注释。作为迁移学习的替代方法，我们应用复值共域对称模型对实值MSI图像进行分类。我们在8波段xView数据上的实验表明，我们在xView上从头开始训练的超精益模型在没有数据增强的情况下，可以在xView上使用数据增强和修改后的迁移学习来超越ResNet。我们的工作是第一个证明复值深度学习在实值MSI数据上的价值。
2022-11-21 cs.CV
You Only Look Twice: Rapid Multi-Scale Object Detection In Satellite Imagery
CosmiQ Works；In-Q-Tel
在大片的图像中检测小物体是卫星图像分析中的主要问题之一。虽然地面图像中的目标检测受益于对新的深度学习方法的研究，但将这种技术过渡到空中图像并非易事。挑战之一是每幅图像的像素数量和地理范围：一幅DigitalGlobe卫星图像包括64平方公里以上和2.5亿多像素。另一个挑战是，感兴趣的对象是微小的（通常只有~10个像素的范围），这使得传统的计算机视觉技术变得复杂。为了解决这些问题，我们提出了一个管道（你只看两次，或YOLT），以>0.5平方公里/秒的速率评估任意大小的卫星图像。所提出的方法可以在多个传感器上用相对较少的训练数据快速检测尺度差异很大的目标。我们在原生分辨率下评估大型测试图像，并为车辆定位产生F1 > 0.8的分数。我们通过在降低分辨率下系统地测试流水线来进一步探索分辨率和对象大小要求，并得出结论，仅约5像素大小的对象仍然可以以高置信度定位。代码可在https://github.com/CosmiQ/yolt上获得。
2018-05-24 cs.CV
Deep Learning for Recognizing Mobile Targets in Satellite Imagery
Lockheed Martin Space（洛克希德·马丁空间系统公司）
对自动检测和分类卫星图像中的飞机、汽车和船舶等移动目标的软件的需求越来越大。这种自动目标识别（ATR）软件的应用包括经济预测、交通规划、海事执法和灾难响应。本文介绍了扩展的卷积神经网络（CNN）的分类滑动窗口检测算法。它在xView数据集的移动目标上进行了评估，其检测和分类精度高于95%。
2020-10-13 cs.CV
Focus or Not: A Baseline for Anomaly Event Detection On the Open Public Places with Satellite Images
本文提出了用于开放公共场所异常事件检测的卫星图像数据集AED-RS，并引入了能以弱监督方式训练的基线模型TB-FLOW，其在该数据集上表现优于其他基于NF的异常检测模型。
2023-04-05 cs.CV
Overhead Line Defect Recognition Based on Unsupervised Semantic Segmentation
Jinan Power Supply Company（济南供电公司）；Nanjing University Of Finance & Economics（南京财经大学）
本文提出一种结合 Faster RCNN 与无监督语义分割的架空线路缺陷识别框架，通过设备定位、背景分割及相似性与逻辑规则判定缺陷，提升了识别准确率与适应性。
2023-12-06 cs.CV
Empirical Evaluation of Physical Adversarial Patch Attacks Against Overhead Object Detection Models
RAND Corporation（兰德公司）；Center for Security and Emerging Technology, Georgetown University（乔治城大学安全与新兴技术中心）
对抗补丁是设计用来欺骗其他性能良好的基于神经网络的计算机视觉模型的图像。虽然这些攻击最初是以数字方式构思和研究的，因为图像的原始像素值被扰动，但最近的工作表明，这些攻击可以成功地转移到物理世界。这可以通过打印补丁并将其添加到新捕获的图像或视频片段的场景中来实现。在这项工作中，我们进一步测试了在更具挑战性的条件下物理世界中对抗补丁攻击的有效性。我们考虑在通过航空或卫星摄像机获取的头顶图像上训练的目标检测模型，并测试插入沙漠环境场景中的物理对抗性补丁。我们的主要发现是，在这些条件下成功实施对抗补丁攻击比在先前考虑的条件下要困难得多。这对人工智能安全具有重要意义，因为对抗性例子构成的现实威胁可能被夸大了。
2022-06-25 cs.CV
Joint Instance Segmentation and Geometric Attribute Regression for Roof Structures in Aerial Imagery
University of Amsterdam (UvA)（阿姆斯特丹大学）
提出一种从单张航空正射影像中联合预测屋顶实例分割掩码和三个连续几何属性（建筑高度、屋顶坡度、屋顶方位角）的方法，通过条件方位角损失和对数归一化高度表示解决数据噪声和分布偏斜问题，在荷兰大规模数据集上实现了高精度，并可从单张图像重建简化3D建筑模型。
2026-05-25 cs.CV
Segment anything, from space?
Duke University（杜克大学）；Duke Kunshan University（昆山杜克大学）；Nicholas Institute for Energy, Environment & Sustainability, Duke University（杜克大学尼古拉斯能源、环境与可持续发展研究所）；University of Montana（蒙大拿大学）
本研究探究基础模型SAM（分割一切模型）的性能是否可拓展到俯视遥感图像，经多基准测试发现其泛化性较好但存在因遥感图像特性导致的系统性失效，为相关研究提供参考。
2023-11-09 cs.AI cs.CV eess.IV
Event-to-Video Conversion for Overhead Object Detection
Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Drexel University（德雷塞尔大学）
本文研究了事件流用于俯视目标检测的可行性，通过应用事件到视频转换模型将事件流转为灰度视频以弥补事件表示与预训练数据间的差距，显著提升了检测性能并超越特定事件检测技术。
2024-02-09 cs.CV
Noise2Map: End-to-End Diffusion Model for Semantic Segmentation and Change Detection
Division of Geoinformatics, School of Architecture and Built Environment, KTH Royal Institute of Technology（地理信息学系，建筑与环境学院，皇家理工学院）
本文提出Noise2Map模型，通过扩散模型的去噪过程实现端到端的语义分割和变化检测，结合任务特定的噪声调度和时间步条件，提升模型的可解释性和鲁棒性。
2026-04-30 cs.CV
An Attention-Based System for Damage Assessment Using Satellite Imagery
Purdue University（普渡大学）；Lockheed Martin Space（洛克希德·马丁太空公司）
当灾难发生时，准确的情况信息和快速有效的反应对于拯救生命至关重要。广泛可用的高分辨率卫星图像使应急响应人员能够估计损坏的位置，原因和严重程度。然而，快速准确地分析大量可用的卫星图像需要自动方法。在本文中，我们提出了Siam-U-Net-Attn模型-一种具有注意力机制的多类深度学习模型-来评估建筑物的损坏程度，给出了一对描绘灾难前后场景的卫星图像。我们评估所提出的方法在xView 2，一个大规模的建筑物损坏评估数据集，并证明所提出的方法实现准确的损坏规模分类和建筑物分割结果的同时。
2020-04-14 cs.CV
ZODS-RS -- Zero-training Oriented Detection & Segmentation for Remote Sensing
Northeastern University, China（东北大学）
提出一种无需训练的封闭式管道ZODS-RS，通过原型纯化、旋转尺度等变匹配和不确定性感知像素合并，统一了遥感图像的水平框检测与实例分割，在多个数据集上取得优异性能。
2026-06-09 cs.CV
Towards seamless multi-view scene analysis from satellite to street-level
IRISA institute, Université Bretagne Sud（IRISA研究所，南布列塔尼大学）；MultiModal Remote Sensing group, University of Zurich（苏黎世大学多模态遥感研究组）；Laboratory of GeoInformation Science and Remote Sensing, Wageningen University & Research（瓦赫宁根大学及研究中心地理信息科学与遥感实验室）；Photogrammetry and Remote Sensing group, ETH Zurich（苏黎世联邦理工学院摄影测量与遥感研究组）；G2C institute, University of Applied Sciences, Western Switzerland（瑞士西部应用科学与艺术大学G2C研究所）
在本文中，我们讨论和审查如何组合多视角图像从卫星到街道一级可以受益于景物分析。有许多工作是将遥感信息和从地面获取的图像融合在一起，用于土地覆盖制图、目标检测或场景理解等任务。使头顶和街道级图像的组合具有挑战性的是强烈变化的视角、不同的尺度、照明、传感器模态和采集时间。直接（密集）匹配的图像上的每像素的基础上，因此往往是不可能的，人们不得不求助于替代策略，将在本文中讨论。我们回顾最近的作品，试图结合从地面和头顶上的意见，如现场注册，重建或分类的目的采取的图像。三种方法，代表了广泛的潜在的方法和应用（变化检测，图像定位，和树编目）进行了详细描述。我们表明，遥感，计算机视觉和机器学习之间的交叉施肥对于充分利用地球观测传感器和地面图像提供的地理数据非常有价值。尽管面临挑战，但我们相信，整合这些互补的数据源将导致大地理数据的重大突破。
2017-05-23 cs.CV
Harnessing Massive Satellite Imagery with Efficient Masked Image Modeling
College of Computer Science and Technology, National University of Defense Technology（计算机科学与技术学院，国防科技大学）；Tsinghua University（清华大学）；School of Computer Science, Wuhan University（计算机科学学院，武汉大学）；Zhongguancun Academy（中关村学院）；Nankai University（南开大学）
本文针对遥感MIM数据规模不足与计算冗余问题，构建了1300万张图像的OpticalRS-13M数据集，并提出SelectiveMAE动态重建语义丰富token，在提升分类、检测和分割性能的同时将训练效率提高2倍以上。
2025-07-02 cs.CV
Revisiting Near/Remote Sensing with Geospatial Attention
DZYNE Technologies（DZYNE技术公司）；Kitware, Inc.（Kitware公司）；University of Kentucky（肯塔基大学）
这项工作解决了任务的开销图像分割时，辅助地面图像可用。最近的工作表明，在这两种方式上进行联合推理，通常称为近/遥感，可以产生显着的精度提高。延伸这条线的工作，我们引入了地理空间注意力的概念，几何感知的注意力机制，明确考虑了地面图像和地理位置的像素之间的地理空间关系。我们提出了一种方法来计算地理空间的注意力，结合几何特征和外观的开销和地面图像。我们介绍了一种新的架构，近/遥感，是基于地理空间的注意力，并证明其用于五个分割任务。结果表明，我们的方法显着优于以前的国家的最先进的方法。
2022-04-04 cs.CV
xFBD: Focused Building Damage Dataset and Analysis
Kitware Inc（Kitware公司）；Air Force Research Lab（空军研究实验室）
xView2竞赛和xBD数据集推动了高架建筑物损坏检测的重大进步，但竞赛的像素级评分可能会导致建筑物密集或信息不全的区域的解决方案性能下降。我们寻求通过提出对原始xView2竞赛的辅助挑战来推进用于救灾的自动建筑物损坏评估。这一新挑战涉及新的数据集和指标，这些指标表明，与xBD相比，当损坏更加局部和有限时，解决方案的性能。我们的挑战是衡量网络在不过度依赖建筑物周围环境的情况下识别单个建筑物及其损坏程度的能力。成功应对这一挑战的方法将提供比原始xView2解决方案更细粒度、更精确的损伤信息。在我们新的有限/局部损伤检测任务中，性能最好的xView2网络的性能明显下降。观察到的失败的常见原因是：（1）建筑物及其分类没有很好地分开，（2）当它们分开时，分类受到周围建筑物和其他损坏背景的强烈偏见。因此，我们发布了具有额外对象级评分指标的数据集的增强版本（https：//www.example.com usp = sharing）来测试建筑物对象的独立性和可分离性，以及原始竞争的像素级性能指标。我们还试验了新的基线模型，提高了建筑物损坏预测的独立性和可分性。我们的研究结果表明，建筑物损坏检测并不是一个完全解决的问题，我们邀请其他人使用和构建我们的数据集增强和指标。
2023-02-15 cs.CV
Using Conditional Generative Adversarial Networks to Generate Ground-Level Views From Overhead Imagery
University of California, Merced（加州大学默塞德分校）
本文开发了一个深度学习框架，用于在给定头顶图像的情况下合成位置的地面视图。我们提出了一种新的条件生成对抗网络（cGAN），其中训练的生成器使用头顶图像作为辅助信息生成逼真的地面图像。生成器是一个编码器-解码器网络，它允许我们比较低级别和高级别的功能以及它们的级联，以编码开销图像。我们还演示了我们的框架如何通过修改经过训练的cGAN来从头顶图像中提取特征来执行土地覆盖分类。这很有趣，因为尽管我们使用这种修改后的cGAN作为头顶图像的特征提取器，但它包含了从地面看位置的知识。
2019-02-19 cs.CV
UrbanVGGT: Scalable Sidewalk Width Estimation from Street View Images
Heinz College of Information Systems and Public Policy（信息系统与公共政策学院）；Carnegie Mellon University（卡内基梅隆大学）；Institute of Remote Sensing and Geographical Information System（遥感与地理信息系统研究所）
本文提出UrbanVGGT方法，通过单张街景图像估算人行道宽度，结合语义分割、3D重建、地面平面拟合等技术，在华盛顿特区基准测试中达到0.252米的均方误差，展示了其在大规模城市中的可行性。
2026-08-21 cs.CV
VLOD-TTA: Test-Time Adaptation of Vision-Language Object Detectors
International Laboratory on Learning Systems (ILLS)（国际学习系统实验室（ILLS））
本文提出VLOD-TTA，通过密集提案重叠和图像条件提示实现低开销的视觉语言目标检测器测试时适应，优于现有方法。
2026-07-07 cs.CV
Super-Resolution for Overhead Imagery Using DenseNets and Adversarial Learning
The Johns Hopkins University（约翰斯·霍普金斯大学）；Applied Physics Laboratory（应用物理实验室）
生成对抗学习的最新进展允许通过学习低到高分辨率映射来实现图像超分辨率的新模式。在本文中，我们介绍了我们的工作，使用生成对抗网络（GANs）与应用程序的开销和卫星图像。我们已经尝试了几种最先进的架构。我们提出了一种基于GAN的架构，使用密集连接的卷积神经网络（DenseNets），能够以高达8倍的因子超分辨率处理开销图像。我们还研究了这些网络的分辨率限制。我们报告了几个公开数据集的结果，包括SpaceNet数据和IARPA多视图立体视觉挑战，并与其他最先进的架构进行了性能比较。
2017-11-28 cs.CV
GridTracer: Automatic Mapping of Power Grids using Deep Learning and Overhead Imagery
对电力接入规划有价值的能源系统信息，例如输电和配电塔的位置和连接，称为电网，通常是不完整的，过时的，或完全不可用。此外，用于收集该信息的常规手段是昂贵且有限的。我们建议使用深度学习自动映射高架遥感图像中的网格。为了实现这一目标，我们开发并公开发布了一个大型数据集（$263km^2$）的架空图像与地面真相的电网，据我们所知，这是第一个数据集的同类在公共领域。此外，我们提出了两个网格映射任务的评分指标和基线算法：（1）塔识别和（2）电力线互连（即，估计网格的图形表示）。我们希望训练数据、评分指标和基线的可用性将促进这一重要问题的快速进展，以帮助决策者解决世界各地社会的能源需求。
2021-01-16 cs.CV
SpaceNet MVOI: a Multi-View Overhead Imagery Dataset
In-Q-Tel CosmiQ Works；Accenture Federal Services（埃森哲联邦服务公司）；Intel AI Lab（英特尔人工智能实验室）
偷听图像中目标的检测和分割是一项具有挑战性的任务。可变密度，随机方向，小尺寸，实例到实例的异构性的对象在开销图像要求的方法不同于现有的模型设计的自然场景数据集。虽然正在开发新的俯拍影像数据集，但它们几乎普遍包含直接从头顶（“在最低点”）拍摄的单一视图，未能解决一个关键变量：视角。相比之下，在真实世界的头顶图像中，视图会有所不同，特别是在自然灾害等动态场景中，第一眼看到的往往是偏离最低点40度以上。这代表了对计算机视觉方法的重要挑战，因为改变视角会增加失真，改变分辨率并改变照明。目前，这些扰动对算法检测和对象分割的影响尚未得到测试。为了解决这个问题，我们提出了一个开源的多视图开销图像数据集，称为SpaceNet MVOI，从广泛的视角（-32.5度到54.0度）有27个独特的外观。这些图像中的每一幅都覆盖相同的665平方公里的地理范围，并使用126，747个建筑物足迹标签进行注释，从而能够直接评估视点扰动对模型性能的影响。我们对多个领先的分割和目标检测模型进行了基准测试：（1）建筑物检测，（2）对不可见视角和分辨率的泛化，以及（3）建筑物足迹提取对分辨率变化的敏感性。我们发现，国家的最先进的分割和目标检测模型的斗争，以确定建筑物在离最低点的图像和概括不佳看不见的意见，提出了一个重要的基准，探索广泛相关的挑战，检测小，异构目标对象在视觉动态环境。
2019-08-15 cs.CV
Transformers For Recognition In Overhead Imagery: A Reality Check
Duke University（杜克大学）；University of Montana（蒙大拿大学）
有证据表明，Transformers提供了最先进的识别性能的任务，涉及架空图像（例如，卫星图像）。然而，很难在相互竞争的深度学习模型之间进行无偏见的实证比较，因此不清楚基于transformer的模型是否以及在多大程度上是有益的。在本文中，我们系统地比较了将Transformer结构添加到最先进的高架图像分割模型中的影响。每个模型都有一个类似的自由参数预算，它们的超参数使用贝叶斯优化进行优化，具有固定的数据量和计算时间。我们使用大型且多样化的数据集进行实验，该数据集包括两个大型公共基准：Inria和DeepGlobe。我们进行了额外的消融研究，以探索特定的基于变压器的建模选择的影响。我们的研究结果表明，Transformers提供一致的，但适度的，性能改善。然而，我们只在结合卷积和基于transformer的结构的混合模型中观察到这种优势，而完全基于transformer的模型实现了相对较差的性能。
2022-10-31 cs.CV
What Is It Like Down There? Generating Dense Ground-Level Views and Image Features From Overhead Imagery Using Conditional Generative Adversarial Networks
University of California, Merced（加州大学默塞德分校）
本文研究了条件生成对抗网络（cGANs），以克服使用地理标记媒体进行地理发现的基本限制，即其稀疏和不均匀的空间分布。我们训练cGAN以生成给定俯视图像的位置的地面视图。我们展示了“假”地面图像是自然的，并且在结构上与真实图像相似。更重要的是，我们显示生成的图像代表了位置，并且cGAN学习的表示是信息丰富的。特别是，我们表明，使用我们的框架生成的密集的特征地图是更有效的土地覆盖分类比空间插值从稀疏的地面图像中提取的特征的方法。据我们所知，我们是第一个使用cGAN生成地面视图的工作，并探索了学习表示的好处。
2018-09-23 cs.CV
Dynamic Traffic Modeling From Overhead Imagery
DZYNE Technologies（DZYNE技术公司）；University of Kentucky（肯塔基大学）
我们的目标是使用俯拍图像来了解交通流量的模式，例如回答诸如周日凌晨3点穿越时代广场的速度等问题。解决这个问题的传统方法是将每个路段的速度建模为时间的函数。然而，这种策略是有限的，因为在可以使用模型之前必须首先收集大量的数据，并且它无法推广到新的领域。相反，我们提出了一个自动的方法来生成动态地图的交通速度使用卷积神经网络。我们的方法操作在开销图像上，以位置和时间为条件，并输出一个局部运动模型，该模型捕获可能的旅行方向和相应的旅行速度。为了训练我们的模型，我们利用从纽约市收集的历史交通数据。实验结果表明，我们的方法可以应用于生成准确的城市规模的交通模型。
2020-12-18 cs.CV
Ship classification from overhead imagery using synthetic data and domain adaptation
Space and Naval Warfare Systems Center, Pacific（太平洋空间与海战系统中心）
在本文中，我们重新审视的问题，分类船舶（海上船只）从开销图像检测。尽管过去十年对这一非常重要和相关的问题进行了研究，但它在很大程度上仍未得到解决。在海洋领域中对船舶和其他物体进行检测和分类的主要问题之一是缺乏训练最先进的机器学习算法所需的大量地面实况数据。我们通过使用Unity游戏引擎和3D船舶模型构建大型（200k）合成图像数据集来解决这个问题。我们证明，使用合成数据，分类性能显着提高，特别是当有很少的注释图像用于训练。
2019-05-10 cs.CV
Learning Adversarial Augmentation Policies for Robust Garlic Seedling Detection
Chung-Ang University（中央大学）；National Institute of Agricultural Sciences（国立农业科学研究院）
针对地面监测中光照不均导致的幼苗检测鲁棒性问题，提出基于对抗性增强策略学习的框架，联合优化增强策略与检测器，在自建数据集上AP50达91.6%，且不增加推理开销。
2026-06-26 cs.CV
RasterNet: Modeling Free-Flow Speed using LiDAR and Overhead Imagery
University of Kentucky（肯塔基大学）；Simon Fraser University（西蒙弗雷泽大学）；DZYNE Technologies（DZYNE科技公司）
道路自由流速度捕获低交通状况下的典型车辆速度。自由流速度的建模是交通工程中的一个重要问题，其应用于公路系统的各种设计、运营、规划和政策决策。不幸的是，收集大规模的历史交通速度数据是昂贵和耗时的。用于估计自由流速度的传统方法使用基础路段的几何特性，例如坡度、曲率、车道宽度、侧向净空和接入点密度，但是对于许多道路，这些特征不可用。我们提出了一个完全自动化的方法，RasterNet，估计自由流动的速度，而不需要明确的几何特征。RasterNet是一个神经网络，它使用地理空间一致的栅格结构融合大规模俯拍影像和航空LiDAR点云。为了支持训练和评估，我们引入了一个新的数据集，该数据集结合了肯塔基州道路段的自由流动速度、头顶图像和LiDAR点云。我们的方法在基准数据集上实现了最先进的结果。
2020-06-14 cs.CV
Meta-simulation for the Automated Design of Synthetic Overhead Imagery
Duke University（杜克大学）；University of Montana（蒙大拿大学）
近年来，使用合成（或模拟）数据来训练机器学习模型的增长迅速。合成数据的生成速度通常比真实世界的数据快得多，成本也更低。然而，使用合成图像的一个挑战是场景设计：例如，内容的选择、特点和空间布局。为了有效，这种设计不仅必须是现实的，而且必须适合于目标域，而目标域（根据假设）是未标记的。在这项工作中，我们提出了一种方法来自动选择基于未标记的真实世界的图像的合成图像的设计。我们的方法，称为神经元伴随元模拟（NAMS），建立在开创性的最近的元模拟方法。与目前最先进的方法相比，我们的方法可以离线预先训练，然后为新的目标图像提供快速的设计推理。使用合成和现实世界的问题，我们表明，NAMS推断合成设计，匹配域内和域外的目标图像，并与NAMS设计的图像训练分割模型产生更好的结果相比，天真的随机设计和国家的最先进的元模拟方法。
2022-10-26 cs.CV
ObjFormer: Learning Land-Cover Changes From Paired OSM Data and Optical High-Resolution Imagery via Object-Guided Transformer
Microsoft Research Asia（微软亚洲研究院）；The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project (AIP), RIKEN（理化学研究所高级智能项目中心（理化学研究所））
本文提出ObjFormer，一种结合对象引导自注意力与交叉注意力的Transformer，直接从成对OSM数据和光学影像中检测土地覆盖变化，并引入半监督语义变化检测任务及OpenMapCD基准数据集，实验验证了其有效性和泛化能力。
2024-06-26 cs.AI cs.CV cs.CY
Towards Efficient Scene Understanding via Squeeze Reasoning
Peking University（北京大学）；Fudan University（复旦大学）；DeepMotion；SenseTime（商汤科技）
基于图的卷积模型（如非局部块）已被证明对于增强卷积神经网络（CNN）中的上下文建模能力是有效的。然而，其逐像素计算开销是禁止的，这使得它不适合高分辨率图像。在本文中，我们探讨了上下文图推理的效率，并提出了一个新的框架称为挤压推理。我们不是在空间地图上传播信息，而是首先学习将输入特征压缩到通道全局向量中，并在单个向量内执行推理，从而显着降低计算成本。具体来说，我们在向量中构建节点图，其中每个节点代表一个抽象的语义概念。相同语义类别内的细化特征结果是一致的，这因此有利于下游任务。我们表明，我们的方法可以模块化为端到端的训练块，可以很容易地插入到现有的网络。{尽管其简单性和轻量级，所提出的策略允许我们在不同的语义分割数据集上建立相当多的结果，并且在各种其他场景理解任务（包括目标检测、实例分割和全景分割）上相对于强基线显示出显著的改进。}代码可在\url{https://github.com/lxtGH/SFSegNets}上获得。
2021-07-20 cs.CV
Discoverability in Satellite Imagery: A Good Sentence is Worth a Thousand Pictures
PeopleTec, Inc.（PeopleTec公司）；US Army Space Missile Defense Command (SMDC)（美国陆军太空与导弹防御司令部）
小型卫星星座提供了对地球陆地的每日全球覆盖，但图像丰富依赖于自动化的关键任务，如变化检测或特征搜索。例如，从原始像素中提取文本注释需要两个相关的机器学习模型，一个用于分析头顶图像，另一个用于生成描述性说明。我们评估了七个模型，以前最大的基准卫星图像字幕。我们将标记的图像样本扩展五倍，然后增加，校正和修剪词汇，以接近一个粗略的最小最大值（最小单词，最大描述）。这一结果与先前使用大型预训练图像模型的工作相比是有利的，但在不牺牲整体准确性的情况下（当用对数熵损失测量时），模型大小减少了100倍。这些更小的模型提供了新的部署机会，特别是当被推到边缘处理器、星载卫星或分布式地面站时。为了量化字幕的重复性，我们引入了一种新的多类混淆或错误矩阵来对人类标记的测试数据和从未标记过的图像进行评分，这些图像包括限界框检测，但缺乏完整的句子字幕。这项工作提出了未来的字幕策略，特别是那些可以丰富的类覆盖范围以外的土地利用的应用程序，减少颜色为中心的和相邻的形容词（“绿色”，“附近”，“之间”等）。许多现代语言Transformers提供了新颖且可利用的模型，这些模型具有从其庞大的在线语料库中收集的世界知识。一个有趣但简单的例子可能是学习风和波浪之间的单词关联，从而丰富了海滩场景，而不仅仅是颜色描述，否则可能会从原始像素中访问而没有文本注释。
2020-01-03 cs.CL cs.CV cs.LG
Localizing and Orienting Street Views Using Overhead Imagery
Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们的目标是确定地面查询图像的位置和方向匹配的参考数据库的开销（如卫星）图像。在这项任务中，我们收集了一个新的数据集，其中包含从美国11个城市采样的100万对街景和头顶图像。我们探索了几种用于跨域匹配的深度CNN架构-分类，混合，暹罗和三重网络。分类和混合架构是准确的，但速度很慢，因为它们只允许部分特征预计算。我们提出了一个新的损失函数，显着提高了暹罗和三重嵌入网络的准确性，同时保持其适用于大规模的检索任务，如图像地理定位。这个图像匹配任务是具有挑战性的，不仅是因为地面和头顶图像之间的巨大视点差异，而且因为街景的方向（即方位角）是未知的，使得对应更加困难。尽管如此，我们还是研究了几种匹配机制--训练旋转不变性，在查询时对可能的旋转进行采样，以及用我们的深度网络明确预测地面和头顶图像的相对旋转。事实证明，明确的方向监督也提高了位置预测的准确性。我们的最佳性能架构的准确度大约是常用的暹罗网络基线的2.5倍。
2017-03-22 cs.CV
Location Is All You Need: Continuous Spatiotemporal Neural Representations of Earth Observation Data
University of the Bundeswehr Munich（慕尼黑联邦国防军大学）；IBM Research – Europe（IBM欧洲研究院）；Columbia University（哥伦比亚大学）；German Aerospace Center (DLR)（德国航空航天中心）
本文提出LIANet，通过连续时空神经场建模多时相遥感数据，无需原始数据即可实现卫星影像重建，并在各种下游任务中取得与从头训练或使用现有GFMs相当的性能。
2026-04-09 cs.CV
Randomized Histogram Matching: A Simple Augmentation for Unsupervised Domain Adaptation in Overhead Imagery
University of Michigan（密歇根大学）；Duke University（杜克大学）；University of Montana（蒙大拿大学）
本文提出随机直方图匹配（RHM）作为一种简单高效的无监督训练增强方法，用于缓解俯视影像中的视觉域偏移问题，在建筑物分割任务上以更低复杂度取得与最先进无监督域适应方法相当或更优的性能。
2023-08-11 cs.CV
cofga: A Dataset for Fine Grained Classification of Objects from Aerial Imagery
Israel Ministry Of Defense’s Directorate of Defense Research and Development (IMOD’s DDR&D)（以色列国防部国防研究与开发局 (IMOD DDR&D)）
高空图像中目标的检测和分类是计算机视觉中两个重要而又具有挑战性的问题。在这一领域的各种研究领域中，由于高分辨率卫星和机载成像系统的最新进展，对高空图像中的对象进行细粒度分类的任务在各种现实应用中已经变得无处不在。细粒度性质导致的小的类间变化和大的类内变化使其成为一项具有挑战性的任务，特别是在低资源的情况下。在本文中，我们介绍了COFGA一个新的开放数据集的细粒度分类研究的进展。数据集中的2,104幅图像是从机载成像系统收集的，地面采样距离为5 - 15厘米，比大多数公共架空图像数据集提供更高的空间分辨率。数据集中的14，256个注释对象被分类为2个类、15个子类、14个独特特征和8种感知颜色，总共37个不同的标签，使其比任何其他公开可用的航拍图像数据集更适合细粒度分类任务。我们将COFGA与其他开销图像数据集进行比较，然后描述一些在我们为此任务进行的开放数据科学竞赛期间探索的杰出细粒度分类方法。
2021-05-26 cs.CV
Estimating Displaced Populations from Overhead
Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）；University of Kentucky（肯塔基大学）；Centers for Disease Control and Prevention（疾病控制与预防中心）；Agency for Toxic Substances and Disease Registry（有毒物质与疾病登记署）
我们引入了一种深度学习方法，使用高分辨率的头顶图像对流离失所者营地进行细粒度的人口估计。我们对无人机图像进行训练并评估我们的方法，这些图像与2018年和2019年孟加拉国考克斯巴扎尔难民营的人口数据进行了交叉参考。我们提出的方法实现了7.02%的平均绝对百分比误差隔离营地图像。我们相信，我们对真实世界流离失所者营地数据的实验是朝着开发工具迈出的重要一步，这些工具使人道主义界能够有效和快速地应对全球流离失所危机。
2020-12-21 cs.CV
What Goes Where: Predicting Object Distributions from Above
University of Kentucky（肯塔基大学）
在这项工作中，我们提出了一种跨视图学习方法，在该方法中，从地面视图捕获的图像被用作弱监督注释，用于解释头顶图像。其结果是一个用于俯视图像的卷积神经网络，它能够预测从地面视角可能看到的物体的类型和数量。我们在地理标记的地面和头顶图像的大型数据集上展示了我们的方法，并发现我们的网络捕获了语义上有意义的特征，尽管没有手动注释。
2018-08-02 cs.CV
CoSA: Correlation-Guided Change Attention with Learnable Residual Gating for Remote Sensing Change Detection
Department of Data Science, Graduate School of Kookmin University（国民大学研究生院数据科学系）
提出CoSA模块，利用双时特征相关性作为控制信号，通过可学习残差门控增强变化感知，在四个基准数据集上提升变化类F1达1.5-2.6%，参数开销极小。
2026-06-23 cs.CV
PASTE: Physics-Aware Scattering Topology Embedding Framework for SAR Object Detection
Key Laboratory for Information Science of Electromagnetic Waves (MoE), Fudan University（电磁波信息科学国家重点实验室（MoE），复旦大学）
本文提出PASTE框架，通过整合散射物理机制，提升SAR目标检测性能，实验表明其在多种检测器上实现2.9%-11.3%的mAP提升。
2026-03-16 cs.CV
The Synthinel-1 dataset: a collection of high resolution synthetic overhead imagery for building segmentation
Duke University（杜克大学）
最近，深度学习-即卷积神经网络（CNN）-已经为在大开销上构建分割的任务产生了令人印象深刻的性能（例如，卫星）图像基准。然而，这些基准数据集只捕获一小部分的变化，存在于现实世界的开销图像，限制了正确的训练，或评估，模型的能力，为现实世界的应用。不幸的是，由于图像的成本和图像的手动逐像素标记，开发捕获甚至一小部分真实世界变化的数据集通常是不可行的。在这项工作中，我们开发了一种方法来快速，廉价地生成大型和多样化的虚拟环境，我们可以从其中捕获合成的开销图像，用于训练分割CNN。使用这种方法，生成并公开发布一系列合成的架空图像-称为Synthinel-1，具有完整的像素建筑标签。我们使用几个基准数据集来证明，当用于增强真实世界的训练图像时，Synthinel-1始终是有益的，特别是当CNN在新的地理位置或条件下进行测试时。
2020-01-15 cs.CV cs.LG
Learning to Map Nearly Anything
University of Kentucky（肯塔基大学）
从上方观察世界，可以估计给定位置的许多属性，包括土地覆盖类型和预期的土地利用。从历史上看，由于难以获得细粒度的注释，这些任务依赖于相对粗粒度的类别。在这项工作中，我们提出了一个易于扩展的方法，使人们有可能估计细粒度的属性从开销图像。特别是，我们提出了一个跨模态蒸馏策略来学习从头顶图像预测细粒度属性的分布，而不需要任何手动注释的头顶图像。我们表明，我们学习的模型可以直接用于映射和图像定位的应用程序。
2019-09-16 cs.CV
Comprehensive Dataset of Synthetic and Manipulated Overhead Imagery for Development and Evaluation of Forensic Tools
Drexel University（德雷塞尔大学）
本文提出了一种综合性合成与 manipulated 天顶影像数据集，用于开发和评估取证工具，支持可控生成多种操纵类别及任务基准性能。
2023-05-09 cs.CR cs.CV
What you get is not always what you see: pitfalls in solar array assessment using overhead imagery
Duke University（杜克大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
将小型分布式太阳能光伏（PV）阵列有效地整合到电网中需要获得高质量的数据：单个太阳能光伏阵列的位置和电力容量。不幸的是，国家级的小型太阳能光伏数据库并不存在;那些存在的数据库空间分辨率有限，通常汇总到州或国家一级。虽然已经发表了几种有前途的太阳能光伏探测方法，但评估这些模型性能的策略往往是高度异质性的研究。这些方法在能源评估实际应用中的比较结果具有挑战性，可能意味着报告的性能评估过于乐观。异质性有多种形式，我们在这项工作中探索了其中的每一种形式：空间聚合的水平，地面实况的验证，训练和验证数据集的不一致性，以及训练和验证数据来源的位置和传感器的多样性程度。对于每一个，我们从文献中讨论新兴的做法，以解决他们或建议未来的研究方向。作为我们调查的一部分，我们评估了两个大区域的太阳能光伏识别性能。我们的研究结果表明，传统的性能评估的太阳能光伏从卫星图像的自动识别可能是乐观的，由于在验证过程中的共同限制。这项工作的成果旨在为能源研究人员和专业人士提供信息，并促进自动化太阳能光伏评估技术的大规模实际应用。
2022-07-25 cs.CV
