Object Detection in Aerial Images: A Large-Scale Benchmark and Challenges
Wuhan University（武汉大学）；Huazhong University of Science and Technology（华中科技大学）；University of Twente（特文特大学）；Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技学院）；University of Rochester（罗切斯特大学）；German Aerospace Center (DLR)（德国航空航天中心）；University POLITEHNICA（布加勒斯特理工大学）
在过去的十年中，目标检测在自然图像中取得了显著的进展，但在航空图像中，由于鸟瞰图像引起的对象的尺度和方向的巨大变化，目标检测没有取得显著的进展。更重要的是，缺乏大规模的基准已经成为航空图像中目标检测（ODAI）发展的主要障碍。本文提出了一个大规模的航空影像目标检测数据集（DOTA）和综合基线。建议的DOTA数据集包含从11，268幅航空图像中收集的18类定向边界框注释的1，793，658个对象实例。基于这个大规模且注释良好的数据集，我们构建了涵盖10种最先进算法的基线，其中包括70多种配置，并对每个模型的速度和准确性进行了评估。此外，我们提供了一个代码库，并建立了一个网站，用于评估不同的算法。此前的DOTA挑战赛已经吸引了全球1300多支队伍。我们相信，扩展的大规模DOTA数据集，广泛的基线，代码库和挑战，可以促进航空图像中的目标检测问题的鲁棒算法的设计和可重复的研究。
2021-12-04 cs.CV
Object Detection in Aerial Imagery
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
自然图像中的目标检测多年来取得了显著的成果。然而，类似的进展尚未观察到在空中目标检测由于几个挑战，如高分辨率图像，实例规模变化，类不平衡等，我们表现出两个阶段，一个阶段和注意基于对象检测器的iSAID数据集的性能。此外，我们描述了针对不同模型进行的一些修改和分析- a）在两阶段检测器中：引入了基于加权注意力的FPN，类平衡采样器和密度预测头。b）在一级探测器中：使用加权焦点损失并引入FPN。c）在基于注意力的检测器中：比较单个、多尺度注意力，并展示不同骨干的效果。最后，我们展示了一个比较研究，突出了不同的模型在航空图像设置的优点和缺点。
2022-11-15 cs.CV
YOLOv5-Based Object Detection for Emergency Response in Aerial Imagery
UNC Charlotte（北卡罗来纳大学夏洛特分校）
本文构建自定义数据集并采用 YOLOv5 检测航空影像中的应急关键车辆与事故场景，验证其在速度和精度上的平衡及实时应急价值。
2025-01-08 cs.CV
Salience Biased Loss for Object Detection in Aerial Images
University of Missouri-Columbia（密苏里大学哥伦比亚分校）
由于遥感图像分辨率低、背景复杂、目标尺度和角度变化大等特点，遥感图像中的目标检测一直是一个具有挑战性的问题。在当前的实现中，已经提出了基于多尺度和基于角度的网络，并且利用空间图像检测产生有希望的结果。在本文中，我们为深度神经网络提出了一种新的损失函数，称为显着偏置损失（SBL），它使用输入图像的显着信息来提高目标检测的性能。我们的新损失函数根据输入复杂度对训练样本进行不同的处理，以避免容易的案例在训练过程中的过度贡献。在我们的实验中，RetinaNet使用SBL进行训练，以生成一个单阶段检测器SBL-RetinaNet。SBL-RetinaNet应用于现有最大的公共航空影像数据集DOTA。实验结果表明，我们提出的损失函数与RetinaNet架构优于其他国家的最先进的目标检测模型至少4.31 mAP，和RetinaNet的2.26 mAP与RetinaNet相同的推理速度。
2018-10-18 cs.CV
AMRNet: Chips Augmentation in Aerial Images Object Detection
航空图像中的目标检测是一项具有挑战性的任务，原因如下：（1）目标相对于图像来说较小且密集;（2）目标尺度变化范围很大;（3）不同类别中目标数量不平衡。现有的检测方法多采用裁剪思想，将高分辨率图像分割成一系列的子区域（片）进行检测。然而，在用芯片训练网络的过程中，存在着规模变化、对象稀疏、类别不平衡等问题。在这项工作中，三个增强方法被引入到缓解这些问题。具体来说，我们提出了一个规模自适应模块，它动态调整芯片大小，以平衡对象规模，缩小规模变化的训练。此外，我们还引入了镶嵌技术来增强数据集，缓解了目标稀疏性问题。为了平衡类别，我们提出了一种将对象粘贴到全景分割芯片上的掩模方法。我们的模型在VisDrone和UAVDT两个流行的航空图像数据集上实现了最先进的性能。值得注意的是，三种方法可以独立地应用于检测器，在不牺牲推理效率的情况下提高性能稳定。
2020-10-25 cs.CV
Measuring the Impact of Rotation Equivariance on Aerial Object Detection
Xidian University（西电大学）；National University of Defense Technology（国防科技大学）
本文提出严格旋转等变主干与颈部网络及多分支头部检测器MessDet，定量验证旋转等变性对航空图像检测性能的影响，在DOTA和DIOR-R数据集上以极低参数量达到最先进水平。
2025-07-14 cs.CV
Deep Level Set for Box-supervised Instance Segmentation in Aerial Images
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
框监督实例分割是近年来研究的热点，而在航空图像领域的研究还很少。与一般的目标集合相比，空中目标具有较大的类内方差和类间相似性，且背景复杂。此外，在高分辨率的卫星图像中有许多微小的物体。这使得目前的成对仿射建模方法不可避免地涉及噪声监督，结果较差。为了解决这些问题，我们提出了一种新的空中实例分割方法，该方法驱动网络以端到端的方式学习一系列仅具有框注释的空中对象的水平集函数。水平集方法通过精心设计的能量函数，将目标分割视为曲线演化，而不是学习两两相似度，从而能够准确地恢复目标边界，并防止难以区分的背景和相似目标的干扰。实验结果表明，该方法优于最先进的框监督实例分割方法。源代码可在https://github.com/LiWentomng/boxlevelset上获得。
2021-12-07 cs.CV
MODA: The First Challenging Benchmark for Multispectral Object Detection in Aerial Images
MODA是首个多光谱航空图像目标检测挑战性基准，提出OSSDet框架整合光谱与空间信息，通过级联结构和对象感知机制提升检测性能。
2025-12-10 cs.CV
Exploiting Unlabeled Data with Multiple Expert Teachers for Open Vocabulary Aerial Object Detection and Its Orientation Adaptation
Tongji University（同济大学）；Southeast University（东南大学）
本文提出CastDet框架，通过多专家教师和动态标签队列实现开放词汇空中物体检测及其方向适应，提升新型物体识别与分类能力。
2026-01-24 cs.CV
Investigating the Challenges of Class Imbalance and Scale Variation in Object Detection in Aerial Images
MBZUAI（穆罕默德·本·扎耶德人工智能大学）
虽然目标检测是计算机视觉中的常见问题，但在处理航空卫星图像时更具挑战性。物体尺度和方向的多样性可能使它们难以识别。此外，可能有大量密集的小物体，如汽车。在这个项目中，我们对Faster-RCNN架构提出了一些修改。首先，我们使用不同的主干进行实验，以提取更好的特征。我们还修改了数据增强，并为区域建议生成锚点大小，以便更好地处理小对象。最后，我们研究了不同的损失函数的影响。我们提出的设计比使用带有ResNet-101 FPN主干的香草Faster R-CNN的基线提高了4.7 mAP。
2022-02-05 cs.CV
DARDet: A Dense Anchor-free Rotated Object Detector in Aerial Images
National University of Defense Technology（国防科技大学）
航空图像中旋转目标检测的应用越来越广泛。然而，由于尺度、旋转、纵横比和密集排列的目标的巨大变化，这也是一项具有挑战性的任务。大多数现有方法严重依赖于大量具有不同尺度、角度和纵横比的预定义锚点，并且在距离损失的情况下进行优化。因此，这些方法是敏感的锚超参数，并容易遭受性能下降所造成的边界不连续性。为了解决这个问题，在本文中，我们提出了一个密集的锚自由旋转对象检测器（DARDet）的旋转目标检测在航空图像。我们的DARDet直接预测特征图的每个前景像素处的旋转框的五个参数。我们设计了一个新的对齐卷积模块来提取对齐的特征，并引入PIOU损失以实现精确和稳定的回归。我们的方法在三个常用的空中物体数据集上实现了最先进的性能（即，DOTA、HRSC2016和UCAS-AOD），同时保持高效率。代码可在www.example.com上获得。
2021-10-03 cs.CV
Cross-View Open-Vocabulary Object Detection in Aerial Imagery
Center for Research in Computer Vision, University of Central Florida（计算机视觉研究中心，中央佛罗里达大学）
针对航空图像开放词汇目标检测的跨域迁移难题，提出结合图像间对比对齐与多实例词汇关联的结构化域对齐框架，在多个航空数据集零样本任务中显著优于封闭词汇微调模型。
2025-10-04 cs.CV
ReDet: A Rotation-equivariant Detector for Aerial Object Detection
Wuhan University（武汉大学）
近年来，航空图像中的目标检测在计算机视觉中得到了广泛的关注。与自然图像中的目标不同，空中目标往往以任意方向分布。因此，检测器需要更多的参数来编码方位信息，这些参数通常是高度冗余和低效的。此外，由于普通CNN没有明确地对取向变化进行建模，因此需要大量的旋转增强数据来训练准确的对象检测器。在本文中，我们提出了一个旋转等变检测器（ReDet）来解决这些问题，它显式编码旋转等变和旋转不变性。更准确地说，我们将旋转等变网络纳入检测器中以提取旋转等变特征，这可以准确地预测方向并导致模型大小的大幅减少。基于旋转等变特征，本文提出了旋转不变RoI对齐算法（RiRoI Align），该算法根据RoI的方向自适应地从等变特征中提取旋转不变特征。在DOTA-v1.0、DOTA-v1.5和HRSC 2016等几个具有挑战性的航拍图像数据集上进行的大量实验表明，该方法在航拍目标检测任务上可以达到最先进的性能。与之前的最佳结果相比，我们的ReDet在DOTA-v1.0，DOTA-v1.5和HRSC 2016上分别获得了1.2，3.5和2.6 mAP，同时减少了60%的参数数量（313 Mb与121 Mb）。代码可在以下网址获得：\url{https://github.com/csuhan/ReDet}。
2021-03-13 cs.CV
Oriented RepPoints for Aerial Object Detection
Zhejiang University（浙江大学）；University of Electronic Science and Technology of China（电子科技大学）；Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
与一般目标不同，空中目标通常是非轴向的，具有任意的方位，周围环境复杂。与传统的限界框方向回归方法不同，本文提出了一种有效的自适应点学习方法，利用自适应点表示能够捕获任意方向实例的几何信息，用于空中目标检测。为此，提出了三种定向转换函数，以便于分类和定位的准确定位。此外，我们提出了一个有效的质量评估和样本分配方案的自适应点学习，选择有代表性的定向样本在训练过程中，这是能够捕捉非轴对齐的功能，从相邻的对象或背景噪声。引入空间约束对离群点进行惩罚，实现鲁棒自适应学习。在DOTA、HRSC 2016、UCAS-AOD和DIOR-R等四个具有挑战性的航空数据集上的实验结果证明了该方法的有效性。源代码可在https://github.com/LiWentomng/OrientedRepPoints获得。
2022-03-24 cs.CV
Sampling Equivariant Self-attention Networks for Object Detection in Aerial Images
Tsinghua University（清华大学）；Cardiff University（卡迪夫大学）
航空影像中的目标在尺度和方位上的变化比典型影像中的变化更大，因此目标检测更加困难。卷积神经网络使用各种特定于频率和方向的内核来识别受到不同变换的对象;这些需要许多参数。采样等变网络可以根据对象的变换来调整输入特征图的采样，允许内核在不同的变换下提取对象的特征。这样做需要更少的参数，并使网络更适合表示可变形的对象，如航空图像中的对象。然而，像可变形卷积网络这样的方法只能在某些情况下提供采样等方差，因为用于采样的位置。本文提出了采样等变自注意网络，将自注意力限制在局部图像块上视为带掩模的卷积采样，并设计了变换嵌入模块，进一步提高了等变采样能力。我们还使用了一种新的随机归一化模块来解决由于有限的航空图像数据的过拟合。我们表明，我们的模型（i）提供了比现有方法更好的采样等方差，而无需额外的监督，（ii）在ImageNet上提供了改进的分类，（iii）在DOTA数据集上实现了最先进的结果，而无需增加计算。
2021-11-05 cs.CV
MUS-CDB: Mixed Uncertainty Sampling with Class Distribution Balancing for Active Annotation in Aerial Object Detection
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
本文提出MUS-CDB主动学习方法，结合目标级与图像级不确定性采样和类别分布平衡准则，在航空目标检测中节省近75%标注成本的同时保持与现有方法相当的mAP性能。
2023-09-19 cs.CV
A Comparative Attention Framework for Better Few-Shot Object Detection on Aerial Images
Université Sorbonne Paris Nord（巴黎索邦北大学）
Few-Shot目标检测（FSOD）方法主要在自然图像数据集上设计和评估，如Pascal VOC和MS COCO。然而，目前尚不清楚自然图像的最佳方法是否也是航空图像的最佳方法。此外，由于各种各样的检测框架和训练策略，很难直接比较FSOD方法之间的性能。因此，我们提出了一个基准框架，提供了一个灵活的环境来实现和比较基于注意力的FSOD方法。该框架以注意力机制为核心，分为空间对齐、全局注意和融合层三个模块。为了保持与现有方法的竞争力，这些方法通常利用复杂的训练，我们提出了为目标检测设计的新增强技术。使用这个框架，几个FSOD方法重新实现和比较。这种比较突出了航空和自然图像上两种不同的性能机制：FSOD在航空图像上的性能较差。我们的实验表明，小物体，这是很难检测到的Few-Shot设置，占性能不佳。最后，我们开发了一种新的多尺度对齐方法，跨尺度查询支持对齐（XQSA）FSOD，以提高小物体的检测。XQSA在DOTA和DIOR上的表现明显优于最先进的技术。
2022-10-25 cs.CV
Convolutional Neural Networks for Aerial Multi-Label Pedestrian Detection
West Virginia University（西弗吉尼亚大学）
航拍图像中感兴趣对象的低分辨率使得行人检测和动作检测极具挑战性。此外，使用深度卷积神经网络来处理大图像在计算要求方面可能是苛刻的。为了缓解这些挑战，我们提出了一个两步，是和否的问答框架，找到特定的个人做一个或多个特定的动作，在航空图像。首先，使用深度对象检测器（Single Shot Multibox Detector（SSD））从小型航空图像生成对象建议。其次，另一个深度网络用于学习潜在公共子空间，该潜在公共子空间将高分辨率航空图像与由基于人类的源提供的行人行为标签相关联
2018-07-16 cs.CV
LOGOS: Language-guided Oriented Object Detection in Aerial Scenes
University of Science, VNU-HCM, Vietnam（越南国家大学科学大学）；Vietnam National University, Ho Chi Minh City, Vietnam（越南国家大学）
针对航空场景目标检测难题，提出基于Transformer的LOGOS方法，利用文本提示引导检测，通过提示调制内容查询动态调整焦点，经DOTA数据集实验验证，该方法优于现有技术，提升了遥感应用中定向目标检测的性能。
2026-07-10 cs.CV
Zero-Shot Aerial Object Detection with Visual Description Regularization
Sichuan University（四川大学）
针对航空图像新型类别标注昂贵问题，提出视觉描述正则化 DescReg，通过相似性感知三元组损失注入类间视觉先验，在 DIOR、xView、DOTA 上显著提升零样本检测性能。
2024-03-01 cs.CV
Deep object detection for waterbird monitoring using aerial imagery
Rice University（莱斯大学）；Houston Audubon Society（休斯顿奥杜邦协会）；American Bird Conservancy（美国鸟类保护协会）
监测水鸟筑巢岛屿对跟踪水鸟种群趋势至关重要，这些趋势可用于评估生态系统健康状况并为保护管理决策提供信息。最近，无人驾驶飞行器或无人机已成为精确监测水鸟群体的可行技术。然而，从数百或可能数千张航空图像中手动计数水鸟既困难又耗时。在这项工作中，我们提出了一个深度学习管道，可用于使用商业无人机收集的航空图像精确检测，计数和监测水鸟。通过利用基于卷积神经网络的对象检测器，我们表明，我们可以检测到16类水鸟物种，通常发现在殖民地筑巢岛屿沿得克萨斯州海岸。我们使用Faster R-CNN和RetinaNet对象检测器的实验分别给出了67.9%和63.1%的平均插值平均精度分数。
2022-10-13 cs.CV
Leveraging Synthetic Data in Object Detection on Unmanned Aerial Vehicles
University of Tuebingen（蒂宾根大学）
获取数据以在无人机（UAV）上训练基于深度学习的物体检测器是昂贵、耗时的，并且在特定环境中甚至可能被法律禁止。另一方面，合成数据访问起来又快又便宜。在这项工作中，我们探讨了潜在的使用合成数据在目标检测从无人机在各种应用环境。为此，我们扩展了开源框架DeepGTAV，使其适用于无人机场景。我们捕获了多个领域的各种大规模高分辨率合成数据集，通过分析多个模型的多种训练策略，展示了它们在无人机真实世界目标检测中的应用。此外，我们分析了几种不同的数据生成和采样参数，为进一步的科学研究提供可操作的工程建议。DeepGTAV框架可在https://git.io/Jyf5j上获得。
2021-12-22 cs.CV
Oriented Object Detection in Aerial Images with Box Boundary-Aware Vectors
Rutgers University（罗格斯大学）
航空图像中的目标以任意方向显示并且通常是密集的，因此航空图像中的定向目标检测是一项具有挑战性的任务。目前的定向目标检测方法主要依赖于两级基于锚点的检测器。然而，基于锚的检测器通常遭受正锚盒和负锚盒之间的严重不平衡问题。为了解决这个问题，在这项工作中，我们扩展的水平关键点为基础的对象检测器的定向目标检测任务。特别地，我们首先检测对象的中心关键点，然后基于此回归框边界感知向量（BBAVectors）以捕获定向边界框。对于所有任意方向的对象，框边界感知向量分布在笛卡尔坐标系的四个象限中。为了减轻角点情况下学习向量的困难，我们进一步将定向包围盒分为水平和旋转包围盒。在实验中，我们表明，学习框边界感知向量优于直接预测的宽度，高度和角度的定向限界框，采用基线方法。此外，所提出的方法与最先进的方法竞争有利。代码可在https://github.com/yijingru/BBAVectors-Oriented-Object-Detection上获得。
2020-08-29 cs.CV
ARUBA: An Architecture-Agnostic Balanced Loss for Aerial Object Detection
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
本文提出一种名为ARUBA的架构无关平衡损失，作为插件解决无人机航空图像数据集中目标尺寸不平衡问题，在多个航空数据集上取得持续性能提升。
2023-11-18 cs.CV
Efficient Oriented Object Detection with Enhanced Small Object Recognition in Aerial Images
School of Artificial Intelligence Beijing Normal University Beijing, China
针对航空图像中旋转目标检测的效率和精度平衡问题，提出基于YOLOv8的轻量级模型，通过小波C2f、ASFP和GhostDynamicConv模块，以21.6M参数在DOTAv1.0上达到与DecoupleNet相当的精度。
2024-12-17 cs.CV
PolarDet: A Fast, More Precise Detector for Rotated Target in Aerial Images
Harbin Institute of Technology（哈尔滨工业大学）；Hikvision Research Institute（海康威视研究院）
高分辨率航空影像的快速、精确目标检测一直是一项具有挑战性的任务。由于对象尺度、旋转和长宽比的急剧变化，大多数现有方法效率低下且不精确。在本文中，我们表示的极坐标方法在极坐标方向的对象，并提出PolarDet，一个快速，准确的一级目标检测器的基础上表示。我们的检测器引入了一个亚像素中心的语义结构，以进一步提高分类的准确性。PolarDet在空中目标检测任务中实现了几乎所有的SOTA性能，推理速度更快。具体地说，我们的方法在DOTA、UCAS-AOD和HRSC上分别获得了76.64mAP、97.01mAP和90.46mAP的SOTA结果。最值得注意的是，我们的PolarDet在UCAS-AOD数据集上获得了最佳性能，并达到了最快的速度（32 fps）。
2020-10-17 cs.CV
PACGNet: Pyramidal Adaptive Cross-Gating Network for Multimodal Object Detection in Aerial Imagery
Handan Vocational College of Science and Technology（邯郸科技职业学院）；China University of Mining and Technology（中国矿业大学）
PACGNet通过自适应跨门控机制提升多模态检测性能，实现细粒度目标检测与特征层次重建。
2026-09-29 cs.CV
On the Robustness of Object Detection Models on Aerial Images
School of Computer Science, Wuhan University（武汉大学计算机学院）
针对航空图像目标检测鲁棒性研究不足的问题，本文基于DOTA-v1.0构建含19种常见损坏及云损坏的两个基准，评估主流模型并发现旋转不变建模、增强骨干网络及提升Transformer骨干容量可提升鲁棒性。
2025-01-13 cs.CV
Fast Vehicle Detection in Aerial Imagery
KeyW Corp.（KeyW公司）；Sensors Directorate, Air Force Research Lab（空军研究实验室传感器处）
近年来，已经开发了几种实时或近实时对象检测器。然而，这些对象检测器通常被设计用于第一人称视角图像，其中对象在图像中较大，并且不能很好地直接应用于检测航拍图像中的车辆。虽然已经开发了一些用于航空成像的探测器，但这些探测器要么速度很慢，要么不能很好地处理多尺度图像。在这里，流行的YOLOv2探测器被修改，以大大提高其在航空数据上的性能。在几个航空图像数据集上将修改后的检测器与Faster RCNN进行了比较。所提出的检测器以超过4倍的速度提供接近最先进的性能。
2017-09-25 cs.CV
Rethinking Scale Imbalance in Semi-supervised Object Detection for Aerial Images
Wuhan University（武汉大学）；State Key Laboratory of Space-Ground Integrated Information Technology（天地一体化信息技术国家重点实验室）
本文针对航空图像半监督目标检测中的尺度不平衡问题，提出S^3OD学习流程，通过SAT、SLA和TNL三个组件解决伪标签、标签分配和负学习的不平衡，在DOTA-v1.5上表现优于现有方法。
2023-10-23 cs.CV
Object Detection in Aerial Images: What Improves the Accuracy?
目标检测是计算机视觉中一个具有挑战性的热点问题。这个问题在航空图像中更具挑战性，因为在不同的对象类别中，尺度和视角会发生显著变化。最近，针对航空图像中的目标检测问题，已经积极探索了基于深度学习的目标检测方法。在这项工作中，我们研究了Faster R-CNN对空中目标检测的影响，并探索了多种策略来提高其在空中图像中的性能。我们在具有挑战性的iSAID数据集上进行了广泛的实验。由此产生的适应性更快的R-CNN在iSAID验证集上获得了4.96%的显著mAP增益，这表明了这项工作中研究的不同策略的影响。
2022-01-21 cs.AI cs.CV
Vision-based Real-Time Aerial Object Localization and Tracking for UAV Sensing System
University of Kansas（堪萨斯大学）
研究了无人机导航中基于视觉的障碍物检测与跟踪问题。将目标检测和跟踪有效地结合到动态卡尔曼模型中，提出了一种单目图像序列中目标的实时的【形】定位和跟踪策略。在检测阶段，感兴趣的对象是自动检测和本地化的显着性地图计算通过在每帧的图像背景连接线索;在跟踪阶段，一个卡尔曼滤波器被用来提供一个粗略的预测的对象状态，这是进一步细化通过一个本地检测器，结合显着性地图和两个连续帧之间的时间信息。与现有的方法相比，所提出的方法不需要任何手动初始化跟踪，运行速度远远快于国家的最先进的跟踪器的同类，并实现了大量的图像序列上的竞争力的跟踪性能。大量的实验证明了所提出的方法的有效性和优越的性能。
2017-03-19 cs.CV
Language-guided Learning for Object Detection Tackling Multiple Variations in Aerial Images
Image and Video Systems Lab., School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)（图像与视频系统实验室，电气工程学院，韩国科学技术院）
本文提出语言引导目标检测框架LANGO，通过视觉语义推理器理解场景语义及关系学习损失处理实例级变化，有效缓解航空图像中光照和视角等变化对目标检测的影响，显著提升检测性能。
2025-05-29 cs.CV
Hierarchical Fine-Grained Aerial Object Detection
School of Computer Science, Wuhan University（武汉大学计算机学院）；School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院）；School of Electronic Information, Wuhan University（武汉大学电子信息学院）
提出ExpertDet，通过视觉感知掩码属性建模和层次化视觉实例提升，利用结构化先验知识增强细粒度航空目标检测，并在新基准PSP上超越现有方法。
2026-06-16 cs.CV
Learning RoI Transformer for Detecting Oriented Objects in Aerial Images
Wuhan University（武汉大学）
由于鸟瞰视角、高度复杂的背景和物体的多变外观，航空图像中的目标检测是计算机视觉中一个活跃而又具有挑战性的任务。特别是当检测空间图像中密集堆积的对象时，依赖于用于普通目标检测的水平建议的方法经常在感兴趣区域（ROI）和对象之间引入失配。这导致最终对象分类置信度和定位精度之间的常见不对准。虽然旋转锚已被用来解决这个问题，他们的设计往往成倍的锚的数量和显着增加的计算复杂性。在本文中，我们提出了一个ROI Transformer来解决这些问题。更准确地说，为了提高区域建议的质量，我们首先设计了一个旋转的ROI（RRoI）学习器，将水平感兴趣区域（HRoI）转换为旋转感兴趣区域（RRoI）。基于RRoI，我们提出了一个旋转位置敏感的RoI对齐（RPS-RoI-Align）模块，从它们中提取旋转不变的特征，以促进后续的分类和回归。我们的RoI Transformer重量轻，可以轻松嵌入探测器中，用于定向目标检测。RoI Transformer的简单实现在两个常见且具有挑战性的航空数据集上实现了最先进的性能，即，DOTA和HRSC2016，对检测速度的降低可以忽略。当定向边界框注释可用时，我们的RoI Transformer超过了可变形的位置敏感RoI池。大量的实验也验证了我们的ROI Transformer的灵活性和有效性。结果表明，它可以很容易地与其他检测器结构集成，并显着提高性能。
2018-12-01 cs.CV
Object detection on aerial imagery using CenterNet
航空图像中的对象的检测和分类具有若干应用，如城市规划、农作物监视和交通监视。然而，由于目标的低分辨率和噪声的影响，在航空图像中，提取区分特征的对象是一个挑战。我们在VisDrone2019数据集上评估了CenterNet，这是一种用于实时2D目标检测的最先进方法。我们在训练和测试过程中，结合不同的分辨率，使用不同的骨干网络来评估模型的性能。
2019-08-22 cs.CV cs.RO
YOLC: You Only Look Clusters for Tiny Object Detection in Aerial Images
Beihang University（北京航空航天大学）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）；Zhongyuan University of Technology（中原工学院）
本文提出基于 CenterNet 的 YOLC 框架，通过 LSM 自适应搜索并放大聚类区域，结合 GWD 回归损失、可变形卷积与细化模块提升航空图像小目标检测性能。
2024-06-17 cs.CV
ReAFFPN: Rotation-equivariant Attention Feature Fusion Pyramid Networks for Aerial Object Detection
Nanjing University of Science and Technology（南京理工大学）
提出了一种基于旋转-等变注意特征融合金字塔网络的空中目标检测算法ReAFFPN。ReAFFPN的目的是改善相邻层之间的旋转等变特征融合的效果，受到语义和规模的不连续性。由于旋转等变卷积的特殊性，一般的方法在保证网络旋转等变的同时，无法达到其原有的效果。为了解决这个问题，我们设计了一种新的旋转等变通道注意力，它既能产生通道注意力，又能保持旋转等变。然后在迭代注意特征融合（iAFF）模块中嵌入一种新的通道注意函数，实现旋转等变注意特征融合。实验结果表明，ReAFFPN具有较好的旋转等变特征融合能力，显著提高了旋转等变卷积网络的精度。
2022-10-17 cs.CV
Clustered Object Detection in Aerial Images
Temple University（天普大学）；Air Force Research Lab（美国空军研究实验室）；Stony Brook University（石溪大学）
在空中图像中检测对象是具有挑战性的，原因至少有两个：（1）像行人这样的目标对象在像素上非常小，使得它们很难与周围背景区分开;以及（2）目标通常稀疏且不均匀地分布，使得检测非常低效。在本文中，我们解决这两个问题的启发，观察这些目标往往是集群。特别是，我们提出了一个统一的对象聚类和检测在一个端到端的框架中的检测网络（WIDET）。CMDet中的关键组件包括集群建议子网络（CPNet），规模估计子网络（ScaleNet）和专用检测网络（DetecNet）。给定一个输入图像，CPNet产生对象聚类区域，ScaleNet估计这些区域的对象尺度。然后，每个尺度归一化的聚类区域被送入DetecNet进行目标检测。与以前的解决方案相比，WARDET具有以下几个优点：（1）它大大减少了用于最终目标检测的码片数量，因此实现了高运行时间效率，（2）基于簇的尺度估计比先前使用的基于单个目标的尺度估计更准确，因此有效地改进了对小目标的检测，最后的DetecNet是专门用于聚类区域的，并隐式地对先验上下文信息进行建模，以提高检测精度。该方法在VisDrone、UAVDT和DOTA三种流行的航空影像数据集上进行了测试。在所有的实验中，与最先进的检测器相比，DET实现了令人鼓舞的性能。代码将在\url{https://github.com/fyangneil}中提供。
2019-08-27 cs.CV
Object Detection in Aerial Images with Uncertainty-Aware Graph Network
Korea University（高丽大学）；KAIST（韩国科学技术院）；AITRICS
在这项工作中，我们提出了一种新的不确定性感知的目标检测框架与结构化图，其中节点和边缘表示的对象和它们的空间语义相似性，分别。具体来说，我们的目标是考虑对象之间的关系，以有效地将它们上下文化。为了实现这一目标，我们首先检测对象，然后测量它们的语义和空间距离来构建对象图，然后用图神经网络（GNN）表示对象图，以细化对象的视觉CNN特征。然而，细化每个对象的CNN特征和检测结果是低效的，并且可能是不必要的，因为这包括具有低不确定性的正确预测。因此，我们建议不仅通过有向图将表示从某些对象（源）转移到不确定对象（目标）来处理不确定对象，而且还仅在被视为不确定的对象上改进CNN特征，这些对象具有来自GNN的表示输出。此外，我们通过对不确定对象赋予更大的权重来计算训练损失，以集中精力改善不确定对象的预测，同时保持对某些对象的高性能。我们把我们的模型称为不确定性感知图网络目标检测（UAGDet）。然后，我们在具有挑战性的大规模航空图像数据集，即DOTA上进行实验验证，该数据集由图像中大小不等的大量对象组成，在此基础上，我们的方法提高了现有目标检测网络的性能。
2022-08-24 cs.CV
Multi-Modal Domain Fusion for Multi-modal Aerial View Object Classification
Indian Institute of Science（印度科学学院）
利用航空图像进行目标目标检测和分类是一项具有挑战性的任务，因为关于目标的信息并不丰富。合成孔径雷达（SAR）图像可用于自动目标识别（ATR）系统，因为它可以在全天候条件下和低光照环境下工作。但是，SAR图像包含盐和胡椒噪声（斑点噪声），这会阻碍深度学习模型提取有意义的特征。仅使用用于ATR系统的鸟瞰电光（EO）图像也可能不会导致高精度，因为这些图像具有低分辨率，并且在极端天气条件下也不能提供充足的信息。因此，来自多个传感器的信息可以用于增强自动目标识别（ATR）系统的性能。在本文中，我们探讨了一种方法，使用EO和SAR传感器信息，有效地提高ATR系统的性能，通过处理每个传感器的缺点。提出了一种新的多模态域融合网络，用于从多模态数据中学习域不变特征，并将其用于鸟瞰图对象的准确分类。在PBVS MAVOC Challenge数据集的测试阶段，所提出的网络在Track-1中达到前10名性能，准确度为25.3%，在Track-2中达到前5名性能，准确度为34.26%[18]。
2022-12-14 cs.CV
Perceiving Traffic from Aerial Images
EPFL（洛桑联邦理工学院）
配备不同传感器的无人机或无人机已被部署在许多地方，特别是用于城市交通监控或最后一英里交付。它提供了实时观测控制交通不同方面的能力，这是未来交通和智慧城市的重要支柱。随着这些机器的使用越来越多，许多以前在前置摄像头上实现高性能的最先进的物体检测器正在无人机数据集上使用。当应用于从这些数据集捕获的高分辨率航空图像时，它们无法推广到广泛的对象尺度。为了解决这个问题，我们提出了一个目标检测方法，称为蝴蝶检测器，是专门用于检测航空图像中的对象。我们扩展了字段的概念，并引入蝴蝶字段，一种复合字段，描述了输出功能的空间信息以及检测到的对象的规模。为了克服遮挡和视角的变化，可以阻碍定位过程中，我们采用了相关的蝴蝶矢量指向对象中心之间的投票机制。我们在两个公开的无人机数据集（UAVDT和VisDrone2019）上评估了我们的蝴蝶探测器，并表明它在保持实时性的同时优于以前的最先进方法。
2020-09-16 cs.CV
Learning Calibrated-Guidance for Object Detection in Aerial Images
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Nanjing University of Science and Technology（南京理工大学）；University of Leicester（莱斯特大学）
目标检测是计算机视觉领域中最基本也是最具挑战性的研究课题之一。近年来，航空影像中的这一课题的研究取得了巨大的进展。然而，复杂的背景和较差的成像质量是空中目标检测目标检测的突出问题。大多数最先进的方法倾向于开发复杂的注意力机制，用于具有艰巨的计算复杂性的时空特征校准，而令人惊讶地忽略了通道方式的特征校准的重要性。在这项工作中，我们提出了一个简单而有效的校准指导（CG）计划，以提高信道通信的功能Transformer的方式，它可以自适应地确定校准权重为每个通道的基础上的全球功能的亲和力相关性。具体而言，对于给定的一组特征图，CG首先计算每个通道与其余通道之间的特征相似度，作为中间校准指导。然后，通过聚集经由引导操作加权在一起的所有通道来重新表示每个通道。我们的CG是一个通用模块，可以插入到任何深度神经网络，这被命名为CG-Net。为了证明其有效性和效率，进行了大量的实验，在两个面向目标检测任务和水平目标检测任务的航空图像。在两个具有挑战性的基准测试（DOTA和HRSC 2016）上的实验结果表明，我们的CG-Net可以在公平的计算开销下实现新的最先进的准确性性能。源代码已在https://github.com/WeiZongqi/CG-Net上开放
2022-04-06 cs.CV
Small Object Detection Model with Spatial Laplacian Pyramid Attention and Multi-Scale Features Enhancement in Aerial Images
Key Laboratory of Computational Intelligence and Chinese Information Processing of Ministry of Education, School of Computer and Information Technology, Shanxi University（教育部计算智能与中文信息处理重点实验室，计算机与信息技术学院，山西大学）
本文提出了一种结合空间拉普拉斯金字塔注意力和多尺度特征增强的改进模型，以提升航空图像中小目标的检测性能。
2026-02-26 cs.CV
Toward Open Vocabulary Aerial Object Detection with CLIP-Activated Student-Teacher Learning
OpenGVLab（开放视觉实验室）；Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）；Tongji University（同济大学）
针对航空图像开放词汇检测，提出 CastDet 师生框架，利用 RemoteCLIP 教师和动态标签队列提升新类建议与伪标签质量，在 VisDroneZSD 上显著超越现有方法。
2024-10-28 cs.CV
MRDet: A Multi-Head Network for Accurate Oriented Object Detection in Aerial Images
航空图像中的目标通常具有任意方向，并且密集地位于地面上，这使得它们非常难以检测。许多最近开发的方法试图通过估计额外的方向参数和放置密集的锚来解决这些问题，这将导致高模型复杂性和计算成本。在本文中，我们提出了一个任意面向区域的建议网络（AO-RPN），以产生定向的建议，从水平锚转换。AO-RPN是非常有效的，只有少量的参数增加比原来的RPN。此外，为了获得准确的边界框，我们将检测任务解耦为多个子任务，并提出了一个多头网络来完成它们。每个头部都是专门设计来学习最适合相应任务的特征，这使得我们的网络能够准确地检测物体。为了方便起见，我们将其命名为MRDet，即多头旋转物体探测器的缩写。我们在两个具有挑战性的基准上测试所提出的MRDet，即，DOTA和HRSC 2016，并将其与几种最先进的方法进行比较。我们的方法取得了非常有前途的结果，清楚地证明了其有效性。
2021-09-20 cs.CV
Enhancing Fine-grained Object Detection in Aerial Images via Orthogonal Mapping
School of Electronic Information, Wuhan University（武汉大学电子信息学院）
本文提出正交映射（OM）方法，通过在特征空间引入正交约束解耦分类特征，有效缓解航空图像细粒度目标检测中的语义混淆，仅需一行代码即可显著提升主流检测器的mAP。
2024-07-25 cs.CV
Unlocking Thermal Aerial Imaging: Synthetic Enhancement of UAV Datasets
University of Zagreb Faculty of Electrical Engineering and Computing（泽格雷布大学电子工程与计算学院）
本文提出一种程序化流程，从航空视角生成合成热图像，通过控制新物体的位置、比例和方向并集成到现有热背景中，增强HIT-UAV和MONET数据集，实验表明热检测器优于可见光训练的对应物，验证了向新应用的成功扩展。
2025-07-09 cs.CV
MKIoU Loss: Towards Accurate Oriented Object Detection in Aerial Images
Zhejiang University of Technology（浙江工业大学）
有向限界框回归是有向目标检测的关键。然而，基于回归的方法往往遭受边界问题和损失和评估指标之间的不一致。本文提出了一种近似SkewIoU的调制Kalman IoU损失，称为MKIoU。为了避免边界问题，我们将有向限界框转换为高斯分布，然后使用卡尔曼滤波器来近似相交区域。但是，计算的交叉面积与实际交叉面积之间存在显著差异。因此，我们提出了一个调制因子来调整角度偏差和宽度-高度偏移对损耗变化的敏感性，使损耗与评估指标更加一致。此外，高斯建模方法避免了边界问题，但同时也造成了方形物体的角度混乱。因此，高斯角损失（GA损失）被提出来解决这个问题，通过添加一个修正的损失为方形目标。所提出的GA损失可以很容易地扩展到其他基于高斯的方法。在DOTA、UCAS-AOD和HRSC 2016三个公开的航空影像数据集上的实验表明了该方法的有效性。
2022-06-30 cs.CV
Object sieving and morphological closing to reduce false detections in wide-area aerial imagery
The University of Arizona（亚利桑那大学）
对于大面积航空图像中的目标检测，通常需要进行后处理以减少误检测。我们提出了一个两阶段的后处理方案，其中包括一个面积阈值筛选过程和形态关闭操作。我们使用两个大面积的空中视频比较五个目标检测算法的性能在没有和存在我们的后处理方案。自动检测结果与地面实况对象进行了比较。几个指标用于性能比较。
2020-10-28 cs.CV eess.IV
HGSQ: Heatmap-Guided Sparse Query Detector for Real-Time Aerial Small Object Detection
Southeast University（东南大学）
针对实时航拍小目标检测，提出热力图引导稀疏查询检测器HGSQ，通过轻量级热力图预算预测器引导查询选择、局部形状细化和自适应解码器预算，在NWPU VHR-10和VisDrone2019上取得高精度并实现实时推理。
2026-09-15 cs.CV
Spatial Pyramid Context-Aware Moving Object Detection and Tracking for Full Motion Video and Wide Aerial Motion Imagery
University of Missouri（密苏里大学）
一个鲁棒的、快速的自动运动目标检测与跟踪系统对于视频监控系统、城市交通监控与导航、机器人等不同功能的目标对象的特征描述和时空信息提取是必不可少的。在本论文中，我提出了一个协同空间金字塔上下文感知运动目标检测和跟踪系统。该视觉跟踪器由一个通常依赖于视觉对象特征的主跟踪器和两个基于对象时间运动信息的辅助跟踪器组成，辅助跟踪器将被动态调用以辅助主跟踪器。SPCT利用不同层次的图像空间背景，使视频跟踪系统具有抗遮挡、抗背景噪声的能力，提高了目标定位的准确性和鲁棒性。我们选择了一个预先选择的七通道互补功能，包括RGB颜色，强度和空间金字塔的HoG编码对象的颜色，形状和空间布局信息。为了满足实时性的要求，我们采用了积分直方图作为构造块。提出了一种新的快速算法，利用积分直方图方法的扩展，在恒定时间复杂度下精确地计算空间加权局部直方图。探索了不同的技术来有效地计算GPU架构上的积分直方图，并应用于快速时空中值计算和三维人脸重建纹理。我们提出了一个多组件框架的基础上的语义融合的运动信息与投影建筑足迹地图，显着降低误报率，在城市场景中有许多高大的建筑物。在广泛的VOTC 2016基准数据集和航拍视频上进行的实验证实，在智能融合框架中结合互补跟踪线索可以实现对全动态视频和宽航拍动态图像的持续跟踪。
2017-11-05 cs.CV
Object Detection based on OcSaFPN in Aerial Images with Noise
考虑基于深度学习的算法已成为提高航空图像中目标检测性能的关键途径。虽然已经开发了各种神经网络表示，以前的工作仍然是低效的调查噪声弹性的性能，特别是在航空图像与噪声的相机与长焦镜头，大部分的研究集中在去噪领域。当然，去噪通常需要额外的计算负担来获得更高质量的图像，而抗噪性更多的是描述网络本身对不同噪声的鲁棒性，这是算法本身的属性。因此，本论文的工作将从分析神经网络的抗噪性能开始，并提出两个假设来建立抗噪结构。基于这些假设，我们比较了具有分频处理的Oct-ResNet和常用ResNet的抗噪声能力。此外，以前用于空中目标检测任务的特征金字塔网络不是专门为Oct-ResNet的频分特征图设计的，它们通常缺乏对弥合来自不同深度的不同特征图之间的语义差距的关注。在此基础上，提出了一种新的基于八度卷积的语义注意特征金字塔网络（OcSaFPN），以提高噪声背景下目标检测的准确率。在三个数据集上的测试表明，所提出的算法实现了最先进的检测性能与高斯噪声或乘性噪声。实验证明，该结构可以方便地加入到现有算法中，有效地提高了算法的抗噪能力。
2020-12-18 cs.CV
A Local-Global Approach to Semantic Segmentation in Aerial Images
航空图像通常是在光照条件差的情况下拍摄的，包含低分辨率的物体，很多时候被其他物体遮挡。在这一领域，视觉上下文可能有很大的帮助，但仍然有很少的论文，考虑在航空图像理解的上下文，仍然是一个开放的问题，在计算机视觉。我们提出了一种双流深度神经网络，它沿着两条独立的路径处理信息。我们的模型学习以互补的方式将局部和全局外观结合起来，从而形成一个强大的分类器。我们测试了我们的双流网络在航空图像中的建筑物分割的任务，并获得了最先进的马萨诸塞州建筑物数据集的结果。我们研究了局部外观与较大场景的相对重要性，以及它们在三个新建筑物数据集上的组合性能。我们清楚地证明了视觉背景与深度神经网络结合用于航空图像理解的有效性。
2016-07-19 cs.CV
