Object Detection in Aerial Imagery
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
自然图像中的目标检测多年来取得了显著的成果。然而,类似的进展尚未观察到在空中目标检测由于几个挑战,如高分辨率图像,实例规模变化,类不平衡等,我们表现出两个阶段,一个阶段和注意基于对象检测器的iSAID数据集的性能。此外,我们描述了针对不同模型进行的一些修改和分析- a)在两阶段检测器中:引入了基于加权注意力的FPN,类平衡采样器和密度预测头。b)在一级探测器中:使用加权焦点损失并引入FPN。c)在基于注意力的检测器中:比较单个、多尺度注意力,并展示不同骨干的效果。最后,我们展示了一个比较研究,突出了不同的模型在航空图像设置的优点和缺点。
2022-11-15 cs.CV
Object sieving and morphological closing to reduce false detections in wide-area aerial imagery
The University of Arizona(亚利桑那大学)
对于大面积航空图像中的目标检测,通常需要进行后处理以减少误检测。我们提出了一个两阶段的后处理方案,其中包括一个面积阈值筛选过程和形态关闭操作。我们使用两个大面积的空中视频比较五个目标检测算法的性能在没有和存在我们的后处理方案。自动检测结果与地面实况对象进行了比较。几个指标用于性能比较。
2020-10-28 cs.CV eess.IV
Aerial LaneNet: Lane Marking Semantic Segmentation in Aerial Imagery using Wavelet-Enhanced Cost-sensitive Symmetric Fully Convolutional Neural Networks
German Aerospace Center (DLR)(德国航空航天中心(DLR));Technical University of Munich(慕尼黑工业大学)
了解车道标记的位置和外观是创建高精度地图的先决条件,这对于自动驾驶、基础设施监控、车道交通管理和城市规划是必要的。车道标记是此类地图的重要组成部分之一。车道标记向驾驶员传达道路规则。虽然这些规则是由人类学习的,但自动驾驶汽车应该学会学习它们以定位自己。因此,需要在道路和高速公路的图像中准确且可靠的车道标记语义分割来实现这些目标。我们使用机载图像,它可以通过引入空中车道标记数据集在短时间内捕获大面积。在这项工作中,我们提出了一个对称的全卷积神经网络增强小波变换,以自动进行车道线分割航空影像。由于车道标记像素与背景像素的数量严重不平衡的问题,我们使用自定义的损失函数以及一种新型的数据增强步骤。我们实现了一个非常高的精度,在像素的车道标记定位,而不使用第三方信息。在这项工作中,我们介绍了我们的实验中使用的第一个高质量的数据集,其中包含广泛的情况和类别的车道标记代表当前的交通系统。该数据集将公开提供,因此,它可以用作该领域内未来算法的基准数据集。
2018-11-01 cs.CV
Contextual Pyramid Attention Network for Building Segmentation in Aerial Imagery
Eindhoven University of Technology(埃因霍温理工大学)
从航空图像中提取建筑物在城市规划、变化检测和灾害管理等问题中有着广泛的应用。随着数据可用性的不断提高,近年来,用于遥感图像语义分割的卷积神经网络(CNN)得到了显著的改进。然而,卷积在局部邻域中操作,并且未能捕获在航空图像的语义理解中必不可少的非局部特征。在这项工作中,我们建议通过使用上下文金字塔注意力(CPA)捕获长距离依赖关系来改善不同大小的建筑分割。这些路径有效地处理多个尺度的输入,并以加权的方式将它们组合起来,类似于集成模型。所提出的方法获得国家的最先进的性能的Inria航空图像标注数据集以最小的计算成本。我们的方法比目前最先进的方法提高了1.8个点,比现有的交集超过并集(IoU)度量基准高出12.6个点,而无需任何后处理。代码和模型将公开发布。
2020-04-15 cs.CV
EAGLE: Large-scale Vehicle Detection Dataset in Real-World Scenarios using Aerial Imagery
German Aerospace Center (DLR)(德国航空航天中心(DLR));Technical University of Munich(慕尼黑工业大学)
基于方位估计的多类别机载图像车辆检测是近距离和远距离视觉领域的一项重要任务,在交通监控和灾害管理中有着广泛的应用。在过去的十年中,我们已经目睹了地面图像中的目标检测的重大进展,但它仍然处于起步阶段,在机载图像,主要是由于缺乏多样性和大规模的数据集。尽管是一个有用的工具,为不同的应用程序,目前的机载数据集只部分反映了现实世界的情况下的挑战。为了解决这个问题,我们介绍了EAGLE(oriEnted车辆检测使用航空imaGery在现实世界scEnarios),一个大规模的数据集,多类车辆检测与对象的方向信息在航空图像。它具有高分辨率的航空图像组成的不同的现实世界的情况下,各种各样的相机传感器,分辨率,飞行高度,天气,照明,阴霾,阴影,时间,城市,国家,闭塞,和相机的角度。注释是由机载图像专家与小型和大型车辆类。EAGLE包含215,986个实例,这些实例使用由四个点和方向定义的定向边界框进行注释,使其成为迄今为止该任务中最大的数据集。它还支持雾和阴影去除以及超分辨率和绘画应用的研究。我们定义了三个任务:检测(1)水平边界框,(2)旋转边界框,(3)定向边界框。我们进行了几个实验,以评估我们的数据集上的目标检测中的几种最先进的方法,以形成基线。实验表明,EAGLE数据集准确地反映了现实世界的情况和相应的具有挑战性的应用。
2020-11-23 cs.CV
Application of a semantic segmentation convolutional neural network for accurate automatic detection and mapping of solar photovoltaic arrays in aerial imagery
Duke University(杜克大学)
我们考虑的问题,自动检测小规模的太阳能光伏阵列背后的米能源资源评估在高分辨率航空影像。这种算法提供了一种更快、更经济的解决方案来收集分布式太阳能光伏(PV)阵列的信息,例如它们的位置、容量和产生的能量。光伏阵列的表面积是一个可以从航空图像中估计的特征,它为阵列容量和能量产生提供了一个重要的代理。在这项工作中,我们采用了最先进的卷积神经网络架构,称为SegNet(Badrinarayanan et.例如,2015年),语义分割(或映射)光伏阵列在航空图像。这是建立在以前的工作重点是确定光伏阵列的位置,而不是他们的具体形状和大小。我们测量我们的SegNet实现的能力,以估计光伏阵列的表面积上的一个大的,公开的,数据集,已在以前的几项研究。结果表明,与最近提出的卷积神经网络PV检测算法相比,SegNet模型在估计形状和大小方面产生了实质性的性能改进。
2018-01-11 cs.CV
Reliable Detection of Minute Targets in High-Resolution Aerial Imagery across Temporal Shifts
Shahid Rajaee University(沙希德·拉贾伊大学)
本文通过迁移学习初始化的Faster R-CNN架构,解决高分辨率航拍图像中跨时间偏移的微小目标检测问题,验证了模型在不同时间间隔和环境变化下的鲁棒性与性能一致性。
2025-12-12 cs.CV
Deep Learning-Based Object Detection in Maritime Unmanned Aerial Vehicle Imagery: Review and Experimental Comparisons
Wuhan University of Technology(武汉理工大学);Chongqing Research Institute, Wuhan University of Technology(武汉理工大学重庆研究院);Nanyang Technological University(南洋理工大学)
本文综述水上无人机目标检测的挑战、方法与数据集,提出MS2ship数据集,并通过实验评估方法性能,展望未来方向。
2023-11-15 cs.AI cs.CV
Robust Real-time Pedestrian Detection in Aerial Imagery on Jetson TX2
在无人机捕获的航拍图像中检测行人具有许多应用,包括交叉路口监控、巡逻和监视等。然而,这个问题涉及到由于continuouslychanging相机的观点和对象的外观,以及需要轻量级的算法上运行的板上嵌入式系统。为了解决这个问题,本文提出了一个基于YOLO目标检测网络[6]的视频行人检测框架,同时在Jetson TX 2嵌入式板上具有超过5 FPS的高吞吐量。该框架利用深度学习实现强大的操作,并使用预先训练的模型,而无需任何额外的训练,这使得它可以灵活地应用于不同的设置,只需最少的调整。当应用于嵌入式实时的【形】推理(ERTI)挑战赛的样本视频时,该方法实现了~81 mAP,其中行人由无人机监视。
2019-05-16 cs.CV
LandCover.ai: Dataset for Automatic Mapping of Buildings, Woodlands, Water and Roads from Aerial Imagery
Linux Polska(波兰Linux公司);University of Warsaw(华沙大学);Agency for Restructuring and Modernisation of Agriculture(农业结构调整与现代化署)
对土地覆盖和土地使用的监测在自然资源管理中至关重要。自动视觉制图在农业、林业或公共管理方面具有巨大的经济价值。卫星或航空图像与计算机视觉和深度学习相结合,可以实现精确的评估,并可以显着加快变化检测。航空图像通常提供比卫星数据高得多的像素分辨率的图像,从而可以进行更详细的测绘。然而,仍然缺乏用于分割的航空数据集,覆盖农村地区,分辨率为每像素数十厘米,手动精细标签,以及高度公共重要的环境实例,如建筑物,森林,水或道路。在这里,我们介绍了LandCover.ai(航空影像土地覆盖)数据集的语义分割。我们收集了216.27平方英尺的图像。波兰是一个中欧国家,农村面积39.51平方公里。公里的分辨率为50厘米每像素和176.76平方米。km,分辨率为每像素25 cm,手动精细注释以下四类对象:建筑物、林地、水和道路。此外,我们报告了简单的基准测试结果,在测试集上实现了85.56%的平均交集。它证明了土地覆盖的自动制图是可能的,相对较小的,具有成本效益的,仅RGB数据集。该数据集可在https://landcover.ai.linuxpolska.com/上公开获取
2022-04-21 cs.CV
Deep object detection for waterbird monitoring using aerial imagery
Rice University(莱斯大学);Houston Audubon Society(休斯顿奥杜邦协会);American Bird Conservancy(美国鸟类保护协会)
监测水鸟筑巢岛屿对跟踪水鸟种群趋势至关重要,这些趋势可用于评估生态系统健康状况并为保护管理决策提供信息。最近,无人驾驶飞行器或无人机已成为精确监测水鸟群体的可行技术。然而,从数百或可能数千张航空图像中手动计数水鸟既困难又耗时。在这项工作中,我们提出了一个深度学习管道,可用于使用商业无人机收集的航空图像精确检测,计数和监测水鸟。通过利用基于卷积神经网络的对象检测器,我们表明,我们可以检测到16类水鸟物种,通常发现在殖民地筑巢岛屿沿得克萨斯州海岸。我们使用Faster R-CNN和RetinaNet对象检测器的实验分别给出了67.9%和63.1%的平均插值平均精度分数。
2022-10-13 cs.CV
Position Prediction Self-Supervised Learning for Multimodal Satellite Imagery Semantic Segmentation
Carnegie Mellon University Africa(卡内基梅隆大学非洲分校)
针对卫星图像语义分割中标注数据受限且现有自监督方法侧重重建忽视定位的问题,提出适配多模态数据的LOCA位置预测自监督学习方法,通过扩展通道分组与同组注意力掩码促进跨模态交互,在Sen1Floods11数据集上显著优于基于重建的方法。
2025-07-16 cs.AI cs.CV
Cross-View Open-Vocabulary Object Detection in Aerial Imagery
Center for Research in Computer Vision, University of Central Florida(计算机视觉研究中心,中央佛罗里达大学)
针对航空图像开放词汇目标检测的跨域迁移难题,提出结合图像间对比对齐与多实例词汇关联的结构化域对齐框架,在多个航空数据集零样本任务中显著优于封闭词汇微调模型。
2025-10-04 cs.CV
Zero-shot Shark Tracking and Biometrics from Aerial Imagery
Stanford University(斯坦福大学);Flinders University(弗林德斯大学);Centro de Investigación en Ciencias del Mar y Limnología, Universidad de Costa Rica(哥斯达黎加大学海洋与湖沼科学研究中心)
本文提出零样本框架 FLAIR,融合 SAM2 与 CLIP 实现无人机视频中鲨鱼的分割、追踪及体长和尾摆频率提取,无需标注或训练,Dice 分数达 0.81。
2025-01-10 cs.AI cs.CV q-bio.QM
LR-CNN: Local-aware Region CNN for Vehicle Detection in Aerial Imagery
Leibniz Universität Hannover(汉诺威莱布尼茨大学);Technische Universität Darmstadt(达姆施塔特工业大学);Chinese Academy of Sciences(中国科学院);University of Twente(特温特大学)
最先进的目标检测方法,如快速/更快的R-CNN,SSD或YOLO,在大型航空图像中难以检测具有任意方向的密集小目标。主要原因是使用插值来对齐RoI特征可能导致缺乏准确性甚至丢失位置信息。我们提出了局部感知区域卷积神经网络(LR-CNN),一种新的两阶段的方法在航空图像中的车辆检测。我们增强平移不变性来检测密集车辆,并通过聚合高精度ROI的特征来解决密集车辆之间的边界量化问题。此外,我们对高级语义池特征进行重采样,使它们从较浅卷积块的特征中重新获得位置信息。这增强了重采样特征的局部特征不变性,并能够检测任意方向的车辆。局部特征不变性增强了焦点损失函数的学习能力,并且焦点损失进一步有助于聚焦于难样本。总之,我们的方法更好地解决了航空成像的挑战。我们在几个具有挑战性的数据集(VEDAI,DOTA)上评估了我们的方法,证明了对最先进方法的显着改进。我们在DLR 3 K数据集上证明了我们的方法具有良好的泛化能力。
2020-05-28 cs.CV
Vehicle Position Estimation with Aerial Imagery from Unmanned Aerial Vehicles
Technische Hochschule Ingolstadt(英戈尔施塔特工业大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
真实世界数据的可用性是汽车和交通研究领域新发展的关键因素。航空成像的主要优点是可以同时记录多个物体,并克服了遮挡等限制。然而,现有的数据集很少。这项工作描述了一个过程来估计一个精确的车辆位置从航空图像。鲁棒的目标检测对于可靠的结果至关重要,因此最先进的深度神经网络Mask-RCNN被应用于该目的。两个训练数据集:第一个是优化检测测试车辆,而第二个由随机选择的图像记录在公共道路上。为了减少误差,考虑了几个方面,例如无人机运动和照片的透视投影。将估计的位置与安装在测试车辆中的参考系统进行比较。结果表明,平均精度为20厘米,可以实现飞行高度高达100米,全高清分辨率和逐帧检测。可靠的位置估计是进一步数据处理的基础,例如获得额外的车辆状态变量。源代码、训练权重、标记数据和示例视频都是公开的。这支持研究人员创建具有特定本地条件的新交通数据集。
2020-05-13 cs.CV
Algorithms for Semantic Segmentation of Multispectral Remote Sensing Imagery using Deep Learning
Chester F. Carlson Center for Imaging Science Rochester Institute of Technology(切斯特·F·卡尔森成像科学中心 罗切斯特理工学院)
深度卷积神经网络(DCNN)已被用于在许多计算机视觉任务(例如,对象识别、目标检测、语义分割)。用于其他传感器模态的大型标记数据集,例如,多光谱图像(MSI)由于所需的大量成本和人力而不可用。在本文中,我们采用了计算机视觉中最先进的DCNN框架,用于MSI图像的语义分割。为了克服MSI数据的标签稀缺性,我们用真实MSI代替生成的合成MSI,以初始化DCNN框架。我们评估我们的网络初始化方案在新的RIT-18数据集,我们在本文中提出。该数据集包含由无人驾驶飞机系统收集的极高分辨率MSI。使用合成图像初始化的模型不太容易过度拟合,并为未来的工作提供了最先进的基线。
2018-05-01 cs.AI cs.CV
PACGNet: Pyramidal Adaptive Cross-Gating Network for Multimodal Object Detection in Aerial Imagery
Handan Vocational College of Science and Technology(邯郸科技职业学院);China University of Mining and Technology(中国矿业大学)
PACGNet通过自适应跨门控机制提升多模态检测性能,实现细粒度目标检测与特征层次重建。
2026-09-29 cs.CV
Analyzing Decades-Long Environmental Changes in Namibia Using Archival Aerial Photography and Deep Learning
Microsoft(微软公司)
本研究提出了一种基于深度语义分割模型的工作流程,通过类别加权、伪标签和p值过滤等策略分析纳米比亚历史航空图像,成功识别水坑、宅院和大树等关键目标并揭示其长期环境变化。
2024-04-21 cs.AI cs.CV
Contextual Hourglass Network for Semantic Segmentation of High Resolution Aerial Imagery
University of Michigan(密歇根大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
针对航空图像语义分割中目标尺寸多变和类别不平衡的挑战,提出Contextual Hourglass Network,通过结合注意力机制的上下文沙漏模块和堆叠编码器-解码器结构提取多尺度特征,在Potsdam和Vaihingen数据集上取得最佳总体性能。
2024-06-05 cs.AI cs.CV cs.LG
End-to-End Trainable Deep Active Contour Models for Automated Image Segmentation: Delineating Buildings in Aerial Imagery
University of California, Los Angeles(加州大学洛杉矶分校)
遥感图像中建筑物的自动分割是一项具有挑战性的任务,需要在通常较大的图像区域上准确描绘多个建筑物实例。手动方法通常很费力,目前基于深度学习的方法无法描述所有建筑实例,并且无法以足够的准确性做到这一点。作为一种解决方案,我们提出了可训练的深度活动轮廓(TDACs),这是一种自动图像分割框架,它将卷积神经网络(CNN)和活动轮廓模型(ACM)紧密结合在一起。ACM分量的欧拉能量泛函包括由骨干CNN预测的每像素参数图,其也对ACM进行建模。重要的是,ACM和CNN组件都在TensorFlow中完全实现,整个TDAC架构是端到端自动可区分和反向传播可训练的,无需用户干预。TDAC产生快速,准确,全自动同时描绘任意多个建筑物的图像。我们在两个公开的航空图像数据集上验证了该模型用于建筑物分割,我们的结果表明,TDAC建立了一个新的最先进的性能。
2020-07-22 cs.CV
UAV-DETR: Efficient End-to-End Object Detection for Unmanned Aerial Vehicle Imagery
Academy for Engineering and Technology, Fudan University(工程与技术学院,复旦大学)
本文提出UAV-DETR,通过多尺度频率增强特征融合、频率聚焦下采样和语义对齐校准模块,提升无人机影像端到端目标检测精度与泛化能力。
2025-07-01 cs.CV
FloodNet: A High Resolution Aerial Imagery Dataset for Post Flood Scene Understanding
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校);Texas A&M University(得克萨斯农工大学)
在任何计算机视觉系统中,视觉场景理解都是做出任何重要决策的核心任务。虽然流行的计算机视觉数据集,如Cityscapes,MS-COCO,PASCAL提供了很好的基准的几个任务(例如图像分类,分割,目标检测),这些数据集几乎不适合灾后损失评估。另一方面,现有的自然灾害数据集主要包括空间分辨率低、重访周期长的卫星图像。因此,它们没有能力提供快速和有效的损害评估任务。无人机(UAV)可以在任何灾难期间毫不费力地进入困难的地方,并收集上述计算机视觉任务所需的高分辨率图像。为了解决这些问题,我们提出了一个高分辨率的无人机图像,洪水网,飓风哈维后捕获。该数据集显示了受影响地区的洪水后损害。图像被标记为逐像素的语义分割任务和问题产生的视觉问答的任务。FloodNet带来了一些挑战,包括检测被淹没的道路和建筑物,以及区分自然水和洪水。随着深度学习算法的进步,我们可以分析任何灾害的影响,从而可以对受灾地区进行精确的了解。在本文中,我们比较和对比基线方法的性能,图像分类,语义分割,视觉问答在我们的数据集。
2020-12-05 cs.CV
Lightweight Object Detection Using Quantized YOLOv4-Tiny for Emergency Response in Aerial Imagery
Department of Electrical
针对航空应急影像公开数据集缺失及边缘部署的轻量化需求,本文构建了含10820张标注图像的专用数据集,通过训练后INT8量化优化YOLOv4-Tiny,在保持检测性能的同时大幅压缩模型体积、提升推理速度,适配低功耗边缘设备的实时应急检测。
2025-06-10 cs.CV cs.LG
Adversarial Loss for Semantic Segmentation of Aerial Imagery
Eindhoven University of Technology(埃因霍温理工大学)
从航空图像中自动提取建筑物在城市规划、灾害管理和变化检测中有多种应用。近年来,一些作品采用深度卷积神经网络(CNN)进行建筑物提取,因为它们产生了丰富的特征,这些特征对照明条件,阴影等是不变的。大多数深度学习分割方法在不了解上下文的情况下,相对于地面真实值优化了每像素损失。这通常会导致不完美的输出,从而可能导致缺失或未细化的区域。在这项工作中,我们提出了一种新的损失函数,结合了对抗性和交叉熵损失,学习理解语义分割的局部和全局上下文。部署在DeepLab v3+网络上的新提出的损失函数在马萨诸塞州建筑数据集上获得了最先进的结果。损失函数改进了结构并细化了建筑物的边缘,而不需要任何常用的后处理方法,如条件随机场。我们还进行消融研究,以了解对抗性损失的影响。最后,该方法在马萨诸塞州建筑数据集上获得了95.59%的宽松F1分数,而之前的最佳F1分数为94.88%。
2020-01-18 cs.CV eess.IV
AIFloodSense: A Global Aerial Imagery Dataset for Semantic Segmentation and Understanding of Flooded Environments
Department of Management Science and Technology(管理科学与技术系);Hellenic Mediterranean University(希伯伦地中海大学);Institute of Computer Science, FORTH(信息科学研究所,FORTH)
本文提出AIFloodSense数据集,包含470张高分辨率图像,覆盖64个国家和六个大洲,支持图像分类、语义分割和视觉问答三个任务,旨在提升洪水环境的灾害评估能力。
2025-12-19 cs.CV
Advancements in Road Lane Mapping: Comparative Fine-Tuning Analysis of Deep Learning-based Semantic Segmentation Methods Using Aerial Imagery
本研究比较了十二种深度学习语义分割模型在部分标注数据集下的迁移学习性能,发现基于Transformer的模型优于卷积神经网络,微调后显著提升了从航空影像提取道路车道线的性能,对自动驾驶HD地图开发具有重要意义。
2024-10-15 cs.CV
Do Open-Vocabulary Detectors Transfer to Aerial Imagery? A Comparative Evaluation
School of Electrical and Computer Engineering, National Technical University of Athens(电气与计算机工程学院,国家技术大学雅典)
本文评估了开放词汇检测器在航拍图像上的迁移能力,发现语义混淆是主要瓶颈,且不同数据集表现差异显著。
2026-01-13 cs.CV cs.LG cs.RO
Joint Instance Segmentation and Geometric Attribute Regression for Roof Structures in Aerial Imagery
University of Amsterdam (UvA)(阿姆斯特丹大学)
提出一种从单张航空正射影像中联合预测屋顶实例分割掩码和三个连续几何属性(建筑高度、屋顶坡度、屋顶方位角)的方法,通过条件方位角损失和对数归一化高度表示解决数据噪声和分布偏斜问题,在荷兰大规模数据集上实现了高精度,并可从单张图像重建简化3D建筑模型。
2026-05-25 cs.CV
Instance segmentation of fallen trees in aerial color infrared imagery using active multi-contour evolution with fully convolutional network-based intensity priors
The Hong Kong Polytechnic University(香港理工大学);Bavarian Forest National Park(巴伐利亚森林国家公园)
在本文中,我们介绍了一个框架分割实例的一个共同的对象类的多个活动轮廓进化的语义分割地图的图像,通过完全卷积网络。轮廓演变被铸造作为一个能量最小化的问题,其中的总能量功能结合了一个数据拟合项,一个明确的形状模型,并占对象重叠。提出了有效的解决方案邻域算子,使优化通过元算法,如模拟退火。我们实例化的背景下分割个人下降的干高分辨率航空多光谱图像的建议框架。我们在3个不同复杂度的真实场景上验证了我们的方法。试验地块位于德国巴伐利亚森林国家公园的地区,那里遭受了严重的树皮甲虫侵扰。在多边形和线段两个层次上进行了评价,表明多轮廓分割可以达到0.93的精度和0.82的召回率。与迭代样本共识线段检测相比,召回率提高了7个百分点(PP),精确度提高了6个百分点。尽管简单的应用形状参数化,明确的形状模型纳入能量函数提高了结果高达4 PP的召回。最后,我们展示了使用基于深度学习的语义分割方法作为个体词干检测基础的重要性。我们的方法是一个步骤,增加自动倒树映射的可访问性,由于更高的成本效益相比,激光扫描的航空图像采集。精确的倒木图可进一步用作植物和动物生境模拟、森林生态系统固碳和土壤质量研究的基础。
2021-05-05 cs.CV
FPCD: An Open Aerial VHR Dataset for Farm Pond Change Detection
Indian Institute of Technology Bombay(印度理工学院孟买分校)
航空图像的变化检测涉及定位和识别与地理位置的共同配准的双时间或多时间图像之间的感兴趣区域相关联的变化。农场池塘是属于小型灌溉建筑物类别的人工建筑物,用于收集地表径流供未来灌溉之用。从航空图像中检测农场池塘及其随时间的演变有助于土地测量,以分析农业变化,政策实施,季节性影响和气候变化。在本文中,我们介绍了一个公开的目标检测和实例分割(OD/IS)数据集定位农场池塘从航空影像。我们还收集并注释了17个村庄14年时间跨度内的双时态数据,生成了一个二元变化检测数据集,称为\textbf{F} arm \textbf{P} ond \textbf{C} hange \textbf{D} etection Dataset(\textbf{FPCD})。我们已经对OD/IS数据集上的各种目标检测和实例分割方法以及FPCD数据集上的变化检测方法的性能进行了基准测试和分析。数据集可在此页面公开访问:\textit{\url{https://huggingface.co/datasets/ctundia/FPCD}}
2023-02-28 cs.CV
Innovative Horizons in Aerial Imagery: LSKNet Meets DiffusionDet for Advanced Object Detection
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学(MBZUAI))
本研究提出将LSKNet主干与DiffusionDet头结合用于航空图像目标检测,通过消融研究优化损失函数等组件,在iSAID数据集上实现45.7%的MAP,比RCNN高出4.7%,显著提升了精度-时间权衡。
2023-11-21 cs.AI cs.CV cs.LG
Open-Vocabulary Object Detection in UAV Imagery: A Review and Future Perspectives
Northwestern Polytechnical University(北华理工大学)
本文系统综述了无人机航空影像中的开放词汇目标检测(OVOD),通过构建分类体系、梳理数据集并剖析关键挑战,为未来研究提供路线图。
2025-07-04 cs.CV
Spatial Pyramid Context-Aware Moving Object Detection and Tracking for Full Motion Video and Wide Aerial Motion Imagery
University of Missouri(密苏里大学)
一个鲁棒的、快速的自动运动目标检测与跟踪系统对于视频监控系统、城市交通监控与导航、机器人等不同功能的目标对象的特征描述和时空信息提取是必不可少的。在本论文中,我提出了一个协同空间金字塔上下文感知运动目标检测和跟踪系统。该视觉跟踪器由一个通常依赖于视觉对象特征的主跟踪器和两个基于对象时间运动信息的辅助跟踪器组成,辅助跟踪器将被动态调用以辅助主跟踪器。SPCT利用不同层次的图像空间背景,使视频跟踪系统具有抗遮挡、抗背景噪声的能力,提高了目标定位的准确性和鲁棒性。我们选择了一个预先选择的七通道互补功能,包括RGB颜色,强度和空间金字塔的HoG编码对象的颜色,形状和空间布局信息。为了满足实时性的要求,我们采用了积分直方图作为构造块。提出了一种新的快速算法,利用积分直方图方法的扩展,在恒定时间复杂度下精确地计算空间加权局部直方图。探索了不同的技术来有效地计算GPU架构上的积分直方图,并应用于快速时空中值计算和三维人脸重建纹理。我们提出了一个多组件框架的基础上的语义融合的运动信息与投影建筑足迹地图,显着降低误报率,在城市场景中有许多高大的建筑物。在广泛的VOTC 2016基准数据集和航拍视频上进行的实验证实,在智能融合框架中结合互补跟踪线索可以实现对全动态视频和宽航拍动态图像的持续跟踪。
2017-11-05 cs.CV
Cross-Modal Urban Sensing: Evaluating Sound-Vision Alignment Across Street-Level and Aerial Imagery
Department of Geography, University of South Carolina(南卡罗来纳大学地理系);Department of Environmental Sciences, Emory University(埃默里大学环境科学系);University of Canterbury(坎特伯雷大学);School of Resource and Environmental Sciences, Wuhan University(武汉大学资源与环境科学学院)
研究通过比较不同视觉表示策略,探讨城市声音与视觉场景的对齐程度,发现街道影像嵌入比分割结果更符合环境声音,而遥感分割在生态分类解释中更有效。
2026-03-27 cs.CV
AerialFormer: Multi-resolution Transformer for Aerial Image Segmentation
University of Arkansas(阿肯色大学)
针对航空图像分割存在的分布失衡、目标微小等难题,提出融合Transformer编码器与轻量MD-CNNs解码器的层级模型AerialFormer,兼顾局部全局上下文,在三个基准数据集上性能超越现有最优方法。
2023-10-01 cs.CV
Sensor Adaptation for Improved Semantic Segmentation of Overhead Imagery
The Johns Hopkins University - Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室)
语义分割是促进视觉场景理解的有力方法。每个像素根据对象类和语义实体的预定义列表被分配一个标签。这是一种非常有用的方法来总结大规模的架空图像。在本文中,我们提出了我们的工作语义分割与应用程序的开销图像。我们提出了一种基于DeepLab框架构建和扩展的算法,能够细化和解析车辆等小对象(相对于图像大小)。我们还研究了传感器自适应作为一种手段,以增加可用的训练数据,以便能够减少神经网络部署在新的环境和新的传感器时的一些缺点。我们报告了几个数据集的结果,并与其他最先进的架构进行了性能比较。
2018-11-20 cs.CV
Cross-Scale Pretraining: Enhancing Self-Supervised Learning for Low-Resolution Satellite Imagery for Semantic Segmentation
Carnegie Mellon University Africa(卡内基梅隆大学非洲分校)
本文提出跨尺度预训练方法,利用高分辨率数据提升低分辨率图像的表示学习和分割性能,通过设计空间亲和组件改进自监督学习框架。
2026-05-02 cs.CV
Comprehensive Semantic Segmentation on High Resolution UAV Imagery for Natural Disaster Damage Assessment
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校);Texas A&M University(德克萨斯A&M大学)
在本文中,我们提出了一个大规模的飓风迈克尔数据集,用于灾难场景中的视觉感知,并分析了最先进的深度神经网络模型,用于语义分割。该数据集由大约2000幅高分辨率航空图像组成,并带有用于语义分割的注释地面实况数据。我们讨论了数据集的挑战和训练国家的最先进的方法在这个数据集上,以评估如何以及这些方法可以识别的灾害情况。最后,我们讨论了未来研究的挑战。
2020-09-06 cs.CV
Zero-Shot Tree Detection and Segmentation from Aerial Forest Imagery
UC Berkeley(加州大学伯克利分校);UC Davis(加州大学戴维斯分校)
本文探索将SAM2以零样本方式用于航空森林影像中的单棵树木检测与分割,并验证其与现有专用检测模型提示相结合时的迁移效果,表明大型预训练模型在遥感领域具有良好前景。
2025-06-03 cs.CV
Unsupervised domain adaptation semantic segmentation of high-resolution remote sensing imagery with invariant domain-level prototype memory
Central South University(中南大学)
语义分割是高分辨率遥感图像自动解译的关键技术之一,受到遥感界的广泛关注。深度卷积神经网络(DCNN)由于其分层表示能力,已成功应用于HRS图像语义分割任务。然而,DCNN对大量标注密集的训练数据的依赖性以及对数据分布变化的敏感性严重限制了其在HRS图像语义分割中的应用。本研究提出一种新的无监督领域自适应语义分割网络(MemoryAdaptNet)的HRS图像的语义分割。MemoryAdaptNet构建了一个输出空间对抗学习方案,以弥合源域和目标域之间的域分布差异,并缩小域偏移的影响。具体来说,我们嵌入了一个不变特征记忆模块来存储不变的域级上下文信息,因为从对抗学习中获得的特征只倾向于表示当前有限输入的变化特征。该模块通过类别注意力驱动的不变域级上下文聚合模块集成到当前伪不变特征中,以进一步增强像素表示。采用基于熵的伪标签过滤策略,利用当前目标图像的高置信度伪不变特征更新存储模块。在三个跨领域任务下的大量实验表明,我们提出的MemoryAdaptNet是显着优于国家的最先进的方法。
2023-02-14 cs.CV
STARS: Zero-shot Sim-to-Real Transfer for Segmentation of Shipwrecks in Sonar Imagery
University of Michigan(密歇根大学)
针对零样本仿真到真实的沉船声呐图像分割问题,提出STARS网络融合形变场与异常体实现泛化,全仿真训练无需真实数据微调,在真实数据集上较最优基线提升20%分割性能。
2023-10-02 cs.CV
Deep Level Set for Box-supervised Instance Segmentation in Aerial Images
Zhejiang University(浙江大学);Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院)
框监督实例分割是近年来研究的热点,而在航空图像领域的研究还很少。与一般的目标集合相比,空中目标具有较大的类内方差和类间相似性,且背景复杂。此外,在高分辨率的卫星图像中有许多微小的物体。这使得目前的成对仿射建模方法不可避免地涉及噪声监督,结果较差。为了解决这些问题,我们提出了一种新的空中实例分割方法,该方法驱动网络以端到端的方式学习一系列仅具有框注释的空中对象的水平集函数。水平集方法通过精心设计的能量函数,将目标分割视为曲线演化,而不是学习两两相似度,从而能够准确地恢复目标边界,并防止难以区分的背景和相似目标的干扰。实验结果表明,该方法优于最先进的框监督实例分割方法。源代码可在https://github.com/LiWentomng/boxlevelset上获得。
2021-12-07 cs.CV
Multi-Class Segmentation from Aerial Views using Recursive Noise Diffusion
Imperial College London(帝国理工学院)
针对航拍图像中视角多样、尺度变化大和场景复杂等挑战,本文提出一种端到端多类语义分割扩散模型,通过递归去噪和分层多尺度方法,在UAVid数据集和Vaihingen基准上取得优异性能。
2024-05-22 cs.CV
Depth-Assisted ResiDualGAN for Cross-Domain Aerial Images Semantic Segmentation
Institute of Remote Sensing and Geographic Information System, Peking University(北京大学遥感与地理信息系统研究所)
无监督领域自适应(UDA)是一种最小化领域间隙的方法。生成方法是最小化空间图像的域间隙的常用方法,其提高下游任务的性能,例如,跨领域语义分割。对于航空影像,数字表面模型(DSM)通常在源域和目标域都可用。DSM中的深度信息为生成模型带来了外部信息。本文提出了一种深度辅助的ResidDualGAN(DRDG)算法,该算法利用深度监督损失(DSL)和深度周期一致性损失(DCCL)将深度信息引入到生成模型中。实验结果表明,DRDG在跨领域语义分割任务中达到了生成方法之间最先进的准确性。
2022-08-27 cs.CV
Few-Shot Rotation-Invariant Aerial Image Semantic Segmentation
Shanghai Jiao Tong University(上海交通大学);Eastern Institute for Advanced Study(东方高等研究院)
针对少样本航空图像分割中目标方向变化导致匹配失效的问题,提出FRINet网络,通过旋转自适应匹配和同标签监督,在基准上取得最先进性能。
2023-05-29 cs.CV eess.IV
Efficient Oriented Object Detection with Enhanced Small Object Recognition in Aerial Images
School of Artificial Intelligence Beijing Normal University Beijing, China
针对航空图像中旋转目标检测的效率和精度平衡问题,提出基于YOLOv8的轻量级模型,通过小波C2f、ASFP和GhostDynamicConv模块,以21.6M参数在DOTAv1.0上达到与DecoupleNet相当的精度。
2024-12-17 cs.CV
Low-Shot Learning for the Semantic Segmentation of Remote Sensing Imagery
Rochester Institute of Technology(罗切斯特理工学院)
使用RGB图像的深度学习的计算机视觉的最新进展(例如,对象识别和检测)已经成为可能,这要归功于大型注释RGB图像数据集的发展。相比之下,多光谱图像(MSI)和高光谱图像(HSI)数据集包含的标记图像要少得多,部分原因是所使用的传感器种类繁多。这些注释特别限于遥感图像的语义分割或逐像素分类,因为生成图像注释是劳动密集型的。尽管标注数据量较小,低次学习算法也可以进行有效的推断。在本文中,我们研究了低拍摄学习使用自学特征学习语义分割。我们介绍了1)一个改进的自学特征学习框架的HSI和MSI数据和2)半监督分类算法。当这些结合起来,他们实现国家的最先进的性能遥感数据集,几乎没有注释训练数据可用。这些低拍摄学习框架将减少手动图像注释的负担,提高遥感图像的语义分割性能。
2018-03-26 cs.CV cs.LG
A review of technical factors to consider when designing neural networks for semantic segmentation of Earth Observation imagery
Clark University(克拉克大学);Graduate School of Geography(地理研究生院);Clark Labs(克拉克实验室)
本文系统综述了面向地球观测影像语义分割的神经网络设计技术因素,涵盖CNN、RNN、GAN和transformer等模型设计模式及数据预处理、不平衡处理和有限数据应对策略,为相关研究和实践提供全面参考。
2023-09-19 cs.CV
AI for Agriculture: the Comparison of Semantic Segmentation Methods for Crop Mapping with Sentinel-2 Imagery
DeepPlanet(迪普兰特);Queen Mary University(伦敦玛丽女王大学)
本文针对低分辨率免费卫星影像下葡萄园纹理信息缺失导致的分割难题,评估了多种主流机器学习与语义分割方法的有效性,并为不同场景下的模型选择提供了指导。
2023-11-21 cs.CV eess.IV
A Local-Global Approach to Semantic Segmentation in Aerial Images
航空图像通常是在光照条件差的情况下拍摄的,包含低分辨率的物体,很多时候被其他物体遮挡。在这一领域,视觉上下文可能有很大的帮助,但仍然有很少的论文,考虑在航空图像理解的上下文,仍然是一个开放的问题,在计算机视觉。我们提出了一种双流深度神经网络,它沿着两条独立的路径处理信息。我们的模型学习以互补的方式将局部和全局外观结合起来,从而形成一个强大的分类器。我们测试了我们的双流网络在航空图像中的建筑物分割的任务,并获得了最先进的马萨诸塞州建筑物数据集的结果。我们研究了局部外观与较大场景的相对重要性,以及它们在三个新建筑物数据集上的组合性能。我们清楚地证明了视觉背景与深度神经网络结合用于航空图像理解的有效性。
2016-07-19 cs.CV
Self-guided Few-shot Semantic Segmentation for Remote Sensing Imagery Based on Large Vision Models
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院);School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences(中国科学院大学电子电气与通信工程学院)
本研究针对遥感图像少样本语义分割任务,提出一种基于SAM的结构化框架,通过新颖的自动提示学习方法生成像素级提示,实现高效自动化分割,并在DLRSD数据集上超越现有方法。
2023-11-22 cs.CV
SOPSeg: Prompt-based Small Object Instance Segmentation in Remote Sensing Imagery
针对遥感影像小目标实例分割研究不足、SAM性能下降及缺乏专用数据集的问题,提出基于提示的SOPSeg框架,通过区域自适应放大、定制解码器与旋转框提示机制提升分割精度,还构建了相关数据集。
2025-09-03 cs.CV
Transferring learned patterns from ground-based field imagery to predict UAV-based imagery for crop and weed semantic segmentation in precision crop farming
University of Lincoln(林肯大学);Flanders Make(法兰德斯制造研究院);Ghent University(根特大学);Flanders Research Institute for Agriculture, Fisheries and Food (ILVO)(法兰德斯农业、渔业与食品研究所);Swedish University of Agricultural Sciences(瑞典农业科学大学)
杂草和作物分割正成为利用当前计算机视觉和深度学习技术的精准农业日益不可或缺的一部分。已经基于用来自各种平台的相机捕获的图像进行了广泛的研究。无人机(UAV)和包括农业机器人在内的地面车辆是田间数据汇集的两种流行平台。它们都有助于特定地点的杂草管理(SSWM),以保持作物产量。目前,来自这两个平台的数据是分开处理的,尽管共享相同的语义对象(weed和crop)。在我们的论文中,我们开发了一个深度卷积网络,可以预测来自无人机的田间和空中图像,用于杂草分割和映射,仅在训练阶段提供田间图像。网络学习过程通过浅层和深层的特征图可视化。结果表明,该模型对农田数据集农作物(玉米)、杂草和土壤背景分割的平均交集(IOU)值分别为0.744,0.577,0.979,与采用相同模型的无人机航拍图像的分割性能相比,农作物(玉米)、杂草和土壤背景的IOU值分别为0.744,0.577,0.979,杂草和土壤背景值分别为0.596、0.407和0.875。为了估计对使用植物保护剂的影响,我们根据预测的杂草地图量化除草剂喷洒节省率和网格大小(喷洒分辨率)之间的关系。当喷雾分辨率为1.78 × 1.78 cm ~ 2时,喷雾节省率可达90%。研究表明,所开发的深度卷积神经网络可用于田间和航空图像中的杂草分类,并取得了令人满意的结果。
2022-10-20 cs.CV cs.LG