Deep Learning-based Human Detection for UAVs with Optical and Infrared Cameras: System and Experiments
ETH Zurich（苏黎世联邦理工学院）；Mantis Technologies（曼蒂斯科技公司）
在本文中，我们介绍了我们基于深度学习的人体检测系统，该系统使用光学（RGB）和长波红外（LWIR）相机来检测，跟踪，定位和重新识别高空飞行的无人机中的人体。在每个频谱中，具有ResNet主干的定制RetinaNet网络提供了人类检测，随后将其融合以最大限度地降低整体误检率。我们表明，通过优化的限界框锚和增强的图像分辨率，从高海拔地区的错过检测的数量可以减少百分之二十以上。我们提出的网络与不同的RetinaNet和YOLO变体进行了比较，并与使用手工制作功能的经典光学红外人体检测框架进行了比较。此外，随着本文的发表，我们发布了一系列在搜索和救援现场测试期间使用不同无人机记录的注释光学红外数据集以及实现的注释工具的源代码。
2020-08-10 cs.CV cs.RO
Flying Objects Detection from a Single Moving Camera
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Graz University of Technology（格拉茨工业大学）
我们提出了一种方法来检测飞行物体，如无人机和飞机时，他们占据了一小部分的视野，可能会对复杂的背景移动，并拍摄的相机本身移动。解决这样一个困难的问题需要结合外观和运动线索。为此，我们提出了一种基于回归的方法来运动稳定的局部图像补丁，使我们能够实现有效的分类时空图像立方体和优于国家的最先进的技术。由于这个问题相对较新，我们收集了两个具有挑战性的无人机和飞机数据集，它们可以用作飞行物体检测和视觉引导碰撞避免的基准。
2014-11-27 cs.CV
Efficient Real-Time Image Recognition Using Collaborative Swarm of UAVs and Convolutional Networks
Hamad Bin Khalifa University（哈马德·本·哈利法大学）；Barzan Holdings QSTP LLC（巴尔赞控股卡塔尔科技园区有限责任公司）
无人机（无人机）最近因其在不同领域使用和在困难和危险地区服务的出色能力而引起了人们的广泛关注。此外，计算机视觉和人工智能的进步增加了无人机在各种应用和解决方案中的使用，例如森林火灾探测和边界监测。然而，将深度神经网络（DNN）与无人机一起使用会带来处理更深层网络和复杂模型的几个挑战，这限制了它们的机载计算。在这项工作中，我们提出了一种策略，旨在将推理请求分发给一群资源受限的无人机，该无人机对捕获的图像进行分类，并找到最小的决策延迟。我们将该模型表示为一个优化问题，该问题最大限度地减少了获取图像和做出最终决定之间的延迟。公式化的优化解决方案是一个NP难问题。因此，它不适合在线资源分配。因此，我们引入了一个在线的启发式解决方案，即DistInference，找到层的布局策略，使最好的延迟之间可用的无人机。所提出的方法足够通用以用于不同的低决策延迟应用以及用于组织成层的流水线的所有CNN类型（例如，VGG）或基于残余块（例如，ResNet）。
2021-07-09 cs.CV cs.DC
Calibration Venus: An Interactive Camera Calibration Method Based on Search Algorithm and Pose Decomposition
School of Computer Science and Engineering, Central South University（中南大学计算机科学与工程学院）
在机器人定位、无人驾驶等许多应用摄像机的场景中，摄像机标定是最重要的前期工作之一。基于平板的交互式标定方法以其可重复性和可操作性的优点，在摄像机标定领域得到了广泛应用。然而，现有的方法选择建议从一个固定的数据集的预定义的姿势基于主观经验，这导致了一定程度的片面性。而且，他们没有给用户明确的指示，如何放置板在指定的姿势。
2020-09-13 cs.CV
Rotation Invariant Transformer for Recognizing Object in UAVs
Wuhan University（武汉大学）；Hubei Luojia Laboratory（湖北珞珈实验室）
针对无人机目标识别的旋转与尺寸差异难题，提出在块特征层模拟旋转的RotTrans模型，结合不变性约束增强旋转鲁棒性，在无人机数据集上超越SOTA，还获ICCV 2021相关竞赛赛道第一。
2023-11-05 cs.CV
Redefining Recon: Bridging Gaps with UAVs, 360 degree Cameras, and Neural Radiance Fields
本文提出将小于30厘米的360度相机无人机与神经辐射场（NeRF）结合，用于灾后无法进入的受损城市环境三维重建，并通过火灾后场景验证其在复杂户外条件下的有效性。
2023-11-30 cs.AI cs.CV
Real-time dense 3D Reconstruction from monocular video data captured by low-cost UAVs
Fraunhofer IOSB（弗劳恩霍夫光电、系统技术及图像处理研究所）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
实时的【形】3D重建可实现环境的快速密集映射，这有利于许多应用，例如导航或紧急情况的实时评估。与大多数具有实时的【形】能力的方法相比，我们的方法不需要显式的深度传感器。相反，我们只依赖于来自相机的视频流及其内在校准。通过利用无人机（无人机）在建筑物周围倾斜飞行的自运动，我们估计了具有足够新颖内容的选定图像的摄像机轨迹和深度。为了创建场景的3D模型，我们依赖于一个三阶段的处理链。首先，我们使用同时定位与地图构建（SLAM）算法估计粗略的摄像机轨迹。一旦找到一个合适的星座，我们估计深度的本地束图像使用多视图立体视觉（MVS）的方法，然后融合到一个全球性的基于曲面的模型的深度。对于我们的评估，我们使用了55个不同设置的视频序列，包括合成和真实场景。我们不仅评估生成的重建，但也中间产品，并取得有竞争力的结果，定性和定量。同时，我们的方法可以跟上30 fps的视频，分辨率为768x448像素。
2021-04-21 cs.CV
Do You See What I See? Coordinating Multiple Aerial Cameras for Robot Cinematography
University of São Paulo（圣保罗大学）；Carnegie Mellon University（卡内基梅隆大学）
空中摄影术大大扩展了电影制作人的能力。自主无人机（UAV）的最新进展进一步增加了航空摄像机的潜在影响，其系统可以在非结构化的混乱环境中安全地跟踪行动者。然而，专业制作需要同时使用多个摄像机来记录同一场景的不同视点，这些视点被实时的编辑成最终的镜头，或者在后期制作中。这种极端的动作协调对于无脚本的动作场景来说尤其困难，这是航空相机的常见用例。在这项工作中，我们开发了一个实时的多无人机协调系统，能够记录动态目标，同时最大限度地提高拍摄多样性，避免碰撞和相机之间的相互可见性。我们验证了我们的方法在多个杂乱的环境中的照片逼真的模拟器，并部署系统使用两个无人机在现实世界的实验。我们表明，我们的协调方案具有较低的计算成本，平均只需要1.17毫秒，计划在10秒的时间范围内的3架无人机的团队。补充视频：https://youtu.be/m2R3anv2ADE
2021-03-31 cs.CV cs.MA cs.RO
EvMAPPER: High Altitude Orthomapping with Event Cameras
GRASP Laboratory, University of Pennsylvania（宾夕法尼亚大学GRASP实验室）
本文提出首个基于事件相机的无人机正射影像镶嵌方法EvMAPPER，利用事件相机像素异步触发特性，克服了传统CMOS相机在恶劣光照、运动模糊及高速运动下的局限，实现了在直射阳光和日落等复杂光照条件下的地图生成。
2024-09-26 cs.CV cs.RO
Detecting animals in African Savanna with UAVs and the crowds
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；University of Zurich（苏黎世大学）；Wageningen University & Research（瓦赫宁根大学及研究中心）
无人驾驶飞行器（UAV）为野生动物监测提供了新的机会，与传统的基于实地的方法相比有几个优势。它们已经很容易地被用来计算鸟类，海洋哺乳动物和大型食草动物在不同的环境中，这些任务通常通过人工计数在大量的图像集合中进行。在本文中，我们提出了一个半自动系统能够检测大型哺乳动物在半干旱草原。它依赖于一个基于机器学习的动物检测系统，由志愿者手动解释亚分米分辨率彩色图像提供的众包注释进行训练。该系统实现了高召回率，人类操作员可以通过有限的努力消除错误检测。我们的系统为野生动物保护中数据驱动的管理实践的发展提供了良好的前景。它表明，半干旱稀树草原的大型哺乳动物的检测，可以接近由安装在负担得起的固定翼无人机的标准RGB相机提供的数据处理。
2017-09-06 cs.CV
Built Infrastructure Monitoring and Inspection Using UAVs and Vision-based Algorithms
Western Sydney University（西悉尼大学）
本研究提出一种利用实时控制无人机进行结构表面检测的系统。该系统在有利的天气条件下运行，以检测目标结构，这是温特沃斯轻轨基础结构在这项研究中。该系统包括无人机，GoPro HERO4相机，控制器和手机。无人机在测试场手动起飞，收集后续分析所需的数据。图像通过HERO 4摄像头拍摄，然后通过Wi-Fi路由器建立的无线连接实时的传输到远程处理单元，如地面控制站。已经提出了一种图像处理方法来检测诸如裂纹的缺陷或损伤。该方法基于灰度直方图算法，利用包含在低灰度区间中的与裂纹相关的像素组。通过实验、仿真和比较，对该系统的性能和有效性进行了评估。
2020-05-19 cs.CV eess.IV
A 360-Degree Vision Dataset for Learning Yaw Control on GPS-Denied Micro-UAVs in Disaster-Response-Relevant Environments
Westphalian University of Applied Sciences (WHS)（威斯特伐利亚应用科学大学（WHS））
该研究针对GPS拒止的灾难响应环境，构建360度视觉数据集，提出基于卷积神经网络的偏航控制方法，经测试验证其可行性与实用性。
2026-08-21 cs.CV
A Single-shot-per-pose Camera-Projector Calibration System For Imperfect Planar Targets
Temple Univeristy（天普大学）；Rowan Univeristy（罗文大学）；HiScene Info. Technologies（亮风台信息技术）
现有的相机-投影仪校准方法通常使用估计的单应性将特征点从相机图像扭曲到投影仪图像，并且由于校准目标的不完美的平面性而经常遭受相机参数和噪声的误差。在本文中，我们提出了一个简单而强大的解决方案，明确应对这些挑战。根据结构光（SL）相机项目校准框架，精心设计的对应算法建立在De Bruijn图案之上。然后，这种对应关系用于初始相机-投影仪校准。然后，为了获得更多的鲁棒性对噪声，特别是那些从一个不完美的平面校准板，光束法平差算法的开发，以联合优化估计的相机和投影仪模型。除了鲁棒性之外，我们的解决方案对于每个校准板姿势只需要一次SL图案的拍摄，这在实践中比多次拍摄解决方案方便得多。在合成数据集和真实数据集上进行数据验证，在所有实验中，我们的方法比现有方法显示出明显的优势。
2018-10-17 cs.CV
Efficient resource management in UAVs for Visual Assistance
世界各地对无人机（UAV）用于农业、军事、灾害管理和航空摄影的兴趣越来越大。无人机是可扩展的，灵活的，并在各种环境中，直接人为干预是困难的。一般来说，由于其在现实生活场景中的广泛应用，安装有相机的UAV的使用数量已经增加。随着计算机视觉中深度学习模型的出现，许多模型在视觉任务中取得了巨大成功。但是大多数的评估模型都是在高端的CPU和GPU上完成的。使用UAV进行实时的视觉辅助任务的主要挑战之一是管理这些任务的存储器使用和功耗，这些任务是计算密集型的并且难以在UAV的低端处理器板上执行。该项目描述了一种新的方法来优化一般的图像处理任务，如对象跟踪和目标检测的无人机硬件在实时的场景，而不影响飞行时间和不篡改这些模型的延迟和准确性。
2020-08-04 cs.CV cs.LG eess.IV
UAV-ReID: A Benchmark on Unmanned Aerial Vehicle Re-identification in Video Imagery
Northumbria University（诺森比亚大学）；Durham University（杜伦大学）
随着无人机（UAV）的应用范围越来越广，无人机中断的潜在风险也越来越大。深度学习的最新发展允许基于视觉的反无人机系统使用单个相机来检测和跟踪无人机。然而，单个相机的覆盖范围是有限的，需要多相机配置来匹配相机之间的无人机-一个被称为重新识别（reID）的问题。虽然人们已经对人和车辆的reID进行了广泛的研究，以跨时间和视点匹配对象，但据我们所知，无人机reID还没有研究。无人机的重新识别具有挑战性：它们比行人和车辆小得多，而且它们经常在空中被发现，因此出现在更大的角度范围内。由于目前没有无人机数据集使用多个摄像头，因此我们提出了第一个新的无人机重新识别数据集UAV-reID，以促进这一新兴领域的机器学习解决方案的开发。UAV-reID有两个设置：临时接近评估跨视图的性能以帮助跟踪框架，而大到小评估跨规模的reID性能，并允许在长距离检测到UAV时进行早期reID。我们通过广泛评估不同的reID骨干和损失函数进行基准研究。我们证明，通过正确的设置，深度网络足够强大，可以学习无人机的良好表示，在时间近设置上实现81.9%的mAP，在具有挑战性的大到小设置上实现46.5%的mAP。此外，我们发现，视觉Transformer是最强大的极端变化的规模。
2021-12-02 cs.CV cs.LG cs.RO
Ground-to-Aerial Person Search: Benchmark Dataset and Approach
Northwestern Polytechnical University（西北工业大学）；Xidian University（西安电子科技大学）
本研究构建了首个跨平台地对空行人搜索大规模基准数据集G2APS，提出基于ReID网络头部的知识蒸馏方案，在多个数据集上取得最优性能，为地空跨平台智能监控研究提供支撑。
2023-08-24 cs.CV
Evaluation of Image Matching Methods for Visual Odometry on UAVs
该研究针对无人机视觉里程计任务，在合成数据集上评估多种图像匹配方法，发现RoMa匹配器性能最优，SIFT特征表现优于部分最新最先进方法，为无人机视觉导航提供参考。
2026-08-20 cs.CV
Automatic extrinsic calibration between a camera and a 3D Lidar using 3D point and plane correspondences
Australian Centre for Field Robotics（澳大利亚野外机器人学中心）；University of Sydney（悉尼大学）
本文提出了一种自动化的方法，以获得外部之间的相机和三维激光雷达与低至16光束的校准参数。我们使用棋盘作为参考，以获得感兴趣的功能，在两个传感器帧。利用标定板的几何形状，从激光雷达点云中自动提取标定板的中心点和法向量。从摄像机的外矩阵中获得摄像机图像中的相应特征。我们解释了选择这些特征的原因，以及为什么它们比其他可能性更强大。为了获得最优的外部参数，我们选择了一个遗传算法来解决高度非线性的状态空间。在定义了相对于激光雷达的3D实验区域的边界以及真实的电路板尺寸之后，该过程是自动化的。此外，相机被假定为固有校准。我们的方法需要至少3个棋盘构成，并通过使用真实世界和模拟功能评估我们的算法证明了校准精度。
2019-04-29 cs.CV cs.RO
Learning to Drive Off Road on Smooth Terrain in Unstructured Environments Using an On-Board Camera and Sparse Aerial Images
McGill University（麦吉尔大学）
我们提出了一种方法，学习驾驶在光滑的地形，同时避免碰撞，在具有挑战性的越野和非结构化的户外环境中，只使用视觉输入。我们的方法应用了一种混合的基于模型和无模型强化学习方法，该方法在使用车载传感器标记地形粗糙度和碰撞时完全是自我监督的。值得注意的是，我们为我们的模型提供了第一人称和头顶航拍图像输入。我们发现，这些互补输入的融合提高了规划的远见，使模型鲁棒的视觉障碍。我们的研究结果表明，具有丰富的植被，各种类型的岩石和沙质小径的环境推广的能力。在评估过程中，我们的政策实现了90%的平滑地形遍历，并减少了6.1倍的粗糙地形驱动相比，仅使用第一人称图像的模型的比例。
2020-04-09 cs.CV cs.LG cs.RO
AirPose: Multi-View Fusion Network for Aerial 3D Human Pose and Shape Estimation
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Stuttgart（斯图加特大学）
在这封信中，我们提出了一种新的无标记的三维人体运动捕捉（MoCap）系统的非结构化，户外环境，使用一组自主无人机（UAV）与板载RGB相机和计算。现有的方法受到校准相机和离线处理的限制。因此，我们提出了第一种方法（AirPose）来估计人体姿势和形状，使用多个外部未校准的飞行相机捕获的图像。AirPose本身会相对于人校准相机，而不是依赖于任何预校准。它使用在每个UAV上运行的分布式神经网络，这些神经网络彼此通信关于人的视点无关信息（即，它们的3D形状和铰接姿态）。使用SMPL-X身体模型对人的形状和姿势进行参数化，从而产生紧凑的表示，最大限度地减少UAV之间的通信。该网络使用真实虚拟环境的合成图像进行训练，并在一小组真实图像上进行微调。我们还介绍了一种基于优化的后处理方法（AirPose $^{+}$），用于要求更高MoCap质量的离线应用程序。我们在https://github.com/robot-perception-group/AirPose上提供我们方法的代码和数据以供研究。描述方法和结果的视频可在https://youtu.be/xLYe1TNHsfs上获得。
2022-02-15 cs.CV
Comprehensive Analysis of the Object Detection Pipeline on UAVs
University of Tuebingen（图宾根大学）
目标检测流水线包括捕获场景的相机和处理这些图像的目标检测器。图像的质量直接影响目标检测器的性能。目前的许多研究工作都集中在提高图像质量或单独改进目标检测模型上，而忽略了两个子系统联合优化的重要性。本文的目标是调整现有的对象检测器在遥感场景中的检测吞吐量和准确性，重点是优化输入图像量身定制的对象检测器。为了实现这一点，我们经验分析的影响，两个选定的相机校准参数（相机失真校正和伽马校正）和五个图像参数（量化，压缩，分辨率，颜色模型，额外的通道），这些应用程序。在我们的实验中，我们利用来自不同领域的三个无人机数据集和大型和小型最先进的物体探测器模型的混合物，以提供对管道参数影响的广泛评估。最后，我们在无人机嵌入式平台上实现了一个目标检测流水线原型，并根据我们的研究结果给出了构建目标检测流水线的最佳实践建议。我们发现，并不是所有的参数都对检测精度和数据吞吐量有相同的影响，并且通过在参数之间使用适当的折衷，我们能够在保持相同的数据吞吐量的同时，为轻量级目标检测模型实现更高的检测精度。
2022-07-19 cs.CV cs.RO
Extended Abstract Version: CNN-based Human Detection System for UAVs in Search and Rescue
Vel Tech - Technical University（Vel Tech 技术大学）
提出了一种基于卷积神经网络和四轴飞行器硬件平台的人体搜索和检测方法。预训练的CNN模型应用于Raspberry Pi B，并且在Quadcopter的底部配备了单个摄像头。四轴飞行器采用加速度计-陀螺仪传感器和超声波传感器进行平衡控制。然而，这些传感器容易受到由诸如电动机的振动等驱动力引起的噪声的影响，因此，实施噪声处理。实验证明，该系统在Raspberry Pi B上运行良好，处理速度达到3 fps。
2021-11-04 cs.CV cs.RO
Efficient Real-Time Radial Distortion Correction for UAVs
Centre for Mathematical Sciences Lund University（隆德大学数学科学中心）；Linköping University（林雪平大学）
提出了一种适用于配备惯性测量单元（IMU）的无人机（UAV）的星上径向畸变校正新算法，该算法实时的【形】运行。这种方法使校准程序变得多余，从而允许临时更换光学器件。通过利用IMU数据，相机可以与重力方向对准。这使我们能够以更少的自由度工作，并为进一步的内在校准打开了大门。我们提出了一个快速和强大的最小求解器，同时估计焦距，径向失真轮廓和运动参数从单应性。所提出的求解器进行测试的合成和真实的数据，并执行更好或等同于国家的最先进的方法依赖于预校准程序。
2020-10-08 cs.CV cs.RO
Learning Cross-Spectral Point Features with Task-Oriented Training
University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究所）
针对无人机可见光导航系统低能见度下失效的问题，提出任务导向的跨光谱点特征训练方法，通过匹配与配准任务训练特征网络，在MultiPoint数据集上75%以上估计的配准误差低于10像素，可整合热成像数据提升导航能力。
2025-05-21 cs.CV
Detecting Wildfires on UAVs with Real-time Segmentation Trained by Larger Teacher Models
本研究提出利用零样本基础模型监督和边界框标签训练小型分割模型，在无人机上实现野火烟雾实时分割，准确率达63.3% mIoU且帧率约25 fps。
2024-12-18 cs.AI cs.CV
SlimYOLOv3: Narrower, Faster and Better for Real-Time UAV Applications
无人机或通用无人机（Unmanned Aerial Vehicles，UAV）通过机载摄像头和嵌入式系统被赋予计算机视觉功能，在广泛的应用中变得流行。然而，由于嵌入式设备的内存和计算能力有限，在无人机平台上通过目标检测进行实时的【形】场景解析非常具有挑战性。为了应对这些挑战，在本文中，我们提出通过卷积层的通道修剪来学习有效的深度对象检测器。为此，我们通过对通道缩放因子施加L1正则化来强制卷积层的通道级稀疏性，并修剪信息量较少的特征通道以获得“苗条”的对象检测器。基于这种方法，我们提出了与原始YOLOv 3相比具有更少可训练参数和浮点运算（FLOP）的SlimYOLOv 3（Joseph Redmon等人，2018）作为无人机上实时的【形】目标检测的有前途的解决方案。我们在VisDrone 2018-Det基准数据集上对SlimYOLOv 3进行了评估;与未修剪的对应物相比，SlimYOLOv 3取得了令人信服的结果，包括FLOP减少约90.8%，参数大小减少约92.0%，运行速度快约2倍，检测精度与YOLOv 3相当。不同剪枝率下的实验结果表明，SlimYOLOv 3具有更窄的结构，比YOLOv 3更高效、更快、更好，更适合无人机上的实时的【形】目标检测。我们的代码可在https://github.com/PengyiZhang/SlimYOLOv3上公开获取。
2019-07-25 cs.CV
Fusion of Real Time Thermal Image and 1D/2D/3D Depth Laser Readings for Remote Thermal Sensing in Industrial Plants by Means of UAVs and/or Robots
University of Manchester（曼彻斯特大学）
本文介绍了快速的热红外遥感程序在黑暗中，GPS拒绝的环境，如在高压直流（HVDC）换流站等工业厂房。这些程序基于从一维LIDAR激光或二维Hokuyo激光或3D MultiSense SLB激光传感器获得的深度估计与来自FLIR Duo R双传感器热成像相机的可见光和热成像相机的组合。这些传感器/摄像机的组合适合安装在无人驾驶飞行器（UAV）和/或机器人上，以便提供关于可能在危险环境中发现的潜在故障的可靠信息。例如，从结果的准确性和所需的计算时间的角度评估了与一维激光雷达传感器和FLIR Duo R双传感器热成像相机相结合的开发软件和硬件系统的能力：所获得的计算时间在10 ms以下，最大定位误差为8 mm，测量温度的平均标准偏差为1.11摄氏度，这些结果是针对多个测试情况获得的。本文的结构如下：用于识别和定位的热点在工业厂房的系统的描述是在第二节。在第三节中，描述了利用一维激光雷达激光传感器和热图像进行工厂故障识别和定位的方法以及结果。第四部分介绍了实时的热图像处理。第V节描述了2维深度激光Hokuyo和热图像的融合。第VI节描述了3D MultiSense SLB激光和热图像的组合。第七节进行了讨论并得出若干结论。
2020-06-04 cs.CV cs.RO cs.SY
Real-Time Hybrid Mapping of Populated Indoor Scenes using a Low-Cost Monocular UAV
University of Oxford（牛津大学）
近年来，无人机（UAV）已被用于许多应用，从城市搜索和救援到农业测量，再到自主地下矿山勘探。然而，在狭窄的室内空间（特别是靠近人类的空间）部署无人机仍然是一个挑战。当需要有限的有效载荷时，一种解决方案是使用微型无人机，这对人类构成的风险较小，并且在坠毁后更换的成本通常较低。然而，微型无人机只能携带有限的传感器套件，例如单目相机而不是立体对或LiDAR，这使得密集映射和无标记多人3D人体姿态估计等任务变得复杂，这些任务需要在人们周围的紧密环境中操作。单目的方法，这样的任务存在，密集的单目映射方法已经成功地部署无人机应用。然而，尽管最近有许多关于基于标记和无标记的多UAV单人运动捕捉的工作，但无标记单相机多人3D人体姿态估计仍然是一种早期阶段的技术，我们不知道现有的尝试将其部署在空中环境中。在本文中，我们提出了什么是因此，据我们所知，第一个系统，同时进行映射和多人的三维人体姿态估计从单目摄像机安装在一个单一的无人机。特别是，我们展示了如何松散地耦合最先进的单目深度估计和单目3D人体姿态估计方法，以实时的重建填充室内场景的混合地图。我们通过对大规模ScanNet和GTA-IM数据集的广泛实验来验证我们的组件级设计选择。为了评估我们的系统级性能，我们还构建了一个新的牛津混合映射数据集的人口室内场景。
2022-03-04 cs.CV cs.RO
CNN-based Human Detection for UAVs in Search and Rescue
Vel Tech - Technical University（Vel Tech 技术大学）
无人机（Unmanned Aerial Vehicles，简称UAV）以其机动灵活、障碍物少等特点，替代普通飞行器在搜救领域的应用正在世界范围内得到广泛研究，其主要任务包括搜救两个方面。本文提出了一种方法的第一个任务的搜索和检测受害者使用一种类型的卷积神经网络技术，Single Shot Detector（SSD）模型，与四轴飞行器的硬件平台，一种类型的无人机。研究中使用的模型是一个预先训练好的模型，并应用于测试Raspberry Pi Model B，该模型连接在Quadcopter上，而Quadcopter底部配备了一个摄像头，可以从上方进行搜索和检测。本研究中的四轴飞行器是一个DIY的硬件模型，使用加速度计和陀螺仪传感器和超声波传感器作为平衡控制的必要组件，然而，这些传感器容易受到模型上的驱动力所引起的噪声，如电机的振动，因此，PID控制器的问题，噪声处理的传感器也在论文中提到。实验结果证明，四轴飞行器能够稳定飞行，SSD模型在树莓派Model B上运行良好，处理速度为3 fps，在距离物体1 ~ 20米的范围内检测效果最好。
2021-10-05 cs.CV cs.RO
Generic Camera Calibration using Blurry Images
Independent Researcher（独立研究者）
本文提出了一种利用模糊图像进行通用相机校准的方法，通过几何约束和局部照明模型同时估计特征位置和点扩散函数，有效解决平移模糊问题。
2026-03-05 cs.CV eess.IV
Ego-motion Sensor for Unmanned Aerial Vehicles Based on a Single-Board Computer
Czech Institute for Informatics, Robotics, and Cybernetics（捷克信息学、机器人学与控制论研究所）；Czech Technical University in Prague（布拉格捷克技术大学）
介绍了一种适用于微型飞行器的地面里程传感器的设计与实现。该传感器基于一个面向地面的摄像头和一个基于单板的【形】Linux的嵌入式计算机，该计算机具有多媒体片上系统（SoC）。该SoC具有用于在线估计光流的硬件视频编码器。然后结合距离传感器使用光流来估计车辆的速度。所提出的传感器相比，类似的现有解决方案，并在室内和室外环境中进行评估。
2019-01-22 cs.CV cs.RO
Vision-based Target Pose Estimation with Multiple Markers for the Perching of UAVs
Sejong University（世宗大学）
针对无人机栖息时单标记物视觉位姿估计存在的近距视野丢失问题，本文提出多标记物视觉位姿估计方法，结合卡尔曼滤波与数据融合算法，实现了无人机稳定精准栖息。
2023-04-25 cs.CV cs.RO cs.SY
AU-AIR: A Multi-modal Unmanned Aerial Vehicle Dataset for Low Altitude Traffic Surveillance
Aarhus University（奥胡斯大学）
安装有摄像机的无人驾驶飞行器（UAV）具有捕获空中（鸟瞰）图像的优势。航空视觉数据的可用性和目标检测算法的最新进展，导致计算机视觉界关注航空图像上的目标检测任务。因此，引入了几个航空数据集，包括带有物体注释的视觉数据。无人机在这些数据集中仅用作飞行摄像机，丢弃关于飞行的不同数据类型（例如，时间、位置、内部传感器）。在这项工作中，我们提出了一个多用途航空数据集（AU-AIR），它具有多模态传感器数据（即，视觉、时间、位置、高度、IMU、速度）。AU-AIR数据集包括用于提取的帧的元数据（即，交通相关对象类别的限界框注释）。此外，我们强调自然和航空图像的背景下，目标检测任务之间的差异。为此，我们在AU-AIR数据集上训练和测试移动物体检测器（包括YOLOv 3-Tiny和MobileNetv 2-SSDLite），这些检测器适用于使用带有UAV的单板计算机进行实时目标检测。由于我们的数据集具有记录数据类型的多样性，它有助于填补计算机视觉和机器人之间的空白。该数据集可在https://bozcani.github.io/auairdataset上获得。
2020-02-03 cs.CV cs.RO
On-board Deep-learning-based Unmanned Aerial Vehicle Fault Cause Detection and Identification
Rutgers University–New Brunswick（罗格斯大学新布朗斯维克分校）
随着无人驾驶飞行器（UAV）/无人机使用的增加，实时检测和识别故障原因对于从潜在的类似坠毁的场景或事故后取证分析中正确恢复非常重要。坠毁的原因可能是传感器/致动器系统的故障，物理损坏/攻击，或对无人机软件的网络攻击。在本文中，我们提出了基于深度卷积和长短期记忆神经网络（CNN和LSTM）的新型架构，以基于传感器数据检测（通过自动编码器）和分类无人机误操作。所提出的架构能够从原始传感器数据中自动学习高级特征，并学习传感器数据中的空间和时间动态。我们通过在真实无人机上的模拟和实验来验证所提出的深度学习架构。实验结果表明，我们的解决方案能够以超过90%的准确率检测并分类各种类型的无人机误操作（准确率约为99%（模拟数据）和高达88%的准确率（实验数据））。
2020-05-06 cs.CV cs.LG cs.RO
Deep-Learning-Based Aerial Image Classification for Emergency Response Applications Using Unmanned Aerial Vehicles
KIOS Research and Innovation Center of Excellence（KIOS卓越研究与创新中心）；University of Cyprus（塞浦路斯大学）
配备摄像头传感器的无人机（UAV）能够在偏远和难以进入的地区工作，因此可以为许多应急响应和灾害管理应用提供增强的态势感知。此外，通过利用嵌入式平台和深度学习，无人机可以自主监测受灾地区，实时分析图像，并在存在各种灾害（如倒塌的建筑物，洪水或火灾）时发出警报，以更快地减轻其对环境和人口的影响。为此，本文重点研究了无人机上灾害事件的自动空中场景分类。具体来说，一个专门的航空图像数据库应急响应（AIDER）的应用程序进行了介绍和现有的方法进行比较分析。通过这种分析，开发了轻量级卷积神经网络（CNN）架构，能够在嵌入式平台上高效运行，与现有模型相比，性能提高约3倍，内存需求最小，与最先进的模型相比，精度下降不到2%。这些初步结果为进一步实验提供了坚实的基础，时间航空图像分类，用于使用UAV的应急响应应用。
2019-06-20 cs.CV cs.RO
Semi-supervised GAN for Classification of Multispectral Imagery Acquired by UAVs
Kingston University（金斯顿大学）
无人驾驶飞行器（UAV）用于精准农业（PA），以实现对农田的空中监测。需要智能方法来查明杂草侵扰并选择最佳的杀虫剂。无人机可以飞行多光谱相机并收集数据。然而，使用诸如卷积神经网络（CNN）的监督机器学习算法对多光谱图像进行分类需要大量的训练数据。这是深度学习中的一个常见缺点，我们试图利用半监督生成对抗网络（GAN）来规避，为所有获取的多光谱图像提供像素分类。我们的算法由一个生成器网络组成，该生成器网络为多类分类器提供照片般逼真的图像作为额外的训练数据，作为训练器并在少量标记数据上进行训练。所提出的方法的性能进行评估的weedNet数据集组成的多光谱作物和杂草图像收集的微型飞行器（MAV）。所提出的半监督GAN的结果实现了高分类精度，并展示了基于GAN的方法在多光谱图像分类的挑战性任务中的潜力。
2019-05-24 cs.CV cs.LG eess.IV
SeaDroneSim: Simulation of Aerial Images for Detection of Objects Above Water
University of Maryland（马里兰大学）；University of Maryland Extension（马里兰大学推广部）
针对海洋环境下无人机视觉检测所需真实训练数据获取成本高的问题，研究提出可生成带分割真值的仿真航拍数据集的SeaDroneSim基准套件，仅用其合成数据检测BlueROV便在真实图像上达71 mAP，提供了对应检测基准。
2022-11-18 cs.CV cs.RO
