Automatic Failure Recovery and Re-Initialization for Online UAV Tracking with Joint Scale and Aspect Ratio Optimization
Tongji University（同济大学）；New York University（纽约大学）
当前无人机（无人机）视觉跟踪算法主要局限于：（i）它们可以处理的尺寸变化类型，（ii）实现速度难以满足实时要求。本文提出了一种具有强大尺寸估计能力的无人机实时跟踪算法。具体地，总体跟踪任务被分配给两个2D滤波器：（i）用于空间域中的位置预测的平移滤波器，（ii）用于尺寸域中的尺度和纵横比优化的尺寸滤波器。此外，针对无人机长时间跟踪任务，提出了一种有效的两阶段重检测策略。在四个无人机基准上的大规模实验证明了该方法的优越性，该方法在低成本CPU上具有计算可行性。
2020-08-10 cs.CV cs.RO
Siamese Object Tracking for Unmanned Aerial Vehicle: A Review and Comprehensive Analysis
Tongji University（同济大学）；Tsinghua University（清华大学）
基于无人机的视觉目标跟踪以其通用性和有效性在智能交通领域得到了广泛的应用，并日益受到关注。作为深度学习革命性趋势中的一支新兴力量，Siamese网络在基于无人机的目标跟踪中大放异彩，其在准确性、鲁棒性和速度方面的平衡前景广阔。得益于嵌入式处理器的发展和深度神经网络的逐步优化，连体追踪器得到广泛研究，并实现了与无人机的初步结合。然而，由于无人机机载计算资源的有限性和现实环境的复杂性，利用暹罗网络进行空中跟踪在许多方面仍然面临着严重的障碍。为了进一步探索暹罗网络在无人机跟踪中的部署，本文对领先的暹罗跟踪器进行了全面的回顾，并根据使用典型无人机机载处理器的评估进行了详尽的无人机特定分析。然后，进行机载测试，以验证在现实世界的无人机部署的代表暹罗跟踪器的可行性和有效性。此外，为了更好地促进跟踪社区的发展，这项工作分析了现有暹罗跟踪器的局限性，并进行了以低照度评估为代表的额外实验。最后，对基于无人机的智能交通系统中连体跟踪的发展前景进行了深入的探讨。领先的暹罗跟踪器的统一框架，即，代码库，并且他们的实验评估结果可以在https://github.com/vision4robotics/SiameseTracking4UAV上获得。
2022-08-03 cs.CV
Learning Motion Blur Robust Vision Transformers for Real-Time UAV Tracking
College of Computer Science（计算机科学学院）；Guilin University of Technology（桂林理工大学）；School of Computer Science（计算机科学学院）；Fudan University（复旦大学）；Sun Yat-sen University（中山大学）；Sichuan University（四川大学）
本文提出BDTrack，通过自适应动态退出Transformer模块提升实时性，并通过强制特征对模拟运动模糊不变来增强鲁棒性，在四个基准上验证了无人机实时跟踪的有效性。
2025-08-21 cs.CV
STATrack: A Target-Aware Fully Spiking Neural Network for Efficient UAV Tracking
College of Computer Science and Engineering, Guilin University of Technology（桂林理工大学计算机科学与工程学院）；School of Artificial Intelligence, Sun Yat-sen University（中山大学人工智能学院）；School of Electronic Information, Central South University（中南大学电子信息学院）
本文提出STATrack，一种基于RGB输入的全脉冲神经网络框架，用于无人机视觉跟踪，通过引入自适应互信息最大化机制和动态加权策略，提升目标语义保留与背景干扰抑制能力，实验证明其在能耗低下的高效跟踪性能。
2026-08-27 cs.CV
TrackingMiM: Efficient Mamba-in-Mamba Serialization for Real-time UAV Object Tracking
Department of Electronic and Electrical Engineering, Southern University of Science and Technology（电子与电气工程系，南方科技大学）；Peng Cheng Laboratory（鹏城实验室）；Department of Applied Mathematics and Theoretical Physics, University of Cambridge（应用数学与理论物理系，剑桥大学）；State Grid Corporation of China（国家电网公司）；East China Institute of Computing Technology（东部计算技术研究所）；Shenzhen Key Laboratory of Robotics and Computer Vision（深圳机器人与计算机视觉重点实验室）
针对无人机实时跟踪中ViT二次复杂度问题，本文提出TrackingMiM，通过嵌套Mamba扫描独立处理时空token，实现高精度与高速跟踪。
2025-07-02 cs.CV
Enhancing Nighttime UAV Tracking with Light Distribution Suppression
School of Mechanical Engineering, Tongji University（同济大学机械工程学院）；University of Hong Kong（香港大学）
针对夜间无人机跟踪中低光照图像不均匀分布导致的过度增强问题，提出LDEnhancer增强器，通过分解光照与内容信息并利用交织迭代调整实现针对性增强，在多项基准及真实平台验证了其优越性。
2024-09-25 cs.CV
Architecture and evaluation protocol for transformer-based visual object tracking in UAV applications
French-German Research Institute of Saint-Louis（法德圣路易研究所）；Université de Haute-Alsace（上阿尔萨斯大学）；Karlsruhe University of Applied Sciences（卡尔斯鲁厄应用科学大学）
本文提出MATA架构结合变压器跟踪器与扩展卡尔曼滤波器，引入硬件无关的嵌入式评估协议和NT2F指标，提升无人机复杂场景下的跟踪鲁棒性和实时性能。
2026-03-26 cs.CV
GL-DT: Multi-UAV Detection and Tracking with Global-Local Integration
School of Aerospace Engineering, Beijing Institute of Technology（航空航天工程学院，北京理工大学）；Technology Innovation Institute（技术创新研究所）
GL-DT框架通过全局-局部整合提升多无人机检测与跟踪的准确性和连续性，解决小目标检测和轨迹碎片化问题。
2025-10-10 cs.CV
Keyfilter-Aware Real-Time UAV Object Tracking
Tongji University（同济大学）；National University of Singapore（新加坡国立大学）；Technical University of Munich（慕尼黑工业大学）；The University of Hong Kong（香港大学）
基于相关滤波的目标跟踪以其高效性在无人机中得到了广泛的应用。然而，它有两个缺陷，即，边界效应和过滤器损坏。几种扩大搜索区域的方法可以减轻边界效应，但会引入不希望的背景干扰。现有的逐帧上下文学习策略抑制背景分心，但降低跟踪速度。受基于关键帧的同时定位与地图构建方法的启发，本文首次将关键滤波器应用于视觉跟踪中，以有效解决上述问题。由周期性选择的关键帧生成的关键过滤器间歇地学习上下文，并用于限制过滤器的学习，使得1）上下文感知可以通过关键过滤器限制被传输到所有过滤器，以及2）过滤器损坏可以被抑制。与最先进的结果相比，我们的跟踪器在两个具有挑战性的基准测试中表现更好，具有足够的速度用于无人机实时的【形】应用。
2020-03-11 cs.CV
SGDViT: Saliency-Guided Dynamic Vision Transformer for UAV Tracking
Tongji University（同济大学）；the University of Hong Kong（香港大学）
基于视觉的目标跟踪已经推动了无人机（UAV）的广泛自主应用。然而，在无人机跟踪中遇到的飞行机动和视点的动态变化，如纵横比变化和尺度变化，构成了显着的困难。常规的互相关操作虽然通常使用，但在有效地捕获感知相似性方面具有限制，并且结合了无关的背景信息。为了减轻这些限制，这项工作提出了一种新的显着性引导的动态视觉Transformer（SGDViT）的无人机跟踪。该方法设计了一个新的任务特定的对象显著性挖掘网络，以改善互相关运算，并有效地区分前景和背景信息。此外，显著性自适应嵌入操作基于初始显著性动态地生成令牌，从而降低了Transformer架构的计算复杂性。最后，轻量级的显著性过滤Transformer进一步细化显著性信息，并增加对外观信息的关注。通过对三种广泛使用的无人机跟踪基准和真实场景的实验，对所提出的方法的有效性和鲁棒性进行了全面评估，结果表明了其优越性。源代码和演示视频可以在https://github.com/vision4robotics/SGDViT上找到。
2023-03-08 cs.CV cs.RO
MambaTrack: Exploiting Dual-Enhancement for Night UAV Tracking
Cooperative Medianet Innovation Center（合作 medi 创新中心）；Shanghai Jiao Tong University（上海交通大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；CloudWalk Technology（云从科技）；Shanghai AI Laboratory（上海人工智能实验室）
针对夜间无人机跟踪受低光照影响性能不佳的问题，提出基于mamba的MambaTrack跟踪器，通过低光照增强与跨模态交互双重提升性能，兼具高精度与高效计算内存优势。
2025-01-14 cs.CV
MM-Tracker: Motion Mamba with Margin Loss for UAV-platform Multiple Object Tracking
Fudan University（复旦大学）；Tencent Youtu Lab（腾讯优图实验室）；Shanghai Ocean University（上海海洋大学）；University of Iceland（冰岛大学）
针对无人机多目标跟踪中局部全局运动并存、运动模糊影响检测的问题，提出含Motion Mamba模块与运动边际损失的MM-Tracker，在两个开源数据集上性能超现有最优水平。
2024-12-12 cs.CV
CGTrack: Cascade Gating Network with Hierarchical Feature Aggregation for UAV Tracking
Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（杭州高等研究院，中国科学院大学）；Dept. of Computer Science and Engineering, University of North Texas（计算机科学与工程系，北卡罗来纳州立大学）；Institute of Software Chinese Academy of Science（中国科学院软件研究所）
针对无人机跟踪中轻量网络容量下降导致遮挡和视角剧变下性能受限的问题，本文提出CGTrack，通过层次化特征级联和轻量级门控中心头在由粗到细框架中扩展网络容量，在多个基准上以快速运行实现最先进性能。
2025-05-09 cs.CV
Similarity-Guided Layer-Adaptive Vision Transformer for UAV Tracking
Guangxi Normal University（广西师范大学）
针对无人机跟踪中ViT层表示冗余问题，提出相似性引导的层自适应方法，动态保留最优层并构建SGLATrack，在六个基准上实现最先进实时速度与竞争性精度。
2025-03-09 cs.CV
Deep Learning based Multi-Modal Sensing for Tracking and State Extraction of Small Quadcopters
University at Buffalo（布法罗大学）；Clemson University（克莱姆森大学）
提出了一种基于多传感器的四轴无人机（UAV）检测、跟踪和定位方法。具体来说，开发了一个管道来处理单目RGB和热视频（从固定平台捕获），以检测和跟踪我们的FoV中的无人机。随后，使用2D平面激光雷达来允许将像素数据转换为实际距离测量，并且由此使得能够在全球坐标中定位UAV。通过基于深度学习的目标检测方法处理单目数据，该方法计算UAV的初始限界框。通过阈值和卡尔曼滤波器的方法来处理热数据，以检测和跟踪限界框框。训练和测试数据是通过结合一组在运动捕捉环境中进行的原始实验和公开可用的UAV图像数据来准备的。新的管道相比，现有的方法，并展示了有前途的跟踪和定位能力的样本实验。
2020-12-08 cs.AI cs.CV cs.RO
Learning Consistency Pursued Correlation Filters for Real-Time UAV Tracking
Tongji University（同济大学）；Hong Kong Polytechnic University（香港理工大学）
基于相关滤波器（CF）的方法在无人机（UAV）应用中的视觉目标跟踪中表现出优异的性能，但受到不期望的边界效应的影响。为了解决这个问题，空间正则化相关滤波器（SRDCF）提出了空间正则化惩罚滤波器系数，从而显着提高跟踪性能。然而，隐藏在响应地图中的时间信息没有被考虑在SRDCF中，这限制了精确跟踪的区分能力和鲁棒性。本文提出了一种新的动态一致性相关滤波方法，即，CPCF追踪器具体地，通过相邻响应图之间的相关性操作，生成实际的一致性图以表示跨帧的一致性水平。通过最小化实际一致性图与预定理想一致性图之间的差异，约束一致性水平以保持时间平滑性，并在响应图中引入丰富的时间信息.此外，提出了动态约束策略，进一步提高了跟踪器在复杂情况下的适应性。在三个具有挑战性的无人机基准上进行了综合实验，UAV123@10FPS、UAVDT和DTB70。实验结果表明，该跟踪器在单CPU上的实时的【形】运行速度（$\sim$ 43 FPS）优于其他25种最先进的跟踪器。
2020-08-09 cs.CV
SFTrack: A Robust Scale and Motion Adaptive Algorithm for Tracking Small and Fast Moving Objects
Sungkyunkwan University（成均馆大学）
针对无人机影像中目标小、运动快导致的多目标跟踪难题，提出从低置信度检测发起跟踪并结合外观匹配的SFTrack，在VisDrone2019、UAVDT和MOT17上超越现有方法，同时修正并发布UAVDT精炼标注。
2024-10-26 cs.CV
Correlation Filters for Unmanned Aerial Vehicle-Based Aerial Tracking: A Review and Experimental Evaluation
Tongji University（同济大学）；Tsinghua University（清华大学）
航空跟踪是遥感领域最活跃的应用之一，它以其无所不在的奉献精神和卓越的性能得到了广泛的应用。特别是基于无人机（UAV）的遥感系统，采用视觉跟踪方式，已广泛应用于航空、航海、农业、交通、公安等领域。如前所述，无人机空中跟踪平台已从研究阶段逐步发展到实际应用阶段，成为未来航空遥感的主要技术之一。然而，由于现实世界的繁重情况，例如，恶劣的外部挑战、无人机机械结构的振动（尤其是在强风条件下）、复杂环境下的机动飞行以及机载计算资源的有限性，对机载跟踪方法的准确性、鲁棒性和高效性都至关重要。近年来，基于判别相关滤波器（DCF）的跟踪器以其高计算效率和在单CPU上的鲁棒性而脱颖而出，在无人机视觉跟踪领域得到了蓬勃发展。本文首先概括了基于DCF的跟踪器的基本框架，在此基础上，根据它们在解决各种问题上的创新点，对23种最新的基于DCF的跟踪器进行了分类总结。此外，详尽的和定量的实验已经扩展到各种流行的无人机跟踪基准，即，UAV 123、UAV123@10fps、UAV 20 L、UAVDT、DTB 70和VisDrone 2019-SOT，总共包含371，903帧。通过实验验证了基于DCF的机载无人机跟踪器的性能、可行性和当前面临的挑战。
2022-05-24 cs.CV cs.RO eess.IV
DR^2Track: Towards Real-Time Visual Tracking for UAV via Distractor Repressed Dynamic Regression
Tongji University（同济大学）；New York University（纽约大学）
视觉跟踪在无人机上有着广阔的应用前景。在文献中，先进的判别相关滤波器（DCF）类型的跟踪器通常区分前景与背景的学习回归，回归到一个固定的目标标签的隐式循环样本。然而，预定义的和不变的回归目标导致低鲁棒性和适应性不确定的空中跟踪场景。在这项工作中，我们利用局部最大值点的检测阶段产生的反应地图，自动定位当前的干扰。通过在回归学习中抑制干扰项的响应，我们可以动态地自适应地改变我们的回归目标，以利用跟踪鲁棒性和自适应性。在三个具有挑战性的无人机基准上进行的大量实验表明，我们的跟踪器具有出色的性能和非凡的速度（在廉价的CPU上约50 fps）。
2020-08-10 cs.CV cs.RO
Training-Set Distillation for Real-Time UAV Object Tracking
Tongji University（同济大学）；Hong Kong Polytechnic University（香港理工大学）
相关滤波器在无人机视觉目标跟踪中表现出良好的性能。这种在线学习方法在很大程度上依赖于训练集的质量，但复杂的空中场景（如遮挡或视野外）会降低其可靠性。在这项工作中，提出了一种新的基于时间槽的蒸馏方法，以有效地和有效地优化训练集的质量上飞。建立了协同能量最小化函数，对历史样本进行自适应评分。为了加速评分过程，具有高置信度跟踪结果的帧被用作关键帧以将跟踪过程划分为多个时隙。在建立新的时隙后，对先前的样本进行加权融合生成一个关键样本，以减少要评分的样本数量。此外，当当前时隙超过可评分的最大帧数时，具有最低评分的样本将被丢弃。因此，可以有效且可靠地提取训练集。在两个著名的无人机基准上的综合测试证明了该方法的有效性，在单CPU上实时的【形】速度。
2020-03-11 cs.CV
All-Day Object Tracking for Unmanned Aerial Vehicle
Tongji University（同济大学）
视觉目标跟踪是图像处理领域的一个重要研究方向，在实际应用中有着广泛的应用。其中，为无人机（UAV）配备实时的鲁棒视觉跟踪器，以实现全天空中机动，是目前备受关注的研究热点，也极大地拓宽了目标跟踪的应用范围。然而，现有的跟踪方法仅仅关注在照明良好的场景中的鲁棒跟踪，而忽略了跟踪器在黑暗中部署的能力。在黑暗中，条件可能更加复杂和苛刻，容易造成较差的鲁棒跟踪，甚至跟踪失败。为此，本文提出了一种新的基于判别相关滤波器的跟踪器，具有光照自适应和抗暗能力，即ADTrack。ADTrack首先利用图像照度信息使模型能够适应给定的光照条件。然后，通过一个高效和有效的图像增强器，ADTrack进行图像预处理，其中目标感知掩模生成。得益于掩模，ADTrack旨在解决双重回归问题，其中双重滤波器，即，上下文过滤器和目标聚焦过滤器是用相互约束来训练的。因此，ADTrack能够在全天条件下保持持续良好的性能。此外，本文还构建了一个无人机夜间跟踪基准UAVDark 135，该基准包含超过125k的手动标注帧，这也是第一个无人机夜间跟踪基准。详尽的实验扩展到权威的白天基准，即，UAV123 10fps、DTB70和新构建的黑暗基准UAVDark135，这些都验证了ADTrack在单个CPU上在明亮和黑暗条件下的优越性。
2021-01-24 cs.CV
Sea You Later: Metadata-Guided Long-Term Re-Identification for UAV-Based Multi-Object Tracking
National Taiwan University（台湾大学）；National Center for High-performance Computing（国家高性能计算中心）；University of Washington（华盛顿大学）
针对无人机海事多目标跟踪中短期和长期重识别的挑战，提出利用GPS等元数据融合轨迹的MG-MOT算法，在SeaDroneSee数据集上取得HOTA 69.5%和IDF1 85.9%的SOTA性能。
2023-11-22 cs.CV
Integration of the 3D Environment for UAV Onboard Visual Object Tracking
Fraunhofer IOSB（弗劳恩霍夫光电系统研究所）
从无人机（UAV）的单视觉目标跟踪提出了基本的挑战，如对象遮挡，小规模的对象，背景杂波，和突然的相机运动。为了解决这些困难，我们建议将观察到的场景的3D结构集成到一个检测跟踪算法。我们介绍了一个管道，结合了无模型的视觉对象跟踪器，稀疏的3D重建，和状态估计。场景的3D重建是用基于图像的运动恢复结构（SfM）组件计算的，该组件使我们能够在跟踪期间利用相应3D场景中的状态估计器。通过在3D空间而不是在图像空间中表示目标的位置，我们稳定了自我运动过程中的跟踪，并提高了对遮挡、背景杂波和小尺度对象的处理。我们评估了我们的方法上的原型图像序列，从低空斜视的无人机捕获。为此，我们采用现有的数据集进行视觉对象跟踪，并在3D中重建观察到的场景。实验结果表明，所提出的方法优于使用普通视觉线索的方法，以及利用基于图像空间的状态估计的方法。我们相信，我们的方法可以用于交通监控、视频监控和导航。
2020-10-29 cs.CV
FOLT: Fast Multiple Object Tracking from UAV-captured Videos Based on Optical Flow
Fudan University（复旦大学）；Tencent Youtu Lab（腾讯优图实验室）；Zhengzhou Zhongke Institute of Integrated Circuit and System Application（郑州中科集成电路与系统应用研究院）
本文提出FOLT框架，融合轻量光流、特征增强、运动预测与空间匹配，实现无人机视角下小目标及大位移目标的快速准确跟踪。
2023-08-15 cs.CV
Mutation Sensitive Correlation Filter for Real-Time UAV Tracking with Adaptive Hybrid Label
Tongji University（同济大学）
基于无人机（UAV）的视觉跟踪面临着许多挑战，例如，物体运动和遮挡。这些挑战通常会引入目标外观的意外突变并导致跟踪失败。然而，由于预定义的标签，普遍的基于判别相关滤波器（DCF）的跟踪器对目标突变不敏感，该标签仅集中在训练区域的中心。同时，由于遮挡或相似物体引起的外观突变通常会导致不可避免的错误信息学习。为了应对外观突变，本文提出了一种新的基于DCF的方法，以提高敏感性和突变的抗性与自适应混合标签，即，MSCF。理想标签与相关滤波器联合优化，并保持时间一致性。此外，一种新的突变的测量称为突变威胁因子（MTF）被应用到动态校正的标签。在广泛使用的无人机基准上进行了大量的实验。结果表明，MSCF跟踪器的性能优于其他26个最先进的基于DCF和深基跟踪器。在38帧/s的实时的【形】速度下，所提出的方法足以用于无人机跟踪任务。
2021-06-15 cs.CV cs.RO
AerialMind: Towards Referring Multi-Object Tracking in UAV Scenarios
AerialMind是首个针对无人机场景的RMOT基准，通过COALA框架和HETrack方法提升无人机的自然语言交互能力与多目标跟踪性能。
2025-12-01 cs.CV cs.RO
Boundary Effect-Aware Visual Tracking for UAV with Online Enhanced Background Learning and Multi-Frame Consensus Verification
Tongji University（同济大学）；Hong Kong Polytechnic University（香港理工大学）
由于隐含地引入了有限搜索区域的周期性移动，使用相关滤波器的视觉目标跟踪往往不得不面对不希望的边界效应。边界效应严重影响了目标模型的质量，如何实现鲁棒、精确的目标跟踪是无人机面临的一个挑战。传统的手工特征也不足以精确和鲁棒地描述无人机视点中的对象。在这项工作中，一种新的跟踪器与在线增强的背景学习，专门提出了解决边界效应。真实背景样本被密集地提取以学习以及更新相关滤波器。引入空间惩罚来抵消过多背景信息所引入的噪声，从而建立更精确的外观模型。同时，提取卷积特征以提供对象的更全面的表示。为了减轻对象外观的变化，多帧技术被应用于学习一个理想的响应图，并在每一帧中验证生成的响应图。在100个具有挑战性的无人机图像序列上进行了详尽的实验，所提出的跟踪器达到了最先进的性能。
2019-08-10 cs.CV
Breaking Smooth-Motion Assumptions: A UAV Benchmark for Multi-Object Tracking in Complex and Adverse Conditions
Xidian University, School of Computer Science and Technology（西安电子科技大学计算机科学与技术学院）
本文提出DynUAV基准测试，用于评估复杂动态环境下无人机视角多目标跟踪的性能，通过引入剧烈自我运动和运动模糊等挑战，推动相关技术的发展。
2026-03-06 cs.CV
DMTrack: Deformable State-Space Modeling for UAV Multi-Object Tracking with Kalman Fusion and Uncertainty-Aware Association
针对无人机多目标跟踪中运动复杂、身份易切换的问题，提出融合可变形状态空间预测、卡尔曼门控融合与不确定性关联的DMTrack框架，在基准上实现了最优跟踪性能与高效推理。
2025-10-15 cs.CV cs.SY eess.SY
STCMOT: Spatio-Temporal Cohesion Learning for UAV-Based Multiple Object Tracking
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Optics and Electronics（光电技术研究所）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
针对无人机多目标跟踪中现有方法忽略时序线索、在复杂场景下性能受限的问题，提出时空凝聚跟踪框架STCMOT，通过时序嵌入增强与时序检测细化模块融合时空特征，在两个公开数据集上刷新MOTA与IDF1指标的最优性能。
2024-09-17 cs.CV
Sparse Regularized Correlation Filter for UAV Object Tracking with adaptive Contextual Learning and Keyfilter Selection
Shanxi University（山西大学）
近年来，相关滤波器由于其高帧速率、鲁棒性和低计算资源等优点，在无人机跟踪中得到了广泛的应用。然而，由于边界效应和滤波器损坏这两个固有缺陷，它是脆弱的。一些方法通过扩大搜索区域来减轻边界效应，但引入了不希望的背景干扰。另一种方法可以通过引入时间正则化器来减轻学习滤波器的时间退化，这取决于连续帧之间的滤波器应该是相干的假设。事实上，有时第（$t-1$）帧处的滤波器易受来自背景的严重遮挡的影响，这导致假设不成立。为了处理这些问题，在这项工作中，我们提出了一种新的$\ell_{1}$正则化相关滤波器与自适应上下文学习和关键滤波器选择无人机跟踪。首先，我们自适应地检测有效的上下文干扰的位置，通过使用先前的相关滤波器模型产生的当前帧的响应图上的局部最大值的分布的援助。接下来，我们消除了不一致的标签跟踪目标删除一个干扰，并制定一个新的评分方案，每个干扰。然后，我们可以从过滤器池中选择关键过滤器，通过寻找当前帧的目标和过滤器池中每个过滤器对应的目标模板之间的最大相似度。最后，在三个权威的无人机数据集上进行了定量和定性实验，实验结果表明该方法优于现有的基于相关滤波框架的跟踪方法。
2022-10-13 cs.CV
TRADE: Object Tracking with 3D Trajectory and Ground Depth Estimates for UAVs
Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）
我们建议贸易强大的跟踪和3D定位的移动目标在杂乱的环境中，从无人机配备了一个单一的相机。最终，TRADE实现了3D感知目标跟踪。检测跟踪方法容易受到目标切换的影响，特别是在相似对象之间。因此，TRADE预测并结合目标3D轨迹，从跟踪器的响应地图中选择正确的目标。与静态环境不同，单摄像机运动目标的深度估计是一个不适定问题。因此，我们提出了一种新的三维定位方法，在复杂地形的地面目标。该算法结合地平面分割、运动恢复深度和单幅图像深度估计，对场景几何进行推理。使用TRADE的好处被证明是跟踪鲁棒性和深度精度在这项工作中模拟的几个动态场景。此外，我们演示了自主目标以下使用热成像相机上运行的四轴飞行器的单板计算机贸易。
2022-10-07 cs.CV cs.RO
A 96pJ/Frame/Pixel and 61pJ/Event Anti-UAV System with Hybrid Object Tracking Modes
Nanyang Technological University（南洋理工大学）；Singapore University of Technology and Design（新加坡科技设计大学）
该系统通过混合目标跟踪模式实现高效能的反无人机检测，采用自适应切换机制和定制神经架构，达到98.2%的识别准确率。
2026-02-05 cs.CV
BuckTales : A multi-UAV dataset for multi-object tracking and re-identification of wild antelopes
Max Planck Institute of Animal Behavior（马克斯·普朗克动物行为研究所）；University of Konstanz（康斯坦茨大学）；Indian Institute of Science（印度科学学院）；BITS Pilani Hyderabad（BITS Pilani海得拉巴校区）
本文提出首个大规模多无人机数据集BuckTales，用于野生羚羊的多目标跟踪与重识别研究，以推动野生动物行为自动化长期监测与计算机视觉算法发展。
2024-11-11 cs.CV
CloudTrack: Scalable UAV Tracking with Cloud Semantics
Department of Computer Science & Artificial Intelligence, University of Technology Nuremberg（计算机科学与人工智能系，图恩堡技术大学）
CloudTrack 提出了一种基于云语义的无人机跟踪方法，能够通过口头描述实现开放词汇物体跟踪，提升搜索和救援任务的自主性和效率。
2025-05-08 cs.CV cs.RO
Towards Robust Visual Tracking for Unmanned Aerial Vehicle with Tri-Attentional Correlation Filters
Tongji University（同济大学）；Hong Kong Polytechnic University（香港理工大学）
近年来，目标跟踪在无人机任务中得到了广泛的应用.然而，现有的算法仍然面临着困难，如部分遮挡，杂乱的背景，和其他具有挑战性的视觉因素。受最前沿的注意力机制的启发，提出了一种利用多层次视觉注意力的目标跟踪框架。三大注意事项，即：上下文注意力、维度注意力和时空注意力被集成到基于相关滤波器的跟踪流水线的训练和检测阶段中。因此，所提出的跟踪器配备了强大的辨别能力，对挑战性的因素，同时保持高的操作效率，在无人机的情况下。在两个著名的基准测试系统上进行的173个具有挑战性的无人机视频序列的定量和定性实验证明了该框架的有效性。在$\sim$ 28帧/秒的速度下，与基线跟踪器相比，所提出的跟踪算法的性能优于12种最先进的跟踪方法，在UAVDT和UAV123@10 fps下分别获得4.8%和8.2%的相对增益。
2020-08-30 cs.CV cs.RO
Strong Baseline: Multi-UAV Tracking via YOLOv12 with BoT-SORT-ReID
The University of Melbourne（墨尔本大学）
本文针对热红外视频中的多无人机跟踪挑战，提出基于YOLOv12和BoT-SORT并辅以定制训练与推理策略的跟踪框架，在无需对比度增强或时间融合下取得优异性能，为该任务提供了强基线。
2025-04-07 cs.AI cs.CV
Large Language Model Guided Progressive Feature Alignment for Multimodal UAV Object Detection
School of Artificial Intelligence, Anhui University（安徽大学人工智能学院）；School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院）；University of Science and Technology of China（中国科学技术大学）
本文提出LPANet，利用大语言模型提取的语义特征渐进引导多模态无人机目标检测中的语义与空间对齐，通过SAM、ESM和ISM三个模块缓解模态间语义差距与空间错位，在两个公开数据集上取得优于现有方法的检测性能。
2025-03-10 cs.AI cs.CV
DARTer: Dynamic Adaptive Representation Tracker for Nighttime UAV Tracking
Nanyang Technological University（南洋理工大学）；Zhongguancun Academy（中关村学院）
针对夜间无人机跟踪因光照、视角变化性能下降的问题，提出含动态特征融合器与激活器的DARTer框架，平衡精度与效率，性能优于现有最先进跟踪器。
2025-05-16 cs.AI cs.CV
Rank-Based Filter Pruning for Real-Time UAV Tracking
Guilin University of Technology（桂林理工大学）；Southern University of Science and Technology（南方科技大学）；Sichuan University（四川大学）
无人机跟踪在农业、航海、公共安全等领域有着广泛的应用前景。然而，无人机的计算资源、电池容量和最大载荷的限制阻碍了基于深度学习的跟踪算法在无人机上的部署。因此，判别相关滤波器（DCF）跟踪器脱颖而出，在无人机跟踪社区，因为他们的高效率。然而，它们的精度通常远低于基于深度学习的跟踪器。模型压缩是一种有希望缩小间隙的方法（即，基于DCF和深度学习的跟踪器之间的效率，精度），这在无人机跟踪中没有引起太多的关注。在本文中，我们提出了P-SiamFC++跟踪器，这是第一个使用基于秩的过滤器修剪压缩SiamFC++模型，实现了效率和精度之间的显着平衡。该方法具有一定的通用性，对进一步研究基于模型压缩的无人机跟踪问题具有一定的参考价值。在UAV123@10fps、DTB 70、UAVDT和Vistrone 2018等四个无人机基准上进行的大量实验表明，P-SiamFC++跟踪器的性能明显优于最先进的无人机跟踪方法。
2022-07-05 cs.CV
Vision-based Anti-UAV Detection and Tracking
无人机在各个领域得到了广泛的应用，其对安全和隐私的侵犯引起了社会的关注。近年来，已经推出了几种用于无人机的检测和跟踪系统，但它们中的大多数都是基于射频、雷达和其他介质。我们假设计算机视觉领域已经足够成熟，可以检测和跟踪入侵的无人机。为此，我们提出了一个可见光模式数据集，简称为大连理工大学反无人机数据集，DUT Anti-UAV。它包含一个包含10，000张图像的检测数据集和一个包含20个视频的跟踪数据集，其中包括短期和长期序列。所有帧和图像都经过精确的手动注释。我们使用这个数据集训练几个现有的检测算法，并评估算法的性能。还在我们的跟踪数据集上测试了几种跟踪方法。此外，我们提出了一个清晰和简单的跟踪算法结合检测，继承了检测器的高精度。大量的实验表明，融合检测后的跟踪性能有了很大的提高，从而为利用我们的数据集进行无人机跟踪提供了新的尝试。https://github.com/wangdongdut/DUT-Anti-UAV
2022-05-22 cs.CV
Dual Prompt-Driven Feature Encoding for Nighttime UAV Tracking
Pratt School of Engineering, Duke University（杜克大学工程学院）；School of Mechanical Engineering, Tongji University（同济大学机械工程学院）；Shanghai Key Laboratory of Wearable Robotics and Human Machine Interaction, Tongji University（同济大学可穿戴机器人与人机交互重点实验室）；School of Computing and Data Science, The University of Hong Kong（香港大学计算与数据科学学院）
本文提出双提示驱动特征编码方法，通过多尺度频率感知光照提示和动态视角提示器提升夜间无人机跟踪的鲁棒性。
2026-03-20 cs.AI cs.CV
Memory Maps for Video Object Detection and Tracking on UAVs
University of Tuebingen（图宾根大学）
提出了一种新的无人机视频目标检测方法。通过合并元数据，所提出的方法创建了一个内存映射的对象位置在实际世界坐标，提供了一个更强大的和可解释的表示对象的位置在这两个，图像空间和现实世界。我们使用这种表示来提高置信度，从而提高了几个时间计算机视觉任务的性能，如视频目标检测，短期和长期的单个和多个目标跟踪，以及视频异常检测。这些发现证实了元数据在增强无人机在时间计算机视觉领域的能力方面的好处，并为该领域的进一步发展铺平了道路。
2023-03-06 cs.AI cs.CV cs.RO
Domain-invariant Progressive Knowledge Distillation for UAV-based Object Detection
College of Computer Science and Software Engineering, Hohai University（河海大学计算机与软件学院）
本文提出一种用于基于UAV的目标检测的领域不变渐进式知识蒸馏框架，通过渐进式蒸馏缓解师生模型特征差异并采用新特征对齐方法提升知识接收效率，在两个数据集上达到SOTA性能。
2024-08-21 cs.CV
Anti-UAV: A Large Multi-Modal Benchmark for UAV Tracking
University of Chinese Academic of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Institute of North Electronic Equipment（北方电子设备研究所）；Baidu Research（百度研究院）
无人机在商业和娱乐方面有着广泛的应用。因此，对无人机运行状态的监控至关重要。在这项工作中，我们考虑跟踪无人机的任务，提供丰富的信息，如位置和轨迹。为了促进对这一主题的研究，我们提出了一个数据集，反无人机，超过300个视频对包含超过580k手动注释的边界框。这样一个大规模数据集的发布可能是跟踪无人机研究的有用的第一步。此外，解决反无人机研究挑战的进展可以帮助设计反无人机系统，从而更好地监视无人机。此外，提出了一种基于双流语义一致性（DFSC）的无人机跟踪方法。通过视频序列的语义流的调制，跟踪器学习更强大的类级语义信息，并获得更多的歧视性的实例级特征。实验结果表明，反无人机是一个非常具有挑战性的，所提出的方法可以有效地提高跟踪器的性能。反无人机基准和拟议方法的代码将在https://github.com/ucas-vg/Anti-UAV上公开。
2021-02-08 cs.CV
ASUMOT: Motion-Consistency-Based Asynchronous UAV Detection and Tracking with Event Cameras
针对远程无人机事件响应问题，提出ASUMOT框架，通过运动一致性建模、局部估计器、多任务验证器和聚类等操作，对无人机进行检测与跟踪，在公共数据和新基准上实验，提升了精度-效率权衡且保持异步处理。
2026-07-14 cs.CV
View Distribution Alignment with Progressive Adversarial Learning for UAV Visual Geo-Localization
Shenyang Aerospace University（沈阳航空航天大学）
本文提出了一种用于无人机视觉地理定位的端到端网络 PVDA，通过渐进式对抗学习策略联合优化特征编码器、位置分类器和视角判别器，实现无人机与卫星视角的分布对齐，从而学习位置依赖且视角不变的特征，在 University-1652 数据集上以更少推理时间取得更优性能。
2024-01-03 cs.CV
Towards Discriminative Representations with Contrastive Instances for Real-Time UAV Tracking
Southern University of Science and Technology（南方科技大学）；Guilin University of Technology（桂林理工大学）
针对无人机跟踪中轻量级模型判别性不足的问题，首次将对比学习引入该领域，通过无标注对比实例学习增强特征判别力，提出的DRCI跟踪器在四个基准上性能超越现有最优方法。
2023-08-22 cs.CV
CST Anti-UAV: A Thermal Infrared Benchmark for Tiny UAV Tracking in Complex Scenes
Nanchang Hangkong University（南昌航空大学）；Beihang University（北京航空航天大学）；Chinese Academy of Sciences（中国科学院）
针对现有反无人机跟踪数据集场景单一、缺乏微型目标的问题，本文构建热红外基准CST Anti-UAV，通过多方法评测验证了现有跟踪器的性能短板，将支撑相关技术迭代。
2025-11-19 cs.CV
Continuity-Aware Latent Interframe Information Mining for Reliable UAV Tracking
Tongji University（同济大学）；Harbin Engineering University（哈尔滨工程大学）
无人机跟踪是无人机自主导航的关键，在机器人自动化领域有着广泛的应用。然而，可靠的无人机跟踪仍然是一个具有挑战性的任务，由于各种困难，如频繁的遮挡和纵横比的变化。此外，大多数现有的工作主要集中在显式信息，以提高跟踪性能，忽略了潜在的帧间连接。为了解决上述问题，这项工作提出了一种新的框架与连续意识的潜在帧间信息挖掘可靠的无人机跟踪，即，ClimRT。提出了一种新的基于连续性的隐帧间信息挖掘网络ClimNet，用于无人机跟踪，该网络能够在相邻帧间生成高效的隐帧。此外，一种新的位置连续性Transformer（LCT）的设计，充分利用连续性感知的时空信息，从而显着提高无人机跟踪。在三个权威的航空基准上进行的大量定性和定量实验有力地验证了ClimRT在无人机跟踪性能方面的鲁棒性和可靠性。最后，通过高空作业平台的实际测试，验证了该方法的实用性和有效性。代码和演示材料在https://github.com/vision4robotics/ClimRT上发布。
2023-03-08 cs.CV cs.RO
Object Detection and Tracking with Autonomous UAV
Huawei Turkey R&D Center（华为土耳其研发中心）；Istanbul University – Cerrahpasa（伊斯坦布尔大学-塞拉赫帕萨分校）
本文以作战无人机为研究对象，建立了作战无人机的仿真模型.旋翼无人机成功地执行了各种任务，如锁定目标，跟踪，并与周围车辆共享相关数据。采用了不同的软件技术，如API通信、地面控制站配置、自主运动算法、计算机视觉和深度学习。
2022-06-26 cs.CV cs.RO
Deep Learning for UAV-based Object Detection and Tracking: A Survey
Beijing Institute of Technology（北京理工大学）；Key Laboratory of Digital Earth Science, Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院数字地球科学重点实验室）；Mississippi State University（密西西比州立大学）
无人机（UAV）由于其高效、灵活的数据采集，近年来成为计算机视觉和遥感领域的研究热点。受深度学习（DL）最近成功的启发，许多先进的目标检测和跟踪方法已广泛应用于各种无人机相关任务，如环境监测、精准农业、交通管理等。本文综述了基于DL的无人机目标检测与跟踪方法的研究进展和展望。更具体地说，我们首先概述的挑战，现有的方法的统计，并提供解决方案的角度基于DL的模型在三个研究课题：从图像中的目标检测，从视频中的目标检测，从视频中的对象跟踪。本文对无人机主导的目标检测和跟踪的开放数据集进行了详尽的分析，并采用了四个基准数据集，采用一些最先进的方法进行了性能评估。最后，对今后的工作进行了展望和总结。希望通过本文的研究，能为遥感领域的研究人员提供一个基于DL的无人机目标检测与跟踪方法的综述，并对其未来发展提出一些思考。
2021-10-25 cs.CV
Benchmarking the Robustness of UAV Tracking Against Common Corruptions
University of North Texas（北得克萨斯大学）；Purdue University（普渡大学）
针对无人机跟踪在常见扰动下鲁棒性评估缺乏平台的问题，提出大规模基准UAV-C，含18种扰动和超10K序列，评估12种算法，发现现有跟踪器易受扰动且复合扰动危害更大。
2024-03-18 cs.CV
Performance Evaluation of Deep Learning-based Quadrotor UAV Detection and Tracking Methods
King Fahd University for Petroleum and Minerals（法赫德石油和矿产大学）
本文在DUT数据集上评估YOLOv5、YOLOv8检测模型与BoT-SORT、Byte Track跟踪器在四旋翼无人机检测跟踪中的性能，发现YOLOv5检测精度更高、YOLOv8对小目标适应性更强，BoT-SORT跟踪更准确稳定。
2024-09-30 cs.CV
