SCT-MOT: Enhancing Air-to-Air Multiple UAVs Tracking with Swarm-Coupled Motion and Trajectory Guidance
China-UAE Belt and Road Joint Laboratory on Intelligent Unmanned Systems of School of Aerospace Engineering, Beijing Institute of Technology(北京理工大学宇航学院中国-阿联酋‘一带一路’智能无人系统联合实验室);School of Aerospace Engineering, Beijing Institute of Technology(北京理工大学宇航学院);School of Information and Computing Science, Xi'an Jiaotong-Liverpool University(西交利物浦大学信息与计算科学学院)
本文提出SCT-MOT框架,通过群体耦合运动建模和轨迹引导特征融合,提升空对空多无人机跟踪的准确性和鲁棒性,实验表明其在复杂群体场景下表现优异。
2026-04-08 cs.CV
Dual approach for object tracking based on optical flow and swarm intelligence
S.A.Jaipuria College(S.A.贾伊普里亚学院);Indian Statistical Institute(印度统计研究所)
在计算机视觉中,目标跟踪是一个非常古老而复杂的问题,虽然已有多种目标跟踪算法,但仍存在许多问题有待解决。例如光照变化、噪声、遮挡、运动目标的突然启动和停止、阴影等,使得目标跟踪不仅在动态背景下是一个复杂的问题,而且在静态背景下也是一个复杂的问题。本文提出了一种基于光流和群体智能的双重目标跟踪方法。基于光流的KLT(Kanade-Lucas-Tomasi)跟踪器,从视频序列的第一帧到最后一帧跟踪目标对象的主导点;而基于群体智能的粒子群算法(粒子群优化)跟踪器从同一视频序列的第二帧到最后一帧同时跟踪目标对象的边界信息。这种跟踪的双重功能使得跟踪器非常鲁棒,针对上述问题。我们的方法的灵活性是,它可以成功地适用于在可变背景以及静态background.We比较性能的建议的双重跟踪算法与几个基准数据集,并获得非常有竞争力的结果,在一般情况下,我们获得了优越的结果,使用双重跟踪算法。我们还比较了所提出的双跟踪器的性能与现有的一些基于粒子群算法的跟踪,并取得了更好的效果。
2021-08-01 cs.CV cs.NE
Refined Particle Swarm Intelligence Method for Abrupt Motion Tracking
University of Malaya(马来亚大学);University of West England(西英格兰大学);Kingston University(金斯顿大学)
传统的跟踪解决方案是不可行的,在处理突然的运动,因为他们是基于平滑的运动假设或准确的运动模型。突然运动不受运动连续性和平滑性的影响。为了缓解这一点,我们认为跟踪是一个优化问题,并提出了一种新的基于群体智能的突变运动跟踪器-SwaTrack。与现有的基于群的过滤方法不同,我们首先引入了一个优化的基于群的采样策略,在搜索最优建议分布的搜索空间的探索和利用之间进行权衡。其次,我们提出了动态加速参数(DAP)允许动态调整的最佳均值和方差的分布采样。这种创新性的思想是将这些策略巧妙地结合到粒子群算法框架中来处理突变运动,这是迄今为止还没有发现的,定量和定性的实验结果都表明了该方法在跟踪突变运动方面的有效性。
2014-10-14 cs.CV cs.NE
Object Tracking based on Quantum Particle Swarm Optimization
Indian Statistical Institute(印度统计研究所)
在计算机视觉领域中,运动目标跟踪被认为是最困难的问题之一,由于存在光照、噪声、遮挡、运动目标的突然启动和停止等多种因素,本文提出了一种新的基于量子粒子的目标跟踪算法,该算法基于目标上的主导点,利用量子粒子的运动特性,对目标进行跟踪群优化算法(QPSO)是基于量子理论的一种新的粒子群优化算法。该方法的新颖之处在于,它不仅适用于静态背景,也适用于可变背景,而且量子粒子群算法的引入使算法的运行速度大大提高,克服了其他基本粒子群算法由于计算量大而无法达到的缺点。然后,在图像搜索空间上随机初始化形成群的一组粒子,然后开始搜索两个连续主导点之间连接的曲率,直到它们满足适应度准则。显然,这是一种多群方法,因为有多个主导点,当它们移动时,曲率移动,曲率移动在整个视频中被群跟踪,最终当群达到最优解时,实验结果表明,该方法在动态和静态情况下都能有效地跟踪视觉目标环境和运行时间表明,它运行接近90%的速度比基本的PSO.in我们的方法,我们还应用并行使用MatLab Parfor命令,以显示如何非常少的迭代次数和群大小将使我们能够成功地跟踪对象。
2017-05-24 cs.AI cs.CV
Autonomous Drone Swarm Navigation and Multi-target Tracking in 3D Environments with Dynamic Obstacles
Pakistan Institute of Engineering Applied Sciences(巴基斯坦工程应用科学学院);University of Azad Jammu and Kashmir(自由查谟和克什米尔大学)
针对复杂三维动态环境下无人机集群导航与多目标跟踪难题,提出含动态集群管理、避障寻路及目标跟踪与岛屿建模的三阶段深度强化学习策略,实现集群分裂合并并有效跟踪多类目标。
2022-02-13 cs.AI cs.CV cs.RO
Watching Swarm Dynamics from Above: A Framework for Advanced Object Tracking in Drone Videos
Technical University Berlin(柏林工业大学);Leibniz Institute for Freshwater Ecology and Inland Fisheries(莱布尼茨淡水生态与内陆渔业研究所);Univ. Grenoble Alpes(格勒诺布尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);Science of Intelligence, Research Cluster of Excellence(科学智慧卓越研究集群)
该研究提出一种基于粒子滤波与语义分割的无人机视频跟踪框架,通过融合视频与机载GPS/IMU数据,首次实现对开阔海域鱼群在世界坐标系中的长期非侵入式跟踪,用于自然情境下的集体行为研究。
2024-06-11 cs.CV
Edge-Aware Thermal Infrared UAV Swarm Tracking
The University of Melbourne(墨尔本大学)
研究在视觉退化环境中热红外无人机群跟踪难题,提出以自适应运动卡尔曼滤波器为中心的边缘感知在线跟踪管道,结合相关技术提升轨迹连续性,通过实验联合评估性能与效率,为实时部署提供见解。
2026-07-15 cs.CV cs.RO
Real-time Tracking Based on Neuromrophic Vision
Tsinghua University(清华大学)
实时的【形】跟踪是计算机视觉中的一个重要问题,目前大多数方法都是基于传统的摄像机。神经形态视觉是将神经形态视觉传感器如硅视网膜结合到视觉处理系统中而定义的概念。近年来,随着硅技术的发展,基于事件的非同步硅视网膜被开发出来,模拟神经生物学结构。在这项工作中,我们结合计算机视觉的视觉跟踪算法与基于事件的传感器的信息编码机制,这是灵感来自神经速率编码机制。实现了对单个目标的实时的【形】跟踪,具有每秒100个时间点的速度快的优点。该方法表明,计算机视觉方法可以用于神经形态视觉处理,与传统的摄像机相比,神经形态视觉传感器可以实现快速的实时的【形】跟踪。
2015-10-18 cs.CV
Enhanced discrete particle swarm optimization path planning for UAV vision-based surface inspection
Vietnam National University(越南国立大学);University of Technology Sydney(悉尼科技大学)
在建筑基础设施监控中,高效的路径规划算法对于使用计算机视觉进行大型表面的机器人检测至关重要。在这项工作中,我们首先制定的检查路径规划问题作为一个扩展的旅行商问题(TSP),其中的覆盖范围和避障都考虑在内。然后提出了一种改进的离散粒子群优化算法(DPSO)来求解TSP,通过使用确定性初始化,随机变异和边缘交换来提高性能。最后,我们利用并行计算的优势,实现DPSO在基于GPU的框架,使计算时间可以显着减少,同时保持硬件要求不变。为了证明所提出的算法的有效性,实验结果包括从无人机检查的办公楼和桥梁获得的数据集。
2017-06-14 cs.AI cs.CV cs.RO
Learning Vision-based Flight in Drone Swarms by Imitation
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
今天部署的分散式无人机群要么依赖于代理之间的位置共享,要么依赖于视觉标记的帮助来检测群成员。本文提出了一种基于模仿学习的无标记无人机群的视觉协调方法。每个智能体都由一个小而高效的卷积神经网络控制,该网络将原始全向图像作为输入,并预测与群集算法计算的速度相匹配的3D速度命令。我们开始在仿真中训练,并提出了一个简单而有效的无监督领域自适应方法,将学习到的控制器转移到现实世界中。我们进一步训练控制器与我们的动作捕捉大厅收集的数据。我们表明,在无人机的视觉输入上训练的卷积神经网络不仅可以学习鲁棒的智能体间碰撞避免,而且可以以样本高效的方式学习群的凝聚力。神经控制器有效地学习在视觉输入中定位其他代理,我们通过可视化对代理运动影响最大的区域来显示。我们删除的依赖群成员之间的共享位置只考虑本地视觉信息的控制。因此,我们的工作可以被视为迈向完全分散的、基于视觉的群体的第一步,而不需要通信或视觉标记。
2019-08-08 cs.CV cs.LG cs.MA
Beyond Tracking: Using Deep Learning to Discover Novel Interactions in Biological Swarms
University of Lincoln(林肯大学);Arizona State University(亚利桑那州立大学)
大多数用于理解生物群体的深度学习框架都被设计为将群体行为的感知模型与个体级数据相匹配(例如,个体的所识别特征的空间坐标),其已经从视频观察中单独地收集。尽管在自动跟踪方面取得了相当大的进展,但当同时跟踪大量动物时,这些方法仍然非常昂贵或不可靠。此外,这种方法假设人类选择的特征包括足够的特征来解释集体行为中的重要模式。为了解决这些问题,我们建议训练深度网络模型,以直接从整个视图的通用图形特征预测系统级状态,这可以相对便宜地以完全自动化的方式收集。由于所得到的预测模型不是基于人类理解的预测因子,因此我们使用解释性模块(例如,Grad-CAM)将隐藏在深层网络模型的潜在变量中的信息与视频数据本身相结合,以向人类观察者传达观察到的个人行为的哪些方面在预测群体行为方面最具信息性。这代表了行为生态学中增强智能的一个例子--人类-人工智能团队中的知识共同创造。作为概念证明,我们利用一个超过50只Harpegnathos saltator蚂蚁的殖民地的20天视频记录来展示,在没有任何单独注释的情况下,经过训练的模型可以在视频帧中生成一个“重要性地图”,以突出重要行为的区域,例如决斗(AI没有先验知识),这在生殖层次结构重建的解决方案中发挥作用。根据实证结果,我们还讨论了潜在的用途和当前的挑战。
2021-08-20 cs.CE cs.CV cs.NE
Combining Vision and EMG-Based Hand Tracking for Extended Reality Musical Instruments
Queen Mary University of London(伦敦玛丽女王大学)
针对扩展现实中基于视觉的手部追踪易受自遮挡影响的问题,提出结合视觉与sEMG数据的多模态手部追踪系统,经多手势任务验证,可显著提升易自遮挡手指关节的追踪精度,增强XR体验。
2023-07-13 cs.CV
VGAI: End-to-End Learning of Vision-Based Decentralized Controllers for Robot Swarms
Texas A&M University(得克萨斯农工大学);University of Pennsylvania(宾夕法尼亚大学);University of Texas at Austin(得克萨斯大学奥斯汀分校)
机器人群体的分散协调需要解决局部感知和行动之间的紧张关系,并实现全局目标。在这项工作中,我们建议仅基于原始视觉输入来学习分散控制器。这是第一次将两个关键组成部分的学习整合在一个端到端的框架中:通信和视觉感知。更具体地说,我们认为每个机器人都可以获得周围环境的视觉感知,以及从其他相邻机器人发送和接收消息的通信能力。我们提出的学习框架结合了每个机器人的卷积神经网络(CNN)从视觉输入中提取消息,以及整个群的图形神经网络(GNN)来传输,接收和处理这些消息,以便决定行动。使用GNN和本地运行的CNN自然会产生分散的控制器。我们联合训练CNN和GNN,以便每个机器人学会从图像中提取适合整个团队的信息。我们的实验证明了所提出的架构在无人机群集的问题,并显示其有前途的性能和可扩展性,例如,成功实现由多达75架无人机组成的大型机群的分散群集。
2020-12-10 cs.CV cs.SY eess.SY
Learning Vision-based Cohesive Flight in Drone Swarms
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
本文提出了一种数据驱动的方法,从一个简单的群集算法学习基于视觉的集体行为。我们模拟了一群四旋翼无人机,并将控制器制定为回归问题,其中我们直接从原始相机图像生成3D速度命令。该数据集是通过同时采集全向图像和从群集算法计算相应的控制命令来创建的。我们表明,在无人机的视觉输入上训练的卷积神经网络不仅可以学习鲁棒的碰撞避免,而且可以以样本高效的方式学习群的一致性。神经控制器有效地学习在视觉输入中定位其他代理,我们通过可视化对代理运动影响最大的区域来显示。该弱监督显著图可以被有效地计算,并且可以用作其他代理的后续检测和相对定位的先验。我们消除了依赖于羊群成员之间的共享位置,只考虑本地的视觉信息控制。因此,我们的工作可以被视为迈向完全分散的、基于视觉的群体的第一步,而不需要通信或视觉标记来帮助检测其他代理。
2018-09-03 cs.CV cs.LG cs.MA
Divert More Attention to Vision-Language Object Tracking
针对视觉跟踪难从VL学习获益的问题,本文构建了超23000个视频的VL跟踪数据库,提出含非对称架构搜索、ModaMixer和对比损失的统一自适应VL表示框架,在6个基准上显著提升3种不同跟踪基线的性能。
2023-07-19 cs.CV
Computer Vision-aided Atom Tracking in STEM Imaging
Oak Ridge National Laboratory(橡树岭国家实验室)
为了解决SMC'17数据挑战-“材料属性的原子分辨图像数据采掘”,我们首先使用计算机视觉中开发的经典“斑点检测”算法来识别每个STEM图像帧中的所有原子中心。在最近邻分析的帮助下,我们找到并标记了所有STEM框架共同的每个原子中心,并跟踪了钼或硒原子在给定时间间隔内的运动。
2018-09-13 cs.CV
A Survey of Fish Tracking Techniques Based on Computer Vision
College of Information and Electrical Engineering, China Agricultural University(中国农业大学信息与电气工程学院);National Innovation Center for Digital Fishery, Ministry of Agriculture and Rural Affairs(农业农村部数字渔业创新中心);College of Engineering, China Agricultural University(中国农业大学工学院)
该综述梳理了2017-2023年基于计算机视觉的鱼类跟踪技术进展,涵盖核心方法、辅助插件、数据集与挑战等内容,为该领域后续研究提供参考与方向指引。
2023-11-06 cs.CV
Is First Person Vision Challenging for Object Tracking?
University of Udine(乌迪内大学);University of Catania(卡塔尼亚大学)
理解人与物体的交互是第一人称视觉(FPV)的基础。跟踪由相机佩戴者操纵的对象的跟踪算法可以提供有用的线索以有效地对这种交互进行建模。计算机视觉文献中可用的视觉跟踪解决方案在过去几年中针对各种各样的目标对象和跟踪场景显著提高了它们的性能。然而,尽管之前有几次尝试利用FPV应用程序中的跟踪器,但仍然缺少对该领域中最先进的跟踪器的性能的系统分析。在本文中,我们填补了空白,提出了第一个系统的研究FPV中的对象跟踪。我们的研究广泛地分析了最近的视觉跟踪器和基线FPV跟踪器的性能,从不同的方面考虑,并考虑一个新的性能指标。这是通过TREK-150实现的,TREK-150是一个由150个密集注释的视频序列组成的新基准数据集。我们的研究结果表明,FPV中的对象跟踪是具有挑战性的,这表明,更多的研究工作应该致力于这个问题,使跟踪可以受益于FPV任务。
2021-08-31 cs.CV
MambaVLT: Time-Evolving Multimodal State Space Model for Vision-Language Tracking
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
本文提出MambaVLT,利用Mamba状态空间模型的时间演化能力,结合时间演化混合状态空间块、选择性局部增强块和模态选择模块,实现鲁棒的视觉-语言多模态目标跟踪。
2024-11-23 cs.CV
BioTracker: An Open-Source Computer Vision Framework for Visual Animal Tracking
Freie Universität Berlin(柏林自由大学);University of Applied Science Kempten(肯普滕应用科学大学);Humboldt-Universität zu Berlin(柏林洪堡大学);Leibniz-Institute of Freshwater Ecology and Inland Fisheries(莱布尼茨淡水生态与内陆渔业研究所)
动物行为的研究越来越依赖于从视频或图片数据中提取相关行为特征的(半)自动方法。迄今为止,存在几种专门的软件产品来检测和跟踪动物在简单(实验室)环境中的位置。然而,在动物的自然环境中跟踪动物通常需要针对特定问题的图像特征对图像处理算法进行大量定制。在这里,我们介绍BioTracker,一个开源的计算机视觉框架,它为程序员提供了核心功能,这些功能是跟踪软件的重要组成部分,例如视频I/O,图形叠加以及鼠标和键盘接口。BioTracker还提供了许多不同的跟踪算法,适用于各种图像记录条件。然而,BioTracker的主要功能是直接实现新的特定问题跟踪模块和视觉算法,这些模块和算法可以建立在BioTracker的核心功能之上。有了这个开源框架,科学界可以加速他们的研究,并专注于新视觉算法的开发。
2018-03-21 cs.CV
Vision-based Anti-UAV Detection and Tracking
无人机在各个领域得到了广泛的应用,其对安全和隐私的侵犯引起了社会的关注。近年来,已经推出了几种用于无人机的检测和跟踪系统,但它们中的大多数都是基于射频、雷达和其他介质。我们假设计算机视觉领域已经足够成熟,可以检测和跟踪入侵的无人机。为此,我们提出了一个可见光模式数据集,简称为大连理工大学反无人机数据集,DUT Anti-UAV。它包含一个包含10,000张图像的检测数据集和一个包含20个视频的跟踪数据集,其中包括短期和长期序列。所有帧和图像都经过精确的手动注释。我们使用这个数据集训练几个现有的检测算法,并评估算法的性能。还在我们的跟踪数据集上测试了几种跟踪方法。此外,我们提出了一个清晰和简单的跟踪算法结合检测,继承了检测器的高精度。大量的实验表明,融合检测后的跟踪性能有了很大的提高,从而为利用我们的数据集进行无人机跟踪提供了新的尝试。https://github.com/wangdongdut/DUT-Anti-UAV
2022-05-22 cs.CV
Bridging Vision and Language for Robust Context-Aware Surgical Point Tracking: The VL-SurgPT Dataset and Benchmark
针对手术点跟踪因复杂视觉条件及缺乏语义上下文导致的挑战,本文构建首个多模态VL-SurgPT数据集,提出文本引导的TG-SurgPT方法,显著提升恶劣场景下跟踪精度与可靠性,为上下文感知手术跟踪系统提供基准支持。
2025-11-15 cs.CV
Track, then Decide: Category-Agnostic Vision-based Multi-Object Tracking
Visual Computing Institute, RWTH Aachen University(亚琛工业大学视觉计算研究所)
基于视觉的多目标跟踪最常见的范例是检测跟踪,这是因为对于几个重要的目标类别(如汽车和行人),可靠的检测器是可用的。然而,未来的移动系统将需要有能力应对丰富的人造环境,在这种环境中,为每一种可能的物体类别获取探测器是不可行的。在本文中,我们提出了一个无模型的多目标跟踪方法,使用一个类别无关的图像分割方法来跟踪对象。我们提出了一个有效的分割掩模为基础的跟踪器相关联的像素精确的掩模报告的分割。我们的方法可以利用语义信息,只要它是可用于分类对象的轨道水平,同时保留跟踪通用的未知对象的能力,在没有这样的信息。我们的实验表明,我们的方法实现的性能与最先进的跟踪检测方法的流行的对象类别,如汽车和行人。此外,我们表明,该方法可以发现和鲁棒跟踪各种各样的其他对象。
2017-12-21 cs.CV
Efficient Language-to-Vision Feature Injection for Referring Single-Object Tracking
Technology and Engineering Center for Space Utilization, Chinese Academy of Sciences(中国科学院空间应用工程与技术中心);University of Chinese Academy of Sciences(中国科学院大学)
本文提出LVTrack纯Transformer框架,通过模式条件门控特征注入器等设计缓解语义漂移,利用冻结的视觉-语言预训练模型降低训练成本,在指称单目标跟踪任务的标准基准上取得优异性能。
2026-09-01 cs.CV
Is Tracking really more challenging in First Person Egocentric Vision?
University of Udine(乌迪内大学);York University(约克大学)
针对现有研究认为第一人称自我中心视觉跟踪更具挑战但评估场景差异大的问题,该研究提出新型基准测试以分离视角与人-物活动领域的影响,明确难点来源以推动任务发展。
2025-07-21 cs.CV
Is First Person Vision Challenging for Object Tracking?
University of Udine(乌迪内大学);University of Catania(卡塔尼亚大学)
理解人与物体的交互是第一人称视觉(FPV)的基础。跟踪由相机佩戴者操纵的对象的跟踪算法可以提供有用的线索以有效地对这种交互进行建模。尽管之前有一些尝试利用FPV应用程序中的跟踪器,但仍然缺少对该领域中最先进的视觉跟踪器的性能的系统分析。在这篇简短的论文中,我们回顾了FPV中对象跟踪的第一次系统研究。我们的工作广泛分析了最近和基线FPV跟踪器在不同方面的性能。这是通过TREK-150实现的,TREK-150是一个由150个密集注释的视频序列组成的新基准数据集。结果表明,更多的研究工作应该致力于这个问题,使跟踪可能有利于FPV任务。本文的完整版本可在arXiv:2108.13665上获得。
2021-09-24 cs.CV
An Improved Tracking using IMU and Vision Fusion for Mobile Augmented Reality Applications
TCS Innovation Labs(TCS创新实验室)
移动增强现实(MAR)正在成为一个重要的信息物理系统的应用,由于无处不在的手机。随着在无准备的环境中操作的需要,准确和鲁棒的配准和跟踪已成为一个重要的研究问题,以解决。事实上,当MAR用于涉及大距离的远程交互应用时,例如从事故现场到保险办公室,在两端的跟踪是期望的,并且进一步地,适当地融合惯性和视觉传感器数据是必要的。在本文中,我们提出的结果,并讨论了一些见解,在无标记跟踪的原型开发过程中获得的一个示例用例有关的故障或损坏评估的车辆。本文的新颖之处在于将不同的组件和模块结合在一起,并对一个完整的工作系统进行适当的增强。
2014-11-10 cs.CV
Divert More Attention to Vision-Language Tracking
Beijing Jiaotong University(北京交通大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of North Texas(北得克萨斯大学)
依靠Transformer进行复杂的视觉特征学习,对象跟踪已经成为最先进技术(SOTA)的新标准。然而,这种进步伴随着更大的训练数据和更长的训练周期,使得跟踪越来越昂贵。在本文中,我们证明了对Transformer的依赖是不必要的,纯ConvNets在实现SOTA跟踪方面仍然具有竞争力,甚至更好,更经济和友好。我们的解决方案是释放多模态视觉语言(VL)跟踪的力量,只需使用ConvNets。其本质在于使用我们的模态混合器(ModaMixer)和非对称ConvNet搜索来学习新的统一自适应VL表示。我们表明,我们的统一自适应VL表示,纯粹使用ConvNets学习,是Transformer视觉特征的简单而强大的替代品,通过令人难以置信地将基于CNN的Siamese跟踪器在SUC中提高了14.5%,挑战LaSOT(50.7% > 65.2%),甚至优于几个基于Transformer的SOTA跟踪器。除了实证结果,我们从理论上分析我们的方法来证明其有效性。通过揭示VL表示的潜力,我们期望社区将更多注意力转移到VL跟踪上,并希望为Transformer之外的未来跟踪开辟更多可能性。代码和模型将在https://github.com/JudasDie/SOTS上发布。
2022-07-03 cs.CV
Towards Unified Token Learning for Vision-Language Tracking
Guangxi Normal University(广西师范大学);University of Chinese Academy of Sciences(中国科学院大学);Xiamen University(厦门大学)
本文提出将视觉语言跟踪建模为token生成任务的MMTrack框架,通过序列化语言描述与边界框、自回归预测坐标、统一交叉熵损失降低建模复杂度,在多个基准上取得优于现有最优方法的效果。
2023-08-27 cs.CV
Stereo Vision-based Semantic 3D Object and Ego-motion Tracking for Autonomous Driving
Hong Kong University of Science and Technology(香港科技大学)
提出了一种基于立体视觉的方法,用于跟踪动态自动驾驶场景中的摄像机自我运动和3D语义对象。而不是直接回归的3D限界框使用端到端的方法,我们建议使用易于标记的2D检测和离散的观点分类与轻量级的语义推理方法,以获得粗略的3D对象测量。基于在动态环境中具有鲁棒性的目标感知辅助摄像机姿态跟踪,结合融合时间稀疏特征对应的动态目标光束平差(BA)方法和语义三维测量模型,获得了具有实例精度和时间一致性的三维目标姿态、速度和锚定动态点云估计。我们提出的方法的性能在不同的场景中得到了证明。自我运动估计和对象定位与国家的最先进的解决方案进行了比较。
2018-11-29 cs.CV
Similarity-Guided Layer-Adaptive Vision Transformer for UAV Tracking
Guangxi Normal University(广西师范大学)
针对无人机跟踪中ViT层表示冗余问题,提出相似性引导的层自适应方法,动态保留最优层并构建SGLATrack,在六个基准上实现最先进实时速度与竞争性精度。
2025-03-09 cs.CV
Motion-Aware Vision-Reference Alignment for Referring Multi-Object Tracking
Shanghai University(上海大学);PAII Inc.(PAII公司)
VMRMOT通过多模态大语言模型实现视觉-运动-参考对齐,提升指称多目标跟踪的性能。
2026-08-25 cs.CV
Lightweight RGB-T Tracking with Mobile Vision Transformers
Department of Electrical and Computer Engineering(电气与计算机工程系);Concordia University(康科迪亚大学)
本文提出了一种基于MobileViT的轻量级RGB-T跟踪器,通过渐进融合框架和可分离混合注意力模型,实现低参数量和高实时性能的多模态跟踪。
2026-02-02 cs.CV
Swarm Intelligence in Geo-Localization: A Multi-Agent Large Vision-Language Model Collaborative Framework
City University of Hong Kong(香港城市大学);University of Science and Technology of China(中国科学技术大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
提出smileGeo框架,利用多个具备互联网访问能力的LVLM智能体协作通信与动态学习策略,结合检索信息优化地理定位,在三个数据集上显著超越现有方法。
2024-10-15 cs.AI cs.CV
Kinematics of motion tracking using computer vision
University of Seville(塞维利亚大学)
本文介绍了运动学的刚体运动跟踪使用视频记录。本文的新颖之处在于将计算机视觉中使用的方法和术语与多体系统动力学中使用的方法和术语相结合。这样,这里提出的方程可以用于例如由选定物体的运动跟踪驱动的逆动力学多体仿真。本文还适应了著名的张校准方法所提出的命名。
2020-07-19 cs.CV eess.IV
Low Cost Embedded Vision System For Location And Tracking Of A Color Object
Instituto Nacional de Astrofísica, Óptica y Electrónica(国家天体物理、光学与电子学研究所);Escuela Politécnica Nacional(国立理工学院)
本文介绍了一种嵌入式视觉系统的发展,用于检测,定位和跟踪的彩色物体,它利用一个单一的32位微处理器来获取图像数据,处理,并根据解释的数据执行动作。该系统旨在用于需要利用人工视觉来检测、定位和跟踪彩色对象的应用,其目标是以减小的尺寸、功耗和成本来实现。
2022-07-28 cs.CV eess.IV
Simplified_edition_Multi-robot SLAM Multi-view Target Tracking based on Panoramic Vision in Irregular Environment
Beijing University Of Chemical Technology(北京化工大学)
为了提高多机器人SLAM多视目标跟踪过程的精度,提出了一种改进的不规则环境下基于全景视觉的多机器人SLAM多视目标跟踪算法,通过加入修正因子更新现有的扩展卡尔曼滤波器(EKF)模型,经过两次迭代得到新的坐标X和Y。该论文已被《科学计算与可视化》杂志接受,这是一个简化版本。
2019-11-22 cs.CV cs.RO
Vision-Based Guidance for Tracking Dynamic Objects
University of Texas at Arlington(德克萨斯大学阿灵顿分校)
在本文中,我们提出了一种新的基于视觉的框架跟踪动态目标的制导律的基础上交会锥的方法。这些制导律使配备单目摄像机的无人驾驶飞机系统能够连续跟踪传感器视场内的移动物体。我们识别和分类的特征点估计器,用于管理闭塞的发生在跟踪过程中,在一个排他性的方式。此外,我们开发了一个开源的仿真环境,并进行了一系列的模拟,以显示我们的方法的有效性。
2022-05-15 cs.CV cs.RO
MosquitoFusion: A Multiclass Dataset for Real-Time Detection of Mosquitoes, Swarms, and Breeding Sites Using Deep Learning
United International University(联合国际大学)
本文提出基于多类别数据集MosquitoFusion的实时蚊子检测方法,利用预训练YOLOv8模型实现蚊子、蚊群和繁殖地识别,并结合GIS分析空间模式。
2024-04-01 cs.CV cs.LG
SGDViT: Saliency-Guided Dynamic Vision Transformer for UAV Tracking
Tongji University(同济大学);the University of Hong Kong(香港大学)
基于视觉的目标跟踪已经推动了无人机(UAV)的广泛自主应用。然而,在无人机跟踪中遇到的飞行机动和视点的动态变化,如纵横比变化和尺度变化,构成了显着的困难。常规的互相关操作虽然通常使用,但在有效地捕获感知相似性方面具有限制,并且结合了无关的背景信息。为了减轻这些限制,这项工作提出了一种新的显着性引导的动态视觉Transformer(SGDViT)的无人机跟踪。该方法设计了一个新的任务特定的对象显著性挖掘网络,以改善互相关运算,并有效地区分前景和背景信息。此外,显著性自适应嵌入操作基于初始显著性动态地生成令牌,从而降低了Transformer架构的计算复杂性。最后,轻量级的显著性过滤Transformer进一步细化显著性信息,并增加对外观信息的关注。通过对三种广泛使用的无人机跟踪基准和真实场景的实验,对所提出的方法的有效性和鲁棒性进行了全面评估,结果表明了其优越性。源代码和演示视频可以在https://github.com/vision4robotics/SGDViT上找到。
2023-03-08 cs.CV cs.RO
Siamese Object Tracking for Vision-Based UAM Approaching with Pairwise Scale-Channel Attention
Tongji University(同济大学);Tsinghua University(清华大学);The University of Hong Kong(香港大学)
虽然无人机的操纵已经得到了广泛的研究,基于视觉的无人机接近,这是后续操作的关键,一般缺乏有效的设计。视觉UAM方法的关键在于对象跟踪,而当前UAM跟踪通常依赖于昂贵的基于模型的方法。此外,UAM方法往往面临更严重的目标尺度变化问题,这使得它不适合直接采用最先进的无模型Siamese为基础的方法从目标跟踪领域。为了解决上述问题,这项工作提出了一种新的连体网络与成对尺度通道注意力(SiamSA)的基于视觉的UAM接近。具体来说,SiamSA由成对尺度通道注意力网络(PSAN)和尺度感知锚点建议网络(SA-APN)组成。PSAN获取有价值的尺度信息用于特征处理,而SA-APN主要将尺度感知附加到锚点建议中。此外,一个新的跟踪基准UAM接近,即UAMT 100,被记录在一个飞行的UAM平台上的35 K帧进行评估。在基准测试和实际测试上的详尽实验验证了SiamSA的效率和实用性,具有良好的速度。代码和UAMT 100基准现在都可以在https://github.com/vision4robotics/SiamSA上获得。
2022-11-26 cs.CV cs.RO
The Progression of Transformers from Language to Vision to MOT: A Literature Review on Multi-Object Tracking with Transformers
University of Illinois(伊利诺伊大学)
本文是一篇文献综述,梳理了Transformer从自然语言处理到计算机视觉的应用演进,重点分析了其在多目标跟踪(MOT)领域的研究进展,指出Transformer在前沿MOT工作中已具备竞争力但仍不及传统深度学习方法。
2024-06-24 cs.AI cs.CV
GReTA - a novel Global and Recursive Tracking Algorithm in three dimensions
Istituto Sistemi Complessi, Consiglio Nazionale delle Ricerche(国家研究委员会复杂系统研究所);Università Sapienza(罗马第一大学);Bublcam Technology Inc.(Bublcam技术公司);Università Roma Tre(罗马第三大学)
跟踪多个移动目标可以定量测量系统中的动态行为,如生物学中的动物群体,流体动力学中的湍流以及人群和交通控制。在三维中,跟踪多个目标变得越来越困难,因为光学遮挡是非常可能的,即两个无特征的目标经常重叠几帧。在生物群体中,如鸟群、鱼群和昆虫群,遮挡现象特别频繁,这一事实严重限制了过去的集体动物行为领域研究。本文提出了一种三维跟踪方法,在严重遮挡的情况下是鲁棒的。为了确保鲁棒性,我们采用了一种全局优化方法,可以同时处理所有对象和帧。为了实现实用性和可扩展性,我们采用了分而治之的配方,由于该问题的计算复杂性降低了数量级。我们用合成数据、鸟群和昆虫群的实验数据以及公共基准数据集测试了我们的算法,结果表明,我们的系统为数百个严重重叠的移动目标产生了高质量的轨迹。非常异构的数据上获得的结果表明,我们的方法的潜在适用性,最多样化的实验情况。
2015-04-17 cs.CV q-bio.QM
A Low Cost Vision Based Hybrid Fiducial Mark Tracking Technique for Mobile Industrial Robots
University of Jazan(贾赞大学)
机器人视觉领域发展迅速。机器人可以智能地做出反应,并通过感知计算为用户活动提供帮助。由于工业应用提出了人类无法处理的复杂要求,因此需要一种有效的低成本和鲁棒的技术来跟踪移动工业机器人。现有的基于传感器的移动机器人跟踪技术是昂贵的,部署,配置和维护复杂。其中一些还需要专用且通常昂贵的硬件。本文提出了一种低成本的视觉为基础的技术称为混合基准标记跟踪(HFMT)技术的跟踪移动工业机器人。HFMT技术需要现成的硬件(CCD摄像头)和可打印的2-D圆形标记用作基准,用于跟踪预处理器上的移动工业机器人定义的路径。该技术允许机器人跟踪一个预定义的路径,通过使用基准检测右和左转弯的路径和白色地带跟踪路径。HFMT技术的实现和测试的室内移动机器人在我们的实验室机器人在真实环境中导航的实验结果证实了我们的方法简单而鲁棒,可以在人类无法工作的任何恶劣工业环境中采用。
2012-09-29 cs.CV cs.RO
Benchmarking Vision-Based Object Tracking for USVs in Complex Maritime Environments
Khalifa University Center for Autonomous Robotic Systems (KUCARS)(卡利法大学自主机器人系统中心);Khalifa University(卡利法大学)
本文提出了一种针对USVs的视觉引导目标跟踪框架,结合先进算法与控制系统,在复杂海洋环境中实现高鲁棒性的目标跟踪。
2024-12-10 cs.CV cs.RO
ReasoningTrack: Chain-of-Thought Reasoning for Long-term Vision-Language Tracking
School of Computer Science and Technology, Anhui University(安徽大学计算机科学与技术学院);School of Artificial Intelligence, Shanghai Jiao Tong University(上海交通大学人工智能学院);School of Electronic and Information Engineering, Anhui University(安徽大学电子与信息工程学院)
本文提出基于Qwen2.5-VL的推理式视觉-语言跟踪框架ReasoningTrack,结合SFT与GRPO优化推理,并构建含200序列的长期基准TNLLT,实验验证其有效性。
2025-08-07 cs.AI cs.CV cs.LG
Dynamic Parsing and Updating Natural Language Specification using VLMs for Robust Vision-Language Tracking
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学深圳分校);Peng Cheng Laboratory, Shenzhen(鹏城实验室深圳分部);Shenzhen Graduate School, Peking University(北京大学深圳研究生院)
提出语言依赖解析机制提取跟踪核心成分,并利用Qwen-VL进行成分感知的文本更新,在多个基准上取得一致优越性能。
2026-06-28 cs.AI cs.CV cs.LG
Open-VICO: An Open-Source Gazebo Toolkit for Vision-based Skeleton Tracking in Human-Robot Collaboration
Istituto Italiano di Tecnologia(意大利技术研究院);Politecnico di Milano(米兰理工大学)
仿真工具对于机器人研究至关重要,特别是对于那些安全至关重要的领域,例如人机协作(HRC)。然而,它是具有挑战性的,以模拟人类的行为,现有的机器人模拟器没有集成功能的人类模型。这项工作介绍了Open-VICO,这是一个开源工具包,用于在Gazebo中集成虚拟人体模型,重点关注基于视觉的人体跟踪。特别是,Open-VICO允许在同一个仿真环境中结合逼真的人体运动学模型,多摄像机视觉设置和人体跟踪技术以及众多的机器人和传感器模型,这要归功于Gazebo。将预先记录的人体骨骼运动与运动捕捉系统相结合的可能性拓宽了人机交互(HRI)设置中人类行为分析的前景。为了描述功能并强调工具包的潜力,从该领域的相关文献挑战中选择了四个具体示例,使用我们的模拟工具开发:i)模拟中的3D多RGB-D相机校准,ii)基于OpenPose创建合成人体骨骼跟踪数据集,iii)模拟中人体骨骼跟踪的多相机场景,以及iv)人机交互示例。这项工作的关键是创建一个简单的管道,我们希望这将激励研究新的基于视觉的算法和方法,用于轻量级的人类跟踪和灵活的人机应用。
2022-10-04 cs.CV cs.HC cs.RO
New approach for solar tracking systems based on computer vision, low cost hardware and deep learning
CIESOL Research Centre for Solar Energy(CIESOL太阳能研究中心);University of Almería(阿尔梅里亚大学)
在这项工作中,太阳跟踪系统的一种新方法。由于当前系统在成本和操作问题方面的限制,已经开发了一种基于低成本、计算机视觉开放硬件和深度学习的新方法。在Plataforma solar de Almeria(PSA)成功进行的初步测试显示了巨大的潜力,并显示新方法是传统系统的良好替代品。所提出的方法可以为太阳跟踪系统控制提供关键变量,如云运动预测,块和阴影检测,大气衰减或集中的太阳辐射的措施,这可以改善系统的控制策略,从而提高系统的性能。
2018-09-19 cs.CV cs.LG stat.ML
IrisNet: Deep Learning for Automatic and Real-time Tongue Contour Tracking in Ultrasound Video Data using Peripheral Vision
School of Electrical Engineering and Computer Science, University of Ottawa(渥太华大学电气工程与计算机科学学院)
深度卷积神经网络的进展已成功应用于各种实时计算机视觉任务,如图像分类和分割。由于计算单元的发展、数字数据集的可用性以及深度学习模型性能的提高,在实时超声数据中完全自动和准确地跟踪舌头轮廓直到最近几年才变得实用。最近的研究表明,深度学习技术的性能在实时应用中跟踪超声舌头轮廓方面非常重要,例如使用多模态超声增强方法进行发音训练。由于超声舌数据集之间的高度相关性,因此具有针对几乎所有数据集实现自动舌跟踪的通用模型是可行的。在本文中,我们提出了一种深度学习模型,该模型由一个卷积模块组成,模仿人眼的周边视觉能力,以处理实时,准确和全自动的舌头轮廓跟踪任务,适用于几乎所有的主要超声舌头数据集。在不同的超声舌数据集和PASCAL VOC 2012上进行定性和定量评估,与同类技术相比,IrisNet具有突出的泛化能力。
2020-04-17 cs.CV cs.LG eess.IV