Target Transformed Regression for Accurate Tracking
Nanjing University(南京大学)
由于视频中目标的外观变化、姿态和视角变化以及几何变形,精确跟踪仍然是一项具有挑战性的任务。最近的无锚跟踪器提供了一种有效的回归机制,但不能产生精确的限界框估计。为了解决这些问题,本文重新设计了一个类似于Transformer的回归分支,称为目标转换回归(Target Transformed Regression,TREG),用于精确的无锚跟踪。TREG的核心是建立目标模板和搜索区域中元素之间的成对关系,并使用得到的目标增强视觉表示进行精确的限界框回归。这种目标上下文化表示能够增强目标相关信息,帮助精确定位框边界,并由于其局部和密集的匹配机制在一定程度上处理对象变形。此外,我们设计了一个简单的在线模板更新机制来选择可靠的模板,增加了鲁棒性的外观变化和几何变形的目标的时间。在视觉跟踪基准测试(包括VOT 2018、VOT 2019、OTB100、GOT10k、NFS、UAV123、LaSOT和TrackingNet)上的实验结果表明,TREG获得了最先进的性能,在LaSOT上实现了0.640的成功率,同时运行在30 FPS左右。代码和模型将在https://github.com/MCG-NJU/TREG上提供。
2021-04-01 cs.CV
SMOT: Single-Shot Multi Object Tracking
Amazon AWS AI(亚马逊AWS人工智能(Amazon AWS AI))
我们提出了单镜头多目标跟踪器(SMOT),一个新的跟踪框架,任何单镜头检测器(SSD)模型转换成一个在线多目标跟踪器,它强调同时检测和跟踪的对象路径。与现有的检测跟踪方法不同,SMOT采用了最近提出的重检测跟踪方法。我们将此方案与SSD检测器相结合,提出了一种新的跟踪锚分配模块。通过这种设计,SMOT能够以恒定的每帧运行时间生成轨迹。一个轻量级的链接算法,然后用于在线tracklet链接。在Hannah、Music Videos和MOT17三个目标跟踪基准测试中,SMOT达到了最先进的性能。
2020-10-30 cs.CV
MOTRv2: Bootstrapping End-to-End Multi-Object Tracking by Pretrained Object Detectors
MEGVII Technology(旷视科技);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院);Shanghai Jiao Tong University(上海交通大学)
本文提出 MOTRv2,通过引入预训练目标检测器生成锚点候选框为 MOTR 提供检测先验,缓解检测与关联任务冲突,在 DanceTrack 和 BDD100K 上取得领先性能。
2023-04-19 cs.CV
FFBL-Coop: Association-Decoupled Cooperative 3D Multi-Object Tracking
Zhejiang University(浙江大学)
提出FFBL-Coop框架,通过解耦实例准入与身份管理,采用置信度排序槽位准入、统一表示聚合和协作优先身份锚定,实现协作三维多目标跟踪,在V2X-Seq和Griffin-25M上取得领先性能。
2026-10-02 cs.CV
Siamese Object Tracking for Vision-Based UAM Approaching with Pairwise Scale-Channel Attention
Tongji University(同济大学);Tsinghua University(清华大学);The University of Hong Kong(香港大学)
虽然无人机的操纵已经得到了广泛的研究,基于视觉的无人机接近,这是后续操作的关键,一般缺乏有效的设计。视觉UAM方法的关键在于对象跟踪,而当前UAM跟踪通常依赖于昂贵的基于模型的方法。此外,UAM方法往往面临更严重的目标尺度变化问题,这使得它不适合直接采用最先进的无模型Siamese为基础的方法从目标跟踪领域。为了解决上述问题,这项工作提出了一种新的连体网络与成对尺度通道注意力(SiamSA)的基于视觉的UAM接近。具体来说,SiamSA由成对尺度通道注意力网络(PSAN)和尺度感知锚点建议网络(SA-APN)组成。PSAN获取有价值的尺度信息用于特征处理,而SA-APN主要将尺度感知附加到锚点建议中。此外,一个新的跟踪基准UAM接近,即UAMT 100,被记录在一个飞行的UAM平台上的35 K帧进行评估。在基准测试和实际测试上的详尽实验验证了SiamSA的效率和实用性,具有良好的速度。代码和UAMT 100基准现在都可以在https://github.com/vision4robotics/SiamSA上获得。
2022-11-26 cs.CV cs.RO
Real-time Multi-Object Tracking Based on Bi-directional Matching
Jiangxi University of Science and Technology(江西理工大学)
近年来,无锚点目标检测模型与匹配算法相结合,可以实现实时的【形】多目标跟踪,并保证较高的跟踪精度。然而,多目标跟踪仍然存在很大的挑战。例如,当目标的大部分被遮挡或目标只是暂时从图像中消失时,这通常会导致大多数现有跟踪算法的跟踪中断。因此,本研究提供一种多目标追踪的双向匹配演算法,利用双向运动预测资讯来改善遮蔽处理。在匹配算法中使用滞留区域来临时存储未能被跟踪的对象。当物体从遮挡中恢复时,我们的方法将首先尝试将它们与滞留区域中的物体进行匹配,以避免错误地生成新的身份,从而形成更连续的轨迹。实验结果表明,该方法可以提高多目标跟踪的性能,在存在遮挡。此外,本研究还提供了一个注意力上采样模块,不仅保证了跟踪的准确性,而且加快了训练速度。在MOT17挑战赛中,该算法实现了63.4%的MOTA,55.3%的IDF1和20.1 FPS的跟踪速度。
2023-03-15 cs.CV
Learning Spatio-Temporal Transformer for Visual Tracking
Dalian University of Technology(大连理工大学);Microsoft Research Asia(微软亚洲研究院)
在本文中,我们提出了一种新的跟踪架构的编码器-解码器Transformer的关键组成部分。编码器对目标对象和搜索区域之间的全局时空特征依赖关系进行建模,而解码器学习查询嵌入以预测目标对象的空间位置。我们的方法将对象跟踪转换为直接的限界框预测问题,而不使用任何建议或预定义的锚。使用编码器-解码器Transformer,对象的预测仅使用简单的全卷积网络,直接估计对象的角点。整个方法是端到端的,不需要任何后处理步骤,如余弦窗口和限界框平滑,从而大大简化了现有的跟踪管道。该跟踪器在五个具有挑战性的短期和长期基准测试中实现了最先进的性能,同时以实时速度运行,比Siam R-CNN快6倍。代码和模型在https://github.com/researchmm/Stark上开源。
2021-03-31 cs.CV
Siamese Keypoint Prediction Network for Visual Object Tracking
Kuaishou Technology(快手科技)
视觉目标跟踪的目的是在给定初始限界框的情况下估计视频序列中任意目标的位置。通过利用离线特征学习,暹罗范式最近已经成为高性能跟踪的领先框架。然而,现有的暹罗跟踪器要么严重依赖于复杂的基于锚的检测网络,要么缺乏抵抗干扰的能力。在本文中,我们提出了Siamese关键点预测网络(SiamKPN)来解决这些挑战。基于Siamese骨干进行特征嵌入,SiamKPN受益于级联热图策略,用于粗到细的预测建模。特别地,该策略通过沿着级联顺序地缩小标签热图的覆盖范围以应用从宽松到严格的中间监督来实现。在推理过程中,我们发现连续阶段的预测热图逐渐集中到目标,并减少到干扰项。SiamKPN在四个基准数据集(包括OTB-100,VOT 2018,LaSOT和GOT-10 k)上的视觉对象跟踪方面表现良好,同时以实时速度运行。
2020-06-07 cs.CV
SiamFC++: Towards Robust and Accurate Visual Tracking with Target Estimation Guidelines
Zhejiang University(浙江大学);Megvii Inc.(旷视科技)
视觉跟踪问题要求对给定的目标同时进行鲁棒的分类和精确的目标状态估计。以往的方法提出了多种目标状态估计的方法,但很少考虑到视觉跟踪问题本身的特殊性。经过仔细的分析,我们提出了一套实用的目标状态估计的高性能通用目标跟踪器设计的指导方针。根据这些指导方针,我们设计了我们的全卷积暹罗跟踪器++(SiamFC ++),通过引入分类和目标状态估计分支(G1),分类评分无歧义(G2),跟踪没有先验知识(G3),估计质量评分(G4)。广泛的分析和消融研究证明了我们提出的指南的有效性。在没有花里胡哨的情况下,我们的SiamFC ++跟踪器在五个具有挑战性的基准测试(OTB2015,VOT2018,LaSOT,GOT-10k,TrackingNet)上实现了最先进的性能,这证明了跟踪器的跟踪和泛化能力。特别是,在大规模TrackingNet数据集上,SiamFC ++在以超过90 FPS的速度运行时达到了75.4的AUC分数,远远高于实时要求。代码和模型可在www.example.com上获得。
2020-04-02 cs.CV
Siamese Box Adaptive Network for Visual Tracking
Huaqiao University(华侨大学);University of Chinese Academy of Sciences(中国科学院大学);Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室);Xiamen University(厦门大学);Nanjing University of Science and Technology(南京理工大学)
现有的大多数跟踪器通常依赖于多尺度搜索方案或预定义的锚框来精确估计目标的尺度和长宽比。不幸的是,它们通常需要繁琐和启发式的配置。为了解决这个问题,我们提出了一个简单而有效的视觉跟踪框架(命名为暹罗盒自适应网络,SiamBAN),利用全卷积网络(FCN)的表达能力。SiamBAN将视觉跟踪问题视为一个并行的分类和回归问题,因此可以在统一的FCN中直接对对象进行分类并回归其边界框。无先验盒设计避免了与候选盒相关联的超参数,使SiamBAN更灵活和通用。在视觉跟踪基准测试(包括VOT 2018、VOT 2019、OTB100、NFS、UAV123和LaSOT)上进行的大量实验表明,SiamBAN实现了最先进的性能,并以40 FPS运行,证实了其有效性和效率。该代码将在https://github.com/hqucv/siamban上提供。
2020-04-22 cs.CV
TrTr: Visual Tracking with Transformer
University of Tokyo(东京大学)
基于模板的判别式跟踪器由于其鲁棒性和准确性而成为目前主流的跟踪方法,而基于Siamese网络的方法依赖于从模板和搜索图像中提取的特征之间的互相关运算,显示了最先进的跟踪性能。然而,一般的互相关运算只能得到两个特征图中局部块之间的关系。在本文中,我们提出了一种新的跟踪器网络的基础上,一个强大的注意力机制称为Transformer编码器-解码器架构,以获得全球和丰富的上下文相互依赖性。在这种新的架构中,模板图像的特征由编码器部分中的自注意模块处理以学习强上下文信息,然后将其发送到解码器部分以计算与由另一个自注意模块处理的搜索图像特征的交叉注意。此外,我们设计的分类和回归头使用Transformer的输出定位目标的形状无关的锚的基础上。我们在VOT 2018,VOT 2019,OTB-100,UAV,NfS,TrackingNet和LaSOT基准上广泛评估了我们的跟踪器TrTr,我们的方法与最先进的算法相比表现良好。训练代码和预训练模型可在https://github.com/tongtybj/TrTr上获得。
2021-05-09 cs.CV
Spatio-Temporal Matching for Siamese Visual Tracking
Huazhong University of Science and Technology(华中科技大学)
相似性匹配是暹罗跟踪器的核心操作。大多数暹罗跟踪器通过源于图像匹配领域的互相关进行相似性学习。然而,与2-D图像匹配不同,目标跟踪中的匹配网络需要4-D信息(高度、宽度、通道和时间)。互相关算法忽略了信道和时间维度的信息,从而产生二义性匹配。本文提出了一种时空匹配过程,以深入探讨四维匹配在空间(高度,宽度和通道)和时间的能力。在空间匹配中,我们引入了一个空变通道引导相关(SVC-Corr)重新校准通道的功能响应为每个空间位置,它可以指导目标感知匹配功能的生成。在时间匹配中,我们研究了目标和背景的时域上下文关系,并开发了一个畸变抑制模块(ARM)。通过限制帧间响应图的突然变化,我们的ARM可以明显抑制畸变,从而实现更鲁棒和准确的对象跟踪。此外,提出了一种新的无锚跟踪框架,以适应这些创新。在OTB 100、VOT 2018、VOT 2020、GOT-10 k和LaSOT等具有挑战性的基准测试上的实验证明了所提出方法的最新性能。
2021-05-06 cs.CV
SDOF-Tracker: Fast and Accurate Multiple Human Tracking by Skipped-Detection and Optical-Flow
KDDI Research, Inc.(KDDI研究所);RIKEN(理化学研究所);Nagoya University(名古屋大学)
多人跟踪是场景理解的一个基本问题。虽然在现实世界的应用中需要准确性和速度,但最近基于深度学习的跟踪方法专注于准确性,需要大量的运行时间。本研究的目的是提高运行速度,在一定的帧间隔进行人体检测,因为它占了大部分的运行时间。问题是如何在跳过人类检测的同时保持准确性。在本文中,我们提出了一种方法,补充检测结果与光流的基础上,一个人的外观并没有改变很多相邻帧之间。为了保持跟踪的准确性,我们引入了强大的兴趣点选择内的人体区域和跟踪终止度量计算的兴趣点的分布。在MOTChallenge的MOT 20数据集上,提出的SDOF-Tracker在保持MOTA指标的同时,在总运行速度方面实现了最佳性能。我们的代码可在https://github.com/hitottiez/sdof-tracker上获得。
2022-04-30 cs.CV
SOTFormer: A Minimal Transformer for Unified Object Tracking and Trajectory Prediction
School of Computer Science University College Dublin(计算机科学学院都柏林大学学院);School of Computer Science and Technology Dalian University of Technology(计算机科学与技术学院大连理工大学)
针对遮挡等场景下单目标跟踪与短期运动预测的难题,提出端到端极简Transformer模型SOTFormer,统一检测、跟踪与短时域轨迹预测,在基准测试中性能优于同类基线且支持实时推理。
2025-11-14 cs.CV
Ocean: Object-aware Anchor-free Tracking
CASIA(中国科学院自动化研究所);UCAS(中国科学院大学);Microsoft Research(微软研究院)
基于锚点的暹罗跟踪器在跟踪精度上取得了显著的进步,但跟踪鲁棒性滞后限制了进一步的提高。我们发现根本原因是基于锚点的方法中的回归网络仅在正锚点框(即,$IoU \geq0.6$)。这种机制使得难以细化与目标对象重叠较小的锚点。在本文中,我们提出了一种新的对象感知无锚网络来解决这个问题。首先,而不是细化的参考锚框,我们直接预测的位置和规模的目标对象在一个锚的方式。由于地面实况框中的每个像素都经过良好的训练,因此跟踪器能够在推理过程中纠正目标对象的不准确预测。其次,我们引入了一个特征对齐模块来从预测的边界框中学习对象感知特征。对象感知特征可以进一步有助于目标对象和背景的分类。此外,我们提出了一种新的跟踪框架的基础上无锚模型。实验表明,我们的无锚跟踪器在包括VOT-2018,VOT-2019,OTB-100,GOT-10 k和LaSOT在内的五个基准测试中达到了最先进的性能。源代码可在https://github.com/researchmm/TracKit上获得。
2020-07-09 cs.CV
FastTracker: Real-Time and Accurate Visual Tracking
Pintel Co. Ltd.(普英科技有限公司)
提出一种通用多目标跟踪框架FastTracker,通过遮挡感知重识别和道路结构感知轨迹细化,在车辆及多类跟踪上取得稳健性能,并在MOT17和MOT20上达到HOTA 66.4和65.7。
2025-09-25 cs.CV
ATOM: Accurate Tracking by Overlap Maximization
Linköping University(林雪平大学);ETH Zürich(苏黎世联邦理工学院);Inception Institute of Artificial Intelligence(起源人工智能研究院)
虽然近年来在视觉跟踪鲁棒性方面取得了惊人的进步,但跟踪精度的进步却受到限制。由于研究的重点一直集中在发展功能强大的分类器上,因此在很大程度上忽略了目标状态估计的精确性问题。事实上,大多数跟踪器采取简单的多尺度搜索,以估计目标限界框。我们认为,这种方法从根本上是有限的,因为目标估计是一项复杂的任务,需要高层次的知识对象。我们解决这个问题,提出了一种新的跟踪架构,由专用的目标估计和分类组件。通过广泛的离线学习将高级知识并入目标估计中。我们的目标估计组件被训练来预测目标对象和估计的限界框之间的重叠。通过仔细整合特定目标的信息,我们的方法实现了以前看不见的限界框的准确性。我们还引入了一个分类组件,它是在线训练的,以保证在干扰物存在的情况下具有高的辨别力。我们最终的跟踪框架在五个具有挑战性的基准上设置了一个新的最先进的状态。在新的大规模TrackingNet数据集上,我们的跟踪器ATOM比以前的最佳方法实现了15%的相对增益,同时运行速度超过30 FPS。代码和型号可在https://github.com/visionml/pytracking上获得。
2019-04-11 cs.CV
Accurate Bounding-box Regression with Distance-IoU Loss for Visual Tracking
Guangzhou Institute of Technology, Xidian University(西安电子科技大学广州研究院);School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)计算机科学与技术学院);School of Science, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)理学院);School of Computing Technologies, RMIT University(皇家墨尔本理工大学计算技术学院);National Center for Applied Mathematics, Chongqing Normal University(重庆师范大学国家应用数学中心)
现有的大多数跟踪器都是基于分类器和多尺度估计来估计目标状态的。因此,正如预期的那样,跟踪器变得更加稳定,而跟踪精度却停滞不前。虽然跟踪器采用基于交并(IoU)损失的最大重叠方法来缓解此问题,但IoU损失本身存在缺陷,当给定的限界框完全包含在另一个限界框内/不包含另一个边界框时,无法继续优化目标函数;这使得准确估计目标状态非常具有挑战性。因此,在本文中,我们解决了上述问题,提出了一种新的跟踪方法的基础上的距离IoU(DIoU)的损失,使建议的跟踪器包括目标估计和目标分类。训练目标估计部分以预测目标地面实况限界框和估计的限界框之间的DIoU分数。DIoU损失可以保持IoU损失提供的优势,同时最小化两个边界框的中心点之间的距离,从而使目标估计更准确。此外,我们引入了一个分类部分,该部分是在线训练的,并使用基于共轭梯度的策略进行优化,以保证实时跟踪速度。综合实验结果表明,该方法实现了竞争力的跟踪精度相比,国家的最先进的跟踪器,同时具有实时跟踪速度。
2022-01-20 cs.CV
Correlation filter tracking with adaptive proposal selection for accurate scale estimation
Xiamen University(厦门大学);School of Information Science and Engineering, Xiamen University(厦门大学信息科学与工程学院)
最近,一些基于相关滤波器的跟踪器与检测建议已经取得了最先进的跟踪结果。然而,由建议生成器给出的大量冗余建议可能会降低这些跟踪器的性能和速度。在本文中,我们提出了一个自适应的建议选择算法,可以产生少量的高质量的建议,以处理视觉对象跟踪的规模变化的问题。具体地,我们首先利用HSV颜色空间中的颜色直方图来表示实例(即,第一帧中的初始目标和前一帧中的预测目标)和建议。然后,制定了一个自适应策略的基础上的颜色相似性,以选择高质量的建议。我们进一步整合所提出的自适应建议选择算法与粗到细的深度特征,以验证所提出的跟踪器的通用性和效率。两个基准数据集上的实验表明,该算法对几个国家的最先进的跟踪器表现良好。
2020-07-14 cs.CV
Towards Accurate Pixel-wise Object Tracking by Attention Retrieval
近年来,目标跟踪中的目标编码从粗边界盒编码发展到细粒度分割图编码。回顾能够在跟踪期间预测掩模的事实上的实时方法,我们观察到它们通常从骨干网络分叉一个轻分支用于分段。虽然有效,但在不考虑背景杂波的负面影响的情况下直接融合骨干特征往往会引入假阴性预测,从而落后于分割精度。为了缓解这个问题,我们提出了一个注意力检索网络(ARN)执行软空间约束的骨干功能。我们首先建立一个查找表(LUT)与地面真理掩模在开始帧,然后检索LUT,以获得空间约束的注意力地图。此外,我们引入了一个多分辨率的多级分割网络(MMS),以进一步削弱背景杂波的影响,通过重用的预测掩模过滤骨干功能。我们的方法在最近的像素对象跟踪基准VOT 2020上设置了一个新的最先进的状态,同时以40 fps运行。值得注意的是,该模型在VOT 2020、DAVIS 2016和DAVIS 2017上分别超过SiamMask 11.7/4.2/5.5点。我们将在https://github.com/researchmm/TracKit上发布我们的代码。
2020-09-08 cs.CV
HTNet: Anchor-free Temporal Action Localization with Hierarchical Transformers
Korea University(高丽大学)
时间动作定位(TAL)是识别视频中的一组动作的任务,其涉及定位开始和结束帧并对每个动作实例进行分类。现有的方法已经解决了这个任务,通过使用预定义的锚窗口或启发式自底向上的边界匹配策略,这是推理时间的主要瓶颈。此外,主要挑战是由于缺乏全局上下文信息而无法捕获长期动作。在本文中,我们提出了一种新的无锚框架,被称为HTNet,预测一组<开始时间,结束时间,类>三元组从视频的基础上Transformer架构。粗边界的预测后,我们通过一个背景特征采样(BFS)模块和分层Transformers,这使我们的模型,以聚合全局上下文信息,并有效地利用视频中的内在语义关系,细化它。我们展示了我们的方法如何定位准确的动作实例,并在两个TAL基准数据集上实现最先进的性能:THUMOS 14和ActivityNet 1.3。
2022-07-21 cs.CV
Siamese Cascaded Region Proposal Networks for Real-Time Visual Tracking
Temple University(天普大学)
区域建议网络(RPN)最近已与暹罗网络相结合,用于跟踪,并显示出良好的精度和高效率。然而,以前提出的一个阶段的暹罗RPN跟踪退化存在类似的干扰和大规模的变化。针对这些问题,我们提出了一个多阶段的跟踪框架,暹罗级联RPN(C-RPN),它由一系列的RPN级联从深层次的高层到浅层次的低层次的暹罗网络。与以前的解决方案相比,C-RPN有几个优点:(1)每个RPN都是使用前一阶段RPN的输出进行训练的。这样的过程刺激了硬负采样,导致更平衡的训练样本。因此,RPN在区分困难背景(即,类似的干扰物)。(2)通过针对每个RPN的新颖的特征传递块(FTB)充分利用多级特征,进一步使用高级语义和低级空间信息来提高C-RPN的可辨别性。(3)通过多步回归,C-RPN利用前一阶段调整的锚框逐步细化每个RPN中目标的位置和形状,使定位更加准确。C-RPN使用多任务损失函数进行端到端训练。在推理中,C-RPN被部署为实时的【形】跟踪,而没有任何时间适应。在OTB-2013、OTB-2015、VOT-2016、VOT-2017、LaSOT和TrackingNet上进行的大量实验中,C-RPN始终实现最先进的结果并实时的【形】运行。
2018-12-14 cs.CV
Towards More Flexible and Accurate Object Tracking with Natural Language: Algorithms and Benchmark
Peng Cheng Laboratory(鹏城实验室);Peking University(北京大学);Anhui University(安徽大学);University of Science and Technology of China(中国科学技术大学)
基于自然语言描述的跟踪是一个新兴的研究课题,其目的是根据视频序列中目标对象的语言描述定位目标对象。与传统的基于限界框(BBox)的跟踪方法相比,该方法利用高层语义信息指导目标跟踪,解决了BBox的模糊性问题,将局部搜索和全局搜索有机地结合在一起。这些好处可能会在实际场景中带来更灵活,更强大和更准确的跟踪性能。然而,现有的自然语言初始化跟踪器的开发和比较基准数据集提出的跟踪由BBox,这不能反映真正的强大的跟踪由语言。在这项工作中,我们提出了一个新的基准,专门用于跟踪的语言,包括一个大规模的数据集,强大和多样化的基线方法。具体来说,我们收集2k视频序列(包含总共1,244,340帧,663个字),并分别将1300/700分割用于训练/测试。我们密集地用英语注释一个句子和每个视频的目标对象的相应边界框。我们还为目标跟踪任务引入了两个新的挑战,即,对抗样本和模态切换。一个强基线方法的基础上,提出了一个自适应局部全局搜索方案,为未来的作品进行比较。我们相信该基准将极大地推动自然语言引导跟踪的相关研究。
2021-03-31 cs.AI cs.CV
Enhancing Multi-Camera People Tracking with Anchor-Guided Clustering and Spatio-Temporal Consistency ID Re-Assignment
University of Washington(华盛顿大学);Electronics and Telecommunications Research Institute(电子与电信研究所);National Center for High-Performance Computing(国家高性能计算中心)
提出一种结合锚定引导聚类与时空一致性的多摄像机多人员跟踪方法,在CVPR AI City Challenge 2023上以95.36% IDF1获第一名。
2023-06-18 cs.CV
Multiple Human Tracking using Multi-Cues including Primitive Action Features
KDDI Research, Inc.(KDDI综合研究所);Graduate School of Informatics, Nagoya University(名古屋大学信息学研究科)
在本文中,我们提出了一个多人跟踪方法使用多线索,包括原始动作特征(MHT-PAF)。MHT-PAF可以在无人机拍摄的动态空中视频中执行精确的人体跟踪。PAF采用全局上下文、多标签动作的丰富信息和中间层特征。使用PAF的准确的人体跟踪结果有助于基于多帧的动作识别。在实验中,我们使用Okutama-Action数据集验证了所提出的方法的有效性。我们的代码可在线获取。
2019-09-18 cs.CV cs.RO
Hard Negative Samples Emphasis Tracker without Anchors
School of Microelectronics and Communication Engineering, Chongqing University(重庆大学微电子与通信工程学院)
基于Siamese网络的跟踪器已经取得了巨大的成功,因为它们在准确性和速度之间取得了平衡。然而,随着跟踪场景变得越来越复杂,大多数现有的基于Siamese的方法忽略了在跟踪阶段将跟踪目标与硬负样本区分开的问题。这些网络学习到的特征缺乏鉴别力,这大大削弱了基于暹罗的跟踪器的鲁棒性,并导致性能不佳。为了解决这个问题,我们提出了一种简单而有效的硬负样本强调方法,该方法约束Siamese网络学习知道硬负样本的特征,并增强嵌入特征的区分度。通过一个距离约束,强制缩短样本向量与正向量之间的距离,同时增大样本向量与硬负向量之间的距离。此外,我们探索了一种新的无锚跟踪框架,在每像素预测的方式,它可以显着减少超参数的数量,并通过充分利用卷积神经网络的表示简化跟踪过程。在六个标准基准数据集上的大量实验表明,该方法可以对最先进的方法进行有利的结果。
2020-08-08 cs.CV
Unsupervised Learning of Accurate Siamese Tracking
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));SenseTime Research(商汤科技研究院);The University of Sydney(悉尼大学);Peng Cheng Laboratory(鹏城实验室);Shanghai AI Laboratory(上海人工智能实验室)
无监督学习已经在各种计算机视觉任务中流行,包括视觉对象跟踪。然而,现有的无监督跟踪方法严重依赖于模板搜索对的空间监督,并且仍然无法在长时间跨度内跟踪具有强烈变化的对象。由于无限的自我监督信号可以通过跟踪一个视频沿一个周期的时间,我们调查不断发展的暹罗跟踪器通过跟踪视频向前向后。我们提出了一种新的无监督跟踪框架,在其中我们可以学习分类分支和回归分支上的时间对应关系。具体来说,为了在前向传播过程中传播可靠的模板特征,使跟踪器可以在循环中训练,我们首先提出了一致性传播变换。然后,我们确定了一个不适定的惩罚问题,在传统的循环训练的反向传播过程。因此,提出了一种可微分区域掩模来选择特征以及隐式地惩罚中间帧上的跟踪误差。此外,由于噪声标签可能会降低训练,我们提出了一个掩码引导的损失重新加权策略,根据伪标签的质量分配动态权重。在广泛的实验中,我们的跟踪器比以前的无监督方法性能好得多,在TrackingNet和LaSOT等大规模数据集上的性能与有监督方法相当。代码可在https://github.com/FlorinShum/ULAST上获得。
2022-04-04 cs.AI cs.CV
Learning Salient Boundary Feature for Anchor-free Temporal Action Localization
Tencent(腾讯);Fudan University(复旦大学)
时间动作定位是视频理解中一项重要而又具有挑战性的任务。通常情况下,这样的任务的目的是推断的动作类别和定位的开始和结束帧的每个动作实例在一个长的,untrimmed video.While大多数当前的模型实现了良好的效果,通过使用预定义的锚和众多的actionness,这样的方法可以与大量的输出和沉重的调整的位置和大小对应于不同的锚。相反,无锚方法更轻,摆脱了冗余的超参数,但很少受到关注。在本文中,我们提出了第一个纯粹的锚无时间定位方法,这是高效和有效的。我们的模型包括(i)一个端到端的可训练基本预测器,(ii)一个基于显着性的细化模块,用于通过新的边界池为每个建议收集更有价值的边界特征,以及(iii)几个一致性约束,以确保我们的模型可以在任意建议的情况下找到准确的边界。大量的实验表明,我们的方法击败了所有基于锚点和动作指导的方法,在THUMOS 14上具有显着的优势,实现了最先进的结果,并且在ActivityNet v1.3上具有可比性。代码可在https://github.com/TencentYoutuResearch/ActionDetection-AFSD上获得。
2021-03-24 cs.AI cs.CV
YOLO11-JDE: Fast and Accurate Multi-Object Tracking with Self-Supervised Re-ID
Universitat de Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心);Aalborg University(奥尔堡大学);Milestone Systems(Milestone系统)
提出YOLO11-JDE,结合实时检测与自监督Re-ID的JDE框架,利用三元组损失和自定义数据关联,在MOT17/20上超越现有JDE方法,FPS更高且参数减少十倍。
2025-01-23 cs.AI cs.CV
Head Anchor Enhanced Detection and Association for Crowded Pedestrian Tracking
Macao Polytechnic University(澳门理工学院);University of Coimbra(科英布拉大学);Beihang University(北航大学)
针对拥挤场景下行人跟踪的遮挡难题,本文提出结合检测器双分支特征与头部关键点检测,并采用迭代卡尔曼滤波整合3D先验,以增强外观和运动建模,实现更稳健的多目标跟踪。
2025-08-07 cs.CV
ROAM: Recurrently Optimizing Tracking Model
Tencent AI Lab(腾讯人工智能实验室);City University of Hong Kong(香港城市大学);Didi Chuxing(滴滴出行)
在本文中,我们设计了一个跟踪模型,包括响应生成和限界框回归,其中第一个组件产生一个热图,以指示在不同位置的对象的存在和第二部分回归的相对限界框移动到安装在滑动窗口位置的锚。由于在两个组件中使用了可调整大小的卷积滤波器来适应对象的形状变化,我们的跟踪模型不需要枚举不同大小的锚点,从而节省了模型参数。为了有效地适应模型的外观变化,我们提出了离线训练一个递归神经优化器更新跟踪模型中的元学习设置,它可以收敛在几个梯度步骤的模型。这提高了更新跟踪模型的收敛速度,同时实现更好的性能。我们在OTB、VOT、LaSOT、GOT-10 K和TrackingNet基准测试中广泛评估了我们的跟踪器ROAM和ROAM++,我们的方法与最先进的算法相比表现良好。
2020-03-24 cs.CV
SiamAPN++: Siamese Attentional Aggregation Network for Real-Time UAV Tracking
Tongji University(同济大学);New York University(纽约大学)
最近,基于Siamese的方法由于其最先进的(SOTA)性能而从众多的跟踪方法中脱颖而出。然而,由于无人机跟踪中的各种特殊挑战,\textit{e.g.},严重遮挡和快速运动,大多数现有的基于暹罗的跟踪器很难将优异的性能与高效率结合起来。针对这一问题,本文提出了一种新的用于无人机实时的【形】跟踪的注意力连体跟踪器(SiamAPN++)。借助注意力机制,我们构造了一个由自注意力聚合网络和交叉注意力聚合网络组成的特殊的注意力聚合网络,以提高特征的表征能力。前AAN聚合和模型的自我语义的相互依赖性的单一功能地图,通过空间和通道尺寸。后者的目的是聚集两个不同的语义特征,包括锚点的位置信息的交叉依赖关系。此外,提出了基于双特征的锚建议网络,以提高其跟踪不同尺度目标的鲁棒性。在两个著名的权威基准上进行了实验,其中SiamAPN++优于其基线SiamAPN和其他SOTA跟踪器。此外,在典型的嵌入式平台上的实际测试表明,SiamAPN++实现了良好的跟踪效果与实时的【形】速度。
2021-07-30 cs.CV
Semi-Supervised Object Detection with Sparsely Annotated Dataset
hutom
在基于卷积神经网络的目标检测器训练中,有效正样本的选取是一个重要因素。然而,当在图像上训练具有稀疏注释的基于锚点的检测器时,寻找有效的正面示例的努力可能会阻碍训练性能。当使用基于锚点的训练对地面实况限界框进行训练以收集给定IoU下的正例时,通常可能会在当前训练类中包含来自其他类的对象,或者需要训练的对象只能被采样为负例。我们使用两种方法来解决这个问题:1)使用无锚对象检测器和2)使用单个对象跟踪器的基于半监督学习的目标检测。所提出的技术执行单个对象跟踪,通过使用稀疏注释的限界框作为锚在时域中的连续帧。根据跟踪结果,以自动方式生成训练图像的密集注释,并用于训练对象检测器。我们将所提出的基于单对象跟踪的半监督学习应用于Epic-Kitterfly数据集。因此,我们能够在Unseen部分实现\textbf{runner-up}性能,同时在IoU > 0.5评估下,在Epic-Kitchen 2020目标检测挑战赛的Seen部分获得第一名
2020-06-21 cs.CV
Anchor-Intermediate Detector: Decoupling and Coupling Bounding Boxes for Accurate Object Detection
Tsinghua University(清华大学);National University of Defense Technology(国防科技大学)
针对单个锚框难以精准预测边界偏移的问题,本文提出边界框解耦-耦合策略与锚框中间检测器AID,通过角点解耦耦合及角点感知头提升检测精度,在MS COCO上较基线RetinaNet、GFL分别提升约2.4、1.2 AP。
2023-10-09 cs.CV
Scope Head for Accurate Localization in Object Detection
The University of Sydney(悉尼大学);SenseTime Computer Vision Research Group(商汤科技计算机视觉研究组);University of Oxford(牛津大学);Shanghai Jiao Tong University(上海交通大学);SenseTime Group Ltd(商汤集团有限公司);The University of Adelaide(阿德莱德大学)
现有的基于锚点和无锚点的目标检测器在多级或一级流水线中已经取得了非常有前途的检测性能。然而,他们仍然遇到手工制作的2D锚点定义的设计困难和1D直接位置回归的学习复杂性。为了解决这些问题,在本文中,我们提出了一种新的检测器,称为ScopeNet,它将每个位置的锚点建模为相互依赖的关系。该方法量化预测空间,并采用由粗到精的定位策略。与基于回归的无锚方法一样,它具有更高的灵活性,同时产生更精确的预测。此外,继承锚点选择得分的学习,以指示检测结果的定位质量,我们提出了更好地表示检测盒的信心,通过结合类别分类得分和锚点选择得分。通过我们简洁有效的设计,所提出的ScopeNet在COCO上实现了最先进的结果
2020-05-12 cs.CV
Dynamic Anchor Learning for Arbitrary-Oriented Object Detection
School of Automation, Beijing Institute of Technology(北京理工大学自动化学院)
面向对象的对象广泛地出现在自然场景、航空照片、遥感图像等中,因此,面向任意的目标检测受到了相当大的关注。目前许多旋转检测器使用大量具有不同方向的锚点来实现与地面真值框的空间对齐,然后应用Intersection-over-Union(IoU)对正候选和负候选进行采样以进行训练。然而,我们观察到,所选择的阳性锚点在回归后并不能总是确保准确的检测,而一些阴性样本可以实现准确的定位。这表明,通过IoU的锚质量评估是不合适的,这进一步导致分类置信度和定位精度之间的不一致。在本文中,我们提出了一种动态锚学习(DAL)方法,它利用新定义的匹配度,全面评估锚的本地化潜力,并进行更有效的标签分配过程。这样,检测器可以动态选择高质量的锚点,实现准确的目标检测,分类和回归之间的分歧将得到缓解。随着新引入的DAL,我们实现了优越的检测性能,为任意方向的对象,只有几个水平预设锚。在HRSC 2016、DOTA、UCAS-AOD三个遥感数据集和ICDAR 2015场景文本数据集上的实验结果表明,与基线模型相比,该方法取得了显著的改进。此外,我们的方法也是通用的目标检测使用水平边界框。代码和模型可在https://github.com/ming71/DAL上获得。
2020-12-15 cs.CV
6-PACK: Category-level 6D Pose Tracker with Anchor-Based Keypoints
Stanford University(斯坦福大学);Shanghai Jiao Tong University(上海交通大学);NVIDIA Research(英伟达研究院)
我们提出了6-PACK,这是一种深度学习方法,用于在RGB-D数据上进行类别级6D对象姿态跟踪。我们的方法实时跟踪已知的对象类别,如碗,笔记本电脑和杯子的新对象实例。6-PACK学习用少量的3D关键点来压缩表示对象,基于这些关键点,可以通过关键点匹配来估计对象实例的帧间运动。这些关键点是端到端学习的,无需人工监督,以便最有效地进行跟踪。我们的实验表明,我们的方法在NOCS类别级6D姿态估计基准上的性能大大优于现有方法,并支持物理机器人执行简单的基于视觉的闭环操作任务。我们的代码和视频可以在https://sites.google.com/view/6packtracking上找到。
2019-10-23 cs.CV cs.RO
Modeling State Shifting via Local-Global Distillation for Event-Frame Gaze Tracking
City University of Hong Kong(香港城市大学);Xidian University(西安电子科技大学)
本文提出基于状态转移建模与局部-全局去噪蒸馏的两阶段事件-帧注视估计框架,通过锚定状态选择和去噪扩散蒸馏提升泛化能力,性能超越现有方法15%。
2024-06-28 cs.CV
Pseudo-IoU: Improving Label Assignment in Anchor-Free Object Detection
UIUC(伊利诺伊大学厄巴纳-香槟分校);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心);NVIDIA(英伟达);University of Oregon(俄勒冈大学);Picsart AI Research (PAIR)(Picsart人工智能研究院)
目前的无锚点目标检测器非常简单和有效,但缺乏准确的标签分配方法,这限制了它们与经典的基于锚点的模型竞争的潜力,基于Intersection-over-Union~(IoU)度量的设计良好的分配方法支持。在本文中,我们提出了\textbf{Pseudo-Intersection-over-Union~(Pseudo-IoU)}:一个简单的度量,使更标准化和准确的分配规则到锚无目标检测框架,没有任何额外的计算成本或额外的参数进行训练和测试,使之有可能进一步提高锚无目标检测,利用训练样本的质量良好的有效分配规则,以前已应用在基于锚的方法。通过将伪IoU度量纳入端到端的单阶段无锚目标检测框架,我们观察到它们在PASCAL VOC和MSCOCO等一般目标检测基准测试中的性能得到了持续改善。我们的方法(单模型和单尺度)也实现了与其他最近最先进的无锚方法相当的性能,而无需花里胡哨。我们的代码基于mmdetection工具箱,并将在https://github.com/SHI-Labs/Pseudo-IoU-for-Anchor-Free-Object-Detection上公开。
2021-04-29 cs.CV
Layer-wise Customized Weak Segmentation Block and AIoU Loss for Accurate Object Detection
Chongqing University(重庆大学)
基于锚点的检测器通过构建特征金字塔并直接在不同层的每个单元上设置不同尺度的锚点来处理尺度变化的问题。然而,这是很难的box-wise锚,以指导自适应学习的尺度特定的功能,在每一层,因为有没有一对一的对应关系box-wise锚和像素级功能。为了缓解这个问题,在本文中,我们提出了一个规模定制的弱分割(SCWS)块在像素级的规模定制的对象特征学习在每一层。通过将SCWS块集成到单次检测器中,构造了尺度感知对象检测器(SCOD),可以自然准确地检测不同大小的对象。此外,标准位置损失忽略了硬样本和易样本可能严重不平衡的事实。一个即将到来的问题是,它是无法得到更准确的边界框由于不平衡。为了解决这个问题,在我们的SCOD中指定了通过简单而有效的挤压操作的自适应IoU(AIoU)损失。在PASCAL VOC和MS COCO上的大量实验证明了我们的SCOD的优越性。
2021-08-25 cs.CV
DVIS-DAQ: Improving Video Segmentation via Dynamic Anchor Queries
Wuhan University(武汉大学);Skywork AI
针对视频分割中新出现和消失对象建模不佳的问题,提出动态锚点查询(DAQ)和出现消失模拟(EDS)策略,结合DVIS形成DVIS-DAQ,在五个主流基准上取得SOTA性能。
2024-07-19 cs.CV
SADet: Learning An Efficient and Accurate Pedestrian Detector
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学)
基于锚点的行人检测算法虽然在行人检测方面取得了很大的进步,但算法的整体性能仍需进一步提高,\emph{e.g.}在准确性和效率之间取得了很好的折衷。为此,本文针对单级检测器的检测流水线提出了一系列系统化的优化策略,形成了一个基于Single Shot锚点的检测器(SADet),实现了高效准确的行人检测,主要包括三个方面的改进。首先对样本生成过程进行了优化,通过对离群样本进行软标签,生成标签值在$0$和$1$之间连续的半正样本,不仅产生了更多的有效样本,而且增强了模型的鲁棒性。其次,提出了一种新的中心- $IoU$损失量作为限界框回归的损失量,既保留了IoU损失量的良好特性,又克服了IoU损失量的一些缺陷。并进一步提出自适应锚匹配,以使模型能够根据下式自适应地将锚框匹配到完整或可见的边界框:的遮挡程度,使得NMS和锚点匹配算法更适合于遮挡行人检测。虽然结构简单,但它在具有挑战性的行人检测基准测试中展示了VGA分辨率图像($640 \times 480$)的$20$ FPS的最新结果和实时速度,即,CityPersons,加州理工学院和人体检测基准CrowdHuman,导致一个新的有吸引力的行人检测器。
2020-07-26 cs.CV
FoveaBox: Beyond Anchor-based Object Detector
ByteDance AI Lab(字节跳动人工智能实验室);Tsinghua University(清华大学);University of Pennsylvania(宾夕法尼亚大学)
我们提出了FoveaBox,一个准确,灵活,完全锚无框架的目标检测。虽然几乎所有最先进的目标检测器都利用预定义的锚点来枚举可能的位置、尺度和长宽比以搜索目标,但它们的性能和泛化能力也受限于锚点的设计。相反,FoveaBox直接学习对象存在的可能性和限界框坐标,而无需锚参考。这是通过以下方式实现的:(a)预测对象存在可能性的类别敏感语义图,以及(b)为潜在地包含对象的每个位置产生类别不可知的限界框。目标框的比例自然与特征金字塔表示相关联。在FoveaBox中,一个实例被分配到相邻的特征级别,使模型更准确。我们证明了它的有效性标准的基准测试和报告广泛的实验分析。FoveaBox在标准COCO和Pascal VOC目标检测基准测试中实现了最先进的单模型性能。更重要的是,FoveaBox避免了与锚框相关的所有计算和超参数,这些参数通常对最终检测性能敏感。我们相信这种简单有效的方法将作为一个坚实的基线,并有助于简化未来的目标检测研究。该守则已在https://github.com/taokong/FoveaBox上公布。
2020-07-16 cs.CV
Stereo Vision-based Semantic 3D Object and Ego-motion Tracking for Autonomous Driving
Hong Kong University of Science and Technology(香港科技大学)
提出了一种基于立体视觉的方法,用于跟踪动态自动驾驶场景中的摄像机自我运动和3D语义对象。而不是直接回归的3D限界框使用端到端的方法,我们建议使用易于标记的2D检测和离散的观点分类与轻量级的语义推理方法,以获得粗略的3D对象测量。基于在动态环境中具有鲁棒性的目标感知辅助摄像机姿态跟踪,结合融合时间稀疏特征对应的动态目标光束平差(BA)方法和语义三维测量模型,获得了具有实例精度和时间一致性的三维目标姿态、速度和锚定动态点云估计。我们提出的方法的性能在不同的场景中得到了证明。自我运动估计和对象定位与国家的最先进的解决方案进行了比较。
2018-11-29 cs.CV
$Δ$-UQ: Accurate Uncertainty Quantification via Anchor Marginalization
我们提出了$Δ$ -UQ -一种新的,通用的不确定性估计,使用锚定的概念,在预测模型。通过首先将输入转换成由从先验分布中提取的锚点组成的元组,以及使用借口编码方案的输入样本与锚点的组合,来进行验证。这种编码使得原始输入可以从元组中完美地恢复--无论锚点的选择如何。因此,任何预测模型都应该能够单独从元组预测目标响应(因为它隐含地表示输入)。此外,通过改变固定样本的锚点,即使只使用单个预测模型,我们也可以估计预测中的不确定性。我们发现这种不确定性与输入数据的不正确采样和固有噪声密切相关,使我们能够估计任何系统中的总不确定性。通过对各种用例的广泛实证研究,我们证明了$Δ$ -UQ优于几个竞争基线。具体而言,我们研究了模型拟合,序贯模型优化,基于模型的反演在回归设置和分布外检测,和校准下的分布偏移分类。
2021-10-05 cs.CV cs.LG stat.ML
RRPN++: Guidance Towards More Accurate Scene Text Detection
RRPN是一种优秀的场景文本检测方法,但人工设计的锚点和粗糙的建议细化使其性能仍然很不完美。在本文中,我们提出了RRPN++开发的RRPN为基础的模型的潜力,通过几个改进。在RRPN的基础上,提出了无锚金字塔建议网络(APPN)来生成第一阶段建议,该网络采用无锚设计来减少建议数量,加快推理速度。在我们的第二阶段,检测分支和识别分支都被合并来执行多任务学习。在推理阶段,检测分支输出建议细化,识别分支预测细化文本区域的转录本。此外,识别分支还通过联合过滤策略帮助对建议进行重新评分并消除假阳性建议。通过这些增强功能,与RRPN相比,我们通过ICDAR 2015中F测量的$6\%$提高了检测结果。在其他基准上进行的实验也说明了我们的模型的优越性能和效率。
2020-09-28 cs.CV
Occlusion-Aware Physics-Semantic Keyframe Selection for Robust Video Editing
Huawei(华为);Tsinghua University(清华大学);East China Normal University(华东师范大学)
提出一种遮挡感知的物理-语义关键帧选择框架,通过从结构完整性、跟踪稳定性和属性可见性三个角度评估候选帧,自动选择最优锚定帧,并利用双向跟踪生成时空掩码,实现鲁棒且时序一致的视频编辑。
2026-05-27 cs.CV
DenseTrack: Drone-based Crowd Tracking via Density-aware Motion-appearance Synergy
Wuhan University of Technology(武汉理工大学);Singapore Management University(新加坡管理大学);Nanyang Technological University(南洋理工大学)
针对无人机视角下小尺寸密集人群定位与跟踪困难的问题,提出DenseTrack框架,融合群体密度估计、运动偏移与视觉语言模型外观线索,并利用匈牙利算法实现跨帧匹配,在DroneCrowd数据集上表现优越。
2024-07-26 cs.CV
CenterNet3D: An Anchor Free Object Detector for Point Cloud
Sun Yat-sen University(中山大学);University of Waterloo(滑铁卢大学)
从点云数据中准确快速地检测三维目标检测是自动驾驶中的一项关键任务。现有的单阶段三维目标检测方法虽然能够实现实时性,但主要是基于锚点的检测器,效率低下,需要额外的后处理。在本文中,我们消除了锚点,并将对象建模为单个点--其限界框的中心点。基于中心点,我们提出了一个无锚CenterNet 3D网络,执行3D目标检测没有锚。我们的CenterNet 3D使用关键点估计来找到中心点,并直接回归3D边界框。然而,由于点云固有的稀疏性,3D对象的中心点很可能位于空的空间中,这使得难以估计准确的边界。为了解决这个问题,我们提出了一个额外的角落注意模块,以强制CNN骨干更加关注对象边界。此外,考虑到一级检测器遭受预测的边界框和相应的分类置信度之间的不一致性,我们开发了一种有效的关键点敏感的扭曲操作,以对齐预测的边界框的置信度。我们提出的CenterNet 3D是非最大抑制自由,这使得它更有效,更简单。我们在广泛使用的KITTI数据集和更具挑战性的nuScenes数据集上评估了CenterNet 3D。我们的方法优于所有国家的最先进的锚为基础的一阶段的方法,并具有相当的性能,以及两阶段的方法。它具有20 FPS的推理速度,并实现了最佳的速度和准确性权衡。我们的源代码将在https://github.com/wangguojun2018/CenterNet3d上发布。
2021-10-25 cs.CV
LiteTracker: Leveraging Temporal Causality for Accurate Low-latency Tissue Tracking
ImFusion Technical University of Munich(ImFusion慕尼黑技术大学)
本文提出LiteTracker,一种低延迟内窥镜组织跟踪方法,通过免训练运行时优化实现高效特征重用与准确初始化,速度比现有最优方法快2倍,且在STIR和SuPer数据集上保持高精度。
2025-11-02 cs.CV
Accurate Tracking of Arabidopsis Root Cortex Cell Nuclei in 3D Time-Lapse Microscopy Images Based on Genetic Algorithm
Graduate School of Science and Technology, Nara Institute of Science and Technology(奈良科学技术大学研究生院);Bioresource Engineering Laboratory, Ishikawa Prefectural University(石川县立大学生物资源工程实验室);Department of Engineering Informatics, Osaka Electro-Communication University(大阪电讯大学工程信息学系);Exploratory Research Center on Life and Living Systems, National Institutes of Natural Sciences(国家自然科学研究院生命与生活系统探索研究中心);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
本研究提出基于遗传算法的拟南芥根部细胞核跟踪方法,解决密集细胞排列下的准确跟踪问题,首次在根尖领域实现时间延拓显微镜中的细胞跟踪突破。
2025-04-17 cs.CV
KLTNet: Learning Sparse Feature Tracking for Robust and Accurate Monocular Visual-Inertial Odometry
Shanghai Jiao Tong University(上海交通大学)
该研究提出轻量型学习型稀疏特征跟踪器KLTNet,替换传统KLT跟踪器,结合由粗到精架构与各向同性置信度权重,在多数据集实验中提升了VIO系统的跟踪与里程计精度,且保持实时性。
2026-08-26 cs.CV
$S^3$LAM: Surfel Splatting SLAM for Geometrically Accurate Tracking and Mapping
本研究提出新型RGB-D SLAM系统$S^3$LAM,以2D高斯面元为基元结合自适应渲染策略与位姿雅可比推导,实现高精度跟踪建图,性能达当前最优。
2025-07-28 cs.CV
ProTracker: Probabilistic Integration for Robust and Accurate Point Tracking
University of Pennsylvania(宾夕法尼亚大学);Peking University(北京大学);The University of Hong Kong(香港大学);Shandong University(山东大学)
ProTracker提出概率框架,结合局部光流预测与全局热图观测,兼顾全局语义与时间感知低层特征,实现视频中任意点精确鲁棒的长期跟踪,在多个基准上超越现有方法。
2025-03-10 cs.CV