Self-Supervised Tracking via Target-Aware Data Synthesis
Peng Cheng Laboratory(鹏城实验室);Dalian University of Technology(大连理工大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));University of California at Merced(加州大学默塞德分校)
虽然基于深度学习的跟踪方法已经取得了实质性进展,但它们需要大规模和高质量的注释数据来进行充分的训练。为了消除昂贵和详尽的注释,我们研究了视觉跟踪的自监督学习。在这项工作中,我们开发的裁剪变换粘贴操作,这是能够合成足够的训练数据,通过模拟跟踪过程中的各种外观变化,包括外观变化的对象和背景干扰。由于目标状态在所有合成数据中都是已知的,因此可以使用合成数据以常规方式训练现有的深度跟踪器,而无需人工注释。所提出的目标感知的数据合成方法适应现有的跟踪方法内的自监督学习框架,而无需算法的变化。因此,所提出的自监督学习机制可以无缝地集成到现有的跟踪框架中以执行训练。大量的实验表明,我们的方法1)在有限注释的情况下,与监督学习方案相比,具有良好的性能; 2)由于其可操作性,有助于处理各种跟踪挑战,如对象变形,遮挡或背景杂波; 3)与最先进的无监督跟踪方法相比,具有良好的性能; 4)提升各种最先进的监督学习框架的性能,包括SiamRPN++、DiMP和TransT。
2022-12-30 cs.CV
Rotation Adaptive Visual Object Tracking with Motion Consistency
Indian Institute of Space Science and Technology(印度空间科学技术研究院)
视觉目标跟踪的研究在过去的几年里有了很大的发展。跟踪范式中的检测跟踪方法的出现在许多方面都相当成功。最近,深度卷积神经网络已被广泛用于大多数成功的跟踪器。然而,标准方法是基于相关性或特征选择,对运动一致性考虑最少。因此,仍然需要通过运动一致性来捕获各种物理约束,这将提高准确性、鲁棒性以及更重要的旋转适应性。因此,本文的一个主要方面是研究旋转自适应视觉目标跟踪的结果。在其他关键贡献中,该论文还包括各种不同的方法,这些方法在许多具有挑战性的序列中比当前最先进的方法非常有效。
2017-11-22 cs.CV
Enforcing Template Representability and Temporal Consistency for Adaptive Sparse Tracking
Colorado School of Mines(科罗拉多矿业学院)
稀疏表示在视觉跟踪中得到了广泛的研究,并显示出良好的跟踪性能。尽管取得了很大的进展,但由于外观随时间的变化,视觉跟踪问题仍然是一项具有挑战性的任务。在本文中,我们提出了一种新的稀疏跟踪算法,很好地解决时间外观的变化,通过执行模板表示性和时间一致性(TRAC)。通过建模时间一致性,我们的算法解决了漂移远离跟踪目标的问题。该方法通过探索模板的长期-短期可表示性,使用最具描述性的模板自适应地更新字典,显著提高了对目标外观变化的鲁棒性。我们比较我们的TRAC算法对国家的最先进的方法对12个具有挑战性的基准图像序列。定性和定量的结果表明,我们的算法显着优于以前的国家的最先进的跟踪器。
2016-04-30 cs.CV
Multi-object tracking with self-supervised associating network
Yonsei University(延世大学)
多目标跟踪(MOT)是一项很有发展潜力的任务,也有许多问题需要解决。在传统的检测跟踪模式中,基于特征的目标重识别方法已经得到了大量的研究。但是,该方法存在训练数据不足的问题。对于多目标跟踪数据集的标记,视频序列中的每个检测都需要其位置和ID。由于为每个序列中的每个检测分配连续的ID是一项非常劳动密集型的任务,因此当前的多目标跟踪数据集不足以训练重新识别网络。为此,本文提出了一种新的自监督学习方法,利用大量没有人类标记的短视频,通过自监督方式训练的重识别网络来提高跟踪性能,以解决训练数据不足的问题。尽管重新识别网络是以自我监督的方式训练的,但它在MOT17测试基准上达到了MOTA 62.0\%和IDF 1 62.6\%的最先进性能。此外,性能的提高与学习大量的数据,它显示了自监督方法的潜力。
2020-10-26 cs.CV
Weakly Supervised Multi-Object Tracking and Segmentation
Computer Vision Center, UAB(巴塞罗那自治大学计算机视觉中心);Facebook(脸书)
本文提出了弱监督多目标跟踪与分割问题,即联合弱监督实例分割和多目标跟踪,其中不提供任何类型的模板标注。为了解决这个问题,我们设计了一种新的协同训练策略,利用多任务学习,即分类和跟踪任务指导训练的无监督实例分割。为此,我们提取Grad-CAM热图提供的弱前景定位信息,以生成部分地面实况以供学习。此外,RGB图像级信息被用来细化对象边缘处的掩模预测。我们在KITTI MOTS上评估了我们的方法,这是这项任务最具代表性的基准,将完全监督和弱监督方法之间的MOTSP指标的性能差距分别缩小到12%和12.7%。
2021-01-03 cs.CV
Supervised and Unsupervised Detections for Multiple Object Tracking in Traffic Scenes: A Comparative Study
Polytechnique Montréal(蒙特利尔高等理工学院)
在本文中,我们提出了一个多目标跟踪器,称为MF跟踪器,它集成了多个经典功能(空间距离和颜色)和现代功能(检测标签和重新识别功能)在其跟踪框架。由于我们的跟踪器可以处理来自无监督和有监督对象检测器的检测,因此我们还研究了有监督和无监督检测输入在我们的方法中的影响,以及对跟踪道路使用者的影响。我们还将我们的结果与应用于UA-Detrac和UrbanTracker数据集的现有方法进行了比较。结果表明,我们提出的方法在不同情况下在两个具有不同输入的数据集上都表现得非常好(UrbanTracker数据集上的无监督输入的MOTA范围为0:3491到0:5805,UA Detrac数据集上的监督输入的平均MOTA为0:7638)。经过良好训练的监督对象检测器可以在具有挑战性的场景中提供更好的结果。然而,在更简单的情况下,如果没有好的训练数据,无监督方法可以表现良好,可以是一个很好的替代方案。
2020-03-30 cs.CV
Multiple Object Tracking based on Occlusion-Aware Embedding Consistency Learning
Northwestern Polytechnical University(西北工业大学)
针对遮挡场景下多目标跟踪中嵌入特征可靠性下降、轨迹易中断的问题,提出含遮挡预测模块和遮挡感知关联模块的视觉嵌入一致性跟踪方法,在遮挡与非遮挡场景均实现优异性能。
2023-11-05 cs.CV
Spatially Supervised Recurrent Convolutional Neural Networks for Visual Object Tracking
University of Missouri(密苏里大学);TCL Research America(TCL美国研究院)
在本文中,我们开发了一种新的方法,空间监督递归卷积神经网络的视觉目标跟踪。我们的递归卷积网络利用了位置的历史以及深度神经网络学习的独特视觉特征。受最近用于目标检测的限界框回归方法的启发,我们研究了时间域中长短期记忆(LSTM)的回归能力,并提出将卷积网络产生的高级视觉特征与区域信息连接起来。与现有的基于深度学习的跟踪器相比,这些跟踪器对区域候选者使用二进制分类,我们使用回归来直接预测卷积层和递归单元的跟踪位置。我们在具有挑战性的基准视频跟踪数据集上与最先进的跟踪方法进行了广泛的实验结果和性能比较,结果表明,我们的跟踪器更准确,更强大,同时保持较低的计算成本。对于大多数测试视频序列,我们的方法实现了最好的跟踪性能,往往优于第二个最好的大幅度。
2016-07-19 cs.CV
Exploring Decoupled Spatio-Temporal Consistency Learning and Self-Prompting Evolution for Self-Supervised Tracking
本研究提出SSTrack++自监督跟踪模型,通过弱到强自监督框架、解耦时空一致性策略等,在十个基准数据集上超越SOTA自监督跟踪方法,显著缩小与全监督跟踪器的性能差距。
2026-08-12 cs.CV
Learning Consistency Pursued Correlation Filters for Real-Time UAV Tracking
Tongji University(同济大学);Hong Kong Polytechnic University(香港理工大学)
基于相关滤波器(CF)的方法在无人机(UAV)应用中的视觉目标跟踪中表现出优异的性能,但受到不期望的边界效应的影响。为了解决这个问题,空间正则化相关滤波器(SRDCF)提出了空间正则化惩罚滤波器系数,从而显着提高跟踪性能。然而,隐藏在响应地图中的时间信息没有被考虑在SRDCF中,这限制了精确跟踪的区分能力和鲁棒性。本文提出了一种新的动态一致性相关滤波方法,即,CPCF追踪器具体地,通过相邻响应图之间的相关性操作,生成实际的一致性图以表示跨帧的一致性水平。通过最小化实际一致性图与预定理想一致性图之间的差异,约束一致性水平以保持时间平滑性,并在响应图中引入丰富的时间信息.此外,提出了动态约束策略,进一步提高了跟踪器在复杂情况下的适应性。在三个具有挑战性的无人机基准上进行了综合实验,UAV123@10FPS、UAVDT和DTB70。实验结果表明,该跟踪器在单CPU上的实时的【形】运行速度($\sim$ 43 FPS)优于其他25种最先进的跟踪器。
2020-08-09 cs.CV
Adversarial Semi-Supervised Multi-Domain Tracking
RIKEN Center for Advanced Intelligence Project (AIP)(理化学研究所先进智能项目中心)
用于多域学习的神经网络通过共享和共同学习参数来实现来自不同域的信息的有效组合。在视觉跟踪中,在多域跟踪器的共享层中出现的特征,在各种序列上训练,对于在看不见的视频中进行跟踪至关重要。然而,在完全共享的架构中,一些新出现的特征仅在特定领域中有用,从而减少了所学习的特征表示的泛化。我们提出了一个半监督学习方案,使用对抗学习来分离域不变和域特定特征,鼓励它们之间的相互排斥,并利用自监督学习来增强使用未标记库的共享特征。通过使用这些功能并为每个序列训练专用层,我们构建了一个在不同类型的视频上表现出色的跟踪器。
2020-09-30 cs.CV cs.LG
Self-Supervised Multi-Object Tracking with Cross-Input Consistency
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
在本文中,我们提出了一个自监督学习过程,用于训练一个强大的多目标跟踪(MOT)模型,只有未标记的视频。虽然在之前的单对象跟踪工作中已经提出了几种自监督学习信号,例如颜色传播和周期一致性,但这些信号不能直接应用于训练RNN模型,而RNN模型是实现准确MOT所需的:它们会产生退化模型,例如,总是将新检测与具有最接近初始检测的轨迹相匹配。我们提出了一种新的自我监督信号,我们称之为交叉输入一致性:我们为同一个视频序列构建两个不同的输入,通过在每个输入中隐藏有关序列的不同信息。然后,我们通过在每个输入上独立地应用RNN模型来计算该序列中的轨迹,并训练模型以在两个输入上产生一致的轨迹。我们在MOT 17和KITTI上评估了我们的无监督方法-值得注意的是,我们发现,尽管只在未标记的视频上进行训练,但我们的无监督方法优于过去1- 2年发表的四种监督方法,包括Tracktor++,FAMNet,GSM和mmMOT。
2021-11-10 cs.CV
Saliency based Semi-supervised Learning for Orbiting Satellite Tracking
University of Chinese Academy of Sciences(中国科学院大学);Key Laboratory of Space Utilization, Chinese Academy of Sciences(中国科学院空间利用重点实验室)
在轨卫星的轨道和边界是空间机器人进行在轨修复和操作的基础信息。然而,由于在轨卫星的自由和快速运动、快速变化的背景和照明条件的突然变化,这项任务具有挑战性。传统的跟踪通常依赖于目标物体的单个限界框,然而,视觉跟踪需要提供更详细的信息,如二进制掩码。在本文中,我们提出了一种SSLT(基于显着性的半监督学习跟踪)算法,提供了限界框和目标卫星的分割二进制掩码在12帧/秒,而不需要注释数据。我们的方法,SSLT,提高了分割性能,通过生成一个显着图为基础的半监督在线学习方法内的初始限界框估计跟踪。一旦训练了定制的分割模型,将使用二进制分割结果来细化限界框和卫星轨迹。实验使用来自NASA(国家航空航天局)的真实在轨交会对接视频,来自ESA(欧洲航天局)的模拟卫星动画序列和我们实验室拍摄的3D打印卫星模型的图像序列,与最先进的跟踪和分割方法相比,我们的方法具有鲁棒性,通用性和快速性。我们的数据集将在未来发布用于学术用途。
2019-09-09 cs.CV
Weakly-Supervised Cell Tracking via Backward-and-Forward Propagation
Kyushu University(九州大学);The Chinese University of Hong Kong(香港中文大学)
我们提出了一种弱监督细胞跟踪方法,该方法可以训练仅使用“细胞检测”的注释(即,细胞位置的坐标),其中细胞位置可以通过核染色容易地获得。首先,我们训练联合检测CNN,它通过使用弱标签来检测连续帧中的细胞。我们的关键假设是,协同检测CNN除了检测之外,还隐式地学习关联。为了获得这种关联,我们提出了一种向后和向前传播的方法,该方法分析了协同检测CNN输出中细胞位置的对应关系。实验表明,该方法通过分析协同检测CNN,可以实现细胞关联。即使该方法只使用弱监督,我们的方法的性能几乎是相同的国家的最先进的监督方法。代码可在https://github.com/naivete5656/WSCTBFP上公开获取
2020-07-30 cs.CV
S$^3$Track: Self-supervised Tracking with Soft Assignment Flow
Algolux(Algolux公司);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));TU Kaiserslautern(凯泽斯劳滕工业大学)
本文提出一种基于可微软目标分配的自监督多目标跟踪方法,通过时序和多视图数据学习实例感知特征,在多个数据集上显著优于其他无监督方法。
2023-05-17 cs.CV
IA-MOT: Instance-Aware Multi-Object Tracking with Motion Consistency
University of Washington(华盛顿大学)
多目标跟踪(MOT)是计算机视觉的一项重要任务。然而,大多数跟踪检测MOT方法,与可用的检测到的边界框,不能有效地处理静态,缓慢移动和快速移动的摄像机的情况下,由于自我运动和频繁的遮挡。在这项工作中,我们提出了一种新的跟踪框架,称为“实例感知MOT”(IA-MOT),它可以跟踪多个对象,无论是静态或移动摄像机,通过共同考虑的实例级功能和对象运动。首先,通过发送给定的检测作为区域建议,从具有额外嵌入头的Mask R-CNN检测器的变体中提取鲁棒的外观特征。同时,空间注意力,集中在边界框内的前景,从给定的实例掩码中产生,并应用到提取的嵌入特征。在跟踪阶段,使用匈牙利关联算法通过特征相似性和运动一致性来对齐对象实例掩码。此外,对象重新识别(ReID)被纳入恢复ID开关造成的长期闭塞或错过检测。总的来说,在MOTS 20和KITTI-MOTS数据集上进行评估时,我们提出的方法在CVPR 2020研讨会的BMTT挑战赛第三轨道中获得了第一名。
2020-06-24 cs.CV
Walker: Self-supervised Multiple Object Tracking by Walking on Temporal Appearance Graphs
ETH Zurich(苏黎世联邦理工学院);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);INSAIT
提出首个自监督多目标跟踪器Walker,通过设计准密集时序外观图并优化随机游走学习实例相似性,在大幅减少标注需求下于多个基准上取得竞争力性能。
2024-09-25 cs.CV
Learning a Neural Association Network for Self-supervised Multi-Object Tracking
University of Bonn(波恩大学);Monash University(莫纳什大学);University of Edinburgh(爱丁堡大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔人工智能与机器学习研究所)
针对多目标跟踪全监督标注成本高的问题,提出基于神经卡尔曼滤波与EM算法的自监督数据关联框架,在多个基准上取得同类型方法最优性能。
2025-09-03 cs.CV
Self-Supervised Multi-Object Tracking For Autonomous Driving From Consistency Across Timescales
University of Freiburg(弗莱堡大学);Robert Bosch GmbH(罗伯特·博世有限公司)
本文提出SubCo损失函数,通过跨短期和长期时间尺度的一致性约束从连续多帧中自监督学习重识别特征,显著减少自动驾驶多目标跟踪中的ID切换,达到自监督方法最优并与全监督方法相当。
2023-09-21 cs.CV
Semi-Supervised Visual Tracking of Marine Animals using Autonomous Underwater Vehicles
Massachusetts Institute of Technology(麻省理工学院);Woods Hole Oceanographic Institution(伍兹霍尔海洋研究所);Marine Biological Laboratory(海洋生物学实验室)
针对海洋动物视觉跟踪标注数据不足、缺乏真实水下数据集的问题,本文构建了专用海洋动物跟踪数据集,评估了前沿半监督跟踪算法性能,并通过AUV实机野外验证了算法的实际效用。
2023-02-14 cs.CV cs.LG cs.RO
Learning Adaptive Discriminative Correlation Filters via Temporal Consistency Preserving Spatial Feature Selection for Robust Visual Tracking
Jiangnan University(江南大学);University of Surrey(萨里大学)
有了有效的外观学习模型,判别相关滤波器(DCF)已被证明是非常成功的,在最近的视频对象跟踪基准和比赛。然而,现有的DCF范例存在两个主要问题,即,空间边界效应和时间滤波器退化。为了缓解这些挑战,我们提出了一种新的基于DCF的跟踪方法。该方法的主要创新点包括自适应的空间特征选择和时间一致性约束,使得新的跟踪器能够在低维判别流形上进行时空联合滤波学习。更具体地说,我们应用结构化的空间稀疏约束多通道过滤器。因此,学习空间滤波器的过程可以通过套索正则化来近似。为了鼓励时间一致性,过滤器模型被限制在其历史值周围,并在局部更新以保持流形中的全局结构。最后,提出了一个统一的优化框架,以联合选择时间一致性保持空间特征和学习鉴别过滤器与增强拉格朗日方法。已经对一些知名的基准数据集进行了定性和定量评估,如OTB 2013,OTB 50,OTB 100,Temple-Colour,UAV 123和VOT 2018。实验结果表明,所提出的方法的优越性比国家的最先进的方法。
2019-06-19 cs.CV
ReMOTS: Self-Supervised Refining Multi-Object Tracking and Segmentation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);RIKEN(理化学研究所);UISEE Technology (Beijing) Co. Ltd.(北京驭势科技有限公司);Kyoto University(京都大学)
我们的目标是通过细化来提高多目标跟踪和分割(MOTS)的性能。然而,它仍然具有挑战性的改进MOTS结果,这可能是由于外观特征不适应目标视频,也很难找到合适的阈值来区分它们。为了解决这个问题,我们提出了一个自我监督的细化MOTS(即,ReMOTS)框架。从数据关联的角度来看,ReMOTS主要采取四个步骤来细化MOTS结果。(1)使用预测掩码训练外观编码器。(2)关联相邻帧之间的观测以形成短期轨迹。(3)使用短期tracklet作为可靠的伪标签来训练外观编码器。(4)利用从统计信息自动获得的所采用的外观特征和阈值将短期tracklet合并到长期tracklet。使用ReMOTS,我们在CVPR 2020 MOTS挑战1中达到了$1^{st}$的位置,sMOTSA评分为$69.9$。
2021-01-13 cs.CV
Delving into Dynamic Scene Cue-Consistency for Robust 3D Multi-Object Tracking
Fabu
本文提出DSC-Track方法,通过动态场景提示一致性提升3D多目标跟踪的鲁棒性,实验表明其在nuScenes基准上达到SOTA性能。
2025-12-03 cs.CV
End-to-End Self-Supervised RGB-T Tracking without Modality Misleading
China University of Mining and Technology(中国矿业大学);Mine Digitization Engineering Research Center of the Ministry of Education(矿山数字化教育部工程研究中心);University of Auckland(奥克兰大学)
提出ESMTrack,一种无需模态误导的端到端自监督RGB-T跟踪框架,利用接地与时间三元组损失及模态解耦机制,在五个基准上达到先进性能。
2026-09-30 cs.CV
CalibFree: Self-Supervised View Feature Separation for Calibration-Free Multi-Camera Multi-Object Tracking
University of Maryland, College Park, MD, USA(马里兰大学);NEC Laboratories America, Princeton, NJ, USA(NEC美国实验室);University of North Carolina, Greenboro, NC, USA(北卡罗来纳大学格林伯格分校)
本文提出CalibFree,一种无需标定或手动标注的自监督表示学习框架,通过单视图蒸馏和跨视图重建实现视图无关与视图特定特征分离,提升多摄像机多目标跟踪的准确性和适应性。
2026-05-10 cs.CV
Joint-task Self-supervised Learning for Temporal Correspondence
University of California, Merced(加州大学默塞德分校);NVIDIA(英伟达);Carnegie Mellon University(卡内基梅隆大学)
本文提出了以自监督的方式从视频中学习可靠的密集对应。我们的学习过程集成了两个高度相关的任务:跟踪大图像区域\emph{and},在连续视频帧之间建立细粒度的像素级关联。我们利用这两个任务之间的协同作用,通过一个共享的帧间亲和矩阵,同时在区域和像素级的视频帧之间的过渡模型。虽然区域级本地化通过缩小搜索区域来帮助减少细粒度匹配中的模糊性,但细粒度匹配提供自下而上的特征以促进区域级本地化。我们的方法在各种视觉对应任务上优于最先进的自监督方法,包括视频对象和部分分割传播,关键点跟踪和对象跟踪。我们的自监督方法甚至超过了在ImageNet上预训练的ResNet-18所获得的完全监督的亲和力特征表示。
2019-09-26 cs.CV
TrackFish3D: Self-Supervised 3D Tracking of Schooling Fish from Multi-view Videos
The University of Hong Kong(香港大学);Centre for Transformative Garment Production(转型服装生产中心);Hong Kong University of Science and Technology(香港科技大学);Texas A&M University(德克萨斯A&M大学)
TrackFish3D提出几何驱动的自监督框架,利用多视角几何和对比学习实现鱼群密集3D跟踪,无需身份标注,显著提升跟踪准确率并泛化至鸟类跟踪。
2026-10-01 cs.CV
Learning Global Structure Consistency for Robust Object Tracking
Huazhong University of Science and Technology(华中科技大学);Baidu Inc.(百度公司)
快速的外观变化和相似物体的干扰是视觉目标跟踪中最具挑战性的两个问题。与许多现有的跟踪器,专注于建模的目标,在这项工作中,我们考虑的\emph{transient variations of the whole scene}。关键的见解是整个场景的对象对应和空间布局是一致的(即,全局结构一致性),这有助于将目标与干扰物区分开。此外,建模瞬态变化使得能够在快速变化下定位目标。具体来说,我们提出了一个有效的和高效的短期模型,学习利用全球结构的一致性在很短的时间内,从而可以处理快速变化和干扰。由于短期建模无法处理遮挡和视图外,因此我们采用长短期范式,并使用长期模型,当短期模型偏离目标或目标不存在时,该模型会纠正短期模型。这两个组件被仔细地结合在一起,以实现跟踪过程中稳定性和可塑性的平衡。我们经验验证,建议的跟踪器可以解决这两个具有挑战性的情况下,并验证它在大规模的基准。值得注意的是,我们的跟踪器将VOT 2018的最先进性能从0.440提高到0.460,GOT-10 k从0.611提高到0.640,NFS从0.619提高到0.629。
2020-08-26 cs.CV
Self-supervised learning using consistency regularization of spatio-temporal data augmentation for action recognition
Sun Yat-sen University(中山大学)
自监督学习通过直接从未标记的数据中构造代理监督信号,在以无监督的方式改进深度学习模型方面显示出巨大的潜力。与现有的工作不同,我们提出了一种新的方法来获得代理监督信号的基础上一致性正则化的高层次的特征映射。在本文中,我们提出了一种时空一致性正则化从连体网络生成的不同输出功能之间,包括一个干净的路径与原始视频和噪声路径与相应的增强视频馈送。基于视频的时空特性,本文提出了两种基于视频的数据增强方法,时空变换与视频帧内混叠前者的一致性模型的特征的转换一致性,而后者的目的是保持空间不变性,以提取动作相关的功能。大量的实验表明,我们的方法实现了实质性的改进相比,国家的最先进的自监督学习方法的动作识别。当使用我们的方法作为额外的正则化项并结合当前的替代监督信号时,我们在HMDB 51上实现了22%的相对改进,在UCF 101上实现了7%的相对改进。
2020-08-05 cs.CV
ConsistencyTrack: A Robust Multi-Object Tracker with a Generation Strategy of Consistency Model
College of Computer Science and Engineering, Shandong University of Science and Technology(山东科技大学计算机科学与工程学院);School of Software Technology, Zhejiang University(浙江大学软件学院)
提出ConsistencyTrack,一种将检测与关联表述为去噪扩散过程的联合检测与跟踪框架,通过渐进式去噪策略提升抗噪性,并在MOT17和DanceTrack数据集上优于DiffusionTrack等方法。
2024-08-28 cs.CV
Fast Self-Supervised depth and mask aware Association for Multi-Object Tracking
Concordia University(康科迪亚大学)
提出一种基于自监督编码器的TBD多目标跟踪方法,融合深度与掩码特征生成稳定目标表示,避免计算掩码IoU,在复杂场景基准上优于现有方法。
2025-10-10 cs.CV
Semi supervised segmentation and graph-based tracking of 3D nuclei in time-lapse microscopy
University of California Santa Barbara(加州大学圣巴巴拉分校)
我们提出了一种新的弱监督的方法来改善边界的3D分割核利用过分割图像。这是由于观察到当前最先进的深度学习方法在训练数据被弱注释时不会产生准确的边界。为此,训练3D U-Net以获得细胞核的质心,并与简单的线性迭代聚类(SLIC)超体素算法集成,该算法提供了更好的聚类边界。为了跟踪这些分割的细胞核,我们的算法利用描绘细胞核分裂和凋亡过程的相对细胞核位置。与Cell Tracking Challenge(CTC)2019中的最先进方法相比,所提出的算法流水线实现了更好的分割性能,并且与IEEE ISBI CTC 2020中的最先进方法具有相当的性能,同时利用很少的像素注释数据。提供了详细的实验结果,源代码可在GitHub上获得。
2020-10-26 cs.CV cs.LG
ASCNet: Self-supervised Video Representation Learning with Appearance-Speed Consistency
South China University of Technology(华南理工大学);Pazhou Laboratory(琶洲实验室);Baidu Inc.(百度公司)
我们研究了自监督视频表示学习,这是一个具有挑战性的任务,由于1)缺乏显式监督的标签; 2)非结构化和嘈杂的视觉信息。现有的方法主要使用对比度损失与视频剪辑的实例和学习视觉表示,通过区分彼此的实例,但他们需要一个仔细的处理负对依赖于大批量大小,存储体,额外的模态或定制的挖掘策略,其中不可避免地包括噪声数据。在本文中,我们观察到正样本之间的一致性是学习鲁棒视频表示的关键。具体来说,我们提出了两个任务,分别学习外观和速度的一致性。外观一致性任务旨在最大化具有不同回放速度的相同视频的两个片段之间的相似性。速度一致性任务旨在最大化具有相同回放速度但不同外观信息的两个剪辑之间的相似性。我们表明,联合优化这两个任务一致地提高了下游任务的性能,例如,动作识别和视频检索。值得注意的是,对于UCF-101数据集上的动作识别,我们实现了90.8%的准确率,而无需使用任何额外的模态或负对进行无监督预训练,这优于ImageNet监督预训练模型。将提供代码和模型。
2021-08-17 cs.CV
MANTA: Physics-Informed Generalized Underwater Object Tracking
Indian Institute of Science(印度科学研究院);National Institute of Technology Karnataka(卡纳塔克国家理工学院)
MANTA通过融合物理的框架,结合对比学习与多阶段流程,实现水下目标跟踪的鲁棒性和高效性。
2025-11-28 cs.CV
Tracking by weakly-supervised learning and graph optimization for whole-embryo C. elegans lineages
Max-Delbrueck-Center for Molecular Medicine in the Helmholtz Association(亥姆霍兹联合会马克斯·德尔布吕克分子医学中心);Humboldt-Universität zu Berlin(柏林洪堡大学);Sloan Kettering Cancer Center(斯隆·凯特琳癌症中心);HHMI Janelia Research Campus(霍华德·休斯医学研究所珍妮莉亚研究园区)
在嘈杂和密集的荧光显微镜数据中跟踪胚胎的所有细胞核是一项具有挑战性的任务。我们建立在最近的核跟踪方法,结合弱监督学习从一个小的一组核中心点注释与整数线性规划(ILP)的最佳细胞谱系提取。我们的工作具体解决了C的以下具有挑战性的性质。elegans胚胎记录:(1)与其他生物体的基准记录相比,许多细胞分裂,以及(2)容易被误认为细胞核的极体的存在。为了应对(1),我们设计并结合了学习的细胞分裂检测器。为了处理(2),我们采用学习的极体检测器。我们进一步提出了自动化ILP权重调整通过结构化SVM,减轻了繁琐的手动设置各自的网格搜索的需要。我们的方法优于Fluo-N3 DH-CE胚胎数据集上细胞跟踪挑战的先前领导者。我们报告了进一步广泛的定量评价两个以上的C。elegans数据集我们将公开这些数据集,作为未来方法开发的扩展基准。我们的研究结果表明,我们的方法产生了相当大的改进,特别是在分裂事件检测的正确性和完全正确的轨道段的数量和长度。代码:https://github.com/funkelab/linajea
2022-08-24 cs.CV cs.LG
Self-Supervised Depth and Ego-Motion Estimation for Monocular Thermal Video Using Multi-Spectral Consistency Loss
KAIST(韩国科学技术院)
热像仪可以在恶劣的光线条件下(如夜景,隧道和灾难场景)稳健地捕获热辐射图像。然而,尽管有这个优点,但到目前为止,热成像相机的深度和自我运动估计研究都没有得到积极的探索。在本文中,我们提出了一个自监督学习方法的深度和自我运动估计从热图像。所提出的方法利用多光谱的一致性,包括温度和光度一致性损失。温度一致性损失提供了一个基本的自我监督信号,通过重建裁剪和彩色热图像。此外,我们设计了一个可微的前向变形模块,可以将估计的深度图和相对姿态的坐标系从热成像相机转换到可见光相机。基于所提出的模型,光度一致性损失可以提供补充的自我监督网络。用所提出的方法训练的网络在低光甚至零光条件下从单目热视频鲁棒地估计深度和姿态。据我们所知,这是第一个工作,同时估计深度和自我运动从单目热视频在一个自我监督的方式。
2022-07-07 cs.CV cs.RO
Unsupervised Contour Tracking of Live Cells by Mechanical and Cycle Consistency Losses
KAIST(韩国科学技术院);Boston Children’s Hospital(波士顿儿童医院);Harvard Medical School(哈佛医学院);Imperial College London(帝国理工学院)
分析细胞形态的动态变化对于理解活细胞的各种功能和特性是重要的,包括干细胞和转移性癌细胞。为此,我们需要在活细胞视频的每一帧中跟踪高度可变形的细胞轮廓上的所有点。轮廓上的局部形状和纹理不明显,并且它们的运动是复杂的,经常具有局部轮廓特征的膨胀和收缩。由于细胞的流动性,用于光流或深点集跟踪的现有技术是不适合的,并且先前的深轮廓跟踪不考虑点对应。我们提出了第一个基于深度学习的跟踪细胞(或更一般的粘弹性材料)轮廓与点对应,通过融合两个轮廓之间的密集表示与交叉注意。由于手动标记轮廓上的密集跟踪点是不切实际的,因此提出了由机械和周期性一致性损失组成的无监督学习来训练我们的轮廓跟踪器。机械损失迫使点垂直于轮廓移动,有效地帮助了。对于定量评估,我们标记稀疏跟踪点沿轮廓的活细胞从两个活细胞数据集采取的相位对比和共聚焦荧光显微镜。我们的轮廓跟踪定量优于比较方法,并产生定性更有利的结果。我们的代码和数据可在https://github.com/JunbongJang/contour-tracking/上公开获取
2023-03-15 cs.AI cs.CV
Self-Supervised RGB-T Tracking with Cross-Input Consistency
Imperial College London(伦敦帝国学院)
在本文中,我们提出了一种自监督的RGB-T跟踪方法。与现有的使用大量带注释的RGB-T图像对进行训练的深度RGB-T跟踪器不同,我们的RGB-T跟踪器以自监督的方式使用未标记的RGB-T视频对进行训练。我们提出了一种新的基于交叉输入一致性的自监督训练策略的思想,跟踪可以使用不同的输入。具体来说,我们使用未标记的RGB-T视频对构建两个不同的输入。然后,我们使用这两个输入来跟踪对象以生成结果,基于此,我们构建了交叉输入一致性损失。同时,我们提出了一个重新加权的策略,使我们的损失函数的低质量的训练样本的鲁棒性。我们建立我们的跟踪器上的暹罗相关过滤器网络。据我们所知,我们的跟踪器是第一个自我监督的RGB-T跟踪器。在两个公开的RGB-T跟踪基准上的大量实验表明,所提出的训练策略是有效的。值得注意的是,尽管只使用未标记的RGB-T视频对的语料库进行训练,但我们的跟踪器在GTOT数据集上的性能优于七个监督的RGB-T跟踪器。
2023-01-26 cs.AI cs.CV cs.MM
Video Diffusion Models Excel at Tracking Similar-Looking Objects Without Supervision
KAIST(韩国科学技术院);Rutgers University(罗格斯大学)
本文提出利用预训练视频扩散模型的运动表示能力,实现无监督环境下对视觉相似对象的高效追踪,提升了追踪性能并克服了现有方法的局限。
2025-12-02 cs.AI cs.CV
Boosting Self-Supervised Tracking with Contextual Prompts and Noise Learning
Key Laboratory of Education Blockchain and Intelligent Technology, Ministry of Education Guangxi Normal University(教育区块链与智能技术重点实验室,教育部广西师范大学);University Engineering Research Center of Educational Intelligent Technology Guangxi Normal University(教育智能技术大学工程研究中心,广西师范大学);University of Southampton(南安普顿大学);Xi’an Research Institute of High Technology(西安高科技研究所)
本文提出一种新的自监督跟踪框架,通过联合利用细粒度语义提示和上下文噪声,提升模型在无标签视频中学习鲁棒跟踪表示的能力。
2026-05-07 cs.CV
PIPsUS: Self-Supervised Point Tracking in Ultrasound
The University of British Columbia(不列颠哥伦比亚大学);Intuitive Surgical Inc.(直觉外科公司);School of Biomedical Engineering, The University of British Columbia(不列颠哥伦比亚大学生物医学工程学院)
PIPsUS提出一种超声自监督点跟踪模型,利用RGB教师模型与数据增强学习真实运动,在颈部和口腔超声及超声心动图上取得优于光流和归一化互相关的精度。
2024-07-31 cs.CV
WhiteCon: Semi-Supervised Domain Adaptation Regression Through Whitening Transform and Dual Consistency
Korea University(高丽大学)
针对半监督域适应回归中标记目标数据有限的问题,提出WhiteCon方法,结合域特定白化变换与双重一致性正则化,稳定训练并提升域适应性能,在基准数据集上达到最先进水平。
2026-09-29 cs.AI cs.CV
ASUMOT: Motion-Consistency-Based Asynchronous UAV Detection and Tracking with Event Cameras
针对远程无人机事件响应问题,提出ASUMOT框架,通过运动一致性建模、局部估计器、多任务验证器和聚类等操作,对无人机进行检测与跟踪,在公共数据和新基准上实验,提升了精度-效率权衡且保持异步处理。
2026-07-14 cs.CV
City-Scale Multi-Camera Vehicle Tracking System with Improved Self-Supervised Camera Link Model
University of Bath(巴斯大学)
本文提出一种自监督相机关联模型,通过预匹配自动挖掘摄像头空间关系并约束跨摄像头车辆匹配,在 CityFlow V2 上以 61.07% IDF1 达到同类方法最优。
2025-02-14 cs.AI cs.CV
Virtual embeddings and self-consistency for self-supervised learning
Technical University of Munich(慕尼黑工业大学);Whiting School of Engineering, Johns Hopkins University(约翰斯·霍普金斯大学怀廷工程学院);University Hospital Bonn(波恩大学医院);Helmholtz Zentrum München(亥姆霍兹慕尼黑中心)
自监督学习(Self-supervised Learning,SSL)由于训练监督学习模型的高成本和数据限制而受到广泛关注。SSL中的当前范例是利用输入空间处的数据增强来创建相同图像的不同视图,并训练模型以最大化相似图像之间的表示并最小化不同图像之间的表示。虽然这种方法在各种下游任务中实现了最先进的(SOTA)结果,但它仍然有机会研究潜在的空间增强。本文提出了TriMix,SSL的一个新概念,通过线性插值的数据生成虚拟嵌入,从而提供了新的表示模型。我们的策略侧重于训练模型从虚拟嵌入中提取原始嵌入,从而更好地进行表示学习。此外,我们提出了一个自我一致性术语,提高了虚拟和实际嵌入之间的一致性。我们验证了TriMix的8个基准数据集组成的自然和医学图像与2.71%和0.41%的改善优于第二个最好的模型为两个数据类型。此外,我们的方法在半监督学习中优于当前的方法,特别是在低数据状态下。此外,我们的预训练模型表现出更好的转移到其他数据集。
2022-06-15 cs.AI cs.CV
PseCo: Pseudo Labeling and Consistency Training for Semi-Supervised Object Detection
Nanjing University of Science and Technology(南京理工大学);SenseTime Research(商汤科技研究院)
本文研究了半监督目标检测(SSOD)中的两个关键技术:伪标记和一致性训练。我们观察到,这两种技术目前忽略了目标检测的一些重要属性,阻碍了对未标记数据的有效学习。具体而言,对于伪标签,现有的算法只关注分类得分,无法保证伪盒的定位精度;对于一致性训练,广泛采用的随机调整大小训练只考虑标签级的一致性,而忽略了特征级的一致性,这对保证尺度不变性也有重要作用。为了解决噪声伪盒所带来的问题,我们设计了噪声伪盒学习(NPL),包括预测引导标签分配(PLA)和积极建议一致性投票(PCV)。PLA依赖于模型预测来分配标签,并使其对甚至粗糙的伪框都具有鲁棒性;而PCV利用正建议的回归一致性来反映伪框的本地化质量。此外,在一致性训练中,我们提出了多视图尺度不变学习(MSL),它包括标签级和特征级一致性机制,其中特征一致性是通过对齐两个具有相同内容但不同尺度的图像之间的移位特征金字塔来实现的。在COCO基准测试中,我们的方法,称为PSEudo标记和COnsidertraining(PseCo),在1%,5%和10%的标记比率下分别比SOTA(Soft Teacher)高出2.0,1.8,2.0分。它还大大提高了裁军特别联大的学习效率,例如,PseCo将SOTA方法的训练时间减半,但实现了更好的性能。代码可在https://github.com/ligang-cs/PseCo上获得。
2022-07-20 cs.AI cs.CV
DINO-Tracker: Taming DINO for Self-Supervised Point Tracking in a Single Video
Weizmann Institute of Science(魏茨曼科学研究所)
本研究提出DINO-Tracker框架,结合单视频测试时训练与预训练DINO-ViT的语义特征,通过自监督损失和正则化端到端训练,在基准测试中达到SOTA,长期遮挡场景下优于监督跟踪器。
2024-07-11 cs.CV
Consistency-Based Semi-supervised Evidential Active Learning for Diagnostic Radiograph Classification
National University of Singapore(新加坡国立大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Singapore University of Technology and Design(新加坡科技设计大学)
深度学习方法实现了对放射学图像进行分类的最先进性能,但依赖于需要专家进行资源密集型注释的大型标记数据集。半监督学习和主动学习都可以用来减轻这种注释负担。然而,在结合半监督和主动学习方法的优点用于多标签医学图像分类方面的工作有限。在这里,我们介绍了一种新的基于一致性的半监督证据主动学习框架(CSEAL)。具体来说,我们利用基于证据理论和主观逻辑的预测不确定性来开发一种端到端的集成方法,该方法将基于一致性的半监督学习与基于不确定性的主动学习相结合。我们应用我们的方法来增强四种领先的基于一致性的半监督学习方法:伪标签,虚拟对抗训练,平均教师和NoTeacher。对多标签胸部X射线分类任务的广泛评估表明,CSEAL在两个领先的半监督主动学习基线上实现了实质性的性能改进。此外,对结果的分类分解表明,我们的方法可以用更少的标记样本大幅提高对罕见异常的准确性。
2022-09-05 cs.AI cs.CV cs.LG
S3-Tracker: Self-Supervised Surgical Tissue Tracking With Contrastive Random Walks
Johns Hopkins University(约翰霍普金斯大学);The University of British Columbia(不列颠哥伦比亚大学);University of Arkansas(阿肯色大学)
提出自监督手术组织追踪方法S3-Tracker,利用对比随机游走从未标注视频学习点轨迹,性能媲美半监督方法,减少对标注数据依赖。
2026-09-15 cs.CV cs.LG cs.RO
MAST: A Memory-Augmented Self-supervised Tracker
Visual Geometry Group, Department of Engineering Science(工程科学系视觉几何组);University of Oxford(牛津大学)
最近对自监督密集跟踪的兴趣已经取得了快速进展,但性能仍然远远低于监督方法。我们提出了一个在没有任何注释的视频上训练的密集跟踪模型,它在现有基准上超过了以前的自监督方法(+15%),并实现了与监督方法相当的性能。在本文中,我们首先通过进行彻底的实验来重新评估用于自我监督训练和重建损失的传统选择,最终阐明最佳选择。其次,我们进一步改善现有的方法,通过增加我们的架构与一个关键的内存组件。第三,我们对大规模半监督视频对象分割(又名。密集跟踪),并提出了一个新的度量:泛化。我们的前两个贡献产生了一个自监督网络,这是第一次在密集跟踪的标准评估指标上与监督方法竞争。在衡量泛化能力时,我们发现自监督方法实际上优于大多数监督方法。我们相信这种新的可推广性度量可以更好地捕捉密集跟踪的真实用例,并将激发人们对这一研究方向的新兴趣。
2020-02-26 cs.CV cs.LG
Structured Consistency Loss for semi-supervised semantic segmentation
SNUAILAB(首尔大学人工智能实验室);Seoul National Univ.(首尔大学);KyeongBook Univ.(庆北大学)
一致性损失是近年来半监督学习研究中解决问题的关键。然而,现有的研究与一致性损失仅限于其应用于分类任务;现有的研究半监督语义分割依赖于像素分类,这并不反映结构化的性质的特征预测。我们提出了一个结构化的一致性损失,以解决现存研究的这一局限性。结构化一致性损失促进教师和学生网络之间像素间相似性的一致性。具体来说,与CutMix的合作通过显著降低计算负担来优化具有结构化一致性损失的半监督语义分割的高效性能。在Cityscapes上验证了所提方法的优越性,Cityscapes的基准测试结果(包括验证和测试数据)分别为81.9 mIoU和83.84 mIoU。这在Cityscapes基准测试套件的像素级语义标记任务中排名第一。据我们所知,我们是第一个提出最先进的半监督学习在语义分割的优势。
2021-11-22 cs.CV
Region-level Contrastive and Consistency Learning for Semi-Supervised Semantic Segmentation
Jilin University(吉林大学);Baidu Research(百度研究院);National Engineering Laboratory for Deep Learning Technology and Application(深度学习技术及应用国家工程实验室)
目前的半监督语义分割方法主要集中在设计像素级一致性和对比正则化。然而,像素级正则化对来自具有不正确预测的像素的噪声敏感,并且像素级对比正则化具有O(pixel_num^2)的内存和计算成本。为了解决这些问题,我们提出了一种新的区域级对比和一致性学习框架(RC ^2L)的半监督语义分割。具体来说,我们首先提出了一个区域掩码对比(RMC)损失和区域特征对比(RFC)损失,以实现区域级的对比属性。此外,区域类一致性(RCC)损失和语义掩码一致性(SMC)损失提出了实现区域级的一致性。基于提出的区域级对比和一致性正则化,我们开发了一个用于半监督语义分割的区域级对比和一致性学习框架(RC ^2L),并在两个具有挑战性的基准测试(PASCAL VOC 2012和Cityscapes)上评估了我们的RC $^2$ L,性能优于最先进的。
2022-04-28 cs.CV
Self-Supervised Any-Point Tracking by Contrastive Random Walks
University of Michigan(密歇根大学)
提出一种基于对比随机游走的自监督方法解决TAP问题,通过全局匹配transformer在时空图上实现高精度轨迹匹配,在TapVid基准上超越DIFT等自监督方法并媲美监督方法。
2024-09-24 cs.CV
Semi-supervised Image Classification with Grad-CAM Consistency
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
一致性训练是一种利用无标记数据进行无监督学习监督学习(SSL)的有效方法。在这里,我们提出了另一种版本的方法与梯度CAM一致性损失,所以它可以用于训练模型具有更好的泛化性和可调整性。我们表明,我们的方法改进了基线ResNet模型,CIFAR-10数据集的平均精度提高了至多1.44%和0.31 $\pm$ 0.59% p。我们进行了消融研究,并与仅使用伪标签进行一致性训练进行比较。此外,我们认为,我们的方法可以调整在不同的环境中,针对不同的单位在模型中。代码可在https://github.com/gimme1dollar/gradcam-consistency-semi-sup上找到。
2021-08-31 cs.CV