Online Multi-Object Tracking with Historical Appearance Matching and Scene Adaptive Detection Filtering
Gwangju Institute of Science and Technology（光州科学技术院）
在本文中，我们提出的方法来处理多目标跟踪过程中的时间误差。当对象被遮挡或噪声检测出现在对象附近时，会发生时间误差。在这些情况下，跟踪可能会失败，并发生漂移或ID切换等各种错误。仅利用运动和形状信息很难克服时间误差。因此，本文提出了历史外观匹配方法和两步训练的联合输入连体网络。该方法可以防止目标在被遮挡或最后匹配信息不可靠时的跟踪失败。我们还提供了有用的技术，以消除噪声检测有效地根据现场条件。跟踪性能，特别是身份一致性，大大提高了附加我们的方法。
2018-09-18 cs.CV
Robust Estimation of Similarity Transformation for Visual Object Tracking
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；Singapore Management University（新加坡管理大学）
现有的基于相关滤波器的跟踪方法大多只估计简单的轴对齐的边界框，很少有能够恢复底层的相似性变换。为了解决这个具有挑战性的问题，在本文中，我们提出了一种新的相关滤波器为基础的跟踪器与一种新的鲁棒估计的相似变换的大位移。为了有效地搜索在这样一个大的4自由度空间中的实时性，我们制定了两个2自由度的子问题的问题，并应用一个有效的块坐标下降求解器来优化估计结果。具体来说，我们采用了一个有效的相位相关计划，同时处理尺度和旋转的变化，在对数极坐标。此外，相关滤波器的变体被用于单独地预测平移运动。我们的实验结果表明，该跟踪器实现了非常有前途的预测性能相比，国家的最先进的视觉对象跟踪方法，同时仍然保留了传统的相关滤波器为基础的跟踪方法的高效性和简单性的优点。
2018-11-07 cs.CV
Quasi-Dense Similarity Learning for Multiple Object Tracking
Zhejiang University（浙江大学）；Georgia Institute of Technology（佐治亚理工学院）；ETH Zürich（苏黎世联邦理工学院）；Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
相似性学习被认为是目标跟踪的关键步骤。然而，现有的多目标跟踪方法只使用稀疏地面真值匹配作为训练目标，而忽略了图像上的大部分信息区域。在本文中，我们提出了准密集相似性学习，密集采样数百个区域的建议对一对图像的对比学习。我们可以直接将这种相似性学习与现有的检测方法结合起来，构建准密集跟踪（QDTrack），而无需转向位移回归或运动先验。我们还发现，由此产生的独特的特征空间承认一个简单的最近邻搜索在推理时间。尽管简单，但QDTrack在MOT，BDD 100K，Waymo和TAO跟踪基准上优于所有现有方法。它在MOT17上以20.3 FPS实现了68.7 MOTA，而无需使用外部训练数据。与使用类似检测器的方法相比，它提高了近10个MOTA点，并显着减少了BDD 100K和Waymo数据集上的ID开关数量。我们的代码和训练模型可以在www.example.com上找到。
2021-09-08 cs.CV cs.LG
Multi-Ship Tracking by Robust Similarity metric
Harbin Engineering University（哈尔滨工程大学）
针对船舶数据集中IoU度量失效导致的跟踪身份切换问题，提出兼顾重叠面积与形状相似性的TIoU度量，集成到主流跟踪框架后有效提升了多船舶跟踪性能。
2023-10-08 cs.AI cs.CV
Learning Deep Multi-Level Similarity for Thermal Infrared Object Tracking
Harbin Institute of Technology Shenzhen Graduate School（哈尔滨工业大学深圳研究生院）
现有的深度热红外（TIR）跟踪器仅使用语义特征来描述TIR对象，缺乏足够的区分能力来处理干扰项。为了解决这个问题，我们提出了一个多层次的相似性模型下的Siamese框架下的鲁棒TIR目标跟踪的特征提取网络只训练RGB图像。具体来说，我们使用所提出的多级相似性网络在两个卷积层上计算不同的模式相似性。其中一种方法侧重于TIR对象的全局语义相似度，另一种方法则侧重于TIR对象的局部结构相似度。这两个相似性相互补充，从而增强了网络处理干扰物的辨别能力。此外，我们还设计了一个简单而有效的基于相对熵的集成子网络来集成语义和结构相似性。该子网络可以在训练阶段自适应地学习语义相似度和结构相似度的权重。为了进一步提高跟踪器的鉴别能力，我们构建了第一个大规模TIR视频序列数据集来训练所提出的模型。所提出的TIR数据集不仅有利于TIR跟踪的训练，而且可以应用于许多TIR视觉任务。在VOT-TIR 2015和VOT-TIR 2017基准测试上的大量实验结果表明，该算法与最先进的方法相比表现良好。
2019-06-09 cs.CV
3D Object Tracking with Transformer
Northeastern University（东北大学）
特征融合和相似度计算是三维目标跟踪中的两个核心问题，特别是对于稀疏无序点云的目标跟踪。特征融合通过包含目标对象的信息，使相似度计算更加有效。然而，大多数现有的基于激光雷达的方法直接使用提取的点云特征来计算相似性，而忽略了跟踪过程中对象区域的注意力变化。本文提出了一种基于Transformer结构的特征融合网络。得益于自注意力机制，Transformer编码器捕捉点云不同区域之间的相互关系和内部关系。Transformer解码器利用交叉注意力融合特征，在当前点云特征中加入更多的目标线索，计算区域注意力，提高了相似度计算的效率。基于此特征融合网络，我们提出了一个端到端的点云目标跟踪框架，一个简单而有效的方法，用于3D目标跟踪使用点云。KITTI数据集上的综合实验结果表明，我们的方法达到了新的最先进的性能。代码可在：https://github.com/3bobo/lttr.
2021-10-28 cs.CV
Deep Multi-Shot Network for modelling Appearance Similarity in Multi-Person Tracking applications
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
多目标跟踪的自动化在真实的无约束场景中成为一项艰巨的任务，其中算法必须处理人群，交叉人群，遮挡，消失和视觉相似个体的存在。在这些情况下，传入检测与其对应的身份之间的数据关联可能会错过一些轨道或产生身份切换。为了减少这些跟踪错误，甚至减少它们在进一步帧中的传播，本文提出了一种深度多镜头神经模型，用于测量人观察之间的外观相似度（MS-DoAS）。该模型为个体的外观表示提供了时间一致性，并提供了一个亲和力度量来执行逐帧数据关联，从而允许在线跟踪。该模型经过精心训练，能够管理先前身份切换的存在和处理轨迹中的遗漏观测。为此，设计了一种新的数据生成工具来创建模拟这种情况的训练轨迹。该模型已被证明是一个高的能力，以辨别当一个新的观察对应于一个特定的轨道，实现了97%的分类准确率在硬测试中，模拟跟踪与以前的错误。此外，该模型在监视应用中的跟踪效率已经通过将其集成到检测跟踪算法的逐帧关联中来证明。
2020-04-07 cs.CV
Multiple Convolutional Features in Siamese Networks for Object Tracking
Polytechnique Montreal（蒙特利尔理工学院）；TELUQ University（魁北克大学泰勒斯分校）
Siamese跟踪器在目标跟踪方面表现出了很高的性能，因为它们在准确性和速度之间取得了平衡。与基于分类的CNN不同，深度相似性网络是专门为解决图像相似性问题而设计的，因此本质上更适合于跟踪任务。然而，暹罗跟踪器主要使用最后的卷积层进行相似性分析和目标搜索，这限制了它们的性能。在本文中，我们认为使用单个卷积层作为特征表示不是深度相似性框架中的最佳选择。我们提出了一个多个神经元暹罗跟踪器（MFST），一种新的跟踪算法，利用几个层次的功能强大的跟踪地图。由于卷积层在表征对象时提供了几个抽象级别，因此融合分层特征可以获得更丰富和更有效的目标表示。此外，我们通过校准从两个不同的CNN模型提取的深度特征来处理目标外观变化。基于这种先进的特征表示，我们的方法实现了高跟踪精度，同时优于标准的暹罗跟踪对象跟踪基准。源代码和训练模型可在https://github.com/zhenxili96/MFST上获得。
2021-03-01 cs.CV
DropMAE: Learning Representations via Masked Autoencoders with Spatial-Attention Dropout for Temporal Matching Tasks
City University of Hong Kong（香港城市大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；Queen Mary University of London（伦敦玛丽女王大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出DropMAE，通过在帧重建中自适应执行空间注意力dropout来增强视频时序对应学习，有效提升了VOT、VOS、光流估计及3D点云跟踪等多种时序匹配下游任务的性能。
2025-04-04 cs.CV
Learn to Match: Automatic Matching Network Design for Visual Tracking
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
近年来，暹罗跟踪已经取得了突破性的性能，其本质是高效的匹配算子互相关及其变体。除了显著的成功，重要的是要注意，启发式匹配网络设计严重依赖于专家经验。此外，我们的实验发现，一个单一的匹配算子是很难保证稳定的跟踪在所有具有挑战性的环境。因此，在这项工作中，我们从特征融合而不是显式相似性学习的角度引入了六种新的匹配算子，即级联，逐点添加，成对关系，电影，简单变换器和转换指导，以探索匹配算子选择的更多可行性。分析揭示了这些算子对不同环境退化类型的选择适应性，这启发我们将它们结合起来，探索互补的功能。为此，我们提出了二进制通道操纵（binary channel manipulation，缩写为EMT）来搜索这些操作符的最佳组合。通过学习一个操作符对其他跟踪步骤的贡献来确定重新训练或丢弃该操作符。通过将学习的匹配网络插入到强基线跟踪器Ocean中，我们的模型分别在OTB100、LaSOT和TrackingNet上通过$67.2 \rightarrow 71.4$、$52.6 \rightarrow 58.3$、$70.3 \rightarrow 76.0$成功实现了有利的增益。值得注意的是，我们的跟踪器被称为AutoMatch，使用的训练数据/时间比基线跟踪器少一半，并且使用PyTorch以50 FPS运行。代码和模型将在www.example.com上发布。
2021-08-02 cs.CV
Online Multi-Object Tracking with Dual Matching Attention Networks
Shanghai Jiao Tong University（上海交通大学）；Visbody Inc（维塑科技有限公司）；University of California, Merced（加州大学默塞德分校）；Google Inc（谷歌公司）；Northwestern Polytechnical University（西北工业大学）；Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们提出了一种在线多目标跟踪（MOT）的方法，它集成了单目标跟踪和数据关联方法在一个统一的框架来处理噪声检测和目标之间的频繁交互的优点。具体来说，对于在MOT中应用单个对象跟踪，我们引入了基于最先进的视觉跟踪器的成本敏感的跟踪损失，这鼓励模型在在线学习期间专注于硬负面干扰。对于数据关联，我们提出了双匹配注意力网络（DMAN）的空间和时间的注意力机制。空间注意力模块生成双注意力图，使网络能够专注于输入图像对的匹配模式，而时间注意力模块自适应地将不同级别的注意力分配给轨迹中的不同样本，以抑制噪声观测。在MOT基准数据集上的实验结果表明，该算法在身份保持指标方面对在线和离线跟踪器都表现良好。
2019-02-02 cs.CV
Tracking by Associating Clips
KAIST（韩国科学技术院）；Adobe Research（Adobe研究院）
通过检测的跟踪范例今天已经成为多目标跟踪的主要方法，并且通过检测每个帧中的对象，然后跨帧执行数据关联来工作。然而，它的顺序逐帧匹配特性从根本上受到视频中的中间中断的影响，例如对象遮挡、快速相机移动和突然的光线变化。此外，它通常忽略两个帧之外的时间信息以进行匹配。在本文中，我们研究了一种替代治疗对象关联剪辑明智的匹配。我们的新视角将单个长视频序列视为多个短剪辑，然后在剪辑内和剪辑之间执行跟踪。这种新方法的好处有两个方面。首先，我们的方法是强大的跟踪误差积累或传播，因为视频分块允许绕过中断的帧，和短剪辑跟踪避免了传统的容易出错的长期跟踪存储管理。第二，多帧信息在剪辑方式匹配期间被聚合，导致比当前帧方式匹配更准确的长距离轨迹关联。鉴于最先进的检测跟踪器，QDTrack，我们展示了如何跟踪性能提高我们的新的跟踪配方。我们在两个跟踪基准TAO和MOT17上评估我们的建议，这两个基准具有互补的特点和相互挑战。
2022-12-20 cs.CV
Similarity Mapping with Enhanced Siamese Network for Multi-Object Tracking
Panasonic Silicon Valley Laboratory（松下硅谷实验室）；University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）
多目标跟踪近年来已成为计算机视觉的一个重要领域，特别是对于高级驾驶员辅助系统（ADAS）。尽管越来越受到关注，但实现高性能跟踪仍然具有挑战性，最先进的系统导致具有大量超参数的高复杂性。在本文中，我们专注于降低整体系统的复杂性和数量的超参数，需要调整到一个特定的环境。我们介绍了一种新的跟踪系统的基础上相似性映射的增强型暹罗神经网络（ESNN），它占外观和几何信息，是可训练的端到端。与已知的最先进的方法相比，我们的系统在MOT16挑战的速度和准确性方面都具有竞争力。
2017-01-24 cs.CV cs.LG
Dense Scene Multiple Object Tracking with Box-Plane Matching
Tencent Youtu Lab（腾讯优图实验室）
多目标跟踪（MOT）是计算机视觉中的一项重要任务。由于遮挡问题，MOT仍然具有挑战性，特别是在密集场景中。在检测跟踪的框架下，我们提出了盒平面匹配（BPM）方法来提高密集场景下的MOT性能。首先，我们设计了分层聚集判别模型（LADM）来过滤噪声检测。然后，为了正确地关联剩余检测，我们引入全局注意力特征模型（GAFM）来提取外观特征，并使用它来计算历史轨迹和当前检测之间的外观相似性。最后，我们提出了盒平面匹配策略，以实现数据关联，根据运动相似性和外观相似性之间的轨迹和检测。凭借这三个模块的有效性，我们的团队在ACM MM Grand Challenge Hieve 2020中获得了第一名。
2021-04-01 cs.CV
Robust Visual Tracking Revisited: From Correlation Filter to Template Matching
Shanghai Jiao Tong University（上海交通大学）；Nanjing University of Science and Technology（南京理工大学）；University of Sydney（悉尼大学）
在本文中，我们提出了一种新的基于匹配的跟踪器之间的关系，模板匹配和最近流行的相关滤波器为基础的跟踪器（CFTs）的调查。与CFTs中的相关操作相比，提出了一种复杂的相似性度量，称为“相互伙伴相似性”（MBS），以利用多个倒数最近邻的关系进行目标匹配。通过这样做，我们的跟踪器获得了强大的区分能力，区分目标和背景的实验和理论分析表明。此外，本文设计了一种新的在线模板更新策略--“记忆过滤”（MF），以取代CFTs中使用单一模板的不当更新策略，该策略旨在选择历史上一定数量的具有代表性和可靠性的跟踪结果来构建当前稳定且具有表达力的模板集。该方案有利于跟踪器全面“理解”目标的外观变化，“回忆”出一些稳定的结果。两个基准的定性和定量评估表明，所提出的跟踪方法对一些最近开发的CFTs和其他竞争对手的跟踪器表现良好。
2019-04-15 cs.CV
SPM-Tracker: Series-Parallel Matching for Real-Time Visual Object Tracking
University of Science Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
视觉目标跟踪面临的最大挑战是同时要求鲁棒性和识别能力。在本文中，我们提出了一个基于SiamFC的跟踪器，命名为SPM跟踪器，以解决这一挑战。其基本思想是在两个单独的匹配阶段解决这两个要求。通过广义训练在粗匹配（CM）阶段增强鲁棒性，而通过远程学习网络在细匹配（FM）阶段增强辨别力。这两个级串联连接，因为FM级的输入建议由CM级生成。它们还并行连接，因为匹配分数和框位置细化被融合以生成最终结果。这种创新的串并联结构利用了两个级的优势，并带来了卓越的性能。本文提出的SPM-Tracker在GPU上以120 fps的速度运行，在OTB-100上的AUC为0.687，在VOT-16上的EAO为0.434，明显优于其他实时的【形】跟踪器。
2019-04-09 cs.CV
Limitation of Acyclic Oriented Graphs Matching as Cell Tracking Accuracy Measure when Evaluating Mitosis
Vanderbilt University（范德堡大学）
计算机视觉中的多目标跟踪（MOT）和生物医学图像分析中的细胞跟踪是两个相似的研究领域，其共同目标是实现实例级的目标检测/分割，并将这些目标在不同的视频帧中关联起来。然而，这两个任务之间的一个主要区别是，细胞跟踪还旨在检测有丝分裂（细胞分裂），这通常不在MOT任务中考虑。因此，非循环定向图匹配（AOGM）已被用作细胞跟踪的事实标准评价指标，而不是直接使用计算机视觉中的评价指标，如多目标跟踪精度（MOTA），ID开关（IDS），ID F1分数（IDF 1）等。然而，基于我们的实验，我们意识到，AOGM并不总是像预期的有丝分裂事件。在本文中，我们表现出的局限性，评估有丝分裂与AOGM使用模拟和真实的细胞跟踪数据。
2020-12-22 cs.CV eess.IV q-bio.QM
CFTrack: Enhancing Lightweight Visual Tracking through Contrastive Learning and Feature Matching
School of Aeronautics and Astronautics, Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区航空航天学院）；Insta360 Research（影石创新研究院）
CFTrack是一种轻量级视觉跟踪器，通过对比学习和特征匹配增强判别性特征，在LaSOT、OTB100和UAV123上超越多种先进轻量级跟踪器，并在NVIDIA Jetson NX上达到136帧/秒，且在严重遮挡下保持强判别能力。
2025-02-27 cs.CV
SMILEtrack: SiMIlarity LEarning for Occlusion-Aware Multiple Object Tracking
National Yang Ming Chiao Tung University（阳明交通大学）；University at Albany - SUNY（奥尔巴尼大学）
本文提出 SMILEtrack，结合相似度学习模块与带 GATE 函数的匹配级联，以改善遮挡场景下的多目标跟踪精度与速度权衡。
2024-01-22 cs.CV
Point Cloud Registration-Driven Robust Feature Matching for 3D Siamese Object Tracking
Nanjing University of Science and Technology（南京理工大学）
学习模板和搜索区域之间的鲁棒特征匹配对于3D暹罗跟踪至关重要。Siamese特征匹配的核心是如何在模板和搜索区域的对应点上分配高的特征相似度，以实现精确的目标定位。在本文中，我们提出了一种新型的点云配准驱动的连体追踪框架，直觉是空间对齐的对应点（通过3D配准）往往会实现一致的特征表示。具体来说，我们的方法包括两个模块，包括跟踪特定的非本地注册模块和注册辅助Sinkhorn模板特征聚合模块。配准模块的目标是模板和搜索区域之间的精确空间对准。提出了跟踪特定的空间距离约束，以细化区分性特征学习的非局部模块中的交叉注意权值。然后，我们使用加权SVD计算模板和搜索区域之间的刚性变换，并将它们对齐，以获得所需的空间对齐的对应点。对于特征聚合模型，我们将转换后的模板和搜索区域之间的特征匹配表示为最优传输问题，并利用Sinkhorn优化来搜索离群鲁棒匹配解决方案。此外，建立配准辅助的空间距离图以提高不可区分区域（例如，光滑表面）。最后，在得到的特征匹配图的指导下，将模板中的目标信息聚合到搜索区域中，构建目标特定特征，然后将其送入类似CenterPoint的检测头进行目标定位。在KITTI、NuScenes和Waymo数据集上的大量实验验证了该方法的有效性。
2022-12-03 cs.AI cs.CV
Appearance-free Tripartite Matching for Multiple Object Tracking
The Chinese University of Hong Kong（香港中文大学）；Hong Kong Baptist University（香港浸会大学）
多对象跟踪（MOT）检测给定输入视频的多个对象的轨迹。它在各种研究和工业领域变得越来越重要，例如生物医学研究中的细胞跟踪和视频监控中的人体跟踪。现有的匹配算法大多依赖于目标外观的唯一性，而占主导地位的二分匹配算法忽略了速度平滑性。虽然有几种方法结合了速度平滑跟踪，但它们要么不能追求全局平滑速度，要么往往陷入局部最优。我们专注于一般的MOT问题，而不管外观，并提出了一个外观无关的三方匹配，以避免不规则的速度问题的二分匹配。三方匹配被制定为最大化的可能性的状态向量构成的位置和速度的对象，这导致在一个链依赖的结构。我们求助于动态规划算法来找到这样的最大似然估计。为了克服动态规划的搜索空间巨大，当许多目标被跟踪时，引起的高计算成本，我们分解的消失的目标的数量的空间，并提出了一种减少空间的方法，通过截断分解。大量的仿真实验表明了该方法的优越性和有效性，并与细胞跟踪挑战赛的顶级方法进行了比较，也证明了我们的能力。我们还将我们的方法应用于跟踪癌症研究中肿瘤细胞周围自然杀伤细胞的运动。\footnote {源代码可在\url{https://github.com/szcf-weiya/TriMatchMOT}上获得
2021-10-07 cs.CV stat.AP
Beyond 3D Siamese Tracking: A Motion-Centric Paradigm for 3D Single Object Tracking in Point Clouds
Westlake University（西湖大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；The future network of intelligence institute (FNII)（未来网络智能研究院）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
LiDAR点云中的3D单目标跟踪（3D SOT）在自动驾驶中起着至关重要的作用。目前的方法都遵循基于外观匹配的暹罗范例。然而，激光雷达点云通常是无纹理和不完整的，这阻碍了有效的外观匹配。此外，以往的方法严重忽略了目标之间的关键运动线索。在这项工作中，除了3D暹罗跟踪，我们引入了一个以运动为中心的范例，从一个新的角度来处理3D SOT。在此基础上，我们提出了一种无匹配的两级跟踪器M^2-Track。在第一阶段，M^2跟踪通过运动变换在连续帧内定位目标。然后在第二阶段通过运动辅助形状完成对目标框进行细化。广泛的实验证实，M^2-Track在三个大规模数据集上的性能明显优于之前的最先进技术，同时在KITTI、NuScenes和Waymo Open Dataset上以57 FPS的精度分别提高了约8%、约17%和约22%。进一步的分析验证了每个组件的有效性，并显示了以运动为中心的范式的前景潜力时，与外观匹配相结合。
2022-03-03 cs.CV
Multiple Object Tracking Challenge Technical Report for Team MT_IoT
Meituan Inc.（美团公司）
这是一个简短的技术报告，我们提出的方法在复杂环境中的多目标跟踪（MOT）的挑战。在本文中，我们把MOT任务作为一个两阶段的任务，包括人体检测和轨迹匹配。具体而言，我们设计了一个改进的人体检测器和关联的大部分检测，以保证运动轨迹的完整性。我们还提出了一个位置明智的匹配矩阵，以获得更准确的跟踪匹配。在没有任何模型合并的情况下，我们的方法在DanceTrack挑战数据集上实现了66.672 HOTA和93.971 MOTA。
2022-12-07 cs.CV
Exploring Simple 3D Multi-Object Tracking for Autonomous Driving
QCraft（轻舟智航）；Johns Hopkins University（约翰斯·霍普金斯大学）
LiDAR点云中的3D多目标跟踪是自动驾驶汽车的关键组成部分。现有的方法主要基于检测跟踪流水线，并且不可避免地需要用于检测关联的启发式匹配步骤。在本文中，我们提出了SimTrack简化手工制作的跟踪范例，提出了一个端到端的可训练模型，用于从原始点云进行联合检测和跟踪。我们的关键设计是预测每个对象在给定片段中的首次出现位置以获得跟踪标识，然后基于运动估计更新位置。在推理中，通过简单的读取操作就可以完全免除启发式匹配步骤。SimTrack在一个统一的模型中集成了跟踪对象关联、新生目标检测和死轨迹消除。我们对两个大规模数据集进行了广泛的评估：nuScenes和Waymo Open Dataset。实验结果表明，我们的简单的方法相比毫不逊色，与国家的最先进的方法，同时排除了启发式匹配规则。
2021-08-23 cs.CV
Visual Tracking using Particle Swarm Optimization
Blekinge Institute of Technology（布莱金厄理工学院）
研究了从手眼摄像机获取的图像序列中鲁棒地提取视觉里程计的问题。提出了一种新的方法来解决基于平面模板的跟踪，它执行一个非线性的图像对齐成功检索的相机变换。为了获得全局最优的生物元启发式用于优化的平面区域之间的相似性。所提出的方法进行了验证，图像序列与真实的以及合成的变换，并发现强度变化是有弹性的。通过对各种相似性度量方法和各种最新方法的比较分析，表明该算法能够鲁棒地跟踪平面区域，具有很好的应用前景。
2014-01-19 cs.CV
Synchronize Feature Extracting and Matching: A Single Branch Framework for 3D Object Tracking
The Hong Kong University of Science and Technology, Guangzhou（香港科技大学（广州））；Zhejiang University（浙江大学）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）；Hangzhou Dianzi University（杭州电子科技大学）
针对3D激光雷达目标跟踪传统Siamese范式的冗余计算与额外参数问题，提出单分支框架SyncTrack，基于Transformer动态亲和性同步特征提取与匹配，并结合注意力点采样策略，在两个基准数据集上实现了实时跟踪的SOTA性能。
2023-08-24 cs.AI cs.CV
Scale Equivariance Improves Siamese Tracking
UvA-Bosch Delta Lab（阿姆斯特丹大学-博世Delta实验室）；University of Amsterdam（阿姆斯特丹大学）
暹罗跟踪器将跟踪转化为模板与帧中候选区域之间的相似性估计。在数学上，相似性函数成功的关键因素之一是平移等方差。非平移等变结构在训练过程中会产生位置偏差，因此目标的位置很难从特征空间中恢复。在现实生活中，对象会经历除平移之外的各种变换，例如旋转或缩放。除非模型有内部机制来处理它们，否则相似性可能会降低。在本文中，我们专注于缩放，我们的目标是为Siamese网络配备额外的内置尺度等方差，以先验地捕捉目标的自然变化。我们发展的理论规模等变暹罗跟踪器，并提供了一个简单的配方，如何使广泛的现有的跟踪器规模等变。我们提出了SE-SiamFC，SiamFC的一个规模等变的变体，根据配方。我们在OTB和VOT基准测试以及综合生成的T-MNIST和S-MNIST数据集上进行实验。我们证明了一个内置的额外的规模等方差是有用的视觉对象跟踪。
2020-11-06 cs.CV
Robust Mobile Object Tracking Based on Multiple Feature Similarity and Trajectory Filtering
本文提出了一种新的算法来跟踪移动目标在不同的场景条件。提出的跟踪器的主要思想包括估计，多特征相似性度量和轨迹滤波。为每个跟踪对象定义特征集（距离，面积，形状比率，颜色直方图）以搜索最佳匹配对象。将其最佳匹配目标与卡尔曼滤波器估计的目标状态相结合，更新跟踪目标的位置和大小。然而，移动对象的轨迹通常是支离破碎的，因为遮挡和误检测。因此，我们也提出了一个轨迹过滤，称为全球跟踪器，旨在消除噪声轨迹和融合属于同一个移动对象的碎片轨迹。该方法已被测试与不同场景条件下的五个视频。其中三个是由ETISEO基准测试项目（http：//www-sop.inria.fr/orion/ETISEO）提供的，其中所提出的跟踪器性能与其他七种跟踪算法进行了比较。与现有技术相比，我们的方法的优点是：（i）不需要先验知识信息（例如，不需要校准和上下文模型），（ii）跟踪器通过组合多个特征相似性而更可靠，（iii）跟踪器可以在不同的场景条件下执行：单个/多个移动对象、弱/强照明、室内/室外场景，（iv）定义并应用轨迹滤波以提高跟踪器性能，（v）跟踪器性能优于现有技术的许多算法。
2011-06-14 cs.CV
LightTrack: A Generic Framework for Online Top-Down Human Pose Tracking
JD Digits（京东数字科技）；University of Pittsburgh（匹兹堡大学）
在本文中，我们提出了一种新的有效的轻量级框架，称为LightTrack，在线人体姿态跟踪。所提出的框架被设计为通用的自上而下的姿态跟踪，比现有的在线和离线方法更快。单人姿态跟踪（SPT）和视觉对象跟踪（VOT）被合并到一个统一的功能实体中，可以通过可替换的单人姿态估计模块轻松实现。我们的框架将单人姿势跟踪与多人身份关联相结合，并首次将关键点跟踪与对象跟踪相结合。我们还提出了一个暹罗图卷积网络（SGCN）的人体姿态匹配作为一个重新ID模块在我们的姿态跟踪系统。与其他Re-ID模块相反，我们使用人体关节的图形表示进行匹配。该方法有效地捕捉了人体姿态的相似性，并且计算成本低。它对引入人类漂移的突然相机移位具有鲁棒性。据我们所知，这是第一篇提出自上而下的在线人体姿势跟踪框架的论文。所提出的框架是通用的，足以适应其他姿态估计和候选匹配机制。我们的方法优于其他在线方法，同时保持更高的帧速率，并且与我们的离线最先进的技术相比非常具有竞争力。我们将代码公开于：https://github.com/Guanghan/lighttrack.
2019-05-07 cs.CV
Motion-to-Matching: A Mixed Paradigm for 3D Single Object Tracking
Northeastern University（东北大学）
针对基于匹配易受干扰、运动范式缺乏长期模式的问题，本文提出两阶段混合网络MTM-Tracker，融合历史运动建模与点云特征匹配，并在KITTI和NuScenes上取得竞争力结果。
2023-12-18 cs.CV
Learning Tracking Representations via Dual-Branch Fully Transformer Networks
Southeast University（东南大学）；Microsoft Research Asia（微软亚洲研究院）
提出了一种基于单Transformers的双分支网络跟踪算法。给定一个模板和一个搜索图像，我们把它们分成不重叠的补丁，并提取一个特征向量，为每个补丁的基础上，其匹配结果与他人在一个注意力窗口。对于每个token，我们估计它是否包含目标对象以及相应的大小。该方法的优点是，特征是从匹配中学习的，并最终用于匹配。因此，这些特征与对象跟踪任务保持一致。该方法取得了更好的或相当的效果，作为性能最好的方法，首先使用CNN提取特征，然后使用Transformer融合它们。它在GOT-10 k和VOT 2020基准测试中优于最先进的方法。此外，该方法在一个GPU上实现了实时推理速度（约$40$ fps）。代码和模型将被释放。
2021-12-05 cs.CV
Delving into Motion-Aware Matching for Monocular 3D Object Tracking
University of California Merced（加州大学默塞德分校）；Google（谷歌）；Yonsei University（延世大学）
针对现有单目3D多目标跟踪对运动线索探索不足的问题，提出包含三类运动感知组件的MoMA-M3T框架，在nuScenes和KITTI数据集上性能达最优水平，且可灵活嵌入现有检测器无需重训练。
2023-08-22 cs.CV
Hierarchical Spatial-aware Siamese Network for Thermal Infrared Object Tracking
Harbin Institute of Technology Shenzhen Graduate School（哈尔滨工业大学深圳研究生院）；Harbin Institute of Technology（哈尔滨工业大学）
大多数热红外（TIR）跟踪方法是判别式的，将跟踪问题视为分类任务。然而，分类器的目标（标签预测）不耦合到跟踪器的目标（位置估计）。分类任务主要关注任意目标的类间差异，而跟踪任务主要关注同一目标的类内差异。在本文中，我们投TIR跟踪问题作为一个相似性验证任务，这是耦合良好的跟踪任务的目标。我们提出了一个TIR跟踪器通过分层空间感知的连体卷积神经网络（CNN），命名为HSSNet。为了获得TIR对象的空间和语义特征，我们设计了一个Siamese CNN，它合并了多个分层卷积层。然后，我们提出了一个空间感知的网络，以提高联合层次特征的区分能力。随后，我们训练这个网络端到端的大型可见视频检测数据集学习配对对象之间的相似性，然后我们将网络转移到TIR域。接下来，这个预先训练的Siamese网络用于评估目标模板和目标候选者之间的相似性。最后，我们定位的候选人是最相似的跟踪目标。在基准测试VOT-TIR 2015和VOT-TIR 2016上的大量实验结果表明，与最先进的方法相比，我们提出的方法具有良好的性能。
2018-11-27 cs.CV
Fast Template Matching and Update for Video Object Tracking and Segmentation
XJTLU（西交利物浦大学）；University of Liverpool（利物浦大学）；Beijing Jiaotong University（北京交通大学）
在本文中，我们的主要任务是解决的多实例半监督视频对象分割的帧序列中，只有第一帧框级地面实况提供。基于检测的算法被广泛采用来处理这个任务，挑战在于选择匹配方法来预测结果以及决定是否使用新预测的结果来更新目标模板。然而，现有的方法，使这些选择在一个粗糙和不灵活的方式，损害他们的性能。为了克服这一限制，我们提出了一种新的方法，利用强化学习，使这两个决定在同一时间。具体地，强化学习代理学习以根据预测结果的质量来决定是否更新目标模板。匹配方法的选择将同时基于强化学习代理的动作历史来确定。实验表明，我们的方法比以前的最先进方法快了近10倍，准确率更高（DAVIS 2017数据集上的区域相似性为69.1%）。
2020-04-16 cs.CV
Spatial-Temporal Relation Networks for Multi-Object Tracking
Microsoft Research Asia（微软亚洲研究院）；Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）
多目标跟踪（MOT）的最新进展表明，一个强大的相似性得分是成功的跟踪器的关键。期望良好的相似性分数反映长时间段内的多个线索，例如外观、位置和拓扑。然而，这些线索是异构的，使得它们很难被组合在一个统一的网络中。因此，现有的方法通常将它们编码在单独的网络中，或者需要复杂的训练方法。在本文中，我们提出了一个统一的框架相似性测量，可以同时编码各种线索，并执行跨空间和时间域的推理。我们还深入研究了tracklet对象对的特征表示，表明对特征的适当设计可以很好地增强跟踪器。由此产生的方法被命名为时空关系网络（STRN）。它以前馈方式运行，可以以端到端的方式进行训练。使用公共检测和在线设置，在所有MOT 15 -17基准上实现了最先进的准确性。
2019-04-25 cs.CV
MOTS: Multiple Object Tracking for General Categories Based On Few-Shot Method
Fudan University（复旦大学）；Supremind Co., Ltd.（超擎有限公司）
大多数现代多目标跟踪（MOT）系统通常采用基于REID的范例来保持计算效率和性能之间的平衡。在过去几年中，为完善这些制度进行了许多尝试。虽然他们表现良好，但他们受到限制，只能跟踪特定的类别。借鉴Few Shot方法的思想，提出了一种基于度量但不局限于特定类别的多目标跟踪系统MOTS。它包括两个阶段：第一阶段，我们设计了自适应匹配模块来执行简单的目标匹配，它可以在MOT16训练集上完成88.76%的任务而不牺牲性能。在第二阶段，为不匹配的目标精心设计了一个精细匹配网络。利用新建立的TRACK-REID数据集，精细匹配网络可以对31个类别的目标进行匹配，甚至可以推广到看不见的类别。
2020-05-19 cs.CV
Learning to associate detections for real-time multiple object tracking
Universidade Federal de Sergipe（塞尔希培联邦大学）
随着目标检测研究领域的不断发展，检测跟踪已成为多目标跟踪算法的主流。这些算法通过从检测到的目标中提取不同的特征，可以估计出目标在连续帧中的相似性和关联模式。然而，由于跟踪算法应用的相似性函数是手工制作的，因此很难在新的上下文中使用它们。在这项研究中，它是研究使用人工神经网络学习的相似性函数，可用于检测之间。在训练过程中，网络被引入到正确和不正确的关联模式中，这些模式是从行人跟踪数据集中采样的。为此，已经探索了不同的运动和外观特征组合。最后，一个训练有素的网络已被插入到一个多目标跟踪框架，这已被评估的MOT挑战基准。在整个实验中，所提出的跟踪器匹配的结果，通过国家的最先进的方法，它已经运行速度比最近和类似的方法，用作基线的58%。
2020-07-12 cs.CV
Learnable Graph Matching: Incorporating Graph Partitioning with Deep Feature Learning for Multiple Object Tracking
Institute of Automation Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；TuSimple（图森未来）；School of Artificial Intelligence University of Chinese Academy of Sciences (UCAS)（中国科学院大学人工智能学院）；Centre for Artificial Intelligence and Robotics HKISI_CAS（香港中科院人工智能与机器人中心）
跨帧数据关联是多目标跟踪任务的核心。这个问题通常通过传统的基于图的优化来解决，或者通过深度学习直接学习。尽管它们很受欢迎，但我们发现当前范式中值得研究的几点：1）现有方法大多忽略了tracklet和帧内检测之间的上下文信息，这使得跟踪器很难在严重遮挡等具有挑战性的情况下生存。2)端到端关联方法仅仅依赖于深度神经网络的数据拟合能力，而它们几乎没有利用基于优化的分配方法的优势。3)基于图的优化方法大多采用单独的神经网络进行特征提取，这就带来了训练和推理之间的不一致性。因此，在本文中，我们提出了一种新的学习图匹配方法来解决这些问题。简而言之，我们将轨迹和帧内检测之间的关系建模为一般的无向图。然后关联问题转化为轨迹图和检测图之间的一般图匹配问题。此外，为了使优化端到端可微，我们将原始图匹配放松为连续二次规划，然后借助隐函数定理将其训练到深度图网络中。最后，我们的方法GMTracker在几个标准MOT数据集上实现了最先进的性能。我们的代码将在https://github.com/jiaweihe1996/GMTracker上提供。
2021-03-30 cs.CV
View-Centric Multi-Object Tracking with Homographic Matching in Moving UAV
MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China（脑启发智能感知与认知教育部重点实验室，中国科学技术大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Alibaba Group（阿里巴巴集团）；Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）
本文提出HomView-MOT框架，利用视角仿射变换解决移动无人机场景下的多目标跟踪问题，通过快速仿射估计和多视角特征学习实现最先进的跟踪性能。
2026-02-08 cs.CV
Learning Association via Track-Detection Matching for Multi-Object Tracking
Algoritmi i računarstvo, University of Belgrade（塞尔维亚大学算法与计算机科学系）
提出TDLP方法，通过链接预测学习轨迹与检测之间的关联，在保持模块化和计算效率的同时超越现有方法。
2026-06-02 cs.CV
Real-Time Salient Closed Boundary Tracking via Line Segments Perceptual Grouping
University of Alberta（阿尔伯塔大学）
提出了一种新的实时的【形】跟踪视频图像序列中显著闭合边界的方法。该方法对由直线检测产生的一组直线段进行操作。跟踪方案被连贯地集成到感知分组框架中，其中通过识别这些线段的子集并将它们顺序地连接以形成具有最大显著性和与前一个的一定相似性的闭合边界来解决视觉跟踪问题。具体来说，我们定义了一个新的跟踪标准，它结合了分组成本和区域相似性约束。所提出的标准，使所得的边界跟踪更强大的局部极小值。为了实现实时的【形】跟踪性能，我们使用德洛内三角剖分剖分与检测到的线段建立一个图模型，然后减少跟踪问题，找到这个图中的最佳周期。这是解决我们新提出的封闭边界候选搜索算法称为“双向最短路径（BDSP）”。所提出的方法的效率和鲁棒性进行了测试，在真实的视频序列，以及在机器人手臂浇注实验。
2017-08-09 cs.CV
Learning Deformable 3D Graph Similarity to Track Plant Cells in Unregistered Time Lapse Images
University of California Riverside（加州大学河滨分校）
本文提出一种基于可变形三维图相似性学习的方法，利用植物细胞三维结构实现未配准时序图像中的细胞追踪，并改进细胞分裂检测与三维配准算法，在基准数据集上取得更优精度和推理速度。
2023-09-21 cs.CV
3D Multi-Object Tracking Based on Uncertainty-Guided Data Association
Chongqing University（重庆大学）；State Key Laboratory of Mechanical Transmissions（机械传动国家重点实验室）
在现有的文献中，大多数基于检测跟踪框架的三维多目标跟踪算法在数据关联阶段采用确定性的轨迹和检测进行相似性计算。也就是说，在跟踪和检测中存在的固有的不确定性被忽视了。在这项工作中，我们放弃了常用的确定性的轨道和确定性的检测数据关联，相反，我们建议模型的轨道和检测的随机向量，其中考虑到不确定性。然后，基于詹森-香农分歧，两个多维分布，即跟踪和检测之间的相似性，评估数据关联的目的。最后，在我们的成本函数设计中加入了跟踪不确定性的水平，以指导数据关联过程。在KITTI和nuScenes两个典型数据集上进行了对比实验，结果表明，该方法的跟踪性能优于现有的3D跟踪算法。为了社区的利益，我们的代码已在https://github.com/hejiawei2023/UG3DMOT上提供。
2023-03-03 cs.CV
Learning Cascaded Siamese Networks for High Performance Visual Tracking
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
视觉跟踪是计算机视觉中最具挑战性的问题之一。为了在各种负面场景下实现高性能的视觉跟踪，提出并开发了一种基于两种不同深度学习网络的级联暹罗网络：匹配子网络和分类子网络。匹配子网络是一个完全卷积的Siamese网络。根据样本图像和候选图像之间的相似性得分，搜索可能的对象位置并裁剪缩放的候选块。分类子网络被设计为进一步评估裁剪的候选块，并基于分类得分确定最佳跟踪结果。匹配子网络离线训练，在线固定，而分类子网络在线执行随机梯度下降以学习更多的目标特定信息。为了进一步提高跟踪性能，一个有效的分类子网络更新方法的基础上的相似性和分类得分被用来更新的分类子网络。大量的实验结果表明，我们提出的方法在最近的基准测试中达到了最先进的性能。
2019-05-08 cs.CV cs.MM
Tracking-by-detection in Multi-object Tracking: Survey and Experiments
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
本综述系统回顾检测跟踪范式下的多目标跟踪技术，从最简基线出发公平评估各模块贡献，建立强基线并为实际部署提供设计基础。
2026-09-09 cs.CV
A Twofold Siamese Network for Real-Time Object Tracking
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
观察到在图像分类任务中学习的语义特征和在相似性匹配任务中学习的外观特征是互补的，我们构建了一个双重的Siamese网络，命名为SA-Siam，用于实时的【形】目标跟踪。SA-Siam由语义分支和外观分支组成。每个分支都是一个相似性学习的连体网络。在SA-Siam中，一个重要的设计选择是分别训练这两个分支，以保持两种类型特征的异构性。此外，我们提出了一个渠道注意力机制的语义分支。根据目标位置周围的通道激活来计算逐行权重。虽然从SiamFC \cite{SiamFC}继承的架构允许我们的跟踪器操作超过实时的【形】，双重设计和注意力机制显着提高跟踪性能。拟议的SA-Siam在OTB-2013/50/100基准测试中大幅优于所有其他实时的【形】跟踪器。
2018-02-24 cs.CV
Rethinking Self-supervised Correspondence Learning: A Video Frame-level Similarity Perspective
UC San Diego（加州大学圣迭戈分校）
学习时空对应的良好表示是各种计算机视觉任务的关键，包括跟踪对象边界框和执行视频对象像素分割。为了学习大规模对应的可概括表示，提出了各种自监督的借口任务来显式地执行对象级或块级相似性学习。我们建议使用视频帧级相似性（VFS）学习来学习对应关系，而不是遵循以前的文献，即简单地从比较视频帧中学习。我们的工作受到最近成功的图像级对比学习和相似性学习的视觉识别。我们的假设是，如果表示有利于识别，则需要卷积特征来找到相似对象或部分之间的对应关系。我们的实验显示了令人惊讶的结果，VFS超越了最先进的自监督方法，用于OTB视觉对象跟踪和DAVIS视频对象分割。我们对VFS中的重要内容进行了详细的分析，并揭示了图像和帧级相似性学习的新特性。带有代码的项目页面可在https://jerryxu.net/VFS上获得
2021-10-14 cs.CV
NeighborTrack: Improving Single Object Tracking by Bipartite Matching with Neighbor Tracklets
Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）；Purdue University（普渡大学）；National Tsing Hua University（国立清华大学）；National Taiwan University（国立台湾大学）
本文提出无需重训的 SOT 后处理器 NeighborTrack，通过相邻轨迹段二分匹配利用高置信邻居校正遮挡与外观变化导致的误跟踪，并在多个基准上显著提升 Ocean、TransT 和 OSTrack。
2023-12-16 cs.CV
BoostTrack++: using tracklet information to detect more objects in multiple object tracking
Faculty of Sciences and Mathematics University of Niš（科学与数学学院尼什大学）
BoostTrack++通过结合形状、马氏距离和软Biou相似度提升检测置信度，改进多目标跟踪中真实正样本选择，提升MOT17和MOT20数据集性能。
2025-08-20 cs.AI cs.CV
Deep Similarity Metric Learning for Real-Time Pedestrian Tracking
检测跟踪是解决多目标跟踪问题的常用方法。在本文中，我们展示了学习深度相似性度量如何在多对象跟踪基准上改善行人跟踪的三个关键方面。我们训练一个卷积神经网络来学习一个大的人重新识别数据集上的连体结构中的嵌入函数。离线训练的嵌入网络被集成到跟踪公式中，以提高性能，同时保留实时的【形】性能。建议的跟踪器存储外观指标，而检测是强的，使用此外观信息：防止ID开关，通过闭塞相关联的tracklet，并提出新的检测检测器的信心是低的。该方法在评价中取得了有竞争力的结果，特别是在在线的、实时的【形】方法中。我们提出了一个消融研究，显示我们的深度外观指标的三种用途中的每一种的影响。
2019-11-11 cs.CV
Path-following based Point Matching using Similarity Transformation
Changzhi University（长治学院）
为了解决3D点匹配的两个点集的姿态是未知的问题，我们适应最近提出的基于路径跟踪的方法使用相似性变换，而不是原来的仿射变换。变换参数的减少的数量导致更多约束和期望的匹配结果。实验结果表明，所提出的方法比国家的最先进的方法具有更好的鲁棒性。
2017-01-04 cs.CV
Template Matching with Deformable Diversity Similarity
Technion（以色列理工学院）
我们提出了一种新的度量模板匹配命名为变形多样性相似性-基于目标图像窗口和模板之间的特征匹配的多样性。我们依靠当地的外观和几何信息，共同导致一个强大的方法进行匹配。我们的主要贡献是一个相似性度量，这是强大的复杂的变形，显着的背景杂波，和闭塞。最新的基准测试的实证评估表明，我们的方法优于当前国家的最先进的检测精度，同时提高了计算复杂性。
2017-04-18 cs.CV
The Second-place Solution for ECCV 2022 Multiple People Tracking in Group Dance Challenge
Fujitsu Research（富士通研究所）
这是我们在ECCV 2022集体舞挑战赛中获得第二名的解决方案。我们的方法主要包括两个步骤：使用级联缓冲区IoU（C-BIoU）跟踪器进行在线短期跟踪，以及使用外观特征和层次聚类进行离线长期跟踪。我们的C-BIoU跟踪器增加了缓冲区来扩展检测和跟踪的匹配空间，这从两个方面减轻了不规则运动的影响：一是直接匹配相邻帧中相同但不重叠的检测和跟踪，另一个是补偿匹配空间中的运动估计偏差。此外，为了降低匹配空间过度扩展的风险，采用级联匹配：首先用小缓冲器匹配活动轨迹和检测，然后用大缓冲器匹配不匹配的轨迹和检测。在使用我们的C-BIoU进行在线跟踪之后，我们应用了ReMOTS引入的离线细化。
2022-12-06 cs.CV
2nd Place Solution to Facebook AI Image Similarity Challenge Matching Track
Samsung Electronics（三星电子）
本文介绍了Facebook AI图像相似性挑战的第二名解决方案：DrivenData上的匹配跟踪。该解决方案基于自监督学习和视觉Transformer（ViT）。主要的突破来自于将查询图像和参考图像连接起来形成一个图像，并要求ViT直接从图像中预测查询图像是否使用参考图像。该解决方案在私人排行榜上获得了0.8291微平均精度。
2021-11-15 cs.CV
