Occlusion-guided compact template learning for ensemble deep network-based pose-invariant face recognition
University of Houston（休斯顿大学）
从不同的面部块提取的深度网络表示的级联有助于提高面部识别性能。然而，连接的面部模板的大小增加，并包含冗余信息。以前的解决方案旨在减少面部模板的维数，而不考虑面部补丁的遮挡模式。在本文中，我们提出了一种遮挡引导的紧凑模板学习（OGCTL）的方法，只使用可见的补丁的信息来构建紧凑的模板。紧凑的人脸表示是不敏感的用于构建面部模板的补丁的数量，更适合于将来自不同视角的信息，基于图像集的人脸识别。代替在面部匹配中使用遮挡掩模（例如，DPRFS [38]），所提出的方法在模板构建中使用遮挡掩模，并在模板大小比DPRFS小一个数量级的具有挑战性的数据库上实现了显着更好的基于图像集的人脸验证性能。
2019-04-15 cs.CV
View-invariant Gait Recognition through Genetic Template Segmentation
Anna University（安纳大学）；VIT University（VIT大学）；Mayo Clinic（梅奥诊所）
基于模板的无模型方法提供了迄今为止最成功的解决步态识别问题的文献。最近的工作讨论了如何隔离模板的头部和腿部部分增加步态识别系统的性能，使其对服装和携带条件等协变量具有鲁棒性。然而，大多数都涉及到边界的手动定义。我们提出的方法，遗传模板分割（GTS），采用遗传算法自动边界选择过程。该方法在GEI、GEnI和AEI模板上进行了测试。GEI似乎表现出最好的结果时，与我们的方法分割。实验结果表明，我们的方法显着优于现有的视图不变步态识别的实现。
2017-07-03 cs.CV
Template co-updating in multi-modal human activity recognition systems
University of Bologna（博洛尼亚大学）
多模态系统在人类活动识别的背景下非常常见;广泛使用的RGB-D传感器（Kinect是最突出的例子）可以访问并行数据流，通常是RGB图像，深度数据，骨架信息。多模态信息的丰富性已在文献中的许多工作中得到了很大程度的利用，而迄今为止尚未研究其增量模板更新的有效性分析。本文的目的是定义一个通用的框架，在多模态系统中，不同的数据源可以提供互补的信息，提高更新过程的有效性，并在同一时间减少不正确的模板修改的概率无监督模板更新。
2019-12-04 cs.CV
TemplateNet for Depth-Based Object Instance Recognition
University of Cambridge（剑桥大学）；AIG（美国国际集团）
我们提出了一种新的深度架构称为templateNet的深度为基础的对象实例识别。使用中间模板层，我们利用先验知识的对象的形状稀疏的特征图。这有三个好处：（i）网络被更好地正则化，从而产生结构化滤波器;（ii）稀疏特征图导致直观的特征被学习，其可以被可视化为模板层的输出;以及（iii）所得到的网络实现了最先进的性能。网络从中受益，而无需模板层的任何额外参数化。我们推导出以端到端的方式有效地训练该网络所需的权重更新。我们使用两个公开的数据集对基于深度的对象实例识别的templateNet进行基准测试。这些数据集面临着杂乱、姿势变化大和外观相似的干扰物等多重挑战。通过我们的实验，我们表明，通过添加模板层，基于深度的CNN能够优于该领域现有的最先进的方法。
2015-11-10 cs.CV
Robust Object Modeling for Visual Tracking
Nanjing University（南京大学）
本文提出ROMTrack框架，同时建模固有模板与混合模板特征以抑制干扰并提取目标相关特征，并引入变化令牌适应外观变化，在多个基准上取得最优性能。
2023-08-09 cs.CV
InterTrack: Tracking Human Object Interaction without Object Templates
University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
本文提出InterTrack，一种无需物体模板的人与物体交互4D跟踪方法，通过分解为逐帧姿态跟踪与标准形状优化，并构建大规模合成数据集训练模型，显著优于现有方法。
2024-08-25 cs.CV
Pooling Faces: Template based Face Recognition with Pooled Face Images
Information Sciences Institute, USC（南加州大学信息科学研究所）；The Open University of Israel（以色列开放大学）；Institute for Robotics and Intelligent Systems, USC（南加州大学机器人与智能系统研究所）
提出了一种基于模板的人脸识别方法。我们的双重目标是既提高识别精度，降低模板匹配的计算和存储成本。为了做到这一点，我们利用了一种在许多其他领域被证明有效的方法，但据我们所知，从未完全探索过面部图像：面部照片的平均池。我们展示如何（以及为什么！）模板图像的空间可以被划分，然后基于图像质量和头部姿势以及这对准确性和模板大小的影响来合并。我们对基于IJB-A和Janus CS2模板的人脸识别和验证基准进行了广泛的测试。这些结果表明，我们的方法不仅优于已发表的最新技术水平，尽管需要更少的交叉模板比较，而且令人惊讶的是，图像池的性能与深度特征池相当。
2016-07-06 cs.CV
STMTrack: Template-free Visual Tracking with Space-time Memory Networks
由于从第一帧裁剪的模板的固定信息几乎已经被完全挖掘，因此提高离线训练的暹罗跟踪器的性能变得越来越困难，但是它们抵抗目标外观变化的能力很差。现有的模板更新机制的跟踪器依赖于耗时的数值优化和复杂的手工设计策略来实现竞争性能，阻碍了它们的实时跟踪和实际应用。在本文中，我们提出了一种新的跟踪框架，建立在一个时空记忆网络，能够充分利用历史信息的目标，更好地适应跟踪过程中的外观变化。具体地说，引入了一种新的记忆机制，它存储的历史信息的目标，以指导跟踪器集中在当前帧中的信息量最大的区域。此外，记忆网络的像素级相似性计算使我们的跟踪器能够生成更准确的目标边界框。在具有挑战性的大规模基准测试（OTB-2015，TrackingNet，GOT-10 k，LaSOT，UAV 123和VOT 2018）上与许多竞争对手的跟踪器进行了广泛的实验和比较，结果表明，在没有花哨的情况下，我们的跟踪器在以37 FPS运行时优于所有以前最先进的实时方法。该代码可在https://github.com/fzh0917/STMTrack上获得。
2021-04-02 cs.CV
BACTrack: Building Appearance Collection for Aerial Tracking
Beijing Institute of Technology（北京理工大学）；Key Laboratory of Photoelectronic Imaging Technology and System, Ministry of Education of China（教育部光电成像技术与系统重点实验室）；Chongqing Innovation Center, Beijing Institute of Technology（北京理工大学重庆创新中心）
针对航空目标外观快速变化导致单模板匹配失效的问题，本文提出 BACTrack，利用 MTT 并行多模板匹配并结合在线自适应模板更新，在四个基准上达到顶级性能且速度超过 87 FPS。
2023-12-11 cs.CV
Template-Search Domain Adaptation via Multi-Stage Feature Alignment for Cross-Modal Object Tracking
University of Victoria（维多利亚大学）
提出TSDA-Track框架，通过多阶段特征对齐（对抗与对比）解决跨模态跟踪中模板与搜索帧的模态差异，在多个基准上超越现有方法。
2026-10-01 cs.AI cs.CV
Real-time visual tracking by deep reinforced decision making
Seoul National University（首尔大学）；Chung-Ang University（中央大学）
无模型视觉跟踪问题的主要挑战之一是，我们的目标跟踪对象的外观不可预测的和剧烈的变化所带来的困难。现有的方法通过在线更新外观模型以适应外观的变化来解决这个问题。然而，尽管这些方法取得了成功，但外观模型的不准确和错误更新会导致跟踪器漂移。在本文中，我们介绍了一种新的实时的【形】视觉跟踪算法的基础上，通过深度强化学习方法构建的模板选择策略。跟踪算法利用这种策略来选择合适的模板来跟踪给定的帧。模板选择策略是通过利用一个简单的策略梯度方法在从跟踪基准数据集随机生成的大量训练片段上自学习的。我们提出的强化学习框架一般适用于其他基于置信图的跟踪算法。实验结果表明，该跟踪算法的实时的【形】运行速度为43 fps，所提出的策略网络能够有效地确定合适的模板，从而实现成功的视觉跟踪。
2018-08-17 cs.CV
Vision-Language Guided Hyperspectral Object Tracking via Semantics Fusion and Contextual Template Updating
China University of Mining and Technology（中国矿业大学）；University of Ottawa（渥太华大学）
提出VLHTrack框架，通过语言引导波段选择模块缓解光谱冗余，利用多模态融合模块整合视觉与语言特征，并采用动态模板更新策略应对目标形变，在HOT2023/2024上超越现有方法。
2026-06-08 cs.CV
BTMTrack: Robust RGB-T Tracking via Dual-template Bridging and Temporal-Modal Candidate Elimination
Guangdong University of Technology（广东工业大学）
针对RGB-T跟踪中时序信息整合与跨模态交互不足的问题，提出BTMTrack框架，采用双模板骨干和TMCE策略，并引入TDTB模块实现精确融合，在三个基准上达到最先进性能。
2025-01-18 cs.CV
Dynamic Template Selection Through Change Detection for Adaptive Siamese Tracking
Ecole de technologie superieure（高等技术学院）；Vellore Institute of Technology（韦洛尔理工学院）；Genetec Inc.（Genetec公司）
深暹罗跟踪器近年来受到了广泛关注，因为它们可以高速跟踪视觉对象。此外，自适应跟踪方法，其中由跟踪器收集的目标样本被用于在线学习，已经达到了最先进的精度。然而，单目标跟踪（SOT）仍然是一个具有挑战性的任务，在现实世界中的应用，由于目标对象的外观变化和变形。对所有收集的样本进行学习可能导致灾难性遗忘，从而破坏跟踪模型。在本文中，SOT制定为一个在线增量学习问题。提出了一种新的动态样本选择和内存回放方法，防止模板损坏。特别是，我们提出了一个变化检测机制来检测对象外观的逐渐变化，并选择相应的样本进行在线自适应。此外，引入了一种基于熵的样本选择策略，为内存回放维护多样化的辅助缓冲区。我们提出的方法可以集成到任何利用在线学习进行模型自适应的对象跟踪算法中。对OTB-100、LaSOT、UAV 123和TrackingNet数据集进行的广泛实验强调了我们方法的成本效益及其关键组件的贡献。结果表明，将我们提出的方法集成到最先进的自适应暹罗跟踪器中可以增加模板更新策略的潜在好处，并显着提高性能。
2022-03-07 cs.CV
MambaEVT: Event Stream based Visual Object Tracking using State Space Model
School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院）；School of Artificial Intelligence, Anhui University（安徽大学人工智能学院）；Beijing Institute of Technology（北京理工大学）
提出基于状态空间模型的MambaEVT跟踪框架，结合动态与静态模板，在事件相机数据集上平衡精度与计算成本。
2024-08-20 cs.AI cs.CV
Simultaneous Joint and Object Trajectory Templates for Human Activity Recognition from 3-D Data
Sharif University of Technology（谢里夫理工大学）
低成本的距离传感器的可用性和相对稳健的骨骼关节位置提取算法的发展激励了许多研究人员开发使用3-D数据的人类活动识别方法。本文提出了一种从归一化关节轨迹中识别人体活动的有效方法。我们表示的行动作为多维信号，并介绍了一种新的方法，用于生成动作模板的平均样本在“动态时间”的意义。然后，为了处理的速度和执行动作的风格的变化，我们通过一个有效的算法变形的样本的动作模板，并采用小波滤波器提取有意义的时空特征。所提出的方法也能够建模的人与物体的相互作用，通过执行的模板生成和时间扭曲过程，通过关节和对象的轨迹同时。在几个具有挑战性的数据集上的实验评估表明，与最先进的方法相比，我们的方法是有效的。
2017-11-05 cs.CV
Best-Buddies Tracking
Tel Aviv University（特拉维夫大学）
最佳伙伴跟踪（BBT）将最佳伙伴相似性度量（BBS）应用于无模型在线跟踪问题。BBS被引入作为两个点集之间的相似性度量，并被证明是非常有效的模板匹配。最初，BBS被设计用于处理相同大小的点集，我们提出了一个修改，让它处理不同大小的点集。修改后的BBS更适合处理模板大小的比例变化，以及支持可变数量的模板图像。我们将修改后的BBS嵌入到粒子滤波框架中，并在一些标准基准测试中获得了良好的结果。
2016-11-01 cs.CV
Hand Shape and Gesture Recognition using Multiscale Template Matching, Background Subtraction and Binary Image Analysis
Graduate School of Arts & Sciences（文理研究生院）；Boston University（波士顿大学）
本文提出一种结合多尺度模板匹配与背景减除的手形分类方法，通过提取二值图像特征实现基础手势识别，在受控环境中验证了其在人机交互场景中的有效性。
2024-02-15 cs.CV
Extraction of airway trees using multiple hypothesis tracking and template matching
University of Copenhagen（哥本哈根大学）；Rigshospitalet, University Hospital of Copenhagen（哥本哈根大学医院）；Erasmus MC Rotterdam（鹿特丹伊拉斯姆斯大学医学中心）
气道树形态学知识对慢性阻塞性肺疾病的诊断有重要的临床应用价值。为此，我们提出了一种基于多假设跟踪和模板匹配的自动树提取方法，并评估其性能的胸部CT图像。该方法是从一个半自动的方法设计的血管分割。构建理想化的管状模板，其匹配从经训练的分类器获得的气道概率，并基于其相对重要性进行排名。几个这样的规则间隔的模板形成用于构建多假设树的局部假设，然后遍历该多假设树以达成决策。所提出的修改消除了对假设的局部阈值化的需要，因为决策完全基于涉及假设树的统计比较。结果表明，与原始方法和强度图像上的区域生长相比，性能有所改善。我们还比较了该方法与区域增长的概率图像，其中所提出的方法没有显示出实质性的改善，但我们预计它是不太敏感的数据中的局部异常。
2016-11-24 cs.CV
GLAD: Generative Language-Assisted Visual Tracking for Low-Semantic Templates
State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）
GLAD通过生成式多模态融合提升低语义模板视觉跟踪性能，实现更高效的多模态特征融合与语义增强。
2026-01-31 cs.CV
Deep Heterogeneous Feature Fusion for Template-Based Face Recognition
尽管深度学习在人脸识别方面取得了令人印象深刻的性能，但许多研究表明，不同的网络学习不同的特征图：虽然一些网络更容易接受姿势和照明，但其他网络似乎捕捉更多的本地信息。因此，在这项工作中，我们提出了一种深度异构特征融合网络，以利用不同深度卷积神经网络（DCNN）生成的特征中存在的互补信息进行基于模板的人脸识别，其中模板是指来自不同来源的一组静态人脸图像或视频帧，这些图像或视频帧比传统的人脸数据集引入了更多的模糊，姿态，照明和其他变化。所提出的方法通过以下方式有效地融合不同深度特征的判别信息：1）联合学习深度特征的非线性高维投影; 2）生成更具判别力的模板表示，该模板表示保留了特征空间中深度特征的固有几何形状。在IARPA Janus Challenge Set 3（Janus CS3）数据集上的实验结果表明，该方法能有效地提高识别性能.此外，我们还提出了一系列的协变量实验的人脸验证任务，深入的定性评估所提出的方法。
2017-02-15 cs.CV
Transformer RGBT Tracking with Spatio-Temporal Multimodal Tokens
Anhui University（安徽大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）
提出一种Transformer RGBT跟踪方法，通过混合静态与动态多模态Token并结合注意力机制处理目标外观变化，在三个基准数据集上以39.1 FPS实现有竞争力的性能。
2024-01-03 cs.CV
TFTrack: A Template-Free Framework for Efficient 3D Point Cloud Tracking
Stony Brook University（石溪大学）；Carnegie Mellon University（卡内基梅隆大学）；Hangzhou Dianzi University（杭州电子科技大学）；Southeast University（东南大学）；University of California, Riverside（加州大学河滨分校）
TFTrack提出首个无模板三维点云跟踪框架，仅利用先前边界框中心和大小直接跟踪当前帧，简化运动建模，在KITTI和nuScenes上性能与模板法相当，计算量减半，速度达120 FPS。
2026-09-09 cs.AI cs.CV
Fast Video Object Segmentation With Temporal Aggregation Network and Dynamic Template Matching
The Hong Kong University of Science and Technology（香港科技大学）；Tencent（腾讯）
视频对象分割（VOS）是视频对象跟踪的最高层次，已经取得了重大进展。虽然VOS任务可以自然地解耦为图像语义分割和视频对象跟踪，但在分割方面的研究工作要比跟踪多得多。在本文中，我们引入“跟踪检测”到VOS可以连贯地集成分割跟踪，提出了一种新的时间聚合网络和一种新的动态时间演化模板匹配机制，以实现显着提高性能。值得注意的是，我们的方法是完全在线的，因此适合一次性学习，我们的端到端可训练模型允许在一次向前传递中进行多个对象分割。我们在DAVIS基准测试中实现了最先进的性能，在速度和准确性方面都没有复杂的花里胡哨，每帧速度为0.14秒，J&F测量值分别为75.9%。
2020-07-11 cs.CV
Unsupervised Enhancement of Soft-biometric Privacy with Negative Face Recognition
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所）；Technical University of Darmstadt（达姆施塔特工业大学）
目前软生物特征识别技术的研究表明，可以从个体的生物特征模板中推断出隐私敏感信息。由于对于许多应用程序，这些模板预计将被用于识别的目的，这引起了重大的隐私问题。以前的工作集中在监督隐私增强的解决方案，需要隐私-敏感信息的个人和限制其应用程序的抑制单一和预定义的属性。因此，它们不会考虑训练中未考虑的属性。在这项工作中，我们提出了消极的人脸识别（NFR），一种新的人脸识别方法，通过在互补（负）域中表示人脸模板来增强模板级的软生物特征隐私。虽然普通模板表征了个体的面部特性，但负模板描述了该个体不存在的面部特性。这抑制了来自存储的模板的隐私敏感信息。实验进行了两个公开可用的数据集上捕获的受控和非受控的情况下，对三个隐私敏感的属性。实验表明，我们提出的方法达到更高的抑制率比以前的工作，同时保持较高的识别性能。与以前的作品不同，我们的方法不需要隐私敏感的标签，并提供了一个更全面的隐私保护不限于预定义的属性。
2020-02-21 cs.CV
Template-Instance Loss for Offline Handwritten Chinese Character Recognition
Institute of Artificial Intelligence, Shanghai Em-Data Technology Co., Ltd.（上海Em-Data科技有限公司人工智能研究院）；Shanghai Jiao Tong University（上海交通大学）；Hong Kong University of Science and Technology（香港科技大学）
脱机手写汉字识别（HCCR）长期以来面临的挑战是双重的：汉字可能非常多样和复杂，但外观相似，而草书手写（由于书写速度加快和不频繁的提笔）使笔划甚至字符以流畅的方式连接在一起。本文提出了脱机手写体汉字识别中相关机器学习任务的模板和实例损失函数。首先，设计了汉字模板，以处理汉字之间的内在相似性。第二，实例损失可以根据分类难度降低类别方差，对手写体汉字的离群实例给予较大的惩罚。使用我们的深度网络架构HCCR 14层模型（由简单层组成），使用新的损失函数进行训练，我们的大量实验表明，它可以产生最先进的性能，甚至超越离线HCCR。
2019-10-12 cs.CV
Point Cloud Registration-Driven Robust Feature Matching for 3D Siamese Object Tracking
Nanjing University of Science and Technology（南京理工大学）
学习模板和搜索区域之间的鲁棒特征匹配对于3D暹罗跟踪至关重要。Siamese特征匹配的核心是如何在模板和搜索区域的对应点上分配高的特征相似度，以实现精确的目标定位。在本文中，我们提出了一种新型的点云配准驱动的连体追踪框架，直觉是空间对齐的对应点（通过3D配准）往往会实现一致的特征表示。具体来说，我们的方法包括两个模块，包括跟踪特定的非本地注册模块和注册辅助Sinkhorn模板特征聚合模块。配准模块的目标是模板和搜索区域之间的精确空间对准。提出了跟踪特定的空间距离约束，以细化区分性特征学习的非局部模块中的交叉注意权值。然后，我们使用加权SVD计算模板和搜索区域之间的刚性变换，并将它们对齐，以获得所需的空间对齐的对应点。对于特征聚合模型，我们将转换后的模板和搜索区域之间的特征匹配表示为最优传输问题，并利用Sinkhorn优化来搜索离群鲁棒匹配解决方案。此外，建立配准辅助的空间距离图以提高不可区分区域（例如，光滑表面）。最后，在得到的特征匹配图的指导下，将模板中的目标信息聚合到搜索区域中，构建目标特定特征，然后将其送入类似CenterPoint的检测头进行目标定位。在KITTI、NuScenes和Waymo数据集上的大量实验验证了该方法的有效性。
2022-12-03 cs.AI cs.CV
GradNet: Gradient-Guided Network for Visual Object Tracking
Dalian University of Technology（大连理工大学）；The University of Sydney（悉尼大学）；China Science IntelliCloud Technology Co., Ltd（中科智云科技有限公司）
基于模板匹配的全卷积连体网络在视觉跟踪中显示出巨大的潜力。在测试过程中，模板与初始目标特征是固定的，性能完全依赖于siamese网络的总体匹配能力。然而，这种方式不能捕捉目标或背景杂波的时间变化。在这项工作中，我们提出了一种新的梯度引导网络，利用梯度中的判别信息，并通过前馈和后向操作更新连体网络中的模板。我们的算法执行前馈和后向操作，以利用梯度中的判别信息并捕获目标的核心注意力。具体地说，该算法可以利用来自梯度的信息来更新当前帧中的模板。此外，为了更好地利用梯度信息，避免过拟合，提出了一种模板泛化训练方法。据我们所知，这项工作是第一次尝试利用梯度中的信息进行基于暹罗的跟踪器的模板更新。在最近的基准测试上进行的大量实验表明，我们的方法比其他最先进的跟踪器具有更好的性能。
2019-09-15 cs.CV
Latent Fingerprint Recognition: Role of Texture Template
Department of Computer Science and Engineering（计算机科学与工程系）；Michigan State University（密歇根州立大学）；East Lansing（东兰辛（城市名，非机构））；Michigan 48824（密歇根州 48824（邮编，非机构））
我们提出了一种纹理模板的方法，由一组虚拟的细节，以提高整体潜在的指纹识别的准确性。为了弥补缺乏足够数量的细节点在质量差的潜在指纹，我们生成一组虚拟细节点。然而，由于大量的这些规则放置的虚拟细节点，基于纹理的模板匹配有一个大的计算需求相比，匹配真正的细节点模板。为了提高纹理模板匹配的准确性和效率，我们研究：i）用于训练卷积神经网络的原始和增强的指纹块（ConvNet）以提高与每个虚拟细节点相关联的描述符的独特性，ii）虚拟细节点周围的较小块和快速ConvNet架构以加速描述符提取，iii）减少描述符长度，iv）改进的层次图匹配策略，提高了匹配速度; v）多纹理模板提取，提高了匹配性能。在NIST SD 27潜在数据库上的实验表明，上述策略可以将匹配速度从每次比较（潜在打印和参考打印之间）的11 ms（24个线程）提高到每次比较的7.7 ms（单个线程），同时将rank-1的准确率提高8.9%。
2018-04-27 cs.CV
Visual Tracking via Dynamic Memory Networks
City University of Hong Kong（香港城市大学）
基于模板匹配的视觉跟踪方法因其性能好、速度快而受到广泛关注。然而，他们缺乏有效的方法来适应目标对象的外观变化，使他们的跟踪精度仍然远离国家的最先进的。在本文中，我们提出了一个动态记忆网络，以适应模板跟踪过程中目标的外观变化。外部存储器的读写过程由LSTM网络控制，搜索特征图作为输入。应用空间注意力机制来将LSTM输入集中在潜在目标上，因为目标的位置最初是未知的。为了防止侵略性的模型自适应，我们应用门控残差模板学习来控制用于与初始模板相结合的检索内存的量。为了缓解漂移问题，我们还设计了一个“负”的记忆单元，存储模板的干扰，这是用来抵消错误的反应，从对象模板。为了进一步提高跟踪性能，在特征提取器部分之后添加了辅助分类损失。不像跟踪检测方法，其中对象的信息是由神经网络的权重参数，这需要昂贵的在线微调，以适应，我们的跟踪器运行完全前馈和适应目标的外观变化，通过更新外部存储器。此外，我们的模型的容量不像其他跟踪器那样由网络大小决定-容量可以很容易地随着任务的内存需求的增加而扩大，这有利于记忆长期的对象信息。在OTB和VOT数据集上进行的大量实验表明，我们的跟踪器在保持实时速度的同时，对最先进的跟踪方法表现良好。
2019-11-29 cs.CV
Deep Template Matching for Offline Handwritten Chinese Character Recognition
就像它在许多计算机视觉任务中取得的显著成就一样，卷积神经网络（CNN）在手写汉字识别（HCCR）中提供了一个端到端的解决方案，并取得了巨大的成功。然而，在数据很少的情况下，学习用于图像识别的判别特征的过程是困难的。本文提出了一种新的学习连体神经网络的方法，该网络采用一种特殊的结构来预测手写体汉字与模板图像之间的相似度。连体神经网络的优化可以看作是一个简单的二分分类问题。当训练过程完成时，强大的判别特征帮助我们将预测能力推广到新数据，而且推广到从未出现在训练集中的全新类别。在ICDAR-2013离线HCCR数据集上进行的实验表明，该方法对从未出现在训练集中的新类具有非常有前途的泛化能力。
2018-11-15 cs.CV
Generative Target Update for Adaptive Siamese Tracking
Laboratoire d’imagerie, de vision et d’intelligence artificielle (LIVIA), Ecole de technologie superieure（高等技术学院 成像、视觉与人工智能实验室（LIVIA））；Vellore Institute of Technology（韦洛尔理工学院）；Genetec Inc.（Genetec公司）
暹罗跟踪器执行与模板的相似性匹配（即，目标模型）以递归地定位搜索区域内的对象。在文献中已经提出了几种策略来基于跟踪器输出（通常从当前帧中的目标搜索区域中提取）更新模板，从而减轻目标漂移的影响。然而，这可能导致模板损坏，从而限制了模板更新策略的潜在益处。本文提出了一种模型自适应方法，暹罗跟踪器，使用生成模型产生一个合成模板的对象搜索区域的几个先前的帧，而不是直接使用跟踪器输出。由于搜索区域包含目标，因此来自搜索区域的注意力用于鲁棒模型自适应。特别是，我们的方法依赖于通过对抗学习训练的自动编码器，以检测目标对象外观的变化并预测未来的目标模板，使用一组从先前帧的跟踪器输出中定位的目标模板。为了防止在更新过程中模板损坏，建议的跟踪器还使用生成模型进行变化检测，以暂停更新，直到跟踪器稳定，鲁棒匹配可以通过动态模板融合恢复。在VOT-16、VOT-17、OTB-50和OTB-100数据集上进行的大量实验突出了我们方法的有效性及其关键组件的影响。结果表明，我们提出的方法可以优于最先进的跟踪器，其整体鲁棒性允许跟踪更长的时间之前失败。
2022-02-21 cs.CV
Template-based Multi-Domain Face Recognition
University of Maryland（马里兰大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
针对目标域训练数据缺失导致现有域方法失效的多域人脸识别问题，提出Norm Pooling及其变体Sparse Pooling模板生成算法，在IJB-MDF数据集上多域多网络下性能优于平均池化。
2024-09-15 cs.CV
3D Siamese Transformer Network for Single Object Tracking on Point Clouds
Nanjing University of Science and Technology（南京理工大学）
基于Siamese网络的跟踪器将3D单个对象跟踪公式化为模板和搜索区域的点特征之间的互相关学习。由于跟踪过程中模板和搜索区域之间的外观变化很大，如何学习它们之间的鲁棒互相关来识别搜索区域中的潜在目标仍然是一个具有挑战性的问题。在本文中，我们显式地使用Transformer来形成一个三维Siamese Transformer网络，用于学习模板和点云搜索区域之间的鲁棒互相关。具体来说，我们开发了一个暹罗点Transformer网络来学习目标的形状上下文信息。该算法的编码器利用自注意力捕获点云的非局部信息来表征物体的形状信息，解码器利用交叉注意力对判别性点特征进行上采样。在此之后，我们开发了一个迭代的粗到细的相关网络来学习模板和搜索区域之间的鲁棒互相关。它制定了交叉特征增强相关联的模板与搜索区域中的潜在目标，通过交叉注意。为了进一步增强潜在目标，它采用自我特征增强，将自我注意力应用于特征空间的局部k-NN图以聚合目标特征。在KITTI，nuScenes和Waymo数据集上的实验表明，我们的方法在3D单对象跟踪任务上达到了最先进的性能。
2022-07-26 cs.CV
Fast Template Matching and Update for Video Object Tracking and Segmentation
XJTLU（西交利物浦大学）；University of Liverpool（利物浦大学）；Beijing Jiaotong University（北京交通大学）
在本文中，我们的主要任务是解决的多实例半监督视频对象分割的帧序列中，只有第一帧框级地面实况提供。基于检测的算法被广泛采用来处理这个任务，挑战在于选择匹配方法来预测结果以及决定是否使用新预测的结果来更新目标模板。然而，现有的方法，使这些选择在一个粗糙和不灵活的方式，损害他们的性能。为了克服这一限制，我们提出了一种新的方法，利用强化学习，使这两个决定在同一时间。具体地，强化学习代理学习以根据预测结果的质量来决定是否更新目标模板。匹配方法的选择将同时基于强化学习代理的动作历史来确定。实验表明，我们的方法比以前的最先进方法快了近10倍，准确率更高（DAVIS 2017数据集上的区域相似性为69.1%）。
2020-04-16 cs.CV
Activation Template Matching Loss for Explainable Face Recognition
Shenzhen University（深圳大学）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）
我们能否构建一个可解释的人脸识别网络，能够学习基于面部部位的特征，如眼睛，鼻子，嘴巴等，而无需任何手动注释或添加数据集？在本文中，我们提出了一个通用的可解释的信道损耗（ECLoss）来构建一个可解释的人脸识别网络。使用ECLoss训练的可解释网络可以很容易地学习目标卷积层上基于面部部分的表示，其中单个通道可以检测到特定的面部部分。我们在数十个数据集上的实验表明，ECLoss实现了卓越的可解释性指标，同时提高了人脸验证的性能，而无需人脸对齐。此外，我们的可视化结果也说明了建议ECLoss的有效性。
2022-07-05 cs.AI cs.CV
Ada-Tracker: Soft Tissue Tracking via Inter-Frame and Adaptive-Template Matching
The Chinese University of Hong Kong（香港中文大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Chinese PLA General Hospital（中国人民解放军总医院）；Hong Kong Center for Logistics Robotics（香港物流机器人中心）
针对手术中软组织形变导致追踪困难的问题，提出Ada-Tracker，利用光流捕捉变形并自适应更新模板，在SurgT基准上取得更优精度与鲁棒性。
2024-05-24 cs.AI cs.CV
Deformable Siamese Attention Networks for Visual Object Tracking
Malong Technologies（旷视科技）
基于Siamese的跟踪器在视觉对象跟踪方面取得了优异的性能。然而，目标模板不在线更新，并且目标模板和搜索图像的特征在Siamese架构中独立计算。在本文中，我们提出了变形暹罗注意力网络，简称为SiamAttn，通过引入一个新的暹罗注意力机制，计算变形的自我注意力和交叉注意力。自我注意通过空间注意学习强上下文信息，并通过通道注意选择性地强调相互依赖的通道特征。交叉关注能够聚合目标模板和搜索图像之间的丰富的上下文相互依赖性，从而提供自适应地更新目标模板的隐式方式。此外，我们还设计了一个区域细化模块，用于计算注意力特征之间的深度相关性，以实现更准确的跟踪。我们在六个基准上进行了实验，其中我们的方法实现了新的最先进的结果，在VOT 2016年和2018年的0.464->0.537和0.415->0.470 EAO上优于强基线SiamRPN++ [24]。我们的代码可在https://github.com/msight-tech/research-siamattn上获得。
2021-03-24 cs.CV
PixTrack: Precise 6DoF Object Pose Tracking using NeRF Templates and Feature-metric Alignment
Giant AI, Inc.（巨量人工智能公司）
PixTrack是一个基于视觉的6DoF物体位姿跟踪框架，通过NeRF和深度特征度量对齐，在无需数据标注或轨迹平滑的情况下，实现了高精度、鲁棒且无抖动的单目RGB和RGB-D图像位姿估计，并支持高效的CPU多进程多目标跟踪。
2024-02-14 cs.AI cs.CV cs.LG
Deep Learning in the Field of Biometric Template Protection: An Overview
Hochschule Darmstadt（达姆施塔特应用技术大学）；Universität Salzburg（萨尔茨堡大学）；Norwegian University of Science and Technology（挪威科技大学）
今天，深度学习代表了机器学习最流行和最成功的形式。深度学习彻底改变了包括生物识别在内的模式识别领域。利用深度学习的生物识别系统已被证明可以实现吉祥的识别准确性，超过人类的表现。除了生物识别性能方面的突破性进展外，据报道，深度学习的使用还影响了生物识别的不同协变量，如算法公平性、易受攻击性或模板保护。生物识别模板保护技术旨在实现生物识别的安全和隐私保护部署。近年来，深度学习技术已经频繁地应用于生物特征模板保护系统中用于各种目的。这项工作概述了深度学习的进步如何影响生物特征模板保护领域。阐述了生物特征模板保护中提高生物特征执行率与安全性之间的相互关系。此外，讨论了使用深度学习来获得适合于生物特征模板保护的特征表示。随着深度学习为基础的攻击，调查新的方法，应用深度学习，以实现各种目标的生物特征模板保护。
2023-03-05 cs.CV
Beyond Identity: What Information Is Stored in Biometric Face Templates?
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所IGD）；Technical University of Darmstadt（达姆施塔特工业大学）
深度学习的人脸表征使当前的人脸识别系统能够取得成功。尽管这些表征能够对个体的身份进行编码，但最近的研究表明，更多的信息存储在其中，例如人口统计学，图像特征和社会特征。这会威胁到用户的隐私，因为对于许多应用程序来说，这些模板预计仅用于识别目的。了解人脸模板中的编码信息有助于开发减少偏见和保护隐私的人脸识别技术。这项工作的目的是支持这两个分支的发展，分析关于113属性的人脸模板。在两个公开的人脸嵌入上进行了实验。为了评估属性的可预测性，我们训练了一个大规模属性分类器，该分类器还能够准确地陈述其预测置信度。这使我们能够对属性的可预测性做出更复杂的陈述。结果表明，多达74个属性可以准确地预测从人脸模板。特别是非永久性的属性，如年龄，发型，发色，胡子和各种配件，发现很容易预测。由于人脸识别系统的目标是对这些变化具有鲁棒性，未来的研究可能会在这项工作的基础上开发更易于理解的隐私保护解决方案，并构建鲁棒和公平的人脸模板。
2020-09-21 cs.CV
IronMask: Modular Architecture for Protecting Deep Face Template
Hanyang University（汉阳大学）；Jeonbuk National University（全北国立大学）；Samsung Research, Samsung Electronics（三星电子三星研究院）
卷积神经网络在人脸识别领域取得了显著的进展。随着人脸识别技术的发展，越来越多的具有鉴别力的特征被提取到人脸模板中.然而，这增加了在模板被暴露的情况下对用户隐私的威胁。在本文中，我们提出了一个模块化的架构，人脸模板保护，称为IronMask，可以结合任何人脸识别系统使用角距离度量。我们规避了二进制化的需要，这是大多数现有的人脸模板保护性能下降的主要原因，提出了一种新的实值纠错码，与实值模板兼容，因此，可以最大限度地减少性能下降。我们通过对两种面部识别，ArcFace和CosFace的广泛实验，使用CMU-Multi-PIE，FEI和Color-FERET三个数据集来评估IronMask的功效。根据我们的实验结果，当与ArcFace结合时，IronMask在0.0005%的错误接受率（FAR）下实现了99.79%的真实接受率（TAR），而与CosFace结合时，在0%的FAR下实现了95.78%的TAR，同时提供了至少115位的安全性来抵御已知的攻击。
2021-04-06 cs.CV
Learning A Unified Template for Gait Recognition
Beijing Normal University（北京师范大学）；The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
针对步态识别中语义不一致和均匀性问题，提出基于扩散模型思想的Origins框架，通过统一模板的生成与表示联合学习，在多个基准数据集上取得优越性能。
2026-09-17 cs.CV
PTTR: Relational 3D Point Cloud Object Tracking with Transformer
Nanyang Technological University（南洋理工大学）；S-Lab, Nanyang Technological University（南洋理工大学S-Lab实验室）；Sensetime Research（商汤科技研究院）
在点云序列中，3D对象跟踪的目的是在给定模板点云的情况下预测对象在当前搜索点云中的位置和方向。受Transformers成功的启发，我们提出了点跟踪变压器（PTTR），它有效地预测高质量的三维跟踪结果，在一个粗略到精细的方式与Transformer操作的帮助。PTTR由三种新颖的设计组成。1)代替随机采样，我们设计了一种基于感知的采样，在二次采样过程中保留与给定模板相关的点。2)此外，我们提出了一个点关系Transformer（PRT）的自注意和交叉注意模块组成。全局自注意操作捕获长范围依赖关系，以分别增强搜索区域和模板的编码点特征。随后，我们通过交叉注意匹配两组点特征来生成粗略的跟踪结果。3)基于粗跟踪结果，我们采用了一种新的预测细化模块，以获得最终的细化预测。此外，我们还基于Waymo Open Dataset创建了一个大规模点云单对象跟踪基准。大量的实验表明，PTTR实现优越的点云跟踪的准确性和效率。
2022-03-30 cs.CV
Simultaneous Object Detection, Tracking, and Event Recognition
Purdue University（普渡大学）
目标检测、基于检测的跟踪和事件识别的共同内部结构和算法组织促进了集成这三个组件的通用方法。这支持这些组件之间的多方向信息流，从而允许目标检测影响跟踪和事件识别，并且允许事件识别影响跟踪和目标检测。组合的性能可以超过单独的组件的性能。这可以用线性渐近复杂度来完成。
2012-04-12 cs.AI cs.CV
Fine-grained Few-shot Recognition by Deep Object Parsing
Cranberry-Lemon University（蔓越莓柠檬大学）；University of the Witwatersrand（威特沃特斯兰德大学）
我们提出了一种通过深度对象解析进行细粒度Few-Shot识别的新方法。在我们的框架中，一个对象由K个不同的部分组成，对于每个部分，我们学习一个模板字典，它在所有实例和类别中共享。通过估计这K个零件的位置和一组可以重建零件特征的活动模板来解析对象。我们识别测试实例，通过比较其活动模板和相对几何的部分位置对那些提出的Few-Shot实例。我们的方法是端到端可训练的，可以在卷积骨干上学习部分模板。为了对抗方向、姿势和大小等视觉失真，我们在多个尺度上学习模板，并在测试时解析和匹配这些尺度上的实例。我们表明，我们的方法是有竞争力的国家的最先进的，并凭借解析享有可解释性以及。
2022-10-13 cs.AI cs.CV
Who did What at Where and When: Simultaneous Multi-Person Tracking and Activity Recognition
University at Albany, State University of New York（纽约州立大学奥尔巴尼分校）
我们提出了一个自举框架，以同时改进个人、交互和社交群体活动级别的多人跟踪和活动识别。的推断包括识别轨迹的所有行人演员，个人活动，成对的相互作用，和集体活动，鉴于观察到的行人检测。我们的方法使用图形模型来表示和解决联合跟踪和识别问题，通过多个阶段：（1）活动感知跟踪，（2）联合交互识别和遮挡恢复，以及（3）集体活动识别。我们解决了视觉跟踪的地点和时间问题，以及识别的人和什么问题。高阶之间的相关性的可见和闭塞的个人，成对的相互作用，组，和活动，然后使用超图制定贝叶斯框架内解决。几个基准测试的实验表明，我们的方法比国家的最先进的方法的优势。
2018-07-03 cs.CV
MLP-Hash: Protecting Face Templates via Hashing of Randomized Multi-Layer Perceptron
Idiap Research Institute（Idiap研究所）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Université de Lausanne (UNIL)（洛桑大学）
本文提出MLP-hash，一种通过用户特定随机权重多层感知器哈希并二值化特征的可取消人脸模板保护方法，在MOBIO和LFW数据集上验证了其满足ISO/IEC 30136标准，性能与BioHashing等方法相当。
2023-09-04 cs.CR cs.CV
Resist : Reconstruction of irises from templates
University of Connecticut（康涅狄格大学）
虹膜识别系统将虹膜图像转换为特征向量。开创性的流水线将图像分割成虹膜和非虹膜像素，将该区域归一化为固定尺寸的矩形，并提取存储并称为模板的特征（Daugman，2009）。此模板存储在系统中。虹膜的未来读数可以被转换并与模板向量进行比较，以确定或验证个体的身份。由于模板通常存储在一起，因此它们是攻击者的重要目标。我们展示了如何在各种虹膜识别系统中反转模板。也就是说，我们展示了如何将模板转换成现实的虹膜图像，也被视为相同的虹膜由相应的识别系统。我们的反演是基于一个卷积神经网络架构，我们称之为RESIST（从模板重建虹膜）。我们将RESIST应用于传统的Gabor滤波器流水线，应用于DenseNet（Huang等人，CVPR 2017）特征提取器，以及无需归一化即可工作的DenseNet架构。两个DenseNet特征提取器都基于最近的ThirdEye识别系统（Ahmad和Fuller，BTAS 2019）。当使用ND-0405数据集进行训练和测试时，重建图像对于三个管道分别表现出100%、76%和96%的rank-1准确度。我们方法的核心类似于自动编码器。然而，独立训练核心产生低准确性。最终的架构集成到生成对抗网络中（Goodfellow等人，NeurIPS，2014）产生更高的准确性。
2021-04-13 cs.CR cs.CV
A Diffusion Process on Riemannian Manifold for Visual Tracking
Nanyang Technological University（南洋理工大学）；DSO National Laboratories（DSO国家实验室）
针对长视频序列的鲁棒视觉跟踪是一个具有重要应用的研究领域。主要的挑战包括如何对目标图像进行建模以及如何更新该模型。在本文中，我们使用协方差描述符的目标模型，因为这个描述符是强大的问题，如像素像素错位，姿态和照明变化，通常发生在视觉跟踪。我们使用生成过程对模板中的变化进行建模。我们引入了一个新的动态模型的模板更新使用随机行走的黎曼流形上的协方差描述符在于。这是使用流形的对数变换空间来释放由半正定矩阵固有施加的约束。在状态空间中一起建模模板变化和姿势动力学使我们能够以原则性的方式联合量化与运动学状态和模板相关的不确定性。最后，使用粒子滤波器进行运动状态和模板的后验分布的顺序推断。我们的研究结果表明，这种原则性的方法可以在光照，姿态和空间仿射变换的变化是强大的。在实验中，我们的方法优于当前最先进的算法-增量主成分分析方法，特别是当目标经历快速姿态变化时，并且在稳定的目标跟踪情况下也保持了相当的性能。
2013-03-24 cs.CV cs.LG cs.RO
Learning Dynamic Memory Networks for Object Tracking
City University of Hong Kong（香港城市大学）
基于模板匹配的视觉跟踪方法由于其性能和速度上的优势，近年来得到了广泛的应用。然而，他们缺乏有效的方法来适应目标对象的外观变化，使他们的跟踪精度仍然远离国家的最先进的。在本文中，我们提出了一个动态记忆网络，以适应模板跟踪过程中目标的外观变化。LSTM被用作存储器控制器，其中输入是搜索特征映射，输出是用于存储器块的读写过程的控制信号。由于目标的位置最初在搜索特征图中是未知的，因此应用注意力机制来将LSTM输入集中在潜在目标上。为了防止侵略性的模型自适应，我们应用门控残差模板学习来控制用于与初始模板相结合的检索内存的量。不像跟踪检测方法，其中对象的信息是由神经网络的权重参数，这需要昂贵的在线微调，以适应，我们的跟踪器运行完全前馈和适应目标的外观变化，通过更新外部存储器。此外，与其他离线训练后模型容量固定的跟踪方法不同，我们的跟踪器的容量可以很容易地随着任务记忆需求的增加而扩大，这有利于记忆长期的对象信息。在OTB和VOT上进行的大量实验表明，我们的跟踪器MemTrack在保持50 fps的实时速度的同时，对最先进的跟踪方法表现良好。
2018-09-02 cs.CV
Temporal Adaptive RGBT Tracking with Modality Prompt
Xidian University（西安电子科技大学）
提出时间自适应RGBT跟踪框架TATrack，通过时空双流结构和在线更新模板全面利用时空与多模态信息，并设计时空交互机制，在三个基准上实现实时且最先进的性能。
2024-01-02 cs.CV
Biometric Template Protection for Neural-Network-based Face Recognition Systems: A Survey of Methods and Evaluation Techniques
Idiap Research Institute（Idiap研究所）
本文综述了基于神经网络的人脸识别系统中保护人脸模板的生物特征模板保护方法，将其分为非NN和NN学习两类，评估了识别准确率、不可逆性和可更新性等标准，并呼吁加强经验性评估与可复现性研究。
2022-12-06 cs.CR cs.CV
A novel classification-selection approach for the self updating of template-based face recognition systems
University of Cagliari（卡利亚里大学）
安全需求的提升显着增加了可能的面部识别应用的数量，特别是由于物联网（IoT）范式的成功。然而，尽管手工制作和深度学习启发的面部特征达到了显着的紧凑性和表达能力水平，但面部识别性能仍然受到类内变化的影响，例如老化，面部表情，光照变化和姿势。这些变化不能在单次采集中捕获，并且需要长时间的多次采集，这是昂贵的并且需要来自用户的高度协作。其中，已经提出了自更新算法，以减轻这些问题。自我更新的目的是在系统运行期间提交的输入中向用户图库添加新的模板。因此，计算复杂性和存储空间往往是这些算法的关键要求之一。本论文处理上述问题的一种新的基于模板的自更新算法，能够保持随着时间的推移，在系统数据库中存储的一组有限的模板的表达能力。所提出的方法背后的基本原理是在工作假设中，主导模式表征了给定客户端的特征分布。因此，关键是围绕该模式选择最佳模板。我们提出了两种方法，在基于手工制作的功能和最先进的深度学习启发的自动编码器的系统上进行了测试。使用了三个基准数据集。实验结果证实，有效和紧凑的功能集，可以支持我们的工作假设，建议的分类选择方法克服了手动更新的问题，并在情况下，严格的计算要求。
2019-11-28 cs.CV
