Hierarchical Spatial-aware Siamese Network for Thermal Infrared Object Tracking
Harbin Institute of Technology Shenzhen Graduate School（哈尔滨工业大学深圳研究生院）；Harbin Institute of Technology（哈尔滨工业大学）
大多数热红外（TIR）跟踪方法是判别式的，将跟踪问题视为分类任务。然而，分类器的目标（标签预测）不耦合到跟踪器的目标（位置估计）。分类任务主要关注任意目标的类间差异，而跟踪任务主要关注同一目标的类内差异。在本文中，我们投TIR跟踪问题作为一个相似性验证任务，这是耦合良好的跟踪任务的目标。我们提出了一个TIR跟踪器通过分层空间感知的连体卷积神经网络（CNN），命名为HSSNet。为了获得TIR对象的空间和语义特征，我们设计了一个Siamese CNN，它合并了多个分层卷积层。然后，我们提出了一个空间感知的网络，以提高联合层次特征的区分能力。随后，我们训练这个网络端到端的大型可见视频检测数据集学习配对对象之间的相似性，然后我们将网络转移到TIR域。接下来，这个预先训练的Siamese网络用于评估目标模板和目标候选者之间的相似性。最后，我们定位的候选人是最相似的跟踪目标。在基准测试VOT-TIR 2015和VOT-TIR 2016上的大量实验结果表明，与最先进的方法相比，我们提出的方法具有良好的性能。
2018-11-27 cs.CV
Image similarity using Deep CNN and Curriculum Learning
Amazon Development Centre (India) Pvt. Ltd.（亚马逊（印度）开发中心私人有限公司）
图像相似性涉及在给定参考图像的情况下获取看起来相似的图像。我们的解决方案称为SimNet，是一个深度连体网络，它使用一种受课程学习启发的新型在线配对挖掘策略，对正面和负像进行训练。我们还创建了一个多尺度CNN，其中最终的图像嵌入是顶层和下层嵌入的联合表示。我们继续表明，这种多尺度连体网络比传统的CNN更好地捕捉细粒度的图像相似性。
2018-07-13 cs.CV
Measuring Similarity between Artistic and AI Generated Images using Siamese Neural Networks
Instituto Politécnico Nacional（墨西哥国家理工学院）
该研究针对AI生成艺术可能抄袭原作的问题，采用带冻结CLIP编码器的孪生网络，构建配对图像数据集，实现99.4%测试准确率，证明语义-视觉嵌入的有效性。
2026-09-01 cs.AI cs.CV
Retrieval of Family Members Using Siamese Neural Network
University of Science and Technology of China（中国科学技术大学）
野外家庭成员检索的目的是在数据集中找到与该主题相关的家庭成员，这对于寻找走失儿童和分析亲属关系具有重要意义。然而，由于所收集的数据在年龄、性别、姿势和照明方面的多样性，这项任务总是具有挑战性。为了解决这个问题，我们提出了我们的解决方案与深连体神经网络。我们的解决方案可以分为两个部分：相似度计算和排名。在训练过程中，暹罗网络首先以两幅候选图像作为输入，产生两个特征向量。然后，计算两个向量之间的相似性与几个全连接层。而在推理过程中，我们尝试了另一种相似度计算方法，通过丢弃后面的几个全连接层，直接计算两个特征向量的余弦相似度。在相似度计算之后，我们使用排序算法合并具有相同身份的相似度得分，并根据它们的相似度输出有序列表。为了获得进一步的改进，我们尝试了不同的骨干，训练方法和相似度计算方法的组合。最后，我们提交了最佳组合作为我们的解决方案，我们的团队（ustc-nelslip）在RFIW 2020挑战赛的第三赛道上获得了良好的成绩，获得了亚军，这验证了我们的方法的有效性。我们的代码可在：https://github.com/gniknoil/FG2020-kinship
2020-05-30 cs.CV cs.LG
Explainable Image Similarity: Integrating Siamese Networks and Grad-CAM
University of Piraeus（比雷埃夫斯大学）；University of Patras（帕特雷大学）；Harokopio University of Athens（哈罗科皮奥大学）
本文提出集成孪生网络与Grad-CAM的可解释图像相似性框架，提供相似性分数及事实与反事实视觉解释，以增强系统可解释性、可信度和用户接受度。
2023-10-14 cs.AI cs.CV cs.LG
Similarity Mapping with Enhanced Siamese Network for Multi-Object Tracking
Panasonic Silicon Valley Laboratory（松下硅谷实验室）；University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）
多目标跟踪近年来已成为计算机视觉的一个重要领域，特别是对于高级驾驶员辅助系统（ADAS）。尽管越来越受到关注，但实现高性能跟踪仍然具有挑战性，最先进的系统导致具有大量超参数的高复杂性。在本文中，我们专注于降低整体系统的复杂性和数量的超参数，需要调整到一个特定的环境。我们介绍了一种新的跟踪系统的基础上相似性映射的增强型暹罗神经网络（ESNN），它占外观和几何信息，是可训练的端到端。与已知的最先进的方法相比，我们的系统在MOT16挑战的速度和准确性方面都具有竞争力。
2017-01-24 cs.CV cs.LG
Where-and-When to Look: Deep Siamese Attention Networks for Video-based Person Re-identification
The University of Queensland（昆士兰大学）；Dalian University of Technology（大连理工大学）；The University of Sydney（悉尼大学）
基于视频的身份识别是监控系统中的一个重要应用，具有重要的安全性。由于大的视觉变化和不受控制的帧速率，在视频片段中跨不相交的摄像机视图匹配人固有地具有挑战性。人的身份识别有两个关键步骤，即判别特征学习和度量学习。然而，现有的方法考虑独立的两个步骤，他们没有充分利用视频中的时间和空间信息。在本文中，我们提出了一个连体注意力架构，共同学习时空视频表示及其相似性度量。该网络从每帧的区域中提取局部卷积特征，并在测量与另一个行人视频的相似性时通过关注不同的区域来增强其区分能力。注意力机制嵌入到空间门控循环单元中，以通过网络选择性地传播相关特征并记住它们的空间依赖性。该模型基本上学习来自哪些帧（\emph{when}）的哪些部分（\emph{where}）对于匹配人员是相关的和独特的，并且在其中赋予更高的重要性。所提出的Siamese模型是端到端可训练的，以联合学习成对行人视频的可比隐藏表示及其相似性值。在三个基准数据集上进行的大量实验显示了所提出的深度网络的每个组件的有效性，同时优于最先进的方法。
2018-10-14 cs.CV
Fast Eye Detector Using Siamese Network for NIR Partial Face Images
NEC Corporation（日本电气股份有限公司）；University of Tsukuba（筑波大学）
针对近红外（NIR）人脸局部图像，提出了一种基于Siamese网络的快速人眼检测方法。NIR部分面部图像不包括对象的整个面部，因为它们是使用虹膜识别系统在帧速率和分辨率的约束下捕获的。虹膜识别系统，如移动虹膜（IOTM）系统，需要快速和准确的眼睛检测作为预处理。我们的目标是设计一种具有高速度、高左右眼分辨性能和高眼中心位置精度的眼睛检测。我们的方法采用了一个连体网络和粗到细的位置估计与快速轻量级CNN骨干。该网络输出图像的特征和指示眼睛的粗略位置的相似性图。对具有高相似性的特征的一部分的回归细化眼睛的粗略位置以获得具有高精度的精细位置。我们证明了所提出的方法的有效性，通过比较它与传统的方法，包括SOTA，在位置精度，歧视的性能，和处理速度。我们的方法在速度上取得了优异的性能。
2023-01-04 cs.CV
Spatio-Temporal Matching for Siamese Visual Tracking
Huazhong University of Science and Technology（华中科技大学）
相似性匹配是暹罗跟踪器的核心操作。大多数暹罗跟踪器通过源于图像匹配领域的互相关进行相似性学习。然而，与2-D图像匹配不同，目标跟踪中的匹配网络需要4-D信息（高度、宽度、通道和时间）。互相关算法忽略了信道和时间维度的信息，从而产生二义性匹配。本文提出了一种时空匹配过程，以深入探讨四维匹配在空间（高度，宽度和通道）和时间的能力。在空间匹配中，我们引入了一个空变通道引导相关（SVC-Corr）重新校准通道的功能响应为每个空间位置，它可以指导目标感知匹配功能的生成。在时间匹配中，我们研究了目标和背景的时域上下文关系，并开发了一个畸变抑制模块（ARM）。通过限制帧间响应图的突然变化，我们的ARM可以明显抑制畸变，从而实现更鲁棒和准确的对象跟踪。此外，提出了一种新的无锚跟踪框架，以适应这些创新。在OTB 100、VOT 2018、VOT 2020、GOT-10 k和LaSOT等具有挑战性的基准测试上的实验证明了所提出方法的最新性能。
2021-05-06 cs.CV
Deep Siamese Networks with Bayesian non-Parametrics for Video Object Tracking
Portland State University（波特兰州立大学）；Intel Corporation（英特尔公司）
我们提出了一种新的算法，利用深连体神经网络作为一个通用的对象相似性函数结合贝叶斯优化（BO）框架编码的时空信息，有效的视频对象跟踪。特别是，我们把视频跟踪问题作为一个动态（即时间演变）优化问题。使用高斯过程先验，我们建模一个动态的目标函数，表示跟踪对象在每帧中的位置。通过利用时间相关性，所提出的方法以统计原则和有效的方式查询搜索空间，提供了优于当前技术视频跟踪方法的几个优点。
2018-11-18 cs.CV
Generalized Contrastive Optimization of Siamese Networks for Place Recognition
University of Groningen（格罗宁根大学）；University of Twente（特文特大学）
针对视觉地点识别中二元相似性标注及复杂样本挖掘问题，提出连续相似性 GCL 与自动重标注技术，提升孪生 CNN 性能并实现良好跨数据集泛化。
2023-04-20 cs.CV
A Bidirectional Siamese Recurrent Neural Network for Accurate Gait Recognition Using Body Landmarks
United International University（联合国际大学）；Edinburgh Napier University（爱丁堡龙比亚大学）；BRAC University（BRAC大学）
本文提出结合 Mediapipe 关键点、Procrustes 对齐与 Siamese biGRU-dualStack 的步态识别方法，并在四个跨视角数据集上验证其高准确率。
2024-12-05 cs.AI cs.CV cs.LG
Image Retrieval and Pattern Spotting using Siamese Neural Network
Pontifical Catholic University of Parana (PUCPR)（巴拉那天主教大学（PUCPR））；Normandie Univ, UNIROUEN, UNIHAVRE, INSA Rouen, LITIS（诺曼底大学、鲁昂大学、勒阿弗尔大学、鲁昂国立应用科学学院、LITIS实验室）；École de Technologie Supérieure (ÉTS), Université du Québec（魁北克大学高等技术学院（ÉTS））；Federal University of Paraná（巴拉那联邦大学）；State University of Ponta Grossa (UEPG)（蓬塔格罗萨州立大学（UEPG））
本文提出了一种新的方法，在文档图像集的图像检索和模式发现。通过使用Siamese神经网络学习基于相似性的表示来避免手动特征工程，该Siamese神经网络是在来自ImageNet数据集的先前准备的图像对子集上训练的。学习的表示用于提供基于相似性的特征图，该特征图用于在给定图像查询的情况下在数据汇集中找到相关图像候选。一个强大的实验协议的基础上公开的Tobacco800文档图像集表明，该方法相比，毫不逊色于国家的最先进的文档图像检索方法，达到0.94和0.83的平均平均精度（mAP）检索和模式定位（IoU=0.7），分别。此外，我们已经评估了所提出的方法，考虑到不同大小的特征图，显示减少的检索性能和耗时的特征数量的影响。
2019-06-22 cs.CV
SiamEvent: Event-based Object Tracking via Edge-aware Similarity Learning with Siamese Networks
KAIST（韩国科学技术院）
事件摄像机是一种新型传感器，它可以感知每个像素的强度变化并输出异步事件流，与传统摄像机相比具有许多优势，例如高动态范围（HDR）和无运动模糊。已经表明，事件单独可以用于通过运动补偿或预测的对象跟踪。然而，现有的方法假设目标总是移动的，是独立的对象。此外，他们无法跟踪停止的非独立运动物体在固定的场景。在本文中，我们提出了一种新的基于事件的对象跟踪框架，称为SiamEvent，使用Siamese网络通过边缘感知相似性学习。重要的是，为了找到与目标边缘结构最相似的部分，我们提出了在两个时间戳上相关嵌入事件来计算目标边缘相似度。Siamese网络通过查找具有最高相似性分数的部分来跟踪任意目标边缘。这扩展了基于事件的对象跟踪的可能性，不仅适用于独立的独立移动对象，而且适用于相机和场景的各种设置。此外，还提出了目标边缘初始化和边缘检测器，以防止SiamEvent的漂移问题。最后，我们建立了一个开放的数据集，包括各种合成和真实的场景训练和评估SiamEvent。大量的实验表明，SiamEvent在真实场景中实现了比基线高15%的跟踪性能增强，并且在具有挑战性的HDR和运动模糊条件下具有更强大的跟踪性能。
2021-09-28 cs.AI cs.CV cs.RO
MultiSiam: Self-supervised Multi-instance Siamese Representation Learning for Autonomous Driving
Hong Kong University of Science and Technology（香港科技大学）
多年来，自动驾驶引起了人们的广泛关注，但事实证明它比预期的要难，这可能是由于模型训练的标记数据汇集的困难。自监督学习（SSL），它利用未标记的数据只为表示学习，可能是一个很有前途的方式来提高模型的性能。然而，现有的SSL方法通常依赖于单中心对象保证，这可能不适用于多实例数据集，如街景。为了缓解这一限制，我们提出了两个问题来解决：（1）如何定义跨视图一致性的正样本和（2）如何在多实例情况下测量相似性。我们首先在随机裁剪期间采用IoU阈值，将全局不一致性转换为局部一致性。然后，我们提出了两种特征对齐方法，使二维特征图的多实例相似性测量。此外，我们采用自注意的图像内聚类进一步挖掘图像内的相似性和不变性。实验表明，在Waymo数据集上进行预训练时，我们的多实例暹罗网络（MultiSiam）方法显着提高了泛化能力，并在自动驾驶基准测试（包括Cityscapes和BDD 100 K）上实现了最先进的传输性能，而现有的SSL对应物（如MoCo，MoCo-v2和BYOL）显示出显着的性能下降。通过在大规模自动驾驶数据集SODA 10 M上进行预训练，MultiSiam超过了ImageNet预训练的MoCo-v2，展示了特定领域预训练的潜力。代码将在https://github.com/KaiChen1998/MultiSiam上提供。
2021-08-27 cs.CV
SigScatNet: A Siamese + Scattering based Deep Learning Approach for Signature Forgery Detection and Similarity Assessment
Sardar Patel Institute of Technology（萨达尔·帕特尔技术学院）
提出SigScatNet，结合孪生网络与散射小波，用于签名伪造检测和相似性评估，在ICDAR和CEDAR数据集上实现极低等错误率，兼具高精度与计算效率。
2023-11-09 cs.CV cs.LG eess.SP
Embedded Spectral Descriptors: Learning the point-wise correspondence metric via Siamese neural networks
University of Iowa（爱荷华大学）；Northeastern University（东北大学）；University of Houston（休斯顿大学）
一个鲁棒的和信息丰富的局部形状描述子在网格配准中起着重要的作用。在这方面，基于Laplace-Beltrami算子的谱的谱描述符由于其有利的性质（诸如等距不变性）而在过去十年中一直是研究的热门主题。尽管如此，然而，光谱描述符往往不能给出一个正确的相似性度量的非等距的情况下，模型之间的度量失真是大的。因此，当模型不是等距的时，它们对于对应匹配问题是不可靠的。本文提出了一种改进谱描述子相似性度量的方法。我们嵌入到不同的度量空间的元素之间的欧氏距离直接表示的几何相异性的光谱形状描述符。我们设计并训练了一个Siamese神经网络来寻找这样的嵌入，其中嵌入的描述符被提升为基于几何相似性重新排列。我们证明了我们的方法可以显着提高传统的光谱描述符的性能，通过简单的增强实现的暹罗神经网络相比，其他国家的最先进的方法。
2019-10-18 cs.CV cs.GR
DensSiam: End-to-End Densely-Siamese Network with Self-Attention Model for Object Tracking
Memorial University of Newfoundland（纽芬兰纪念大学）；University of Calgary（卡尔加里大学）；Helwan University（赫尔旺大学）
卷积连体神经网络最近已被用于使用深度特征来跟踪对象。Siamese结构可以达到实时的速度，但是仍然很难找到一种Siamese结构，特别是当它很深时，它保持了泛化能力，高精度和速度，同时减少了共享参数的数量。此外，传统的连体建筑通常一次处理一个本地邻居，这使得外观模型是本地的并且对外观变化不鲁棒。为了克服这两个问题，本文提出了DensSiam，这是一种新型的卷积暹罗架构，它使用了密集层的概念，并以前馈方式将每个密集层连接到所有层，并具有相似性学习功能。DensSiam还包括自注意力机制，以迫使网络在离线训练期间更多地关注非局部特征。在四个跟踪基准上进行了广泛的实验：验证集为OTB 2013和OTB 2015;测试集为VOT 2015，VOT 2016和VOT 2017。所获得的结果表明，DensSiam在这些基准上取得了优于其他当前最先进的方法。
2018-09-07 cs.CV
Deep Fusion Siamese Network for Automatic Kinship Verification
University of Science and Technology of China（中国科学技术大学）
自动亲属关系验证旨在确定某些个体是否属于同一家庭。帮助失踪人员与家人团聚具有重要的研究意义。在这项工作中，具有挑战性的问题是逐步解决在两个方面。首先，我们提出了一个深度连体网络来量化两个个体之间的相对相似性。当给定两个输入人脸图像时，深度连体网络从其中提取特征，并通过组合和连接来融合这些特征。然后，融合后的特征被送入一个全连接的网络，以获得两个人脸之间的相似性得分，这是用来验证亲属关系。为了提高性能，陪审团制度也被用于多模型融合。第二，将两个深度连体网络集成为用于三主题的深度三重网络（即，父亲、母亲和孩子）亲属关系核实，旨在确定一个孩子是否与一对父母有亲属关系。具体地，对所获得的父子相似度得分和母子相似度得分进行加权，以生成用于亲属关系验证的父子相似度得分。Recognizing Families In the Wild（RFIW）是一个具有挑战性的多轨道亲属关系识别任务，它基于Families in the Wild（FIW），一个大规模和全面的图像数据库，用于自动亲属关系识别。在正在进行的RFIW 2020挑战期间，支持亲属关系验证（第一轨道）和三主体验证（第二轨道）。我们的团队（中国科大-nelslip）在第二赛道排名第一，在第一赛道排名第三。该代码可在https://github.com/gniknoil/FG2020-kinship上获得。
2020-06-07 cs.CV cs.MM
3D Human Action Recognition with Siamese-LSTM Based Deep Metric Learning
Gebze Technical University（盖布泽技术大学）；VisLab（视觉实验室）
本文提出了一个新的3D人体动作识别系统，作为一个两阶段系统：（1）深度度量学习模块，使用Siamese-LSTM网络学习两个3D联合序列之间的相似性度量;（2）多类分类模块，使用第一个模块的输出来产生最终的识别输出。该模型有几个优点：第一个模块使用更大的数据集进行训练，因为它使用了许多序列对的组合。我们的深度度量学习模块也可以独立于数据集进行训练，这使得我们的系统具有模块化和可推广性。我们在标准数据集和新引入的数据集上测试了所提出的系统，结果表明初步结果是有希望的。我们将通过添加更复杂的LSTM块和在不同数据集之间进行交叉训练来继续开发这个系统。
2018-07-05 cs.CV
Siamese Network of Deep Fisher-Vector Descriptors for Image Retrieval
University of Surrey（萨里大学）
本文研究了大规模图像检索问题，其目的是对大量图像与给定查询图像的相似性进行准确的排序。为了实现这一点，我们提出了一种新的暹罗网络。该网络由两个计算链组成，每个计算链由CNN组件和Fisher向量组件组成。CNN组件产生密集的深度卷积描述符，然后通过Fisher向量方法聚合。至关重要的是，我们建议同时学习CNN滤波器权重和Fisher Vector模型参数。这使我们能够解释在学习过程中深度描述符的不断变化的分布。我们表明，所提出的方法给出了显着的改进，在牛津和巴黎的图像检索数据集的最先进的方法。此外，我们还为这两个数据集提供了一个基线性能指标，其中包括100万个干扰项。
2017-02-01 cs.CV
Siamese Regression Networks with Efficient mid-level Feature Extraction for 3D Object Pose Estimation
Imperial College London（伦敦帝国理工学院）
在本文中，我们解决的问题，估计对象实例的三维姿态，使用卷积神经网络。现有技术的方法通常间接地解决角度空间中回归的挑战性问题，专注于学习随后被馈送到用于3D姿态估计的单独架构中的区别性特征。相比之下，我们提出了一个端到端的学习框架，直接回归对象构成利用暹罗网络。对于给定的图像对，我们分别在特征空间和姿态空间中的样本图像的表示之间执行相似性度量，这被证明可以提高回归性能。此外，我们认为，我们的姿势引导的特征学习使用我们的暹罗回归网络生成更多的区别特征，优于最先进的状态。最后，我们的特征学习公式提供了学习功能，可以在严重的闭塞下执行，证明了我们的新的手对象数据集的高性能。
2016-07-08 cs.CV
Content-Based Landmark Retrieval Combining Global and Local Features using Siamese Neural Networks
Technische Universität Berlin（柏林工业大学）
在这项工作中，我们提出了一个地标检索，利用全球和本地功能的方法。一个连体网络用于全局特征提取和度量学习，这给出了一个初始排名的地标搜索。我们利用从暹罗体系结构中提取的特征图作为局部描述符，然后使用局部描述符之间的余弦相似度进一步细化搜索结果。我们对用于评估的Google Landmark数据集进行了更深入的分析，并增加了数据集以处理各种类内方差。此外，我们进行了几个实验来比较迁移学习和度量学习的效果，以及使用其他局部描述符的实验。我们表明，使用本地功能的重新排名可以改善搜索结果。我们相信，建议使用余弦相似性的本地特征提取是一个简单的方法，可以扩展到许多其他检索任务。
2022-08-03 cs.CV cs.IR cs.LG
Learning Cascaded Siamese Networks for High Performance Visual Tracking
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
视觉跟踪是计算机视觉中最具挑战性的问题之一。为了在各种负面场景下实现高性能的视觉跟踪，提出并开发了一种基于两种不同深度学习网络的级联暹罗网络：匹配子网络和分类子网络。匹配子网络是一个完全卷积的Siamese网络。根据样本图像和候选图像之间的相似性得分，搜索可能的对象位置并裁剪缩放的候选块。分类子网络被设计为进一步评估裁剪的候选块，并基于分类得分确定最佳跟踪结果。匹配子网络离线训练，在线固定，而分类子网络在线执行随机梯度下降以学习更多的目标特定信息。为了进一步提高跟踪性能，一个有效的分类子网络更新方法的基础上的相似性和分类得分被用来更新的分类子网络。大量的实验结果表明，我们提出的方法在最近的基准测试中达到了最先进的性能。
2019-05-08 cs.CV cs.MM
MVB: A Large-Scale Dataset for Baggage Re-Identification and Merged Siamese Networks
Nuctech AI R&D Center（同方威视人工智能研发中心）
在本文中，我们提出了一个新的数据集命名为MVB（多视图行李）的行李ReID任务，有一些本质上的区别，从人的ReID。MVB有三个特点。首先，MVB是第一个公开发布的大规模数据集，包含4519个行李身份和22660个带注释的行李图像及其表面材料标签。其次，采用专门设计的多视角摄像系统对行李图像进行拍摄，处理姿态变化和遮挡等问题，以获得尽可能完整的行李表面三维信息。第三，考虑到行李可能具有非常相似的外观，而数据是在两个真实的机场环境中收集的，其中成像因素彼此显着不同，因此MVB具有显着的类间相似性和类内不同性。此外，我们提出了一个合并的暹罗网络作为基线模型，并评估其性能。对MVB进行了实验和实例研究。
2019-07-26 cs.CV
DCF-ASN: Coarse-to-fine Real-time Visual Tracking via Discriminative Correlation Filter and Attentional Siamese Network
School of Computer Science（计算机学院）；Northwestern Polytechnical University（西北工业大学）；Aberystwyth University（阿伯里斯特威斯大学）
判别相关滤波器（DCF）和连体网络在视觉跟踪任务中取得了令人满意的性能，这分别归功于它们优越的计算效率和可靠的相似性度量学习。然而，如何有效地利用强大的深度网络，同时保持DCF的实时的【形】响应，仍然是一个具有挑战性的问题。将互相关算子作为一个单独的层嵌入到siamese网络中是一种普遍的选择，以提高跟踪精度。作为这种网络的关键组成部分，相关层与网络的其他部分一起在线更新。然而，当受到严重干扰时，融合跟踪器仍可能由于累积误差而完全偏离目标。为了解决这些问题，我们提出了一个由粗到细的跟踪框架，该框架首先通过在线更新的DCF模块粗略地推断目标状态，然后通过离线训练的非对称连体网络（siamese network，简称siamese network）精细地定位目标。该算法利用DCF的指导思想和已知的地面真值模板得到的信道权值，对特征表示进行细化，实现了目标的精确定位。在五个常用的跟踪数据集上的系统实验表明，所提出的DCF-SVM在具有良好跟踪效率的同时，达到了最先进的性能。
2021-03-19 cs.CV
Efficient Bird Eye View Proposals for 3D Siamese Tracking
由于数据的稀疏性和搜索空间的密集性，在LIDAR点云中跟踪车辆是一项具有挑战性的任务。点云结构的缺乏阻碍了卷积滤波器在2D目标跟踪中的应用。此外，结构化点云是繁琐的，并意味着丢失细粒度的信息。因此，在3D空间中生成建议是昂贵且低效的。在本文中，我们利用LIDAR点云的密集和结构化鸟瞰图（BEV）表示来有效地搜索感兴趣的对象。我们使用高效的区域建议网络，并在3D中生成少量的对象建议。成功地，我们完善我们的3D对象候选人的选择，利用3D暹罗网络的相似性能力。我们调整后的三维暹罗网络形状完成，以提高其歧视能力。我们的方法尝试解决在BEV空间中的有效搜索空间和使用3D LIDAR点云的有意义的选择两者。我们表明，在BEV中的区域建议优于贝叶斯方法，如卡尔曼和粒子滤波器提供了显着的保证金的建议，这些候选人是适合的3D暹罗网络。通过端到端训练我们的方法，当只使用16个候选项时，我们在成功和精确度方面比之前的车辆跟踪基线高出12% / 18%。
2020-05-06 cs.CV
Understanding Masked Image Modeling via Learning Occlusion Invariant Feature
MEGVII Technology（旷视科技）
近年来，掩码图像建模（MIM）在自监督视觉识别中取得了巨大的成功。然而，作为一个基于重构的框架，它仍然是一个悬而未决的问题，以了解MIM的工作原理，因为MIM似乎非常不同于以前研究的连体方法，如对比学习。在本文中，我们提出了一个新的观点：MIM隐式学习遮挡不变的功能，这是类似于其他的连体方法，而后者学习其他的不变性。通过将MIM公式化放松为等效的连体形式，MIM方法可以在与传统方法的统一框架中解释，其中只有a）数据转换，即学习什么不变性，以及b）相似性度量是不同的。此外，采用MAE（He et al.）作为MIM的一个典型例子，我们经验性地发现MIM模型的成功与相似性函数的选择有一点关系，但是由掩蔽图像引入的学习的遮挡不变特征--它被证明是视觉Transformer的有利初始化，即使学习的特征可能不太语义。我们希望我们的研究结果能够启发研究人员在计算机视觉领域开发更强大的自监督方法。
2022-08-08 cs.CV
Dense Siamese Network for Dense Unsupervised Learning
Nanyang Technological University（南洋理工大学）；Shanghai AI Laboratory（上海人工智能实验室）；SenseTime Research（商汤科技研究院）
本文介绍了密集暹罗网络（DenseSiam），一个简单的无监督学习框架密集预测任务。它通过最大化具有两种类型的一致性的一个图像的两个视图之间的相似性来学习视觉表示，即，像素一致性和区域一致性。具体而言，DenseSiam首先根据重叠区域中的确切位置对应关系最大化像素级空间一致性。在重叠区域中提取一批子区域对应的区域嵌入，进行区域一致性对比。与之前需要负像素对、动量编码器或启发式掩码的方法相比，DenseSiam受益于简单的暹罗网络，并优化了不同粒度的一致性。它还证明了简单的位置对应和相互作用的区域嵌入是足够有效的学习相似性。我们在ImageNet上应用了DenseSiam，并在各种下游任务上获得了有竞争力的改进。我们还表明，只有一些额外的特定于任务的损失，简单的框架可以直接进行密集的预测任务。在现有的无监督语义分割基准上，它以28%的训练成本超过了最先进的分割方法2.1 mIoU。代码和模型在https://github.com/ZwwWayne/DenseSiam上发布。
2022-08-10 cs.AI cs.CV
Visual Object Tracking based on Adaptive Siamese and Motion Estimation Network
Iran University of Science and Technology（伊朗科技大学）
近年来，卷积神经网络（CNN）以其强大的抽象特征表示能力在计算机视觉的各个领域引起了广泛的关注。视觉目标跟踪是计算机视觉的一个重要研究领域，近年来取得了显著的进展。在这项工作中，我们的目标是通过利用CNN的表示能力来改进视觉对象跟踪中的运动和观察模型。为此，利用运动估计网络（名为MEN）来寻找目标的最可能的位置，并且除了先前的目标位置之外还准备进一步的线索。因此，通过在两个可能的位置附近生成少量的候选，可以增强运动估计。然后将生成的候选人输入到经过训练的Siamese网络中，以检测最可能的候选人。将每个候选者与在预定义条件下更新的自适应缓冲区进行比较。为了考虑目标外观变化，加权CNN（称为WCNN）使用序列特异性信息自适应地将权重分配给暹罗网络的最终相似性得分。在知名的基准数据集（OTB100、OTB50和OTB2013）上的评估结果证明，所提出的跟踪器优于最先进的竞争对手。
2018-09-29 cs.CV
Exploring Simple Siamese Representation Learning
Facebook AI Research (FAIR)（脸书人工智能研究院（FAIR））
连体网络已经成为无监督视觉表示学习的各种最新模型中的常见结构。这些模型最大限度地提高了一个图像的两个增强之间的相似性，以避免崩溃的解决方案的某些条件。在本文中，我们报告了令人惊讶的经验结果，即简单的Siamese网络可以学习有意义的表示，即使不使用以下任何一种：（i）负样本对，（ii）大批量，（iii）动量编码器。我们的实验表明，崩溃的解决方案确实存在的损失和结构，但停止梯度操作在防止崩溃中起着至关重要的作用。我们提供了一个关于停止梯度含义的假设，并进一步展示了验证它的概念验证实验。我们的“SimSiam”方法在ImageNet和下游任务上取得了有竞争力的结果。我们希望这个简单的基线能激励人们重新思考暹罗架构在无监督表示学习中的作用。代码将提供。
2020-11-20 cs.CV cs.LG
SiamTHN: Siamese Target Highlight Network for Visual Tracking
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）；School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences（中国科学院大学电子电气与通信工程学院）；Jigang Defence Technology Company, Ltd.（济钢防务技术有限公司）
近年来，基于暹罗网络的跟踪器在视觉目标跟踪领域发展迅速。现在使用的大多数基于暹罗网络的跟踪器平等地对待骨干网络生成的特征图中的每个通道，使得相似性响应图对背景影响敏感，因此难以集中在目标区域上。此外，在这些跟踪器中，分类和回归分支之间没有结构性联系，这两个分支在训练期间分别进行优化。因此，在分类和回归分支之间存在不对准，这导致不太准确的跟踪结果。在本文中，提出了一个目标突出显示模块，以帮助生成的相似性响应图更集中的目标区域。为了减少失准，并产生更精确的跟踪结果，我们提出了一个纠正损失的训练模型。该模型的两个分支通过使用校正损失进行联合调整，以产生更可靠的预测结果。在5个具有挑战性的基准数据集上的实验表明，该方法在性能方面优于现有模型，并且运行速度为38 fps，证明了其有效性和效率。
2023-03-22 cs.AI cs.CV
Biometric Signature Verification Using Recurrent Neural Networks
Universidad Autonoma de Madrid（马德里自治大学）；Escuela Politecnica Superior（高等理工学院）
基于循环神经网络（RNN）的架构已成功应用于许多不同的任务，例如语音或手写识别，并获得了最先进的结果。这项工作的主要贡献是分析RNN在实际场景中用于在线签名验证的可行性。我们已经考虑了一个基于长短期记忆（LSTM）的系统，该系统具有Siamese架构，其目标是从成对的签名中学习相似性度量。对于实验工作，考虑由400个用户和4个单独的采集会话组成的BiosecuID数据库。我们提出的LSTM RNN系统已经超过了最近发表的关于BiosecuID基准测试的结果，对于熟练的forecast来说，相对验证性能提高了17.76%到28.00%。
2022-05-03 cs.CV
Joint Triplet Autoencoder for Histopathological Colon Cancer Nuclei Retrieval
Indian Institute of Information Technology, Sri City（斯里城印度信息技术学院）
深度学习在视觉任务的性能方面表现出了很大的改善。图像检索是从数据库中提取与查询图像在视觉上相似的图像的任务。执行特征匹配以对图像进行排序。过去已经衍生出各种手工设计的特征来表示图像。如今，在生物医学图像分析领域，深度学习的力量正被用于从数据中自动特征学习。Autoencoder和Siamese网络是两个深度学习模型来学习潜在空间（即，特征或嵌入）。自动编码器的工作原理是从潜在空间重建图像。Siamese网络利用三元组来学习类内相似性和类间差异性。此外，Autoencoder是无监督的，而Siamese网络是有监督的。我们提出了一个联合三元组自动编码器网络（JTANet），促进三元组学习的自动编码器框架。对Siamese网络进行了有监督学习，对Autoencoder进行了无监督学习。此外，Autoencoder的Encoder网络与Siamese网络共享，称为Siamcoder网络。特征提取使用训练Siamcoder网络检索的目的。实验在病理学常规结肠癌数据集上进行。我们已经观察到使用所提出的JTANet模型对Autoencoder和Siamese模型在组织病理学图像中进行结肠癌细胞核检索的有前途的性能。
2021-05-24 cs.CV
Siamese Neural Networks for One-shot detection of Railway Track Switches
General Electric（通用电气）
深度学习方法已被广泛用于分析视频数据，以通过对图像帧进行分类和检测对象来提取有价值的信息。我们描述了一种独特的方法，用于使用来自移动机车的视频馈送来连续监控铁路轨道并检测轨道上的开关等重要资产。这里使用的技术称为Siamese Networks，它使用两个相同的网络来学习两个图像之间的相似性。在这里，我们将使用一个连体网络来连续比较轨迹图像，并检测轨迹中的任何显著差异。开关将是这些图像之一，将是不同的，我们将找到一个映射，清楚地区分开关从其他可能的轨道异常。然后，将相同的方法扩展到检测铁路轨道上的任何异常。铁路运输是独一无二的，因为它有轮式车辆，火车由机车牵引，在导轨上以接近每小时200英里的高速运行。铁路网络上的多条轨道使用称为道岔或道岔的设备相互连接。道岔可以手动操作，也可以通过控制中心的命令自动操作，它控制列车在网络不同轨道上的运动。这些道岔的准确定位对于铁路来说非常重要，并且获得它们在现场的真实状态是重要的。现代列车使用面向轨道的高清摄像机，连续记录轨道视频。利用Siamese网络，并与基准图像进行比较，我们描述了一种方法来监测跟踪和突出异常。
2017-12-21 cs.CV
Graph Attention Tracking
Zhejiang University of Technology（浙江工业大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Adelaide（阿德莱德大学）
基于Siamese网络的跟踪器将视觉跟踪任务表述为相似性匹配问题。几乎所有流行的暹罗跟踪器都通过目标分支和搜索分支之间的卷积特征互相关来实现相似性学习。然而，由于目标特征区域的大小需要预先确定，这些基于互相关的方法要么保留了大量不利的背景信息，要么丢失了大量的前景信息。此外，目标和搜索区域之间的全局匹配也在很大程度上忽略了目标的结构和部件级信息。针对上述问题，本文提出了一种简单的目标感知的Siamese图注意力网络，用于一般的目标跟踪。我们建议建立一个完整的二分图的目标和搜索区域之间的部分到部分的对应关系，并应用图注意力机制传播目标信息从模板特征的搜索功能。此外，而不是使用预先固定的区域裁剪的模板特征区域选择，我们研究了目标感知区域选择机制，以适应不同对象的大小和纵横比的变化。在GOT-10 k、UAV 123、OTB-100和LaSOT等具有挑战性的基准上进行的实验表明，所提出的SiamGAT优于许多最先进的跟踪器，并实现了领先的性能。代码可在：https://git.io/SiamGAT
2020-11-23 cs.CV
Similarity Learning Networks for Animal Individual Re-Identification -- Beyond the Capabilities of a Human Observer
University of Guelph（圭尔夫大学）
当有大量标记数据可用时，深度学习已成为处理计算机视觉任务的标准方法。传统深度学习方法无法执行的一个领域是一次性学习任务，其中模型必须在只看到一个示例后正确分类新类别。一个这样的领域是动物重新识别，计算机视觉的应用，可以在全球范围内使用的方法，自动物种种群估计相机陷阱图像。我们的工作展示了相似性比较网络在动物重新识别中的应用，以及深度卷积神经网络跨领域推广的能力。很少有研究考虑跨物种的动物重新识别方法。在这里，我们比较了两种相似性比较方法：Siamese和Triplet-Loss，基于AlexNet，VGG-19，DenseNet 201，MobileNetV 2和InceptionV 3架构，考虑平均精度（mAP）@1和mAP@5。我们考虑了五个数据集，分别对应于五个不同的物种：人类、黑猩猩、座头鲸、果蝇和西伯利亚虎，每个物种都有自己独特的挑战。我们证明，三重损失优于其暹罗对应的所有物种。在没有任何物种特异性修改的情况下，我们的研究结果表明，相似性比较网络可以达到超越人类的动物重新识别任务的性能水平。研究人员在重新遇到动物个体时重新识别动物个体的能力对于解决种群动态和社区/行为生态学研究中的广泛问题至关重要。我们的期望是，相似性比较网络是一个主要趋势的开始，这一趋势可能会彻底改变从相机陷阱数据中重新识别动物的方法。
2020-07-01 cs.CV
Semi-Supervised Learning using Siamese Networks
University of Waikato（怀卡托大学）
神经网络已经成功地用作分类模型，当在大量标记样本上训练时，产生最先进的结果。然而，这些模型更难以成功地训练半监督问题，其中少量的标记实例与大量的未标记实例一起可用。本文提出了一种新的基于相似函数学习的半监督学习训练方法，该方法利用Siamese网络获得合适的嵌入。学习的表示在欧几里得空间中是有区别的，因此可以用于使用最近邻分类器标记未标记的实例。未标记实例的置信预测被用作真实标签，用于在扩展训练集上重新训练暹罗网络。这个过程是反复应用的。我们对这种迭代自训练算法进行了实证研究。为了改进未标记的预测，还评估了具有全局一致性的局部学习[22]。
2021-09-09 cs.CV cs.LG
Learning Localization-aware Target Confidence for Siamese Visual Tracking
Hangzhou Dianzi University（杭州电子科技大学）；University of Science and Technology of China（中国科学技术大学）；Zhejiang University（浙江大学）
Siamese跟踪范式取得了巨大的成功，通过分类和回归提供了有效的外观判别和尺寸估计。虽然这样的范例通常独立地优化分类和回归，导致任务不对准（准确的预测框没有高的目标置信度分数）。在本文中，为了减轻这种错位，我们提出了一种新的跟踪范式，称为SiamLA。在这个范例中，一系列简单的，但有效的定位感知组件被引入，以产生定位感知的目标置信度分数。具体而言，与建议的定位感知动态标签（LADL）损失和定位感知标签平滑（LALS）策略，实现了分类和回归之间的协同优化，使分类分数知道的位置状态，而不仅仅是外观相似性。此外，我们提出了一个单独的本地化分支，集中在一个本地化感知功能聚合（LAFA）模块，产生位置质量分数，以进一步修改分类分数。因此，所得到的目标置信度分数对于位置状态更具区分性，从而允许准确的预测框倾向于被预测为高分。在六个具有挑战性的基准上进行了广泛的实验，包括GOT-10 k，TrackingNet，LaSOT，TNL 2K，OTB 100和VOT 2018。我们的SiamLA在准确性和效率方面都达到了最先进的性能。此外，稳定性分析表明，我们的跟踪范式是相对稳定的，这意味着范式是潜在的现实世界中的应用。
2022-04-29 cs.CV
Siamese based Neural Network for Offline Writer Identification on word level data
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
手写体识别是文档理解和分析的理想属性之一。它关注的是区分作者的文件写作风格和特点。文本图像的多样性，特别是具有不同笔迹的图像，使得在数据很少的情况下学习好特征的过程变得困难。在本文中，我们提出了一种新的方案，以确定作者的文件的基础上输入的文字图像。我们的方法是文本无关的，不施加任何限制的输入图像的大小进行检查。首先，我们检测笔迹中的关键成分，并使用尺度不变特征变换（SIFT）提取它们周围的区域。这些补丁旨在捕获可能对单个作者唯一的单个书写特征（包括异体字、字符或字符组合）。然后，这些特征通过深度卷积神经网络（CNN），其中通过使用Siamese网络应用相似性学习的概念来学习权重。Siamese网络通过映射不同对输入图像之间的相似性来增强CNN的区分能力。使用稀疏PCA对提取的SIFT关键点在不同尺度上学习的特征进行编码，稀疏PCA的每个分量被分配一个显著性分数，该分数表示其在有效区分不同作者方面的显著性水平。最后，将与每个SIFT关键点相对应的加权稀疏PCA组合以获得每个作者的最终分类得分。该算法在两个公共数据库（即IAM和CVL）上进行了评估，并与其他基于深度学习的算法相比，能够取得令人满意的结果。
2022-11-17 cs.CV cs.LG
Action Quality Assessment using Siamese Network-Based Deep Metric Learning
Indian Institute of Technology Jodhpur（焦特布尔印度理工学院）；International Institute of Information Technology（国际信息技术研究所）
自动化的基于视觉的分数估计模型可以用作替代意见，以避免判断偏差。在过去的作品中，得分估计模型是通过将视频表示回归到裁判提供的地面真实得分来学习的。然而，这种基于回归的解决方案缺乏解释性的原因给予评分。使分数更易于解释的一种解决方案是将给定动作视频与参考视频进行比较。这将捕捉时间变化w.r.t.并将这些变化映射到最终得分。在这项工作中，我们提出了一个新的动作评分系统作为一个两阶段的系统：（1）深度度量学习模块，学习任何两个动作视频之间的相似性，根据他们的地面真实分数由法官;（2）分数估计模块，使用第一个模块找到视频的相似性，以参考视频，以给出评估分数。所提出的评分模型已被测试为奥运会跳水和体操跳马，该模型优于现有的国家的最先进的评分模型。
2020-02-27 cs.CV
Applying Deep Neural Networks to automate visual verification of manual bracket installations in aerospace
本文提出基于孪生神经网络的航空航天支架安装自动化视觉验证方法，并设计单模型多参考图投票方案，结合迁移学习与集成方法，在训练数据稀缺时显著提升检测性能。
2024-08-15 cs.CV
A Novel Self-Knowledge Distillation Approach with Siamese Representation Learning for Action Recognition
National Central University（国立中央大学）；Thai Nguyen University（太原大学）
知识蒸馏是将知识从重网络（教师）有效地转移到小网络（学生），以提高学生的表现。自知识蒸馏，知识蒸馏的特殊情况下，已被提出删除大型教师网络的培训过程，同时保持学生的表现。本文介绍了一种新的自我知识蒸馏方法，通过连体表示学习，最小化来自给定样本的两个不同视图的两个表示向量之间的差异。我们提出的方法，SKD-SRL，利用软标签蒸馏和相似性的表示向量。因此，SKD-SRL可以在同一数据点的各种视图中生成更一致的预测和表示。我们的基准已经在各种标准数据集上进行了评估。实验结果表明，SKD-SRL显着提高了准确性相比，现有的监督学习和知识蒸馏方法，无论网络。
2022-09-03 cs.AI cs.CV
Siamese Networks with Location Prior for Landmark Tracking in Liver Ultrasound Sequences
ETH Zurich（苏黎世联邦理工学院）
图像引导的放射治疗可以受益于通过超声成像的精确运动跟踪，以便最小化治疗边缘并辐射移动的解剖目标，例如，因为呼吸。制定该跟踪问题的一种方式是在整个时间超声序列中自动定位给定的跟踪解剖标志。为此，我们在本文中提出了一个全卷积的Siamese网络，它可以学习包含相同地标的图像区域对之间的相似性。因此，它学习定位并跟踪任意图像特征，而不仅仅是预定义的解剖结构。我们采用时间一致性模型作为位置先验，我们将其与网络预测的位置概率图相结合，以在超声序列中迭代地跟踪目标。我们将这种方法应用于肝脏超声跟踪挑战（CLUST）的数据集，并获得了具有竞争力的结果，由于我们的时间正则化，我们的工作是第一个有效地将CNN应用于这个跟踪问题的工作。
2019-01-23 cs.CV eess.IV
Deep Similarity Metric Learning for Real-Time Pedestrian Tracking
检测跟踪是解决多目标跟踪问题的常用方法。在本文中，我们展示了学习深度相似性度量如何在多对象跟踪基准上改善行人跟踪的三个关键方面。我们训练一个卷积神经网络来学习一个大的人重新识别数据集上的连体结构中的嵌入函数。离线训练的嵌入网络被集成到跟踪公式中，以提高性能，同时保留实时的【形】性能。建议的跟踪器存储外观指标，而检测是强的，使用此外观信息：防止ID开关，通过闭塞相关联的tracklet，并提出新的检测检测器的信心是低的。该方法在评价中取得了有竞争力的结果，特别是在在线的、实时的【形】方法中。我们提出了一个消融研究，显示我们的深度外观指标的三种用途中的每一种的影响。
2019-11-11 cs.CV
Improving Siamese Based Trackers with Light or No Training through Multiple Templates and Temporal Network
University of Ottawa（渥太华大学）
本文提出一种改进Siamese基跟踪器的框架，通过扩展多模板并采用自适应阈值更新策略消除重新训练需求，同时引入轻量级时序网络CombiNet利用物体坐标预测目标位置，在多个数据集上提升了跟踪性能且适用于卷积和transformer基跟踪器。
2024-10-15 cs.CV
Deep Recurrent Convolutional Networks for Video-based Person Re-identification: An End-to-End Approach
The University of Adelaide（阿德莱德大学）
在本文中，我们提出了一个端到端的方法，同时学习时空特征和相应的相似性度量，基于视频的人重新识别。给定一个人的视频序列，从深度卷积网络的所有级别提取的每帧特征可以保持更高的空间分辨率，我们可以从中建模更精细的运动模式。这些低层次的视觉感知被利用到一个变体的递归模型来表征时间步长之间的时间变化。然后，使用时间池来总结来自所有时间步骤的特征，以产生完整序列的总体特征表示。深度卷积网络、递归层和时间池被联合训练，以从时间序列的输入对中提取可比较的隐藏单元表示，以计算它们相应的相似度值。该框架将时间序列建模和度量学习相结合，共同学习相关特征和人的时间序列之间的相似性度量。实验表明，我们的方法实现了最先进的性能，基于视频的人重新识别的iLIDS-VID和PRID 2011，两个主要的公共数据集，用于此目的。
2016-06-12 cs.CV
SiamSNN: Siamese Spiking Neural Networks for Energy-Efficient Object Tracking
Huazhong University of Science and Technology（华中科技大学）；Henan University（河南大学）
近年来，作为第三代神经网络的脉冲神经网络（SNN）表现出了显著的节能计算能力，是高能耗深度神经网络（DNN）的一种很有前途的替代方案。与DNN相比，SNN在相对简单的任务和小数据集（如图像分类和MNIST/CIFAR）中取得了有竞争力的结果，而在复杂数据集上更具挑战性的视觉任务的研究很少。在本文中，我们专注于将深度SNN扩展到对象跟踪，这是一种具有嵌入式应用和节能要求的更高级视觉任务，并提出了一种基于尖峰的Siamese网络，称为SiamSNN。具体来说，我们提出了一种优化的混合相似性估计方法，利用时间信息的SNN，并引入了一种新的双状态编码方案，以优化输出尖峰列车的时间分布，以进一步改进。SiamSNN是第一个深度SNN跟踪器，在视觉对象跟踪基准测试OTB 2013/2015、VOT 2016/2018和GOT-10 k上实现了短延迟和低精度损失。此外，SiamSNN在Neuromorphic芯片TrueNorth上实现了显著的低能耗和实时性。
2021-06-19 cs.CV cs.NE
CovidExpert: A Triplet Siamese Neural Network framework for the detection of COVID-19
Shahjalal University of Science and Technology（沙赫贾拉勒科技大学）
感染COVID-19的患者可能会出现肺炎样症状以及可能损害肺部的呼吸系统问题。根据医学图像，可以使用各种机器学习方法来准确地识别和预测冠状病毒疾病。大多数已发表的机器学习方法可能需要大量的超参数调整，并且不适合小数据集。少样本学习算法通过利用相对小的数据集中的数据，旨在减少对大数据集的需求。这启发我们开发了一个少样本学习模型，用于早期检测COVID-19，以减少这种危险疾病的后效应。所提出的架构结合了少样本学习与预训练的卷积神经网络的集合，从CT扫描图像中提取特征向量进行相似性学习。提出的三重连体网络作为少样本学习模型，将CT扫描图像分为正常、COVID-19和社区获得性肺炎。建议的模型达到了98.719%的总体准确性，99.36%的特异性，98.72%的灵敏度，和ROC评分为99.9%，只有200 CT扫描每个类别的训练数据。
2023-02-17 cs.CV cs.LG
An experimental evaluation of Siamese Neural Networks for robot localization using omnidirectional imaging in indoor environments
Institute for Engineering Research (I3E)（工程研究所（I3E））；Miguel Hernández University（米格尔·埃尔南德斯大学）；Valencian Graduate School and Research Network for Artificial Intelligence (valgrAI)（瓦伦西亚人工智能研究生院及研究网络（valgrAI））
针对室内机器人全向图像定位问题，研究采用由两个CNN构成的孪生神经网络，通过图像描述子距离计算不相似度，在COLD-Freiburg数据集多光照条件下定位性能优于现有技术，阴天夜间效果更显著。
2024-07-15 cs.AI cs.CV
Deep Learning Based Face Recognition Method using Siamese Network
Virginia State University（弗吉尼亚州立大学）；Silo AI（西罗人工智能公司）；University of Trento（特伦托大学）
本文提出一种基于孪生网络的无监督人脸识别方法，利用余弦相似度自动构建正负样本对，以VGG为编码器训练双分支网络，性能与监督基线相当。
2024-02-09 cs.AI cs.CR cs.CV
Ablation study of self-supervised learning for image classification
Aristotle University（亚里士多德大学）
该项目的重点是卷积神经网络（CNN）和Transformer网络的图像识别任务的自监督训练。一个简单的暹罗网络，具有不同的骨干，以最大限度地提高相似性的两个增强变换图像从同一个源图像。通过这种方式，骨干能够在没有监督的情况下学习视觉信息。最后，在三个图像识别数据集上对该方法进行了评估。
2021-12-04 cs.CV
Efficient and Deep Person Re-Identification using Multi-Level Similarity
ST Electronics - SUTD Cyber Security Laboratory（新科电子-新加坡科技设计大学网络安全实验室）；Singapore University of Technology and Design（新加坡科技设计大学）
人员重新识别（ReID）需要比较在不同条件下捕获的两个人的图像。基于神经网络的现有工作通常从单个卷积层计算特征图的相似性。在这项工作中，我们提出了一个高效的，端到端的完全卷积的Siamese网络，它可以在多个级别上计算相似性。我们证明，多级相似性可以大大提高精度使用低复杂度的网络结构中的ReID问题。具体来说，首先，我们使用几个卷积层来提取两个输入图像的特征。然后，我们提出卷积相似性网络来计算输入的相似性得分图。我们使用空间Transformer网络（STNs）来确定空间注意力。我们建议应用有效的深度卷积来计算相似性。所提出的卷积相似性网络可以插入到不同的卷积层中，以提取不同级别的视觉相似性。此外，我们使用改进的排名损失，以进一步提高性能。我们的工作是第一个提出在低，中，高水平的ReID计算视觉相似性。通过大量的实验和分析，我们证明了我们的系统，紧凑而有效，可以实现具有竞争力的结果与更小的模型大小和计算复杂性。
2018-04-02 cs.CV
Extending Multi-Object Tracking systems to better exploit appearance and 3D information
University of Moratuwa（莫拉图瓦大学）
实时的跟踪多个物体对于各种现实世界的应用至关重要，其中自动驾驶行业是最重要的。这项工作涉及利用随时间变化的外观和运动信息进行跟踪。Siamese网络最近在基于外观的单对象跟踪方面取得了非常成功，而递归神经网络已经开始主导基于运动和外观的跟踪。我们的工作重点是将Siamese网络和RNN结合起来，分别利用外观和运动信息来构建一个能够实时的多目标跟踪的联合系统。我们进一步探讨了基于几何学的约束跟踪在鸟瞰视图空间有效地利用3D信息作为一个约束优化问题的跟踪预测。
2019-12-25 cs.CV cs.RO
