NASiam: Efficient Representation Learning using Neural Architecture Search for Siamese Networks
IBISC Université Paris-Saclay, Univ Evry（巴黎萨克雷大学埃夫里大学IBISC实验室）；MRL Massachusetts Institute of Technology（麻省理工学院MRL实验室）
Siamese网络是实现自监督视觉表示学习（SSL）的最流行方法之一。由于手工标记成本高昂，SSL可以通过允许深度学习在大型未标记数据集上进行训练来发挥关键作用。与此同时，神经架构搜索（NAS）作为一种发现新型深度学习架构的技术正变得越来越重要。然而，早期基于强化学习或进化算法的NAS方法遭受了可笑的计算和内存成本。相比之下，基于梯度的可区分NAS具有效率更高的优势，因此在过去几年中保持了大部分关注。在这篇文章中，我们提出了NASiam，这是一种新的方法，它首次使用可微分NAS来改进基于连体网络的对比学习框架（例如，Simsiam、SimSiam和MoCo），同时保持以前基线的简单性。我们精心设计了一个为多层感知器设计的搜索空间，在其中我们探索了标准ReLU激活函数的几种替代方案。我们证明了这些新架构允许ResNet骨干卷积模型有效地学习强表示。NASiam在小规模（即，CIFAR-10/CIFAR-100）和大规模（即，ImageNet）图像分类数据集，同时仅花费几个GPU小时。我们讨论了NAS发现的体系结构的组成，并提出了关于它们为什么能够防止崩溃行为的假设。我们的代码可在www.example.com上获得。
2023-01-31 cs.AI cs.CV
Deep Template Matching for Offline Handwritten Chinese Character Recognition
就像它在许多计算机视觉任务中取得的显著成就一样，卷积神经网络（CNN）在手写汉字识别（HCCR）中提供了一个端到端的解决方案，并取得了巨大的成功。然而，在数据很少的情况下，学习用于图像识别的判别特征的过程是困难的。本文提出了一种新的学习连体神经网络的方法，该网络采用一种特殊的结构来预测手写体汉字与模板图像之间的相似度。连体神经网络的优化可以看作是一个简单的二分分类问题。当训练过程完成时，强大的判别特征帮助我们将预测能力推广到新数据，而且推广到从未出现在训练集中的全新类别。在ICDAR-2013离线HCCR数据集上进行的实验表明，该方法对从未出现在训练集中的新类具有非常有前途的泛化能力。
2018-11-15 cs.CV
Predicting population neural activity in the Algonauts challenge using end-to-end trained Siamese networks and group convolutions
Centre for Neuroscience, Indian Institute of Science（印度科学学院神经科学中心）
Algonauts挑战是关于预测来自视觉大脑区域的表征相异矩阵（RDMS）形式的对象表征。我们使用了一个定制的深度学习模型，该模型使用了暹罗网络和群卷积的概念来预测对应于一对图像的神经距离。训练数据最好用最后一层计算的距离来解释。
2020-01-13 cs.CV
Bridge the Gap between Past and Future: Siamese Model Optimization for Context-Aware Document Ranking
Ant Group（蚂蚁集团）
针对仅用历史会话数据难以捕捉动态用户意图的问题，提出含历史条件与未来感知模型的孪生优化框架，结合带动态门控的对等知识蒸馏，使推理时仅用历史数据的ForeRanker排序性能优于现有方法。
2025-05-20 cs.CV cs.IR
Siamese Keypoint Prediction Network for Visual Object Tracking
Kuaishou Technology（快手科技）
视觉目标跟踪的目的是在给定初始限界框的情况下估计视频序列中任意目标的位置。通过利用离线特征学习，暹罗范式最近已经成为高性能跟踪的领先框架。然而，现有的暹罗跟踪器要么严重依赖于复杂的基于锚的检测网络，要么缺乏抵抗干扰的能力。在本文中，我们提出了Siamese关键点预测网络（SiamKPN）来解决这些挑战。基于Siamese骨干进行特征嵌入，SiamKPN受益于级联热图策略，用于粗到细的预测建模。特别地，该策略通过沿着级联顺序地缩小标签热图的覆盖范围以应用从宽松到严格的中间监督来实现。在推理过程中，我们发现连续阶段的预测热图逐渐集中到目标，并减少到干扰项。SiamKPN在四个基准数据集（包括OTB-100，VOT 2018，LaSOT和GOT-10 k）上的视觉对象跟踪方面表现良好，同时以实时速度运行。
2020-06-07 cs.CV
F2Net: Learning to Focus on the Foreground for Unsupervised Video Object Segmentation
ByteDance AI Lab（字节跳动人工智能实验室）；Huazhong University of Science and Technology（华中科技大学）
尽管基于深度学习的方法在无监督视频对象分割方面取得了很大进展，但困难的场景（例如，视觉相似性、遮挡和外观改变）仍然没有得到很好的处理。为了缓解这些问题，我们提出了一种新的聚焦前景网络（F2 Net），它深入研究了前景对象的帧内-帧间细节，从而有效地提高了分割性能。具体来说，我们提出的网络由三个主要部分组成：暹罗编码器模块，中心引导外观扩散模块，和动态信息融合模块。首先，我们采用一个连体编码器来提取成对帧（参考帧和当前帧）的特征表示。然后，设计了一个中心引导外观扩散模块，用于捕获当前帧的帧间特征（参考帧与当前帧的密集对应关系）、帧内特征（当前帧的密集对应关系）和原始语义特征。具体地说，我们建立了一个中心预测分支来预测当前帧中前景对象的中心位置，并利用中心点信息作为空间指导，增强帧间和帧内特征提取，从而使特征表示更加集中于前景对象。最后，我们提出了一个动态信息融合模块，通过上述三个不同层次的功能自动选择相对重要的功能。在DAVIS 2016、Youtube-object和FBMS数据集上进行的大量实验表明，我们提出的F2 Net实现了最先进的性能，并有了显著的改进。
2020-12-04 cs.CV
Urban Change Detection Using a Dual-Task Siamese Network and Semi-Supervised Learning
KTH Royal Institute of Technology（KTH皇家理工学院）
在这项研究中，一个半监督学习（SSL）的方法，以提高城市变化检测从双时相图像对。该方法采用了双任务连体差分网络，不仅预测变化的差异解码器，但也分割建筑物的两个图像与语义解码器。首先，修改架构以产生从语义预测导出的第二变化预测。第二，采用SSL来改进监督变化检测。对于未标记的数据，我们引入了一个损失，鼓励网络在两个变化输出中预测一致的变化。使用SpaceNet7数据集对所提出的方法进行了城市变化检测测试。与三个完全监督的基准测试相比，SSL取得了更好的结果。
2022-07-03 cs.CV
MTCSNN: Multi-task Clinical Siamese Neural Network for Diabetic Retinopathy Severity Prediction
糖尿病性视网膜病变（diabetic Retinopathy，DR）已成为导致工作年龄人群视力损害的主要原因之一，并且是全球范围内的严重问题。然而，大多数的作品忽略了标签的顺序信息。在这个项目中，我们提出了一个新的设计MTCSNN，一个多任务临床连体神经网络糖尿病视网膜病变的严重程度预测任务。该项目的新颖之处在于利用标签之间的顺序信息，并添加了一个新的回归任务，这可以帮助模型学习更多的区分特征嵌入，以实现细粒度分类任务。我们在RetinaMNIST上进行了全面的实验，将MTCSNN与ResNet-18，34，50等其他模型进行了比较。我们的研究结果表明，MTCSNN在测试数据集上的AUC和准确性方面优于基准模型。
2022-10-27 cs.CV
SE2Net: Siamese Edge-Enhancement Network for Salient Object Detection
Carnegie Mellon University（卡内基梅隆大学）
深度卷积神经网络显著提升了显著目标检测在处理场景和对象外观大变化方面的能力。然而，卷积操作寻求对单个像素产生强烈的响应，而缺乏维护对象空间结构的能力。此外，下采样操作，例如池化和跨步，丢失了显著对象的空间细节。在本文中，我们提出了一个简单而有效的连体边缘增强网络（SE2Net），以保持显着的目标检测的边缘结构。具体地说，一种新的多级连体网络被构建来聚合低级别和高级别的特征，并重新估计边缘和区域的显著性地图。因此，通过增强边缘处的响应，预测区域变得更准确，并且通过抑制背景中的假阳性，预测边缘变得更语义化。在SE2Net生成边缘和区域的精细显着图之后，设计了一种边缘引导推理算法，以进一步改进沿着预测边缘的显着掩模。在几个基准数据集上进行了大量的实验，结果表明，该方法优于现有的方法。
2019-08-16 cs.CV
Multi-Object Tracking with Siamese Track-RCNN
Amazon Web Service (AWS) Rekognition（亚马逊云科技（AWS）Rekognition）
多目标跟踪系统通常由检测器、短期链接器、重新识别特征提取器和求解器的组合组成，该求解器从这些单独的组件获取输出并进行最终预测。因此，这项工作的目的是将所有这些统一在一个单一的跟踪系统。为此，我们提出了Siamese Track-RCNN，这是一个两阶段的检测和跟踪框架，由三个功能分支组成：（1）检测分支定位对象实例;（2）基于Siamese的跟踪分支估计对象运动;（3）对象重新识别分支在重新出现时重新激活先前终止的跟踪。我们在MOTChallenge的两个流行数据集上测试我们的跟踪系统。Siamese Track-RCNN实现了比最先进的更高的结果，同时由于其统一的设计，也更高效。
2020-04-16 cs.CV
Using Deep Neural Networks to Quantify Parking Dwell Time
Universidade Federal do Paraná（巴拉那联邦大学）；DeepNeuronic
针对智慧城市中从图像自动计算停车停留时间的挑战，提出结合深度分类网络与孪生网络的两步法，跨数据集实验显示理想分类器下完美预测率达75%，真实分类器下为49%，验证了方法潜力及前端分类器的影响。
2024-10-31 cs.CV cs.LG
Interactive Instance Annotation with Siamese Networks
本文提出SiamAnno框架，利用孪生网络和单样本学习，以边界框为输入预测物体边界，实现跨域交互式实例标注，并在多个数据集上无需微调即取得SOTA性能。
2025-05-06 cs.CV
Similarity-based Text Recognition by Deeply Supervised Siamese Network
University of Louisville（路易斯维尔大学）；Captricity, Inc.（Captricity公司）
在本文中，我们提出了一个新的文本识别模型的基础上测量文本的视觉相似性和预测的内容未标记的文本。首先，在标记的训练数据集上对Siamese卷积网络进行深度监督训练。该网络将文本投影到相似性流形中。深度监督的暹罗网络学习文本的视觉相似性。然后利用K-近邻分类器对未标注文本进行基于与标注文本相似距离的预测。该模型的性能进行了评估的机器打印和手写文本相结合的三个数据集。我们证明，该模型降低了成本的人力估计$50\%-85\%$。系统误差小于$0.5\%$。该模型通过寻找视觉上相似的几乎可读和可读的文本，例如机器打印的，手写的，由于深度监督，优于传统的暹罗网络。结果还表明，预测的标签有时比人类标签更好，例如拼写校正。
2016-07-05 cs.CV cs.LG
StereoNet: Guided Hierarchical Refinement for Real-Time Edge-Aware Depth Prediction
Google Inc.（谷歌公司）
本文介绍StereoNet，这是第一个用于实时的【形】立体匹配的端到端深度架构，在NVidia Titan X上以60 fps运行，生成高质量，边缘保留，无量化视差图。本文的一个关键见解是，该网络实现了亚像素匹配精度比是一个数量级高于传统的立体匹配方法。这使我们能够通过使用非常低的分辨率成本来实现实时的【形】性能，该分辨率成本对实现高视差精度所需的所有信息进行编码。空间精度是通过采用学习的边缘感知上采样函数来实现的。我们的模型使用Siamese网络从左右图像中提取特征。视差的第一估计是在非常低的分辨率成本体积中计算的，然后模型通过使用紧凑的像素到像素细化网络的学习的上采样函数分层地重新引入高频细节。利用颜色输入作为指导，该功能能够产生高质量的边缘感知输出。我们在多个基准测试中取得了令人信服的结果，展示了所提出的方法如何在可接受的计算预算下提供极大的灵活性。
2018-07-24 cs.CV
OSP2B: One-Stage Point-to-Box Network for 3D Siamese Tracking
Hangzhou Dianzi University（杭州电子科技大学）；The University of Sydney（悉尼大学）
提出单阶段点到框网络OSP2B，同步生成3D提议与中心度分数，采用中心感知焦点损失和二元分类器缓解任务错位，在KITTI和Waymo数据集上实现领先性能与实时速度。
2023-05-09 cs.CV
SiENet: Siamese Expansion Network for Image Extrapolation
Nanjing University of Posts and Telecommunications（南京邮电大学）
与图像修补不同的是，图像外绘在图像中心需要捕获的内容相对较少，而在图像边缘需要预测的内容相对较多。因此，现有方法的经典编码器-解码器流水线可能无法完美地预测扩展的未知内容。本文提出了一种新的两阶段连体对抗图像外推模型，命名为连体扩展网络（SiENet）。在两个阶段中，设计了一种新的边界敏感卷积自适应填充卷积，使编码器能够预测未知内容，减轻解码器的负担。此外，为了将先验知识引入网络，增强编码器的推理能力，设计了siamese对抗机制，使我们的网络能够对未覆盖图像特征的分布进行建模。四个数据集上的结果表明，我们的方法优于现有的最先进的，可以产生现实的结果。
2020-07-08 cs.CV cs.LG eess.IV
Depth Estimation Based on 3D Gaussian Splatting Siamese Defocus
University of Georgia（佐治亚大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对散焦深度估计依赖难以获取的全对焦图像问题，提出基于3D高斯溅射和孪生网络的自监督框架，从单张散焦图像预测散焦图和CoC并用于深度估计，在合成与真实数据集上验证了有效性。
2025-04-12 cs.CV
Object Preserving Siamese Network for Single Object Tracking on Point Clouds
East China University of Science and Technology（华东理工大学）
显然，目标是三维单目标跟踪（SOT）任务的关键因素。然而，以前的基于Siamese的跟踪器忽略了骨干采样过程中随机丢弃的对象点带来的负面影响，这阻碍了跟踪器预测准确的边界框（BBoxes）。探索一种方法，寻求最大限度地保存对象点及其对象感知功能是特别重要的。受此启发，我们提出了一个对象保持暹罗网络（OPSNet），它可以显着保持对象的完整性和提高跟踪性能。首先，对象高亮模块增强对象感知特征，并从模板和搜索区域中提取区分特征。然后，对象保留采样选择对象候选者以获得对象保留搜索区域种子，并丢弃对跟踪贡献较小的背景点。最后，对象定位网络基于对象保留的搜索区域种子精确定位3D BBox。大量的实验表明，我们的方法优于最先进的性能（在KITTI和Waymo Open Dataset上分别获得了9.4%和2.5%的成功率）。
2023-01-28 cs.CV
Embedding Structured Contour and Location Prior in Siamesed Fully Convolutional Networks for Road Detection
Northwestern Polytechnical University（西北工业大学）
从运动车辆的角度进行道路检测是自动驾驶中的一个具有挑战性的问题。最近，许多深度学习方法涌现出来，因为它们可以提取高级局部特征，从原始RGB数据中找到道路区域，例如卷积神经网络（CNN）和全卷积网络（FCN）。然而，如何准确地检测出道路的边界仍然是一个棘手的问题。在本文中，我们提出了一个siamesed全卷积网络（命名为“s-FCN-loc”），它能够同时考虑RGB通道图像，语义轮廓和位置先验，以精细地分割道路区域。具体来说，s-FCN-loc有两个流分别处理原始RGB图像和等高线图。同时，位置先验直接附加到连体FCN中，以提高最终的检测性能。我们的贡献有三个方面：（1）提出了一种s-FCN-loc算法，该算法学习了比原FCN算法更多的道路边界判别特征，从而能够更准确地检测出道路区域;（2）将位置先验作为一种特征映射，直接附加到s-FCN-loc算法的最终特征映射中，从而有效地提高了道路区域的检测性能（3）由于高度结构化轮廓的指导，训练后的s-FCN-loc模型的收敛速度比原始FCN模型快30%.在KITTI道路检测基准和一类道路检测数据集上对所提出的方法进行了评估，并取得了具有竞争力的结果。
2019-05-05 cs.CV
Modeling Time Series Similarity with Siamese Recurrent Networks
Delft University of Technology（代尔夫特理工大学）；Facebook AI Research（脸书人工智能研究院）
测量时间序列之间相似性的传统技术是基于手工制作的相似性度量，而最近基于学习的方法无法利用外部监督。我们结合了时间序列建模和度量学习的思想，并研究了siamese递归网络（SRN），该网络最大限度地减少了分类损失，以学习时间序列之间的良好相似性度量。具体来说，我们的方法学习每个时间序列的向量表示，以这样一种方式，类似的时间序列由类似的表示建模，不同的时间序列由不同的表示建模。因为它是一个相似性预测模型，所以SRN特别适合于具有挑战性的场景，例如签名识别，其中每个人都是一个单独的类，每个类的例子很少。我们展示了潜在的优点，SRN在域内和域外的分类实验，并在一次性学习实验的任务，如签名，语音和手语识别。
2016-03-15 cs.CV
Learn Stereo, Infer Mono: Siamese Networks for Self-Supervised, Monocular, Depth Estimation
Tel Aviv University（特拉维夫大学）；The Open University of Israel（以色列开放大学）
近年来，自监督单目深度估计领域取得了巨大的进步。大多数方法假设立体声数据在训练期间可用，但通常未充分利用它，仅将其视为参考信号。我们提出了一种新的自监督方法，它在训练过程中平等地使用左图像和右图像，但在测试时仍然可以使用单个输入图像，用于单目深度估计。我们的Siamese网络架构由两个孪生网络组成，每个网络都学习从单个图像预测视差图。然而，在测试时，仅使用这些网络中的一个来推断深度。我们在标准KITTI本征分裂基准测试中展示了最先进的结果，同时也是新KITTI单视图基准测试中得分最高的自监督方法。为了证明我们的方法推广到新数据集的能力，我们进一步提供了Make3D基准测试的结果，该测试在训练期间没有使用。
2019-05-01 cs.CV
Relative Geometry-Aware Siamese Neural Network for 6DOF Camera Relocalization
六自由度摄像机重定位是自主驾驶和导航的重要组成部分。深度学习最近已经成为解决这个问题的一种有前途的技术。在本文中，我们提出了一种新的相对几何感知的连体神经网络，通过显式地利用图像之间的相对几何约束来增强基于深度学习的方法的性能。我们执行多任务学习，并同时预测绝对和相对姿势。我们在姿态和特征域中正则化共享权重的孪生网络，以确保估计的姿态是全局和局部正确的。我们采用度量学习和设计一种新的自适应度量距离损失学习的功能，能够区分来自不同位置的视觉相似的图像构成。我们评估了所提出的方法在公共室内和室外基准和实验结果表明，我们的方法可以显着提高定位性能。此外，进行了广泛的消融评价，以证明损失函数的不同项的有效性。
2019-01-21 cs.CV
Semi-Supervised Learning using Siamese Networks
University of Waikato（怀卡托大学）
神经网络已经成功地用作分类模型，当在大量标记样本上训练时，产生最先进的结果。然而，这些模型更难以成功地训练半监督问题，其中少量的标记实例与大量的未标记实例一起可用。本文提出了一种新的基于相似函数学习的半监督学习训练方法，该方法利用Siamese网络获得合适的嵌入。学习的表示在欧几里得空间中是有区别的，因此可以用于使用最近邻分类器标记未标记的实例。未标记实例的置信预测被用作真实标签，用于在扩展训练集上重新训练暹罗网络。这个过程是反复应用的。我们对这种迭代自训练算法进行了实证研究。为了改进未标记的预测，还评估了具有全局一致性的局部学习[22]。
2021-09-09 cs.CV cs.LG
SiamCorners: Siamese Corner Networks for Visual Tracking
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）
目前基于区域建议网络（RPN）的连体网络由于其良好的跟踪精度和高效性，在视觉跟踪中受到了广泛的关注。然而，RPN的设计涉及锚箱的数量、比例和长宽比的选择，这将影响模型的适用性和便利性。此外，这些锚框需要复杂的计算，例如使用地面真值边界框计算它们的交集。由于锚框相关的问题，我们提出了一个简单而有效的无锚跟踪器（命名为Siamese corner networks，SiamCorners），它是在大规模图像对上进行端到端离线训练的。具体来说，我们引入了一个修改的角池层，将目标的限界框估计转换为一对角预测（右下角和左上角）。通过将目标作为一对角来跟踪，我们避免了设计锚盒的需要。这将使整个跟踪算法比基于锚点的跟踪器更灵活和简单。在我们的网络设计中，我们进一步引入了逐层特征聚合策略，使角池模块能够预测深度网络中跟踪目标的多个角。然后，我们引入了一个新的惩罚项，用于在这些候选角点中选择最佳跟踪框。最后，SiamCorners实现了与最先进的跟踪器相媲美的实验结果，同时保持了高运行速度。特别是，SiamCorners在NFS30上实现了53.7%的AUC，在UAV 123上实现了61.4%的AUC，同时仍然以42帧每秒（FPS）运行。
2021-04-15 cs.CV
Hierarchical Spatial-aware Siamese Network for Thermal Infrared Object Tracking
Harbin Institute of Technology Shenzhen Graduate School（哈尔滨工业大学深圳研究生院）；Harbin Institute of Technology（哈尔滨工业大学）
大多数热红外（TIR）跟踪方法是判别式的，将跟踪问题视为分类任务。然而，分类器的目标（标签预测）不耦合到跟踪器的目标（位置估计）。分类任务主要关注任意目标的类间差异，而跟踪任务主要关注同一目标的类内差异。在本文中，我们投TIR跟踪问题作为一个相似性验证任务，这是耦合良好的跟踪任务的目标。我们提出了一个TIR跟踪器通过分层空间感知的连体卷积神经网络（CNN），命名为HSSNet。为了获得TIR对象的空间和语义特征，我们设计了一个Siamese CNN，它合并了多个分层卷积层。然后，我们提出了一个空间感知的网络，以提高联合层次特征的区分能力。随后，我们训练这个网络端到端的大型可见视频检测数据集学习配对对象之间的相似性，然后我们将网络转移到TIR域。接下来，这个预先训练的Siamese网络用于评估目标模板和目标候选者之间的相似性。最后，我们定位的候选人是最相似的跟踪目标。在基准测试VOT-TIR 2015和VOT-TIR 2016上的大量实验结果表明，与最先进的方法相比，我们提出的方法具有良好的性能。
2018-11-27 cs.CV
Re-Identification with Consistent Attentive Siamese Networks
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Siemens Corporate Technology（西门子企业技术公司）
我们提出了一个新的深度架构的人重新识别（re-id）。虽然re-id最近取得了很大进展，但用于鲁棒跨视图匹配的空间定位和视图不变表示学习仍然是关键的未解决的问题。我们通过一种新的注意力驱动的连体学习架构来解决这些问题，这种架构被称为一致的注意连体网络。与现有的竞争方法相比，我们的关键创新包括：（a）一个灵活的框架设计，仅用身份标签作为监督来产生注意力，（b）明确的机制来加强同一个人的图像之间的注意力一致性，以及（c）一个新的连体框架，它整合了注意力和注意力一致性，产生有原则的监督信号，以及第一个机制，可以解释暹罗框架的预测背后的推理。我们对CUHK 03-NP、DukeMTMC-ReID和Market-1501数据集进行了广泛的评估，并报告了竞争性能。
2019-04-11 cs.CV cs.LG
Interpretable Weighted Siamese Network to Predict the Time to Onset of Alzheimer's Disease from MRI Images
University College Dublin（都柏林大学）；St Vincent’s University Hospital（圣文森特大学医院）
本文将阿尔茨海默病的大脑图像分类任务重构为序数分类任务，提出加权孪生网络模型，基于ADNI数据集的MRI图像预测进展型MCI患者发病时间，并通过模型可解释性技术分析嵌入空间，显著提升了预测性能。
2023-09-14 cs.CV cs.LG eess.IV
FGSGT: Saliency-Guided Siamese Network Tracker Based on Key Fine-Grained Feature Information for Thermal Infrared Target Tracking
College of Computer and Information Technology, China Three Gorges University（三峡大学计算机与信息学院）；Hubei Province Engineering Technology Research Center for Construction Quality Testing Equipment, China Three Gorges University（三峡大学湖北省建筑质量检测装备工程技术研究中心）；Nantong Institute of Technology（南通理工学院）；Wuhan College（武汉学院）
提出一种基于细粒度特征的显著性引导孪生网络跟踪器，通过并行学习、多层融合和残差细化提升热红外目标跟踪精度，在多个基准上取得最优结果。
2025-04-19 cs.CV
Sigma: Siamese Mamba Network for Multi-Modal Semantic Segmentation
Robotics Institute, Carnegie Mellon University（机器人研究所，卡内基梅隆大学）
本文提出Sigma，一种基于Siamese Mamba网络的多模态语义分割方法，以线性复杂度实现全局感受野，并在RGB-热和RGB-深度任务上验证了优越性。
2025-09-10 cs.CV
AFAT: Adaptive Failure-Aware Tracker for Robust Visual Object Tracking
University of Surrey（萨里大学）；Jiangnan University（江南大学）
近年来，Siamese方法在视觉目标跟踪中取得了很好的效果。Siamese跟踪器成功的关键是通过在大规模视频数据集上进行成对离线训练来学习外观不变的特征嵌入函数。然而，暹罗范式使用一次性学习来模拟在线跟踪任务，这阻碍了跟踪过程中的在线适应。此外，在线跟踪响应的不确定性没有被测量，导致忽略潜在故障的问题。在本文中，我们主张在跟踪阶段的在线适应。为此，我们提出了一个故障感知系统，该系统由质量预测网络（QPN）实现，基于决策阶段的卷积和LSTM模块，能够在线报告潜在的跟踪故障。具体地说，从先前的连续帧以及当前帧的序列响应图收集预测跟踪的信心，实现时空融合的决策层。此外，我们还提供了一个自适应故障感知跟踪器（AFAT），通过结合国家的最先进的暹罗跟踪器与我们的系统。在标准基准测试数据集上获得的实验结果证明了所提出的故障感知系统的有效性和我们的AFAT跟踪器的优点，在准确性和速度方面具有出色和平衡的性能。
2020-05-27 cs.CV
Exploiting Point-Wise Attention in 6D Object Pose Estimation Based on Bidirectional Prediction
Chongqing University of Technology（重庆理工大学）；Zhejiang University（浙江大学）
本文提出一种结合逐点注意力机制与伪孪生网络的双向对应预测网络，通过显式建模观测与CAD模型间的几何相似性，有效解决了6D物体姿态估计中的遮挡问题，在多个公开数据集上优于现有方法。
2023-09-14 cs.AI cs.CV
MAST: Video Polyp Segmentation with a Mixture-Attention Siamese Transformer
Northwestern Polytechnical University（西北工业大学）；Australian National University（澳大利亚国立大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Harbin Institute of Technology（哈尔滨工业大学）
针对结肠镜视频中长程时空关系建模难题，提出MAST孪生Transformer，通过混合注意力融合帧内与帧间信息，在SUN-SEG上取得优于前沿方法的视频息肉分割性能。
2024-01-23 cs.CV
Dense Siamese Network for Dense Unsupervised Learning
Nanyang Technological University（南洋理工大学）；Shanghai AI Laboratory（上海人工智能实验室）；SenseTime Research（商汤科技研究院）
本文介绍了密集暹罗网络（DenseSiam），一个简单的无监督学习框架密集预测任务。它通过最大化具有两种类型的一致性的一个图像的两个视图之间的相似性来学习视觉表示，即，像素一致性和区域一致性。具体而言，DenseSiam首先根据重叠区域中的确切位置对应关系最大化像素级空间一致性。在重叠区域中提取一批子区域对应的区域嵌入，进行区域一致性对比。与之前需要负像素对、动量编码器或启发式掩码的方法相比，DenseSiam受益于简单的暹罗网络，并优化了不同粒度的一致性。它还证明了简单的位置对应和相互作用的区域嵌入是足够有效的学习相似性。我们在ImageNet上应用了DenseSiam，并在各种下游任务上获得了有竞争力的改进。我们还表明，只有一些额外的特定于任务的损失，简单的框架可以直接进行密集的预测任务。在现有的无监督语义分割基准上，它以28%的训练成本超过了最先进的分割方法2.1 mIoU。代码和模型在https://github.com/ZwwWayne/DenseSiam上发布。
2022-08-10 cs.AI cs.CV
A Mamba-based Siamese Network for Remote Sensing Change Detection
Johns Hopkins University（约翰斯·霍普金斯大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
针对遥感图像变化检测任务，提出基于Mamba的变化检测器M-CD，凭借线性训练效率与更优感受野，在四个常用数据集上性能超越现有SOTA方法。
2024-07-08 cs.CV
Real-Time Siamese Multiple Object Tracker with Enhanced Proposals
Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS)（智能技术卓越研究中心（CiTIUS））；Universidade de Santiago de Compostela（圣地亚哥德孔波斯特拉大学）
在实时的【形】视频中保持多个对象的身份是一项具有挑战性的任务，因为在每一帧上运行检测器并不总是可行的。因此，经常采用运动估计系统，其要么不能很好地随目标的数量缩放，要么产生具有有限语义信息的特征。为了解决上述问题，并允许实时的【形】跟踪几十个任意对象，我们提出了SiamMOTION。SiamMOTION包括一个新颖的建议引擎，通过注意力机制和一个由惯性模块提供并由特征金字塔网络提供动力的感兴趣区域提取器产生高质量的特征。最后，提取的张量进入一个比较头，有效地匹配样本和搜索区域对，通过成对的dependency区域建议网络和多对象惩罚模块生成质量预测。SiamMOTION已在五个公共基准测试中得到验证，与当前最先进的跟踪器相比具有领先的性能。代码可在：https://github.com/lorenzovaquero/SiamMOTION
2022-11-08 cs.CV
Generative Target Update for Adaptive Siamese Tracking
Laboratoire d’imagerie, de vision et d’intelligence artificielle (LIVIA), Ecole de technologie superieure（高等技术学院 成像、视觉与人工智能实验室（LIVIA））；Vellore Institute of Technology（韦洛尔理工学院）；Genetec Inc.（Genetec公司）
暹罗跟踪器执行与模板的相似性匹配（即，目标模型）以递归地定位搜索区域内的对象。在文献中已经提出了几种策略来基于跟踪器输出（通常从当前帧中的目标搜索区域中提取）更新模板，从而减轻目标漂移的影响。然而，这可能导致模板损坏，从而限制了模板更新策略的潜在益处。本文提出了一种模型自适应方法，暹罗跟踪器，使用生成模型产生一个合成模板的对象搜索区域的几个先前的帧，而不是直接使用跟踪器输出。由于搜索区域包含目标，因此来自搜索区域的注意力用于鲁棒模型自适应。特别是，我们的方法依赖于通过对抗学习训练的自动编码器，以检测目标对象外观的变化并预测未来的目标模板，使用一组从先前帧的跟踪器输出中定位的目标模板。为了防止在更新过程中模板损坏，建议的跟踪器还使用生成模型进行变化检测，以暂停更新，直到跟踪器稳定，鲁棒匹配可以通过动态模板融合恢复。在VOT-16、VOT-17、OTB-50和OTB-100数据集上进行的大量实验突出了我们方法的有效性及其关键组件的影响。结果表明，我们提出的方法可以优于最先进的跟踪器，其整体鲁棒性允许跟踪更长的时间之前失败。
2022-02-21 cs.CV
Automatic detection and prediction of nAMD activity change in retinal OCT using Siamese networks and Wasserstein Distance for ordinality
Medical University of Vienna（维也纳医科大学）；Christian Doppler Laboratory for Artificial Intelligence in Retina（克里斯蒂安·多普勒视网膜人工智能实验室）
本文提出基于视觉Transformer的孪生网络和Wasserstein距离损失，用于检测和预测视网膜OCT中nAMD活动性变化，在MICCAI 2024 MARIO挑战赛中表现优异。
2025-01-24 cs.CV cs.LG eess.IV
Siamese Meets Diffusion Network: SMDNet for Enhanced Change Detection in High-Resolution RS Imagery
Jeonju University（全州大学）；Zhengzhou Normal University（郑州师范学院）
针对高分辨率遥感影像变化检测中边界细节不足和环境鲁棒性差的问题，本文提出SMDNet，通过Siam-U2Net特征差分编码器与去噪扩散模型结合，在多个数据集上取得先进F1分数。
2024-01-17 cs.CV
Efficient Cell Painting Image Representation Learning via Cross-Well Aligned Masked Siamese Network
SGSC；PanThera；KAIST（韩国国立科学技术院）；Kyung Hee University（庆熙大学）；RadiSen Co. Ltd.（RadiSen公司）
提出跨孔对齐掩码孪生网络（CWA-MSN），通过对齐不同孔中相同扰动细胞的嵌入来学习批次鲁棒的细胞图像表示，在基因关系检索基准上以更少数据和参数超越现有方法。
2025-09-24 cs.CV
M$^3$CS: Multi-Target Masked Point Modeling with Learnable Codebook and Siamese Decoders
Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）
本文提出 M$^3$CS，通过孪生解码器同时重建掩码表示与原始点，并利用在线可学习码本离散化 token，在不增加参数的情况下增强点云自监督预训练的几何与语义建模能力。
2023-09-23 cs.CV
Whole Slide Images based Cancer Survival Prediction using Attention Guided Deep Multiple Instance Learning Networks
University of Texas at Arlington（得克萨斯大学阿灵顿分校）；University of New South Wales（新南威尔士大学）；UNSW Sydney（新南威尔士大学悉尼分校）
传统的基于图像的生存预测模型依赖于判别式补丁标记，这使得这些方法无法扩展到大型数据集。最近的研究表明，多实例学习（MIL）框架是有用的组织病理学图像时，没有注释的分类任务。与当前基于图像的生存模型仅限于从全切片图像（WSI）中导出的关键块或聚类不同，我们提出了深度注意力多实例生存学习（DeepAttnMISL），通过引入siamese MI-FCN和基于注意力的MIL池来有效地从WSI中学习成像特征，然后将WSI级别的信息聚合到患者级别。基于注意力的聚集比聚集技术在最近的生存模型更灵活和适应性。我们在两个大型癌症全切片图像数据集上评估了我们的方法，我们的结果表明，所提出的方法更有效，适用于大型数据集，并且在定位有助于准确预测癌症生存率的重要模式和特征方面具有更好的可解释性。所提出的框架也可用于评估个体患者的风险，从而有助于提供个性化的医疗。代码可在https://github.com/uta-smile/DeepAttnMISL_MEDIA上获得。
2020-09-23 cs.CV eess.IV
Feature-interactive Siamese graph encoder-based image analysis to predict STAS from histopathology images in lung cancer
Hunan University（湖南大学）；The Second Xiangya Hospital, Central South University（中南大学湘雅二医院）；Central South University（中南大学）；Hunan Clinical Medical Research Center for Cancer Pathogenic Genes Testing and Diagnosis（湖南省肿瘤致病基因检测与诊断临床医学研究中心）；Shanghai Cancer Institute（上海市肿瘤研究所）；Renji Hospital, School of Medicine, Shanghai Jiaotong University（上海交通大学医学院附属仁济医院）；Shanghai Jiaotong University（上海交通大学）
本文提出VERN模型，利用特征交互式孪生图编码器从肺癌组织病理图像中预测STAS，在内部及外部数据集上取得临床级性能，并开放平台以提升诊断效率。
2024-11-22 cs.AI cs.CV eess.IV
Accurate online action and gesture recognition system using detectors and Deep SPD Siamese Networks
本文提出一种基于SPD矩阵表示和孪生网络的骨架序列流在线识别系统，通过检测器预测运动区间并由分类器识别动作，在多个基准上取得领先性能。
2025-11-07 cs.AI cs.CV cs.HC
Predicting Brain Degeneration with a Multimodal Siamese Neural Network
LaRochelle University（拉罗谢尔大学）；Bordeaux University（波尔多大学）；Poitiers University（普瓦捷大学）
为了研究神经退行性疾病，对志愿者患者进行了纵向研究。在几个月到几年的时间里，他们定期进行医疗访问，从不同的方式获取数据，如生物样本，认知测试，结构和功能成像。这些变量是异质的，但它们都取决于患者的健康状况，这意味着所有模态之间可能存在未知的关系。一些信息可能是特定于某些模式的，其他信息可能是补充性的，而其他信息可能是多余的。有些数据也可能丢失。在这项工作中，我们提出了一个多模态学习的神经网络架构，能够使用两个时间点的成像和临床数据来预测神经退行性疾病的演变，并对缺失值具有鲁棒性。我们的多模态网络在57个受试者的测试集上实现了92.5%的准确率和0.978的AUC得分。我们还显示了多模态架构的优越性，与仅使用临床模态的模型相比，测试集受试者的临床测量中缺失值高达37.5%。
2020-11-02 cs.CV cs.LG eess.IV
Exploring the Equivalence of Siamese Self-Supervised Learning via A Unified Gradient Framework
Tsinghua University（清华大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；SenseTime Research（商汤科技研究院）；Zhejiang University（浙江大学）
自监督学习已经显示出其巨大的潜力，提取强大的视觉表示没有人的注释。提出了各种工作来从不同的角度处理自监督学习：（1）对比学习方法（例如，MoCo，Simplified）利用正样本和负样本来指导训练方向;（2）非对称网络方法（例如，BYOL，SimSiam）通过引入预测器网络和停止梯度操作来去除负样本;（3）特征去相关方法（例如，Barlow Twins，VICReg）的目标是减少特征尺寸之间的冗余。这些方法在设计的损失函数中表现出很大的不同。最终的准确度数字也各不相同，不同的网络和技巧在不同的作品中使用。在这项工作中，我们证明了这些方法可以统一成相同的形式。本文不对它们的损失函数进行比较，而是通过梯度分析得到了统一的公式。此外，我们进行公平和详细的实验，以比较他们的表现。结果表明，这些方法之间的差距不大，动量编码器的使用是提高性能的关键因素。从这个统一的框架，我们提出了UniGrad，一个简单而有效的梯度形式的自监督学习。它不需要存储体或预测器网络，但仍然可以实现最先进的性能，并很容易采用其他训练策略。在线性评价和许多下游任务上的大量实验也表明了它的有效性。代码发布于https://github.com/fundamentalvision/UniGrad。
2022-07-05 cs.CV
Siamese Networks with Location Prior for Landmark Tracking in Liver Ultrasound Sequences
ETH Zurich（苏黎世联邦理工学院）
图像引导的放射治疗可以受益于通过超声成像的精确运动跟踪，以便最小化治疗边缘并辐射移动的解剖目标，例如，因为呼吸。制定该跟踪问题的一种方式是在整个时间超声序列中自动定位给定的跟踪解剖标志。为此，我们在本文中提出了一个全卷积的Siamese网络，它可以学习包含相同地标的图像区域对之间的相似性。因此，它学习定位并跟踪任意图像特征，而不仅仅是预定义的解剖结构。我们采用时间一致性模型作为位置先验，我们将其与网络预测的位置概率图相结合，以在超声序列中迭代地跟踪目标。我们将这种方法应用于肝脏超声跟踪挑战（CLUST）的数据集，并获得了具有竞争力的结果，由于我们的时间正则化，我们的工作是第一个有效地将CNN应用于这个跟踪问题的工作。
2019-01-23 cs.CV eess.IV
Siamese Masked Autoencoders
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
建立图像或场景之间的对应关系是计算机视觉中的一个重大挑战，特别是在给定遮挡、视点变化和变化的对象外观的情况下。在本文中，我们提出了Siamese掩码自编码器（SiamMAE），这是掩码自编码器（MAE）的一个简单扩展，用于从视频中学习视觉对应关系。SiamMAE对随机采样的视频帧对进行操作，并对它们进行非对称掩码。这些帧由编码器网络独立处理，由一系列交叉注意层组成的解码器负责预测未来帧中丢失的补丁。通过屏蔽未来帧中的大部分（$95\%$）补丁，同时保持过去帧不变，SiamMAE鼓励网络专注于对象运动并学习以对象为中心的表示。尽管其概念简单，但通过SiamMAE学习的功能在视频对象分割，姿势关键点传播和语义部分传播任务上优于最先进的自监督方法。SiamMAE在不依赖于数据增强、手工制作的基于跟踪的借口任务或其他技术来防止代表性崩溃的情况下实现了有竞争力的结果。
2023-05-23 cs.CV cs.LG
Localizing and Orienting Street Views Using Overhead Imagery
Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们的目标是确定地面查询图像的位置和方向匹配的参考数据库的开销（如卫星）图像。在这项任务中，我们收集了一个新的数据集，其中包含从美国11个城市采样的100万对街景和头顶图像。我们探索了几种用于跨域匹配的深度CNN架构-分类，混合，暹罗和三重网络。分类和混合架构是准确的，但速度很慢，因为它们只允许部分特征预计算。我们提出了一个新的损失函数，显着提高了暹罗和三重嵌入网络的准确性，同时保持其适用于大规模的检索任务，如图像地理定位。这个图像匹配任务是具有挑战性的，不仅是因为地面和头顶图像之间的巨大视点差异，而且因为街景的方向（即方位角）是未知的，使得对应更加困难。尽管如此，我们还是研究了几种匹配机制--训练旋转不变性，在查询时对可能的旋转进行采样，以及用我们的深度网络明确预测地面和头顶图像的相对旋转。事实证明，明确的方向监督也提高了位置预测的准确性。我们的最佳性能架构的准确度大约是常用的暹罗网络基线的2.5倍。
2017-03-22 cs.CV
Improving Siamese Based Trackers with Light or No Training through Multiple Templates and Temporal Network
University of Ottawa（渥太华大学）
本文提出一种改进Siamese基跟踪器的框架，通过扩展多模板并采用自适应阈值更新策略消除重新训练需求，同时引入轻量级时序网络CombiNet利用物体坐标预测目标位置，在多个数据集上提升了跟踪性能且适用于卷积和transformer基跟踪器。
2024-10-15 cs.CV
Siamese Network Training Using Artificial Triplets By Sampling and Image Transformation
这项工作中使用的设备使用两个热成像摄像机检测水面上的物体，这有助于用户在人眼无法检测和避免物体的情况下（夜晚，雾等）。为了自主避免障碍物碰撞，需要实时跟踪物体，并为每个物体分配特定的身份以确定其动态（轨迹，速度等）。用于进行碰撞预测。在接下来的工作中，使用TensorFlow作为Python中的高级编程环境，使用称为卷积神经网络（CNN）的计算机视觉（CV）的机器学习（ML）方法。为了验证算法，使用在工作期间创建的注释工具生成测试集，以进行适当的评估。一旦得到验证，该算法就被部署在平台上，并使用测试船生成的序列进行测试。
2021-09-26 cs.AI cs.CV
Tackling Occlusion in Siamese Tracking with Structured Dropouts
University of Amsterdam（阿姆斯特丹大学）
遮挡是目标跟踪中最困难的问题之一。这是因为与其他挑战不同，数据增强可以有所帮助，遮挡很难模拟，因为遮挡对象可以是任何形状的任何东西。在本文中，我们提出了一个简单的解决方案来模拟潜在空间中的遮挡效果。具体来说，我们提出了结构化的辍学模仿隐藏代码的变化下闭塞。我们提出了三种形式的辍学（通道辍学，段辍学和切片辍学）的各种形式的闭塞铭记。为了证明其有效性，辍学者被纳入两个现代暹罗跟踪器（SiamFC和SiamRPN++）。使用编码器网络组合来自多个辍学的输出以获得最终预测。几个跟踪基准的实验表明，结构化辍学的好处，而由于其简单性，只需要小的变化，现有的跟踪器模型。
2020-06-30 cs.CV cs.LG eess.IV
UrbanCDNet: Appearance-Robust and Boundary-Aware Bitemporal Change Detection for Korean Urban Building Monitoring
Department of Data Science, Graduate School of Kookmin University（韩国庆北大学数据科学系）
针对韩国城市建筑变化检测中变化稀疏、外观差异大、需精确边界的问题，提出UrbanCDNet，结合外观鲁棒多线索比较、对齐感知中尺度差分、轻量上下文精炼、场景校准和辅助边界监督，在韩国基准上F1达0.7511，优于基线。
2026-06-29 cs.CV
Semi-Siamese Network for Robust Change Detection Across Different Domains with Applications to 3D Printing
University of Connecticut（康涅狄格大学）
提出Semi-Siamese深度学习模型，通过直接比较参考示意图与实际打印图像实现3D打印跨域鲁棒缺陷检测，在标准笔记本上每层预测不到半秒且F1超0.9，优于GAN和transformer方法。
2023-08-03 cs.CV
SiamTHN: Siamese Target Highlight Network for Visual Tracking
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）；School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences（中国科学院大学电子电气与通信工程学院）；Jigang Defence Technology Company, Ltd.（济钢防务技术有限公司）
近年来，基于暹罗网络的跟踪器在视觉目标跟踪领域发展迅速。现在使用的大多数基于暹罗网络的跟踪器平等地对待骨干网络生成的特征图中的每个通道，使得相似性响应图对背景影响敏感，因此难以集中在目标区域上。此外，在这些跟踪器中，分类和回归分支之间没有结构性联系，这两个分支在训练期间分别进行优化。因此，在分类和回归分支之间存在不对准，这导致不太准确的跟踪结果。在本文中，提出了一个目标突出显示模块，以帮助生成的相似性响应图更集中的目标区域。为了减少失准，并产生更精确的跟踪结果，我们提出了一个纠正损失的训练模型。该模型的两个分支通过使用校正损失进行联合调整，以产生更可靠的预测结果。在5个具有挑战性的基准数据集上的实验表明，该方法在性能方面优于现有模型，并且运行速度为38 fps，证明了其有效性和效率。
2023-03-22 cs.AI cs.CV
