Re-Identification with Consistent Attentive Siamese Networks
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Siemens Corporate Technology（西门子企业技术公司）
我们提出了一个新的深度架构的人重新识别（re-id）。虽然re-id最近取得了很大进展，但用于鲁棒跨视图匹配的空间定位和视图不变表示学习仍然是关键的未解决的问题。我们通过一种新的注意力驱动的连体学习架构来解决这些问题，这种架构被称为一致的注意连体网络。与现有的竞争方法相比，我们的关键创新包括：（a）一个灵活的框架设计，仅用身份标签作为监督来产生注意力，（b）明确的机制来加强同一个人的图像之间的注意力一致性，以及（c）一个新的连体框架，它整合了注意力和注意力一致性，产生有原则的监督信号，以及第一个机制，可以解释暹罗框架的预测背后的推理。我们对CUHK 03-NP、DukeMTMC-ReID和Market-1501数据集进行了广泛的评估，并报告了竞争性能。
2019-04-11 cs.CV cs.LG
Visual Object Tracking based on Adaptive Siamese and Motion Estimation Network
Iran University of Science and Technology（伊朗科技大学）
近年来，卷积神经网络（CNN）以其强大的抽象特征表示能力在计算机视觉的各个领域引起了广泛的关注。视觉目标跟踪是计算机视觉的一个重要研究领域，近年来取得了显著的进展。在这项工作中，我们的目标是通过利用CNN的表示能力来改进视觉对象跟踪中的运动和观察模型。为此，利用运动估计网络（名为MEN）来寻找目标的最可能的位置，并且除了先前的目标位置之外还准备进一步的线索。因此，通过在两个可能的位置附近生成少量的候选，可以增强运动估计。然后将生成的候选人输入到经过训练的Siamese网络中，以检测最可能的候选人。将每个候选者与在预定义条件下更新的自适应缓冲区进行比较。为了考虑目标外观变化，加权CNN（称为WCNN）使用序列特异性信息自适应地将权重分配给暹罗网络的最终相似性得分。在知名的基准数据集（OTB100、OTB50和OTB2013）上的评估结果证明，所提出的跟踪器优于最先进的竞争对手。
2018-09-29 cs.CV
A Novel Self-Knowledge Distillation Approach with Siamese Representation Learning for Action Recognition
National Central University（国立中央大学）；Thai Nguyen University（太原大学）
知识蒸馏是将知识从重网络（教师）有效地转移到小网络（学生），以提高学生的表现。自知识蒸馏，知识蒸馏的特殊情况下，已被提出删除大型教师网络的培训过程，同时保持学生的表现。本文介绍了一种新的自我知识蒸馏方法，通过连体表示学习，最小化来自给定样本的两个不同视图的两个表示向量之间的差异。我们提出的方法，SKD-SRL，利用软标签蒸馏和相似性的表示向量。因此，SKD-SRL可以在同一数据点的各种视图中生成更一致的预测和表示。我们的基准已经在各种标准数据集上进行了评估。实验结果表明，SKD-SRL显着提高了准确性相比，现有的监督学习和知识蒸馏方法，无论网络。
2022-09-03 cs.AI cs.CV
STA: Adversarial Attacks on Siamese Trackers
National University of Defense Technology（国防科技大学）；Hunan Univeristy（湖南大学）
近年来，大多数视觉跟踪器采用卷积神经网络（CNN）作为其骨干来实现高跟踪精度。但对包括暹罗网在内的CNN带来的潜在对抗性威胁关注较少。在本文中，我们首先分析了暹罗跟踪器中存在的漏洞，并提出了成功的对抗攻击的要求。在此基础上，我们制定了对抗生成问题，并提出了一个端到端的管道来生成一个扰动的纹理映射的3D对象，导致跟踪器失败。最后，通过实验验证了算法的有效性.实验结果表明，该算法生成的对抗性样本可以有效降低受害者跟踪器的跟踪精度，甚至使其漂移。据我们所知，这是第一个在视觉跟踪器上生成3D对抗示例的工作。
2019-09-08 cs.CV
siaNMS: Non-Maximum Suppression with Siamese Networks for Multi-Camera 3D Object Detection
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
自动驾驶汽车中嵌入式硬件的快速发展扩大了其计算能力，从而有可能安装更完整的传感器设置，以处理更复杂的驾驶场景。因此，必须解决诸如对同一物体的多次检测的新挑战。在这项工作中，将连体网络集成到众所周知的3D对象检测器方法的管道中，以通过重新识别来抑制来自不同相机的重复建议。此外，利用关联来通过聚合其对应的LiDAR平截头体来增强对象的3D盒回归。在nuScenes数据集上的实验结果表明，该方法优于传统的NMS方法。
2020-02-19 cs.CV
Differential Morphed Face Detection Using Deep Siamese Networks
West Virginia University（西弗吉尼亚大学）
虽然生物特征面部识别系统正在迅速成为安全应用的一部分，但这些系统仍然容易受到变形攻击，其中面部参考图像可以被验证为两个或更多个单独的身份。在边境控制场景中，成功的变形攻击允许两个或更多人使用同一本护照跨境。在本文中，我们提出了一种新的差分变形攻击检测框架，使用深连体网络。据我们所知，这是第一个研究工作，利用暹罗网络架构的变形攻击检测。我们使用两个不同的变形数据集VISAP17和MorGAN将我们的模型与其他经典和深度学习模型进行比较。我们探索的嵌入空间产生的对比损失使用三个决策框架，使用欧氏距离，特征差异和支持向量机分类器，和功能级联和支持向量机分类器。
2020-12-05 cs.CV
Universal Image Manipulation Detection using Deep Siamese Convolutional Neural Network
Indian Institute of Technology Guwahati（古瓦哈提印度理工学院）
检测对图像进行的不同类型的图像编辑操作是图像取证中的重要问题。它提供了有关图像处理历史的信息，并且还可以暴露图像中存在的错误。已经提出了一些方法来检测不同类型的图像编辑操作在一个单一的框架。然而，所有的操作都必须在训练阶段先验地知道。但是，在真实取证场景中，可能无法了解对图像进行的编辑操作。为了解决这个问题，我们提出了一种新的基于深度学习的方法，可以区分不同类型的图像编辑操作。所提出的方法分类图像补丁在成对的方式，无论是相似或不同的处理使用深连体神经网络。一旦网络学习到可以区分不同图像编辑操作的特征，它就可以区分训练阶段中不存在的不同图像编辑操作。实验结果表明，该方法在检测/区分不同的图像编辑操作的有效性。
2018-08-23 cs.CV
Open-set Face Recognition for Small Galleries Using Siamese Networks
Universidade Federal do Paraná（巴拉那联邦大学）；Pontifícia Universidade Católica do Paraná（巴拉那天主教大学）；Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）
人脸识别一直是生物识别领域中最重要和最受关注的领域之一。在现实世界的应用中，人脸识别方法通常必须处理在训练阶段没有看到所有探测个体的场景（开集场景）。因此，开集人脸识别是一个越来越感兴趣的主题，因为它涉及在并非所有人脸都事先已知的空间中识别个体。这在几个应用程序中很有用，例如访问身份验证，在访问身份验证上，仅允许先前在图库中注册的少数个人。目前的工作介绍了一种新的方法对开放集人脸识别专注于小画廊和注册检测，而不是身份检索。提出了一种连体网络架构，用于学习模型，以基于类验证方法检测人脸探头是否在图库中注册。在Pubfig83，FRGCv1和LFW数据集上进行的实验在小画廊中取得了令人满意的结果。HFCN和HPLS等最先进的方法在FRGCv 1上的表现优于其他方法。此外，一个新的评价协议，介绍了在小画廊LFW上的实验。
2021-05-14 cs.CV
Interactive Instance Annotation with Siamese Networks
本文提出SiamAnno框架，利用孪生网络和单样本学习，以边界框为输入预测物体边界，实现跨域交互式实例标注，并在多个数据集上无需微调即取得SOTA性能。
2025-05-06 cs.CV
SiamAPN++: Siamese Attentional Aggregation Network for Real-Time UAV Tracking
Tongji University（同济大学）；New York University（纽约大学）
最近，基于Siamese的方法由于其最先进的（SOTA）性能而从众多的跟踪方法中脱颖而出。然而，由于无人机跟踪中的各种特殊挑战，\textit{e.g.}，严重遮挡和快速运动，大多数现有的基于暹罗的跟踪器很难将优异的性能与高效率结合起来。针对这一问题，本文提出了一种新的用于无人机实时的【形】跟踪的注意力连体跟踪器（SiamAPN++）。借助注意力机制，我们构造了一个由自注意力聚合网络和交叉注意力聚合网络组成的特殊的注意力聚合网络，以提高特征的表征能力。前AAN聚合和模型的自我语义的相互依赖性的单一功能地图，通过空间和通道尺寸。后者的目的是聚集两个不同的语义特征，包括锚点的位置信息的交叉依赖关系。此外，提出了基于双特征的锚建议网络，以提高其跟踪不同尺度目标的鲁棒性。在两个著名的权威基准上进行了实验，其中SiamAPN++优于其基线SiamAPN和其他SOTA跟踪器。此外，在典型的嵌入式平台上的实际测试表明，SiamAPN++实现了良好的跟踪效果与实时的【形】速度。
2021-07-30 cs.CV
A Dense Siamese U-Net trained with Edge Enhanced 3D IOU Loss for Image Co-segmentation
Beijing Institute of Technology（北京理工大学）
图像联合分割是计算机视觉领域的研究热点。在本文中，我们提出了一种新的方法来图像联合分割，通过引入密集连接到Siamese U-网的解码器路径，并提出了一个新的边缘增强的3D IOU损失测量距离地图。考虑到符号归一化距离图（SNDM）和二值分割模板之间的严格映射，我们直接从原始图像中估计SNDM，并使用它们来确定分割结果。我们采用SiameseU-net来解决这个问题，并通过在解码器路径中将每一层与后续层紧密连接来提高其有效性。此外，我们设计了一种新的学习损失来衡量生成的SNDM与标记SNDM之间的3D交集。在常用的图像联合分割数据集上的实验结果表明，我们提出的密集结构和边缘增强的三维IOU损失的SNDM的有效性。据我们所知，它们导致了互联网和iCoseg数据集上最先进的性能。
2021-08-17 cs.CV
SiamVGG: Visual Tracking using Deeper Siamese Networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近，我们看到了基于深度神经网络（DNN）的视觉跟踪解决方案的快速发展。一些跟踪器将基于DNN的解决方案与判别相关过滤器（DCF）相结合，以提取语义特征，并成功地提供最先进的跟踪精度。然而，这些解决方案是高度计算密集型的，需要很长的处理时间，从而导致不安全的实时性能。为了提供高精度和可靠的实时性能，我们提出了一种新的跟踪器称为SiamVGG \footnote{https://github.com/leeyeehoo/SiamVGG}。它结合了卷积神经网络（CNN）主干和互相关算子，并利用示例性图像的特征进行更准确的对象跟踪。SiamVGG的架构是根据VGG-16定制的，其参数由示例性图像和期望的输入视频帧共享。我们在OTB-2013/50/100和VOT 2015/2016/2017数据集上展示了拟议的SiamVGG，具有最先进的准确性，同时在GTX 1080Ti上运行时保持了50 FPS的良好实时性能。在VOT 2017挑战赛中，我们的设计与ECO和C-COT相比，预期平均重叠（EAO）高出2%。
2022-07-04 cs.CV
Gated Siamese Convolutional Neural Network Architecture for Human Re-Identification
Nanyang Technological University（南洋理工大学）
在多个摄像机视图中匹配行人，称为人类重新识别，是一个具有挑战性的研究问题，在视觉监控中有许多应用。随着卷积神经网络（CNN）的复兴，已经提出了几种端到端深度连体CNN架构用于人类重新识别，其目的是将相似对（即相同身份）的图像投影为彼此更接近，而将不相似对的图像投影为彼此远离。然而，当前的网络为每个图像提取固定的表示，而不管与它配对的其他图像，并且仅在最终级别进行与其他图像的比较。在这种情况下，网络有可能无法提取更精细的局部模式，而这些模式对于区分正对和硬负对是必不可少的。在本文中，我们提出了一个门控功能，选择性地强调这种精细的共同的局部模式，通过比较跨图像对的中级功能。这根据它们所配对的图像为同一图像产生灵活的表示。我们在CUHK 03，Market-1501和VIPeR数据集上进行了实验，并证明了与基线Siamese CNN架构相比，性能有所改善。
2016-09-26 cs.CV
Deep Siamese Domain Adaptation Convolutional Neural Network for Cross-domain Change Detection in Multispectral Images
Wuhan University（武汉大学）
最近，深度学习在变化检测任务中取得了令人鼓舞的表现。然而，深度模型是特定于任务的，并且经常存在数据集偏差，因此很难将在一个多时相数据集（源域）上训练的网络转移到另一个具有非常有限（甚至没有）标记数据的多时相数据集（目标域）。在本文中，我们提出了一种新的深连体领域自适应卷积神经网络（DSDANet）架构的跨域变化检测。在DSDANet中，连体卷积神经网络首先从多时间图像中提取空间-光谱特征。然后，通过多核最大均值差异（MK-MMD），学习的特征表示被嵌入到再生核希尔伯特空间（RKHS），其中两个域的分布可以显式匹配。DSDANet通过对源标记数据和目标未标记数据的网络参数和核系数进行优化，可以学习到可迁移的特征表示，从而可以弥合两个域之间的差异。据我们所知，这是第一次提出这种基于领域自适应的深度网络来进行变化检测。理论分析和实验结果表明了该方法的有效性和潜力。
2020-04-13 cs.CV
Fully-Convolutional Siamese Networks for Object Tracking
University of Oxford（牛津大学）
传统上，任意对象跟踪的问题是通过专门在线学习对象外观的模型来解决的，使用视频本身作为唯一的训练数据。尽管这些方法取得了成功，但它们的在线方法本质上限制了它们可以学习的模型的丰富性。最近，已经进行了几次尝试来利用深度卷积网络的表达能力。然而，当跟踪的对象是事先不知道的，它是必要的执行随机梯度下降在线，以适应网络的权重，严重损害了系统的速度。在本文中，我们配备了一个基本的跟踪算法与一个新的全卷积暹罗网络训练端到端的ILSVRC 15数据集的目标检测在视频中。我们的跟踪器以超过实时的帧率运行，尽管非常简单，但在多个基准测试中达到了最先进的性能。
2021-12-01 cs.CV
Runtime Detection of Executional Errors in Robot-Assisted Surgery
University of Virginia（弗吉尼亚大学）
尽管手术机器人的设计和客观评估手术技能的自动化技术取得了重大进展，但在确保机器人辅助微创手术（RMIS）的安全性方面仍然存在挑战。本文提出了一种运行时监测系统，通过分析运动学数据检测手术任务中的执行错误。所提出的系统结合了双连体神经网络和手术背景知识，包括手术任务和手势，它们的分布相似性，以及常见的错误模式，学习正常和错误的手术轨迹之间的差异，从小的训练数据集。我们使用JIGSAWS数据集的缝合和穿针任务的干实验室演示，与使用不同水平的上下文知识和训练数据训练的单个CNN和LSTM网络相比，评估了使用Siamese网络的错误检测性能。我们的研究结果表明，手势特定任务非特异性Siamese网络获得了0.94（Siamese-CNN CNN）和0.95（Siamese-LSTM）的微F1分数，并且比单个CNN（0.86）和LSTM（0.87）网络表现更好。这些Siamese网络在缝合和穿针方面的表现也优于手势非特定任务特定的Siamese-CNN和Siamese-LSTM模型。
2022-03-01 cs.CV cs.LG cs.RO
MAST: Video Polyp Segmentation with a Mixture-Attention Siamese Transformer
Northwestern Polytechnical University（西北工业大学）；Australian National University（澳大利亚国立大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Harbin Institute of Technology（哈尔滨工业大学）
针对结肠镜视频中长程时空关系建模难题，提出MAST孪生Transformer，通过混合注意力融合帧内与帧间信息，在SUN-SEG上取得优于前沿方法的视频息肉分割性能。
2024-01-23 cs.CV
Masked Siamese ConvNets
Meta AI；NYU（纽约大学）
自监督学习在各种视觉基准上表现出优于监督方法的性能。连体网络是最成功的自监督视觉表示学习方法之一，它鼓励嵌入对失真保持不变。在所有的增强方法中，掩蔽是最通用和最直接的方法，它有可能应用于所有类型的输入，并且需要最少的领域知识。然而，掩蔽连体网络需要特定的电感偏置，并且实际上仅与视觉Transformer配合使用。这项工作经验性地研究了ConvNets掩盖的siamese网络背后的问题。我们提出了一些经验设计，以克服这些问题逐步。我们的方法在低拍摄图像分类上表现出竞争力，并且在目标检测基准上优于以前的方法。我们讨论了几个剩余的问题，并希望这项工作可以为未来的通用自监督学习提供有用的数据点。
2022-06-15 cs.AI cs.CV cs.LG
DSDANet: Deep Siamese Domain Adaptation Convolutional Neural Network for Cross-domain Change Detection
Wuhan University（武汉大学）
变化检测是遥感领域最重要的应用之一。最近，深度学习在CD任务中取得了令人鼓舞的表现。然而，深度模型是特定于任务的，并且CD数据集偏差经常存在，因此，深度CD模型在将其从原始CD数据集转移到新数据集之后不可避免地会遭受性能下降，使得不可避免地手动标记新数据集中的大量样本，这花费了大量的时间和人力。如何在有足够标记数据的数据集（原始域）中学习一个可转移的CD模型，但可以很好地检测另一个没有标记数据的数据集（目标域）的变化？这被定义为跨域变化检测问题。在本文中，我们提出了一种新的深连体领域自适应卷积神经网络（DSDANet）架构的跨域CD。在DSDANet中，连体卷积神经网络首先从多时间图像中提取空间-光谱特征。然后，通过多核最大均值差异（MK-MMD），学习的特征表示被嵌入到再生核希尔伯特空间（RKHS），其中两个域的分布可以显式匹配。DSDANet通过对源标记数据和目标未标记数据的网络参数和核系数进行优化，可以学习到可迁移的特征表示，从而可以弥合两个域之间的差异。据我们所知，这是首次为CD提出这样一个基于领域自适应的深度网络。理论分析和实验结果表明了该方法的有效性和潜力。
2020-06-16 cs.CV
Detecting Urban Dynamics Using Deep Siamese Convolutional Neural Networks
Ethiopian Institute of Technology - Mekelle（埃塞俄比亚理工学院 - 梅克莱）；Institute of Geo-Information and Earth Observation Science（地理信息与地球观测科学研究所）
变化检测是计算机视觉和遥感领域中一门快速发展的学科。在这项工作中，我们设计并开发了一种卷积神经网络（CNN）的变体，称为Siamese CNN，用于从不同时间捕获的Mekelle市Sentinel-2时间图像中提取特征，并检测城市化引起的变化：建筑物和道路。提出的检测能力的总体准确率（95.8），Kappa测量（72.5），召回率（76.5），精度（77.7），F1测量（77.1）。该模型在大多数这些措施方面取得了良好的表现，并可用于检测在默克莱和其他城市在不同的时间范围内进行城市化的变化。
2020-08-11 cs.CV eess.IV
SiENet: Siamese Expansion Network for Image Extrapolation
Nanjing University of Posts and Telecommunications（南京邮电大学）
与图像修补不同的是，图像外绘在图像中心需要捕获的内容相对较少，而在图像边缘需要预测的内容相对较多。因此，现有方法的经典编码器-解码器流水线可能无法完美地预测扩展的未知内容。本文提出了一种新的两阶段连体对抗图像外推模型，命名为连体扩展网络（SiENet）。在两个阶段中，设计了一种新的边界敏感卷积自适应填充卷积，使编码器能够预测未知内容，减轻解码器的负担。此外，为了将先验知识引入网络，增强编码器的推理能力，设计了siamese对抗机制，使我们的网络能够对未覆盖图像特征的分布进行建模。四个数据集上的结果表明，我们的方法优于现有的最先进的，可以产生现实的结果。
2020-07-08 cs.CV cs.LG eess.IV
Exploring Siamese Networks in Self-Supervised Fast MRI Reconstruction
Stanford University School of Medicine（斯坦福大学医学院）；Xiamen University（厦门大学）；School of Electronic Science and Engineering, Xiamen University（厦门大学电子科学与工程学院）；School of Informatics, Xiamen University（厦门大学信息学院）；Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能研究院）
本文提出SiamRecon，利用孪生网络进行自监督MRI重建，模拟期望最大化算法，避免平凡解，在单线圈脑和多线圈膝MRI上达到最先进精度。
2025-01-18 cs.CV eess.IV
One-Shot Instance Segmentation
University of Tübingen（图宾根大学）
我们解决了一次性实例分割的问题：给定一个新的，以前未知的对象类别的示例图像，在一个复杂的场景中找到并分割该类别的所有对象。为了解决这个具有挑战性的新任务，我们提出了Siamese Mask R-CNN。它通过对参考图像和场景进行编码的Siamese主干扩展了Mask R-CNN，使其能够对参考类别进行目标检测和分割。我们在MS Coco上展示了实证结果，突出了一次性设置的挑战：虽然将有关实例分割的知识转移到新的对象类别效果很好，但将检测网络定位到参考类别似乎更困难。我们的工作提供了第一个强有力的基线单镜头实例分割，并有望激发进一步研究更强大和灵活的景物分析算法。代码可在：https://github.com/bethgelab/siamese-mask-rcnn
2019-05-28 cs.CV
GradNet: Gradient-Guided Network for Visual Object Tracking
Dalian University of Technology（大连理工大学）；The University of Sydney（悉尼大学）；China Science IntelliCloud Technology Co., Ltd（中科智云科技有限公司）
基于模板匹配的全卷积连体网络在视觉跟踪中显示出巨大的潜力。在测试过程中，模板与初始目标特征是固定的，性能完全依赖于siamese网络的总体匹配能力。然而，这种方式不能捕捉目标或背景杂波的时间变化。在这项工作中，我们提出了一种新的梯度引导网络，利用梯度中的判别信息，并通过前馈和后向操作更新连体网络中的模板。我们的算法执行前馈和后向操作，以利用梯度中的判别信息并捕获目标的核心注意力。具体地说，该算法可以利用来自梯度的信息来更新当前帧中的模板。此外，为了更好地利用梯度信息，避免过拟合，提出了一种模板泛化训练方法。据我们所知，这项工作是第一次尝试利用梯度中的信息进行基于暹罗的跟踪器的模板更新。在最近的基准测试上进行的大量实验表明，我们的方法比其他最先进的跟踪器具有更好的性能。
2019-09-15 cs.CV
RankIQA: Learning from Rankings for No-reference Image Quality Assessment
Computer Vision Center（计算机视觉中心）；University of Florence（佛罗伦萨大学）
我们提出了一个无参考图像质量评估（NR-IQA）的方法，从排名（RankIQA）学习。为了解决IQA数据集大小有限的问题，我们训练一个暹罗网络，通过使用相对图像质量已知的合成生成的失真来根据图像质量对图像进行排名。这些排名的图像集可以自动生成，而无需费力的人工标记。然后，我们使用微调将训练好的暹罗网络中表示的知识转移到传统的CNN中，该CNN从单个图像中估计绝对图像质量。我们展示了我们的方法如何比传统的暹罗网络更有效，通过单个网络向前传播一批图像，并从该批图像中的所有图像对中反向传播梯度。在TID 2013基准测试上的实验表明，我们将最先进的技术提高了5%以上。此外，在LIVE基准测试中，我们证明了我们的方法优于现有的NR-IQA技术，并且我们甚至在完全参考IQA（FR-IQA）方法中优于最先进的方法，而无需诉诸高质量的参考图像来推断IQA。
2017-07-26 cs.CV
Siamese Network for RGB-D Salient Object Detection and Beyond
Sichuan University（四川大学）；National Key Laboratory of Fundamental Science on Synthetic Vision, Sichuan University（四川大学视觉合成图形图像技术国家级重点实验室）；Nankai University（南开大学）；Wuhan University（武汉大学）；Inception Institute of Artificial Intelligence (IIAI)（起源人工智能研究院）；University of Electronic Science and Technology of China（电子科技大学）
现有的RGB-D显著性目标检测（SOD）模型通常将RGB和深度作为独立的信息处理，并设计单独的网络用于从每个中提取特征提取。这种方案很容易受到有限的训练数据或过度依赖精心设计的训练过程的限制。受RGB和深度模态实际上在区分突出对象方面存在某些共性的观察的启发，设计了一种新型的联合学习和密集合作融合（JL-DCF）架构，通过共享的网络骨干（称为Siamese架构）从RGB和深度输入中学习。在本文中，我们提出了两个有效的组件：联合学习（JL），和密集合作融合（DCF）。JL模块通过Siamese网络利用跨模态共性来提供鲁棒的显着性特征学习，而DCF模块则用于补充特征发现。综合实验表明，使用五个流行的指标，所设计的框架产生了一个强大的RGB-D显着性检测器具有良好的泛化能力。因此，JL-DCF在七个具有挑战性的数据集上将最先进的模型平均提高了约2.0%（最大F测量值）。此外，我们还表明，JL-DCF很容易适用于其他相关的多模态检测任务，包括RGB-T（热红外）SOD和视频SOD，实现了与最先进的方法相当甚至更好的性能。我们还将JL-DCF链接到RGB-D语义分割领域，显示其在RGB-D SOD任务上优于几个语义分割模型的能力。这些事实进一步证实了所提出的框架可以为各种应用提供潜在的解决方案，并为跨模式互补任务提供更多的见解。
2021-04-16 cs.CV
Towards real-time and energy efficient Siamese tracking -- a hardware-software approach
AGH University of Science and Technology（AGH科技大学）
在过去的几年里，暹罗跟踪器一直是每个视觉对象跟踪（VOT）挑战中最先进的解决方案之一。然而，高精度带来了巨大的计算复杂性：为了实现实时的【形】处理，这些跟踪器必须大规模并行化，并且通常在高端GPU上运行。这种方法易于实现，但能耗高，因此不能用于许多低功耗应用。为了克服这个问题，可以使用节能的嵌入式设备，例如将ARM处理器系统与可编程逻辑（FPGA）连接起来的异构平台。在这项工作中，我们提出了一个硬件-软件实现的著名的全连接暹罗跟踪器（SiamFC）。我们已经为FINN加速器开发了一个量化的暹罗网络，使用算法加速器协同设计，并进行设计空间探索，以实现最佳的能效比（由FPS和使用的资源确定）。对于我们的网络，在Zynq UltraScale+ MPSoC ZCU 104的可编程逻辑部分中运行，我们实现了每秒近50帧的处理，跟踪器精度与其浮点同行以及原始SiamFC网络相当。完整的跟踪系统在ARM中实现，并在FPGA上进行网络加速，最高可达到17 fps。这些结果使我们能够弥合高精度但高能耗的算法与可用于低功耗边缘系统的节能解决方案之间的差距。
2022-05-21 cs.AI cs.CV
Similarity Mapping with Enhanced Siamese Network for Multi-Object Tracking
Panasonic Silicon Valley Laboratory（松下硅谷实验室）；University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）
多目标跟踪近年来已成为计算机视觉的一个重要领域，特别是对于高级驾驶员辅助系统（ADAS）。尽管越来越受到关注，但实现高性能跟踪仍然具有挑战性，最先进的系统导致具有大量超参数的高复杂性。在本文中，我们专注于降低整体系统的复杂性和数量的超参数，需要调整到一个特定的环境。我们介绍了一种新的跟踪系统的基础上相似性映射的增强型暹罗神经网络（ESNN），它占外观和几何信息，是可训练的端到端。与已知的最先进的方法相比，我们的系统在MOT16挑战的速度和准确性方面都具有竞争力。
2017-01-24 cs.CV cs.LG
KD-FixMatch: Knowledge Distillation Siamese Neural Networks
Amazon Inc.（亚马逊公司）
提出KD-FixMatch算法，通过结合知识蒸馏与孪生神经网络的顺序和同时训练，利用高置信度采样和深度嵌入聚类生成可信伪标签，有效解决了FixMatch早期伪标签噪声导致的性能退化问题，在四个公开数据集上均优于FixMatch。
2023-09-11 cs.CV cs.LG
Self-Supervised Single-Image Deconvolution with Siamese Neural Networks
Institute of Computer Science, University of Tartu（塔尔图大学计算机科学研究所）；Revvity Inc.（Revvity公司）；Wellcome Sanger Institute（威康桑格研究所）
针对自监督盲点去卷积中大卷积核训练困难的问题，本文引入快速傅里叶变换卷积和孪生不变性损失，提升三维显微去卷积训练速度并取得优于现有方法的性能。
2023-08-18 cs.CV cs.LG eess.IV
Siamese Attentional Keypoint Network for High Performance Visual Tracking
Harbin Institute of Technology（哈尔滨工业大学）；University of Granada（格拉纳达大学）；Andalusian Research Institute in Data Science and Computational Intelligence（安达卢西亚数据科学与计算智能研究所）；Iwate Prefectural University（岩手县立大学）
在本文中，我们研究了视觉跟踪的三个主要方面的影响，即，的骨干网络，注意机制，和检测组件，并提出了一个暹罗注意关键点网络，称为SATIN，有效的跟踪和准确的定位。首先，设计了一种新的用于视觉跟踪的连体轻量级沙漏网络。它利用了重复的自下而上和自上而下推理的优点，在多个尺度上捕获更多的全局和局部上下文信息。其次，一个新的交叉注意模块，利用通道和空间的中间注意信息，这可以提高鉴别和定位能力的特征地图。第三，提出了一种关键点检测方法，通过检测目标限界框的左上角点、质心点和右下角点来跟踪目标。因此，我们的SATIN跟踪器不仅具有强大的学习更有效的对象表示的能力，而且在训练或测试阶段都具有计算和内存存储效率。据我们所知，我们是第一个提出这种做法的。没有花里胡哨，实验结果表明，我们的方法在最近的几个基准数据集上实现了最先进的性能，速度远远超过每秒27帧。
2019-12-29 cs.AI cs.CV cs.MM
Self-Supervised Learning for Segmentation
IIIT-Hyderabad（海得拉巴国际信息技术学院）
自监督学习正在成为大型数据集迁移学习的有效替代。在这项工作中，我们使用肾脏分割来探索这一想法。利用肾脏的解剖不对称性，通过自监督学习定义肾脏分割的有效代理任务。使用连体卷积神经网络（CNN）将来自CT体积的给定的一对肾脏切片分类为相同侧或不同侧的肾脏。然后，使用另一个深CNN，使用连体CNN的一个分支作为分割网络的编码器，来传递该知识以用于肾脏的分割。对包含腹部区域计算机断层扫描（CT）扫描的公开数据集的评估结果表明，相对于传统从头开始训练的网络，可以提高性能和快速收敛。这是值得注意的，因为在训练中没有使用额外的数据/昂贵的注释或增强。
2021-01-14 cs.CV
Siamese Transformer Networks for Few-shot Image Classification
本文提出 Siamese Transformer Network，用双分支 ViT-Small 分别提取全局与局部特征，并融合欧氏距离和 KL 散度进行少样本图像分类，在四个基准上超越现有方法。
2024-07-16 cs.AI cs.CV
Siamese Content-based Search Engine for a More Transparent Skin and Breast Cancer Diagnosis through Histological Imaging
Department One（第一部门）；Department Two（第二部门）
本文提出基于定制孪生网络的乳腺癌和皮肤癌组织病理图像检索方法，首次评估 top 第一张检索结果，在 F1 分数和精确率上超越现有方法，并为病理医生提供更透明、可信的辅助诊断工具。
2024-01-16 cs.CV cs.IR cs.LG
Cross-Domain Identity Representation for Skull to Face Matching with Benchmark DataSet
Visual Intelligence and Machine Learning (VIML) Group, School of Computing and Electrical Engineering, Indian Institute of Technology Mandi（视觉智能与机器学习小组，计算与电气工程学院，印度理工学院曼迪分校）
本文提出一种基于卷积Siamese networks的跨域身份表示框架，通过构建包含40名志愿者颅骨X射线与光学面部图像的数据集，实现了从颅骨到面部匹配的满意身份鉴定。
2025-07-11 cs.CV
Mapping Urban Population Growth from Sentinel-2 MSI and Census Data Using Deep Learning: A Case Study in Kigali, Rwanda
KTH Royal Inst. of Technology（KTH皇家理工学院）；University of Rwanda（卢旺达大学）
为了更好地了解撒哈拉以南非洲城市人口增长的当前趋势，需要高质量的时空人口估计。虽然联合使用遥感和深度学习在人口分布估计方面取得了可喜的成果，但目前的大部分工作都集中在从单一日期人口普查得出的精细尺度空间预测上，从而忽略了时间分析。在这项工作中，我们专注于评估深度学习变化检测技术如何在短时间内揭示时间种群动态。由于后分类比较（PCC）方法的变化检测是众所周知的传播个别地图的错误，我们提出了一个端到端的人口增长映射方法。具体来说，ResNet编码器，预先训练的人口映射任务与哨兵-2 MSI数据，被纳入暹罗网络。暹罗网络在人口普查一级进行了培训，以准确预测人口变化。在卢旺达基加利，2016-2020年期间，使用双时态Sentinel-2数据证明了所提出方法的有效性。与PCC相比，暹罗网络大大减少了人口变化预测的误差。这些结果表明，未来的遥感为基础的人口增长映射的努力的承诺。
2023-03-15 cs.CV eess.IV
Deep Object Co-Segmentation
Heidelberg University（海德堡大学）
本文提出了一种深度对象共分割（DOCS）方法，用于分割一对图像中同一类的常见对象。这意味着该方法学会忽略常见或不常见的背景材料，并专注于对象。如果图像对中存在多个对象类，则将它们联合提取为前景。为了解决这个问题，我们提出了一个基于CNN的暹罗编码器-解码器架构。编码器提取前景对象的高级语义特征，互相关层检测共同对象，最后，解码器为每个图像生成输出前景掩模。为了训练我们的模型，我们编译了一个大型对象共分割数据集，该数据集由来自PASCAL VOC数据集的具有常见对象掩码的图像对组成。我们在常用的数据集上评估了我们的方法用于共同分割任务，并观察到我们的方法对于可见和不可见的对象类始终优于竞争方法。
2019-05-28 cs.CV
Interpretable Visualizations with Differentiating Embedding Networks
Yale University（耶鲁大学）
我们提出了一种可视化算法的基础上，一种新的无监督连体神经网络的训练制度和损失函数，称为差分嵌入网络（DEN）。Siamese神经网络在数据集中的特定样本对之间找到差异或相似的特征，并使用这些特征将数据集嵌入到可以可视化的低维空间中。与现有的可视化算法（如UMAP或$t$ -SNE）不同，DEN是参数化的，这意味着它可以通过SHAP等技术进行解释。为了解释DEN，我们在可视化之上创建了一个端到端的参数聚类算法，然后利用SHAP分数来确定样本空间中的哪些特征对于基于发现的聚类来理解可视化中显示的结构是重要的。我们将DEN可视化与各种数据集上的现有技术进行了比较，包括图像和scRNA-seq数据。然后，我们表明，我们的聚类算法执行类似的最先进的，尽管没有事先知道的集群的数量，并设置一个新的国家的最先进的FashionMNIST。最后，我们演示了如何找到数据集的差异化特征。代码可在https://github.com/isaacrob/DEN获得
2020-06-11 cs.CV cs.LG stat.ML
RSINet: Rotation-Scale Invariant Network for Online Visual Tracking
Korea Advanced Institute of Science and Technology (KAIST)（韩国高等科学技术院（KAIST））；Inha University（仁荷大学）
大多数基于Siamese网络的跟踪器在执行跟踪过程中不需要模型更新，并且不能自适应地学习目标特定的变化。此外，基于Siamese的跟踪器通过生成轴对齐的边界框来推断被跟踪对象的新状态，该边界框包含额外的背景噪声，并且无法准确地估计移动对象的旋转和尺度变换，从而潜在地降低跟踪性能。在本文中，我们提出了一种新的旋转尺度不变网络（RSINet）来解决上述问题。我们的RSINet跟踪器由一个目标分心判别分支和一个旋转尺度估计分支组成，旋转和尺度知识可以通过多任务学习方法以端到端的方式显式学习。同时，在时空能量控制下，对跟踪模型进行自适应优化和更新，保证了模型的稳定性和可靠性，以及较高的跟踪效率。在OTB-100、VOT 2018和LaSOT基准测试上的综合实验表明，与最近的跟踪器相比，我们提出的RSinet跟踪器具有新的最先进的性能，同时以约45 FPS的实时速度运行。
2020-11-18 cs.CV cs.LG eess.IV
Slim DensePose: Thrifty Learning from Sparse Annotations and Motion Cues
Facebook AI Research（Facebook人工智能研究院）；University of Oxford（牛津大学）；Ariel AI
DensePose通过将图像像素密集映射到体表坐标来取代传统的地标检测器。然而，这种能力大大增加了注释时间，因为监督模型需要手动标记每个姿势实例的数百个点。因此，在这项工作中，我们寻求方法来显着瘦身的DensePose注释，提出更有效的数据汇集策略。特别是，我们证明，如果注释收集在视频帧中，它们的功效可以通过使用运动线索免费倍增。为了探索这个想法，我们引入了DensePose-Track，这是一个视频数据集，其中选定的帧以传统的DensePose方式进行注释。然后，基于DensePose映射的几何属性，我们使用视频动态来及时传播地面实况注释，并从Siamese等方差约束中学习。在对各种数据注释和学习策略进行了详尽的经验评估后，我们证明这样做可以在强基线上显着改善姿态估计结果。然而，尽管最近的一些作品所建议的，我们表明，仅仅通过应用几何变换到孤立的帧合成运动模式是显着不太有效的，运动线索时，他们从视频中提取的帮助要大得多。
2019-06-13 cs.CV
Change detection needs change information: improving deep 3D point cloud change detection
Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA)（信息与随机系统研究院（IRISA））；Université Bretagne Sud（南布列塔尼大学）；Magellium（马热利姆公司）；Université Rennes 2（雷恩第二大学）
本文针对原始3D点云变化分割，提出在网络早期显式融入变化特征，并给出三种新架构，其中 Encoder Fusion SiamKPConv 的 mIoU 超过现有方法5%以上。
2024-01-29 cs.CV
Comparison Network for One-Shot Conditional Object Detection
当前目标检测的进展依赖于大规模数据集以获得良好的性能。然而，在许多场景下，可能并不总是有足够的样本，这导致了对Few-Shot检测及其极端变化单次检测的研究。在本文中，单次检测已制定为一个条件概率问题。有了这个见解，一个新的单次条件目标检测（OSCD）框架，称为比较网络（ComparisonNet），已被提出。具体地说，查询和目标图像特征提取通过暹罗网络映射的边缘概率度量。一个两阶段的OSCD检测器被引入到比较所提取的查询和目标功能与可学习的度量，以接近优化的非线性条件概率。一旦经过训练，ComparisonNet可以检测可见和不可见类的对象，而无需进一步训练，这也具有以下优点：类不可知，对不可见类无需训练，并且没有灾难性遗忘。实验结果表明，该方法在Fashion-MNIST和PASCAL VOC数据集上取得了较好的性能。
2020-01-20 cs.CV
Backbone is All Your Need: A Simplified Architecture for Visual Object Tracking
The University of Sydney（悉尼大学）；SenseTime（商汤科技）；Shanghai AI Laboratory（上海人工智能实验室）
利用一个通用的神经架构来取代手工布线的设计或电感偏置最近引起了广泛的兴趣。然而，现有的跟踪方法依赖于定制的子模块，并需要先验知识的架构选择，阻碍了更一般的系统中的跟踪开发。本文提出了一种简化的跟踪架构（SimTrack），利用Transformer骨干的联合特征提取和交互。与现有的Siamese跟踪器不同，我们将输入图像序列化，并将它们直接连接在单分支主干之前。主干中的功能交互有助于删除设计良好的交互模块，并生成更高效和有效的框架。为了减少视觉Transformer中下采样的信息损失，我们进一步提出了一种中央凹窗口策略，以可接受的计算成本提供更多样化的输入补丁。我们的SimTrack在LaSOT/TNL 2K上以2.5%/2.6%的AUC增益改善了基线，并获得了与其他专业跟踪算法竞争的结果。
2022-07-15 cs.CV
Self-Supervised Learning of Face Representations for Video Face Clustering
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Toronto（多伦多大学）
分析电视剧和电影背后的故事通常需要了解角色是谁以及他们在做什么。随着深度人脸模型的改进，这似乎是一个已经解决的问题。然而，随着人脸检测器变得越来越好，聚类/识别需要重新审视，以解决面部外观日益增加的多样性。在本文中，我们解决视频人脸聚类使用无监督的方法。我们的重点是从使用深度预训练的人脸网络获得的表示中提取基本信息，即身份。我们提出了一个自我监督的暹罗网络，可以训练，而不需要基于视频/跟踪的监督，因此也可以应用于图像采集。我们在三个视频人脸聚类数据集上评估了我们提出的方法。实验表明，我们的方法在所有数据集上都优于当前最先进的方法。视频人脸聚类缺乏一个共同的基准，因为目前的作品往往是用不同的指标和/或不同的人脸轨迹集进行评估。
2019-03-03 cs.CV cs.LG
Independent Samples, Correlated Variance A Learnable Cross-View Cue in Path-Traced Stereo Data
Independent Researcher（独立研究员）
发现路径追踪合成立体数据中蒙特卡洛噪声的方差场经真实视差对齐后高度相关（ρ≈0.75），该信号可作为匹配线索，构成模拟到真实的潜在捷径。
2026-09-22 cs.CV cs.GR
