Task-Aware Meta Learning-based Siamese Neural Network for Classifying Obfuscated Malware
Massey University（梅西大学）；Cyberstronomy Pty Ltd（Cyberstronomy私人有限公司）；CSIRO Data61（澳大利亚联邦科学与工业研究组织Data61研究所）
针对混淆恶意软件导致现有孪生神经网络检测误报率高的问题，提出融合图像与平均熵特征、结合预训练网络特征的任务感知小样本孪生神经网络，在N-way N-shot测试中分类准确率超91%，优于同类方法。
2023-06-15 cs.AI cs.CR
Masked Siamese Networks for Label-Efficient Learning
Facebook AI Research（脸书人工智能研究院）；Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）；Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Universite de Montreal（蒙特利尔大学）
我们提出了屏蔽暹罗网络（MSN），一个自监督学习框架学习图像表示。我们的方法匹配的图像视图的表示包含随机掩蔽补丁的原始未掩蔽图像的表示。这种自我监督的预训练策略在应用于视觉Transformer时特别具有可扩展性，因为网络只处理未掩蔽的补丁。因此，MSN提高了联合嵌入架构的可扩展性，同时产生在低拍摄图像分类上具有竞争力的高语义级别的表示。例如，在ImageNet-1 K上，只有5，000个注释图像，我们的基本MSN模型达到了72.4%的top-1准确率，而在ImageNet-1 K标签的1%下，我们达到了75.7%的top-1准确率，为该基准的自监督学习创造了新的最先进水平。我们的代码是公开的。
2022-04-14 cs.AI cs.CV cs.LG
One-Shot Learning with Triplet Loss for Vegetation Classification Tasks
Joint Institute for Nuclear Research（联合核子研究所）；ITMO University（ITMO大学）
三重损失函数是可以显著提高单次学习任务的准确性的选项之一。从2015年开始，许多项目使用Siamese网络和这种损失进行人脸识别和对象分类。在我们的研究中，我们专注于与植被相关的两个任务。第一个是五种作物（葡萄、棉花、小麦、黄瓜和玉米）的25类植物病害检测。这项任务的动机是，疾病造成的收成损失对大型农业结构和农村家庭都是一个严重问题。第二个任务是苔藓种类（5类）的鉴定。苔藓是污染物的天然生物载体;因此，它们被用于环境监测计划。藓类植物的种类鉴定是样品前处理的重要环节。在这两项任务中，我们使用了自我收集的图像数据库。我们尝试了几种深度学习架构和方法。我们的Siamese网络架构与三重损失函数和MobileNetV 2作为基础网络在上述两个任务中表现出最令人印象深刻的结果。植物病害检测的平均准确率达97.8%以上，苔藓种类分类的平均准确率达97.6%。
2021-01-15 cs.CV
Siamese Instance Search for Tracking
QUVA Lab（QUVA实验室）
在本文中，我们提出了一个跟踪器，这是从根本上不同于国家的最先进的跟踪器：我们没有应用模型更新，没有遮挡检测，没有跟踪器的组合，没有几何匹配，仍然提供国家的最先进的跟踪性能，在流行的在线跟踪基准（OTB）和六个非常具有挑战性的YouTube视频。该跟踪器简单地将第一帧中目标的初始块与新帧中的候选块进行匹配，并通过学习的匹配函数返回最相似的块。匹配功能的强度来自广泛的一般训练，即，在没有任何目标数据的情况下，使用我们设计用于跟踪的连体深度神经网络。一旦学习，匹配函数就被原样使用，而不需要任何调整，以跟踪以前看不见的目标。事实证明，学习的匹配函数是如此强大，以至于一个简单的跟踪器建立在它的基础上，创造了Siamese Instance搜索跟踪器，SINT，它只使用来自第一帧的目标的原始观察，足以达到最先进的性能。此外，我们提出的跟踪器甚至允许目标重新识别后，目标是缺席一个完整的视频镜头。
2016-05-19 cs.CV
Multi-modal Masked Siamese Network Improves Chest X-Ray Representation Learning
New York University Abu Dhabi（纽约大学阿布扎比分校）
本文提出在掩码孪生网络自监督预训练中融入电子健康记录数据，通过在三个胸部X光数据集上的实验证明该方法能显著提升表示学习质量，优于现有自监督基线。
2024-07-05 cs.AI cs.CV cs.LG
Updatable Siamese Tracker with Two-stage One-shot Learning
Changchun Institute of Optics Fine Mechanics and Physics Chinese Academy of Sciences（中国科学院长春光学精密机械与物理研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Institute of Technology（北京理工大学）
离线暹罗网络已经取得了非常有前途的跟踪性能，特别是在准确性和效率。然而，由于无法在线更新，在复杂场景中往往无法跟踪目标。传统的更新器很难处理对象的不规则变化和采样噪声，因此采用它们来更新Siamese网络具有相当大的风险。在本文中，我们首先提出了一个两阶段的一次学习，它可以预测的局部参数的主分类器从不同阶段的目标样本。然后，提出了一种基于学习器的可更新的Siamese网络（SiamTOL），它能够补充在线更新。具体地说，我们引入了一个额外的输入分支来顺序地捕获最新的对象特征，并设计了一个残差模块来使用这些特征更新初始样本。此外，我们的网络设计了一个有效的多方面的训练损失，以避免过拟合。在OTB100、VOT 2018、VOT 2019、LaSOT、无人机123和GOT 10 k等几个流行基准测试上的广泛实验结果表明，所提出的跟踪器实现了领先的性能，并优于其他最先进的方法
2021-04-30 cs.AI cs.CV
Few-Shot Object Detection with Fully Cross-Transformer
Columbia University（哥伦比亚大学）
Few-Shot目标检测（FSOD）的目标是使用非常少的训练样本来检测新的目标，其最近在社区中引起了极大的研究兴趣。基于度量学习的方法已被证明是有效的，使用基于两个分支的连体网络，并计算图像区域和Few-Shot的例子检测之间的相似性。然而，在以前的工作中，两个分支之间的相互作用仅限于在检测头，而留下的其余数百层单独的特征提取。受最近视觉Transformer和视觉语言Transformers的工作的启发，我们提出了一种新的FSOD的基于完全交叉变换器的模型（FCT），将交叉变换器的功能骨干和检测头。提出了非对称批量交叉注意算法，以不同批量聚集来自两个分支的关键信息。该模型通过引入多层次的交互作用，改善了两个分支之间的Few-Shot相似性学习。在PASCAL VOC和MSCOCO FSOD基准上的综合实验证明了该模型的有效性。
2022-09-29 cs.AI cs.CV cs.MM
Attribute Surrogates Learning and Spectral Tokens Pooling in Transformers for Few-shot Learning
Fudan University（复旦大学）；Shanghai Key Lab of Intelligent Information Processing（上海市智能信息处理重点实验室）；The University of Hong Kong（香港大学）
本文提出了新的分层级联Transformers，可以通过属性代理学习和频谱令牌池来提高数据效率。视觉Transformer最近被认为是卷积神经网络用于视觉识别的有前途的替代方案。但是当没有足够的数据时，它会陷入过拟合，表现出较差的性能。为了提高数据效率，我们提出了分层级联的Transformers，利用内在的图像结构，通过频谱令牌池和优化可学习的参数，通过潜在的属性代理。利用图像的固有结构，通过频谱令牌池化来减少前景内容和背景噪声之间的模糊性。而属性替代学习方案的目的是受益于丰富的视觉信息的图像标签对，而不是简单的视觉概念分配的标签。我们的分层级联Transformers，称为HC Transformers，是建立在一个自监督学习框架DINO，并在几个流行的少样本学习基准测试。在归纳设置中，HCTransformers在miniImageNet上超过DINO基线9.7%的5向1次精度和9.17%的5向5次精度，这表明HCTransformers能够有效地提取区分特征。此外，HCTransformers在四个流行的基准数据集（包括miniImageNet，tieredImageNet，FC 100和CIFAR-FS）上的5路1次和5路5次设置中显示出明显优于SOTA Few-Shot分类方法的优势。训练的权重和代码可在https://github.com/StomachCold/HC…
2022-03-17 cs.AI cs.CV cs.LG
Enhancing Few-shot Image Classification with Cosine Transformer
VinUniversity（文大大学）；VinUni-Illinois Smart Health Center（文大-伊利诺伊智能健康中心）；College of Engineering & Computer Science, VinUniversity（文大大学工程与计算机科学学院）
针对小样本图像分类中样本表征不足的问题，提出含余弦注意力的小样本余弦Transformer，通过原型嵌入网络和Transformer编码器构建样本关系图，在多个基准和自定义数据集上取得优异性能，可应用于多领域。
2023-07-21 cs.CV
A Transformer-Based Siamese Network for Change Detection
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出了一种基于变换器的Siamese网络结构（简称ChangeFormer）的变化检测（CD）从一对共同注册的遥感图像。与目前基于全卷积网络（ConvNets）的CD框架不同，该方法将分层结构的Transformer编码器与多层感知（MLP）解码器结合在一个Siamese网络架构中，有效地呈现精确CD所需的多尺度长距离细节。在两个CD数据集上的实验表明，所提出的端到端可训练ChangeFormer架构比以前的同类产品具有更好的CD性能。我们的代码可在https://github.com/wgcban/ChangeFormer上获得。
2022-09-02 cs.CV
On the Effectiveness of Vision Transformers for Zero-shot Face Anti-Spoofing
Idiap Research Institute（Idiap研究所）
人脸识别系统对呈现攻击的脆弱性限制了其在安全关键场景中的应用。检测此类恶意尝试的自动方法对于安全使用面部识别技术至关重要。虽然已经提出了各种方法来检测这种攻击，但大多数方法都过拟合训练集，并且无法推广到看不见的攻击和环境。在这项工作中，我们使用迁移学习的视觉Transformer模型的zero-shot反欺骗任务。通过在公开数据集上的实验证明了该方法的有效性。所提出的方法在HQ-WMCA和SiW-M数据集中的zero-shot协议中的性能大大优于最先进的方法。此外，该模型在跨数据库性能方面也有很大的提高。
2021-06-02 cs.CV
Query-Guided Networks for Few-shot Fine-grained Classification and Person Search
Technical University of Munich（慕尼黑工业大学）；Sapienza University of Rome（罗马第一大学）；Magic Leap（Magic Leap公司）；Google（谷歌）
Few-Shot细粒度分类和人员搜索作为不同的任务出现，文献将它们分开处理。但仔细观察就会发现重要的相似之处：这两项任务都针对只能通过特定对象细节区分的类别;相关模型应该推广到新的类别，而不是在训练中看到。我们提出了一种新的统一的查询引导网络（QGN）适用于这两个任务。QGN由一个查询引导的Siamese-Squeeze-and-Excitation子网络组成，该子网络在所有网络层上重新加权查询和图库功能，一个用于查询特定本地化的查询引导区域建议子网络，以及一个用于度量学习的查询引导相似性子网络。QGN在最近的几个Few-Shot细粒度数据集上进行了改进，在CUB上的性能大大优于其他技术。QGN在人物搜索CUHK-SYSU和PRW数据集上也表现出竞争力，我们在那里进行了深入的分析。
2022-09-21 cs.CV
SiamTrans: Zero-Shot Multi-Frame Image Restoration with Pre-Trained Siamese Transformers
University of Science and Technology of China（中国科学技术大学）
我们提出了一种新的zero-shot多帧图像复原方法，用于去除在连续帧中变化的不必要的障碍元素（如雨，雪和莫尔图案）。它有三个阶段：Transformer预训练，zero-shot恢复，和硬补丁细化。使用预先训练的Transformers，我们的模型能够分辨出真实图像信息和遮挡元素之间的运动差异。对于zero-shot图像复原，我们设计了一种新的模型，称为SiamTrans，它是由Siamese Transformers，编码器和解码器构成的。每个Transformer都有一个时间注意层和几个自注意层，以捕获多个帧的时间和空间信息。仅在去噪任务上进行预训练（自我监督），SiamTrans在三个不同的低级别视觉任务（去噪，去噪和去噪）上进行测试。与相关方法相比，我们的方法取得了最好的性能，甚至优于那些与监督学习。
2021-12-17 cs.CV
A Transformer-Based Contrastive Learning Approach for Few-Shot Sign Language Recognition
Universidade Federal do Rio Grande do Norte（联邦大学-里约格朗德杜北州分校）；CESAR；Lenovo（联想）
针对单目视频或2D姿态序列的手语识别难题，提出基于对比Transformer的模型，学习身体关键点序列的丰富表示，支持训练中未见手语的单样本和少样本分类任务，在LSA64数据集上效果良好。
2026-07-07 cs.AI cs.CL cs.CV
Ablation study of self-supervised learning for image classification
Aristotle University（亚里士多德大学）
该项目的重点是卷积神经网络（CNN）和Transformer网络的图像识别任务的自监督训练。一个简单的暹罗网络，具有不同的骨干，以最大限度地提高相似性的两个增强变换图像从同一个源图像。通过这种方式，骨干能够在没有监督的情况下学习视觉信息。最后，在三个图像识别数据集上对该方法进行了评估。
2021-12-04 cs.CV
Matching Targets Across Domains with RADON, the Re-Identification Across Domain Network
Areté（阿雷特）
我们提出了一种新的卷积神经网络，学习匹配从不同的角度或不同的光学传感器拍摄的对象的图像。我们的跨域重新识别网络（RADON）对来自不同域的输入图像进行相似性评分。我们的方法扩展了以前在Siamese网络上的工作，并将其修改为更具挑战性的用例，包括低拍摄和无拍摄学习，其中特定目标的图像很少可用于训练。RADON在无镜头学习环境中的跨视角车辆匹配和跨域人员识别方面表现出强大的性能。
2021-05-25 cs.CV cs.LG
Multi-Object Grounding via Hierarchical Contrastive Siamese Transformers
University of Granada（格拉纳达大学）
针对3D场景多目标定位任务，提出分层对比孪生Transformer（H-COST），通过分层处理策略优化定位并引入对比孪生框架提升语义理解，在基准上性能超现有方法9.5%。
2025-04-14 cs.CV
Siamese Contrastive Embedding Network for Compositional Zero-Shot Learning
Xidian University（西安电子科技大学）
成分零次学习（Compositional Zero-Shot Learning，CNOL）的目的是在训练过程中识别由可见状态和对象形成的不可见成分。由于相同的态在与不同的物体纠缠时，在视觉上可能会有不同的表现，因此，量子纠缠仍然是一个具有挑战性的任务。一些方法使用两个训练好的分类器识别状态和对象，忽略了对象和状态之间的交互影响;另一些方法试图学习状态-对象组合的联合表示，导致可见和不可见组合集之间的域间隙。在本文中，我们提出了一种新的暹罗对比嵌入网络（SCEN）（代码：https：//github.com/XDUxyLi/SCEN-master），用于不可见成分识别。考虑到状态和对象之间的纠缠，我们将视觉特征嵌入到一个暹罗对比空间中，分别捕获它们的原型，减轻了状态和对象之间的相互作用。此外，我们设计了一个状态转换模块（STM），以增加训练成分的多样性，提高识别模型的鲁棒性。大量的实验表明，我们的方法显着优于三个具有挑战性的基准数据集，包括最近提出的C-QGA数据集的最先进的方法。
2022-06-29 cs.CV
Single Morphing Attack Detection using Siamese Network and Few-shot Learning
Hochschule Darmstadt（达姆施塔特应用科学大学）；TOC Biometrics Company（TOC生物识别公司）
人脸变形攻击的检测是一个具有挑战性的，并提出了一个具体的和严重的威胁，人脸验证系统。可靠的检测机制，这种攻击，已经测试了一个强大的跨数据库协议和未知的变形工具仍然是一个研究挑战。本文提出了一种基于Few-Shot-Learning方法的框架，该框架利用三重半硬丢失的siamese网络来共享图像信息，以解决变形攻击检测问题并提高聚类分类过程。该网络将真实或潜在变形的图像与变形和真实面部图像的三元组进行比较。我们的研究结果表明，这种新的网络聚类的数据点，并将它们分配到类，以获得较低的相等的出错率在一个跨数据库的情况下，共享只有少量的图像编号从一个未知的数据库。少样本学习有助于促进学习过程。使用FRGCv 2训练的交叉数据集并使用FERET和AMSL开放访问数据库进行测试的实验结果将BPCER 10从43%降低到4.91%，使用ResNet 50和MobileNetV 2的BPCER 10降低到5.50%。
2022-06-22 cs.CV
3D Siamese Transformer Network for Single Object Tracking on Point Clouds
Nanjing University of Science and Technology（南京理工大学）
基于Siamese网络的跟踪器将3D单个对象跟踪公式化为模板和搜索区域的点特征之间的互相关学习。由于跟踪过程中模板和搜索区域之间的外观变化很大，如何学习它们之间的鲁棒互相关来识别搜索区域中的潜在目标仍然是一个具有挑战性的问题。在本文中，我们显式地使用Transformer来形成一个三维Siamese Transformer网络，用于学习模板和点云搜索区域之间的鲁棒互相关。具体来说，我们开发了一个暹罗点Transformer网络来学习目标的形状上下文信息。该算法的编码器利用自注意力捕获点云的非局部信息来表征物体的形状信息，解码器利用交叉注意力对判别性点特征进行上采样。在此之后，我们开发了一个迭代的粗到细的相关网络来学习模板和搜索区域之间的鲁棒互相关。它制定了交叉特征增强相关联的模板与搜索区域中的潜在目标，通过交叉注意。为了进一步增强潜在目标，它采用自我特征增强，将自我注意力应用于特征空间的局部k-NN图以聚合目标特征。在KITTI，nuScenes和Waymo数据集上的实验表明，我们的方法在3D单对象跟踪任务上达到了最先进的性能。
2022-07-26 cs.CV
Siamese Network with Interactive Transformer for Video Object Segmentation
JD Explore Academy（京东探索研究院）
半监督视频对象分割（VOS）是指在给定第一帧中的目标对象的注释的情况下，在剩余的帧中分割目标对象，近年来得到了积极的研究。关键的挑战在于找到有效的方法来利用过去的帧的时空背景，以帮助学习当前帧的区别性目标表示。在本文中，我们提出了一种新的连体网络与专门设计的交互式Transformer，称为SITVOS，使有效的上下文传播从历史到当前帧。从技术上讲，我们使用Transformer编码器和解码器来分别处理过去帧和当前帧，即，编码器从过去的帧中编码目标对象的鲁棒时空上下文，而解码器将当前帧的特征嵌入作为查询，以从编码器输出中检索目标。为了进一步增强目标表示，设计了特征交互模块（feature interaction module，简称EIM）来促进编码器和解码器之间的信息流。此外，我们采用连体架构提取骨干功能的过去和当前帧，这使得功能重用，比现有的方法更有效。三个具有挑战性的基准测试的实验结果验证了SITVOS的优越性，国家的最先进的方法。
2021-12-28 cs.CV
SiamixFormer: a fully-transformer Siamese network with temporal Fusion for accurate building detection and change detection in bi-temporal remote sensing images
提出SiamixFormer连体模型，用灾后和灾前遥感图像作输入，有双编码器和分层变压器架构，通过时间变压器融合特征，能更好保持大感受野，在多数据集上检测性能优于现有模型。
2026-07-07 cs.AI cs.CV cs.LG
MASNet:Improve Performance of Siamese Networks with Mutual-attention for Remote Sensing Change Detection Tasks
Zhejiang Dahua technology Co., Ltd（浙江大华技术股份有限公司）；Zhejiang University（浙江大学）
暹罗网络广泛用于遥感变化探测任务。香草连体网络具有共享权重的两个相同的特征提取分支，这两个分支独立工作，并且特征图直到将要被发送到解码器头才被融合。然而，我们发现，这是至关重要的两个特征提取分支之间的信息交换在早期阶段的变化检测任务。在这项工作中，我们提出了相互注意连体网络（MASNet），一个通用的连体网络与相互注意插件，以便在两个特征提取分支之间交换信息。我们表明，我们的修改提高了连体网络在多个变化检测数据集上的性能，它适用于卷积神经网络和视觉Transformer。
2022-06-06 cs.AI cs.CV
A Universal Representation Transformer Layer for Few-Shot Image Classification
Mila（米拉研究所）；Australian AI Institute, UTS（澳大利亚人工智能研究所，悉尼科技大学）；McGill University（麦吉尔大学）；Google Research, Brain Team（谷歌研究院，大脑团队）
Few-Shot分类的目标是在只有少量样本的情况下识别未见过的类别。我们考虑多域Few-Shot图像分类的问题，其中看不见的类和例子来自不同的数据源。这个问题已经引起了越来越多的关注，并激发了元数据集等基准的开发。在这种多域设置中的一个关键挑战是有效地集成来自不同训练域集合的特征表示。在这里，我们提出了一个通用表示Transformer（URT）层，该层通过动态重新加权和组合最合适的特定于域的表示，来进行元学习，以利用通用特征进行Few-Shot分类。在实验中，我们表明，URT设置一个新的国家的最先进的元数据集的结果。具体而言，与竞争方法相比，它在最多的数据源上实现了最高性能。我们分析了URT的变体，并呈现了注意力得分热图的可视化，该热图揭示了模型如何执行跨领域泛化。我们的代码可在https://github.com/liulu112601/URT上获得。
2020-09-02 cs.CV cs.LG stat.ML
Multi-view Gait Recognition based on Siamese Vision Transformer
Yunnan Normal University（云南师范大学）
虽然视觉Transformer已被用于步态识别，但其在多视角步态识别中的应用仍然有限。不同视角对步态轮廓特征的提取和识别精度有显著影响。为了解决这个问题，本文提出了一个暹罗移动视觉Transformer（SMViT）。该模型不仅关注了人体步态空间的局部特征，而且考虑了远距离注意关联的特征，能够提取多维步态状态特征。此外，它描述了不同的视角如何影响步态特征，并生成可靠的视角特征关系因子。SMViT在CASIA B数据集上的平均识别率达到96.4%。实验结果表明，与步态GAN、多视角GAN、Posegait等先进的步态识别模型相比，SMViT具有更好的识别性能。
2022-10-19 cs.CV cs.LG
Improving Siamese Networks for One Shot Learning using Kernel Based Activation functions
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
缺乏大量的训练数据一直是机器学习中解决许多问题的制约因素，这使得One Shot Learning成为机器学习中最有趣的想法之一。它旨在从一个或仅几个训练样本中学习有关对象类别的信息。在深度学习中，这个学习过程通常是通过适当的目标函数（即损失函数）和嵌入提取（即架构）来完成的。在本文中，我们讨论了基于度量的深度学习架构，用于一次性学习，如Siamese神经网络，并提出了一种使用Kafnets（用于神经网络的基于内核的非参数激活函数）通过学习具有相对较少的epoch数的适当嵌入来提高其准确性的方法。使用内核激活函数，我们能够获得强有力的结果，在嵌入结构、收敛损失和准确性方面超过了基于ReLU的深度学习模型。
2019-10-22 cs.CV cs.LG
One-Shot Object Localization Using Learnt Visual Cues via Siamese Networks
Indian Institute of Science（印度科学学院）；Robert Bosch Center for Cyber-Physical Systems（罗伯特·博世信息物理系统研究中心）
一个能够在新的非结构化环境中工作的机器人必须能够识别新的、以前看不见的物体。在这项工作中，一个视觉提示是用来指定一个新的感兴趣的对象，必须在新的环境中本地化。一个端到端的神经网络配备了一个暹罗网络用于学习线索，推断感兴趣的对象，然后将其定位在新的环境。我们表明，一个模拟的机器人可以拾取和放置新的对象指向激光笔。我们还评估了所提出的方法在来自Omniglot手写字符数据集和小玩具数据集的数据集上的性能。
2020-12-26 cs.CV cs.LG cs.RO
MAST: Video Polyp Segmentation with a Mixture-Attention Siamese Transformer
Northwestern Polytechnical University（西北工业大学）；Australian National University（澳大利亚国立大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Harbin Institute of Technology（哈尔滨工业大学）
针对结肠镜视频中长程时空关系建模难题，提出MAST孪生Transformer，通过混合注意力融合帧内与帧间信息，在SUN-SEG上取得优于前沿方法的视频息肉分割性能。
2024-01-23 cs.CV
SQ-Swin: a Pretrained Siamese Quadratic Swin Transformer for Lettuce Browning Prediction
University of Massachusetts（马萨诸塞大学）；University of Florida（佛罗里达大学）；United States Department of Agriculture（美国农业部）
包装鲜切生菜因其营养价值高、新鲜、食用方便等特点，被广泛用作蔬菜沙拉的主要成分。然而，生菜切割边缘上的酶促褐变变色显著降低了产品质量和货架期。虽然有许多研究和育种工作正在进行中，以尽量减少褐变，但由于缺乏快速可靠的方法来评估褐变，这一进展受到阻碍。目前识别和量化褐变的方法要么过于主观，劳动密集，要么不准确。在本文中，我们报告了一个用于生菜褐变预测的深度学习模型。据我们所知，这是第一个使用预训练的Siamese Quadratic Swin（SQ-Swin）Transformer进行莴苣褐变预测的深度学习，具有几个亮点。首先，我们的模型在Transformer模型中包括二次特征，该模型比线性Transformer模型更强大，可以结合真实世界的表示。其次，提出了一种多尺度训练策略来增强数据并探索生菜图像的更多内在自相似性。第三，该模型采用连体结构，学习有限的训练样本之间的相互关系。第四，模型在ImageNet上进行预训练，然后使用爬行动物Meta学习算法进行训练，以学习比常规梯度更高阶的梯度。在鲜切生菜数据集上的实验结果表明，SQ-Swin算法的性能优于传统方法和其他基于深度学习的主干算法.
2022-09-16 cs.CV
Siamese Transformer Pyramid Networks for Real-Time UAV Tracking
New York University（纽约大学）
最近的对象跟踪方法依赖于深度网络或卷积架构。这些跟踪器大多难以满足移动平台上计算资源有限的实时的【形】处理要求。在这项工作中，我们介绍了Siamese Transformer Pyramid Network（SiamTPN），它继承了CNN和Transformer架构的优点。具体来说，我们利用轻量级网络（ShuffleNetV2）的固有特征金字塔，并使用Transformer对其进行增强，以构建一个强大的特定于目标的外观模型。一个集中式的架构与横向交叉注意力的开发建设增强的高层次的特征地图。为了避免在使用Transformer融合金字塔表示时的计算和内存强度，我们进一步引入了池化注意模块，该模块在提高鲁棒性的同时显著降低了内存和时间复杂度。在空中和普遍的跟踪基准上进行的综合实验在高速运行时取得了有竞争力的结果，证明了SiamTPN的有效性。此外，我们最快的变体跟踪器在单个CPU核心上运行超过30 Hz，并在LaSOT数据集上获得58.1%的AUC得分。源代码可在https://github.com/RISCNYUAD/SiamTPNTracker上获得
2021-10-17 cs.CV cs.RO
One-Shot Instance Segmentation
University of Tübingen（图宾根大学）
我们解决了一次性实例分割的问题：给定一个新的，以前未知的对象类别的示例图像，在一个复杂的场景中找到并分割该类别的所有对象。为了解决这个具有挑战性的新任务，我们提出了Siamese Mask R-CNN。它通过对参考图像和场景进行编码的Siamese主干扩展了Mask R-CNN，使其能够对参考类别进行目标检测和分割。我们在MS Coco上展示了实证结果，突出了一次性设置的挑战：虽然将有关实例分割的知识转移到新的对象类别效果很好，但将检测网络定位到参考类别似乎更困难。我们的工作提供了第一个强有力的基线单镜头实例分割，并有望激发进一步研究更强大和灵活的景物分析算法。代码可在：https://github.com/bethgelab/siamese-mask-rcnn
2019-05-28 cs.CV
Dual-Tasks Siamese Transformer Framework for Building Damage Assessment
United Nations Satellite Centre（联合国卫星中心）
关于建筑物受损程度的准确和精细信息对于人道主义救济和救灾至关重要。然而，作为遥感解译任务中最常用的结构，卷积神经网络（CNN）对像素间非局部关系的建模能力有限。最近，Transformer体系结构首次提出用于在自然语言处理中建模长距离依赖，在计算机视觉任务中显示出有希望的结果。考虑到Transformer体系结构在计算机视觉领域的前沿进展，本文首次尝试设计一种基于Transformer的损伤评估体系结构（DamFormer）。在DamFormer中，首先构造了一个连体Transformer编码器，从输入的多时相图像对中提取非局部和代表性的深度特征。然后，设计了一个多时间融合模块，用于融合下游任务的信息。最后，一个轻量级的双任务解码器聚合多级特征进行最终预测。据我们所知，这是第一次提出这样一个基于transformer的深度网络用于多时相遥感解译任务。在大规模损伤评估数据集xBD上的实验结果证明了基于transformer的架构的潜力。
2022-05-28 cs.CV cs.LG eess.IV
IFSS-Net: Interactive Few-Shot Siamese Network for Faster Muscle Segmentation and Propagation in Volumetric Ultrasound
École Centrale de Nantes（南特中央理工学院）；Université de Nantes（南特大学）
我们提出了一个准确，快速和有效的方法分割和肌肉掩模传播的三维徒手超声数据，对准确的体积量化。部署了一个深度的Siamese 3D编码器-解码器网络，该网络捕获连续切片的肌肉外观和形状的演变。我们使用它来传播由临床专家注释的参考掩码。为了处理整个体积上的肌肉形状的较长变化并提供准确的传播，我们设计了双向长短期记忆模块。此外，训练我们的模型与最小量的训练样本，我们提出了一种策略相结合的学习从几个注释的二维超声切片与顺序伪标记的未注释的切片。我们引入了一个递减更新的目标函数，以指导模型的收敛，在没有大量的注释数据。在使用少量卷进行训练后，递减更新从弱监督训练过渡到Few-Shot设置。最后，为了处理前景和背景肌肉像素之间的类别不平衡，我们提出了一个参数Tversky损失函数，该函数学习自适应地惩罚假阳性和假阴性。我们验证了我们的方法的分割，标签传播，和体积计算的三个下肢肌肉的数据集上的61600图像从44个科目。我们实现了超过$95~\%$的Dice评分系数和体积误差\textcolor{black}{of} $1.6035 \pm 0.587~\%$。
2021-01-30 cs.AI cs.CV cs.LG
Siamese Neural Networks for One-shot detection of Railway Track Switches
General Electric（通用电气）
深度学习方法已被广泛用于分析视频数据，以通过对图像帧进行分类和检测对象来提取有价值的信息。我们描述了一种独特的方法，用于使用来自移动机车的视频馈送来连续监控铁路轨道并检测轨道上的开关等重要资产。这里使用的技术称为Siamese Networks，它使用两个相同的网络来学习两个图像之间的相似性。在这里，我们将使用一个连体网络来连续比较轨迹图像，并检测轨迹中的任何显著差异。开关将是这些图像之一，将是不同的，我们将找到一个映射，清楚地区分开关从其他可能的轨道异常。然后，将相同的方法扩展到检测铁路轨道上的任何异常。铁路运输是独一无二的，因为它有轮式车辆，火车由机车牵引，在导轨上以接近每小时200英里的高速运行。铁路网络上的多条轨道使用称为道岔或道岔的设备相互连接。道岔可以手动操作，也可以通过控制中心的命令自动操作，它控制列车在网络不同轨道上的运动。这些道岔的准确定位对于铁路来说非常重要，并且获得它们在现场的真实状态是重要的。现代列车使用面向轨道的高清摄像机，连续记录轨道视频。利用Siamese网络，并与基准图像进行比较，我们描述了一种方法来监测跟踪和突出异常。
2017-12-21 cs.CV
GLT-T++: Global-Local Transformer for 3D Siamese Tracking with Ranking Loss
本文提出GLT-T与增强版GLT-T++，通过全局-局部Transformer增强种子点投票，并以目标感知和定位感知排序损失优化3D建议排序，在点云单目标跟踪上达到领先精度且保持实时速度。
2023-12-17 cs.CV
Learning to Balance: Decoupled Siamese Diffusion Transformer for Reference-Based Remote Sensing Image Super-Resolution
Tsinghua Shenzhen International Graduate School, Shenzhen, China（清华大学深圳国际研究生院）；Sun Yat-sen University, Zhuhai, China（中山大学）；National Supercomputing Center in Shenzhen, Shenzhen, China（深圳国家超算中心）；Tsinghua University, Beijing, China（清华大学）
本文提出DS-DiT解耦孪生扩散变换器，通过在注意力层面解耦低分辨率和参考信息交互，解决参考基于超分辨率中参考信息依赖过重和利用不足的问题，提升生成质量。
2026-06-29 cs.CV
CovidExpert: A Triplet Siamese Neural Network framework for the detection of COVID-19
Shahjalal University of Science and Technology（沙赫贾拉勒科技大学）
感染COVID-19的患者可能会出现肺炎样症状以及可能损害肺部的呼吸系统问题。根据医学图像，可以使用各种机器学习方法来准确地识别和预测冠状病毒疾病。大多数已发表的机器学习方法可能需要大量的超参数调整，并且不适合小数据集。少样本学习算法通过利用相对小的数据集中的数据，旨在减少对大数据集的需求。这启发我们开发了一个少样本学习模型，用于早期检测COVID-19，以减少这种危险疾病的后效应。所提出的架构结合了少样本学习与预训练的卷积神经网络的集合，从CT扫描图像中提取特征向量进行相似性学习。提出的三重连体网络作为少样本学习模型，将CT扫描图像分为正常、COVID-19和社区获得性肺炎。建议的模型达到了98.719%的总体准确性，99.36%的特异性，98.72%的灵敏度，和ROC评分为99.9%，只有200 CT扫描每个类别的训练数据。
2023-02-17 cs.CV cs.LG
Application of attention-based Siamese composite neural network in medical image recognition
College of Computer Science and Electronic Engineering（计算机与电子工程学院）；Hunan University（湖南大学）；College of Material Science and Engineering（材料科学与工程学院）；School of Basic Education（基础教育学院）；Changsha Aeronautical Vocational and Technical College（长沙航空职业技术学院）
针对少样本医学图像识别难题，提出基于注意力的孪生复合神经网络，通过孪生网络和注意力机制提升分类效果，在Covid-19肺部样本上验证了少样本下的优势。
2024-03-15 cs.CV eess.IV
Siamese Vision Transformers are Scalable Audio-visual Learners
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出音视频孪生网络AVSiam，用单一共享ViT骨干同时处理音频和视觉输入，结合多比例随机掩码的对比预训练，在AudioSet和VGGSound上以更高参数效率取得有竞争力的分类与检索性能。
2024-03-28 cs.CV cs.SD eess.AS
T-SiamTPN: Temporal Siamese Transformer Pyramid Networks for Robust and Efficient UAV Tracking
Department of Electrical Engineering, Amirkabir University of Technology (AUT)（电气工程系，阿米尔卡比尔技术大学）；Qatar Computing Research Institute Hamad Bin Khalifa University（卡塔尔计算研究所，哈马德·本·卡西姆大学）
本文提出T-SiamTPN，通过引入时序特征融合和注意力交互扩展SiamTPN架构，解决了无人机跟踪中的时序依赖和非线性外观变化问题，在Jetson Nano上实现7.1 FPS实时运行，成功率和精度分别提升13.7%和14.7%。
2025-09-16 cs.CV
SARAS-Net: Scale and Relation Aware Siamese Network for Change Detection
National Yang Ming Chiao Tung University（国立阳明交通大学）
变化检测（CD）的目的是发现不同时间的两幅图像之间的差异，并输出一个变化图来表示区域是否发生了变化。为了在生成变化图时实现更好的结果，许多最先进的（SoTA）方法设计了具有强大区分能力的深度学习模型。然而，这些方法仍然得到较低的性能，因为它们忽略了空间信息和对象之间的缩放变化，从而导致模糊或错误的边界。除此之外，他们还忽略了两个不同图像的交互信息。为了缓解这些问题，我们提出了我们的网络，规模和感知暹罗网络（SARAS-Net）来处理这个问题。在本文中，提出了三个模块，包括关系感知，尺度感知，和交叉变换，以更有效地解决场景变化检测的问题。为了验证我们的模型，我们测试了三个公共数据集，包括LEVIR-CD，WHU-CD和DSFIN，并获得了SoTA的准确性。我们的代码可在https://github.com/f64051041/SARAS-Net上获得。
2022-12-02 cs.AI cs.CV
Dual Cross-Attention Siamese Transformer for Rectal Tumor Regrowth Assessment in Watch-and-Wait Endoscopy
Total Neoadjuvant Treatment (TNT)（总新辅助治疗）；Watch-and-Wait (WW) surveillance（观察等待（WW）监视）；Swin Transformer（Swin变压器）；Dual Cross-Attention (SSDCA)（双交叉注意力（SSDCA））
提出双交叉注意力孪生Swin Transformer（SSDCA），结合再分期和随访内镜图像区分临床完全缓解与局部再生长，在62名患者上实现81.76%平衡准确率。
2026-06-15 cs.CV
CrossFi: A Cross Domain Wi-Fi Sensing Framework Based on Siamese Network
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；School of Electronic Information（电子信息学院）
针对 Wi-Fi 感知中的域偏移与数据稀缺问题，提出基于孪生网络的 CrossFi，利用 CSi-Net 注意力相似度建模和 Weight-Net 类别模板，在域内、少样本、零样本及新类别场景取得最优结果。
2025-02-14 cs.AI cs.CV cs.LG
SDR-Former: A Siamese Dual-Resolution Transformer for Liver Lesion Classification Using 3D Multi-Phase Imaging
Deepwise Healthcare（深睿医疗）；Sir Run Run Shaw Hospital, Zhejiang University School of Medicine（浙江大学医学院附属邵逸夫医院）；Ningbo Medical Center Lihuili Hospital（宁波医疗中心李惠利医院）；The University of Hong Kong（香港大学）
本文提出SDR-Former框架，结合暹罗网络、双分辨率Transformer和自适应期相选择模块，用于多期相CT/MR肝脏病变分类，并在两个临床数据集上验证其有效性，同时公开首个多期相MR数据集。
2024-02-27 cs.CV cs.LG eess.IV
A Deep Siamese Network for Scene Detection in Broadcast Videos
Università degli Studi di Modena e Reggio Emilia（摩德纳-雷焦艾米利亚大学）
我们提出了一个模型，通过学习镜头之间的距离测量自动将广播视频划分为连贯的场景。实验证明我们的方法的有效性，通过比较我们的算法对最近的建议自动场景分割。我们还提出了一个改进的性能指标，旨在减少数值评估和预期结果之间的差距，并提出和发布一个新的基准数据集。
2015-10-29 cs.CV cs.MM
SiaTrans: Siamese Transformer Network for RGB-D Salient Object Detection with Depth Image Classification
Shandong University of Science and Technology（山东科技大学）
RGB-D SOD使用深度信息来处理具有挑战性的场景并获得高质量的显着性图。现有的最先进的RGB-D显著性检测方法压倒性地依赖于直接融合深度信息的策略。虽然这些方法通过各种跨模态融合策略提高了显著性预测的准确性，但一些质量较差的深度图像提供的错误信息会影响显著性预测结果。为了解决这个问题，本文提出了一种新的RGB-D显著目标检测模型（SiaTrans），它允许在训练SOD的同时训练深度图像质量分类。鉴于RGB和深度图像之间关于显著对象的共同信息，SiaTrans使用具有共享权重参数的Siamese Transformer网络作为编码器，并提取在批次维度上级联的RGB和深度特征，从而在不影响性能的情况下节省空间资源。SiaTrans在骨干网络（T2 T-ViT）中使用Class令牌来对深度图像的质量进行分类，而不会阻止令牌序列继续执行显著性检测任务。基于变换器的跨模态融合模块（CMF）可以有效地融合RGB和深度信息。在测试过程中，CMF可以根据深度图像的质量分类信号选择融合跨模态信息或增强RGB信息。我们设计的CMF和解码器的最大好处是保持了RGB和RGB-D信息解码的一致性：SiaTrans在测试时根据分类信号在相同的模型参数下解码RGB-D或RGB信息。在9个RGB-D SOD基准数据集上的综合实验表明，与现有方法相比，SiaTrans具有最好的整体性能和最少的计算量。
2022-07-09 cs.CV cs.LG
One-Shot learning based classification for segregation of plastic waste
Department of Computer Science BITS Pilani Hyderabad（比拉理工学院海得拉巴校区计算机科学系）；Department of Chemical Engineering IIT Bombay（印度理工学院孟买分校化学工程系）
对许多国家来说，可回收废物的分类问题相当艰巨。本文提出了一种基于图像的塑料垃圾分类方法，使用一次性学习技术。所提出的方法利用通过连体和三重损失卷积神经网络产生的判别特征，以帮助区分5种类型的塑料废物的基础上，他们的树脂代码。该方法在WaDaBa数据库上取得了99.74%的准确率
2020-09-29 cs.AI cs.CV
Correlation-Embedded Transformer Tracking: A Single-Branch Framework
Shanghai Jiao Tong University（上海交通大学）；Southeast University（东南大学）；Microsoft Research Asia（微软亚洲研究院）；Eastern Institute of Technology（东方理工大学）
本文提出单分支Transformer跟踪框架SBT及其改进版SuperSBT，通过多层跨图像特征相关嵌入实现目标感知特征提取，并在多个基准上显著提升精度与速度。
2024-09-03 cs.CV
Siamese Encoding and Alignment by Multiscale Learning with Self-Supervision
Princeton University（普林斯顿大学）
我们提出了一种将源图像对齐到目标图像的方法，其中变换由稠密向量场指定。这两个图像通过连体卷积网络编码为特征层次。然后，对准器模块的层次结构以粗略到精细的递归计算变换。每个模块接收由在上面的级别处的模块计算的变换作为输入，在层次结构的相同级别处对齐源和目标编码，并且然后使用卷积网络来计算对变换的改进的近似。编码器和对准器网络的整个架构以自我监督的方式进行训练，以最小化对准后剩余的源和目标之间的平方误差。我们发现，连体编码比SPyNet的图像金字塔更准确地对齐，SPyNet是一种以前的深度学习方法，可以进行从粗到细的对齐。此外，与强监督SPyNet不同，即使没有转换的目标值，自监督也适用。我们还表明，我们的方法优于一次性方法对齐，因为在后者的方法中的精细路径可能无法有助于对齐精度时，位移是大的。如先前的单次方法所示，来自自监督学习的良好结果需要损失函数另外惩罚非平滑变换。我们证明，“掩蔽”的惩罚函数附近的不连续性，导致正确的恢复非光滑变换。我们的主张得到了使用脑组织连续切片电子显微镜图像的经验比较的支持。
2019-04-04 cs.CV
A Mamba-based Siamese Network for Remote Sensing Change Detection
Johns Hopkins University（约翰斯·霍普金斯大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
针对遥感图像变化检测任务，提出基于Mamba的变化检测器M-CD，凭借线性训练效率与更优感受野，在四个常用数据集上性能超越现有SOTA方法。
2024-07-08 cs.CV
Multi-Correlation Siamese Transformer Network with Dense Connection for 3D Single Object Tracking
Zhengzhou University（郑州大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Nullmax Inc（Nullmax公司）
针对稀疏激光雷达点云下三维跟踪的分支相关性学习难题，提出多阶段多相关孪生Transformer网络，结合密集连接与深度监督，在多个主流数据集上取得优于现有最优方法的跟踪性能。
2023-12-18 cs.CV cs.RO
CreatiLayout: Siamese Multimodal Diffusion Transformer for Creative Layout-to-Image Generation
Institute of Trustworthy Embodied AI（可信具身人工智能研究院）；Fudan University（复旦大学）；Shanghai Collaborative Innovation Center of Intelligent Visual Computing（上海智能视觉计算协同创新中心）；Bytedance Intelligent Creation（字节跳动智能创作）
针对现有布局到图像生成方法局限于UNet模型的问题，提出CreatiLayout，通过孪生多模态扩散Transformer高效融合布局、图像和文本，并构建大规模数据集LayoutSAM与布局设计器，实现高质量可控的创意布局图像生成。
2025-08-06 cs.CV
SAFE: a SAR Feature Extractor based on self-supervised learning and masked Siamese ViTs
ONERA（法国航空航天研究院）；Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（中央理工高等电力学院）
本文提出基于掩码孪生视觉Transformer的自监督SAR特征提取器SAFE，利用对比学习和SAR专用增强技术，在少样本分类与分割等任务中达到或超越现有方法。
2024-06-30 cs.CV eess.IV
Modeling Time Series Similarity with Siamese Recurrent Networks
Delft University of Technology（代尔夫特理工大学）；Facebook AI Research（脸书人工智能研究院）
测量时间序列之间相似性的传统技术是基于手工制作的相似性度量，而最近基于学习的方法无法利用外部监督。我们结合了时间序列建模和度量学习的思想，并研究了siamese递归网络（SRN），该网络最大限度地减少了分类损失，以学习时间序列之间的良好相似性度量。具体来说，我们的方法学习每个时间序列的向量表示，以这样一种方式，类似的时间序列由类似的表示建模，不同的时间序列由不同的表示建模。因为它是一个相似性预测模型，所以SRN特别适合于具有挑战性的场景，例如签名识别，其中每个人都是一个单独的类，每个类的例子很少。我们展示了潜在的优点，SRN在域内和域外的分类实验，并在一次性学习实验的任务，如签名，语音和手语识别。
2016-03-15 cs.CV
