FLUID: Training-Free Face De-identification via Latent Identity Substitution
Kyungpook National University(庆尚国立大学)
FLUID通过在预训练扩散模型的潜在空间中直接替换身份特征,实现了无需训练的面部去标识化,有效平衡了身份抑制与属性保持。
2026-01-06 cs.AI cs.CV
ConMAE: Contour Guided MAE for Unsupervised Vehicle Re-Identification
Chang’an University(长安大学);National University of Singapore(新加坡国立大学)
车辆再识别是一个跨视角的搜索任务,通过匹配同一目标车辆从不同的角度。它在道路车辆协作和智能道路控制中发挥着重要作用。随着道路环境的大规模和动态变化,有监督的车辆重新识别的范例显示有限的可扩展性,因为严重依赖于大规模的注释数据集。因此,具有更强跨场景泛化能力的无监督车辆再识别受到了更多的关注。考虑到Masked Autoencoder(MAE)在自监督学习中表现出出色的性能,本文设计了一种轮廓引导的用于无监督车辆重识别(ConMAE)的掩码自编码器,其灵感来自于提取信息丰富的轮廓线索来突出显示跨视图关联的关键区域。ConMAE通过保留具有轮廓像素的图像块并随机掩蔽具有平滑纹理的块来实现。此外,为了提高车辆伪标签的质量,实现无监督重识别,设计了标签软化策略,并随着训练步长的增加自适应地更新标签。在VeRi-776和VehicleID数据集上进行了实验,并与现有的无监督车辆识别方法进行了比较,结果表明该方法在识别性能上有了显著的提高。该守则可在https://github.com/2020132075/ConMAE网站上查阅。
2023-02-11 cs.CV
Learning Deep Feature Representations with Domain Guided Dropout for Person Re-identification
The Chinese University of Hong Kong(香港中文大学)
对于同一问题,使用来自多个域的数据学习通用和鲁棒的特征表示具有很大的价值,特别是对于具有多个数据集但没有一个数据集足够大以提供丰富的数据变化的问题。在这项工作中,我们提出了一个使用卷积神经网络(CNN)从多个域学习深度特征表示的管道。当用来自所有领域的数据训练CNN时,一些神经元学习跨多个领域共享的表示,而另一些神经元仅对特定领域有效。基于这一重要的观察,我们提出了一个域引导丢弃算法,以改善特征学习过程。实验证明了该流水线和算法的有效性。我们的方法在人员重新识别问题上的表现远远优于多个数据集上的最先进方法。
2016-04-26 cs.CV
STADB: A Self-Thresholding Attention Guided ADB Network for Person Re-identification
Anhui University(安徽大学);Peng Cheng Laboratory(鹏城实验室)
最近,批量DropBlock网络(BDB)已经证明了其有效性的人的图像表示和重新识别任务,通过特征擦除。但是,BDB删除了可能导致次优结果的功能\textbf{randomly}。在本文中,我们提出了一种新的自我保持注意力引导的自适应DropBlock网络(STADB)的人重新识别,它可以\textbf{adaptively}删除最具歧视性的区域。具体来说,STADB首先通过通道池化获得注意力图,并通过对注意力图进行阈值化来返回丢弃掩码。然后,将输入特征和自阈值化注意力引导丢弃掩模相乘以生成丢弃的特征图。此外,STADB利用空间和通道的注意力来学习一个更好的特征图,并迭代训练的特征丢弃模块的人re-ID。几个基准数据集上的实验表明,提出的STADB优于许多其他相关的方法的人re-ID。本文的源代码发布在:\textcolor{red}{\url{https://github.com/wangxiao5791509/STADB_ReID}}。
2021-08-19 cs.CV
Cluster-guided Asymmetric Contrastive Learning for Unsupervised Person Re-Identification
Beijing University of Posts and Telecommunications(北京邮电大学)
无监督的人再识别(Re-ID)的目的是匹配行人图像从不同的相机视图在无监督的设置。现有的无监督人Re-ID方法通常建立在聚类的伪标签上。然而,聚类的质量在很大程度上取决于学习的特征的质量,这些特征绝大多数由图像中的颜色主导,特别是在无监督设置中。在本文中,我们提出了一个引导的非对称对比学习(CACL)方法的无监督的人的Re-ID,其中集群结构的杠杆作用,以指导在一个适当设计的非对称对比学习框架的特征学习。具体来说,我们提出了一种新的集群级对比损失,以帮助暹罗网络有效地挖掘特征学习的不变性相对于不同的数据增强视图内和之间的集群结构,分别。在三个基准数据集上进行的大量实验表明,我们的建议具有优越的性能。
2022-05-09 cs.CV
Pose-guided Inter- and Intra-part Relational Transformer for Occluded Person Re-Identification
State Key Laboratory of Virtual Reality Technology and Systems, SCSE, Beihang University(北京航空航天大学计算机学院虚拟现实技术与系统国家重点实验室);Peng Cheng Laboratory(鹏城实验室)
由于行人可能被部分遮挡,因此遮挡场景下的人员重新识别(Re-Id)是一个具有挑战性的问题。利用局部信息进行特征提取和匹配仍然是必要的。因此,我们提出了一个姿势引导的内部和内部的关系Transformer(Pirt)闭塞的人Re-Id,建立部分意识到的长期相关性,通过引入Transformers。在我们的框架中,我们首先开发了一个姿势引导的特征提取模块,区域分组和面具建设鲁棒的特征表示。监控场景下行人在图像中的位置相对固定,因此我们提出了一种部分内和部分间的关系Transformer。部件内模块创建与掩模引导特征的局部关系,而部件间关系建立与Transformers的相关性,以开发部件节点之间的交叉关系。通过协作学习部分间和部分内关系,实验表明,我们提出的Pirt模型在公共遮挡数据集上达到了新的技术水平,并且在标准非遮挡人Re-Id数据集上的进一步扩展也显示了我们的可比性能。
2021-09-08 cs.CV
Confidence-guided Centroids for Unsupervised Person Re-Identification
University of Warwick(华威大学);Huawei(华为);Tsinghua University(清华大学);Aberystwyth University(阿伯里斯特威斯大学)
无监督身份再识别(ReID)的目标是训练一个特征提取器,用于在不利用身份标签的情况下进行身份检索。由于对不完美聚类结果的盲目信任,学习不可避免地被不可靠的伪标签所误导。虽然伪标签细化已经在以前的作品中进行了研究,但它们通常利用辅助信息,如摄像机ID和身体部位预测。这项工作探讨了集群的内部特征,以完善伪标签。为此,置信度引导质心(CGC)被提出来提供可靠的集群式特征学习的原型。由于具有高置信度的样本专门涉及质心的形成,因此低置信度样本的身份信息,即,边界样本不太可能对相应的质心有贡献。给定新的质心,当前的学习方案,其中样本被强制只从其分配的质心学习,是不明智的。为了补救这种情况,我们建议使用置信度引导的伪标签(CGL),这使得样本不仅接近最初分配的质心,而且接近其他可能嵌入其身份信息的质心。通过置信度引导的质心和标签,我们的方法产生了与最先进的伪标签细化工作相当的性能,甚至优于这些工作,这些工作主要利用辅助信息。
2022-11-22 cs.CV
Orientation-aware Vehicle Re-identification with Semantics-guided Part Attention Network
National Taiwan University(台湾大学)
车辆重新识别(re-ID)的重点是在不同的摄像头之间匹配同一车辆的图像。这从根本上是一个挑战,因为车辆之间的差异有时是微妙的。虽然有几项研究采用了空间注意力机制来帮助车辆重新识别,但它们通常需要昂贵的关键点标签,或者如果没有使用昂贵的标签进行训练,则会受到噪声注意力掩模的影响。在这项工作中,我们提出了一个专用的语义引导的部分注意力网络(SPAN),以鲁棒地预测部分注意力掩模的车辆在训练过程中只给出图像级别的语义标签的不同视图。在部分注意力掩模的帮助下,我们可以分别提取每个部分的区别特征。然后,我们介绍了共现部分注意距离度量(CPDM),其中更强调的是共现车辆部件时,评估两幅图像的特征距离。大量的实验验证了所提出的方法的有效性,并表明我们的框架优于国家的最先进的方法。
2020-10-12 cs.CV
Semantics-Guided Clustering with Deep Progressive Learning for Semi-Supervised Person Re-identification
National Taiwan University(台湾大学);Carnegie Mellon University(卡内基梅隆大学)
人员重新识别(re-ID)需要在摄像机视图中匹配同一个人的图像。作为一个更具挑战性的任务,半监督重新ID解决的问题,只有一些身份在训练数据是完全标记,而其余的是未标记的。假设这种标记和未标记的训练数据共享不相交的身份标签,我们提出了一种新的语义引导聚类与深度渐进学习(SGC-DPL)框架,以联合利用上述数据。通过提出语义引导的相似性传播(SG-AP),我们能够在标记数据的语义指导下,以渐进的方式为选定的未标记数据分配伪标签。因此,我们的方法能够在半监督设置中增加标记的训练数据。我们对两个大规模的人重新ID基准测试的实验表明,我们的SGC-DPL在不同程度的监督下优于最先进的方法。在扩展中,我们的SGC-DPL的泛化能力也在其他任务中得到了验证,如车辆重新识别或半监督设置的图像检索。
2020-10-02 cs.CV
Spectrum-guided Feature Enhancement Network for Event Person Re-Identification
针对事件流噪声大且语义稀疏导致行人重识别困难的问题,提出SFE-Net网络,通过多粒度频谱注意力机制和连续补丁丢弃模块有效过滤噪声并捕获鲁棒行人特征,实现最佳性能。
2024-12-23 cs.CV
SPOT-Face: Forensic Face Identification using Attention Guided Optimal Transport
Vision Intelligence and Machine Learning (VIML) Group(视觉智能与机器学习组);School of Computing and Electrical Engineering (SCEE)(计算与电气工程学院);Indian Institute of Technology Mandi (IIT Mandi)(印度理工学院曼迪分校)
SPOT-Face通过注意力引导最优传输机制,实现跨域法医面部识别,提升骨骼和草图与面部的匹配效果。
2026-01-14 cs.CV
Source-Guided Similarity Preservation for Online Person Re-Identification
Télécom Paris, Institut Polytechnique de Paris(巴黎综合理工学院电信学院);Atos(源讯公司)
本文提出源引导相似性保持(S2P)框架,通过构建最大化目标相似性的源图像支持集来保持特征相似性,以缓解在线无监督域适应行人重识别中的灾难性遗忘和域偏移问题,并在多个基准上取得领先性能。
2024-02-23 cs.CV
Pose-guided Feature Disentangling for Occluded Person Re-identification Based on Transformer
被遮挡的人的重新识别是一项具有挑战性的任务,因为在某些场景中,人体部位可能被一些障碍物(例如树木,汽车和行人)遮挡。现有的一些姿势引导方法通过图匹配来对齐身体部位来解决这个问题,但是这些基于图的方法不直观且复杂。因此,我们提出了一种基于变换器的姿势引导的特征解纠缠(PFD)方法,利用姿势信息,以清楚地解开语义组件(如人体或关节部位),并有选择地匹配相应的非遮挡部分。首先,利用视觉Transformer(ViT)强大的图像特征提取能力对图像进行特征提取。其次,在姿态引导的特征聚合模块中,利用匹配和分发机制,初步将姿态信息从面片信息中分离出来。第三,在Transformer解码器中引入了一组可学习的语义视图,以隐式地增强分解的身体部位特征。但是,如果没有额外的监督,这些语义视图不能保证与主体相关。因此,提出了姿态-视图匹配(PVM)模块来显式匹配可见的身体部位,并自动分离遮挡特征。第四,为了更好地防止遮挡的干扰,我们设计了一个姿势引导的Push Loss,以强调可见的身体部位的特征。针对两个任务(遮挡和整体Re-ID)的五个具有挑战性的数据集进行的广泛实验表明,我们提出的PFD具有优越的前景,与最先进的方法相比表现良好。代码可在https://github.com/WangTaoAs/PFD_Net上获得
2021-12-11 cs.CV
Attribute-guided Feature Learning Network for Vehicle Re-identification
Dalian Maritime University(大连海事大学)
车辆再识别(reID)在城市监控视频的自动分析中起着重要作用,近年来已成为一个研究热点。然而,由于车辆视角的多样性、照明的多样性和环境的复杂性,这就提出了一个严峻而具有挑战性的问题。目前,大多数车辆识别方法都是通过学习度量或集成来获得更好的表示,这些方法只考虑车辆的标识标签。然而,包含详细描述的车辆属性有利于训练reID模型。因此,本文提出了一种新的属性引导网络(AGNet),它可以学习全局表示与丰富的属性特征,在一个端到端的方式。特别地,在AGNet中提出了一个属性引导模块来生成属性掩码,该属性掩码可以反向引导类别分类中的鉴别特征的选择。此外,在我们提出的AGNet中,基于属性的标签平滑(ALS)损失,提出了更好的训练的reID模型,它可以加强车辆reID模型的区别能力,根据属性规则化AGNet模型。综合实验结果清楚地表明,我们的方法在VehicleID数据集和VeRi-776数据集上都取得了优异的性能。
2020-01-12 cs.CV
Person Re-identification with Deep Similarity-Guided Graph Neural Network
CUHK-SenseTime Joint Lab, The Chinese University of Hong Kong(香港中文大学–商汤联合实验室,香港中文大学);SenseTime Research(商汤科技研究院)
人物重新识别任务要求鲁棒地估计人物图像之间的视觉相似性。然而,现有的人物再识别模型大多独立地估计探针图像和图库图像的不同图像对之间的相似性,而忽略了不同探针-图库图像对之间的关系信息。因此,一些硬样本的相似性估计可能不准确。在本文中,我们提出了一种新的深度学习框架,称为相似性引导的图神经网络(SGGNN),以克服这些限制。给定一个探针图像和几个图库图像,SGGNN创建一个图来表示探针-图库对(节点)之间的成对关系,并利用这种关系以端到端的方式更新探针-图库关系特征。通过使用这种更新的探针库关系特征进行预测,可以实现准确的相似性估计。图上节点的输入特征是不同探针图库图像对的关系特征。然后,通过SGGNN中传递的消息来执行探测库关系特征更新,SGGNN考虑了其他节点的信息以进行相似性估计。与传统的GNN方法不同,SGGNN直接学习图库实例对的具有丰富标签的边缘权重,这为关系融合提供了更精确的信息。我们提出的方法的有效性进行了验证,在三个公开的人重新识别数据集。
2018-07-26 cs.CV
Hard-sample Guided Hybrid Contrast Learning for Unsupervised Person Re-Identification
Beijing University of Posts and Telecommunications(北京邮电大学)
无监督身份再识别是计算机视觉中一个极具发展前景和挑战性的研究课题。利用未标记数据学习鲁棒的和有区别的特征是Re-ID的核心问题。最近,基于聚类伪标记的无监督Re-ID算法受到了越来越多的关注。然而,以前的方法没有充分利用硬样本的信息,简单地使用聚类质心或所有实例进行对比学习。本文提出了一种结合聚类级损失和实例级损失的硬样本指导的混合对比学习(HHCL)方法,用于无监督人Re-ID。同时,引入硬实例对比损失进一步挖掘了判别信息。在两个流行的大规模Re-ID基准上进行的大量实验表明,我们的HHCL优于以前的最先进的方法,并显着提高了无监督人Re-ID的性能。我们的工作代码很快就可以在https://github.com/bupt-ai-cz/HHCL-ReID上找到。
2022-05-08 cs.CV
FTN: Foreground-Guided Texture-Focused Person Re-Identification
Huazhong University of Science and Technology(华中科技大学);Nanyang Technological University(南洋理工大学)
人员重新识别(Re-ID)是一项具有挑战性的任务,因为人员通常处于不同的背景中。最新的Re-ID方法平等对待前景和背景信息进行个人判别学习,但当不同的人处于相似的背景或同一个人处于不同的背景时,很容易导致潜在的虚警问题。在本文中,我们提出了一个前景引导的纹理聚焦网络(FTN)的Re-ID,它可以削弱不相关的背景表示和突出的属性人相关的端到端的方式。FTN由一个语义编码器(S-Enc)和一个紧凑的前景注意模块(CFA)的Re-ID任务,和一个纹理为重点的解码器(TF-Dec)的重建任务。特别地,我们为TF-Dec建立了一个前景引导的半监督学习策略,因为重建的地面真值只是由高斯掩码和CFA生成的注意力掩码加权的FTN的输入。此外,引入了一种新的梯度损失,以鼓励网络挖掘输入和重建输出之间的纹理一致性。我们的FTN是计算效率和广泛的实验上三个常用的数据集Market 1501,CUHK 03和MSMT 17证明,所提出的方法表现良好,对国家的最先进的方法。
2020-09-24 cs.CV
Dynamic Identity-Guided Attention Network for Visible-Infrared Person Re-identification
提出动态身份引导注意力网络(DIAN),通过正交投影融合粗细特征、动态卷积核挖掘身份引导且模态一致的嵌入,并引入跨嵌入平衡损失,在VI-ReID任务上取得最先进性能。
2024-07-22 cs.CV
Diverse Semantics-Guided Feature Alignment and Decoupling for Visible-Infrared Person Re-Identification
Nanjing University of Science and Technology(南京理工大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
针对可见光-红外行人重识别中的模态差异和风格噪声问题,提出DSFAD网络,通过多样语义引导对齐、边际解耦和一致性恢复模块,将身份特征对齐至文本空间并解耦无关特征,在三个数据集上验证了其优越性。
2025-05-01 cs.CV
AGILE: A Diffusion-Based Attention-Guided Image and Label Translation for Efficient Cross-Domain Plant Trait Identification
University of California, Davis(加利福尼亚大学戴维斯分校)
本文提出基于扩散的AGILE框架,通过优化文本嵌入和注意力引导实现跨域植物图像与标签翻译,提升目标域对象检测性能并保持语义一致性。
2025-03-27 cs.CV
Skeleton-Guided Spatial-Temporal Feature Learning for Video-Based Visible-Infrared Person Re-Identification
Henan University(河南大学)
针对VVI-ReID中时空特征易受低质、遮挡影响且现有方法对其优化不足的问题,提出STAR方法,通过帧级和序列级两级骨架引导策略提升双模态时空特征准确性,性能优于当前最优方法。
2024-12-11 cs.CV
A Flow-Guided Mutual Attention Network for Video-Based Person Re-Identification
École de technologie supérieure(高等技术学院);Genetec Inc.(杰尼特克公司);Sportlogiq Inc.(斯波特洛吉克公司)
在许多视频分析和监控应用中,人员重新识别(ReID)是一个具有挑战性的问题,其中人员的身份必须跨分布式非重叠摄像机网络相关联。基于视频的人ReID最近获得了很大的兴趣,因为它允许从基于图像的ReID不可用的视频剪辑中捕获判别时空信息。尽管最近取得了进展,但用于视频ReID的深度学习(DL)模型通常无法利用这些信息来提高特征表示的鲁棒性。在本文中,一个人的运动模式探索作为一个额外的线索ReID。特别地,提出了一种流引导的相互注意网络,用于使用任何2D-CNN主干来融合图像和光流序列,从而允许将时间信息与空间外观信息一起编码。我们的相互注意力网络依赖于图像和光流特征图之间的联合空间注意力,以激活它们之间的一组共同的显著特征。除了流引导的注意力,我们还引入了一种方法来聚合来自较长输入流的特征,以获得更好的视频序列级表示。我们在三个具有挑战性的视频ReID数据集上进行的广泛实验表明,使用所提出的相互注意网络可以大大提高识别精度,相对于传统的门控注意网络和基于视频的人ReID的最先进方法。
2020-10-04 cs.CV
Neighbour Consistency Guided Pseudo-Label Refinement for Unsupervised Person Re-Identification
Xidian University(西安电子科技大学);Zhejiang Lab(之江实验室);Chongqing University of Posts and Telecommunications(重庆邮电大学)
无监督的人再识别(ReID)的目的是在没有任何注释的情况下学习用于人检索的区分性身份特征。最近的进展通过利用基于聚类的伪标签来完成这一任务,但是这些伪标签不可避免地带有噪声,这会降低模型性能。在本文中,我们提出了一个邻居一致性指导的伪标签细化(NCPLR)框架,它可以被看作是一个转导形式的标签传播的假设下,每个例子的预测应该是类似的最近邻居的。具体地,每个训练实例的细化标签可以通过原始聚类结果和其邻居的预测的加权集合来获得,其中权重根据它们在特征空间中的相似性来确定。此外,我们认为基于聚类的无监督人ReID作为一个标签噪声学习问题。然后,我们提出了一个显式的邻居一致性正则化,以减少模型对过度拟合的敏感性,同时提高训练稳定性。NCPLR方法简单有效,可以无缝集成到现有的基于聚类的无监督算法中。在五个ReID数据集上的实验结果表明了该方法的有效性,并显示出比现有方法更好的性能。
2022-11-30 cs.CV
Neighbourhood-guided Feature Reconstruction for Occluded Person Re-Identification
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);SenseTime Group Limited(商汤集团有限公司);Shanghai AI Lab(上海人工智能实验室)
监控摄像机拍摄的人物图像经常被各种障碍物遮挡,导致特征表示不完善,影响人物再识别(Re-ID)性能。为了解决这个问题,我们提出了重建的特征表示的遮挡部分,充分利用其在画廊图像集的邻域信息。具体来说,我们首先介绍了一个可见的部分为基础的功能,身体面具为每个人的形象。然后利用可见光特征识别其相邻样本,并以所有相邻样本作为输入,通过可去除离群点的图神经网络重建全身的表示。大量的实验表明,该方法取得了显着的改善。在大规模的Occluded-DukeMTMC基准测试中,我们的方法实现了64.2%的mAP和67.6%的rank-1准确率,大大优于最先进的方法,即,分别为20.4%和12.5%,表明我们的方法对遮挡Re-ID问题的有效性。
2021-05-16 cs.CV
STMI: Segmentation-Guided Token Modulation with Cross-Modal Hypergraph Interaction for Multi-Modal Object Re-Identification
Dalian University of Technology(大连理工大学);Zhejiang University(浙江大学);Institute of Artificial Intelligence (TeleAI), China Telecom(中国电信人工智能研究院(TeleAI))
STMI通过分割引导特征调节、语义令牌重新分配和跨模态超图交互,提升多模态目标重识别的性能与鲁棒性。
2026-02-28 cs.CV
Attribute Guided Sparse Tensor-Based Model for Person Re-Identification
Lane Department of Computer Science and Electrical Engineering(莱恩计算机科学与电气工程系);West Virginia University(西弗吉尼亚大学)
人的视觉感知容易受到诸如相机参数、姿态和视点变化等许多因素的影响。这些变化使人的重新识别(ReID)成为一个具有挑战性的问题。然而,人类的属性通常是这种变化的强大视觉特性。在本文中,我们提出了一种新的方法来利用人的ReID属性的特征。我们的模型使用一个张量来非线性地融合身份和属性特征,然后强制损失函数中的张量参数来生成ReID的区分性融合特征。由于基于张量的方法通常包含大量参数,因此训练所有这些参数变得非常缓慢,并且过拟合的机会也会增加。为了解决这个问题,我们提出了两种基于结构稀疏学习(SSL)和张量分解(TD)方法的新技术,以创建一个准确和稳定的学习问题。我们在几个标准行人数据集上进行了实验,实验结果表明,我们基于张量的方法显着提高了人的ReID基线,并且优于最先进的方法。
2021-07-29 cs.CV
Sea You Later: Metadata-Guided Long-Term Re-Identification for UAV-Based Multi-Object Tracking
National Taiwan University(台湾大学);National Center for High-performance Computing(国家高性能计算中心);University of Washington(华盛顿大学)
针对无人机海事多目标跟踪中短期和长期重识别的挑战,提出利用GPS等元数据融合轨迹的MG-MOT算法,在SeaDroneSee数据集上取得HOTA 69.5%和IDF1 85.9%的SOTA性能。
2023-11-22 cs.CV
Learning landmark guided embeddings for animal re-identification
Queensland University of Technology(昆士兰科技大学);The University of Queensland(昆士兰大学)
由于不同个体之间的身体标记的细微变化以及对野生动物的姿势没有限制,图像中个体动物的重新识别可能是模糊的。人员重新识别是一项类似的任务,并且已经使用深度卷积神经网络(CNN)来处理它,该深度卷积神经网络学习用于人的图像的区别性嵌入。然而,学习个体动物的区别特征比人的外表更具挑战性,因为与人的身份的标记数据集相比,生态数据集的大小相对较小。我们建议通过明确利用身体标志信息来改进嵌入学习。身体标志被提供给CNN的输入,作为可以从单独的身体标志预测器获得的置信热图。鼓励模型通过学习重建输入热图的辅助任务来使用热图。身体标志引导特征提取网络学习独特图案的表示及其在身体上的位置。我们评估所提出的方法在一个大的合成数据集和一个小的真实数据集。我们的方法在合成和真实数据集上分别比没有身体标志输入的相同模型高出26%和18%。该方法对输入坐标中的噪声具有鲁棒性,并且可以容忍高达图像大小的10%的坐标误差。
2020-01-09 cs.CV
Explainable Person Re-Identification with Attribute-guided Metric Distillation
University of Science and Technology of China(中国科学技术大学);JD AI Research(京东人工智能研究院);Ryerson University(瑞尔森大学)
尽管随着卷积神经网络的采用,人的重新识别(ReID)取得了很大的进步,但是当前的ReID模型是不透明的,并且仅输出两个人之间的标量距离。很少有方法为用户提供语义上可理解的解释,为什么两个人是同一个或不是。在本文中,我们提出了一个事后的方法,命名为属性引导度量蒸馏(AMD),以解释现有的ReID模型。这是探索属性的第一种方法来回答:1)属性使两个人不同的是什么和哪里,以及2)每个属性对差异的贡献有多大。在AMD中,我们为目标模型设计了一个可插入的解释器网络,以生成属性的定量贡献,并可视化最具区分力的属性的准确注意力地图。为了实现这一目标,我们提出了一个度量蒸馏损失,解释器学习分解的距离两个人的属性组件与知识蒸馏从目标模型。此外,我们提出了一个属性先验损失,使解释器产生属性引导的注意力地图,并消除不平衡的属性分布所造成的偏见。这一损失可以引导口译员将注意力集中在两个人的排他性和歧视性属性上,而不是大面积但共同的属性。综合实验表明,该解释器可以生成有效的和直观的解释不同的模型和跨域环境下的推广。作为副产品,目标模型的准确性可以通过我们的解释器进一步提高。
2021-08-17 cs.CV
Unsupervised Person Re-Identification with Multi-Label Learning Guided Self-Paced Clustering
School of Computer Science and Engineering, Southern University of Science and Technology(南方科技大学计算机科学与工程学院);College of Big Data and Internet, Shenzhen Technology University(深圳技术大学大数据与互联网学院)
虽然无监督的人重新识别(Re-ID)最近引起了越来越多的研究关注,但在不相交的摄像机视图中学习没有注释的区分特征仍然具有挑战性。在本文中,我们解决了无监督的人的Re-ID的概念新颖而简单的框架,称为多标签学习引导的自步调聚类(MLC)。MLC主要通过三个关键模块来学习区分性特征,即多尺度网络、多标签学习模块和自定进度聚类模块。具体地,多尺度网络在全局和局部视图中生成多粒度的人特征。多标签学习模块利用记忆特征库,并基于图像和特征库之间的相似性为每个图像分配多标签向量。在多个时期的多标签训练之后,自定步调的聚类加入训练并为每个图像分配伪标签。我们的MLC的好处来自三个方面:i)多尺度的人的特征,以更好的相似性测量,ii)基于整个数据集的多标签分配,确保每个图像都可以训练,iii)自定进度的聚类去除一些噪声样本,以更好地进行特征学习。在三个流行的大规模Re-ID基准测试上的大量实验表明,我们的MLC优于以前的最先进的方法,并显着提高了无监督的人Re-ID的性能。
2021-03-08 cs.CV
S3CE-Net: Spike-guided Spatiotemporal Semantic Coupling and Expansion Network for Long Sequence Event Re-Identification
本文提出基于脉冲神经网络的S3CE-Net模型用于长序列事件人员重识别,结合脉冲引导时空注意力机制和时空特征采样策略,在无额外参数下提取鲁棒语义,实现低参数、高效率的卓越性能。
2025-05-30 cs.CV
Multi-Scale Context-Guided Lumbar Spine Disease Identification with Coarse-to-fine Localization and Classification
Center for Data Science, Peking University(北京大学数据科学中心);National Engineering Laboratory for Big Data Analysis and Applications, Peking University(北京大学大数据分析与应用国家工程实验室);National Biomedical Imaging Center, Peking University(北京大学生物医学成像国家中心)
准确、高效的腰椎疾病识别对临床诊断至关重要。然而,现有的具有数百万个参数的深度学习模型通常无法仅用数百或数十个医学图像进行学习。这些模型还忽略了相邻对象之间的上下文关系,例如椎骨和椎间盘之间的上下文关系。本文介绍了一种多尺度上下文引导网络,它具有从粗到细的定位和分类功能,称为CCF网络,用于腰椎疾病识别。具体来说,在学习中,我们将定位目标分为两个并行任务,粗和细,这是更直接,有效地减少参数的数量和计算成本。实验结果表明,粗到精的设计呈现出以较少的参数和数据要求实现高性能的潜力。此外,多尺度上下文引导模块可以显着提高6.45%和5.51%,分别与ResNet18和ResNet50的性能。我们的代码可在https://github.com/czifan/CCFNet.pytorch上获得。
2022-03-16 cs.AI cs.CV
PixelFade: Privacy-preserving Person Re-identification with Noise-guided Progressive Replacement
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education(教育部机器智能与先进计算重点实验室);Guangdong Province Key Laboratory of Information Security Technology(广东省信息安全技术重点实验室)
针对现有隐私保护行人重识别方法难抗恢复攻击、精度受损的问题,提出PixelFade迭代方法,通过噪声引导优化与交替启发式算法生成类噪声保护图像,在抗攻击和识别性能上均优于现有方法。
2024-08-10 cs.CV
Attributes Guided Feature Learning for Vehicle Re-identification
Anhui University(安徽大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Edinburgh Napier University(爱丁堡纳皮尔大学)
车辆Re-ID最近因其在智慧城市和城市监控中的潜在应用而引起了热烈的关注。然而,它遭受大的类内变化所造成的视图变化和光照变化,和类间的相似性,特别是对于不同的身份与相似的外观。为了解决这些问题,在本文中,我们提出了一种新的深度网络架构,该架构由有意义的属性(包括相机视图,车辆类型和车辆Re-ID的颜色)指导。特别是,我们的网络是端到端训练的,包含三个由相应属性嵌入的深度特征子网络(即,摄像机视图、车辆类型和车辆颜色)。此外,为了克服多视角车辆图像有限的缺点,设计了一种视角指定的生成对抗网络来生成多视角车辆图像。对于网络训练,我们在VeRi-776数据集上标注视图标签。请注意,我们可以直接在其他只有ID信息的数据集上采用预先训练好的视图(以及类型和颜色)子网络,这证明了我们模型的泛化能力。在基准数据集VeRi-776和VehicleID上的大量实验表明,所提出的方法实现了有前途的性能,并产生了一个新的国家的最先进的车辆Re-ID。
2021-11-10 cs.CV
PGGANet: Pose Guided Graph Attention Network for Person Re-identification
School of Electronics and Information Engineering, Beihang University(北京航空航天大学电子信息工程学院);Hefei Innovation Research Institute of Beihang University(北京航空航天大学合肥创新研究院)
人物再识别(reID)的目的是从不同相机拍摄的图像中检索出一个人。对于基于深度学习的reID方法,已经证明,将局部特征与全局特征结合使用可以帮助为人员检索提供鲁棒的表示。人体姿态信息可以提供人体骨骼的位置,以有效地引导网络更多地关注这些关键区域,并且还可以帮助减少背景或遮挡的噪声干扰。然而,以前提出的基于姿态的作品的方法可能无法充分利用姿态信息的好处,他们很少考虑到不同的本地功能的不同贡献。在本文中,我们提出了一个姿势引导图注意力网络,一个多分支结构,包括一个分支的全局特征,一个分支的中粒度的身体特征和细粒度的关键点特征的一个分支。我们使用预训练的姿态估计器来生成用于局部特征学习的关键点热图,并仔细设计了一个图注意力卷积层,通过对相似性关系进行建模来重新分配提取的局部特征的贡献权重。实验结果证明了我们的方法在区分特征学习上的有效性,我们表明我们的模型在几个主流评估数据集上达到了最先进的性能。我们还进行了大量的消融研究,并为我们的网络设计了不同类型的比较实验,以证明其有效性和鲁棒性,包括闭塞实验和跨域测试。
2022-01-10 cs.CV
Identity-Guided Human Semantic Parsing for Person Re-Identification
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Shenzhen Infinova Limited(深圳英飞拓科技股份有限公司)
现有的基于语法分析的方法必须采用预先训练的人类语法分析模型来实现像素级对齐,并且不能识别个人物品(例如,在本文中,我们提出了身份引导的人类语义解析方法(ISP),以定位在像素级的人体部位和个人物品的对齐的人重新识别只有人的身份标签。我们设计了特征图上的级联聚类来生成人体部位的伪标签。具体来说,对于一个人的所有图像的像素,我们首先将它们分组为前景或背景,然后将前景像素分组为人体部位。聚类分配随后用作人体部位的伪标签以监督部位估计,并且ISP迭代地学习特征图并将其分组。最后,根据自学习的局部估计,得到人体部位和随身物品的局部特征,并只利用可见部位的特征进行检索。在三个广泛使用的数据集上进行的大量实验验证了ISP方法相对于许多最先进方法的优越性。我们的代码可在https://github.com/CASIA-IVA-Lab/ISP-reID上获得。
2020-07-27 cs.CV
G2DA: Geometry-Guided Dual-Alignment Learning for RGB-Infrared Person Re-Identification
China University of Geoscience(中国地质大学);University of Chinese Academy of Sciences(中国科学院大学)
RGB-红外(IR)人物重新识别的目的是从异构相机中检索感兴趣的人,容易遭受由不同的传感波长范围引起的大的图像模态差异。现有的工作通常通过调整全局特征的域分布来最大限度地减少这种差异,而忽略了语义部分之间的模态内结构关系。这可能会导致网络过度关注局部线索,而不考虑长期身体部位依赖性,从而导致无意义的区域表示。在本文中,我们提出了一种支持图形的分布匹配解决方案,称为几何引导双对齐(G2 DA)学习,用于RGB-IR ReID。它可以通过解决嵌入人类拓扑信息的多尺度骨架图中的图匹配任务,共同鼓励部件语义和结构关系之间的跨模态一致性,以实现细粒度的模态对齐。具体来说,我们建议建立一个语义对齐的完整图,所有的跨模态图像可以通过姿势自适应图的构建机制映射到。该图通过节点表示提取的整体-部分特征,并表示与关联边缘的节点相似性。为了实现基于图的双对齐学习,进一步引入了基于最优传输(OT)的结构化度量,以同时测量跨模态的逐点关系和逐组结构相似性。通过最小化跨模态传输计划的成本,G2 DA可以学习一个一致的和有区别的特征子空间,用于跨模态图像检索。此外,我们提出了一个消息融合注意力(MFA)机制,自适应地重新加权语义传播的信息流,有效地加强了所提取的语义特征的可区分性。
2021-07-25 cs.CV
Occlusion-Guided Feature Purification Learning via Reinforced Knowledge Distillation for Occluded Person Re-Identification
Department of Information and Intelligence, University of Science and Technology of China(信息与智能学院,中国科学技术大学)
提出OGFR方法,通过师生蒸馏架构和遮挡感知视觉Transformer建模多样遮挡模式,并利用强化学习驱动的特征擦除与净化模块去除整体图像中的噪声patch tokens,将净化后的判别性知识传递给遮挡分支,有效解决未见遮挡场景和特征污染问题,实现鲁棒的遮挡行人重识别。
2025-07-11 cs.CV
FD-GAN: Pose-guided Feature Distilling GAN for Robust Person Re-identification
The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院);Johns Hopkins University(约翰斯·霍普金斯大学);University of Science and Technology of China(中国科学技术大学)
人物再识别(reID)是一项重要的任务,需要从图像数据集中检索一个人的图像,给定一个感兴趣的人的图像。为了学习鲁棒的人物特征,人物图像的姿态变化是关键挑战之一。针对该问题的现有作品要么执行人类对齐,要么学习基于人类区域的表示。额外的姿态信息和计算成本通常需要进行推断。为了解决这个问题,特征提取生成对抗网络(FD-GAN)提出了学习身份相关和姿态无关的表示。这是一个新的框架的基础上,暹罗结构与多个新的判别人的姿态和身份。除了鉴别器之外,还集成了一种新的相同姿势损失,其要求相同人的生成图像的外观相似。在学习姿态无关的人的特征与姿势指导,没有辅助的姿势信息和额外的计算成本,在测试过程中需要。我们提出的FD-GAN在三个人的reID数据集上实现了最先进的性能,这证明了所提出的FD-GAN的有效性和鲁棒的特征提取能力。
2018-12-12 cs.CV
UGG-ReID: Uncertainty-Guided Graph Model for Multi-Modal Object Re-Identification
Information Materials and Intelligent Sensing Laboratory of Anhui Province, School of Artificial Intelligence, Anhui University(安徽省信息材料与智能感知实验室,人工智能学院,安徽大学);Anhui Provincial Key Laboratory of Multimodal Cognitive Computation, School of Computer Science and Technology, Anhui University(安徽省多模态认知计算重点实验室,计算机科学与技术学院,安徽大学)
针对多模态目标ReID的局部噪声和模态整合挑战,提出UGG-ReID模型,通过估计局部与样本级不确定性、高斯补丁图及专家混合策略提升鲁棒性与融合效果,在五个数据集上性能优异且抗噪性更强。
2025-11-19 cs.CV
Query-guided End-to-End Person Search
OSRAM GmbH(欧司朗有限公司);Technische Universität München(慕尼黑工业大学)
人物搜索最近作为从非裁剪图像的图库中找到作为裁剪样本提供的人物的新颖任务而受到关注,其中其他几个人也是可见的。我们相信,我。人员检测和重新识别应在联合优化框架中进行,并且ii.人员搜索应广泛利用查询图像(例如强调独特的查询模式)。然而,到目前为止,还没有现有技术实现这一点。我们引入了一种新的查询引导端到端的人搜索网络(QEEPS),以解决这两个方面。我们利用最新的联合检测器和重新识别工作,OIM [37]。我们用i来扩展它。查询引导的连体挤压和激发网络(QSSE-Net),其使用来自查询和图库图像两者的全局上下文,ii.查询引导的区域建议网络(QRPN),以产生查询相关的建议,以及iii.查询引导相似性子网络(QSimNet),以学习查询引导重新识别分数。QEEPS是第一个端到端查询引导检测和重新识别网络。在最近的CUHK-SYSU [37]和PRW [46]数据集上,我们的表现远远超过了以前的最先进水平。
2019-05-03 cs.CV
VehicleGAN: Pair-flexible Pose Guided Image Synthesis for Vehicle Re-identification
Center for Frontier AI Research (CFAR), Agency for Science, Technology, and Research (A*STAR)(新加坡科技研究局前沿人工智能研究中心);University of South Carolina(南卡罗来纳大学);Cleveland State University(克利夫兰州立大学)
针对车辆重识别中视角差异导致的特征区分难问题,提出无需配对数据、适配监督/无监督场景的VehicleGAN合成目标姿态车辆图像,并结合联合度量学习实现特征级融合,在VeRi-776和VehicleID数据集上验证了有效性。
2024-04-17 cs.CV
GUIDED: Granular Understanding via Identification, Detection, and Discrimination for Fine-Grained Open-Vocabulary Object Detection
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);Meituan(美团);GuangDong Province Key Laboratory of Information Security Technology(广东省信息安全技术重点实验室);Research Institute, Sun Yat-sen University(中山大学深圳研究院)
GUIDED通过分解框架解决细粒度提示中主体与属性的语义纠缠问题,通过分离定位与识别任务提升细粒度开放词汇物体检测性能。
2026-03-27 cs.CV
KeyRe-ID: Keypoint-Guided Person Re-Identification using Part-Aware Representation in Videos
KeyRe-ID 提出关键点引导的视频行人重识别框架,通过 Transformer 全局聚合和关键点驱动的局部分支生成部件感知特征,在 MARS 和 iLIDS-VID 上取得领先性能。
2025-07-17 cs.AI cs.CV
Mutual Information Guided Optimal Transport for Unsupervised Visible-Infrared Person Re-identification
School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院);School of Informatics, Xiamen University(厦门大学信息学院);Institute of Automation Chinese Academy of Sciences(中国科学院自动化研究所);Nanjing University of Posts and Telecommunications(南京邮电大学)
本文提出一种基于互信息推导的最优传输方法,通过锐度、公平性和适应性原则,实现无监督可见光-红外行人重识别,在SYSU-MM01和RegDB上分别达到60.6%和90.3%的Rank-1准确率。
2024-07-17 cs.CV
CLIP-SCGI: Synthesized Caption-Guided Inversion for Person Re-Identification
College of Informatics, Huazhong Agricultural University(华中农业大学信息学院);Central China Normal University(华中师范大学)
本文提出CLIP-SCGI框架,利用LLAVA生成合成描述并扩展为双模态训练,通过描述引导反演模块和跨模态融合模块增强CLIP的行人重识别能力,在四个基准上显著超越现有方法。
2024-10-12 cs.CV
Beyond Pedestrians: Caption-Guided CLIP Framework for High-Difficulty Video-based Person Re-Identification
Sony Group Corporation(索尼集团公司)
本文提出CG-CLIP框架,通过文本描述和可学习令牌提升视频中高难度行人重识别性能,实验表明其在多个数据集上优于现有方法。
2026-04-09 cs.AI cs.CV
Pose-Guided Feature Learning with Knowledge Distillation for Occluded Person Re-Identification
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
被遮挡的人重新识别(ReID)旨在匹配具有遮挡的人图像。这是从根本上具有挑战性的,因为严重的遮挡,加剧了图像之间的错位问题。在成本纳入姿态估计器,许多作品引入姿态信息,以减轻训练和测试中的不对准。为了在保持低推理复杂度的同时实现高精度,我们提出了一种名为姿态引导特征学习与知识蒸馏(PGFL-KD)的网络,其中姿态信息被利用来正则化语义对齐特征的学习,但在测试中被丢弃。PGFL-KD由一个主分支(MB)和两个姿势引导分支(\ieno、一个前景增强分支(FEB)和一个身体部位语义对齐分支(SAB))组成。FEB旨在强调可见身体部位的特征,同时排除障碍物和背景的干扰(\ieno,前景特征对齐)。SAB鼓励不同的频道组关注不同的身体部位,以具有身体部位语义对齐的表示。为了摆脱测试时对姿态信息的依赖,我们通过知识蒸馏和基于交互的训练来规则化MB以学习FEB和SAB的优点。在封闭、部分和整体ReID任务上的大量实验表明了我们所提出的网络的有效性。
2021-08-23 cs.CV cs.MM
Visual-Prompt Guided Wildlife Instance-Level Recognition
University of Johannesburg(约翰内斯堡大学);Linköping University(林雪平大学)
针对细粒度野生动物重识别挑战,提出单阶段端到端检测与重识别模型,采用DINOv2、MegaDescriptor及提示增强技术,在mAP指标上取得与两阶段方法相近的竞争力表现。
2026-08-20 cs.AI cs.CV cs.LG
Prototype-guided Cross-modal Completion and Alignment for Incomplete Text-based Person Re-identification
针对实际场景中基于文本的行人重识别任务存在的图像与文本匹配不全、模态数据缺失问题,提出原型引导的跨模态补全与对齐框架,通过跨模态最近邻构建、关系图特征增强及原型感知对齐损失提升性能,在多基准多缺失比例下超越现有最优方法。
2023-10-03 cs.CV
Watching You: Global-guided Reciprocal Learning for Video-based Person Re-identification
Dalian University of Technology(大连理工大学);Pengcheng Lab(鹏城实验室);Remark Holdings
基于视频的人物再识别(Re-ID)旨在自动检索非重叠摄像机下的同一个人的视频序列。要实现这一目标,充分利用视频中丰富的时空线索是关键。现有的方法通常集中在最显著的图像区域,因此,他们很容易错过细粒度的线索,由于图像序列中的人的多样性。为了解决上述问题,在本文中,我们提出了一种新的全局引导的互惠学习(GRL)框架,基于视频的人重新识别。具体来说,我们首先提出了一个全局引导的相关性估计(GCE)生成局部特征和全局特征的特征相关性图,这有助于本地化的高和低相关性区域,以识别同一个人。然后,在全局表示的指导下,将区分性特征分解为高相关性特征和低相关性特征。此外,一个新的时间互惠学习(TRL)机制的设计,顺序增强高相关性的语义信息和积累低相关性的次关键线索。在三个公共基准上进行了广泛的实验。实验结果表明,我们的方法可以实现更好的性能比其他国家的最先进的方法。该代码在www.example.com上发布。
2021-04-01 cs.AI cs.CV
Hybrid-Attention Guided Network with Multiple Resolution Features for Person Re-Identification
Nanjing University of Information Science and Technology(南京信息工程大学);Nanjing University of Finance and Economics(南京财经大学);Wormpex AI Research(Wormpex AI研究院);Tianjin University of Technology(天津理工大学)
提取有效的和有区别的特征对于解决具有挑战性的人重新识别(re-ID)任务非常重要。流行的深度卷积神经网络(CNN)通常使用高级特征来识别行人。然而,由于在训练阶段大量的填充和池化操作,在学习高层特征时,一些基本的空间信息会丢失在低层特征中,如形状、纹理和颜色。此外,大多数现有的人重新ID方法主要是基于手工制作的边界框,其中图像被精确对齐。在实际应用中,由于现有的目标检测算法往往产生不准确的边界框,这是不现实的。这将不可避免地降低现有算法的性能。为了解决这些问题,我们提出了一种新的人重新识别模型,融合高,低层次的嵌入,以减少在学习高层次的功能造成的信息丢失。然后将融合后的嵌入分割为若干部分,并将其重新连接,以获得全局特征和更重要的局部特征,从而减轻不准确的包围盒对嵌入效果的影响。此外,我们还在我们的模型中引入了空间和通道的注意力机制,旨在挖掘与目标相关的更具区分性的特征。最后,我们重新构造了特征提取器,以确保我们的模型可以获得更丰富和鲁棒的特征。大量的实验表明,我们的方法相比,现有的方法的优越性。我们的代码可在https://github.com/libraflower/MutipleFeature-for-PRID上获得。
2021-06-06 cs.CV
3C: Confidence-Guided Clustering and Contrastive Learning for Unsupervised Person Re-Identification
Dalian Maritime University(大连海事大学);Aberystwyth University(阿伯里斯特威斯大学);Northumbria University(诺森比亚大学)
针对无监督行人重识别中伪标签方法易受特征偏差、噪声伪标签等误导的问题,提出含三类置信度的3C框架,在三个基准数据集上取得了当前最优性能。
2024-08-18 cs.CV
Domain-Guided Masked Autoencoders for Unique Player Identification
University of Waterloo(滑铁卢大学)
针对体育视频中球员识别受运动模糊等干扰的问题,提出域引导掩码策略d-MAE及时空网络,在三个数据集上超越现有方法,准确率提升显著。
2024-03-17 cs.AI cs.CV