CA3Net: Contextual-Attentional Attribute-Appearance Network for Person Re-Identification
University of Science and Technology of China(中国科学技术大学)
人员重新识别旨在跨非重叠的相机视图识别相同的行人。最近,深度学习技术已经被应用于人的重新识别,以学习行人外观的表示。本文提出了一种新的上下文-注意属性-外观网络(CA 3 Net)的人重新识别。CA 3 Net同时利用语义属性和视觉外观之间的互补性,属性之间的语义上下文,对属性的视觉注意力以及身体部位之间的空间依赖性,从而产生有区别的和鲁棒的行人表示。具体来说,CA 3 Net中的属性网络是用Attention-LSTM模块设计的。它将网络集中在与每个属性相关的潜像区域上,并通过LSTM模块利用属性之间的语义上下文。开发了一个外观网络,用于学习行人全身、水平和垂直身体部位的外观特征,以及身体部位之间的空间依赖性。CA 3 Net以多任务学习方式联合学习属性和外观特征,生成行人的综合表示。在两个具有挑战性的基准上进行了广泛的实验,即,Market-1501和DukeMTMC-reID数据集的实验结果表明了该方法的有效性。
2018-11-19 cs.CV
Joint Detection and Identification Feature Learning for Person Search
The Chinese University of Hong Kong(香港中文大学);Sun Yat-Sen University(中山大学);SenseTime Group Limited(商汤科技有限公司)
现有的人的重新识别基准和方法主要集中在匹配查询和候选人之间的裁剪行人图像。但这与现实场景不同,现实场景中行人边界框的注释不可用,需要从整个场景图像库中搜索目标人物。为了缩小差距,我们提出了一个新的深度学习框架来进行人员搜索。我们没有将其分解为两个单独的任务-行人检测和人员重新识别,而是在一个卷积神经网络中联合处理这两个方面。提出了一种在线实例匹配(OIM)损失函数来有效地训练网络,该网络可扩展到具有大量身份的数据集。为了验证我们的方法,我们收集并注释了一个大规模的基准数据集的人搜索。它包含18,184张图像,8,432个身份和96,143个行人边界框。实验表明,我们的框架优于其他单独的方法,和建议的OIM损失函数收敛速度更快,更好地比传统的Softmax损失。
2017-04-06 cs.CV
Large-Scale Pedestrian Retrieval Competition
大规模行人检索竞赛(LSPRC)主要针对智能监控视觉系统中的重要终端应用--人的检索。人物检索的目的是寻找具有特定视觉属性或图像的感兴趣目标。真实场景中的低图像质量、各种摄像机视点、大的姿态变化和遮挡使其成为一个具有挑战性的问题。大赛通过提供真实场景下的大规模监控数据和更贴近实际应用的标准评测方法,旨在提高相关算法的鲁棒性,进一步满足实际应用中的复杂情况。LSPRC包括两种任务,即,基于属性的行人检索(PR-A)和基于重新识别(ReID)的行人检索(PR-ID)。正常评价指标,即,平均精度(mAP)用来衡量这两个任务在不同尺度、姿态和遮挡情况下的性能。同时引入系统评价的方法,将这两个任务的相关算法集成到一个大规模的视频解析平台(ISEE)中,结合行人检测算法,对人物检索系统进行评价。
2019-03-06 cs.CV
Discriminative Pedestrian Features and Gated Channel Attention for Clothes-Changing Person Re-Identification
College of Computer Science;Technology Nanjing University of Aeronautics;School of Information;Artificial Intelligence Anhui Agriculture University Hefei, China
针对换衣行人重识别中外观变化的挑战,提出结合行人解析的解耦特征提取与门控通道注意力方法,在两个标准数据集上取得超越现有方案的Top-1准确率。
2024-10-29 cs.CV
Person Re-identification in the Wild
University of Technology Sydney(悉尼科技大学);UTSA(得克萨斯大学圣安东尼奥分校);USTC(中国科学技术大学);UCSD(加利福尼亚大学圣迭戈分校)
我们提出了一个新的大规模数据集和全面的基线,用于端到端的行人检测和原始视频帧中的人员识别。我们的基线解决了三个问题:检测器和识别器的各种组合的性能,行人检测机制,以帮助提高整体重新识别的准确性和评估不同的检测器的有效性进行重新识别。我们做出了三个不同的贡献。首先,一个新的数据集,PRW,被引入到评估人重新识别在野外,使用通过六个同步摄像机获得的视频。它包含932个身份和11,816帧,其中行人注释了他们的限界框位置和身份。广泛的基准测试结果在这个数据集上。其次,我们表明,行人检测有助于重新识别,通过两个简单而有效的改进:一个有区别地训练的ID歧视性嵌入(IDE)在人的子空间使用卷积神经网络(CNN)功能和置信加权相似性(CWS)度量,将检测分数到相似性测量。第三,我们获得的见解,在评估检测器性能的特定情况下,准确的人重新识别。
2017-04-06 cs.CV
Video Person Re-identification using Attribute-enhanced Features
Beihang University(北京航空航天大学);Alibaba Group(阿里巴巴集团)
基于视频的人员重新识别(Re-ID)旨在使用监控视频将非重叠摄像机中的人员关联起来是一项具有挑战性的任务。针对行人的性别、年龄、衣着等属性信息在视频人物识别中的应用较少的问题,本文提出了一种基于属性显著性辅助网络(Attribute Salience Assisted Network,ASA-Net)的视频人物识别方法。我们建议从中层属性而不是高层身份学习视觉注意。提出的属性显著区域增强(ASRE)模块可以更准确地关注行人的身体。其次,我们发现,许多身份无关,但对象或主体相关的因素,如视角和运动的目标行人可以极大地影响二维的外观的行人。这个问题可以通过经由一种新的三元组损失来调查身份相关属性和身份无关属性来缓解,该三元组损失被称为姿态不变量(PMI)三元组损失。
2021-08-16 cs.CV
OmniPerson: Unified Identity-Preserving Pedestrian Generation
Beihang University(北航大学);Pengcheng Laboratory(鹏城实验室)
OmniPerson通过统一身份保持的行人生成管道,解决ReID中数据不足问题,实现高保真生成和身份一致性。
2025-12-02 cs.CV
Generalizable Multi-Camera 3D Pedestrian Detection
Universidade Federal de Pernambuco(伯南布哥联邦大学);Universidade Federal Rural de Pernambuco(伯南布哥农村联邦大学)
我们提出了一种多摄像机三维行人检测方法,不需要训练使用的数据从目标场景。我们估计行人在地平面上的位置使用一种新的启发式的基础上,人体姿势和人的边界框从现成的单目检测器。然后,我们将这些位置投影到世界地平面上,并将它们与集团覆盖问题的新公式相融合。我们还提出了一个可选的步骤,利用融合过程中的行人外观,通过使用域概括的人重新识别模型。我们在具有挑战性的WILDTRACK数据集上评估了所提出的方法。它的MODA为0.569,F评分为0.78,优于最先进的通用检测技术。
2021-04-12 cs.CV
Towards Privacy-Preserving Person Re-identification via Person Identify Shift
近年来,行人身份识别(ReID)中的隐私问题越来越受到人们的关注,如何保护ReID中行人图像的隐私变得至关重要。去身份化(DeID)方法通过去除ReID数据的身份相关来减轻隐私问题。然而,大多数现有的DeID方法往往会删除所有与个人身份相关的信息,并损害ReID任务中去识别数据的可用性。在本文中,我们的目标是开发一种技术,可以实现一个很好的折衷之间的隐私保护和数据的可用性的人ReID。为了实现这一点,我们提出了一种新的去识别方法,明确设计的人ReID,命名为人识别转移(PIS)。PIS在保持图像对之间身份关系的同时,去除了行人图像中的绝对身份。通过利用变分自动编码器的插值特性,PIS将每个行人图像从当前身份转移到另一个具有新身份的身份,从而使图像仍然保持相对身份。实验结果表明,与现有的去身份方法相比,该方法在隐私保护和模型性能之间具有更好的权衡,能够抵御人类和模型对数据隐私的攻击。
2022-07-15 cs.CV
Person Re-identification based on Robust Features in Open-world
Zhejiang University of Science and Technology(浙江科技大学);Zhejiang University of Water Resources and Electric Power(浙江水利水电学院)
深度学习技术促进了人的再识别(re-ID)的快速发展。然而,在开放世界中仍然存在一些挑战。首先,现有的re-ID研究通常假设只有一个因素变量(视图,服装,行人姿势,行人遮挡,图像分辨率,RGB/IR模态)的变化,忽略了开放世界中多因素变量的复杂性。其次,现有的行人身份识别方法过于依赖行人的服装颜色等表观特征,容易被伪装或改变。此外,缺乏包含多因子变量的基准数据集也阻碍了re-ID在开放世界中的实际应用。本文针对现有的行人身份识别研究中存在的特征选择不可靠、特征提取效率低、研究变量单一等问题,提出了一种低成本、高效率的行人身份识别方法。该方法基于对行人姿态估计模型进行改进,通过组卷积获得行人的连续关键点,并利用动态时间规整(DTW)来度量不同行人之间的特征相似性。同时,为了验证我们的方法的有效性,我们提供了一个微型数据集,这是更接近现实世界,包括行人换衣服和跨模态因子变量融合。进行了大量的实验,结果表明,我们的方法在该数据集上实现了Rank-1:60.9%,Rank-5:78.1%和mAP:49.2%,这超过了大多数现有的最先进的re-ID模型。
2021-02-22 cs.CV
Tran-GCN: A Transformer-Enhanced Graph Convolutional Network for Person Re-Identification in Monitoring Videos
Faculty of Computing, Universiti Teknologi Malaysia(马来西亚理工大学计算机学院);Malaysia-Japan International Institute of Technology, Universiti Teknologi Malaysia(马来西亚理工大学马来西亚-日本国际技术学院)
针对现有行人重识别方法忽略局部特征关联、难应对姿态变化与局部遮挡的问题,提出融合姿态估计、Transformer、卷积分支与图卷积模块的Tran-GCN模型,在三个基准数据集上有效提升了监控视频行人重识别准确率。
2024-09-14 cs.CV
Part-based Deep Hashing for Large-scale Person Re-identification
Dalian University of Technology(大连理工大学);University of Technology Sydney(悉尼科技大学);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
大规模是个人重新识别(re-id)的趋势。在大型图库中执行实时搜索非常重要。虽然以前的方法主要集中在判别式学习,本文尝试将深度学习和哈希集成到一个框架中,以评估大规模的人re-id的效率和准确性。我们通过将行人图像分割成水平部分,整合空间信息进行判别式视觉表示。具体地,提出了基于部分的深度哈希(PDH),其中采用批量的三元组样本作为深度哈希架构的输入。每个三元组样本包含具有相同身份的两个行人图像(或部分)和具有不同身份的一个行人图像(或部分)。该方法采用三重损失函数,并以同一身份的行人图像(或部分)的汉明距离小于不同身份的行人图像(或部分)的汉明距离为约束。在实验中,我们证明了所提出的基于部分的深度哈希方法在大规模Market-1501和Market-1501+ 500 K数据集上产生了非常有竞争力的re-id准确性。
2017-05-05 cs.CV
Feature Erasing and Diffusion Network for Occluded Person Re-Identification
Monash University(莫纳什大学);SenseTime Research(商汤科技研究院);The University of Sydney(悉尼大学);Qing Yuan Research Institute, Shanghai Jiao Tong University(上海交通大学清源研究院);Xidian University(西安电子科技大学)
被遮挡的人重新识别(ReID)旨在将被遮挡的人图像与不同相机视图中的整体图像进行匹配。目标行人(TP)通常受到非行人遮挡(NPO)和非目标行人(NTP)的干扰。以前的方法主要集中在提高模型对NPO的鲁棒性,而忽略了来自NTP的特征污染。在本文中,我们提出了一种新的特征擦除和扩散网络(FED),同时处理NPO和NTP。具体来说,NPO功能被我们提出的遮挡擦除模块(OEM)消除,辅助NPO增强策略,模拟NPO对整体行人图像,并生成精确的遮挡掩模。随后,我们随后,我们扩散的行人表示与其他记忆功能合成NTP特征的特征空间,这是通过一个新的特征扩散模块(FDM)通过一个可学习的交叉注意力机制。在OEM遮挡分数的指导下,特征扩散过程主要在可见的身体部位进行,这保证了合成的NTP特征的质量。通过在FED网络中联合优化OEM和FDM,我们可以大大提高模型对TP的感知能力,并减轻NPO和NTP的影响。此外,所提出的FDM仅作为训练的辅助模块,并且将在推理阶段被丢弃,从而引入很少的推理计算开销。在封闭和整体人ReID基准上的实验证明了FED优于最先进的技术,其中FED在Occluded-REID上达到86.3%的Rank-1准确率,超过其他人至少4.7%。
2022-03-31 cs.CV
Transferring Modality-Aware Pedestrian Attentive Learning for Visible-Infrared Person Re-identification
针对可见-红外行人重识别中现有模态补偿方法计算开销高、易引入干扰的问题,提出TMPA模型,通过PedMix区域增强和轻量MFT模块高效学习模态完备特征,在两个基准数据集上验证了有效性。
2023-12-19 cs.AI cs.CV
Uncertainty-Aware Prototype Semantic Decoupling for Text-Based Person Search in Full Images
针对全图像文本行人搜索中复杂场景下检测与匹配不确定性导致性能下降的问题,提出含多粒度不确定性估计、原型不确定性解耦、跨模态重识别的UPD-TBPS框架,在相关数据集上验证了有效性。
2025-09-01 cs.CV
Learning Transferable Pedestrian Representation from Multimodal Information Supervision
University of Science and Technology of China(中国科学技术大学);Huawei Cloud(华为云)
本文提出VAL-PAT框架,通过自监督对比学习、图像-文本对比学习和多属性分类三种目标,在LUPerson-TA数据集上预训练学习可迁移的行人表征,并有效迁移到行人重识别、属性识别和文本行人搜索等多个下游任务。
2023-04-12 cs.AI cs.CV
Dissecting Person Re-identification from the Viewpoint of Viewpoint
Australian National University(澳大利亚国立大学)
视点、姿态、光照和背景等视觉因素的变化通常被视为人物再识别(re-ID)的重要挑战。尽管承认这些因素是有影响力的,但仍然缺乏关于它们如何影响re-ID系统的定量研究。为了在这场科学运动中获得启示,本文对一个特殊因素--观点--进行了初步的尝试。我们缩小的观点问题,行人旋转角度,以获得重点的结论。在这方面,本文对社会做出两点贡献。首先,我们介绍了一个大规模的合成数据引擎,PersonX。该引擎由手工制作的3D人物模型组成,其突出特点是“可控”。也就是说,我们能够通过将视觉变量设置为任意值来合成行人。其次,在三维数据引擎上,定量分析了行人旋转角度对re-ID精度的影响。综合而言,人物旋转角度从0到360度精确定制,使我们能够研究其对训练,查询和图库集的影响。大量的实验帮助我们更深入地理解了人重新识别中的基本问题。我们的研究也为数据集的构建和未来的实际应用提供了有用的见解,例如,侧视图的人进行更好的查询。
2019-06-17 cs.CV
Multi-Level Attention for Unsupervised Person Re-Identification
China University of Mining and Technology(中国矿业大学)
注意力机制由于在神经网络中表现出色而不需要引入额外信息,因此被广泛应用于深度学习。然而,在无监督的人物再识别中,以多头自我注意为代表的注意模块在非基础事实的情况下会受到注意扩散的影响。为了解决这个问题,我们设计了像素级注意力模块,为多头自注意提供约束。同时,针对人物重识别数据的识别目标均为样本中的行人的特点,设计了领域级注意力模块,提供更全面的行人特征。我们结合头部级,像素级和领域级的注意力,提出了多层次的注意力块,并验证其性能上的大型人员重新识别数据集(市场-1501,DukeMTMC-reID和MSMT 17和PersonX)。
2022-01-10 cs.CV
Temporal Attribute-Appearance Learning Network for Video-based Person Re-Identification
School of Information Science and Technology, University of Science and Technology of China(中国科学技术大学信息科学技术学院)
基于视频的行人再识别是指在不同时间、不同地点的监控视频中匹配特定的行人。人的属性和外观是相辅相成的,两者都有助于行人匹配。在这项工作中,我们提出了一种新的时间属性外观学习网络(TALNet)的视频为基础的人重新识别。TALNet同时利用人类属性和外观从视频中学习全面有效的行人表示。它探索了硬视觉注意和属性的时间-语义上下文,以及身体部位之间的时空依赖性,以促进对它们的学习。具体地说,提出了一个属性分支网络的空间注意力块和时间语义上下文块学习鲁棒属性表示。空间注意力块将网络集中在与每个属性相关的视频帧内的对应区域上,时间-语义上下文块学习跨视频帧的每个属性的时间上下文和每个视频帧中的属性之间的语义上下文。外观分支网络的目的是学习有效的外观表示从整个身体和身体部位之间的时空依赖性。TALNet利用属性和外观表示之间的互补性,并通过多任务学习方式联合优化它们。此外,我们在两个常用的视频数据集中为每个行人标注ID级属性。在这些数据集上进行的大量实验验证了TALNet优于最先进的方法。
2020-09-09 cs.CV
Identity-Guided Collaborative Learning for Cloth-Changing Person Reidentification
Shandong Artificial Intelligence Institute(山东人工智能研究院);Qilu University of Technology (Shandong Academy of Sciences)(齐鲁工业大学(山东省科学院));Tianjin University of Technology(天津理工大学);Monash University(莫纳什大学);Tongji University(同济大学);Hefei University of Technology(合肥工业大学)
提出身份引导协作学习方案IGCL,通过衣物注意力退化、人体语义注意力和身份增强等多流联合优化,在换衣行人重识别任务上显著超越现有方法。
2023-11-17 cs.CV
Improved Res2Net model for Person re-identification
Jeonbuk National University(国立全北大学)
本文提出基于改进Res2Net的多任务网络,同时计算识别损失和验证损失以提升行人重识别性能,在DukeMTMC和Market-1501上rank-1准确率分别达到83.18%和93.14%。
2020-02-24 cs.CV
Vision Meets Wireless Positioning: Effective Person Re-identification with Recurrent Context Propagation
University of Science and Technology of China(中国科学技术大学)
现有的人的重新识别方法依赖于视觉传感器来捕获行人。视觉传感器获取的图像或视频数据不可避免地会受到遮挡和行人姿态变化的影响,从而降低了行人的再识别性能,进一步限制了其在开放环境中的应用。另一方面,对于大多数人来说,最重要的随身物品之一就是手机,手机可以通过WiFi和蜂窝网络以无线定位信号的形式感知。这种信号对行人遮挡和视觉外观变化具有鲁棒性,但存在一定的定位误差。在这项工作中,我们的方法与视觉和无线定位的传感数据的人重新识别。为了利用这种跨模态的线索,我们提出了一种新的经常性的上下文传播模块,使信息之间的视觉数据和无线定位数据的传播,并最终提高匹配精度。为了评估我们的方法,我们贡献了一个新的无线定位人员重新识别(WP-ReID)数据集。大量的实验表明,该算法的有效性。代码将在https://github.com/yolomax/WP-ReID上发布。
2020-09-04 cs.CV
OC4-ReID: Occluded Cloth-Changing Person Re-Identification
Beijing University of Posts and Telecommunications(北京邮电大学);South China University of Technology(华南理工大学);Nanjing University of Information Science & Technology(南京信息科学技术大学);University of Oxford(牛津大学);Nanjing University(南京大学)
针对现实场景中行人换衣且被遮挡的重识别难题,本文提出OC4-ReID任务,构建含随机遮挡的新数据集,结合T2MGS模块与PRT损失的基准方法,经多数据集验证性能优于现有最优方法。
2025-09-04 cs.CV
EPAN: Robust Pedestrian Re-Identification via Enhanced Alignment Network for IoT Surveillance
China University of Petroleum (Beijing) Karamay Campus(中国石油大学(北京)克拉玛依校区);China Tower Corporation Limited(中国铁塔股份有限公司);Information Technology Research Institute of China Tower(中国铁塔信息技术研究院);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出增强行人对齐网络(EPAN),通过双分支架构提取多尺度与多视角对齐信息,解决物联网监控中的鲁棒行人重识别问题,在Inspection-Personnel数据集上达到90.09%的Rank-1准确率和78.82%的mAP。
2025-11-03 cs.CV
Pose Invariant Embedding for Deep Person Re-identification
University of Technology Sydney(悉尼科技大学);CMU(卡内基梅隆大学);Dalian University of Technology(大连理工大学)
行人失准是一个鲁棒的行人身份识别系统的关键问题,主要由检测器误差和姿态变化引起。在对齐不良的情况下,背景噪声将显著损害特征学习和匹配过程。为了解决这个问题,本文引入了姿态不变嵌入(PIE)作为行人描述符。首先,为了将行人与标准姿势对齐,引入了PoseBox结构,该结构是通过姿势估计和仿射变换生成的。其次,为了减少姿势估计误差和PoseBox构建过程中信息丢失的影响,我们设计了一种PoseBox融合(PBF)CNN架构,该架构将原始图像、PoseBox和姿势估计置信度作为输入。因此,建议的PIE描述符被定义为检索任务的PBF网络的全连接层。在Market-1501、CUHK 03和VIPeR数据集上进行了实验。我们表明,PoseBox单独产生体面的re-ID准确性,当集成在PBF网络,学习PIE描述符产生竞争力的性能相比,国家的最先进的方法。
2017-01-26 cs.CV
Improving Person Re-identification by Attribute and Identity Learning
University of Technology Sydney(悉尼科技大学);Australian National University(澳大利亚国立大学);Hangzhou Dianzi University(杭州电子科技大学)
人再识别(re-ID)和属性识别有一个共同的目标,在学习行人的描述。它们的区别在于粒度。现有的重识别方法大多只考虑行人的身份标签。然而,我们发现,包含详细的本地描述的属性,是有益的,允许重新ID模型学习更多的歧视性特征表示。在本文中,基于属性标签和ID标签的互补性,我们提出了一个属性-人识别(APR)网络,一个多任务网络,学习重新ID嵌入,同时预测行人属性。我们手动注释两个大规模的re-ID数据集的属性标签,并系统地研究人的re-ID和属性识别如何相互受益。此外,我们考虑属性之间的依赖性和相关性,重新加权的属性预测。在两个大规模的re-ID基准测试上的实验结果表明,通过学习更具鉴别力的表示,APR实现了与最先进的方法相比具有竞争力的re-ID性能。我们使用APR将检索过程加快了10倍,在Market-1501上的准确率略有下降,为2.92%。此外,我们还将APR应用于属性识别任务,并展示了基线的改进。
2019-06-09 cs.CV
Pedestrian re-identification based on Tree branch network with local and global learning
Shenzhen University(深圳大学);Sun Yat-sen University(中山大学);University of Oulu(奥卢大学)
最近文献中的基于深度部分的方法揭示了学习行人图像的局部部分级表示在人员重新识别任务中的巨大潜力。然而,捕捉人体的判别性整体信息的全局特征通常被忽视或没有得到很好的利用。这促使我们研究从行人图像中联合学习全局和局部特征。具体来说,在这项工作中,我们提出了一个新的框架,称为树枝网络(TBN)的人重新识别。给定一个行人图像,由主干CNN生成的特征图被递归地划分为几个部分,每个部分后面都有一个瓶颈结构,该瓶颈结构学习分层树状框架中每个级别的细粒度特征。通过这种方式,表示以粗到细的方式学习,并最终组装以产生更具区分力的图像描述。实验结果表明,在所提出的TBN框架的全局和局部特征学习方法的有效性。在三个公共基准测试中,我们的性能也比最先进的方法有了显着的提高:Market-1501,CUHK-03和DukeMTMC。
2019-03-31 cs.CV
Divide and Fuse: A Re-ranking Approach for Person Re-identification
由于重新排序是提高大规模数据集上的人重新识别(re-ID)性能的必要步骤,特征的多样性对于设计行人描述和基于特征融合的重新排序都至关重要。然而,在许多情况下,只有一种类型的行人特征可用。在本文中,我们提出了一个“分而用”的重新排序框架的人重新ID。它利用了从不同部分的高维特征向量的融合为基础的重新排序的多样性,而没有其他功能是可访问的。具体地,给定图像,提取的特征被划分为子特征。然后将每个子特征的上下文信息迭代编码为新的特征。最后,从同一图像的新特征融合到一个向量进行重新排序。两个人的重新ID基准上的实验结果证明了所提出的框架的有效性。特别是,我们的方法在Market-1501数据集上的表现优于最先进的方法。
2017-08-11 cs.CV
Quality-aware Part Models for Occluded Person Re-identification
South China University of Technology(华南理工大学);Baidu Inc(百度公司);Shenzhen University(深圳大学);JD Explore Academy, JD.com(京东探索研究院)
遮挡对人员重新识别(ReID)构成了重大挑战。现有的方法通常依赖于外部工具来推断可见的身体部位,这在计算效率和ReID准确性方面可能是次优的。特别是,当面对复杂的遮挡时,例如行人之间的遮挡,它们可能会失败。因此,在本文中,我们提出了一种新的方法命名为质量感知的部分模型(QPM)的遮挡鲁棒的ReID。首先,我们建议联合学习零件特征和预测零件质量分数。由于没有可用的质量注释,我们引入了一种策略,该策略自动为被遮挡的身体部位分配低分数,从而削弱了被遮挡的身体部位对ReID结果的影响。其次,基于预测的部分质量分数,我们提出了一种新的身份感知空间注意(ISA)模块。在该模块中,一个粗略的身份感知功能被用来突出目标行人的像素,从而处理行人之间的遮挡。第三,我们设计了一个自适应的和有效的方法来生成全球功能,从共同的非遮挡区域相对于每个图像对。这种设计是至关重要的,但通常被现有的方法所忽略。QPM有三大优势:1)它在训练或推理阶段不依赖任何外部工具; 2)它处理由物体和其他行人引起的遮挡;3)它是高度计算效率的。在四个流行的数据库上进行的实验结果表明,QPM的性能始终优于最先进的方法显着的利润率。QPM的代码将被发布。
2022-01-01 cs.CV
Pose-Aided Video-based Person Re-Identification via Recurrent Graph Convolutional Network
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Chongqing Normal University(重庆师范大学);National Center for Applied Mathematics in Chongqing(重庆国家应用数学中心);Northeast Forestry University(东北林业大学);Inner Mongolia University(内蒙古大学);Southern University of Science and Technology(南方科技大学)
现有的基于视频的行人再识别方法主要通过特征提取器和特征聚合器学习行人的外观特征。然而,当不同的行人具有相似的外观时,外观模型会失败。考虑到不同的行人有不同的行走姿势和身体比例,我们建议学习的区别性的姿态特征以外的外观特征的视频检索。具体来说,我们实现了一个两分支架构,分别学习外观特征和姿势特征,然后将它们连接在一起进行推理。为了学习姿势特征,我们首先通过现成的姿势检测器检测每帧中的行人姿势,并使用姿势序列构建时间图。然后利用递归图卷积网络(RGCN)学习时间姿态图的节点嵌入,设计全局信息传播机制,同时实现帧内节点的邻域聚合和帧间图的消息传递.最后,提出了一种由节点注意力和时间注意力组成的双注意力方法,利用自注意力机制学习每个节点和每个帧的重要性,从节点嵌入中获得时间图表示。我们在三个基于视频的ReID数据集上验证了所提出的方法,即,Mars、DukeMTMC和iLIDS-VID的实验结果表明,学习的姿态特征可以有效地提高现有外观模型的性能。
2022-09-23 cs.CV
Learning Deep Representations by Mutual Information for Person Re-identification
大多数现有的人重新识别(ReID)方法具有良好的特征表示,以利用深度卷积神经网络(CNN)和度量学习方法来区分行人。然而,这些工作集中在编码器输出和地面实况之间的相似性,忽略了输入和编码器输出之间的相关性,这影响了识别不同行人的性能。为了解决这一问题,我们设计了一个Deep InfoMax(DIM)网络,以最大化输入图像和编码器输出之间的互信息(MI),它不需要任何辅助标签。为了评估DIM网络的有效性,我们提出了端到端的Global-DIM和Local-DIM模型。此外,DIM网络为跨数据集无监督ReID问题提供了一种新的解决方案,因为它不需要额外的标签。实验证明了MI理论在ReID问题上的优越性,达到了最新的结果。
2019-08-16 cs.CV
Deep-Person: Learning Discriminative Deep Features for Person Re-Identification
Huazhong University of Science and Technology(华中科技大学)
最近,许多人重新识别(Re-ID)的方法依赖于基于部件的特征表示来学习有区别的行人描述符。然而,这些部分之间的空间上下文对于每个单独部分的独立提取器被忽略。在本文中,我们建议以端到端的方式应用长短期记忆(LSTM)来建模行人,将其视为从头到脚的身体部位序列。结合上下文信息增强了局部表征的区分能力。我们还利用局部和全局特征之间的互补信息。此外,我们将识别任务和排名任务集成在一个网络中,其中同时学习判别嵌入和相似性度量。这导致了一种名为Deep-Person的新的三分支框架,该框架学习了人Re-ID的高度区分特征。实验结果表明,Deep-Person在三个具有挑战性的数据集(包括Market-1501,CUHK 03和DukeMTMC-reID)上的性能大大优于最先进的方法。具体来说,结合重新排名的方法,我们实现了90.84%的市场上的mAP-1501在单一的查询设置。
2019-09-09 cs.CV
OIMNet++: Prototypical Normalization and Localization-aware Learning for Person Search
Korea Institute of Science and Technology (KIST)(韩国科学技术研究院);Yonsei University(延世大学)
我们解决的任务的人搜索,即本地化和重新识别查询人从一组原始场景图像。最近的方法通常建立在OIMNet上,OIMNet是人员搜索的先驱工作,它学习联合人员表示以执行检测和人员重新识别(reID)任务。为了获得表示,他们从行人建议中提取特征,然后将其投影到具有L2归一化的单位超球面上。这些方法还包含所有积极的建议,这些建议与地面事实充分重叠,同样可以学习reID的人表示。我们发现:1)不考虑特征分布的L2归一化会降低人表示的辨别能力,2)积极的建议通常也会描述背景混乱和人重叠,这可能会将噪声特征编码为人表示。在本文中,我们介绍了解决上述限制的OIMNet++。为此,我们引入了一个新的规范化层,称为ProtoNorm,它可以从行人建议中校准特征,同时考虑人ID的长尾分布,使L2规范化的人表示具有歧视性。我们还提出了一个本地化感知的特征学习计划,鼓励更好地对齐的建议,以促进更多的学习歧视性表示。在标准的人物搜索基准上的实验结果和分析证明了OIMNet++的有效性。
2022-07-21 cs.CV
Occluded Person Re-Identification via Relational Adaptive Feature Correction Learning
Yonsei University(延世大学)
在多个摄像机捕获的图像中,被遮挡的人重新识别(Re-ID)是具有挑战性的,因为目标人被行人或物体遮挡,特别是在拥挤的场景中。除了在整体人Re-ID期间执行的过程之外,被遮挡的人Re-ID还涉及障碍物的移除和部分可见的身体部位的检测。大多数现有的方法利用现成的姿势或解析网络作为伪标签,这是容易出错的。为了解决这些问题,我们提出了一种新的遮挡校正网络(OCNet),它通过关系权重学习来校正特征,并在不使用外部网络的情况下获得多样化和代表性的特征。此外,我们提出了一个简单的中心功能的概念,以提供一个直观的解决方案,行人遮挡的情况。此外,我们提出了分离损失(SL)的想法,专注于不同的部分之间的全球功能和部分功能。我们在五个具有挑战性的基准数据集上进行了大量的实验,以证明我们的方法比最先进的方法具有更好的性能,特别是在遮挡场景中。
2022-12-09 cs.CV
Unsupervised Domain-Adaptive Person Re-identification Based on Attributes
Istituto Italiano di Tecnologia(意大利技术研究院)
行人属性,例如,头发长度、衣服类型和颜色局部地描述了人的语义外观。训练人重新识别(ReID)算法的监督下,这些属性已被证明是有效的,在提取本地功能,这是很重要的ReID。与个人身份不同,属性在不同的域(或数据集)中是一致的。然而,大多数ReID数据集缺乏属性注释。另一方面,对于行人属性识别的情况,有几个标记有足够属性的数据集。利用这些数据用于ReID目的可以是缓解ReID情况下属性注释不足的一种方法。在这项工作中,提出了一个无监督的域自适应ReID特征学习框架,以充分利用属性注释。我们建议将属性相关特征从其原始域转移到ReID域:为此,我们引入了一种对抗性判别领域自适应方法,以学习用于编码语义属性的域不变特征。在三个大规模数据集上的实验验证了所提出的ReID框架的有效性。
2019-08-27 cs.CV
Unsupervised Person Re-identification: Clustering and Fine-tuning
University of Technology Sydney(悉尼科技大学)
最近的文献中已经报道了深入学习的行人表示的优越性的人重新识别(重新ID)。在本文中,我们考虑了更实用的问题,即学习没有标签或只有几个标签的深度特征。我们提出了一种渐进式无监督学习(PUL)方法,将预训练的深度表示转移到看不见的领域。我们的方法易于实现,可以被视为无监督re-ID特征学习的有效基线。具体来说,PUL在1)行人聚类和2)卷积神经网络(CNN)的微调之间迭代,以改进在不相关的标记数据集上训练的原始模型。由于聚类结果可能非常嘈杂,我们在聚类和微调之间添加了选择操作。在开始时,当模型较弱时,CNN在少量可靠的样本上进行微调,这些样本位于特征空间中的聚类质心附近。随着模型在后续迭代中变得更强,更多的图像被自适应地选择为CNN训练样本。逐步地,行人聚类和CNN模型同时改进,直到算法收敛。这一过程自然被表述为自定进度的学习。然后,我们指出有希望的方向,可能会导致进一步的改进。在三个大规模re-ID数据集上的大量实验表明,PUL输出的判别特征提高了re-ID的准确性。
2017-06-29 cs.CV
Reference-Aided Part-Aligned Feature Disentangling for Video Person Re-Identification
近年来,基于视频的人物再识别技术因其实际应用前景而受到计算机视觉界的广泛关注。由于行人检测和姿态变化的不准确性,行人错位显著增加了特征提取和匹配的难度。为了解决这个问题,在本文中,我们提出了一个\textbf{R}参考- \textbf{A}辅助\textbf{P}艺术- \textbf{A}连接(\textbf{RAPA})框架来解开不同部分的鲁棒特征。首先,为了在不同视频之间获得更好的参考,引入了基于姿态的参考特征学习模块。其次,一个有效的基于关系的部分特征解开模块,探索在每个视频帧对齐。通过使用这两个模块,视频中的行人的信息部分很好地对齐,并生成更具鉴别力的特征表示。在iLIDS-VID、PRID-2011和MARS数据集上进行的实验验证了该框架的有效性。我们的代码将公开提供。
2021-03-21 cs.CV
Attention Disturbance and Dual-Path Constraint Network for Occluded Person Re-identification
Xiamen University(厦门大学);Donghua University(东华大学);Tencent Youtu Lab(腾讯优图实验室)
针对遮挡行人重识别中人工遮挡与真实遮挡差异导致泛化不足的问题,提出基于Transformer的注意力扰动与双路径约束网络ADP,通过ADM模拟真实遮挡噪声和DPC利用完整图像监督信息,在多个基准上取得优于现有方法的性能。
2024-02-22 cs.CV
Domain-adaptive Person Re-identification without Cross-camera Paired Samples
Kunming University of Science and Technology(昆明理工大学);State University of New York at Buffalo State(纽约州立大学布法罗州立学院)
针对长距离场景缺乏跨摄像头配对正样本的问题,提出含CSCM与CCFLM的域自适应行人重识别方法,通过特征重组、交互促进及风格交换实现一致判别学习,并在三个数据集、四种设置下验证有效性。
2023-07-15 cs.CV
End-to-End Detection and Re-identification Integrated Net for Person Search
Chongqing University(重庆大学);Hefei University of Technology(合肥工业大学)
本文提出了一种行人检测和重新识别(re-id)集成网络(I-Net)在端到端的学习框架。I-Net应用于实际视频监控场景,需要在整个场景视频中搜索目标人物,而行人边界框的标注不可用。通过与联合检测和re-id的OIM相比,我们有三个不同的贡献。首先,我们引入了一个连体结构的I-Net,而不是1流,这样就可以实现验证任务。其次,我们提出了一种新的在线配对损失(OLP)和硬例子优先的软最大损失(HEP),这样,只有硬否定提出了更多的注意力在损失计算。第三,在I-Net中设计了一个在线字典,用于存储阴性样本,而不记录阳性样本。我们在个人搜索数据集上展示了我们的结果,检测和重新识别之间的差距缩小了。可以实现优异的性能。
2018-04-02 cs.CV
Occluded Person Re-Identification with Deep Learning: A Survey and Perspectives
Institute of Semiconductors, Chinese Academy of Sciences(中国科学院半导体研究所);School of Software, Xinjiang University(新疆大学软件学院);School of Information Technology, Halmstad University(哈尔姆斯塔德大学信息技术学院)
本文系统综述了基于深度学习的遮挡行人重识别方法,梳理数据集与评估方案,分类分析现有方法并比较性能,指出最优方法及未来发展方向。
2023-11-01 cs.CV
Prompt-driven Transferable Adversarial Attack on Person Re-Identification with Attribute-aware Textual Inversion
School of Artificial Intelligence and Robotics, Hunan University(湖南大学人工智能与机器人学院);National Engineering Research Center of Robot Visual Perception and Control Technology(机器人视觉感知与控制技术国家工程研究中心);College of Information Science and Engineering, Hunan Normal University(湖南师范大学信息科学与工程学院)
本文提出属性感知提示攻击(AP-Attack),利用视觉-语言模型的图像-文本对齐能力和文本反转网络破坏行人细粒度属性语义,显著提升行人重识别对抗攻击的可迁移性,在跨模型与数据集场景中平均丢弃率超越先前方法22.9%。
2025-07-17 cs.CV
Nonlinear Local Metric Learning for Person Re-identification
Tsinghua University(清华大学);Michigan State University(密歇根州立大学)
人重新识别的目的是匹配从非重叠的相机视图观察到的行人。特征描述子和度量学习是身份识别中的两个重要问题。由于特征空间中的大变化,判别度量学习方法应该能够利用复杂的非线性变换。在本文中,我们提出了一个非线性局部度量学习(NLML)方法,以提高国家的最先进的性能的人重新识别的公共数据集。由于局部度量学习已经被引入到处理局部变化的数据和深度神经网络在利用样本的非线性方面表现出出色的能力,我们利用局部度量学习和深度神经网络的优点来学习多组非线性变换。通过在变换后的特征子空间中强制正行人图像对的距离和负行人图像对的距离之间的裕度,可以在所开发的神经网络中有效地利用鉴别信息。实验结果表明,本文提出的NLML方法在VIPeR、GRID和CUHK 01数据集上取得了较好的效果。
2015-11-16 cs.CV
Diverse Semantics-Guided Feature Alignment and Decoupling for Visible-Infrared Person Re-Identification
Nanjing University of Science and Technology(南京理工大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
针对可见光-红外行人重识别中的模态差异和风格噪声问题,提出DSFAD网络,通过多样语义引导对齐、边际解耦和一致性恢复模块,将身份特征对齐至文本空间并解耦无关特征,在三个数据集上验证了其优越性。
2025-05-01 cs.CV
CLIP-based Camera-Agnostic Feature Learning for Intra-camera Person Re-Identification
Tangshan Research Institute, Southwest Jiaotong University(西南交通大学唐山研究院);School of Computing and Artificial Intelligence, Southwest Jiaotong University(西南交通大学计算机与人工智能学院);Engineering Research Center of Sustainable Urban Intelligent Transportation, Ministry of Education, China(教育部可持续城市智能交通工程研究中心);Manufacturing Industry Chains Collaboration and Information Support Technology Key Laboratory of Sichuan Province(四川省产业链协同与信息支撑技术重点实验室)
针对相机内监督行人重识别中跨相机标注缺失问题,提出基于CLIP的CCAFL框架,通过相机内判别学习和相机间对抗学习学习相机无关特征,在MSMT17上mAP达58.9%,超越现有方法7.6%。
2024-09-29 cs.AI cs.CV
HydraPlus-Net: Attentive Deep Features for Pedestrian Analysis
The Chinese University of Hong Kong(香港中文大学);SenseTime Group Limited(商汤集团有限公司)
行人分析在智能视频监控中起着至关重要的作用,是以安全为中心的计算机视觉系统的关键组成部分。尽管卷积神经网络在从图像中学习区分特征方面表现出色,但用于细粒度任务的行人综合特征的学习仍然是一个悬而未决的问题。在这项研究中,我们提出了一种新的基于注意力的深度神经网络,命名为HydraPlus-Net(HP-net),它将多层次的注意力地图多方向地馈送到不同的特征层。从所提出的HP网络中学习到的关注深度特征带来了独特的优势:(1)该模型能够捕获从低级到语义级的多个关注,(2)它探索了关注特征的多尺度选择性,以丰富行人图像的最终特征表示。我们证明了建议的HP-网络行人分析的两个任务,即行人属性识别和人的重新识别的有效性和通用性。已经提供了大量的实验结果来证明HP-net在各种数据集上的性能优于最先进的方法。
2017-09-28 cs.CV
Pose-guided Inter- and Intra-part Relational Transformer for Occluded Person Re-Identification
State Key Laboratory of Virtual Reality Technology and Systems, SCSE, Beihang University(北京航空航天大学计算机学院虚拟现实技术与系统国家重点实验室);Peng Cheng Laboratory(鹏城实验室)
由于行人可能被部分遮挡,因此遮挡场景下的人员重新识别(Re-Id)是一个具有挑战性的问题。利用局部信息进行特征提取和匹配仍然是必要的。因此,我们提出了一个姿势引导的内部和内部的关系Transformer(Pirt)闭塞的人Re-Id,建立部分意识到的长期相关性,通过引入Transformers。在我们的框架中,我们首先开发了一个姿势引导的特征提取模块,区域分组和面具建设鲁棒的特征表示。监控场景下行人在图像中的位置相对固定,因此我们提出了一种部分内和部分间的关系Transformer。部件内模块创建与掩模引导特征的局部关系,而部件间关系建立与Transformers的相关性,以开发部件节点之间的交叉关系。通过协作学习部分间和部分内关系,实验表明,我们提出的Pirt模型在公共遮挡数据集上达到了新的技术水平,并且在标准非遮挡人Re-Id数据集上的进一步扩展也显示了我们的可比性能。
2021-09-08 cs.CV
Beyond Pedestrians: Caption-Guided CLIP Framework for High-Difficulty Video-based Person Re-Identification
Sony Group Corporation(索尼集团公司)
本文提出CG-CLIP框架,通过文本描述和可学习令牌提升视频中高难度行人重识别性能,实验表明其在多个数据集上优于现有方法。
2026-04-09 cs.AI cs.CV
Deep Similarity Metric Learning for Real-Time Pedestrian Tracking
检测跟踪是解决多目标跟踪问题的常用方法。在本文中,我们展示了学习深度相似性度量如何在多对象跟踪基准上改善行人跟踪的三个关键方面。我们训练一个卷积神经网络来学习一个大的人重新识别数据集上的连体结构中的嵌入函数。离线训练的嵌入网络被集成到跟踪公式中,以提高性能,同时保留实时的【形】性能。建议的跟踪器存储外观指标,而检测是强的,使用此外观信息:防止ID开关,通过闭塞相关联的tracklet,并提出新的检测检测器的信心是低的。该方法在评价中取得了有竞争力的结果,特别是在在线的、实时的【形】方法中。我们提出了一个消融研究,显示我们的深度外观指标的三种用途中的每一种的影响。
2019-11-11 cs.CV
Learnable Privacy-Preserving Anonymization for Pedestrian Images
Wuhan University(武汉大学);Zhejiang Lab(之江实验室)
研究了一种新的行人图像隐私保护匿名化问题,该问题为授权模型保留个人身份信息(PII),并防止PII被第三方识别。传统的匿名方法不可避免地会导致语义信息丢失,导致数据效用有限。此外,现有的学习匿名化技术,同时保留各种身份无关的效用,将改变行人的身份,因此不适合训练鲁棒的重新识别模型。为了探索行人图像的隐私-效用权衡,我们提出了一个联合学习可逆匿名化框架,该框架可以可逆地生成全身匿名图像,并且在人员重新识别任务上的性能下降很少。其核心思想是采用传统方法生成的脱敏图像作为初始隐私保护监督,联合训练一个匿名化编码器、一个恢复解码器和一个身份不变模型。我们进一步提出了一个渐进的训练策略来提高性能,迭代地升级初始匿名化监督。实验进一步证明了我们的匿名行人图像的隐私保护的有效性,提高了重新识别的性能,同时保护隐私。代码可在\url{https://github.com/whuzjw/privacy-reid}上获得。
2022-07-24 cs.CV cs.MM
Attention-Aware Compositional Network for Person Re-identification
SenseNets Technology Limited(SenseNets科技有限公司);SenseTime Group Limited(商汤集团有限公司);The University of Sydney(悉尼大学)
人的再识别(Person Reidentification,ReID)是根据视觉外观识别从不同摄像机视角观察到的行人。由于大的姿态变化,复杂的背景杂波和严重的遮挡,这是一个具有挑战性的任务。近来,通过预测关节位置的人体姿态估计在精度上大大提高。使用位姿估计结果来处理位姿变化和背景杂波是合理的,并且这些尝试在ReID性能上取得了很大的提高。然而,我们认为,姿势信息没有得到很好的利用,尚未充分利用的人ReID。在这项工作中,我们引入了一个新的框架,称为注意力感知合成网络(AACN)的人ReID。AACN由两个主要组件组成:姿势引导部分注意力(PPA)和注意力感知特征组合(AFC)。PPA被学习并应用于掩盖行人特征图中不期望的背景特征。此外,姿态指导的可见性分数估计的身体部位,以处理部分遮挡在建议的AFC模块。大量的消融分析实验表明了我们的方法的有效性,并在几个公共数据集上取得了最先进的结果,包括Market-1501,CUHK 03,CUHK 01,SenseReID,CUHK 03-NP和DukeMTMC-reID。
2018-05-16 cs.CV
Semantic-guided Pixel Sampling for Cloth-Changing Person Re-identification
Peng Cheng Laboratory(鹏城实验室);Peking University(北京大学);Huawei Cloud & AI, Huawei Technologies(华为技术有限公司华为云与计算)
换衣人身份识别是一个新兴的研究课题,其目的是对换衣后的行人进行身份识别。这项任务相当具有挑战性,迄今尚未得到充分研究。目前的研究主要集中在人体外形或轮廓素描上,但由于视角和姿态的变化,它们不够健壮。这项任务的关键是利用与衣服无关的线索。提出了一种语义引导的像素采样方法,用于服装更换人员身份识别任务。我们没有明确定义提取哪个特征,而是强制模型自动学习与衣服无关的线索。具体来说,我们首先识别行人的上衣和裤子,然后通过从其他行人身上采样像素来随机改变它们。改变后的样本保留了身份标签,但在不同的行人之间交换衣服或裤子的像素。此外,我们采用了一个损失函数来约束学习的特征在变化前后保持一致。通过这种方式,模型被迫学习与上衣和裤子无关的线索。我们在最新发布的PRCC数据集上进行了广泛的实验。我们的方法在Rank1准确率上达到了65.8%,比以前的方法有很大的优势。该代码可在https://github.com/shuxjweb/pixel_sampling.git上获得。
2021-07-24 cs.AI cs.CV
Random Occlusion-recovery for Person Re-identification
Tongji University(同济大学);Edinburgh Napier University(爱丁堡龙比亚大学);Guangxi Teachers Education University(广西师范学院);Beijing E-Hualu Info Technology Co., Ltd(北京易华录信息技术股份有限公司)
作为多摄像机监控系统的一项基本任务,人员再识别的目的是对多个摄像机不重叠或同一摄像机在不同时间观察到的查询行人进行再识别。最近,基于深度学习的人物再识别模型在许多基准测试中取得了巨大成功。然而,这些监督模型需要大量的标记图像数据,并且手动标记的过程花费大量的人力和时间。在这项研究中,我们介绍了一种方法来自动合成标记的人的图像,并采用它们来增加每个身份的人重新识别数据集的样本数。具体来说,我们使用矩形块来随机遮挡行人图像。然后,提出了一种生成对抗网络(GAN)模型,利用成对的遮挡图像和原始图像来合成与原始图像相似但不相同的去遮挡图像。然后,我们用对应的原始图像的相同标签来注释去遮挡图像,并使用它们来增加每个身份的样本数量。最后,我们使用增强的数据集训练基线模型。在CUHK 03、Market-1501和DukeMTMC-reID数据集上的实验结果表明了该方法的有效性。
2019-03-12 cs.CV
Embedding and Enriching Explicit Semantics for Visible-Infrared Person Re-Identification
针对可见-红外行人重识别现有方法缺乏高层语义感知的问题,提出EEES框架,通过显式语义嵌入、跨视角语义补偿和跨模态语义纯化三个模块,学习语义丰富的跨模态行人表示,实验验证了其有效性与优越性。
2024-12-11 cs.CV