Open-set Person Re-identification
Center for Biometrics and Security Research(生物识别与安全研究中心);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
人的再识别是机器学习算法和视频监控应用的研究热点。人物重新识别的任务是确定图库中的哪个人与探针图像具有相同的身份。这个任务基本上假设探测图像的主体属于图库,也就是说,图库包含这个人。然而,在实际应用中,例如在视频中搜索嫌疑人,这种假设通常不成立。在本文中,我们考虑的开放集的人重新识别问题,其中包括两个子任务,检测和识别。检测子任务是确定图库中是否存在探测对象,识别子任务是确定图库中的哪个人与接受的探测对象具有相同的身份。我们提出了一个数据库,收集从视频监控设置的6个摄像头,200人和7,413图像分割。基于此数据库,我们开发了一个基准协议下的开放集的人重新识别的情况下的性能进行评估。几个流行的度量学习算法的人重新识别已被评估为基线。从基线性能,我们观察到,开放集的人的重新识别问题仍然在很大程度上没有得到解决,因此需要进一步的关注和努力。
2014-10-15 cs.CV
PaMM: Pose-aware Multi-shot Matching for Improving Person Re-identification
School of Information and Communications, Gwangju Institute of Science and Technology(光州科学技术院信息与通信学院);Computer Vision Laboratory, GIST(计算机视觉实验室)
本文提出姿态感知多镜头匹配框架PaMM,通过分析摄像机视角和人体姿态来稳健估计姿态并进行高效匹配,在公开数据集上优于现有方法,有效应对视角和姿态变化带来的行人重识别挑战。
2017-05-17 cs.CV
Attribute-aware Identity-hard Triplet Loss for Video-based Person Re-identification
Beihang University(北京航空航天大学)
基于视频的人物再识别(Re-ID)是计算机视觉的一项重要任务。在基于视频的人Re-ID中经常使用的批量硬三重丢失遭受不同阳性之间的距离方差(DVDP)问题。在本文中,我们通过引入一种新的度量学习方法来解决这个问题,该方法称为属性感知的身份硬三重损失(AITL),通过计算属性距离来减少正样本之间的类内变化。为了实现一个完整的基于视频的人的Re-ID模型,一个多任务框架与属性驱动的时空注意力(ASTA)机制也被提出。在MARS和DukeMTMC-VID数据集上的大量实验表明,AITL和ASTA都是非常有效的。通过它们的增强,即使是一个简单的轻量级的基于视频的人Re-ID基线也可以胜过现有的最先进的方法。这些准则已公布在https://github.com/yuange250/Video-based-person-ReID-with-Attribute-information上。
2020-06-13 cs.CV
Multi-Level Attention for Unsupervised Person Re-Identification
China University of Mining and Technology(中国矿业大学)
注意力机制由于在神经网络中表现出色而不需要引入额外信息,因此被广泛应用于深度学习。然而,在无监督的人物再识别中,以多头自我注意为代表的注意模块在非基础事实的情况下会受到注意扩散的影响。为了解决这个问题,我们设计了像素级注意力模块,为多头自注意提供约束。同时,针对人物重识别数据的识别目标均为样本中的行人的特点,设计了领域级注意力模块,提供更全面的行人特征。我们结合头部级,像素级和领域级的注意力,提出了多层次的注意力块,并验证其性能上的大型人员重新识别数据集(市场-1501,DukeMTMC-reID和MSMT 17和PersonX)。
2022-01-10 cs.CV
iQIYI-VID: A Large Dataset for Multi-modal Person Identification
iQIYI, Inc.(爱奇艺公司)
由于野外环境中人的姿态、面部特征、衣着、化妆等变化很大,传统的人脸识别、人的再识别、说话人识别等研究往往集中在单一的信息模式上,不足以处理实际应用中的所有情况。多模态身份识别是一种综合利用人脸、头部、身体、音频等特征进行身份识别的方法,本文介绍了最大的多模态身份识别视频数据集iQIYI-VID。它由5,000位名人的600 K视频剪辑组成。这些视频剪辑是从40万小时的各种类型的在线视频中提取的,从电影,综艺节目,电视剧到新闻广播。所有的视频片段都经过精心的人工标注过程,标注的出错率低于0.2%。我们在iQIYI-VID数据集上评估了最先进的人脸识别、人员重新识别和说话人识别模型。实验结果表明,这些模型仍然是远远不够完美的任务,在野外的人识别。我们提出了一个多模态注意力模块来融合多模态特征,可以大大提高人的识别。我们已经在线发布了数据集,以促进多模态身份识别研究。
2019-04-22 cs.CV
FMT:Fusing Multi-task Convolutional Neural Network for Person Search
Anhui University(安徽大学)
人物搜索是指在没有任何建议和边界框的情况下,从图像中检测出所有的人物,并从检测出的人物中识别出查询人物,这不同于人物重新识别。在本文中,我们提出了一个融合多任务卷积神经网络(FMT-CNN),以解决与单个卷积神经网络的检测和重新识别的相关性和异质性。我们专注于人的检测和人的重新识别的相互作用如何影响整体性能。我们在区域建议网络中使用人标签来产生用于人重新识别和人检测网络的特征,这可以同时提高检测和重新识别的准确性。我们还使用多重丢失来训练我们的重新识别网络。在中大-中山大学Person Search数据集上的实验结果表明,该方法在mAP和top-1两个方面都优于现有的方法。
2020-03-01 cs.CV
Sequence-Based Identification of First-Person Camera Wearers in Third-Person Views
Indiana University Bloomington(印第安纳大学布卢明顿分校);ByteDance(字节跳动)
针对多相机佩戴者交互研究不足的问题,提出同步视角数据集TF2025,并引入结合运动线索与行人重识别的序列方法,实现第三人称视频中第一人称佩戴者识别。
2025-05-31 cs.CV
Towards Privacy-Preserving Person Re-identification via Person Identify Shift
近年来,行人身份识别(ReID)中的隐私问题越来越受到人们的关注,如何保护ReID中行人图像的隐私变得至关重要。去身份化(DeID)方法通过去除ReID数据的身份相关来减轻隐私问题。然而,大多数现有的DeID方法往往会删除所有与个人身份相关的信息,并损害ReID任务中去识别数据的可用性。在本文中,我们的目标是开发一种技术,可以实现一个很好的折衷之间的隐私保护和数据的可用性的人ReID。为了实现这一点,我们提出了一种新的去识别方法,明确设计的人ReID,命名为人识别转移(PIS)。PIS在保持图像对之间身份关系的同时,去除了行人图像中的绝对身份。通过利用变分自动编码器的插值特性,PIS将每个行人图像从当前身份转移到另一个具有新身份的身份,从而使图像仍然保持相对身份。实验结果表明,与现有的去身份方法相比,该方法在隐私保护和模型性能之间具有更好的权衡,能够抵御人类和模型对数据隐私的攻击。
2022-07-15 cs.CV
Joint Person Re-identification and Camera Network Topology Inference in Multiple Cameras
Gwangju Institute of Science and Technology(光州科学技术院);Intel Visual Computing Institute(英特尔视觉计算研究所);Saarland Informatics Campus(萨尔兰信息学园区);ASRI(高级软件与机器人研究所);Seoul National University(首尔大学)
本文提出一个统一框架,在最少先验知识下联合解决多摄像头网络中的行人重识别与摄像头网络拓扑推断问题,并发布带完整标注的SLP数据集,实验验证了其在两项任务上的有效性。
2017-10-03 cs.CV
SCPNet: Spatial-Channel Parallelism Network for Joint Holistic and Partial Person Re-Identification
Zhejiang University(浙江大学);Megvii Inc. (Face++)(旷视科技(Face++))
在过去的几年里,整体人再识别(ReID)得到了广泛的研究,并取得了令人瞩目的进展。然而,在实际场景中,人经常被障碍物或其他人遮挡,这使得部分人重新识别不是微不足道的。在本文中,我们提出了一个空间通道并行网络(SCPNet),其中ReID特征中的每个通道都关注身体的给定空间部分。空间-通道对应关系监督网络学习用于整体和部分人重新识别的区分特征。在四个整体ReID数据集上训练的单个模型在这四个数据集上实现了具有竞争力的准确性,并且在两个未训练的部分ReID数据集上优于最先进的方法。
2018-10-16 cs.CV
Convolutional Temporal Attention Model for Video-based Person Re-identification
University of Manitoba(曼尼托巴大学)
基于视频的人物重新识别的目标是匹配两个输入视频,使得如果两个视频包含同一个人,则两个视频的距离很小。一种常见的个人重新识别方法是首先提取视频中所有帧的图像特征,然后聚合所有特征以形成视频级特征。然后可以使用两个视频的视频级特征来计算两个视频的距离。在本文中,我们提出了一种时间注意力的方法,用于聚合帧级特征到视频级特征向量进行重新识别。我们的方法是出于这样一个事实,即不是所有的帧在一个视频是同样的信息。我们提出了一个完全卷积的时间注意力模型来生成注意力分数。全卷积网络(FCN)已广泛用于语义分割以生成2D输出图。在本文中,我们制定了基于视频的人的重新识别作为一个序列标记的问题,如语义分割。我们在它们之间建立了一个连接,并修改FCN来生成注意力分数,以表示每个帧的重要性。在三个不同的基准数据集(即iLIDS-VID,PRID-2011和SDU-VID)上的大量实验表明,我们提出的方法优于其他最先进的方法。
2019-04-10 cs.CV
3D PersonVLAD: Learning Deep Global Representations for Video-based Person Re-identification
The University of Queensland(昆士兰大学);Hefei University of Technology(合肥工业大学);Dalian University of Technology(大连理工大学);Inception Institute of Artificial Intelligence (IIAI)(人工智能初始研究院)
在本文中,我们介绍了一个全球性的视频表示,以视频为基础的人重新识别(重新ID),聚合在整个视频范围内的本地3D功能。大多数现有方法依赖于2D卷积网络(ConvNets)来提取逐帧深度特征,这些特征在时间上被合并以生成视频级表示。然而,2D ConvNets在卷积之后立即丢失了时间输入信息,并且单独的时间池化在以较短的序列捕获人体运动方面受到限制。为此,我们提出了一个\textit{global}视频表示(3D PersonVLAD),作为3D ConvNets的补充,作为一个新的层来捕获全长视频中的外观和运动动态。然而,由于遮挡和未对准,对每个视频帧进行整体编码并计算所有帧的聚合全局表示是非常具有挑战性的。为了解决这个问题,我们提出的网络进一步增强了3D部件对齐模块,通过软注意模块学习局部特征。这些出席的功能进行统计聚合,以产生身份歧视的表示。我们的全局3D功能在三个基准数据集上实现了最先进的结果:MARS \cite{MARS}、iLIDS-VID \cite{VideoRanking}和PRID 2011
2019-02-06 cs.CV
Key Person Aided Re-identification in Partially Ordered Pedestrian Set
Beijing Visytem Co. Ltd.(北京Visytem有限公司)
理想情况下,人的重新识别寻求完美的特征表示和度量模型,重新识别所有不同的行人以及在不同位置的非重叠视图与不同的相机配置,这是非常具有挑战性的。然而,在大多数行人集中,总有一些优秀的人,他们相对容易重新识别。受这种数据划分的存在的启发,我们提出了一种新的关键人辅助的人重新识别框架的基础上重新定义的偏序行人集。通过基于K-近邻的显著性度量,选出最优秀的人物,即“关键人物”。在监控中,行人进入时间定义的偏序将关键人物与查询人物在时间上关联起来,有助于定位可能的候选人。在两个视频数据集上进行的实验表明,所提出的关键人物辅助框架优于现有的方法,并大大提高了匹配精度在所有级别。
2018-05-25 cs.CV
DeepPFCN: Deep Parallel Feature Consensus Network For Person Re-Identification
IIT Gandhinagar(印度理工学院甘地纳加尔分校)
人物重新识别的目的是将同一个人在不同时间的多个非重叠相机视图上的图像相关联。依赖于人类操作员,在大型摄像机网络中手动重新识别非常耗时且错误。由于大规模分布式多摄像机系统的快速膨胀所产生的大量视觉数据,需要自动的人重新识别。最先进的工作集中在学习和因素化的人的外观特征为潜在的歧视因素在多个语义水平。我们提出了深度并行特征共识网络(DeepPFCN),这是一种新型的网络架构,使用卷积神经网络学习多尺度的人的外观特征。该模型将一个人的视觉外观分解为多个语义层次的潜在区分因素。最终达成共识。DeepPFCN学习的特征表示对于人员重新识别任务来说更鲁棒,因为我们学习了区分性的特定尺度特征,并在多尺度图像输入中最大化多尺度特征融合选择。我们进一步利用平均和最大池在单独的规模为个人特定的任务,区分功能的全球和本地。我们在三个基准数据集上展示了所提出的DeepPFCN模型相对于最先进的重新识别方法的重新识别优势:Market1501,DukeMTMCreID和CUHK03。我们在这些基准数据集上分别实现了75.8%,64.3%和52.6%的mAP结果。
2019-11-18 cs.CV
Graph-based Person Signature for Person Re-Identifications
AIOZ;Imperial College London(伦敦帝国理工学院)
人物重新识别(ReID)的任务是在多个不重叠的相机视图上匹配同一个人的图像。由于视觉因素的变化,以前的作品已经研究了人的身份,身体部位和属性如何有利于人的ReID问题。然而,属性之间、身体部位之间以及每个属性内部的相关性没有得到充分利用。本文提出了一种新的方法,将人的详细描述(属性标签)和视觉特征(身体部位和全局特征)有效地聚合到一个图中,即基于图的人签名,并利用图卷积网络学习人的视觉签名的拓扑结构。该图被集成到一个多分支多任务框架中,用于人员重新识别。在Market-1501和DukeMTMC-ReID两个大规模数据集上进行了大量的实验,以证明我们提出的方法的有效性。我们的方法在最先进的方法中取得了有竞争力的结果,并且优于其他基于属性或掩码引导的方法。
2021-04-17 cs.CV
Transferring a Semantic Representation for Person Re-Identification and Search
Queen Mary, University of London(伦敦大学玛丽女王学院)
由于属性作为一种姿态和视角不变的表示方式具有很大的潜力,学习语义属性用于人的重新识别和基于警告的人的搜索得到了越来越多的关注。然而,现有的以属性为中心的方法迄今为止表现不佳的最先进的传统方法。这是由于它们对广泛的域(相机)特定注释的不可扩展需求。在本文中,我们提出了一个新的语义属性学习方法的人重新识别和搜索。我们的模型是在现有的时尚摄影数据集上训练的-无论是弱标记还是强标记。然后,它可以被转移和调整,以提供监视人员检测的强大语义描述,而不需要任何监视域监督。所得到的表示是有用的无监督和监督的人重新识别,分别实现国家的最先进的和接近国家的最先进的性能。此外,作为一种语义表示,它允许将基于搜索的人员搜索集成在同一框架内。
2017-06-12 cs.CV
Multi-Channel Pyramid Person Matching Network for Person Re-Identification
College of Information Science & Electronic Engineering, Zhejiang University(浙江大学信息科学与电子工程学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院)
在这项工作中,我们提出了一个多通道深度卷积金字塔人匹配网络(MC-PPMN)的基础上的语义组件和颜色纹理分布的组合,以解决人的重新识别问题。特别是,我们从两个人的图像中学习单独的语义分量和颜色纹理分布的深度表示,然后采用金字塔人匹配网络(PPMN)来获得对应表示。这些对应表示被融合以执行重新识别任务。此外,通过统一的端到端深度学习方案优化了所提出的框架。在几个基准数据集上的大量实验证明了我们的方法对最先进的文献的有效性,特别是在rank-1识别率上。
2018-03-07 cs.CV
Person Re-Identification via Recurrent Feature Aggregation
Shanghai Jiao Tong University(上海交通大学);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
我们解决的人重新识别问题,有效地利用全球歧视性的特征表示从一系列跟踪的人类区域/补丁。这与先前的人重新识别工作相反,先前的人重新识别工作依赖于基于单帧的人与人的补丁匹配或基于图的序列与序列匹配。我们证明了基于长短期记忆(LSTM)网络的渐进/顺序融合框架在每个时间戳聚合逐帧人类区域表示,并产生序列级人类特征表示。由于LSTM节点可以记住和传播先前积累的好特征,并忘记新输入的劣质特征,即使是简单的手工特征,因此所提出的递归特征聚合网络(RFA-Net)在生成高度区分的序列级人类表示方面是有效的。两个人的重新识别基准上的广泛的实验结果表明,该方法对国家的最先进的人的重新识别方法表现良好。
2017-01-23 cs.CV
End-to-End Deep Kronecker-Product Matching for Person Re-identification
The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院)
人物再识别的目标是鲁棒地测量人物图像之间的相似性。人的姿态和视角的显著变化对准确的人重新识别提出了挑战。查询人图像之间的空间布局和对应关系是解决这个问题的重要信息,但被大多数最先进的方法所忽略。在本文中,我们提出了一种新的Kronecker产品匹配模块,用于在端到端可训练的深度神经网络中匹配不同人的特征图。设计了一种新的特征软变形方案,用于根据匹配结果对齐特征图,这对于实现更高的精度至关重要。基于沙漏网络和自剩余注意力的多尺度特征也被利用来进一步提高重识别性能。该方法在Market-1501、CUHK 03和DukeMTMC数据集上的性能优于现有方法,证明了该方法的有效性和泛化能力。
2018-07-30 cs.CV
Person Re-identification with Bias-controlled Adversarial Training
Imperial College(帝国理工学院)
受到生成对抗网络领域对抗训练有效性的启发,我们提出了一种在人员重新识别中学习特征表示的新方法。我们调查了通常发生在re-ID场景中的不同类型的偏差,即,姿势,身体部位和相机视图,并提出了一个通用的方法来解决这些问题。我们引入了一个对抗策略来控制偏差,称为偏差控制对抗框架(BCA),有两个互补的分支来减少或增强偏差相关的功能。结果和比较的艺术状态在不同的基准表明,我们的框架是一个有效的策略,人的重新识别。性能的改善是在全面和部分的人的看法。
2019-03-30 cs.CV
EgoReID Dataset: Person Re-identification in Videos Acquired by Mobile Devices with First-Person Point-of-View
Istanbul Technical University(伊斯坦布尔理工大学);University of Central Florida(中佛罗里达大学)
近年来,我们已经看到基于视频的人员重新识别(ReID)方法的性能有了很大的提高。然而,这一领域的大部分工作都是处理由具有更宽视野的固定摄像机获取的视频。最近,可穿戴相机和记录设备(如手机)的广泛使用为第一人称视角(Point-of-View,简称POW)视频(自我中心视频)的有趣研究打开了大门。然而,由于诸如由于自我运动、模糊、照明条件的严重变化和视角失真而导致的差的视频质量等因素,对这样的视频的分析是具有挑战性的。为了促进克服这些挑战的研究,本文提供了一个名为EgoReID的新数据集。使用具有非重叠视场的3个移动手机捕获数据集。它包含900个ID和大约10,200个轨道,总共有176,000个检测。该数据集还包含12传感器Meta数据,例如每个视频的摄像机方向、俯仰和旋转。此外,我们提出了一个新的框架,它利用视觉和传感器Meta数据成功地执行人ReID。我们将基于图像的re-ID方法扩展到基于视频的re-ID。在我们的方法中,首先为每个语义区域提取帧级局部特征,然后应用3D卷积对每个语义区域序列中的时间信息进行编码。此外,我们采用传感器Meta数据来预测目标的下一个摄像头及其估计到达时间,这大大提高了我们的ReID性能,因为它大大减少了我们的搜索空间。
2019-09-05 cs.CV
Learning Compact Appearance Representation for Video-based Person Re-Identification
Shandong University(山东大学);University of Science and Technology of China(中国科学技术大学)
提出了一种基于多个卷积神经网络(CNN)的视频身份重识别方法。与以前的工作不同,我们打算从几个帧,而不是整个序列中提取一个紧凑而有区别的外观表示。具体地,给定视频,基于连续帧的行走轮廓来选择代表性帧。提出了一种结合特征池的多CNN架构,用于学习和编译所选择的代表性帧的特征,并将其编译为关于行人的紧凑描述以进行识别。在基准数据集上进行实验,以证明该方法优于现有的人重新识别方法。
2019-09-20 cs.CV
Long-Term Identity-Aware Multi-Person Tracking for Surveillance Video Summarization
多人跟踪在监控视频分析中起着至关重要的作用。然而,大多数现有的工作集中在短期(例如,分钟长或小时长)的视频序列。因此,我们提出了一个多人跟踪算法非常长期(例如长达一个月)的多摄像机监控场景。长期跟踪是具有挑战性的,因为1)同一个人的服装/外观将在多天内变化很大,以及2)一个人将多次离开和重新进入场景。为了应对这些挑战,我们利用人脸识别信息,这是强大的服装变化,自动重新初始化我们的跟踪器在多天的记录。不幸的是,识别的面孔往往不可用。因此,我们的跟踪器传播身份信息的帧没有识别的脸,通过揭露的外观和空间流形形成的人检测。我们在23天的15台摄像机数据集(总共4,935小时)上测试了我们的算法,我们能够在53.2%的时间内以69.8%的精度定位一个人。我们进一步进行视频摘要实验,我们的跟踪输出的基础上。对116.25小时视频的分析结果表明,我们能够为不同的人生成合理的视觉日记(即一个人所做的事情的摘要),从而为每天生成的大量监控视频的自动摘要打开了大门。
2017-04-11 cs.CV
Incremental Learning in Person Re-Identification
由于各种原因,人的重新识别仍然是计算机视觉中一个具有挑战性的任务。另一方面,增量学习仍然是一个问题,因为深度学习模型在对后续任务进行训练时往往会面临过度灾难性遗忘的问题。在本文中,我们提出了一个模型,可用于多个任务的人员重新识别,提供各种任务的最先进的结果,并仍然达到相当的准确性随后。我们在两个数据集Market 1501和Duke MTMC上评估了我们的模型。大量的实验表明,该方法可以有效地实现增量学习的人ReID以及其他任务的计算机视觉以及。
2019-08-08 cs.CV
Distance-based Camera Network Topology Inference for Person Re-identification
GIST(光州科学技术院)
本文提出一种基于摄像机标定和行人速度推断摄像机间距离的自适应拓扑推断方法,以处理非重叠摄像机间不同转移时间,实验证明其在大规模摄像机网络行人重识别中有效。
2017-12-01 cs.CV
Differentially Private Cross-camera Person Re-identification
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);RIKEN Center for Advanced Intelligence Project AIP(理化学研究所先进智能项目中心)
针对跨摄像头行人重识别中视觉数据易被滥用的隐私风险,提出结合像素化与颜色量化的差分隐私机制,在保持重识别性能的同时显著降低其他不良任务表现。
2023-06-05 cs.CV
Person Re-identification with Hyperspectral Multi-Camera Systems --- A Pilot Study
University of Houston(休斯顿大学)
多摄像机环境下的身份识别是现代监控系统的重要组成部分。从彩色图像的人重新识别一直是许多活跃的研究的焦点,由于与这样的分析任务,如照明,姿势和观点的变化所带来的众多挑战。在本文中,我们认为,高光谱图像有可能提供独特的信息,预计将有利于重新识别任务。具体而言,我们断言,通过准确地表征每个人的皮肤的独特的光谱特征,高光谱图像可以提供非常有用的描述符(例如,从皮肤像素的光谱特征),用于重新识别。为此,我们在具有挑战性的(实际)条件下从15人那里获得了概念验证的高光谱重新识别数据。我们的研究结果表明,高光谱数据的结果在显着增强的重新识别性能相比,彩色(RGB)图像,当使用光谱签名皮肤作为特征描述符。
2016-07-15 cs.CV
A Multiple Component Matching Framework for Person Re-Identification
University of Cagliari(卡利亚里大学);Istituto Italiano di Tecnologia(意大利技术研究院)
人员重新识别包括识别已经通过摄像机网络观察到的个人。它是计算机视觉中一个新颖而具有挑战性的研究课题,目前还没有一个参考框架。尽管如此,以前的作品共享类似的表示人体的基础上部分分解和多个实例的隐式概念。基于这些相似之处,我们提出了一个用于人员重新识别问题的多分量匹配(MCM)框架,该框架的灵感来自多分量学习,这是最近提出的用于目标检测的框架。我们表明,以前的技术人员重新识别可以被认为是我们的MCM框架的特定实现。然后,我们提出了一种新的人重新识别技术作为一个直接的,简单的实现我们的框架,特别侧重于对不同的照明条件下的鲁棒性,并表明它可以达到最先进的性能。
2011-06-23 cs.CV
Learning to rank in person re-identification with metric ensembles
The University of Adelaide(阿德莱德大学);Australian Center for Robotic Vision(澳大利亚机器人视觉中心)
我们提出了一个有效的结构化学习为基础的方法来解决问题的人的重新识别,它优于目前的最先进的基准数据集评估。我们的框架是建立在多个低级手工制作和高级视觉功能的基础上的。然后,我们制定了两个优化算法,直接优化的评价措施,通常用于人的重新识别,也被称为累积匹配特征(CMC)曲线。我们的新方法是实际的许多现实世界的监控应用的重新识别性能可以集中在最实际的重要性的范围内。这些因素的组合导致一个人的重新识别系统,它优于大多数现有的算法。更重要的是,我们通过将等级- $1$识别率从$40\%$提高到$50\%$,推进了人员重新识别的最新成果iLIDS基准测试的@ THABMO,PRID 2011基准测试的$16\%$到$18\%$,VIPeR基准测试中的$43\%$到$46\%$,香港中文大学01基准测试的$34\%$至$53\%$,以及$21\%$到$62\%$在CUHK 03基准。
2015-03-05 cs.CV
Illumination-Adaptive Person Re-identification
The University of Tokyo(东京大学);National Institute of Informatics(国立信息学研究所);National Taiwan University(国立台湾大学)
大多数人重新识别(ReID)方法假设在相对相似的照明条件下捕获人图像。在现实中,长时间的人检索是常见的,并且人图像通常在一天中的不同时间在不同照明条件下被捕获。在这种情况下,现有的ReID模型的性能往往显着下降。本文解决了光照变化的ReID问题,并将其命名为{ \em光照自适应人员重新识别(IA-ReID)}。我们提出了一个照明身份解开(IID)网络,以消除不同规模的照明,同时保留个人的身份信息。为了演示照明问题并评估我们的模型,我们构建了两个具有广泛照明变化的大规模模拟数据集。在模拟数据集和真实图像上的实验结果证明了该框架的有效性。
2020-04-23 cs.CV
A Flow-Guided Mutual Attention Network for Video-Based Person Re-Identification
École de technologie supérieure(高等技术学院);Genetec Inc.(杰尼特克公司);Sportlogiq Inc.(斯波特洛吉克公司)
在许多视频分析和监控应用中,人员重新识别(ReID)是一个具有挑战性的问题,其中人员的身份必须跨分布式非重叠摄像机网络相关联。基于视频的人ReID最近获得了很大的兴趣,因为它允许从基于图像的ReID不可用的视频剪辑中捕获判别时空信息。尽管最近取得了进展,但用于视频ReID的深度学习(DL)模型通常无法利用这些信息来提高特征表示的鲁棒性。在本文中,一个人的运动模式探索作为一个额外的线索ReID。特别地,提出了一种流引导的相互注意网络,用于使用任何2D-CNN主干来融合图像和光流序列,从而允许将时间信息与空间外观信息一起编码。我们的相互注意力网络依赖于图像和光流特征图之间的联合空间注意力,以激活它们之间的一组共同的显著特征。除了流引导的注意力,我们还引入了一种方法来聚合来自较长输入流的特征,以获得更好的视频序列级表示。我们在三个具有挑战性的视频ReID数据集上进行的广泛实验表明,使用所提出的相互注意网络可以大大提高识别精度,相对于传统的门控注意网络和基于视频的人ReID的最先进方法。
2020-10-04 cs.CV
Multi-Scale Body-Part Mask Guided Attention for Person Re-identification
Suning R&D Center USA(美国苏宁研发中心)
由于其广泛的应用,身份识别成为一个越来越重要的任务。在实践中,人的重新识别仍然是具有挑战性的,由于变化的人的姿势,不同的照明,遮挡,错位,背景杂波,在本文中,我们提出了一个多尺度的身体部分掩模引导的注意力网络(MMGA),共同学习全身和部分身体的注意力,以帮助同时提取全局和局部特征。在MMGA中,身体部位面具被用来指导相应的注意训练。实验结果表明,该方法可以有效地降低人体姿态变化、失调和背景杂波等因素对图像的影响。我们的方法在Market 1501数据集上实现了95.0%/87.2%的rank-1/mAP,在DukeMTMC-reID数据集上实现了89.5%/78.1%,优于当前最先进的方法。
2019-04-24 cs.CV
Person Re-identification in the Wild
University of Technology Sydney(悉尼科技大学);UTSA(得克萨斯大学圣安东尼奥分校);USTC(中国科学技术大学);UCSD(加利福尼亚大学圣迭戈分校)
我们提出了一个新的大规模数据集和全面的基线,用于端到端的行人检测和原始视频帧中的人员识别。我们的基线解决了三个问题:检测器和识别器的各种组合的性能,行人检测机制,以帮助提高整体重新识别的准确性和评估不同的检测器的有效性进行重新识别。我们做出了三个不同的贡献。首先,一个新的数据集,PRW,被引入到评估人重新识别在野外,使用通过六个同步摄像机获得的视频。它包含932个身份和11,816帧,其中行人注释了他们的限界框位置和身份。广泛的基准测试结果在这个数据集上。其次,我们表明,行人检测有助于重新识别,通过两个简单而有效的改进:一个有区别地训练的ID歧视性嵌入(IDE)在人的子空间使用卷积神经网络(CNN)功能和置信加权相似性(CWS)度量,将检测分数到相似性测量。第三,我们获得的见解,在评估检测器性能的特定情况下,准确的人重新识别。
2017-04-06 cs.CV
Person image generation with semantic attention network for person re-identification
Harbin Engineering University(哈尔滨工程大学);Harbin Institute of Technology(哈尔滨工业大学);National University of Singapore(新加坡国立大学)
姿态变化是阻碍网络学习鲁棒的人物再识别(Re-ID)模型的关键因素之一。为了解决这个问题,我们提出了一种新的人的姿态引导的图像生成方法,这是所谓的语义注意力网络。该网络由几个语义注意块组成,其中每个块负责保存和更新姿势代码和服装纹理。二值分割模板和语义解析的引入对于姿态引导图像生成中前景和背景的无缝拼接具有重要意义。与其他方法相比,我们的网络可以更好地描述身体形状,并保持服装属性,同时。我们的合成图像可以获得更好的外观和形状的一致性有关的原始图像。实验结果表明,我们的方法在Market-1501和DeepFashion的定量和定性结果方面都具有竞争力。此外,我们通过使用基于姿势转移的人的增强数据训练的人重新识别(Re-ID)系统进行广泛的评估。实验表明,该方法能显著提高人的Re-ID准确率。
2020-08-18 cs.CV
Stronger Baseline for Person Re-Identification
Ant Group(蚂蚁集团)
人物再识别(re-ID)是指在多个摄像机之间对同一个感兴趣人物进行识别,在视觉监控应用和计算机视觉研究领域具有重要意义。由于注释未标记数据的身份的高扩展性,用有限的收集的训练数据拟合鲁棒的基于外观的表示提取器对于人的重新ID是至关重要的。在这项工作中,我们提出了一个更强的基线的人重新ID,目前流行的方法,即强基线的增强版本,微小的修改,但更快的收敛速度和更高的识别性能。在更强基线的帮助下,我们获得了第三名(即,0.94在2021年VIPriors重新识别挑战赛中,没有基于ImageNet的预训练参数初始化和任何额外的补充数据集的辅助。
2021-12-02 cs.CV
End-to-End Comparative Attention Networks for Person Re-identification
Hefei University of Technology(合肥工业大学);National University of Singapore(新加坡国立大学);Artificial Intelligence Institute, Qihoo 360 Technology Company, Ltd.(奇虎360科技有限公司人工智能研究院)
在视频监控中,不相交视角下的人物重新识别已被广泛应用,但仍是一个具有挑战性的问题。主要挑战之一在于缺乏空间和时间线索,这使得难以处理照明条件、视角、身体姿势和遮挡的大变化。近年来,基于深度学习的身份识别方法被提出并取得了显著的效果。然而,这些方法中的大多数在一个一瞥中从整个帧中提取有区别的特征,而不区分要识别的人的各个部分。为了处理大的外观方差,通过多次瞥见来详细检查多个高度区分的局部区域的人图像是至关重要的。在本文中,我们提出了一个新的软注意力模型,即,端到端的比较注意力网络(CAN),专门为人员重新识别任务量身定制。端到端的CAN学习在看了几眼人的图像并自适应地比较它们的外观后,选择性地关注成对的人的图像的一部分。CAN模型能够学习图像的哪些部分与识别人员相关,并自动整合来自不同部分的信息,以确定一对图像是否属于同一个人。换句话说,我们提出的CAN模型模拟人类的感知过程,以验证两个图像是否来自同一个人。在三个基准人员重新识别数据集(包括CUHK 01,CHUHK 03和Market-1501)上进行的广泛实验清楚地表明,我们提出的用于人员重新识别的端到端CAN显著优于既定的基线,并提供了新的最先进的性能。
2017-04-28 cs.CV
Dense Interaction Learning for Video-based Person Re-identification
DAMO Academy, Alibaba Group(阿里巴巴达摩院);University of Science and Technology of China(中国科学技术大学)
基于视频的人物重新识别(re-ID)旨在跨视频片段匹配同一个人。有效地利用多尺度细粒度特征,同时建立它们之间的结构交互是其成功的关键。在本文中,我们提出了一个混合框架,密集交互学习(DenseIL),它采用了基于CNN和基于注意力的架构的主要优势,以解决基于视频的人重新识别困难。DenseIL包含一个CNN编码器和一个密集交互(DI)解码器。CNN编码器负责有效地提取有区别的空间特征,而DI解码器被设计为密集地对跨帧的时空固有交互进行建模。与之前的工作不同的是,我们还让DI解码器密集地关注中间细粒度的CNN特征,从而自然地为每个视频剪辑产生多粒度的时空表示。此外,我们引入空间-时间位置嵌入(STEP-Emb)到DI解码器中,以研究时空输入之间的位置关系。我们的实验在多个标准的基于视频的人重新识别数据集上一致且显着优于所有最先进的方法。
2021-08-17 cs.CV
RealGait: Gait Recognition for Person Re-Identification
Beihang University(北京航空航天大学);Michigan State University(密歇根州立大学)
人体步态被认为是一种独特的生物特征识别,可以在一定距离内以隐蔽的方式获取。然而,在受控场景中捕获的现有公共领域步态数据集上训练的模型在应用于真实世界的无约束步态数据时会导致性能急剧下降。另一方面,视频人重新识别技术在大规模公开数据集上取得了令人满意的性能。由于服装特征的多样性,服装线索在一般情况下并不可靠。因此,实际上不清楚为什么最先进的人员重新识别方法工作得那么好。在本文中,我们构建了一个新的步态数据集提取轮廓从现有的视频人重新识别的挑战,其中包括1,404人走在一个不受约束的方式。基于此数据集,可以进行步态识别和人的重新识别之间的一致性和比较研究。鉴于我们的实验结果表明,目前的步态识别方法下收集的数据在控制的情况下设计的不适合真实的监控场景,我们提出了一种新的步态识别方法,称为RealGait。我们的研究结果表明,在真实的监控场景中通过步态识别人是可行的,潜在的步态模式可能是视频人重新认证在实践中起作用的真正原因。
2023-02-08 cs.CV
Person Re-identification Using Visual Attention
University of Tennessee(田纳西大学)
尽管最近尝试解决人的重新识别问题,它仍然是一个具有挑战性的任务,因为一个人的外观可能会有很大的变化时,在视角,人体姿势,和照明涉及的变化。在本文中,我们提出了一种新的方法的基础上使用基于梯度的注意力机制在深度卷积神经网络解决的人重新识别问题。我们的模型学会选择性地关注输入图像中网络输出最敏感的部分,并以高分辨率处理它们,同时以低分辨率感知周围的图像。广泛的比较评估表明,所提出的方法优于国家的最先进的方法上具有挑战性的CUHK01,CUHK03,和市场1501数据集。
2019-04-29 cs.CV
Learning Modal-Invariant and Temporal-Memory for Video-based Visible-Infrared Person Re-Identification
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Kunming University of Science and Technology(昆明理工大学);The Chinese University of HongKong, Shenzhen(香港中文大学(深圳))
由于跨模态检索技术,可见红外(RGB-IR)的人重新识别(Re-ID)是通过将他们投射到一个共同的空间,允许人重新ID在24小时监控系统中实现。然而,相对于探针到图库,几乎所有现有的基于RGB-IR的跨模态人Re-ID方法都集中在图像到图像的匹配上,而包含更丰富的空间和时间信息的视频到视频的匹配仍然没有得到充分的探索。本文主要研究了基于视频的跨模态人物Re-ID方法。为了实现这一任务,构建了一个基于视频的RGB-IR数据集,其中收集了927个有效身份,463,259帧和21,863个轨迹,由12个RGB/IR摄像机捕获。基于我们构建的数据集,我们证明了随着tracklet中帧的增加,性能确实得到了更多的增强,证明了视频到视频匹配在RGB-IR人Re-ID中的重要性。此外,进一步提出了一种新的方法,该方法不仅将两个模态投影到模态不变子空间,而且还提取了运动不变的时间记忆。由于这两种策略,我们基于视频的跨模态人员Re-ID获得了更好的结果。代码和数据集发布在:https://github.com/VCMproject233/MITML。
2022-08-04 cs.CV
Video-based Person Re-identification with Accumulative Motion Context
Hefei University of Technology(合肥工业大学);National University of Singapore(新加坡国立大学);Panasonic R&D Center Singapore(松下新加坡研发中心)
基于视频的身份再识别在现实安全和视频监控中起着核心作用。在本文中,我们提出了一种新的累积运动上下文(AMOC)网络来解决这个重要的问题,它有效地利用了长距离运动上下文,在具有挑战性的条件下鲁棒地识别同一个人。给定相同或不同人的视频序列,所提出的AMOC网络使用双流卷积架构从相邻帧的集合中联合学习外观表示和运动上下文。然后,AMOC积累的线索,从运动上下文的循环聚合,允许有效的信息流之间的相邻帧和捕捉动态要点的人。AMOC的架构是端到端可训练的,因此可以调整运动上下文以在不利条件(例如遮挡)下补充外观线索。在三个公共基准数据集上进行了广泛的实验,iLIDS-VID,PRID-2011和MARS数据集,以研究AMOC的性能。实验结果表明,所提出的AMOC网络优于国家的最先进的视频为基础的重新识别显着,并证实了利用长距离运动上下文的视频为基础的人重新识别的优势,验证了我们的动机明显。
2017-06-13 cs.CV
Making Person Search Enjoy the Merits of Person Re-identification
Shanghai Jiao Tong University(上海交通大学)
人员搜索是人员重新识别(Re-ID)的扩展任务。然而,现有的一步人物搜索算法并没有研究如何利用现有的高级Re-ID模型来提高一步人物搜索的性能。针对这一问题,本文提出了一个更快、更强的一步人物搜索框架--教师引导的解缠网络(Teacher-guided Disentangling Networks,TDN),使一步式人物搜索具有现有Re-ID研究的优点。所提出的TDN可以显着提高人的搜索性能,通过转移先进的人Re-ID知识的人搜索模型。在建议的TDN中,为了更好地将知识从Re-ID教师模型转移到一步人员搜索模型,我们通过部分分离两个子任务来设计一个强大的一步人员搜索库框架。此外,我们提出了一个知识转移桥梁模块,以弥补Re-ID模型和一步人搜索模型之间由于输入格式不同而造成的规模差距。在测试过程中,我们进一步提出了排名与上下文的人的策略,利用全景图像中的上下文信息,以更好地检索。在两个公开的人物搜索数据集上的实验表明,该方法具有良好的性能。
2021-11-14 cs.CV
Partial Person Re-identification with Alignment and Hallucination
Imperial College London(帝国理工学院)
部分人重新识别涉及匹配行人帧,其中在对应图像中仅身体的一部分可见。这反映了实际的CCTV监控场景,其中通常无法获得完整的人视图。缺失的身体部位使比较非常具有挑战性,因为视图的显著未对准和不同比例。我们提出了部分匹配网络(PMN),它可以检测身体关节,对齐部分视图,并根据帧中的信息和人的学习模型对缺失的部分进行幻觉。然后将对齐和重建的视图组合成联合表示并用于匹配图像。我们评估了我们的方法,并在三个不同的数据集上与其他方法进行了比较,证明了显着的改进。
2018-07-24 cs.CV
MEVID: Multi-view Extended Videos with Identities for Video Person Re-Identification
Kitware(Kitware公司)
在本文中,我们提出了多视图扩展视频与身份(MEVID)数据集的大规模,视频人重新识别(ReID)在野外。据我们所知,MEVID代表了最多样化的视频人物ReID数据集,在73天的窗口中跨越了9个独特日期的广泛的室内和室外环境,各种相机视角和实体服装变化。具体来说,我们标记了158个穿着598套服装的独特人物的身份,这些服装来自8092个tracklet,平均长度约为590帧,来自超大规模MEVA人物活动数据集的33个摄像头视图。虽然其他数据集具有更多的唯一身份,但MEVID强调关于每个人的更丰富的信息集,例如:CCID中的4套服装/身份与2套服装/身份,MTA中17个位置的33个视点与5个模拟位置的6个视点,以及1000万帧与LS-VID的300万帧。基于MEVA视频数据集,我们还继承了有意在美国大陆人口统计学上平衡的数据。为了加速注释过程,我们开发了一个半自动注释框架和GUI,它结合了最先进的实时模型,用于目标检测、姿态估计、人员ReID和多目标跟踪。我们评估了针对MEVID挑战问题的几种最先进的方法,并根据服装、规模和背景位置的变化全面量化了它们的鲁棒性。我们对MEVID的现实,独特方面的定量分析表明,在视频人ReID中仍然存在重大挑战,并为未来的研究指明了重要方向。
2022-11-10 cs.CV
Branch-Cooperative OSNet for Person Re-Identification
Nanjing University of Posts and Telecommunications(南京邮电大学)
多分支被广泛研究用于学习用于人重新识别(Re-ID)的丰富特征表示。本文提出了一种基于OSNet的分支协作结构(BC-OSNet),通过堆叠全局分支、局部分支、关系分支和对比分支等四个协作分支,实现了对人Re-ID的特征表示。实验表明,BC-OSNet在三种常用数据集上均取得了较好的性能,包括Market-1501、DukeMTMC-reID和CUHK 03。特别是,它实现了84.0%的mAP和87.1%的rank-1准确度的CUHK 03标记。
2020-06-12 cs.CV
Adaptive L2 Regularization in Person Re-Identification
Tampere University(坦佩雷大学)
我们引入了一个自适应的L2正则化机制,在设置的人重新识别。在文献中,通常的做法是使用手工挑选的正则化因子,这些因子在整个训练过程中保持不变。与现有的方法不同,我们提出的方法中的正则化因子通过反向传播自适应更新。这是通过将可训练的标量变量作为正则化因子来实现的,这些因子被进一步馈送到缩放的硬S形函数中。在Market-1501、DukeMTMC-reID和MSMT 17数据集上的大量实验验证了该框架的有效性。最值得注意的是,我们在MSMT 17上获得了最先进的性能,这是用于人员重新识别的最大数据集。源代码可在https://github.com/nixingyang/AdaptiveL2Regularization上公开获取。
2020-10-18 cs.CV
Spatial-Aware GAN for Unsupervised Person Re-identification
Alibaba DAMO Academy(阿里巴巴达摩院);Nanyang Technological University(南洋理工大学)
近年来的人物再识别研究取得了很大的成功,通过学习大量的标记的人的图像。另一方面,当应用于在不同环境中收集的图像时,学习的模型通常会经历显著的性能下降。无监督的领域自适应(UDA)已经被研究以减轻该约束,但是大多数现有系统仅在像素级上对图像进行自适应而忽略空间级上的明显差异。本文提出了一种创新的基于UDA的人重新识别网络,能够同时在空间和像素级别上适应图像。设计了一种新的解纠缠周期一致性损失,以协作的方式指导空间级和像素级自适应的学习。此外,一个新的多模态机制,这是能够生成不同的几何视图的图像和增强训练图像有效地纳入。在大量公开数据集上的实验表明,与现有技术相比,所提出的UDA网络具有更好的人员重新识别性能。
2022-10-03 cs.CV
Domain Adaptive Egocentric Person Re-identification
Indian Institute of Space Science and Technology(印度空间科学技术学院);Human Space Flight Center, ISRO(印度空间研究组织载人航天中心)
在第一人称(自我中心)视野中,人的重新识别(re-ID)是一个相当新的和未探索的问题。随着可穿戴视频记录设备的增加,以自我为中心的数据变得容易获得,并且人的重新识别有可能从中受益匪浅。然而,由于视频质量差和大多数记录内容中缺乏个体,因此严重缺乏用于人员重新识别的大规模结构化自我中心数据集。虽然在基于固定监控摄像机的人的重新识别方面已经做了大量的研究,但是这些研究并没有直接有益于以自我为中心的重新识别。由于数据集偏差问题,在公开可用的大规模重新识别数据集上训练的机器学习模型不能应用于以自我为中心的重新识别。所提出的算法利用神经风格转移(NST),其结合了卷积神经网络(CNN)的变体,以利用固定相机视觉和第一人称视觉的优点。NST生成具有来自自我中心数据集和固定相机数据集的特征的图像,这些图像通过在固定相机数据集上训练的VGG-16网络进行特征提取。然后,这些提取的特征被用于重新识别个体。固定相机数据集Market-1501和第一人称数据集EGO Re-ID被应用于这项工作,其结果与目前自我中心领域的重新识别模型相当。
2021-03-08 cs.CV
Person Re-identification Meets Image Search
Tsinghua University(清华大学);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
长期以来,人的再识别和图像搜索是两个独立研究的课题。然而,对于人的重新识别,局部特征的有效性和“查询-搜索”模式,使它很好地提出了图像搜索技术。鉴于图像搜索的最新进展,本文提出将人的重新识别作为一个图像搜索问题。具体而言,本文声称两个主要贡献。1)通过设计一个无监督的Bag-of-Words表示,我们致力于通过将图像搜索技术集成到人员重新识别中来弥合这两个任务之间的差距。我们表明,我们的系统建立了一个有效而高效的基线,可以进一步监督/无监督的改进。2)我们贡献了一个新的高质量的数据集,它使用了多个检测器,包括一些干扰图像。我们的数据集更接近现实环境,并提供了新的视角。与依赖于特征-特征匹配的方法相比,我们的方法快了两个数量级以上。此外,在三个数据集上,我们报告了与最先进的方法相比具有竞争力的结果。
2015-02-07 cs.CV
Constrained Deep Metric Learning for Person Re-identification
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
人的重新识别的目的是重新识别探头图像从一组给定的图像在不同的相机视图。这是具有挑战性的,由于姿势,照明,遮挡和相机视图的大变化。由于卷积神经网络(CNN)具有优异的特征提取能力,因此某些深度学习方法最近已应用于人员重新识别。然而,在人的重新识别中,深度网络经常遭受过拟合问题。在本文中,我们提出了一种新的基于CNN的方法来学习一个判别度量,具有良好的鲁棒性的过拟合问题的人重新识别。首先,构建了一种新的深度架构,其中Mahalanobis度量是通过权重约束来学习的。该权重约束用于正则化学习,使学习的度量具有更好的泛化能力。其次,我们发现类内样本对的选择是学习的关键,但很少受到关注。为了应对行人图像中较大的类内变化,我们提出了一种新的训练策略,称为适度的积极挖掘,以防止训练过程中过度拟合类内对中的极端样本。实验表明,我们的方法显着优于国家的最先进的方法在几个基准的人重新识别。
2015-11-24 cs.CV
An Improved Person Re-identification Method by light-weight convolutional neural network
University of Tehran(德黑兰大学)
人的再识别是指在不同的位置通过不重叠的摄像机观察人的识别过程。在过去的十年中,在监控系统的应用和重要性的人重新识别的兴起,普及了这个问题在计算机视觉的不同领域。人体再识别面临着诸如低分辨率、姿态变化、光照、背景杂波和遮挡等挑战,这些都会影响识别过程的结果。本文的目的是在Siamese网络的框架下,使用迁移学习和验证损失函数的应用来改进人员再识别。Siamese网络接收图像对作为输入,并通过预先训练的模型提取它们的特征。使用EfficientNet来获得区分性特征并减少对数据的需求。利用验证损失的优点进行网络学习。实验结果表明,该模型在CUHK01数据集上的性能优于现有的方法。例如,CUHK01数据集的5级准确率为95.2%(+5.7)。在排名第一的位置上,也达到了一个可以接受的百分比。由于预训练模型参数的大小很小,因此学习速度加快,并且需要更少的硬件和数据。
2020-08-21 cs.CV
MHSA-Net: Multi-Head Self-Attention Network for Occluded Person Re-Identification
Beijing University of Technology(北京工业大学);Louisiana State University(路易斯安那州立大学);Dalian University of Technology(大连理工大学)
本文提出了一种新的人的再识别模型,命名为多头自注意力网络(MHSA-Net),修剪不重要的信息和捕获关键的局部信息从人的图像。MHSA-Net包含两个主要的新组件:多头自注意分支(MHSAB)和注意力竞争机制(ACM)。MHSAB自适应地捕捉关键的局部人物信息,然后产生有效的多样性嵌入的图像的人匹配。ACM还有助于过滤掉注意力噪音和非关键信息。通过大量的消融研究,我们验证了多头自注意分支(MHSAB)和注意力竞争机制(ACM)都有助于MHSA-Net的性能改善。我们的MHSA-Net在标准和遮挡人Re-ID任务中实现了具有竞争力的性能。
2022-04-16 cs.CV
Margin Sample Mining Loss: A Deep Learning Based Method for Person Re-identification
Megvii(旷视科技)
人的再识别(ReID)是计算机视觉中的一项重要任务。最近,具有度量学习损失的深度学习已经成为ReID的通用框架。在本文中,我们还提出了一种新的硬样本挖掘度量学习损失,称为边缘样本挖掘损失(MSML),与其他度量学习损失(例如三重态损失)相比,它可以实现更好的准确性。在Market 1501、MARS、CUHK 03和CUHK-SYSU上的实验结果表明,本文提出的方法优于大多数最先进的算法。
2017-10-07 cs.CV
Image-to-Video Person Re-Identification by Reusing Cross-modal Embeddings
Wuhan University of Technology(武汉理工大学)
图像到视频人重新识别通过来自由非重叠相机捕获的大量行人视频的探测图像来识别目标人。尽管取得了很大的进展,它仍然是具有挑战性的多模态场景,即图像和视频之间的匹配。目前,最先进的方法主要集中在特定的任务数据,忽略了不同的,但相关的任务的额外信息。在本文中,我们提出了一个端到端的神经网络框架,用于图像到视频的人重新识别,通过利用从额外的信息学习的跨模态嵌入。具体地说,来自图像描述和视频描述模型的跨模态嵌入被重用,以帮助学习的特征被投影到一个协调的空间中,在那里可以直接计算相似度。此外,固定模型重用方法的训练步骤被集成到我们的框架中,它可以包含有益的信息,并最终使目标网络独立于现有的模型。除此之外,我们提出的框架采用CNN和LSTM来提取视觉和时空特征,并结合识别和验证模型的优势来提高学习特征的区分能力。实验结果表明,我们的框架在缩小异构数据之间的差距,并获得明显的改善,在图像到视频的人重新识别的有效性。
2018-10-22 cs.CV