Towards Fully Decoupled End-to-End Person Search
Jiangxi Research Institute, Beihang University（北京航空航天大学江西研究院）；Institute of Semiconductors, Chinese Academy of Sciences（中国科学院半导体研究所）
针对端到端行人搜索中检测与重识别任务目标冲突、现有部分解耦方法性能受限的问题，提出任务增量式网络实现模型完全解耦，通过任务增量训练让两个子任务独立学习，提升整体行人搜索性能。
2024-03-10 cs.CV
DeepPFCN: Deep Parallel Feature Consensus Network For Person Re-Identification
IIT Gandhinagar（印度理工学院甘地纳加尔分校）
人物重新识别的目的是将同一个人在不同时间的多个非重叠相机视图上的图像相关联。依赖于人类操作员，在大型摄像机网络中手动重新识别非常耗时且错误。由于大规模分布式多摄像机系统的快速膨胀所产生的大量视觉数据，需要自动的人重新识别。最先进的工作集中在学习和因素化的人的外观特征为潜在的歧视因素在多个语义水平。我们提出了深度并行特征共识网络（DeepPFCN），这是一种新型的网络架构，使用卷积神经网络学习多尺度的人的外观特征。该模型将一个人的视觉外观分解为多个语义层次的潜在区分因素。最终达成共识。DeepPFCN学习的特征表示对于人员重新识别任务来说更鲁棒，因为我们学习了区分性的特定尺度特征，并在多尺度图像输入中最大化多尺度特征融合选择。我们进一步利用平均和最大池在单独的规模为个人特定的任务，区分功能的全球和本地。我们在三个基准数据集上展示了所提出的DeepPFCN模型相对于最先进的重新识别方法的重新识别优势：Market1501，DukeMTMCreID和CUHK03。我们在这些基准数据集上分别实现了75.8%，64.3%和52.6%的mAP结果。
2019-11-18 cs.CV
FMT:Fusing Multi-task Convolutional Neural Network for Person Search
Anhui University（安徽大学）
人物搜索是指在没有任何建议和边界框的情况下，从图像中检测出所有的人物，并从检测出的人物中识别出查询人物，这不同于人物重新识别。在本文中，我们提出了一个融合多任务卷积神经网络（FMT-CNN），以解决与单个卷积神经网络的检测和重新识别的相关性和异质性。我们专注于人的检测和人的重新识别的相互作用如何影响整体性能。我们在区域建议网络中使用人标签来产生用于人重新识别和人检测网络的特征，这可以同时提高检测和重新识别的准确性。我们还使用多重丢失来训练我们的重新识别网络。在中大-中山大学Person Search数据集上的实验结果表明，该方法在mAP和top-1两个方面都优于现有的方法。
2020-03-01 cs.CV
Gallery Filter Network for Person Search
University of California, Berkeley（加州大学伯克利分校）
在人物搜索中，我们的目标是从一个场景中的其他画廊场景中定位查询人。此搜索操作的成本取决于图库场景的数量，这有利于减少可能场景的池。我们描述和演示的画廊过滤网络（GFN），一种新的模块，可以有效地丢弃画廊场景从搜索过程中，并有利于评分的人在剩余的场景中检测到的。我们表明，GFN是强大的，在一系列不同的条件下，通过测试不同的检索集，包括跨相机，闭塞，和低分辨率的情况下。此外，我们开发了基本的SeqNeXt人员搜索模型，它改进和简化了原始的SeqNet模型。我们表明，SeqNeXt+GFN组合产生显着的性能增益比其他国家的最先进的方法对标准PRW和中大中山大学的人搜索数据集。为了帮助这个模型和其他模型的实验，我们为通常用于个人搜索研究的数据处理和评估管道提供了标准化的工具。
2022-10-25 cs.CV
Joint Person Objectness and Repulsion for Person Search
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of the Chinese Academy of Sciences（中国科学院大学）
人物搜索的目标是从无约束的场景图像中搜索出被探测的人物，可以看作是人物检测和人物匹配的结合。然而，现有的方法基于检测匹配框架，忽略了人的客观性和排斥（OR），这都是有益的，以减少干扰图像的影响。在本文中，我们提出了一个或相似性，共同考虑的对象和排斥信息。除了传统的视觉相似性项外，OR相似性还包含一个对象性项和一个排斥性项。对象项可以降低不包含人的干扰项图像的相似性，并通过提高正样本的排名来提高人搜索的性能。因为探测人具有与其\emph{neighbors}不同的人ID，所以与\emph{neighbors of probe}具有较高相似性的图库图像应当与探测人具有较低相似性。基于此排斥约束，排斥项的建议，以减少不最相似的探测人的干扰图像的相似性。将Faster R-CNN作为人员检测器，通过具有六个描述模型的检测匹配框架在PRW和CUHK-SYSU数据集上评估OR相似性。大量的实验表明，所提出的OR相似性可以有效地降低干扰项样本的相似性，并进一步提高个人搜索的性能，例如，将CUHK-SYSY数据集的mAP从92.32%提高到93.23%，将PRW数据集的mAP从50.91%提高到52.30%。
2020-05-30 cs.CV
Segmentation Mask Guided End-to-End Person Search
人物搜索是从多个监控摄像头拍摄的多幅图像中搜索出目标人物，面临着行人检测和人物重新识别的挑战。除了由于各种照明条件、遮挡和变化的姿势而导致的大的类内变化之外，检测到的行人边界框中的背景杂波进一步恶化了每个人的提取特征，使得它们的区分性降低。为了解决这些问题，我们开发了一种新的方法，该方法使用分割掩码来指导网络，以便可以学习对背景杂波不敏感的区分特征。我们证明了行人检测，人重新识别和行人分割的联合优化，使行人产生更多的区别特征，从而导致更好的人搜索性能。在基准数据集CUHK-SYSU上的大量实验表明，我们提出的模型分别以86.3%的mAP和86.5的top-1准确率达到了最先进的性能。
2019-08-27 cs.CV
Learning Context-Aware Embedding for Person Search
MEGVII Technology（旷视科技）
人物搜索是一个相关的任务，旨在联合解决人检测和人重新识别（重新ID）。虽然大多数以前的方法专注于学习鲁棒的个人特征进行检索，但由于光照，大的姿势变化和遮挡，仍然很难区分混淆的人。背景信息在人搜索任务中实际上是可用的，这在减少混淆方面有利于搜索。为此，我们提出了一种新的上下文特征头命名为注意上下文感知嵌入（ACAE），增强上下文信息。ACAE反复检查图像内和图像间的人物特征，以找到相似的行人模式，从而使其能够隐式地学习找到可能的同路人，并有效地对上下文相关实例的关系进行建模。此外，我们提出了图像存储体，以提高训练效率。实验表明，ACAE广泛的推广时，建立在不同的一步方法。与之前的一步法相比，我们的整体方法取得了最先进的结果。
2021-11-29 cs.CV
Head and Body: Unified Detector and Graph Network for Person Search in Media
Tencent Youtu Lab（腾讯优图实验室）
媒体中的人物搜索在互联网应用中有着越来越大的潜力，如视频剪辑和人物收集。这项工作是常见的，但被忽视了以前的人搜索工作，重点是监视场景。媒体场景与监控场景有一些不同的挑战。例如，一个人可能会经常更换衣服。为了缓解这个问题，本文提出了一个统一的检测器和图形网络（UDGNet）的人在媒体搜索。UDGNet是第一个同时检测和重新识别人体和头部的人称搜索框架。具体来说，首先建立基于统一网络的两个分支对人体和头部进行检测，然后利用检测到的人体和头部进行重新识别。这种双任务方法可以显着增强辨别学习。为了解决换布问题，UDGNet构建了两个图来探索换布样本之间的可靠链接，并利用图网络来学习更好的嵌入。这种设计有效地增强了人员搜索对换衣服挑战的鲁棒性。此外，我们证明了UDGNet可以实现基于锚和无锚的人的搜索框架，并进一步实现性能的提高。本文还为媒体中的人物搜索（PSM）提供了一个大规模的数据集，该数据集提供了身体和头部注释。它是迄今为止媒体中最大的个人搜索数据集。实验表明，UDGNet在mAP中将无锚模型AlignPS提高了12.1%。同时，它在监视和长期场景中表现出良好的泛化能力。数据集和代码将在https://github.com/shuxjweb/PSM.git上提供。
2021-11-27 cs.CV
Neural Person Search Machines
Hefei University of Technology（合肥工业大学）；National University of Singapore（新加坡国立大学）；Tencent AI Lab（腾讯AI实验室）；Panasonic R&D Center Singapore（松下新加坡研发中心）；Southwest Jiaotong University（西南交通大学）；AI Institute（360人工智能研究院）
在这项工作中，我们调查的问题，在野外的人搜索。而不是比较查询对所有候选区域中产生的查询盲的方式，我们建议递归缩小搜索区域从整个图像，直到实现精确定位的目标人物，充分利用信息查询和上下文线索在每一个递归搜索步骤。我们开发的神经人搜索机（NPSM）实现这种递归定位的人搜索。得益于其神经搜索机制，NPSM能够选择性地将其焦点从松散区域自动缩小到包含目标的较紧区域。在这个过程中，NPSM采用内部原始记忆组件来记忆查询表示，从而调节注意力并增强其对其他分散区域的鲁棒性。在两个基准数据集，中大-中山大学的人搜索数据集和PRW数据集上的评估表明，我们的方法可以在mAP和top-1评估协议中超越当前的最先进技术。
2017-07-21 cs.CV
Transferring a Semantic Representation for Person Re-Identification and Search
Queen Mary, University of London（伦敦大学玛丽女王学院）
由于属性作为一种姿态和视角不变的表示方式具有很大的潜力，学习语义属性用于人的重新识别和基于警告的人的搜索得到了越来越多的关注。然而，现有的以属性为中心的方法迄今为止表现不佳的最先进的传统方法。这是由于它们对广泛的域（相机）特定注释的不可扩展需求。在本文中，我们提出了一个新的语义属性学习方法的人重新识别和搜索。我们的模型是在现有的时尚摄影数据集上训练的-无论是弱标记还是强标记。然后，它可以被转移和调整，以提供监视人员检测的强大语义描述，而不需要任何监视域监督。所得到的表示是有用的无监督和监督的人重新识别，分别实现国家的最先进的和接近国家的最先进的性能。此外，作为一种语义表示，它允许将基于搜索的人员搜索集成在同一框架内。
2017-06-12 cs.CV
Grouped Adaptive Loss Weighting for Person Search
Nanjing University of Science and Technology（南京理工大学）；Dalian Maritime University（大连海事大学）
人物搜索是前景/背景分类、限界框回归和人物重新识别等多个子任务的集成任务。因此，人员搜索是一个典型的多任务学习问题，特别是在端到端的方式解决。最近，一些工作通过利用各种辅助信息（例如，人关节关键点、身体部位位置、属性等）来增强人搜索特征，这带来了更多的任务并且进一步使个人搜索模型复杂化。每个任务的不一致收敛速度可能会潜在地损害模型优化。一个简单的解决方案是手动为不同的任务分配不同的权重，以补偿不同的收敛速度。然而，考虑到人员搜索的特殊情况，即具有大量任务，手动加权任务是不切实际的。为此，我们提出了一种分组自适应损失加权（GALW）方法，可以自动动态地调整每个任务的权重。具体来说，我们根据任务的收敛速度对任务进行分组。同一组内的任务共享相同的可学习权重，该权重通过考虑损失不确定性来动态分配。在CUHK-SYSU和PRW两个典型的基准测试上的实验结果表明了该方法的有效性。
2022-09-23 cs.CV
OIMNet++: Prototypical Normalization and Localization-aware Learning for Person Search
Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）；Yonsei University（延世大学）
我们解决的任务的人搜索，即本地化和重新识别查询人从一组原始场景图像。最近的方法通常建立在OIMNet上，OIMNet是人员搜索的先驱工作，它学习联合人员表示以执行检测和人员重新识别（reID）任务。为了获得表示，他们从行人建议中提取特征，然后将其投影到具有L2归一化的单位超球面上。这些方法还包含所有积极的建议，这些建议与地面事实充分重叠，同样可以学习reID的人表示。我们发现：1）不考虑特征分布的L2归一化会降低人表示的辨别能力，2）积极的建议通常也会描述背景混乱和人重叠，这可能会将噪声特征编码为人表示。在本文中，我们介绍了解决上述限制的OIMNet++。为此，我们引入了一个新的规范化层，称为ProtoNorm，它可以从行人建议中校准特征，同时考虑人ID的长尾分布，使L2规范化的人表示具有歧视性。我们还提出了一个本地化感知的特征学习计划，鼓励更好地对齐的建议，以促进更多的学习歧视性表示。在标准的人物搜索基准上的实验结果和分析证明了OIMNet++的有效性。
2022-07-21 cs.CV
Parallel Augmentation and Dual Enhancement for Occluded Person Re-identification
Anhui University（安徽大学）；IMIS Laboratory of Anhui Province, Anhui Provincial Key Laboratory of MCC, Anhui University（安徽省智能计算与信息处理实验室，安徽大学）
本文提出了一种简单有效的PADE方法，通过并行增强机制（PAM）和全局局部双重增强策略（DES），缓解了遮挡行人重识别任务中的数据不平衡问题，并在无需辅助线索的情况下提升了模型在遮挡与非遮挡数据上的性能。
2024-01-10 cs.CV
Swap Path Network for Robust Person Search Pre-training
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；University of California, Berkeley（加州大学伯克利分校）
本研究提出首个端到端行人搜索预训练框架及Swap Path Net（SPNet）模型，采用以查询为中心预训练加目标为中心微调的策略，在PRW和CUHK-SYSU基准上取得SOTA结果，效果、效率与鲁棒性均优于仅预训练骨干的方案。
2024-12-06 cs.CV
Robust Partial Matching for Person Search in the Wild
Peking University（北京大学）；Intellifusion（云天励飞）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
各种因素，如遮挡，背景等，将导致未对准的检测到的边界框，例如，它们只覆盖人体的一部分。这个问题很常见，但被以前的人员搜索工程所忽视。为了缓解这个问题，本文提出了一种用于人员检测和重新识别（reID）的对齐部分网络（APNet）。APNet细化检测到的边界框，以覆盖估计的整体身体区域，从中可以提取和对齐有区别的部分特征。对齐的零件特征自然地将reID制定为部分特征匹配过程，其中选择有效的零件特征进行相似性计算，而遮挡或噪声区域上的零件特征被丢弃。这种设计增强了人搜索的鲁棒性，以边际计算开销的现实世界的挑战。本文还提供了一个用于野外人员搜索的大规模数据集（LSPS），这是迄今为止最大和最具挑战性的人员搜索数据集。实验结果表明，APNet对LSPS算法的性能有显著的改善.同时，它在现有的人员搜索基准（如CUHK-SYSU和PRW）上取得了竞争力。
2020-04-20 cs.CV
Person Search by Multi-Scale Matching
Queen Mary University of London（伦敦玛丽女王大学）；Vision Semantics Ltd（Vision Semantics有限公司）
我们考虑在无约束的场景图像中的人的搜索问题。现有的方法通常集中在提高人检测的准确性，以减轻由噪声的人自动检测导致的错位，误检测和误报所施加的负面影响。与以前的研究相比，我们表明，通过稍微改进最先进的深度学习对象检测器（例如Faster-RCNN）可以实现足够可靠的人物实例裁剪，而人物搜索中研究不足的多尺度匹配问题是一个更严重的障碍。在这项工作中，我们通过提出一种跨级别语义对齐（CLSA）深度学习方法来解决这种多尺度人员搜索挑战，该方法能够在统一的端到端模型中学习更具鉴别力的身份特征表示。这是通过利用一个新的跨层语义对齐损失函数增强的深度神经网络的网络内特征金字塔结构来实现的。这有利地消除了对构建计算上昂贵的图像金字塔和复杂的多分支网络架构的需要。大量的实验表明，CLSA的建模优势和性能优越的国家的最先进的人的搜索和多尺度匹配方法上的两个大的人的搜索基准数据集：中大-中山大学和PRW。
2018-07-23 cs.CV
APES: Audiovisual Person Search in Untrimmed Video
Universidad de los Andes（安第斯大学）；Adobe Research（Adobe研究院）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
人类可以说是视频流中最重要的主体之一，许多现实世界的应用，如视频摘要或视频编辑工作流，通常需要自动搜索和检索感兴趣的人。尽管在人的重新识别和检索领域做出了巨大的努力，但很少有作品开发了视听搜索策略。在本文中，我们提出了视听人员搜索数据集（APES），一个新的数据集组成的未修剪的视频，其音频（声音）和视觉（面部）流密集注释。APES包含超过1.9K个标识，标记了36小时的视频，使其成为可用于未经修剪的视听人员搜索的最大数据集。APES的一个关键属性是它包括将面部链接到相同身份的语音片段的密集时间注释。为了展示我们新数据集的潜力，我们提出了一个用于人员检索的视听基线和基准。我们的研究表明，模拟视听线索有利于人们的身份识别。为了实现可重复性并促进未来的研究，数据集注释和基线代码可在https://github.com/fuankarion/audiovisual-person-search上获得
2021-06-03 cs.CV
Multi-Attribute Enhancement Network for Person Search
Central China Normal University（华中师范大学）；Wuhan University（武汉大学）
人物搜索的目的是联合解决人物检测和人物重新识别（Re-ID）问题，其中目标人物将在大量未切割的图像中定位。在过去的几年里，基于深度学习的人物搜索取得了长足的进步。视觉字符属性在检索查询人中起着关键作用，这在Re-ID中已经探索过，但在Person Search中被忽略了。因此，我们将属性学习引入模型，允许使用属性特征进行检索任务。具体来说，我们提出了一个简单而有效的模型称为多属性增强（MAE），引入属性标签来学习本地功能。除了学习行人的全局表示外，还学习局部表示，并将两者结合起来学习鲁棒特征，以提高搜索性能。此外，我们验证了我们的模块的有效性，现有的基准数据集，CUHK-SYSU和PRW。最终，我们的模型在端到端方法中达到了最先进的水平，特别是在中大中山大学上达到了91.8%的mAP和93.0%的rank-1。代码和模型可在https://github.com/chenlq123/MAE上获得。
2021-04-20 cs.CV
Divide and Conquer: Hybrid Pre-training for Person Search
Nanjing University of Science and Technology（南京理工大学）；Dalian Maritime University（大连海事大学）
针对行人搜索全任务标注数据稀缺、现有ImageNet预训练存在任务差距的问题，提出仅用检测和重识别子任务数据的混合预训练框架，含混合学习范式与任务内对齐模块，在多设置下实现显著性能提升。
2023-12-13 cs.CV
Person Re-identification Meets Image Search
Tsinghua University（清华大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
长期以来，人的再识别和图像搜索是两个独立研究的课题。然而，对于人的重新识别，局部特征的有效性和“查询-搜索”模式，使它很好地提出了图像搜索技术。鉴于图像搜索的最新进展，本文提出将人的重新识别作为一个图像搜索问题。具体而言，本文声称两个主要贡献。1)通过设计一个无监督的Bag-of-Words表示，我们致力于通过将图像搜索技术集成到人员重新识别中来弥合这两个任务之间的差距。我们表明，我们的系统建立了一个有效而高效的基线，可以进一步监督/无监督的改进。2)我们贡献了一个新的高质量的数据集，它使用了多个检测器，包括一些干扰图像。我们的数据集更接近现实环境，并提供了新的视角。与依赖于特征-特征匹配的方法相比，我们的方法快了两个数量级以上。此外，在三个数据集上，我们报告了与最先进的方法相比具有竞争力的结果。
2015-02-07 cs.CV
Color inference from semantic labeling for person search in videos
Polytechnique Montréal（蒙特利尔高等理工学院）；Arcturus Networks
我们提出了一个可解释的模型来生成语义颜色标签的人搜索。在这种情况下，人是从他们的语义部分，如帽子，衬衫等描述的人搜索包括在这些描述的基础上寻找的人。在这项工作中，我们的目标是提高人们的颜色标签的准确性。我们的目标是处理人类感知的高度可变性。现有的解决方案是基于手工制作的功能或学习的功能是无法解释的。此外，他们中的大多数只关注有限的颜色。我们提出了一种基于二叉搜索树和一个大的同行标记的颜色名称数据集的方法。这使我们能够合成人类对颜色的感知。使用语义分割和我们的颜色标记方法，我们标记段的行人与他们相关的颜色。我们评估了我们的解决方案上的人搜索数据集，如PCN，并显示精度高达80.4%。
2020-04-06 cs.CV
A Multi-task Joint Framework for Real-time Person Search
UESTC（电子科技大学）
人物搜索一般包括三个重要部分：人物检测、特征提取和身份比对。然而，集成检测、提取和比较的人物搜索具有以下缺点。首先，检测的准确性将影响比较的准确性。其次，在实际应用中很难实现实时的【形】。针对这些问题，提出了一个实时的【形】人物搜索多任务联合框架（MJF），分别对人物检测、特征提取和身份比对进行了优化。对于人物检测模块，我们提出了YOLOv 5-GS模型，该模型使用人物数据集进行训练。它结合了Ghostnet和Squeeze-and-Excitation（SE）块的优点，提高了速度和准确性。在特征提取模块中，设计了模型自适应结构（MAA），可以根据人数的不同选择不同的网络。它可以平衡准确性和速度之间的关系。对于身份比较，我们提出了一个三维（3D）池表和匹配策略，以提高识别精度。在1920*1080分辨率视频和500个ID表的条件下，该方法的识别率和每秒帧数分别达到93.6%和25.7，
2020-12-11 cs.CV
Person Search via A Mask-Guided Two-Stream CNN Model
Nanjing University of Science and Technology（南京理工大学）；The University of Sydney（悉尼大学）；SenseTime（商汤科技）；Tencent（腾讯）
在这项工作中，我们解决了人的搜索问题，这是一个具有挑战性的任务，包括行人检测和人的重新识别~（re-ID）。而不是在一个单一的联合模型共享表示，我们发现，分离检测器和重新ID特征提取产生更好的性能。为了提取每个身份的更具代表性的特征，我们从原始图像块中分割出前景人。我们提出了一种简单而有效的re-ID方法，该方法分别对前景人物和原始图像块进行建模，并从两个单独的CNN流中获得丰富的表示。在中大中山大学和PRW两个标准的人物搜索基准上的实验中，我们分别实现了$83.0\%$和$32.6\%$的mAP，大大超过了现有技术水平（超过5 pp）。
2018-07-21 cs.CV
Prompting Continual Person Search
Beihang University（北京航空航天大学）；Macquarie University（麦考瑞大学）；Institute of Semiconductors, Chinese Academy of Sciences（中国科学院半导体研究所）
本文提出连续行人搜索任务及 PoPS 模型，通过组合式 transformer、领域增量提示池和属性匹配实现跨域持续学习并缓解灾难性遗忘。
2024-10-25 cs.CV
Sequential End-to-end Network for Efficient Person Search
Tongji University（同济大学）；Key Laboratory of Embedded System and Service Computing, Ministry of Education（教育部嵌入式系统与服务计算重点实验室）
人物搜索的目标是联合解决人物检测和人物重新识别问题。现有的工作已经设计了基于Faster R-CNN的端到端网络。然而，由于Faster R-CNN的并行结构，提取的特征来自区域建议网络生成的低质量建议，而不是检测到的高质量边界框。人员搜索是一项细粒度的任务，这些低劣的功能将显著降低re-ID性能。为了解决这个问题，我们提出了一个顺序端到端网络（SeqNet）来提取高级特征。在SeqNet中，检测和重新识别被认为是一个渐进的过程，并依次处理两个子网络。此外，我们设计了一个强大的上下文二分图匹配（CBGM）算法，有效地利用上下文信息作为一个重要的补充线索的人匹配。两个广泛使用的人搜索基准，CUHK-SYSU和PRW，广泛的实验表明，我们的方法达到了最先进的结果。此外，我们的模型在单个GPU上以11.5 fps的速度运行，并且可以轻松集成到现有的端到端框架中。
2021-03-18 cs.CV
Person Search in Videos with One Portrait Through Visual and Temporal Links
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）；SenseTime Research（商汤科技研究院）
在现实应用中，例如执法和视频检索，人们经常需要在长视频中仅使用一个肖像来搜索某个人。这比用于人员重新识别的常规设置更具挑战性，因为搜索可能需要在与拍摄肖像的环境不同的环境中执行。在本文中，我们的目标是解决这一挑战，并提出了一个新的框架，它考虑到身份不变性沿轨迹，从而允许人的身份传播通过视觉和时间的链接。我们还开发了一种新的方案，称为渐进传播通过竞争共识，这显着提高了传播过程的可靠性。为了促进对人物搜索的研究，我们构建了一个大规模的基准测试，其中包含来自192部电影的127 K手动注释的tracklet。实验表明，我们的方法显着优于主流的人re-id方法，提高mAP从42.16%到62.27%。
2018-07-27 cs.CV
Re-ID Driven Localization Refinement for Person Search
Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）；Megvii Technology（旷视科技）
人物搜索的目的是从一组未裁剪的场景图像中定位和识别查询人物。与人的再识别（re-ID）不同，其性能还取决于行人检测器的定位精度。现有技术的方法单独地训练检测器，并且检测到的边界框对于下面的重新ID任务可能是次优的。为了缓解这个问题，我们提出了一个重新ID驱动的本地化细化框架，为人员搜索提供细化的检测框。具体来说，我们开发了一个可区分的ROI转换层，有效地转换从原始图像的边界框。因此，框坐标可以由re-ID训练而不是原始检测任务来监督。通过这种监督，检测器可以生成更可靠的边界框，并且下游的re-ID模型可以基于细化的人员定位来生成更具区别性的嵌入。在广泛使用的基准测试上的大量实验结果表明，我们提出的方法对最先进的人物搜索方法表现良好。
2019-09-18 cs.CV
MovieNet-PS: A Large-Scale Person Search Dataset in the Wild
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Shanghai Jiao Tong University（上海交通大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
人物搜索的目标是从自然的、未裁剪的图像中联合定位和识别查询人物，这在过去几年中得到了积极的研究。在本文中，我们深入研究了丰富的上下文信息的全球和本地周围的目标人，我们称之为场景和群体背景，分别。不同于以往的作品，单独对待这两种类型的背景下，我们利用它们在一个统一的全局-局部上下文网络（GLCNet）的直观的目的，功能增强。具体来说，re-ID嵌入和上下文特征是以多阶段的方式同时学习的，最终导致人员搜索的增强的、有区别的特征。我们在两个人搜索基准上进行实验（即，中大-中山大学和PRW），并将我们的方法扩展到更具挑战性的环境（即，在MovieNet上搜索字符）。大量的实验结果表明，在所有三个数据集上，所提出的GLCNet比最先进的方法有一致的改进。我们的源代码，预训练模型和新数据集可在www.example.com上公开获取。
2023-02-28 cs.CV
Joint Detection and Identification Feature Learning for Person Search
The Chinese University of Hong Kong（香港中文大学）；Sun Yat-Sen University（中山大学）；SenseTime Group Limited（商汤科技有限公司）
现有的人的重新识别基准和方法主要集中在匹配查询和候选人之间的裁剪行人图像。但这与现实场景不同，现实场景中行人边界框的注释不可用，需要从整个场景图像库中搜索目标人物。为了缩小差距，我们提出了一个新的深度学习框架来进行人员搜索。我们没有将其分解为两个单独的任务-行人检测和人员重新识别，而是在一个卷积神经网络中联合处理这两个方面。提出了一种在线实例匹配（OIM）损失函数来有效地训练网络，该网络可扩展到具有大量身份的数据集。为了验证我们的方法，我们收集并注释了一个大规模的基准数据集的人搜索。它包含18，184张图像，8，432个身份和96，143个行人边界框。实验表明，我们的框架优于其他单独的方法，和建议的OIM损失函数收敛速度更快，更好地比传统的Softmax损失。
2017-04-06 cs.CV
Person Search Challenges and Solutions: A Survey
Monash University（莫纳什大学）；Northwest University（西北大学）；Carnegie Mellon University（卡内基梅隆大学）
人物搜索因其现实应用和研究意义而受到越来越多的关注。人物搜索的目的是在一系列场景图像中找到一个被探测的人物，其应用范围非常广泛，如罪犯搜索、多摄像机跟踪、失踪人员搜索等。早期的人物搜索工作主要集中在基于图像的人物搜索，它使用人物图像作为搜索查询。基于文本的人员搜索是使用自由形式的自然语言作为搜索查询的另一个主要人员搜索类别。人员搜索具有挑战性，相应的解决方案多样而复杂。因此，对这一专题进行系统调查至关重要。本文从挑战和解决方案的角度综述了基于图像和基于文本的人物搜索的最新研究成果。具体来说，我们提供了一个简要的分析高度有影响力的人搜索方法，考虑到三个重大挑战：歧视性的人的功能，查询人的差距，和检测识别不一致。我们总结和比较评估结果。最后，我们讨论了开放的问题和一些有前途的未来研究方向。
2021-05-01 cs.CV cs.LG
Leveraging Prior Knowledge of Diffusion Model for Person Search
GSAIM, Chung-Ang University（Chung-Ang大学图像信息研究所）；IPAI, Seoul National University（首尔国立大学图像感知研究所）；Department of Mathematical Sciences and RIMS, Seoul National University（首尔国立大学数学科学系和RIMS）
针对行人搜索中现有方法的不足，提出DiffPS框架，利用预训练扩散模型，消除子任务优化冲突，通过分析扩散先验属性设计三个专门模块，在CUHK-SYSU和PRW数据集上取得新的最优成果。
2026-07-15 cs.CV
Cascade Transformers for End-to-End Person Search
Kitware, Inc.（Kitware公司）；Pennsylvania State University（宾夕法尼亚州立大学）
人物搜索的目标是从场景图像的图库集合中定位目标人物，由于大规模变化、姿势/视点变化和遮挡，这是非常具有挑战性的。在本文中，我们提出了用于端到端人员搜索的Cascade Occluded Attention Transformer（COAT）Transformer。我们的三阶段级联设计侧重于在第一阶段检测人，而后面的阶段同时逐步完善人检测和重新识别的表示。在每个阶段，封闭注意力Transformer在联合阈值上应用更严格的交集，迫使网络学习从粗到精的姿势/尺度不变特征。同时，我们计算每个检测的遮挡注意力，以区分一个人的令牌从其他人或背景。通过这种方式，我们模拟了其他对象在令牌级别遮挡感兴趣的人的效果。通过全面的实验，我们通过在两个基准数据集上实现最先进的性能来证明我们的方法的好处。
2022-03-17 cs.CV
Exploring Visual Context for Weakly Supervised Person Search
MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University, China（上海交通大学人工智能研究院人工智能教育部重点实验室）；Inception Institute of Artificial Intelligence (IIAI), UAE（阿联酋人工智能初创研究所(Inception Institute of Artificial Intelligence, IIAI)）
人物搜索最近已经成为一项具有挑战性的任务，共同解决行人检测和人物重新识别。现有的方法遵循完全监督的设置，其中限界框和标识注释都可用。然而，注释标识是劳动密集型的，限制了当前框架的实用性和可扩展性。本文创造性地考虑了只有限界框注释的弱监督人物搜索。我们建议通过调查三个层次的上下文线索（即，检测、存储和场景）。前两个被用来促进本地和全球的歧视能力，而后者提高聚类精度。尽管设计简单，我们的CGPS在中大中山大学的mAP中达到80.0%，将基线模型提高了8.8%。令人惊讶的是，它甚至可以与几个有监督的个人搜索模型实现相当的性能。我们的代码可在https://github.com/ljpadam/CGPS上获得
2021-09-26 cs.CV
Learning Context Graph for Person Search
Shanghai Jiao Tong University（上海交通大学）；Tencent YouTu Lab（腾讯优图实验室）；Inception Institute of Artificial Intelligence（因斯布鲁克人工智能研究院）
利用深度卷积神经网络进行人员再识别已经取得了很大的进展。然而，以往的方法大多集中于学习个体外观特征的嵌入，难以处理光照变化、姿态变化和遮挡等复杂情况。在这项工作中，我们更进一步，并考虑采用上下文信息的人搜索。对于探测器-图库对，我们首先提出了一个上下文实例扩展模块，它采用了一个相对注意力模块来搜索和过滤场景中有用的上下文信息。我们还建立了一个图学习框架，有效地利用上下文对更新目标相似性。这两个模块建立在联合检测和实例特征学习框架之上，提高了学习特征的区分度。该框架在两个广泛使用的人员搜索数据集上实现了最先进的性能。
2019-04-03 cs.CV
IAN: The Individual Aggregation Network for Person Search
National University of Singapore（新加坡国立大学）
现实世界中的人物搜索是一个新的具有挑战性的计算机版本的任务与许多有意义的应用。这项任务的挑战主要来自：（1）行人的边界框不可用，模型需要在整个图库图像中搜索人;（2）由于不同的姿势，照明条件和遮挡，特定人的视觉外观存在巨大差异。为了解决这两个关键问题，在现代人的搜索应用程序，我们提出了一种新的个人聚合网络（IAN），可以准确地定位的人通过学习，以尽量减少内部的人的特征变化。IAN建立在最先进的目标检测框架之上，即，更快的R-CNN，以便以在线方式为行人提供高质量的区域建议。此外，为了减轻由同一个体的不同视觉外观引起的负面影响，IAN引入了一种新的中心损失，可以增加特征表示的类内紧凑性。参与中心的缺失促使具有相同身份的人具有相似的特征。在两个基准上的广泛实验结果，即，中大中山大学和PRW的算例充分证明了该模型的优越性。特别是，IAN实现了77.23%的mAP和80.45%的前1名的准确性，分别超过了1.7%和1.85%的最先进的，中大中山大学。
2017-05-16 cs.CV
Knowledge Distillation for End-to-End Person Search
OSRAM（欧司朗）
我们介绍了知识蒸馏的端到端的人的搜索。端到端的方法是目前最先进的个人搜索，解决了检测和重新识别联合。这些联合优化的方法由于次优检测器而显示出其性能的最大下降。我们提出了两种不同的方法，额外的监督端到端的人搜索方法，在师生设置。第一种是采用最先进的知识蒸馏在目标检测。我们使用专门的检测器在各个级别上监督我们的人员搜索模型的检测器。第二种方法是新的，简单的，但更有效。这通过预先计算的ID特征查找表从教师重新识别技术中提取知识。它放松了识别特征的学习，并允许学生专注于检测任务。该过程不仅有助于固定联合优化中的次优检测器训练，同时改善人员搜索，而且在这种情况下，还缩小了教师和学生之间对于模型压缩的性能差距。总的来说，我们证明了显着的改进，最近的两个国家的最先进的方法，使用我们提出的知识蒸馏方法对两个基准数据集。此外，在模型压缩任务上，我们的方法使较小模型的性能与较大模型不相上下。
2019-09-05 cs.CV
PSTR: End-to-End One-Step Person Search With Transformers
Tianjin University（天津大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Chongqing University（重庆大学）；University of Central Florida（中佛罗里达大学）；Linköping University（林雪平大学）
我们提出了一种新的一步基于变换的人搜索框架，PSTR，在一个单一的架构中联合执行人的检测和重新识别（re-id）。PSTR包括个人搜索专用（PSS）模块，该PSS模块包含用于个人检测的检测编码器-解码器以及用于个人re-id的判别re-id解码器。判别re-id解码器利用具有用于判别re-id特征学习的共享解码器的多级监督方案，并且还包括对个人的不同部分之间的关系进行编码的部分关注块。我们进一步介绍了一个简单的多尺度方案，以支持在不同尺度的人实例的re-id。PSTR共同实现了对象级识别（检测）和实例级匹配（re-id）的不同目标。据我们所知，我们是第一个提出一个端到端的一步transformer为基础的人搜索框架。实验在两个流行的基准：CUHK-SYSU和PRW。我们广泛的烧蚀揭示了所提出的贡献的优点。此外，拟议的PSTR在这两个基准上都设定了新的最先进水平。在具有挑战性的PRW基准测试中，PSTR的平均精度（mAP）得分为56.5%。源代码可从\url{https://github.com/JialeCao001/PSTR}获得。
2022-04-07 cs.CV
LEAPS: End-to-End One-Step Person Search With Learnable Proposals
Chongqing University（重庆大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Tianjin University（天津大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
我们提出了一个端到端的一步人的搜索方法与学习的建议，命名为LEAPS。给定一组稀疏和可学习的建议，LEAPS采用动态人搜索头直接执行人检测和相应的re-id特征生成，而无需非最大抑制后处理。动态寻人头包括探测头和新型柔性识别头。我们灵活的re-id头首先采用动态区域的兴趣（ROI）操作，以提取歧视性的ROI功能的建议。然后，它产生的re-id功能，使用一个平原和层次交互re-id模块。为了更好地指导区分性re-id特征学习，我们引入了一种多样的re-id样本匹配策略，代替了检测头中的二分匹配。综合实验表明，拟议的LEAPS的好处，实现了良好的性能上的两个公众人物搜索基准：中大中山大学和PRW。当使用相同的ResNet 50主干时，我们的LEAPS获得了55.0%的mAP得分，比文献中报道的最佳结果高出1.7%，同时在具有挑战性的PRW数据集上实现了大约两倍的加速。我们的源代码和模型将被发布。
2023-03-21 cs.CV
Query-guided End-to-End Person Search
OSRAM GmbH（欧司朗有限公司）；Technische Universität München（慕尼黑工业大学）
人物搜索最近作为从非裁剪图像的图库中找到作为裁剪样本提供的人物的新颖任务而受到关注，其中其他几个人也是可见的。我们相信，我。人员检测和重新识别应在联合优化框架中进行，并且ii.人员搜索应广泛利用查询图像（例如强调独特的查询模式）。然而，到目前为止，还没有现有技术实现这一点。我们引入了一种新的查询引导端到端的人搜索网络（QEEPS），以解决这两个方面。我们利用最新的联合检测器和重新识别工作，OIM [37]。我们用i来扩展它。查询引导的连体挤压和激发网络（QSSE-Net），其使用来自查询和图库图像两者的全局上下文，ii.查询引导的区域建议网络（QRPN），以产生查询相关的建议，以及iii.查询引导相似性子网络（QSimNet），以学习查询引导重新识别分数。QEEPS是第一个端到端查询引导检测和重新识别网络。在最近的CUHK-SYSU [37]和PRW [46]数据集上，我们的表现远远超过了以前的最先进水平。
2019-05-03 cs.CV
Diverse Knowledge Distillation for End-to-End Person Search
Tongji University（同济大学）；The University of Adelaide（阿德莱德大学）；Monash University（莫纳什大学）
人物搜索的目的是定位和识别一个特定的人从一个画廊的图像。最近的方法可以分为两组，即，两步和端到端的方法。前者将人员搜索视为两个独立的任务，并使用单独训练的人员检测和重新识别（Re-ID）模型来实现主要结果。后者以端到端的方式执行人员搜索。虽然端到端方法产生更高的推理效率，但在准确性方面，它们在很大程度上落后于两步方法。在本文中，我们认为这两种方法之间的差距主要是由Re-ID子网的端到端的方法。为此，我们提出了一个简单而强大的端到端网络与多样化的知识蒸馏，以打破瓶颈。我们还设计了一个空间不变的增强，以帮助模型是不准确的检测结果的不变性。在CUHK-SYSU和PRW数据集上的实验结果证明了我们的方法相对于现有方法的优越性-它与最先进的两步方法达到了同等精度，同时由于单关节模型而保持了高效率。代码可在：https://git.io/DKD-PersonSearch.
2020-12-21 cs.CV
Prototype-Guided Text-based Person Search based on Rich Chinese Descriptions
University of Chinese Academy of Sciences（中国科学院大学）
本文提出基于PRW构建的大规模中文文本行人搜索数据集PRW-TPS-CN，并利用文本原型聚合生成注意力图，缓解检测与检索不一致，取得最先进性能。
2023-12-22 cs.CV
Domain Generalizable Person Search Using Unreal Dataset
Graduate School of Artificial Intelligence, UNIST（蔚山科学技术院人工智能研究生院）
本文提出一种基于域泛化的行人搜索方法，仅用自动标注的虚幻数据集训练，通过行人实例保真度估计和域不变特征学习缓解域差距，在无需先验知识和重新训练的情况下对任意未见真实数据集取得有竞争力的性能。
2024-03-31 cs.CV
Deep Intra-Image Contrastive Learning for Weakly Supervised One-Step Person Search
Tianjin University（天津大学）；University of Warwick（华威大学）；Northwestern Polytechnical University（西北工业大学）
本文提出基于Siamese network的深度图像内对比学习方法，通过空间不变对比和遮挡不变对比模块解决空间级与遮挡级方差问题，在CUHK-SYSU和PRW数据集上实现了弱监督单步人员搜索的最先进性能。
2023-02-09 cs.CV
Visual-Textual Association with Hardest and Semi-Hard Negative Pairs Mining for Person Search
Beijing Institute of Technology（北京理工大学）
利用自然语言描述的查询方式在大规模图像数据库中进行人物检索是视频监控中一个较为实用的重要应用。直观地说，对于人物搜索来说，核心问题应该是视觉-文本关联，由于文本描述的高度抽象性和视觉图像的直观表达之间的矛盾，这仍然是一个极具挑战性的任务。然而，对于这个任务，虽然积极的图像-文本对总是很好地提供，大多数现有的方法不解决这个问题，有效地挖掘更合理的负对。本文提出了一种新的视觉-文本关联方法，该方法结合了视觉和文本注意力，以及跨模态最难和半难否定对挖掘。为了验证该方法的有效性和可行性，我们在典型的人物搜索引擎CUHK-PEDES上进行了大量的实验，取得了55.32%的top1成绩，成为一个新的研究领域。此外，我们还在COCO字幕数据集上对半硬对挖掘方法进行了评估，验证了该方法的有效性和互补性。
2019-12-06 cs.CV
Anchor-Free Person Search
Inception Institute of Artificial Intelligence (IIAI)（初始人工智能研究院）；University of Oxford（牛津大学）
人物搜索的目标是同时定位和识别查询的人从现实的，未经裁剪的图像，它可以被视为统一的任务，行人检测和人重新识别（re-id）。大多数现有的作品采用两阶段检测器，如Faster-RCNN，产生令人鼓舞的准确性，但计算开销很高。在这项工作中，我们提出了一个无锚的框架，以有效地解决这一具有挑战性的任务的搜索网络（AlignPS）。AlignPS明确解决了主要挑战，我们将其总结为不同级别的不对齐问题（即，规模、区域和任务），当为该任务提供无锚检测器时。更具体地说，我们提出了一个对齐的特征聚合模块，通过遵循“re-id优先”原则来生成更具鉴别力和鲁棒性的特征嵌入。这样一个简单的设计直接改善了基线无锚模型CUHK-SYSU超过20%的mAP。此外，AlignPS优于最先进的两阶段方法，具有更高的速度。代码可在https://github.com/daodaofr/AlignPS上获得
2021-04-29 cs.CV
ViTAA: Visual-Textual Attributes Alignment in Person Search by Natural Language
Beihang University（北京航空航天大学）；Arizona State University（亚利桑那州立大学）
基于自然语言的人物搜索是指在大规模的图像池中，根据给定的文本描述，检索出一个特定的人物。虽然目前的大多数方法将任务视为一个整体的视觉和文本特征匹配的一个，我们从属性对齐的角度，允许接地特定的属性短语到相应的视觉区域。我们取得了成功，以及性能提升的强大功能学习，所指的身份可以准确地捆绑多属性视觉线索。具体来说，我们的视觉-文本属性对齐模型（称为ViTAA）学习使用轻辅助属性分割计算分支将人的特征空间分解为与属性对应的子空间。然后，它将这些视觉特征与通过使用新颖的对比学习损失从句子中解析出的文本属性进行对齐。在此基础上，我们验证了我们的ViTAA框架通过广泛的实验任务的人搜索自然语言和属性短语查询，我们的系统达到国家的最先进的性能。代码将在发布时公开提供。
2020-07-30 cs.CV
Domain Adaptive Person Search via GAN-based Scene Synthesis for Cross-scene Videos
Dalian Maritime University（大连海事大学）
本文针对真实监控视频中行人图像稀少且背景衣着单一导致特征判别性不足的问题，提出基于GAN的场景合成模型和辅助身份查询模块，通过在线学习协同合成与原始图像，在CUHK-SYSU和PRW上验证了行人搜索性能的提升。
2023-08-08 cs.CV
Ground-to-Aerial Person Search: Benchmark Dataset and Approach
Northwestern Polytechnical University（西北工业大学）；Xidian University（西安电子科技大学）
本研究构建了首个跨平台地对空行人搜索大规模基准数据集G2APS，提出基于ReID网络头部的知识蒸馏方案，在多个数据集上取得最优性能，为地空跨平台智能监控研究提供支撑。
2023-08-24 cs.CV
PS-ARM: An End-to-End Attention-aware Relation Mixer Network for Person Search
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）
人物搜索是一个具有挑战性的问题与各种现实世界的应用，其目的是联合的人检测和重新识别的查询人从未经裁剪的图库图像。虽然，以往的研究集中在丰富的特征信息学习，它仍然是很难检索的查询人，由于外观变形和背景干扰的发生。在本文中，我们提出了一种新的注意力感知关系混合器（ARM）模块的人搜索，它利用了一个人的ROI内不同的局部区域之间的全局关系，并使其对各种外观变形和遮挡鲁棒。建议的ARM是由一个关系混合器块和空间通道注意层。关系混合器块引入空间关注的空间混合和声道关注的声道混合，用于有效地捕获RoI内的区别性关系特征。通过引入空间通道注意力来进一步丰富这些判别关系特征，其中在联合空间通道空间中赋予前景和背景可辨别性。我们的ARM模块是通用的，它不依赖于细粒度的监督或拓扑假设，因此很容易集成到任何基于Faster R-CNN的人员搜索方法中。在两个具有挑战性的基准数据集上进行了全面的实验：CUHKSYSU和PRW。我们的PS-ARM在两个数据集上都实现了最先进的性能。在具有挑战性的PRW数据集上，我们的PS-ARM在SeqNet上的mAP得分中实现了5的绝对增益，同时以相当的速度运行。
2022-10-07 cs.CV
Scene-Adaptive Person Search via Bilateral Modulations
School of Information Science and Technology, Dalian Maritime University（大连海事大学信息科学技术学院）；School of Cyber Security and Computer, Hebei University（河北大学网络空间安全与计算机学院）；Hefei University of Technology（合肥工业大学）
本文提出场景自适应行人搜索模型SEAS，通过背景调制网络和前景调制网络进行双边调制以消除场景噪声，在CUHK-SYSU和PRW上分别取得97.1%和60.5%的mAP。
2024-05-05 cs.CV
Generalizable Person Search on Open-world User-Generated Video Content
Shanghai Jiao Tong University（上海交通大学）；Tencent Youtu Lab（腾讯优图实验室）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
本文提出一个特征级与数据级泛化的框架，利用UGC视频训练行人搜索模型，通过域特定批归一化和特征去相关策略，在无目标域标注下提升跨域性能。
2023-10-16 cs.CV
Neural Feature Search for RGB-Infrared Person Re-Identification
China University of Geosciences（中国地质大学）；University of Chinese Academy of Sciences（中国科学院大学）
RGB-IR人物再识别（RGB-IR ReID）是一个具有挑战性的跨模态检索问题，其目的是在可见光和红外摄像机视图上匹配感兴趣的人。大多数现有的作品通过手动设计的特征选择模块，这往往需要显着的领域知识和丰富的经验来实现性能增益。在本文中，我们研究了一个通用的范例，称为神经特征搜索（NFS），自动化的过程中的特征选择。具体而言，NFS结合了一个双层特征搜索空间和可区分的搜索策略，以联合选择粗粒度通道和细粒度空间像素中的身份相关线索。这种组合允许NFS自适应地过滤背景噪声，并以数据驱动的方式集中于人体的信息部分。此外，跨模态对比优化方案进一步引导NFS搜索可以最小化模态差异同时最大化类间距离的特征。在主流基准测试上的大量实验表明，我们的方法优于最先进的方法，特别是在RegDB数据集上实现了更好的性能，在Rank-1和mAP中分别显著提高了11.20%和8.64%。
2021-04-06 cs.CV
Query-Guided Networks for Few-shot Fine-grained Classification and Person Search
Technical University of Munich（慕尼黑工业大学）；Sapienza University of Rome（罗马第一大学）；Magic Leap（Magic Leap公司）；Google（谷歌）
Few-Shot细粒度分类和人员搜索作为不同的任务出现，文献将它们分开处理。但仔细观察就会发现重要的相似之处：这两项任务都针对只能通过特定对象细节区分的类别;相关模型应该推广到新的类别，而不是在训练中看到。我们提出了一种新的统一的查询引导网络（QGN）适用于这两个任务。QGN由一个查询引导的Siamese-Squeeze-and-Excitation子网络组成，该子网络在所有网络层上重新加权查询和图库功能，一个用于查询特定本地化的查询引导区域建议子网络，以及一个用于度量学习的查询引导相似性子网络。QGN在最近的几个Few-Shot细粒度数据集上进行了改进，在CUB上的性能大大优于其他技术。QGN在人物搜索CUHK-SYSU和PRW数据集上也表现出竞争力，我们在那里进行了深入的分析。
2022-09-21 cs.CV
End-to-End Detection and Re-identification Integrated Net for Person Search
Chongqing University（重庆大学）；Hefei University of Technology（合肥工业大学）
本文提出了一种行人检测和重新识别（re-id）集成网络（I-Net）在端到端的学习框架。I-Net应用于实际视频监控场景，需要在整个场景视频中搜索目标人物，而行人边界框的标注不可用。通过与联合检测和re-id的OIM相比，我们有三个不同的贡献。首先，我们引入了一个连体结构的I-Net，而不是1流，这样就可以实现验证任务。其次，我们提出了一种新的在线配对损失（OLP）和硬例子优先的软最大损失（HEP），这样，只有硬否定提出了更多的注意力在损失计算。第三，在I-Net中设计了一个在线字典，用于存储阴性样本，而不记录阳性样本。我们在个人搜索数据集上展示了我们的结果，检测和重新识别之间的差距缩小了。可以实现优异的性能。
2018-04-02 cs.CV
