Temporal Attribute-Appearance Learning Network for Video-based Person Re-Identification
School of Information Science and Technology, University of Science and Technology of China（中国科学技术大学信息科学技术学院）
基于视频的行人再识别是指在不同时间、不同地点的监控视频中匹配特定的行人。人的属性和外观是相辅相成的，两者都有助于行人匹配。在这项工作中，我们提出了一种新的时间属性外观学习网络（TALNet）的视频为基础的人重新识别。TALNet同时利用人类属性和外观从视频中学习全面有效的行人表示。它探索了硬视觉注意和属性的时间-语义上下文，以及身体部位之间的时空依赖性，以促进对它们的学习。具体地说，提出了一个属性分支网络的空间注意力块和时间语义上下文块学习鲁棒属性表示。空间注意力块将网络集中在与每个属性相关的视频帧内的对应区域上，时间-语义上下文块学习跨视频帧的每个属性的时间上下文和每个视频帧中的属性之间的语义上下文。外观分支网络的目的是学习有效的外观表示从整个身体和身体部位之间的时空依赖性。TALNet利用属性和外观表示之间的互补性，并通过多任务学习方式联合优化它们。此外，我们在两个常用的视频数据集中为每个行人标注ID级属性。在这些数据集上进行的大量实验验证了TALNet优于最先进的方法。
2020-09-09 cs.CV
Seq-Masks: Bridging the gap between appearance and gait modeling for video-based person re-identification
Institute of Image Processing and Network Engineering, Shanghai Jiao Tong University（上海交通大学图像处理与网络工程研究所）；School of Biomedical Engineering, Shanghai Jiao Tong University（上海交通大学生物医学工程学院）；Shanghai Key Laboratory of Scalable Computing and Systems, Shanghai Jiao Tong University（上海交通大学可扩展计算与系统重点实验室）
基于图像的人物再识别（Re-ID）旨在匹配由不相交的监控摄像机捕获的视频序列中的人物图像。传统的基于视频的人的Re-ID方法专注于探索外观信息，因此容易受到光照变化，场景噪声，相机参数，特别是衣服/携带变化的影响。步态识别提供了一种隐式生物识别解决方案，以缓解上述头痛。尽管如此，它经历了严重的性能退化相机视图的变化。在试图解决这些问题，在本文中，我们提出了一个框架，利用序列掩模（SeqMasks）在视频中集成外观信息和步态建模在一个紧密的方式。具体来说，为了充分验证我们的方法的有效性，我们建立了一个新的数据集命名为MaskMARS基于MARS。在我们提出的大型野生视频Re-ID数据集MaskMARS上的综合实验证明了我们非凡的性能和泛化能力。步态识别度量CASIA-B数据集上的验证进一步证明了我们的混合模型的能力。
2021-12-10 cs.CV
Orientation Driven Bag of Appearances for Person Re-identification
Peking University（北京大学）；Max-Planck-Institut für Informatik（马克斯·普朗克信息学研究所）
人的重新识别（re-id）是指通过摄像机网络将人关联起来，在智能视频监控中具有重要的应用价值，受到了广泛的关注。虽然人的再识别研究正在取得进展，但仍面临着一些挑战，如不同的姿态，照明和观点。对于再识别中的特征表示，现有的研究多采用底层描述子，没有充分利用人体结构信息，导致特征表示能力较低。%的歧视。针对这一问题，本文提出了基于人体结构的特征表示（BSFR）方法，该方法在人体垂直方向引入人体结构金字塔进行码书学习和特征池化。此外，人体水平方向上的不同视点通常会导致数据缺失问题，$i.e.$，同一个人在不同方位上获得的外观可能会有很大的差异。为了解决这个问题，方向驱动的外观袋（ODBoA）提出利用方向估计技术提取的人的方向信息。为了正确评估所提出的方法，我们引入了一个新的重新识别数据集（Market-1203）的基础上市场-1501数据集，并提出了一个新的重新识别数据集（PKU-Reid）。两个数据集都包含每个人在不同身体方向上捕获的多个图像。在三个公开数据集和两个建议数据集上的实验结果表明了该方法的优越性，表明了身体结构和方向信息对提高重识别性能的有效性。
2016-05-09 cs.CV
CAN: Composite Appearance Network for Person Tracking and How to Model Errors in a Tracking System
University at Buffalo（布法罗大学）
在多个摄像头上跟踪多个人是一个悬而未决的问题。它通常分为两个任务：（i）单摄像机跟踪（SCT）-识别同一场景中的轨迹，以及（ii）摄像机间跟踪（ICT）-识别真实监控场景中跨摄像机的轨迹。许多方法都是为了满足SCT的需要，而ICT仍然是一个挑战。在本文中，我们提出了一种跟踪方法，它使用运动线索和基于模板的人重新识别的特征聚合网络，通过将元数据，如人的限界框和相机信息。我们提出了一种称为复合外观网络（CAN）的特征聚合架构来解决上述问题。该架构的关键结构称为EvalNet，它关注每个特征向量，并根据它为整个模板接收的梯度来学习对它们进行加权，以获得最佳的重新识别性能。我们通过在具有挑战性的多摄像机跟踪数据集DukeMTMC上的实验证明了我们方法的效率。我们还调查了现有的跟踪措施，并提出了一个在线的错误度量称为“推理错误”（IE），提供了一个更好的估计跟踪/重新识别错误，统一处理SCT和ICT错误。
2019-10-03 cs.CV
Person Re-Identification by Discriminative Selection in Video Ranking
Tsinghua University（清华大学）；Queen Mary University of London（伦敦玛丽女王大学）
当前的人员再识别（ReID）方法通常依赖于单帧图像特征，而忽略了实际监控场景中经常可用的图像序列的时空信息。基于单帧（单镜头）的视觉外观匹配对于公共空间中的人ReID是固有地受限的，这是由于具有挑战性的视觉模糊性和由非重叠相机视图产生的不确定性，其中观看条件变化可能导致显著的人外观变化。在这项工作中，我们提出了一种新的模型，自动选择最具鉴别力的视频片段从嘈杂/不完整的图像序列的人，可靠的时空和外观特征可以计算，同时学习的视频排名功能的人ReID。使用PRID $2011$、iLIDS-VID和HDA+图像序列数据集，我们广泛地进行了比较评估，以证明所提出的模型相对于当代步态识别、整体图像序列匹配和最先进的单/多拍摄ReID方法的优势。
2016-01-23 cs.CV
Person Re-identification for Real-world Surveillance Systems
INRIA Sophia Antipolis - Méditerranée（法国国家信息与自动化研究所索菲亚安蒂波利斯-地中海研究中心）
基于外观的人重新识别在现实世界的视频监控系统与非重叠的摄像机视图是一个具有挑战性的问题，有很多原因。当前最先进的方法通常通过依赖于相似性度量或排序函数的监督学习来解决该问题，以隐式地对系统中的每个相机对或组的相机之间的外观变换进行建模。这需要大量的人力来注释数据。此外，学习的模型是相机特定的，并且不能从一组相机转移到另一组相机。因此，每次网络扩展或更换摄像头后都需要进行注释过程，这极大地限制了它们的适用性。或者，我们提出了一种新的建模方法来利用互补的外观信息，而无需监督学习，在多个基准数据集上的性能明显优于当前最先进的无监督方法。
2016-07-20 cs.CV
Robust Depth-based Person Re-identification
Sun Yat-sen University（中山大学）；National University of Defense Technology（国防科技大学）
人员重新识别（re-id）旨在匹配非重叠摄像机视图中的人员。到目前为止，基于RGB的外观在大多数现有作品中被广泛使用。然而，当人们出现在极端照明或改变衣服，基于RGB外观的re-id方法往往会失败。为了克服这个问题，我们建议利用深度信息提供更多的不变的身体形状和骨架信息，而不管照明和颜色的变化。更具体地说，我们利用深度体素协方差描述符，并进一步提出了一个局部旋转不变的深度形状描述符称为特征深度特征来描述行人的身体形状。我们证明了黎曼流形上任意两个协方差矩阵之间的距离等价于相应特征深度特征之间的欧氏距离。此外，我们提出了一个核化的隐式特征转移方案，估计特征深度特征时，深度信息是不可用的RGB图像隐式。我们发现，将估计的深度特征与基于RGB的外观特征相结合，有时可以帮助更好地减少由照明和相似的衣服引起的外观特征的视觉模糊性。我们的模型的有效性进行了验证，在公开的深度行人数据集相比，相关的方法进行人员重新识别。
2017-03-28 cs.CV
Shape-centered Representation Learning for Visible-Infrared Person Re-identification
Chongqing Key Laboratory of Image Cognition（重庆图像认知重点实验室）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
针对可见光-红外行人重识别中外观特征易受干扰且形状特征估计不准的问题，提出ScRL框架，通过红外形状恢复、形状特征传播和外观特征增强有效融合形状与外观特征，在多个数据集上取得SOTA性能。
2025-04-28 cs.CV
DeepPFCN: Deep Parallel Feature Consensus Network For Person Re-Identification
IIT Gandhinagar（印度理工学院甘地纳加尔分校）
人物重新识别的目的是将同一个人在不同时间的多个非重叠相机视图上的图像相关联。依赖于人类操作员，在大型摄像机网络中手动重新识别非常耗时且错误。由于大规模分布式多摄像机系统的快速膨胀所产生的大量视觉数据，需要自动的人重新识别。最先进的工作集中在学习和因素化的人的外观特征为潜在的歧视因素在多个语义水平。我们提出了深度并行特征共识网络（DeepPFCN），这是一种新型的网络架构，使用卷积神经网络学习多尺度的人的外观特征。该模型将一个人的视觉外观分解为多个语义层次的潜在区分因素。最终达成共识。DeepPFCN学习的特征表示对于人员重新识别任务来说更鲁棒，因为我们学习了区分性的特定尺度特征，并在多尺度图像输入中最大化多尺度特征融合选择。我们进一步利用平均和最大池在单独的规模为个人特定的任务，区分功能的全球和本地。我们在三个基准数据集上展示了所提出的DeepPFCN模型相对于最先进的重新识别方法的重新识别优势：Market1501，DukeMTMCreID和CUHK03。我们在这些基准数据集上分别实现了75.8%，64.3%和52.6%的mAP结果。
2019-11-18 cs.CV
Multi-shot Person Re-identification through Set Distance with Visual Distributional Representation
Carnegie Mellon University（卡内基梅隆大学）
人员重新识别旨在在不同时间和地点识别特定人员。这是具有挑战性的，因为遮挡，照明，并在相机视图的视点变化。近年来，多镜头人物身份识别任务因其更接近于现实世界的应用而受到越来越多的关注。一个好的多镜头人物识别算法的关键是人物外观特征的时间聚集。虽然目前大多数方法都采用池化策略并获得固定大小的向量表示，但这些方法可能会丢失示例之间的匹配证据。在这项工作中，我们提出了视觉分布表示的想法，它解释了从外观特征空间中的未知分布绘制的样本的图像集。该方法基于下游感兴趣任务的监督信号，重塑外观特征空间，并进一步学习每个图像集的未知分布。在多镜头人物re-id的背景下，我们将这个新概念与Wasserstein距离一起应用，并学习两个图像集之间的分布集距离函数。以这种方式，可以以非参数方式自然地发现两个图像集之间的适当对准。我们在两个公共数据集上的实验结果表明，我们提出的方法相比其他国家的最先进的方法的优势。
2018-11-08 cs.CV
Joint Discriminative and Generative Learning for Person Re-identification
NVIDIA Research（英伟达研究院）；NVIDIA CAI（英伟达人工智能计算中心）；University of Technology Sydney（悉尼科技大学）；Australian National University（澳大利亚国立大学）
由于不同摄像机之间存在显著的类内差异，人员重新识别（re-id）仍然具有挑战性。最近，人们越来越关注使用生成模型来增加训练数据并增强对输入变化的不变性。然而，现有方法中的生成流水线与判别性re-id学习阶段保持相对分离。因此，re-id模型通常以直接的方式在生成的数据上进行训练。在本文中，我们试图通过更好地利用生成的数据来改进学习的re-id嵌入。为此，我们提出了一个联合学习框架，耦合re-id学习和数据生成端到端。我们的模型包括一个生成模块，分别编码成一个外观代码和一个结构代码，每个人和一个判别模块，共享的外观编码器与生成模块。通过切换外观或结构代码，生成模块能够生成高质量的交叉ID合成图像，这些图像被在线反馈到外观编码器并用于改进鉴别模块。拟议的联合学习框架在不使用生成的数据的情况下，在基线上有了显着的改进，从而在几个基准数据集上实现了最先进的性能。
2021-05-19 cs.CV
Multi Channel-Kernel Canonical Correlation Analysis for Cross-View Person Re-Identification
University of Florence（佛罗伦萨大学）；Columbia University（哥伦比亚大学）；University of Southern California（南加州大学）
在本文中，我们介绍了一种方法来克服的主要挑战之一，在多摄像机网络中的人重新识别，即跨视图外观的变化。所提出的解决方案解决了极端的变化，人的外观在不同的相机视图，利用多个特征表示。对于每个特征，利用具有不同内核的内核典型相关分析（KCCA）来学习多个投影空间，其中从不同相机观察到的同一个人的样本之间的外观相关性最大化。最后使用迭代逻辑回归来选择和权衡每个特征投影的贡献，并执行两个视图之间的匹配。实验评估表明，所提出的解决方案在VIPeR和PRID 450 s数据集上获得了相当的性能，并在PRID和CUHK01数据集上相对于现有技术有所改进。
2017-03-21 cs.CV
Evaluation Framework for Computer Vision-Based Guidance of the Visually Impaired
Faculty of Electrical Engineering, Computer Science and Information Technology Osijek（奥西耶克电气工程、计算机科学与信息技术学院）
视力受损者在日常活动中存在严重问题。因此，我们以前的一些工作涉及计算机视觉，用于开发在危急情况下指导视力受损者的辅助系统。这些情况中的一些包括道路交叉口上的人行横道和室内和室外环境中的楼梯。本文提出了一个评估框架，计算机视觉为基础的指导视障人士在这种关键的情况下。所提出的框架包括用于标记和存储用于指导方向的参考人类决策的接口，并将它们与基于计算机视觉的决策进行比较。由于在这一研究领域中没有明确定义严格的评估方法，并且由于向视障者传递信息的具体情况，提出了具体的简化引导指令的评估标准。
2022-09-20 cs.CV
Pose-Aided Video-based Person Re-Identification via Recurrent Graph Convolutional Network
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Chongqing Normal University（重庆师范大学）；National Center for Applied Mathematics in Chongqing（重庆国家应用数学中心）；Northeast Forestry University（东北林业大学）；Inner Mongolia University（内蒙古大学）；Southern University of Science and Technology（南方科技大学）
现有的基于视频的行人再识别方法主要通过特征提取器和特征聚合器学习行人的外观特征。然而，当不同的行人具有相似的外观时，外观模型会失败。考虑到不同的行人有不同的行走姿势和身体比例，我们建议学习的区别性的姿态特征以外的外观特征的视频检索。具体来说，我们实现了一个两分支架构，分别学习外观特征和姿势特征，然后将它们连接在一起进行推理。为了学习姿势特征，我们首先通过现成的姿势检测器检测每帧中的行人姿势，并使用姿势序列构建时间图。然后利用递归图卷积网络（RGCN）学习时间姿态图的节点嵌入，设计全局信息传播机制，同时实现帧内节点的邻域聚合和帧间图的消息传递.最后，提出了一种由节点注意力和时间注意力组成的双注意力方法，利用自注意力机制学习每个节点和每个帧的重要性，从节点嵌入中获得时间图表示。我们在三个基于视频的ReID数据集上验证了所提出的方法，即，Mars、DukeMTMC和iLIDS-VID的实验结果表明，学习的姿态特征可以有效地提高现有外观模型的性能。
2022-09-23 cs.CV
Clothes-Changing Person Re-identification Based On Skeleton Dynamics
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
针对换装导致外观特征失效的问题，提出仅用骨架数据并通过时空 GCN 编码与多分段预测聚合的行人重识别方法，在 CCVID 上达到最先进性能。
2025-03-13 cs.CV
Towards Egocentric Person Re-identification and Social Pattern Analysis
University of Groningen（格罗宁根大学）；University of Barcelona（巴塞罗那大学）
可穿戴相机捕捉相机佩戴者日常活动的第一人称视图，提供用户行为的视觉日记。检测相机用户与之交互的人的外观以用于社交交互分析是高度感兴趣的。一般而言，社会事件、生活方式和健康之间存在高度关联，但缺乏监测和分析工具。我们认为，自我中心的视觉提供了一个工具，以获得信息和理解用户的社会互动。我们提出了一个模型，使我们能够评估和可视化的社会特征，通过分析社会互动的外观内自我中心的photostreams。给定以自我为中心的图像集，我们检测相机佩戴者的日子内的面部外观，并依靠聚类算法将其特征描述符分组，以重新识别人。照片流中检测到的人脸的重复出现使我们能够形成用户行为的社会模式的想法。我们验证了我们的模型在几个星期内记录了不同的相机佩戴者。我们的研究结果表明，社会概况是潜在的有用的社会行为解释。
2019-05-10 cs.CV
A Novel Visual Word Co-occurrence Model for Person Re-identification
Boston University（波士顿大学）
人员重新识别的目的是通过不同的非重叠摄像机视图在不同的位置保持个人的身份。由于相机视图的不同姿势、照明和配置导致的外观变化，该问题从根本上具有挑战性。为了解决这些困难，我们提出了一种新的视觉词共现模型。我们首先使用码本将图像的每个像素映射到视觉单词，该码本以无监督的方式学习。摄像机视图之间的外观变换是由探测图像和图库图像中的视觉词联合分布的共生矩阵编码的。我们的外观模型自然地解释了相机视图中的姿势，照明和配置变化引起的空间相似性和变化。然后使用这些共现描述符将线性SVM训练为分类器。在VIPeR和CUHK Campus基准数据集上，我们的方法在累积匹配特征（CMC）曲线上达到83.86%和85.49%的rank-15，比最先进的结果高出10.44%和22.27%。
2014-10-24 cs.CV
Body Part-Based Representation Learning for Occluded Person Re-Identification
EPFL（洛桑联邦理工学院）；UCLouvain（鲁汶大学）；Sportradar（Sportradar公司）
本文提出BPBreID模型，通过设计身体部位注意力图预测模块和GiLt训练方案，解决遮挡行人重识别中局部特征学习困难及缺乏人体拓扑标注的问题，在Occluded-Duke数据集上性能显著提升。
2022-11-07 cs.CV
Person Re-identification Based on Color Histogram and Spatial Configuration of Dominant Color Regions
KIM IL SUNG University（金日成大学）
需要确定是否已经通过视频监控系统中的摄像机网络观察到给定的感兴趣的人。由于光照、姿态和视点、摄像机参数的不同，在一个摄像机中获得的人的外观通常不同于在另一个摄像机中获得的人的外观。与基于外观的身份重新识别方法相关，提出了一种基于人体部位主色直方图和主色区域空间结构的身份重新识别方法。基于主色描述符（DCD）的主色直方图和主色区域的空间配置可以被认为对光照和姿态、视点变化具有鲁棒性。该方法使用基准视频数据集进行评估。使用累积匹配特征（CMC）曲线的实验结果表明，我们的方法的有效性的人重新识别。
2014-11-13 cs.CV
Tracking by Prediction: A Deep Generative Model for Mutli-Person localisation and Tracking
Queensland University of Technology (QUT)（昆士兰科技大学）
当前的多人定位和跟踪系统过度依赖于使用外观模型进行目标重新识别，并且几乎没有方法针对这两个目标采用完整的深度学习解决方案。我们提出了一个新颖的，完整的深度学习框架，用于多人定位和跟踪。在这种情况下，我们首先介绍了一个轻量级的顺序生成对抗网络架构的人定位，克服了与闭塞和噪声检测，通常发现在多人环境中的问题。在建议的跟踪框架，我们建立在行人轨迹预测方法的最新进展，并提出了一种新的数据关联方案的基础上预测轨迹。这消除了对基于外观特征的计算上昂贵的人重新识别系统的需要，并且以最小的碎片生成类人轨迹。所提出的方法在包括静态和动态相机的多个公共基准上进行了评估，并且能够产生出色的性能，特别是在最近提出的其他基于深度神经网络的方法中。
2018-03-09 cs.CV
MaskReID: A Mask Based Deep Ranking Neural Network for Person Re-identification
Nanjing University（南京大学）；University of Wollongong（伍伦贡大学）
人物检索面临许多挑战，包括杂乱的背景、外观变化（例如，照明、姿态、遮挡）以及不同人的图像之间的相似性。为了解决这些问题，我们提出了一种新的基于掩模的深度排序神经网络与跳过融合层。首先，为了减轻背景杂乱的问题，掩蔽图像与只有前景区域被纳入作为输入的建议神经网络。其次，为了减少外观变化的影响，多层融合方案的发展，以获得更多的区分细粒度的信息。最后，考虑到人物检索是一个特殊的图像检索任务，我们提出了一种新的排名损失，以优化整个网络。所提出的排序损失可以进一步减轻产生排序结果时相似负样本的干扰问题。大量的实验验证了该方法的优越性与国家的最先进的方法在许多基准数据集。
2019-04-18 cs.CV
Multi-Level Factorisation Net for Person Re-Identification
Queen Mary University of London（伦敦玛丽女王大学）；The University of Edinburgh（爱丁堡大学）
有效的人再识别（Re-ID）的关键是在高和低语义水平上对人的外观的区分性和视图不变因素进行建模。最近开发的深度Re-ID模型要么学习整体的单一语义级特征表示，要么需要将这些因素作为属性进行费力的人工注释。我们提出了多级分解网络（MLFN），一种新的网络架构，将一个人的视觉外观分解为多个语义层次的潜在歧视因素，而无需手动注释。MLFN由多个堆叠的块组成。每个块包含多个因子模块，以在特定级别对潜在因子进行建模，以及因子选择模块，其动态地选择因子模块来解释每个输入图像的内容。因子选择模块的输出还提供了与传统的深度学习特征互补的紧凑潜在因子描述符。MLFN在三个Re-ID数据集上实现了最先进的结果，并在一般对象分类CIFAR-100数据集上取得了令人信服的结果。
2018-04-17 cs.CV
Spatio-Temporal Representation Factorization for Video-based Person Re-Identification
United Imaging Intelligence（联合影像智能）；University of California, Riverside（加州大学河滨分校）
尽管最近在基于视频的人重新识别（re-ID）方面取得了很大进展，但是当前的现有技术仍然遭受常见的现实世界挑战，诸如各种人之间的外观相似性、遮挡和帧未对准。为了缓解这些问题，我们提出了时空表示因子分解（STRF），这是一种灵活的新计算单元，可以与大多数现有的3D卷积神经网络架构结合使用，用于re-ID。STRF相对于先前工作的关键创新包括用于学习判别性时间和空间特征的显式路径，其中每个分量被进一步因式分解以捕获互补的个人特定外观和运动信息。具体地，时间因子分解包括两个分支，每个分支用于静态特征（例如，衣服的颜色），以及动态特征（例如，行走模式）随时间改变。此外，空间因子分解还包括两个分支，以学习全局（粗略段）以及局部（更精细段）外观特征，其中局部特征在遮挡或空间未对准的情况下特别有用。这两个因式分解操作一起产生了我们的参数式轻型STRF单元的模块化架构，可以插入任何两个3D卷积层之间，从而产生端到端学习框架。我们的经验表明，STRF提高了各种现有的基线架构的性能，同时展示了新的国家的最先进的结果，使用标准的人重新识别评估协议的三个基准。
2021-08-15 cs.CV
Sampling Agnostic Feature Representation for Long-Term Person Re-identification
Seoul National University of Science and Technology（首尔科学技术大学）
人员重新识别是跨非重叠相机识别个体的问题。虽然重新识别问题已经取得了显着的进展，它仍然是一个具有挑战性的问题，由于外观变化的同一个人以及其他人的相似外观。一些先前的工作通过将正样本的特征与负样本的特征分离来解决该问题。然而，现有模型的性能在很大程度上取决于用于训练的样本的特征和统计。因此，我们提出了一个新的框架，称为采样独立的鲁棒特征表示网络（SirNet），学习从随机选择的样本解开特征嵌入。一个精心设计的抽样独立的最大差异损失被引入到模型的样本作为一个集群的同一个人。因此，所提出的框架可以使用所学习的特征来生成额外的硬否定/肯定，这导致与其他身份的更好的可辨别性。在大规模基准数据集上的大量实验结果验证了该模型比现有的最先进的模型更有效。
2022-11-08 cs.CV
Long-Term Identity-Aware Multi-Person Tracking for Surveillance Video Summarization
多人跟踪在监控视频分析中起着至关重要的作用。然而，大多数现有的工作集中在短期（例如，分钟长或小时长）的视频序列。因此，我们提出了一个多人跟踪算法非常长期（例如长达一个月）的多摄像机监控场景。长期跟踪是具有挑战性的，因为1）同一个人的服装/外观将在多天内变化很大，以及2）一个人将多次离开和重新进入场景。为了应对这些挑战，我们利用人脸识别信息，这是强大的服装变化，自动重新初始化我们的跟踪器在多天的记录。不幸的是，识别的面孔往往不可用。因此，我们的跟踪器传播身份信息的帧没有识别的脸，通过揭露的外观和空间流形形成的人检测。我们在23天的15台摄像机数据集（总共4，935小时）上测试了我们的算法，我们能够在53.2%的时间内以69.8%的精度定位一个人。我们进一步进行视频摘要实验，我们的跟踪输出的基础上。对116.25小时视频的分析结果表明，我们能够为不同的人生成合理的视觉日记（即一个人所做的事情的摘要），从而为每天生成的大量监控视频的自动摘要打开了大门。
2017-04-11 cs.CV
Part-Aligned Bilinear Representations for Person Re-identification
Seoul National University（首尔国立大学）；Microsoft Research（微软研究院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（蒂宾根大学）
我们提出了一种新的网络，它可以学习一个部分对齐的表示来重新识别人。它处理身体部位未对准问题，即，由于姿势/视点变化和不可靠的检测，身体部位在人体检测中未对准。我们的模型包括一个双流网络（一个流用于外观地图提取，另一个用于身体部位地图提取）和一个双线性池化层，该层生成并在空间上池化部分对齐的地图。部分对齐映射的每个局部特征通过对应的局部外观和身体部分描述符的双线性映射来获得。我们的新表示导致一个强大的图像匹配相似性，这是相当于相应的身体部位的局部相似性与加权外观相似性相结合的聚合。这种零件对齐的表示显著减少了零件未对齐的问题。我们的方法也优于其他姿势引导的表示（例如，提取每个身体部位的限界框上的表示）。为了训练网络，我们的方法不需要对人员重新识别数据集进行任何部分注释。相反，我们简单地使用现有姿态估计网络的预先训练的子网络来初始化部分子流，并且训练整个网络以最小化重新识别损失。我们验证了我们的方法的有效性，通过证明其优于标准基准数据集，包括Market-1501，CUHK 03，CUHK 01和DukeMTMC，以及标准视频数据集MARS的最先进的方法。
2018-04-19 cs.CV
Video-based Person Re-identification with Accumulative Motion Context
Hefei University of Technology（合肥工业大学）；National University of Singapore（新加坡国立大学）；Panasonic R&D Center Singapore（松下新加坡研发中心）
基于视频的身份再识别在现实安全和视频监控中起着核心作用。在本文中，我们提出了一种新的累积运动上下文（AMOC）网络来解决这个重要的问题，它有效地利用了长距离运动上下文，在具有挑战性的条件下鲁棒地识别同一个人。给定相同或不同人的视频序列，所提出的AMOC网络使用双流卷积架构从相邻帧的集合中联合学习外观表示和运动上下文。然后，AMOC积累的线索，从运动上下文的循环聚合，允许有效的信息流之间的相邻帧和捕捉动态要点的人。AMOC的架构是端到端可训练的，因此可以调整运动上下文以在不利条件（例如遮挡）下补充外观线索。在三个公共基准数据集上进行了广泛的实验，iLIDS-VID，PRID-2011和MARS数据集，以研究AMOC的性能。实验结果表明，所提出的AMOC网络优于国家的最先进的视频为基础的重新识别显着，并证实了利用长距离运动上下文的视频为基础的人重新识别的优势，验证了我们的动机明显。
2017-06-13 cs.CV
Person Re-identification by Contour Sketch under Moderate Clothing Change
Sun Yat-sen University（中山大学）；Peng Cheng Laboratory（鹏城实验室）
人的再识别（re-id），即在不同视角下匹配行人图像的过程，是视觉监控中的一项重要任务。最近已经观察到re-id的实质性发展，并且大多数现有模型在很大程度上依赖于颜色外观，并且假设行人不会在相机视图中改变他们的衣服。然而，当在不同地点和不同时间跟踪人时，如果该人（例如，犯罪嫌疑人）改变他/她的衣服，导致大多数现有的方法失败，因为它们严重依赖于颜色外观，因此它们倾向于将一个人与穿着相似衣服的另一个人进行匹配。在这项工作中，我们称之为人的重新身份的衣服改变“跨衣服的人重新身份”。特别地，我们考虑当一个人仅适度地改变他的衣服时的情况作为基于可见光图像解决该问题的第一尝试;即，我们假设一个人穿着类似厚度的衣服，因此当天气在短时间内没有实质性变化时，人的形状不会显著改变。我们执行跨服装的人re-id的轮廓草图的人的图像的基础上，利用人体的形状，而不是颜色信息提取功能，是稳健的适度的服装变化。由于缺乏一个大规模的数据集交叉衣服的人re-id，我们贡献了一个新的数据集，由33698图像从221个身份。我们的实验说明了交叉衣服的人re-id的挑战，并证明了我们所提出的方法的有效性。
2020-02-06 cs.CV
Deep Attributes Driven Multi-Camera Person Re-identification
Peking University（北京大学）；Chinese Academy of Sciences（中国科学院）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
人的视觉外观容易受到许多因素的影响，如姿势变化，视点变化和相机参数的差异。这使得多个摄像头之间的人员重新识别（ReID）成为一项非常具有挑战性的任务。这项工作的动机是学习中级人类属性，这些属性对这种视觉外观变化具有鲁棒性。我们提出了一个半监督属性学习框架，它只使用有限数量的标记数据来逐步提高属性的准确性。具体而言，该框架涉及三个阶段的培训。深度卷积神经网络（dCNN）首先在用属性标记的独立数据集上进行训练。然后，使用我们定义的三元组损失，在另一个仅标记有个人ID的数据集上进行微调。最后，更新后的dCNN预测目标数据集的属性标签，该目标数据集与独立数据集相结合进行最后一轮微调。预测的属性，即\emph{deep attributes}表现出优越的泛化能力，在不同的数据集。通过直接使用具有简单余弦距离的深度属性，我们在四人ReID数据集上获得了令人惊讶的良好准确性。实验还表明，一个简单的度量学习模块进一步增强了我们的方法，使其显著优于许多最近的作品。
2016-08-09 cs.CV
Person Recognition in Personal Photo Collections
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；LINE Plus；Google（谷歌）；CISPA Helmholtz Center i.G.（亥姆霍兹CISPA中心）
如今，人们通过社交媒体分享大部分个人生活。能够自动识别个人照片中的人可以通过简化相册组织来极大地提高用户便利性。然而，对于人类识别任务，计算机视觉的传统焦点一直是人脸识别和行人重新识别。社交媒体照片中的人物识别为计算机视觉提出了新的挑战，包括非合作主体（例如，向后的观点，不寻常的姿势）和外观的巨大变化。为了解决这个问题，我们构建了一个简单的人物识别框架，该框架利用了来自多个图像区域（头部，身体等）的convnet特征。我们提出了新的识别方案，专注于训练和测试样本之间的时间和外观差距。我们提出了一个深入的分析，根据时间和观点概括性的不同功能的重要性。在这个过程中，我们验证了我们的简单方法在PIPA基准测试中达到了最先进的结果，可以说这是迄今为止最大的基于社交媒体的人物识别基准测试，包括各种姿势，观点，社交团体和事件。与会议稿相比，本文还增加了（1）人脸识别器的分析（DeepID2+），（2）结合会议版本方法naeil和DeepID2+的新方法naeil 2，即使与会议后的作品相比也能实现最先进的结果，（3）讨论自会议版本以来的相关工作，（4）附加分析，包括性能的头部视点方面的细分，以及（5）开放世界设置上的结果。
2018-10-20 cs.CV
A Set of Distinct Facial Traits Learned by Machines Is Not Predictive of Appearance Bias in the Wild
社会心理学的研究表明，人们仅仅根据外表对另一个人的性格做出有偏见的主观判断，并不能预测他们的实际性格特征。但研究人员和公司经常利用计算机视觉模型来预测类似的主观人格属性，如“就业能力”。“我们试图确定最先进的黑盒人脸处理技术是否可以学习类似人类的外观偏见。通过使用FaceNet（一种广泛使用的人脸识别框架）提取的特征，我们根据社会心理学家测量的人类受试者对其他面孔中人格特质的第一印象，训练训练了一个迁移学习模型。我们发现，用FaceNet提取的特征可以用来预测人为操纵的人脸的外观偏见分数，但不能预测人为随机生成的人脸。此外，与社会心理学中的人类偏见相比，该模型没有发现一个显着的信号将政治家的投票份额与感知能力偏见联系起来。通过本地可解释模型不可知解释（LIME），我们为这种差异提供了几种解释。我们的研究结果表明，社会心理学中记录的一些外观偏见信号并没有被我们研究的机器学习技术所嵌入。我们揭示了外观偏见可以嵌入面部处理技术的方式，并进一步质疑基于外观预测主观特征的做法。
2021-01-13 cs.AI cs.CV cs.CY
SANIP: Shopping Assistant and Navigation for the visually impaired
Vishwakarma Institute of Technology（维什瓦卡玛技术学院）
建议的购物助理模型SANIP将帮助盲人检测手持物体，并从检测和识别的物体中检索到的信息的视频反馈。该模型由三个python模型组成，即自定义目标检测、文本检测和条形码检测。对于手持物体的目标检测，我们创建了自己的自定义数据集，其中包括日常用品，如Parle-G，潮汐和Lays。除此之外，我们还收集了推车和出口标志的图像，因为任何人都必须使用推车，并在紧急情况下注意出口标志。对于提出的其他2个模型，检索到的文本和条形码信息从文本转换为语音并中继给盲人。该模型用于检测经过训练的对象，并成功地检测和识别出所需的输出，具有良好的准确性和精度。
2022-09-08 cs.CV
Guidance system for Visually Impaired Persons using Deep Learning and Optical flow
Indian Institute of information technology, Allahabad（印度理工学院阿拉哈巴德分校）
本文提出一种基于深度学习和光流的视障人士引导系统，通过将视频帧分为三部分判断接近物体的方向，结合YOLOv3物体检测、Lucas Kanade光流估计和Depth-net深度估计，为视障人士提供必要的信息与警告。
2023-10-22 cs.CV cs.LG
Beyond Triplet Loss: Person Re-identification with Fine-grained Difference-aware Pairwise Loss
Beihang University（北京航空航天大学）；University of Adelaide（阿德莱德大学）；Griffith University（格里菲斯大学）；National Institute of Informatics（国立情报学研究所）；University of Tokyo（东京大学）
人员重新识别（ReID）旨在从多个摄像机的不同视角重新识别人员。捕捉细粒度的外观差异通常是准确识别ReID的关键，因为只有在查看这些细粒度差异时才能区分许多身份。然而，大多数最先进的人ReID方法，通常由三重丢失驱动，无法有效地学习细粒度特征，因为它们更专注于区分大的外观差异。为了解决这个问题，我们引入了一种新的成对损失函数，使ReID模型能够通过自适应地对小差异的图像执行指数惩罚和对大差异的图像执行有界惩罚来学习细粒度特征。所提出的损失是通用的，可以用作插件来取代三重损失，以显着增强不同类型的国家的最先进的方法。在四个基准数据集上的实验结果表明，该损失函数的性能大大优于一些流行的损失函数，并且能够显著提高数据效率.
2020-09-22 cs.CV cs.IR
PRISM: Person Re-Identification via Structured Matching
Boston University（波士顿大学）
人的重新识别（re-id）是视觉监控中的一个新兴问题，它处理的是当个人穿越摄像机网络监控的各个位置时，如何维护个人的实体。从视觉的角度来看，re-id是具有挑战性的，因为在具有不同姿态、照明和校准的相机中，个体的视觉外观会发生显著变化。在全球范围内，挑战来自于需要在不同相机视图中的所有个体实体之间保持结构一致的匹配。我们提出了PRISM，一个结构化的匹配方法来共同应对这些挑战。我们将全局问题视为一个加权图匹配问题，并通过学习来估计边缘权重，以基于训练样本中视觉模式的同现来预测它们。这些基于同现的分数反过来通过推断训练实例中出现的可能和不可能的视觉同现来解释外观变化。我们在Single Shot和Multi-Shot场景中实现PRISM。PRISM在匹配率方面一致优于最先进的技术，同时计算效率高。
2015-05-08 cs.CV cs.LG stat.ML
Temporal Dynamic Appearance Modeling for Online Multi-Person Tracking
Beijing Institute of Technology（北京理工大学）
强大的在线多人跟踪需要在线检测响应与现有轨迹的正确关联。我们通过开发一种新的外观建模方法来解决这个问题，以提供准确的外观亲和力来指导数据关联。与大多数现有的只考虑人类外观的空间结构的算法相比，我们利用时间外观序列内的时间动态特性来区分不同的人。时间动态对特征空间中不同外观的空间结构进行了充分的补充，这显着提高了轨迹和检测之间的亲和力测量。我们提出了一个特征选择算法来描述的外观变化与中级语义功能，并证明其有用的时间动态外观建模。此外，通过交替地评估新观察到的外观并调整模型参数以适合于在线跟踪来增量地学习外观模型。在复杂场景中的多个人的可靠跟踪是通过将学习到的模型到一个在线跟踪检测框架。我们在具有挑战性的基准测试MOTChallenge 2015上的实验表明，我们的方法优于最先进的多人跟踪算法。
2015-10-10 cs.CV
Hand Gesture Detection and Conversion to Speech and Text
SRM Institute of Science and Technology（SRM科学技术学院）
手势是手语的典型表达方式之一。听障人士与外界沟通是非常困难的。该项目提出了一种解决方案，不仅可以自动识别手势，还可以将其转换为语音和文本输出，以便受损人员可以轻松地与正常人进行交流。该方法利用摄像头采集人的手部图像，通过轮廓特征提取来识别人的手势。根据识别的手势，将播放录制的音轨。
2018-11-29 cs.CV
Two-Stream Appearance Transfer Network for Person Image Generation
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Purdue University（普渡大学）
姿势引导人物图像生成装置，用于以输入人物图像和期望姿势为条件来生成照片真实感人物图像。该任务需要根据目标姿态对源图像进行空间操纵。然而，广泛用于图像生成和翻译的生成对抗网络（GANs）依赖于空间局部和翻译等变算子，即，卷积、池化和解池化，无法处理大的图像变形。本文介绍了一种新的双流外观传输网络（2s-ATN），以应对这一挑战。它是一个多级体系结构，由源流和目标流组成。每一级都有一个外观转换模块和多个双流特征融合模块。前者先找到两个流特征图之间的密集对应关系，然后将表观信息从源流传递到目标流。后者在两个流之间交换本地信息，并补充非本地外观传输。定量和定性的实验结果表明，该算法能够有效地处理大的空间变形和遮挡，同时保持图像的外观细节。它在两个广泛使用的基准测试中优于现有技术。
2020-11-09 cs.CV
Beyond Facial Consistency: Personalized Person Image Generation with Holistic Identity Preservation
Black Forest Labs（黑森林实验室）
研究个性化人物图像生成中面部保真度与外观一致性权衡问题，提出双分支基线及动态平衡缩放策略DBS，由自适应时间门控和区域感知优化组成，实验表明DBS比现有基线更好，为整体身份建模提供可控框架。
2026-07-29 cs.CV
MUST-GAN: Multi-level Statistics Transfer for Self-driven Person Image Generation
University of Chinese Academy of Sciences（中国科学院大学）
姿态引导的人物图像生成通常涉及使用成对的源-目标图像来监督训练，这显著增加了数据准备工作并限制了模型的应用。为了解决这个问题，我们提出了一种新的多级统计传输模型，该模型将多层次的外观特征从人的图像中分离出来，并将其与姿势特征合并，以重建源人图像本身。因此，源图像可以被用作自驱动的人的图像生成的监督。具体来说，我们的模型从外观编码器中提取多层次的特征，并通过注意力机制和属性统计来学习最佳的外观表示。然后，我们将它们转移到姿势引导的生成器中进行外观和姿势的重新融合。我们的方法允许灵活的操作的人的外观和构成属性，以执行姿势转移和服装风格转移任务。在DeepFashion数据集上的实验结果表明，与最先进的监督和无监督方法相比，我们的方法具有优越性。此外，我们的方法在野外也表现良好。
2021-04-09 cs.CV
ShARc: Shape and Appearance Recognition for Person Identification In-the-wild
University of Southern California（南加州大学）
提出多模态方法ShARc，通过PSE编码3-D体型与姿态、AAE聚合时序外观特征，在CCVID等数据集上显著提升了非受控环境下视频人员识别的性能。
2023-10-24 cs.CV
U-VAP: User-specified Visual Appearance Personalization via Decoupled Self Augmentation
Institute of Computing Technology, CAS（中国科学院计算技术研究所）
本文提出U-VAP方法，通过解耦自增强策略生成目标相关与非目标样本，并在语义空间调整嵌入，实现用户指定的细粒度视觉外观个性化，提升可控性与灵活性。
2024-03-29 cs.CV
Multi-Frame Content Integration with a Spatio-Temporal Attention Mechanism for Person Video Motion Transfer
Tsinghua University（清华大学）；Tencent（腾讯）；Texas A&M University（得克萨斯农工大学）
现有的人物视频生成方法要么在控制外观和运动方面缺乏灵活性，要么无法保持细节外观和时间一致性。在本文中，我们解决的问题，运动传输生成的人的视频，它提供了外观和运动的控制。具体来说，我们将目标视频中的一个人的运动转移到源视频中的另一个人，同时保留源人的外观。除了像现有的最先进的方法那样只依赖于一个源帧之外，我们提出的方法基于时空注意力机制来整合来自多个源帧的信息，以保留丰富的外观细节。除了用于鼓励帧级保真度的空间插值外，还采用多范围时间插值来强制生成的视频在各个时间范围内类似于真实视频的时间动态。收集了一个具有挑战性的真实世界数据集，其中包含约500个具有复杂和不可预测运动的舞蹈视频剪辑，用于训练和测试。大量的实验表明，该方法可以产生更多的照片真实感和时间一致的人比以前的方法的视频。由于我们的方法将前景和背景的合成分解为两个分支，因此也可以实现灵活的背景替换应用。
2019-08-12 cs.CV
A Convolutional Neural Network based Live Object Recognition System as Blind Aid
New York University（纽约大学）；WIEECT
本文介绍了一个活体物体识别系统，作为一个盲人援助。视力受损的人严重依赖他们的其他感官，如触觉和听觉信号来理解周围的环境。要知道盲人面前的物体是什么而不接触它（用手或其他工具）是非常困难的。在某些情况下，人与物体之间的身体接触可能是危险的，甚至是致命的。该项目采用卷积神经网络来识别ImageNet数据集上的预训练对象。与系统的预定方向对准的摄像机用作计算机系统的输入，该计算机系统具有部署用于执行实时目标检测的对象识别神经网络。然后，可以对来自网络的输出进行解析，以音频或盲文文本的形式呈现给视障人士。
2018-11-26 cs.CV cs.LG
Self-Supervised Joint Encoding of Motion and Appearance for First Person Action Recognition
Politecnico di Torino（都灵理工大学）；Italian Institute of Technology（意大利理工学院）
可穿戴摄像头在多个应用中越来越受欢迎，这增加了研究界对开发从第一人称角度识别动作的方法的兴趣。以自我为中心的动作识别中的一个公开挑战是，视频缺乏关于主要演员姿势的详细信息，因此在专注于操纵任务时往往只记录部分运动。因此，关于动作本身的信息量是有限的，这使得理解被操纵的对象及其上下文变得至关重要。许多以前的作品解决了这个问题与双流架构，其中一个流是专门用于建模的动作中涉及的对象的外观，另一个从光流中提取运动特征。在本文中，我们认为，从这两个信息通道联合学习特征，有利于捕捉两者之间的时空相关性更好。为此，我们提出了一个单流架构，能够做到这一点，由于增加了一个自我监督的块，使用借口运动预测任务，interrupt运动和外观知识。几个公开的数据库上的实验表明，我们的方法的力量。
2020-12-07 cs.CV
Towards Purely Unsupervised Disentanglement of Appearance and Shape for Person Images Generation
Australian National University（澳大利亚国立大学）；Tsinghua University（清华大学）；ShanghaiTech University（上海科技大学）
从人的形象中分离出外貌和形状的研究一直是一个很有意义的课题。大多数现有的努力追求这一目标，要么使用带有注释的训练图像，要么使用外部线索（如人体骨架，身体分割或布片等）调节训练过程。在本文中，我们的目标是以一种更无监督的方式解决这一挑战-我们不需要任何注释，也不需要任何外部特定任务的线索。为此，我们制定了一个编码器-解码器一样的网络，同时从输入图像中提取形状和外观特征，并通过三个损失训练参数：特征对抗损失，颜色一致性损失和重建损失。特征对抗性损失主要是在提取的形状和外观特征之间施加很少或没有互信息，而颜色一致性损失是为了鼓励以不同形状为条件的人的外观的不变性。更重要的是，我们的无监督（无监督学习）在不同的任务中有很多解释。为了清楚起见，在本文中，我们将无监督学习称为没有特定任务的人类注释、配对或任何形式的弱监督的学习。框架利用学习的形状特征作为掩模，将其应用于输入本身，以便获得干净的外观特征。在不使用固定输入人体骨架的情况下，我们的网络更好地保留了条件人体姿势，同时需要更少的监督。在DeepFashion和Market 1501上的实验结果表明，所提出的方法实现了干净的解缠，并且能够合成与最先进的弱监督甚至监督方法相当的质量的新图像。
2020-07-30 cs.CV
DreamMatcher: Appearance Matching Self-Attention for Semantically-Consistent Text-to-Image Personalization
Korea University（高丽大学）；NAVER Cloud（NAVER 云）
提出DreamMatcher插件方法，通过语义匹配替换目标值并引入语义一致掩码策略，在保留预训练模型结构生成能力的同时实现准确的文本到图像个性化外观模仿。
2024-04-23 cs.CV
Deep Multi-Shot Network for modelling Appearance Similarity in Multi-Person Tracking applications
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
多目标跟踪的自动化在真实的无约束场景中成为一项艰巨的任务，其中算法必须处理人群，交叉人群，遮挡，消失和视觉相似个体的存在。在这些情况下，传入检测与其对应的身份之间的数据关联可能会错过一些轨道或产生身份切换。为了减少这些跟踪错误，甚至减少它们在进一步帧中的传播，本文提出了一种深度多镜头神经模型，用于测量人观察之间的外观相似度（MS-DoAS）。该模型为个体的外观表示提供了时间一致性，并提供了一个亲和力度量来执行逐帧数据关联，从而允许在线跟踪。该模型经过精心训练，能够管理先前身份切换的存在和处理轨迹中的遗漏观测。为此，设计了一种新的数据生成工具来创建模拟这种情况的训练轨迹。该模型已被证明是一个高的能力，以辨别当一个新的观察对应于一个特定的轨道，实现了97%的分类准确率在硬测试中，模拟跟踪与以前的错误。此外，该模型在监视应用中的跟踪效率已经通过将其集成到检测跟踪算法的逐帧关联中来证明。
2020-04-07 cs.CV
Beyond Appearance: Transformer-based Person Identification from Conversational Dynamics
Department of Computational Linguistics, University of Zurich, Zurich, Switzerland（计算语言学系，苏黎世大学，苏黎世，瑞士）
该研究针对自然面对面对话场景的人物识别问题，提出基于COCO WholeBody关键点的双流Transformer框架，经实验验证领域特定训练及特征融合可实现98.03%的高准确率，为相关研究提供参考。
2025-10-06 cs.CV
Text Guided Person Image Synthesis
Zhejiang University（浙江大学）；Nanjing University（南京大学）
提出了一种基于自然语言描述的人物图像视觉外观（姿态和属性）处理方法。我们的方法可以归结为两个阶段：1）文本引导的姿势生成和2）视觉外观转移图像合成。在第一阶段，我们的方法推断出一个合理的目标人体姿势的基础上的文本。在第二阶段，我们的方法合成一个现实和外观转移的人的形象，根据文本结合目标姿态。我们的方法从文本中提取了足够的信息，并建立了图像空间和语言空间之间的映射，使生成和编辑图像对应的描述成为可能。我们进行了大量的实验，以揭示我们的方法的有效性，以及使用VQA感知得分作为评估方法的度量。它首次表明，我们可以自动编辑的自然语言描述的人的形象。
2019-04-10 cs.CV
Learning Semantic Person Image Generation by Region-Adaptive Normalization
Harbin Institute of Technology（哈尔滨工业大学）；Baidu Inc.（百度公司）；Pazhou Lab（琶洲实验室）
人体位姿变换因其广泛的应用而受到广泛关注，但仍是一个尚未很好解决的挑战性课题。最近的工作已经取得了很大的成功，从源到目标姿态的人的图像。然而，他们中的大多数不能很好地捕捉语义的外观，导致不一致和不真实的纹理重建结果。为了解决这个问题，我们提出了一个新的两阶段框架来处理姿势和外观翻译。在第一阶段，我们预测目标语义解析图，以消除姿势转移的困难，并进一步有利于每个区域的外观风格的后期翻译。在第二个，与预测的目标语义图，我们提出了一种新的人的图像生成方法，结合区域自适应规范化，它需要每个区域的风格，以指导目标外观生成。大量的实验表明，我们提出的SPGNet可以生成更多的语义，一致性和照片般逼真的结果，并表现出良好的对最先进的方法在定量和定性评价方面。源代码和模型可在https://github.com/cszy98/SPGNet.git上获得。
2021-04-14 cs.CV
Visual Appearance Based Person Retrieval in Unconstrained Environment Videos
Pandit Deendayal Petroleum University（潘迪特·迪恩戴亚尔石油大学）；University of Windsor（温莎大学）
基于视觉外观的人物检索是监控领域的一个具有挑战性的问题。它使用身高、衣服颜色、衣服类型和性别等属性来描述一个人。这些属性被称为软生物特征。本文提出了从监控视频中检索人的身高，躯干衣服类型，躯干衣服的颜色和性别。该方法引入了自适应躯干块提取和限界框回归，以提高检索。该算法使用微调的Mask R-CNN和DenseNet-169分别进行人员检测和属性分类。在AVSS 2018 Challenge II数据集上分析了性能，基于平均Intersection over Union度量，它比最先进的性能提高了11.35%。
2019-10-31 cs.CV cs.LG
Appearance and Pose-Conditioned Human Image Generation using Deformable GANs
University of Trento（特伦托大学）；Télécom Paris（巴黎高等电信学院）；Institut polytechnique de Paris（巴黎理工学院）
在本文中，我们解决的问题，产生的姿态和外观信息的条件下的人的图像。具体地，给定人的图像xa和从不同图像xb提取的目标姿势P（xb），我们合成姿势P（xb）中的那个人的新图像，同时保留xa中的视觉细节。为了处理由P（xa）和P（xb）之间的姿态差异引起的像素到像素的错位，我们在我们的生成对抗网络的生成器中引入了可变形的跳跃连接。此外，提出了一个最近邻损失，而不是共同的L1和L2损失，以匹配的细节生成的图像与目标图像。定量和定性的结果，使用常见的数据集和协议最近提出的这项任务，表明我们的方法是有竞争力的最先进的。此外，我们进行了广泛的评估，使用现成的壳人重新识别（Re-ID）系统训练的人生成的增强数据，这是这项任务的主要重要应用之一。我们的实验表明，我们的可变形GANs可以显着提高Re-ID的准确性，甚至比专门使用Re-ID损失训练的数据增强方法更好。
2019-10-14 cs.CV
SA-Person: Text-Based Person Retrieval with Scene-aware Re-ranking
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Centre for Artificial Intelligence and Robotics, Hong Kong Institute of Science and Innovation, Chinese Academy of Sciences（中国科学院香港创新研究院人工智能与机器人中心）；Multimodal Artificial Intelligence Systems (MAIS), Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统（MAIS））；Wuhan University（武汉大学）；University of Chinese Academy of Sciences（中国科学院大学）
SA-Person通过整合个体外观和全局场景上下文，提升基于文本的人检索准确性，提出ScenePerson-13W数据集和两阶段检索框架。
2025-11-22 cs.CV
