Person Re-Identification by Discriminative Selection in Video Ranking
Tsinghua University(清华大学);Queen Mary University of London(伦敦玛丽女王大学)
当前的人员再识别(ReID)方法通常依赖于单帧图像特征,而忽略了实际监控场景中经常可用的图像序列的时空信息。基于单帧(单镜头)的视觉外观匹配对于公共空间中的人ReID是固有地受限的,这是由于具有挑战性的视觉模糊性和由非重叠相机视图产生的不确定性,其中观看条件变化可能导致显著的人外观变化。在这项工作中,我们提出了一种新的模型,自动选择最具鉴别力的视频片段从嘈杂/不完整的图像序列的人,可靠的时空和外观特征可以计算,同时学习的视频排名功能的人ReID。使用PRID $2011$、iLIDS-VID和HDA+图像序列数据集,我们广泛地进行了比较评估,以证明所提出的模型相对于当代步态识别、整体图像序列匹配和最先进的单/多拍摄ReID方法的优势。
2016-01-23 cs.CV
Enhancing the Discriminative Feature Learning for Visible-Thermal Cross-Modality Person Re-Identification
University of Electronic Science and Technology of China(电子科技大学)
现有的人的再识别在可见光域取得了很大的进展,用可见光摄像机捕获所有的人的图像。然而,在24小时智能监控系统中,可视摄像机在夜间可能无效。在这种情况下,热成像相机是最好的补充组件,它可以在不依赖可见光的情况下捕获图像。因此,在本文中,我们研究了可见热跨模态的人重新识别(VT Re-ID)问题。在VT Re-ID中,有两个棘手的问题需要处理好,跨模态差异和模态内变异。为了解决这两个问题,我们建议重点从两个核心方面用两种极端简单的方法来增强区分性特征学习(EDFL),(1)跳过连接用于中级特征合并,以提高人的特征具有更多的可区分性和鲁棒性,以及(2)通过同时考虑跨模态差异和模态内变化来指导训练过程的双模态三联体损失。此外,采用双流CNN结构来学习多模态可共享的人物特征。在两个数据集上的实验结果表明,我们提出的EDFL方法明显优于最先进的方法大幅度,证明了我们的EDFL增强VT Re-ID的判别特征学习的有效性。
2019-07-23 cs.CV
Weakly supervised discriminative feature learning with state information for person identification
Sun Yat-sen University(中山大学)
身份鉴别视觉特征的无监督学习在人工标记成本高的现实任务中很有吸引力。然而,当在不同状态(例如,不同相机视图和姿势)下拍摄图像时,身份的图像可能在视觉上不一致。这种视觉差异导致无监督判别学习的巨大困难。幸运的是,在现实世界的任务中,我们通常可以知道没有人类注释的状态,例如,我们可以很容易地在人的重新识别和面部识别中的面部姿势标签的相机视图标签。在这项工作中,我们提出利用状态信息作为弱监督,以解决由不同的状态所造成的视觉差异。我们制定了一个简单的伪标签模型,并利用状态信息,试图通过弱监督决策边界纠正和弱监督特征漂移正则化来细化分配的伪标签。我们评估我们的模型在无监督的人重新识别和姿态不变的人脸识别。尽管我们的方法很简单,但它可以在具有标准ResNet-50主干的Duke-reID,MultiPIE和CFP数据集上获得最先进的结果。我们还发现,我们的模型可以执行与标准的监督微调结果在三个数据集上的重复性。代码可在https://github.com/KovenYu/state-information上获得
2020-02-27 cs.CV
Joint Discriminative and Generative Learning for Person Re-identification
NVIDIA Research(英伟达研究院);NVIDIA CAI(英伟达人工智能计算中心);University of Technology Sydney(悉尼科技大学);Australian National University(澳大利亚国立大学)
由于不同摄像机之间存在显著的类内差异,人员重新识别(re-id)仍然具有挑战性。最近,人们越来越关注使用生成模型来增加训练数据并增强对输入变化的不变性。然而,现有方法中的生成流水线与判别性re-id学习阶段保持相对分离。因此,re-id模型通常以直接的方式在生成的数据上进行训练。在本文中,我们试图通过更好地利用生成的数据来改进学习的re-id嵌入。为此,我们提出了一个联合学习框架,耦合re-id学习和数据生成端到端。我们的模型包括一个生成模块,分别编码成一个外观代码和一个结构代码,每个人和一个判别模块,共享的外观编码器与生成模块。通过切换外观或结构代码,生成模块能够生成高质量的交叉ID合成图像,这些图像被在线反馈到外观编码器并用于改进鉴别模块。拟议的联合学习框架在不使用生成的数据的情况下,在基线上有了显着的改进,从而在几个基准数据集上实现了最先进的性能。
2021-05-19 cs.CV
AD-Cluster: Augmented Discriminative Clustering for Domain Adaptive Person Re-identification
Peking University(北京大学);Nanyang Technological University(南洋理工大学);University of Chinese Academy of Sciences(中国科学院大学);Peng Cheng Laboratory(鹏城实验室);Xiamen University(厦门大学)
领域自适应的个人重新识别(re-ID)是一项具有挑战性的任务,特别是当目标领域中的个人身份是未知的。现有的方法试图通过跨域传输图像样式或对齐特征分布来解决这一挑战,而目标域中丰富的未标记样本没有得到充分利用。本文提出了一种新的增广判别聚类(AD-Cluster)技术,估计和扩大的人在目标领域的集群,并加强与增强集群的re-ID模型的区分能力。AD-Cluster通过迭代的基于密度的聚类、自适应样本增强和区分性特征学习来训练。它学习一个图像生成器和一个特征编码器,其目标是最大化样本空间中的簇内多样性,并以对抗的最小-最大方式最小化特征空间中的簇内距离。最后,AD-Cluster增加了样本聚类的多样性,大大提高了re-ID模型的区分能力。在Market-1501和DukeMTMC-reID上进行的大量实验表明,AD-Cluster的性能优于最先进的系统,具有很大的裕度。
2020-04-23 cs.CV
Unsupervised Attention Based Instance Discriminative Learning for Person Re-Identification
University of Nebraska-Lincoln(内布拉斯加大学林肯分校)
人的重新识别的最新进展已经证明了增强的辨别力,特别是监督学习或迁移学习。然而,由于数据要求--包括数据整理的程度--变得越来越复杂和费力,因此迫切需要对大的类内变化(例如视角、照明、关节运动、分辨率等的变化)具有鲁棒性的无监督方法。我们提出了一种用于人员重新识别的无监督框架,该框架以端到端的方式进行训练,而无需任何预训练。我们提出的框架利用了一种新的注意力机制,该机制结合了组卷积,以(1)在多个尺度上增强空间注意力,(2)将可训练参数的数量减少59.6%。此外,我们的框架通过凝聚聚类和实例学习来联合优化网络,以处理硬样本。我们使用Market 1501和DukeMTMC-reID数据集进行了广泛的分析,以证明我们的方法始终优于最先进的方法(有和没有预先训练的权重)。
2020-11-03 cs.CV
Joint Discriminative and Metric Embedding Learning for Person Re-Identification
West Virginia University(西弗吉尼亚大学);University of Misan(米桑大学)
人的重新识别是一项具有挑战性的任务,因为高的类内方差引起的不受限制的滋扰因素的变化,如姿势,照明,视点,背景和传感器噪声。最近的方法假设,功能强大的架构有能力学习的特征表示不变的滋扰因素,通过训练他们的损失,最大限度地减少类内方差和最大限度地提高类间分离,没有明确建模滋扰因素。主要的方法要么使用带有余量的判别损失,如带有附加角余量的softmax损失,要么使用度量学习损失,如带有批量硬挖掘三元组的三元组损失。由于softmax强制了特征归一化,因此它限制了监督特征嵌入的梯度流。我们通过加入损失并利用三重损失作为缺失梯度的代理来解决这个问题。我们通过增加预测属性的判别任务,进一步提高了对滋扰因素的不变性。我们广泛的评估强调,当只学习整体表示时,我们在三个最具挑战性的数据集上始终优于最先进的技术。这样的表示更容易在实际系统中部署。最后,我们发现加入损耗消除了在softmax损耗中具有裕度的要求,同时提高了性能。
2022-12-28 cs.CV
Implicit Discriminative Knowledge Learning for Visible-Infrared Person Re-Identification
School of Microelectronics and Communication Engineering, Chongqing University(重庆大学微电子与通信工程学院)
针对可见光-红外行人重识别忽略模态特有特征中隐含判别信息的问题,提出IDKL网络,通过双流网络提取并净化模态特有特征,将其蒸馏至模态共享特征以增强独特性,实验证明其优于现有方法。
2024-03-26 cs.CV
Discriminative Feature Representation with Spatio-temporal Cues for Vehicle Re-identification
Shanghai Jiao Tong University(上海交通大学)
车辆再识别(re-ID)的目的是发现和匹配的目标车辆从画廊的图像集所采取的不同相机在广泛的道路网络。它对于安全监控和交通管理等许多应用至关重要。不同车辆的外观非常相似,视点和光照条件的显著变化给车辆识别带来了巨大的挑战。传统的解决方案侧重于设计全局视觉外观,而没有充分考虑车辆在不同图像中的时空关系。本文提出了一种新的具有时空线索的判别性特征表示(DFR-ST)用于车辆识别。基于此多模态信息,建议DFR-ST构造一个外观模型的多粒度视觉表示的双流架构和时空度量提供补充信息。在两个公开数据集上的实验结果表明,DFR-ST的性能优于现有的方法,从而验证了该方法的有效性。
2020-11-13 cs.CV
Learning Discriminative Features with Multiple Granularities for Person Re-Identification
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University(上海交通大学协同媒体网络创新中心);CloudWalk Technology(云从科技)
全局特征和局部特征的结合是提高人的再识别(Re-ID)任务的鉴别性能的重要解决方案。以往的基于部分的方法主要集中在定位具有特定预定义语义的区域来学习局部表示,这增加了学习难度,但对于具有大方差的场景效率不高或鲁棒性差。在本文中,我们提出了一个端到端的特征学习策略,集成不同粒度的判别信息。我们精心设计了多粒度网络(MGN),这是一种多分支深度网络架构,由一个全局特征表示分支和两个局部特征表示分支组成。我们不是在语义区域上学习,而是将图像均匀地划分为几个条带,并在不同的局部分支中改变部分的数量,以获得具有多粒度的局部特征表示。在Market-1501、DukeMTMC-reid和CUHK 03等主流评估数据集上进行的综合实验表明,该方法具有鲁棒性,达到了最先进的性能,并大大优于任何现有方法。例如,在单一查询模式下的Market-1501数据集上,我们在重新排序后获得了Rank-1/mAP=96.6%/94.2%的最新结果。
2018-08-14 cs.CV
The Arm-Swing Is Discriminative in Video Gait Recognition for Athlete Re-Identification
Delft University of Technology(代尔夫特理工大学)
在本文中,我们评估的跑步步态作为一个属性的视频人重新识别在长跑事件。我们表明,运行步态识别实现竞争力的性能相比,外观为基础的方法在跨相机检索任务,步态和外观特征是互补的。对于步态,由于躯干区域的模糊性,当使用二进制步态轮廓时,跑步期间的手臂摆动不太可区分。我们建议使用人类的语义解析来创建部分步态轮廓的躯干被遗漏。省略躯干可以让手臂的摆动在正面和倾斜的视角下更明显,从而提高识别结果,这暗示了手臂的摆动在某种程度上是个人的。实验表明,与使用全身轮廓相比,CampusRun上的mAP增加了3.2%,CASIA-B上的正面和背面视图的准确性增加了4.8%。
2021-06-21 cs.CV
CycleTrans: Learning Neutral yet Discriminative Features for Visible-Infrared Person Re-Identification
Xiamen University(厦门大学);Peng Cheng Laboratory(鹏城实验室);Tencent Youtu Lab(腾讯优图实验室)
可见-红外人员重新识别(VI-ReID)是一项在可见光和红外模态之间匹配相同个体的任务。它的主要挑战在于由在不同光谱上操作的相机引起的模态间隙。现有的VI-ReID方法主要集中在学习跨模态的一般特征,通常以牺牲特征的可辨别性为代价。为了解决这个问题,我们提出了一种新的基于循环构造的网络,用于中性但有区别的特征学习,称为CycleTrans。具体来说,CycleTrans使用一个轻量级的知识捕获模块(KCM),以捕获丰富的语义从模态相关的特征图根据伪查询。然后,部署离散建模模块(DMM),根据模态无关的原型将这些特征转换为中性特征。为了保证特征的可区分性,另外两个KCM被进一步部署用于特征循环构造。通过循环构造,我们的方法可以学习有效的中性特征的可见光和红外图像,同时保持其显着的语义。在SYSU-MM 01和RegDB数据集上进行的大量实验验证了CycleTrans相对于一系列最先进方法的优点,SYSU-MM 01中的rank-1为+4.57%,RegDB中的rank-1为+2.2%。
2022-08-21 cs.CV
Discriminative Feature Learning with Foreground Attention for Person Re-Identification
Xi’an Jiaotong University(西安交通大学);Deep North Inc.(Deep North公司);Shanxi University(山西大学)
相互遮挡和背景杂波引起的大的交叉视角外观变化严重影响了人物再识别的性能。因此,学习一个特征表示,可以自适应地强调前景的人成为非常关键的解决人的重新识别问题。在本文中,我们提出了一个简单而有效的前景关注神经网络(FANN)学习一个判别特征表示的人的Re-ID,它可以自适应地增强正面的前景和削弱负面的背景。具体地说,一个新的前景注意子网络的设计,以驱动网络的注意力,其中解码器网络用于重建二进制掩码通过使用一种新的局部回归损失函数,和编码器网络的正则化的解码器网络,使其注意力集中在前景的人。编码器网络得到的特征图被进一步馈送到身体部分子网络和特征融合子网络中以学习区分性特征。此外,一个新的对称三元组损失函数被引入到监督特征学习,其中类内距离最小化,类间距离最大化,同时在每个三元组单元。在多任务学习框架中训练我们的FANN,可以学习区分特征表示,以在图库中的各种候选者中找到每个探针的匹配参考。在几个公共基准数据集上进行了广泛的实验结果评估,这些结果表明我们的方法比最先进的方法有明显的改进。
2019-03-30 cs.CV
Colo-ReID: Discriminative Representation Embedding with Meta-learning for Colonoscopic Polyp Re-Identification
School of Biomedical Engineering, Shanghai Jiao Tong University(生物医学工程学院,上海交通大学);Endoscopy Center, Zhongshan Hospital of Fudan University(复旦大学中山医院内窥镜中心)
Colo-ReID通过元学习策略提升结肠镜息肉重识别性能,有效解决领域差距和自差异性问题。
2025-11-21 cs.CV
Discriminative Pedestrian Features and Gated Channel Attention for Clothes-Changing Person Re-Identification
College of Computer Science;Technology Nanjing University of Aeronautics;School of Information;Artificial Intelligence Anhui Agriculture University Hefei, China
针对换衣行人重识别中外观变化的挑战,提出结合行人解析的解耦特征提取与门控通道注意力方法,在两个标准数据集上取得超越现有方案的Top-1准确率。
2024-10-29 cs.CV
Learning Discriminative Visual-Text Representation for Polyp Re-Identification
Shanghai Jiao Tong University(上海交通大学);Naval University of Engineering(海军工程大学)
针对结肠镜息肉重识别传统方法泛化性差的问题,提出融合视觉-文本特征的VT-ReID方法与结合对比学习的聚类机制,首次将该组合用于息肉重识别,性能显著优于现有最优方法。
2023-07-20 cs.CV
Deep Representation Learning with Part Loss for Person Re-Identification
学习未见过的人图像的区分表示对于人重新识别(ReID)至关重要。目前大多数方法在分类任务中学习深度表示,这基本上最大限度地减少了训练集上的经验分类风险。正如我们的实验所示,这种表示通常集中在对训练集有区别的几个身体部位,而不是整个人体。受SVM中结构风险最小化原则的启发,我们修改了传统的深度表示学习过程,以最小化经验分类风险和表示学习风险。表示学习的风险评估提出的部分损失,自动生成几个部分的图像,并分别计算每个部分上的人的分类损失。与传统的全局分类损失相比,同时考虑多个部分损失迫使深度网络专注于整个人体,并学习不同部分的区分表示。实验结果在三个数据集,即,Market1501,CUHK03,VIPeR,表明我们的表示优于现有的深度表示。
2017-11-16 cs.CV
DeepPFCN: Deep Parallel Feature Consensus Network For Person Re-Identification
IIT Gandhinagar(印度理工学院甘地纳加尔分校)
人物重新识别的目的是将同一个人在不同时间的多个非重叠相机视图上的图像相关联。依赖于人类操作员,在大型摄像机网络中手动重新识别非常耗时且错误。由于大规模分布式多摄像机系统的快速膨胀所产生的大量视觉数据,需要自动的人重新识别。最先进的工作集中在学习和因素化的人的外观特征为潜在的歧视因素在多个语义水平。我们提出了深度并行特征共识网络(DeepPFCN),这是一种新型的网络架构,使用卷积神经网络学习多尺度的人的外观特征。该模型将一个人的视觉外观分解为多个语义层次的潜在区分因素。最终达成共识。DeepPFCN学习的特征表示对于人员重新识别任务来说更鲁棒,因为我们学习了区分性的特定尺度特征,并在多尺度图像输入中最大化多尺度特征融合选择。我们进一步利用平均和最大池在单独的规模为个人特定的任务,区分功能的全球和本地。我们在三个基准数据集上展示了所提出的DeepPFCN模型相对于最先进的重新识别方法的重新识别优势:Market1501,DukeMTMCreID和CUHK03。我们在这些基准数据集上分别实现了75.8%,64.3%和52.6%的mAP结果。
2019-11-18 cs.CV
GiT: Graph Interactive Transformer for Vehicle Re-identification
Huaqiao University(华侨大学);Nanjing University of Science and Technology(南京理工大学);University of Science and Technology Beijing(北京科技大学)
Transformers在计算机视觉中越来越受欢迎,它将图像视为一系列补丁,并从序列中学习鲁棒的全局特征。然而,纯粹的Transformers是不完全适合的车辆重新识别,因为车辆重新识别既需要强大的全球功能和歧视性的本地功能。为此,本文提出了一种图形交互式转换器(GiT)Transformer。在宏观视图中,GiT块的列表被堆叠以构建车辆重新识别模型,其中图用于提取补丁内的区分性局部特征,并且Transformers用于提取补丁之间的鲁棒全局特征。在微观上,图和Transformers处于交互状态,实现局部特征和全局特征的有效配合。具体地,一个电流图被嵌入在前一级的图和Transformer之后,而电流变换被嵌入在电流图和前一级的Transformer之后。除了图和变换之间的相互作用外,图是一种新设计的局部校正图,它通过探索节点之间的关系来学习补丁内的判别性局部特征。在三个大规模车辆重新识别数据集上的大量实验表明,我们的GiT方法优于最先进的车辆重新识别方法。
2023-01-11 cs.CV
DiffReID: Discriminative Diffusion Model for Object Re-Identification
Dalian University of Technology(大连理工大学)
提出DiffReID框架,利用判别式扩散模型学习身份感知分布并生成身份不变特征,通过VNG、LWD和MEC模块提升目标重识别的泛化与判别能力,在五个基准上优于多数现有方法。
2026-09-30 cs.CV
Multi-scale Decomposed Convolution Refinement Network for Visible-Infrared Person Re-Identification
School of Computer Science and Technology, Xinjiang University(新疆大学计算机科学与技术学院);Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing, Xinjiang University(新疆大学丝绸之路多语言认知计算联合国际研究实验室)
针对可见光-红外行人重识别的跨模态差异与判别能力不足问题,提出MDCRNet网络,结合HDCA模块与JDML损失,在SYSU-MM01和RegDB数据集上取得最优性能。
2026-08-18 cs.CV
Learning Deep Representations by Mutual Information for Person Re-identification
大多数现有的人重新识别(ReID)方法具有良好的特征表示,以利用深度卷积神经网络(CNN)和度量学习方法来区分行人。然而,这些工作集中在编码器输出和地面实况之间的相似性,忽略了输入和编码器输出之间的相关性,这影响了识别不同行人的性能。为了解决这一问题,我们设计了一个Deep InfoMax(DIM)网络,以最大化输入图像和编码器输出之间的互信息(MI),它不需要任何辅助标签。为了评估DIM网络的有效性,我们提出了端到端的Global-DIM和Local-DIM模型。此外,DIM网络为跨数据集无监督ReID问题提供了一种新的解决方案,因为它不需要额外的标签。实验证明了MI理论在ReID问题上的优越性,达到了最新的结果。
2019-08-16 cs.CV
The Devil is in the Channels: Mutual-Channel Loss for Fine-Grained Image Classification
Beijing University of Posts and Telecommunications(北京邮电大学);Lanzhou University of Technology(兰州理工大学);University of Surrey(萨里大学)
解决细粒度图像分类问题的关键是找到与细微视觉特征相对应的可区分区域和局部区域。已经取得了很大的进步,复杂的网络专门设计用于学习部件级区分特征表示。在本文中,我们展示了培养微妙的细节是可能的,而不需要过于复杂的网络设计或训练机制--一次损失就足够了。主要的技巧在于我们如何在早期深入研究各个功能通道,而不是从一个统一的功能图开始的惯例。建议的损失函数,称为互信道损失(MC-损失),由两个信道特定的组件:一个歧视性组件和一个分集组件。区分性组件通过新颖的通道式注意力机制迫使属于同一类的所有特征通道具有区分性。多样性组件另外约束通道,使得它们在空间方面变得相互排斥。因此,最终结果是一组特征通道,每个特征通道反映特定类别的不同局部判别区域。MC-Loss可以进行端到端的训练,而不需要任何边界框/部分注释,并在推理过程中产生高度区分的区域。实验结果表明,在公共基础网络上实现的MC-Loss可以在所有四个细粒度分类数据集(CUB-Birds,FGVC-Aircraft,Flowers-102和Stanford-Cars)上实现最先进的性能。烧蚀研究进一步证明了MC-Loss的优越性相比,其他最近提出的通用损失的视觉分类,在两个不同的基础网络。代码可在https://github.com/dongliangchang/Mutual-Channel-Loss获得
2021-08-10 cs.CV
Weakly Supervised Tracklet Person Re-Identification by Deep Feature-wise Mutual Learning
Sun Yat-sen University(中山大学);Accuvision Technology Co.,LTD(Accuvision科技有限公司);Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education(教育部机器智能与先进计算重点实验室)
由于Re-ID(Person Re-identification)数据集的标注困难而导致的可扩展性问题已经成为Re-ID发展的关键瓶颈。为了解决这个问题,最近提出了许多无监督的Re-ID方法。然而,大多数这些模型需要从另一个辅助的完全监督数据集转移,这仍然是昂贵的。在这项工作中,本文提出了一种基于弱监督轨迹(WST)的Re-ID模型,该模型可以通过将同一个人在同一个摄像机视图中的一段时间内的碎片化轨迹进行组合来廉价地获得。我们通过一种新的方法来建立我们的弱监督轨迹Re-ID模型,深度特征互学习(DFML),由特征提取器互学习(MLFE)和特征分类器互学习(MLFC)组成。MLFE通过利用两个特征提取器相互学习来提取更鲁棒和更具鉴别力的特征。另一方面,我们建议MLFC通过适应不同的摄像机视图,每个分类器的区别特征。大量的实验表明,我们提出的DFML优于最先进的无监督模型,甚至一些监督模型在三个Re-ID基准数据集。
2019-10-31 cs.CV
ReIDMamba: Learning Discriminative Features with Visual State Space Model for Person Re-Identification
Rocket Force University of Engineering(火箭军工程大学)
针对行人ReID中特征提取的挑战,提出纯Mamba框架ReIDMamba,通过多类别令牌、MGFE模块和RATR正则化提升特征判别性与鲁棒性,参数仅为TransReID的1/3且性能更优。
2025-11-11 cs.CV
AttKGCN: Attribute Knowledge Graph Convolutional Network for Person Re-identification
Anhui University(安徽大学)
人图像的鉴别特征表示对于人的再识别(Re-ID)任务是重要的。最近,属性已被证明有益于指导学习更多的歧视性特征表示Re-ID。由于属性通常共同出现在人的图像,它是可取的属性依赖模型,以提高属性预测,从而Re-ID的结果。在本文中,我们提出了通过一种新的属性知识图谱(AttKG)来建模这些属性依赖关系,并提出了一种新的属性知识图谱卷积网络(AttKGCN)来解决Re-ID问题。AttKGCN将属性预测和Re-ID学习集成在一个统一的端到端框架中,可以分别提高它们的性能。AttKGCN首先构造一个有向属性KG,KG的节点表示属性,边表示属性间的同现关系。然后,AttKGCN学习一组相互依赖的属性分类器,这些分类器与人的视觉描述符相结合进行属性预测。最后,AttKGCN将属性描述和深度可视化表示结合起来,为Re-ID任务构建了更具区分力的特征表示。在多个基准数据集上的实验证明了AttKGCN在属性预测和Re-ID任务上的有效性。
2019-11-24 cs.CV
The Devil is in the Details: Self-Supervised Attention for Vehicle Re-Identification
University of Maryland(马里兰大学)
近年来,研究界已经接近的问题,车辆重新识别(re-id)与注意力为基础的模型,特别是专注于区域的车辆包含歧视性的信息。这些re-id方法依赖于昂贵的关键点标签,零件注释和其他属性,包括车辆制造,型号和颜色。考虑到大量具有各种注释级别的车辆re-id数据集,强监督方法无法跨不同领域扩展。在本文中,我们提出了自监督注意车辆重新识别(SAVER),一种新的方法来有效地学习车辆特定的判别特征。通过大量的实验,我们证明SAVER在具有挑战性的VeRi,VehicleID,Vehicle-1 M和VERI-Wild数据集上改进了最先进的技术。
2020-07-17 cs.CV
Temporal Continuity Based Unsupervised Learning for Person Re-Identification
Shanghai Jiao Tong University(上海交通大学)
人物重新识别(re-id)旨在从多个摄像头拍摄的图像中匹配同一个人。大多数现有的人的re-id方法通常需要大量的身份标记的数据作为表示学习的判别准则。人工采集身份标注数据的难度导致实际场景适应性差。为了克服这个问题,我们提出了一种无监督的基于中心的聚类方法,能够逐步学习和利用相机内的时间连续性的基本re-id判别信息。我们称我们的框架为基于时间连续性的无监督学习(TCUL)。具体而言,TCUL同时进行未标记(目标)数据集的基于中心的聚类,并微调在不相关的标记(源)数据集上预训练的卷积神经网络(CNN),以增强CNN对目标数据集的区分能力。此外,它利用相机内图像的时间连续性与相机间特征图的空间相似性来生成可靠的伪标签,用于训练重新识别模型。随着训练的进行,可靠样本的数量不断自适应地增长,这反过来又增强了CNN的表示能力。在三个大规模的person re-id基准数据集上进行了大量的实验,将我们的框架与最先进的技术进行了比较,证明了TCUL比现有方法的优越性。
2020-09-01 cs.CV
Hi-CMD: Hierarchical Cross-Modality Disentanglement for Visible-Infrared Person Re-Identification
Korea Advanced Institute of Science and Technology(韩国科学技术院)
可见光-红外人脸识别是夜间监控中的一项重要任务,因为可见光摄像机在恶劣的光照条件下很难捕捉到有效的外观信息。与仅处理模态内差异的传统人员重新识别相比,VI-ReID遭受由不同类型的成像系统引起的额外的跨模态差异。为了减少内部和跨模态的差异,我们提出了一个分层的跨模态解开(Hi-CMD)的方法,它自动解开ID的歧视性因素和ID排除的因素从可见光热图像。我们只使用ID判别因子进行鲁棒的跨模态匹配,而不使用ID排除因子,如姿势或照明。为了实现我们的方法,我们引入了一个ID保持的人的图像生成网络和分层特征学习模块。我们的生成网络通过生成具有不同姿势和照明的新的跨模态图像来学习解纠缠表示,同时保留一个人的身份。同时,特征学习模块使我们的模型能够显式地提取可见光-红外图像之间的共同ID鉴别特征。大量的实验结果表明,我们的方法优于最先进的方法在两个VI-ReID数据集。源代码可在https://github.com/bismex/HiCMD上获得。
2020-03-14 cs.CV
Farewell to Mutual Information: Variational Distillation for Cross-Modal Person Re-Identification
East China Normal University(华东师范大学);Xiamen University(厦门大学);Shanghai Jiao Tong University(上海交通大学)
信息瓶颈(IB)为表示学习提供了一种信息论原理,即保留所有与预测标签相关的信息,同时最小化冗余。虽然IB原理已经被广泛应用,但其优化仍然是一个具有挑战性的问题,在很大程度上依赖于互信息的准确估计。本文提出了一种新的策略--变分自蒸馏(VSD),它提供了一种可扩展的、灵活的、解析的解决方案,在不显式估计互信息的情况下,从本质上拟合互信息,并在严格的理论保证下,使IB能够掌握表示和标签之间的内在相关性,从而进行监督训练。此外,通过将VSD扩展到多视图学习,我们引入了另外两种策略,变分交叉蒸馏(VCD)和变分相互学习(VML),通过消除视图特定和任务无关的信息,显着提高了表示对视图变化的鲁棒性。为了验证我们的理论基础的策略,我们将我们的方法应用于跨模态的人Re-ID,并进行了广泛的实验,其中对国家的最先进的方法的优越性能进行了证明。我们有趣的发现强调了重新思考估计相互关系的方式的必要性。
2022-12-25 cs.CV
Learning by Aligning: Visible-Infrared Person Re-identification using Cross-Modal Correspondences
Yonsei University(延世大学)
我们解决的问题,可见光红外人重新识别(VI-reID),即检索一组人的图像,由可见光或红外摄像机,在一个跨模态设置。VI-reID中的两个主要挑战是人物图像的类内变化,以及可见光和红外图像之间的跨模态差异。假设人的图像是粗略对齐的,以前的方法试图学习粗糙的图像或刚性的部分级别的人的表示,是有区别的,并概括在不同的模态。然而,通常由现成的对象检测器裁剪的人图像不一定是良好对准的,这分散了辨别性人表示学习。在本文中,我们介绍了一种新的特征学习框架,以统一的方式解决这些问题。为此,我们建议利用交叉模态的人的图像之间的密集对应。这允许解决像素级的跨模态差异,更有效地抑制来自人表征的模态相关特征。这也鼓励了跨模态局部特征之间的像素关联,进一步促进了VI-reID的区分性特征学习。在标准VI-reID基准上进行的大量实验和分析表明了我们方法的有效性,其性能明显优于最先进的方法。
2021-08-17 cs.CV
Horizontal Pyramid Matching for Person Re-identification
UIUC(伊利诺伊大学厄巴纳-香槟分校);Stevens Institute of Technology(史蒂文斯理工学院);CloudWalk Technology(云从科技);Cornell University(康奈尔大学)
尽管最近取得了显着的进展,人重新识别(Re-ID)的方法仍然遭受失败的情况下,歧视性的身体部位丢失。为了减轻这种情况下,我们提出了一个简单而有效的水平金字塔匹配(HPM)的方法,充分利用各种部分信息的一个给定的人,使正确的人候选人仍然可以识别,即使一些关键部分丢失。在HPM中,我们做出了以下贡献,为Re-ID任务提供了更强大的特征表示:1)我们学习在不同的水平金字塔尺度上使用部分特征表示进行分类,这成功地增强了各个人部分的区分能力; 2)我们利用平均和最大池化策略以全局-局部方式考虑特定于人的区分信息。为了验证所提出的HPM的有效性,进行了广泛的实验上的三个流行的基准,包括市场-1501,DukeMTMC-ReID和CUHK 03。特别是,我们在这些基准上实现了83.1%,74.5%和59.7%的mAP分数,这是新的最先进水平。我们的代码可以在Github上找到
2018-11-10 cs.CV
Re-ID done right: towards good practices for person re-identification
NAVER LABS Europe(NAVER LABS 欧洲)
使用排名损失训练深层架构已经成为人员重新识别任务的标准。这些深度架构越来越多地包括利用零件检测、属性预测、姿态估计器和其他辅助信息的附加组件,以便更有效地定位和对齐有区别的图像区域。在本文中,我们采用了不同的方法,并仔细设计了一个简单的深层架构的每个组件,关键是,训练它有效地重新识别人的策略。我们广泛地评估每个设计选择,从而得出一个人员重新识别的良好实践列表。通过遵循这些实践,我们的方法在四个基准数据集上的表现优于最先进的方法,包括具有辅助组件的更复杂的方法。我们还提供了一个定性分析,我们的训练表示,这表明,虽然紧凑,它能够捕捉信息,从本地化和歧视性的地区,在类似于一个隐式的注意力机制的方式。
2018-01-16 cs.CV
Improved Eigenfeature Regularization for Face Identification
Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
在这项工作中,我们建议使用空间划分树将每个类(一个人)划分为子类,这有助于更好地捕捉同一个人的外观所产生的个人内部差异。本文对人脸图像的类内和子类内特征谱进行了全面的分析,提出了一种新的特征谱建模方法,该方法从子类内和子类间散布矩阵中提取人脸的鉴别特征。在整个特征空间中进行鉴别评价后,提取有效的低维人脸鉴别特征用于人脸识别。在流行的人脸数据库(AR,FERET)和具有挑战性的无约束YouTube人脸数据库上的实验结果表明,我们提出的方法在所有三个数据库上的优越性。
2016-02-10 cs.CV
Robust Person Re-Identification through Contextual Mutual Boosting
Xidian University(西安电子科技大学);Pensees Singapore(新加坡深思维)
在深度学习发展的推动下,人员再识别(Re-ID)取得了巨大的进步。然而,现代人的Re-ID仍然面临着背景杂乱,遮挡和大的姿态变化,这是在实践中常见的挑战。先前的方法通过外部线索(例如,姿态估计、人类解析)或注意力机制,其具有高计算成本和增加的模型复杂度。在本文中,我们提出了上下文相互促进网络(CMBN)。它通过有效地利用上下文信息和统计推断来定位行人并重新校准特征。首先,我们构建了两个具有共享卷积前端的分支,分别学习前景和背景特征。通过实现这两个分支之间的交互,它们相互提高了空间定位的准确性。其次,从统计的角度出发,我们提出了掩码生成器,它利用变换矩阵的激活分布来生成表示的静态通道掩码。掩模重新校准特征以放大有价值的特征并减少噪声。最后,我们提出了上下文分离策略,对两个分支进行联合优化和独立优化,进一步提高了定位精度。在基准测试上的实验证明了该体系结构与现有技术相比的优越性。
2020-09-16 cs.CV
A Flow-Guided Mutual Attention Network for Video-Based Person Re-Identification
École de technologie supérieure(高等技术学院);Genetec Inc.(杰尼特克公司);Sportlogiq Inc.(斯波特洛吉克公司)
在许多视频分析和监控应用中,人员重新识别(ReID)是一个具有挑战性的问题,其中人员的身份必须跨分布式非重叠摄像机网络相关联。基于视频的人ReID最近获得了很大的兴趣,因为它允许从基于图像的ReID不可用的视频剪辑中捕获判别时空信息。尽管最近取得了进展,但用于视频ReID的深度学习(DL)模型通常无法利用这些信息来提高特征表示的鲁棒性。在本文中,一个人的运动模式探索作为一个额外的线索ReID。特别地,提出了一种流引导的相互注意网络,用于使用任何2D-CNN主干来融合图像和光流序列,从而允许将时间信息与空间外观信息一起编码。我们的相互注意力网络依赖于图像和光流特征图之间的联合空间注意力,以激活它们之间的一组共同的显著特征。除了流引导的注意力,我们还引入了一种方法来聚合来自较长输入流的特征,以获得更好的视频序列级表示。我们在三个具有挑战性的视频ReID数据集上进行的广泛实验表明,使用所提出的相互注意网络可以大大提高识别精度,相对于传统的门控注意网络和基于视频的人ReID的最先进方法。
2020-10-04 cs.CV
Discriminative-Region Attention and Orthogonal-View Generation Model for Vehicle Re-Identification
Northeastern University(东北大学);Peng Cheng Laboratory(鹏城实验室);Peking University(北京大学);Peking University Shenzhen Graduate School(北京大学深圳研究生院)
为了缓解日益繁重的城市交通管理任务所带来的压力,迫切需要进行车辆再识别(Re-ID)。多个挑战阻碍了基于视觉的车辆Re-ID方法的应用:(1)相同品牌/型号的不同车辆的外观通常是相似的;然而,(2)同一车辆的外观从不同的视角显著不同。以前的方法主要使用人工标注的多属性数据集来帮助网络获得详细的线索和推断多视图,以提高车辆Re-ID性能。然而,精细标记的车辆数据集在实际应用场景中通常是无法实现的。因此,我们提出了一个判别区域注意力和识别视图生成(DRA-OVG)模型,它只需要身份(ID)标签,以克服车辆Re-ID的多重挑战。建议的识别模型可以自动提取判别区域特征,它可以区分相似的车辆。OVG模型可以根据输入的视图特征生成多视图特征,以减少视点不匹配的影响。最后,车辆外观之间的距离是由区分区域特征和多视角特征一起给出的。因此,在完备的特征空间中,车辆间的两两距离度量的意义得到了增强。大量的实验证实了每种成分的有效性,实验结果表明,我们的方法在VehicleID和VeRi-776数据集上实现了比最先进的车辆Re-ID方法显着的改进。
2022-04-28 cs.AI cs.CV
Person Re-Identification via Recurrent Feature Aggregation
Shanghai Jiao Tong University(上海交通大学);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
我们解决的人重新识别问题,有效地利用全球歧视性的特征表示从一系列跟踪的人类区域/补丁。这与先前的人重新识别工作相反,先前的人重新识别工作依赖于基于单帧的人与人的补丁匹配或基于图的序列与序列匹配。我们证明了基于长短期记忆(LSTM)网络的渐进/顺序融合框架在每个时间戳聚合逐帧人类区域表示,并产生序列级人类特征表示。由于LSTM节点可以记住和传播先前积累的好特征,并忘记新输入的劣质特征,即使是简单的手工特征,因此所提出的递归特征聚合网络(RFA-Net)在生成高度区分的序列级人类表示方面是有效的。两个人的重新识别基准上的广泛的实验结果表明,该方法对国家的最先进的人的重新识别方法表现良好。
2017-01-23 cs.CV
Mutual Distillation Learning For Person Re-Identification
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出MDPR方法,通过硬内容分支和软内容分支在统一模型中从多视角提取行人特征,并利用互蒸馏与融合提升表示能力,在DukeMTMC-reID上取得领先性能。
2024-01-12 cs.CV
Leaning Compact and Representative Features for Cross-Modality Person Re-Identification
Sun Yat-sen University(中山大学);nii.ac.jp(日本国立信息学研究所)
本文关注的是跨模态可见光-红外人再识别(VI Re-ID)任务,其目的是匹配可见光和红外模式之间的行人样本。为了减少不同相机采集的样本之间的模态差异,大多数现有的工作通常使用基于欧几里德度量的约束。由于基于欧氏距离的度量策略不能有效地测量嵌入向量之间的内角,现有的解决方案不能学习角度区分的特征嵌入。由于影响基于嵌入向量的分类任务的最重要的因素是是否有一个角度歧视的特征空间,在本文中,我们提出了一个新的损失函数称为枚举角三重(EAT)损失。此外,受知识蒸馏的启发,为了在特征嵌入之前缩小不同模态之间的特征,我们进一步提出了一种新的跨模态知识蒸馏(CMKD)损失。得益于上述两个考虑,嵌入的特征在某种程度上具有足够的区分性,以解决模态差异问题。在RegDB和SYSU-MM 01数据集上的实验结果表明,该方法在性能上优于其他最先进的方法。代码可在https://github.com/IVIPLab/LCCRF上获得。
2022-02-09 cs.CV
Person Re-identification in the Wild
University of Technology Sydney(悉尼科技大学);UTSA(得克萨斯大学圣安东尼奥分校);USTC(中国科学技术大学);UCSD(加利福尼亚大学圣迭戈分校)
我们提出了一个新的大规模数据集和全面的基线,用于端到端的行人检测和原始视频帧中的人员识别。我们的基线解决了三个问题:检测器和识别器的各种组合的性能,行人检测机制,以帮助提高整体重新识别的准确性和评估不同的检测器的有效性进行重新识别。我们做出了三个不同的贡献。首先,一个新的数据集,PRW,被引入到评估人重新识别在野外,使用通过六个同步摄像机获得的视频。它包含932个身份和11,816帧,其中行人注释了他们的限界框位置和身份。广泛的基准测试结果在这个数据集上。其次,我们表明,行人检测有助于重新识别,通过两个简单而有效的改进:一个有区别地训练的ID歧视性嵌入(IDE)在人的子空间使用卷积神经网络(CNN)功能和置信加权相似性(CWS)度量,将检测分数到相似性测量。第三,我们获得的见解,在评估检测器性能的特定情况下,准确的人重新识别。
2017-04-06 cs.CV
Attentive WaveBlock: Complementarity-enhanced Mutual Networks for Unsupervised Domain Adaptation in Person Re-identification and Beyond
Beihang University(北京航空航天大学);University of Technology Sydney(悉尼科技大学);IIAI(起源人工智能研究院);Tencent AI Lab(腾讯人工智能实验室);Inception Institute of Artificial Intelligence(起源人工智能研究院);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
由于源域和目标域之间存在巨大的差异,无监督领域自适应(UDA)的身份重新识别具有挑战性。一种典型的自训练方法是使用聚类算法生成的伪标签来迭代优化目标域上的模型。然而,这样做的缺点是,嘈杂的伪标签通常会在学习中造成麻烦。为了解决这个问题,已经开发了一种通过双网络的相互学习方法来产生可靠的软标签。然而,随着两个神经网络逐渐收敛,它们的互补性被削弱,它们可能会偏向于同一种噪声。本文提出了一种新的轻量级模块--Attentive WaveBlock(AWB),它可以集成到互学习的双网络中,以增强互补性,进一步抑制伪标签中的噪声。具体来说,我们首先引入一个无参数模块WaveBlock,它通过不同地挥动特征图块来创建两个网络学习到的特征之间的差异。然后,利用注意力机制来扩大所创建的差异并发现更多的互补特征。在此基础上,探讨了两种组合策略,即前注意和后注意。实验表明,该方法实现了国家的最先进的性能与多个UDA的人重识别任务的显着改善。我们还证明了所提出的方法的通用性,将其应用到车辆重新识别和图像分类任务。我们的代码和型号可在www.example.com上获得。
2021-12-26 cs.CV
Spatial and Temporal Mutual Promotion for Video-based Person Re-identification
University of Science and Technology of China(中国科学技术大学);Purdue University(普渡大学)
基于视频的人物重新识别是一项关键的任务,匹配视频序列的人在多个摄像机视图。通常,直接从单个帧中提取的特征遭受遮挡、模糊、光照和姿态变化。这导致在某些区域中的错误激活或缺失激活,这破坏了外观和运动表示。如何发掘视频序列中丰富的时空信息是解决这一问题的关键。为此,我们提出了一个精炼递归单元(RRU),恢复丢失的部分,并通过参考历史帧抑制噪声部分的当前帧的功能。使用RRU,提高了每帧外观表示的质量。然后,我们使用时空线索集成模块(STIM)挖掘时空信息从这些升级的功能。同时,采用多层次训练目标提高了RRU和STIM的能力。通过这些模块的协作,时空特征相互促进,最终的时空特征表示更具鉴别力和鲁棒性。在三个具有挑战性的数据集上进行了广泛的实验,即,iLIDS-VID、PRID-2011和MARS。实验结果表明,我们的方法优于现有的国家的最先进的基于视频的人的重新识别方法的iLIDS-VID和MARS和PRID-2011取得了良好的效果。
2018-12-26 cs.CV
Discriminative Feature and Dictionary Learning with Part-aware Model for Vehicle Re-identification
Dalian Maritime University(大连海事大学);Information Science and Technology College, Department of Computer Science and Technology(计算机科学与技术学院、信息科学与技术学院)
随着智慧城市的发展,城市监控视频分析将在智能交通系统中发挥更重要的作用。从非重叠相机中识别大数据集中的同一目标车辆应该受到重视,这已经成为推动智能交通系统的热门话题。然而,车辆重新识别(re-ID)技术是一项具有挑战性的任务,因为相同设计或制造商的车辆显示相似的外观。为了填补这些空白,我们通过提出基于三重中心损失的部分感知模型(TCPM)来解决这一挑战,该模型利用车辆部分细节中的判别特征来提高车辆重新识别的准确性。基于零件发现的TCPM是从水平和垂直两个方向对车辆进行划分,以加强车辆的细节,增强零件的内部一致性。此外,为了消除车辆局部区域的类内差异,我们提出了外部存储模块来强调每个部分的一致性,以学习区分特征,从而形成数据集中所有类别的全局字典。在TCPM中,引入三重中心损失,以确保车辆特征提取的每一部分具有类内一致性和类间可分性。实验结果表明,我们提出的TCPM有一个巨大的偏好比现有的国家的最先进的方法对基准数据集VehicleID和VeRi-776。
2020-03-16 cs.CV eess.IV
Vehicle Re-identification in Aerial Imagery: Dataset and Approach
Northwestern Polytechnical University(西北工业大学)
在这项工作中,我们构建了一个用于车辆重新识别(ReID)的大规模数据集,其中包含由无人机安装的摄像机捕获的13k车辆实例的137k图像。据我们所知,它是最大的基于无人机的车辆ReID数据集。为了增加类内变化,每个车辆由至少两个UAV在不同位置捕获,具有不同的视角和飞行高度。我们手动标记各种车辆属性,包括车辆类型、颜色、天窗、保险杠、备胎和行李架。此外,对于每幅车辆图像,注释者还需要标记可区分的部分,以帮助他们将该特定车辆与其他车辆区分开来。除了数据集,我们还设计了一个特定的车辆ReID算法,以充分利用丰富的注释信息。它能够显式地检测每个特定车辆的区别性部件,并显着优于评估的基线和最先进的车辆ReID方法。
2019-04-02 cs.CV
Nonlinear Local Metric Learning for Person Re-identification
Tsinghua University(清华大学);Michigan State University(密歇根州立大学)
人重新识别的目的是匹配从非重叠的相机视图观察到的行人。特征描述子和度量学习是身份识别中的两个重要问题。由于特征空间中的大变化,判别度量学习方法应该能够利用复杂的非线性变换。在本文中,我们提出了一个非线性局部度量学习(NLML)方法,以提高国家的最先进的性能的人重新识别的公共数据集。由于局部度量学习已经被引入到处理局部变化的数据和深度神经网络在利用样本的非线性方面表现出出色的能力,我们利用局部度量学习和深度神经网络的优点来学习多组非线性变换。通过在变换后的特征子空间中强制正行人图像对的距离和负行人图像对的距离之间的裕度,可以在所开发的神经网络中有效地利用鉴别信息。实验结果表明,本文提出的NLML方法在VIPeR、GRID和CUHK 01数据集上取得了较好的效果。
2015-11-16 cs.CV
Parameter-Free Spatial Attention Network for Person Re-Identification
Xidian University(西安电子科技大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland Informatics Campus(萨尔兰信息学园区)
全局平均池化(GAP)允许本地化识别信息[40]。虽然GAP有助于卷积神经网络关注对象的最具鉴别力的特征,但如果该信息丢失,例如由于相机视点变化,则可能会受到影响。为了规避这个问题,我们认为,这是有利的,参加到全球配置的对象,通过建模的空间关系之间的高层次功能。我们提出了一种新的架构的人重新识别,基于一种新的无参数的空间注意力层引入空间关系的特征图激活回模型。我们的空间注意力层持续提高了模型的性能。四个基准测试的结果表明,我们的模型优于最先进的模型,在Market-1501上实现了94.7%的rank-1准确率,在DukeMTMC-ReID上实现了89.0%,在CUHK 03-labeled上实现了74.9%,在CUHK 03-detected上实现了69.7%。
2018-11-29 cs.CV
AttributeNet: Attribute Enhanced Vehicle Re-Identification
Microsoft Corp.(微软公司);Microsoft Research Asia(微软亚洲研究院);University of Campinas(坎皮纳斯州立大学)
车辆再识别(V-ReID)是一项关键任务,它将来自不同摄像机视点的图像中的同一车辆关联起来。许多工作探索属性线索,以提高V-ReID,然而,通常是缺乏有效的互动之间的属性相关的模块和最终的V-ReID目标。在这项工作中,我们提出了一种新的方法来有效地探索判别信息的车辆属性(例如,颜色和类型)。我们引入了联合提取身份相关特征和属性特征的属性网(ANet)。我们通过提取对ReID有帮助的属性特征并将其添加到一般ReID特征中来实现交互,以增加区分能力。此外,我们提出了一个约束,名为改进约束(AC),它鼓励后的功能添加属性功能到一般的ReID功能比原来的一般ReID功能更具歧视性。我们在三个具有挑战性的数据集上验证了我们的框架的有效性。实验结果表明,我们的方法达到了国家的最先进的性能。
2021-08-31 cs.CV
Towards Fewer Labels: Support Pair Active Learning for Person Re-identification
Nanjing University of Science and Technology(南京理工大学)
基于监督学习的人员再识别需要大量的人工标注数据,这在实际的再识别部署中是不适用的。在这项工作中,我们提出了一个支持对主动学习(SPAL)的框架,以降低人工标记成本的大规模的人重新识别。支持对可以提供最多的信息关系,并支持区分性特征学习。具体来说,我们首先设计了一个双重的不确定性选择策略,迭代地发现支持对,并需要人类注释。之后,我们引入了一个约束聚类算法,以传播的关系标记的支持对其他未标记的样本。此外,提出了一种混合学习策略,包括一个无监督的对比损失和监督的支持对损失学习的歧视性re-id特征表示。提出的整体框架可以有效地降低标签成本挖掘和利用关键支持对。大量的实验表明,该方法的优越性,国家的最先进的主动学习方法上的大规模的人re-id基准。
2022-04-21 cs.CV
End-to-End Domain Adaptive Attention Network for Cross-Domain Person Re-Identification
人员重新识别(re-ID)在现实世界的场景中仍然具有挑战性,因为它需要一个经过训练的网络在存在跨域变化的情况下推广到完全看不见的目标数据。近年来,生成式对抗模型被广泛采用以增强训练数据的多样性。然而,这些方法往往无法推广到其他领域,因为现有的生成人重新识别模型在生成组件和判别特征学习阶段之间存在脱节。为了解决模型泛化方面的持续挑战,我们提出了一个端到端的域自适应注意力网络,以在单个框架中联合翻译域之间的图像并学习有区别的re-id特征。为了解决域差距的挑战,我们引入了一个注意力模块,用于在不影响人的身份的情况下从源域到目标域的图像翻译。更具体地说,注意力被引导到背景而不是人的整个图像,确保保留主体的识别特征。所提出的联合学习网络的结果在几个基准数据集上的最先进的方法在一个显着的性能改善。
2020-05-07 cs.CV
Multi-Level Factorisation Net for Person Re-Identification
Queen Mary University of London(伦敦玛丽女王大学);The University of Edinburgh(爱丁堡大学)
有效的人再识别(Re-ID)的关键是在高和低语义水平上对人的外观的区分性和视图不变因素进行建模。最近开发的深度Re-ID模型要么学习整体的单一语义级特征表示,要么需要将这些因素作为属性进行费力的人工注释。我们提出了多级分解网络(MLFN),一种新的网络架构,将一个人的视觉外观分解为多个语义层次的潜在歧视因素,而无需手动注释。MLFN由多个堆叠的块组成。每个块包含多个因子模块,以在特定级别对潜在因子进行建模,以及因子选择模块,其动态地选择因子模块来解释每个输入图像的内容。因子选择模块的输出还提供了与传统的深度学习特征互补的紧凑潜在因子描述符。MLFN在三个Re-ID数据集上实现了最先进的结果,并在一般对象分类CIFAR-100数据集上取得了令人信服的结果。
2018-04-17 cs.CV
Segmentation Mask Guided End-to-End Person Search
人物搜索是从多个监控摄像头拍摄的多幅图像中搜索出目标人物,面临着行人检测和人物重新识别的挑战。除了由于各种照明条件、遮挡和变化的姿势而导致的大的类内变化之外,检测到的行人边界框中的背景杂波进一步恶化了每个人的提取特征,使得它们的区分性降低。为了解决这些问题,我们开发了一种新的方法,该方法使用分割掩码来指导网络,以便可以学习对背景杂波不敏感的区分特征。我们证明了行人检测,人重新识别和行人分割的联合优化,使行人产生更多的区别特征,从而导致更好的人搜索性能。在基准数据集CUHK-SYSU上的大量实验表明,我们提出的模型分别以86.3%的mAP和86.5的top-1准确率达到了最先进的性能。
2019-08-27 cs.CV
Multi-Class Anomaly Detection based on Regularized Discriminative Coupled hypersphere-based Feature Adaptation
Aarhus University(奥胡斯大学)
针对跨类别异常识别难题,提出融合RD-VAE类别判别特性与CFA特征自适应的RD-CFA模型,在两个基准数据集上优于8种主流方法,有效提升多类别异常检测与定位性能。
2024-02-02 cs.CV
Towards Discriminative Representation Learning for Unsupervised Person Re-identification
Xilinx Inc.(赛灵思公司);Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团)
在这项工作中,我们解决的问题,无监督的领域自适应的人重新ID注释可用于源域,但不为目标。以前的方法通常遵循两阶段优化管道,其中网络首先在源上进行预训练,然后使用特征聚类创建的伪标签在目标上进行微调。这种方法存在两个主要局限性。(1)标签噪声可能会阻碍用于识别目标类别的区分性特征的学习。(2)领域差距可能会阻碍知识从源到目标的转移。我们提出了三种技术方案来缓解这些问题。首先,我们提出了一个集群明智的对比学习算法(CCL)的特征学习和集群精炼的迭代优化学习噪声容忍表示在无监督的方式。其次,我们采用了渐进的领域自适应(PDA)策略,以逐步减轻源数据和目标数据之间的领域差距。第三,我们提出了傅立叶增强(FA),通过在傅立叶空间中施加额外的约束,进一步最大限度地提高类分离的re-ID模型。我们观察到,这些建议的计划是能够促进歧视性特征表示的学习。实验表明,我们的方法在多个基准测试中始终比最先进的无监督re-ID方法取得了显着的改进,例如,在Market-to-Duke、Duke-to-Market、Market-to-MSMT和Duke-to-MSMT任务上,分别以8.1%、9.9%、11.4%和11.1%的mAP大大超过MMT。
2021-08-16 cs.AI cs.CV