Towards Fewer Labels: Support Pair Active Learning for Person Re-identification
Nanjing University of Science and Technology（南京理工大学）
基于监督学习的人员再识别需要大量的人工标注数据，这在实际的再识别部署中是不适用的。在这项工作中，我们提出了一个支持对主动学习（SPAL）的框架，以降低人工标记成本的大规模的人重新识别。支持对可以提供最多的信息关系，并支持区分性特征学习。具体来说，我们首先设计了一个双重的不确定性选择策略，迭代地发现支持对，并需要人类注释。之后，我们引入了一个约束聚类算法，以传播的关系标记的支持对其他未标记的样本。此外，提出了一种混合学习策略，包括一个无监督的对比损失和监督的支持对损失学习的歧视性re-id特征表示。提出的整体框架可以有效地降低标签成本挖掘和利用关键支持对。大量的实验表明，该方法的优越性，国家的最先进的主动学习方法上的大规模的人re-id基准。
2022-04-21 cs.CV
Mixed High-Order Attention Network for Person Re-Identification
Beijing University of Posts and Telecommunications（北京邮电大学）
注意力在个人重新识别（ReID）中变得更加有吸引力，因为它能够将可用资源的分配偏向输入信号中信息量最大的部分。然而，现有的研究成果主要集中在粗层次或一阶注意力设计上，如空间注意力和通道注意力等，而对更高阶的注意力机制的研究较少。我们朝着解决这个问题迈出了一步。本文首先提出了高阶注意力（HOA）模型，对注意力机制中复杂的高阶统计信息进行建模和利用，以捕捉行人之间的细微差别，产生有区别的注意力建议。然后，重新思考人的ReID作为一个零样本学习问题，我们提出了混合高阶注意力网络（MHN），以进一步提高的歧视和丰富的注意力知识，以明确的方式。已经进行了大量的实验，以验证我们的MHN的优越性，为人的ReID在各种各样的国家的最先进的方法在三个大规模的数据集，包括市场1501，杜克MTMC-ReID和CUHK 03-NP。代码可在http://www.bhchen.cn/上获得。
2019-08-16 cs.CV
Query-guided End-to-End Person Search
OSRAM GmbH（欧司朗有限公司）；Technische Universität München（慕尼黑工业大学）
人物搜索最近作为从非裁剪图像的图库中找到作为裁剪样本提供的人物的新颖任务而受到关注，其中其他几个人也是可见的。我们相信，我。人员检测和重新识别应在联合优化框架中进行，并且ii.人员搜索应广泛利用查询图像（例如强调独特的查询模式）。然而，到目前为止，还没有现有技术实现这一点。我们引入了一种新的查询引导端到端的人搜索网络（QEEPS），以解决这两个方面。我们利用最新的联合检测器和重新识别工作，OIM [37]。我们用i来扩展它。查询引导的连体挤压和激发网络（QSSE-Net），其使用来自查询和图库图像两者的全局上下文，ii.查询引导的区域建议网络（QRPN），以产生查询相关的建议，以及iii.查询引导相似性子网络（QSimNet），以学习查询引导重新识别分数。QEEPS是第一个端到端查询引导检测和重新识别网络。在最近的CUHK-SYSU [37]和PRW [46]数据集上，我们的表现远远超过了以前的最先进水平。
2019-05-03 cs.CV
DSSL: Deep Surroundings-person Separation Learning for Text-based Person Retrieval
许多以前的基于文本的人检索任务的方法都致力于学习一个潜在的公共空间映射，从视觉和文本模态提取模态不变的功能。然而，由于高维数据的复杂性，无约束映射范式不能够正确地捕捉到关于相应的人的判别线索，同时丢弃不对齐的信息。直观地说，包含在视觉数据中的信息可以分为人信息（PI）和环境信息（SI），它们彼此互斥。为此，本文提出了一种新的深度环境-人分离学习（DSSL）模型，以有效地提取和匹配人的信息，从而实现更高的检索精度。环境-人分离与融合机制是实现互斥约束下准确有效的环境-人分离的关键。为了充分利用多模态和多粒度信息，以获得更高的检索精度，采用了五种不同的对齐范式。在CUHK-PEDES上进行了大量的实验来评估所提出的DSSL，CUHK-PEDES是目前唯一可访问的基于文本的人物检索任务的数据集。DSSL在CUHK-PEDES上实现了最先进的性能。为了在真实场景中正确评估我们提出的DSSL，构建了一个真实场景基于文本的人重新识别（RSTPReid）数据集，以利于未来基于文本的人检索的研究，这将是公开的。
2021-09-12 cs.CV
Image-to-Video Person Re-Identification by Reusing Cross-modal Embeddings
Wuhan University of Technology（武汉理工大学）
图像到视频人重新识别通过来自由非重叠相机捕获的大量行人视频的探测图像来识别目标人。尽管取得了很大的进展，它仍然是具有挑战性的多模态场景，即图像和视频之间的匹配。目前，最先进的方法主要集中在特定的任务数据，忽略了不同的，但相关的任务的额外信息。在本文中，我们提出了一个端到端的神经网络框架，用于图像到视频的人重新识别，通过利用从额外的信息学习的跨模态嵌入。具体地说，来自图像描述和视频描述模型的跨模态嵌入被重用，以帮助学习的特征被投影到一个协调的空间中，在那里可以直接计算相似度。此外，固定模型重用方法的训练步骤被集成到我们的框架中，它可以包含有益的信息，并最终使目标网络独立于现有的模型。除此之外，我们提出的框架采用CNN和LSTM来提取视觉和时空特征，并结合识别和验证模型的优势来提高学习特征的区分能力。实验结果表明，我们的框架在缩小异构数据之间的差距，并获得明显的改善，在图像到视频的人重新识别的有效性。
2018-10-22 cs.CV
Enhancing Person Re-Identification through Tensor Feature Fusion
University of Biskra（比斯克拉大学）；University Center of Barika（巴里卡大学中心）；University of Bejaia（贝贾亚大学）
本研究针对行人重识别任务，提出融合预训练CNN、LOMO与GOG特征，结合TXQDA多线性子空间学习及马氏距离匹配的新系统，在VIPeR和PRID450s数据集上验证了有效性。
2023-12-16 cs.AI cs.CV
Person Re-identification in Videos by Analyzing Spatio-Temporal Tubes
NIT Durgapur（印度国家理工学院杜尔加布尔分校）；IIT Bhubaneswar（印度理工学院布巴内斯瓦尔分校）；KIST（韩国科学技术研究院）
典型的人员重新识别框架在通常在不同条件下收集的图像库中搜索k个最佳匹配。当对视频进行重新识别时，图库可以包含图像序列。然而，这样的过程是耗时的，因为重新识别必须进行多次。在本文中，我们提取的时空序列的帧（称为管）的移动的人，并应用多阶段的处理，以匹配一个给定的查询管通过其他相机记录的存储管的画廊。首先，我们应用一个二进制分类器，以消除嘈杂的图像从输入查询管。在下一步中，我们使用基于关键姿势检测的查询最小化。这通过删除冗余帧减少了查询管道的长度。最后，一个3阶段的分层重新识别框架被用来根据匹配分数对输出管进行排序。公开的视频重新识别数据集的实验表明，我们的框架是优于国家的最先进的方法。它在多个数据集上对管进行排名，CMC准确度提高了6-8%。此外，我们的方法显着减少了误报的数量。一个新的视频重新识别数据集，命名为基于管道的重新识别视频数据集（TRiViD），旨在帮助重新识别研究社区
2019-02-13 cs.CV
Multigranular Visual-Semantic Embedding for Cloth-Changing Person Re-identification
Tianjin University（天津大学）；Hefei University of Technology（合肥工业大学）
人物再识别（Person Reidentification，ReID）是机器学习和计算机视觉领域的一个研究热点，目前已经提出了许多人物再识别方法，但大多数方法都假设同一个人在短时间内穿着相同的衣服，因此他们的视觉外观必须相似。然而，在实际的监控环境中，一个特定的人有很大的概率在很长一段时间后更换衣服，他们也经常随身携带不同的个人物品。当现有的人员ReID方法应用于这类情况时，几乎所有方法都失败了。到目前为止，只有少数作品集中在换衣服的人ReID任务，但由于它是非常困难的，提取广义和鲁棒的功能，代表不同的衣服的人，他们的性能需要提高。此外，视觉语义信息往往被忽视。为了解决这些问题，本文提出了一种新的多粒度视觉语义嵌入算法（MVSE），将视觉语义信息和人体属性嵌入到网络中，通过学习人体外观的广义特征，有效地解决了服装变化问题。具体而言，为了充分表达一个人的服装变化，采用多粒度特征表示方案（MGR）来关注人的不变部分，然后设计一个布料脱敏网络（CDN）来提高该方法对不同服装的人的特征鲁棒性，其中充分利用了不同的高级人类属性。此外，为了进一步解决不同视角下的姿态变化和遮挡问题，提出了一种部分语义对齐网络（PSA）来获得用于对齐人类属性的视觉语义信息。
2021-08-10 cs.CV
ENTIRe-ID: An Extensive and Diverse Dataset for Person Re-Identification
Yıldız Technical University（伊兹密尔技术大学）；Bogazici University（博加齐大学）
针对行人重识别数据集缺乏广泛性和多样性的问题，提出了包含超445万张图像、覆盖37个摄像头的ENTIRe-ID数据集，以应对领域可变性和模型泛化挑战，为ReID模型提供真实的训练平台。
2024-05-30 cs.AI cs.CV cs.LG
How important are faces for person re-identification?
Insight SFI Research Centre for Data Analytics（Insight科学基金会数据 analytics研究中心）；Dublin City University（都柏林城市大学）
本文研究了现有的国家的最先进的人的重新识别模型的存在和可见性的人脸的依赖。我们应用人脸检测和模糊算法来创建几个流行的人重新识别数据集的匿名版本，包括Market 1501，DukeMTMC-reID，CUHK 03，Viper和Airport。使用现有的最先进的模型，范围在准确性和计算效率的横截面，我们使用标准指标评估这种匿名化对重新识别性能的影响。也许令人惊讶的是，对mAP的影响非常小，并且通过简单地训练数据的匿名版本而不是原始数据来恢复准确性。这些发现在多个模型和数据集上是一致的。这些结果表明，数据集可以通过模糊面部来安全地匿名化，而不会显著影响人员重新识别系统的性能，并且可以允许在以前存在隐私或数据保护问题的情况下发布新的更丰富的重新识别数据集。
2020-10-13 cs.AI cs.CV cs.LG
Keypoint Promptable Re-Identification
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Université Catholique de Louvain (UCLouvain)（鲁汶大学）；Sportradar（Sportradar公司）
针对多人遮挡场景下的重识别目标歧义问题，提出关键点提示式重识别范式KPR，构建带关键点标注的强遮挡数据集并补充现有基准标注，实验证明该方法在多类遮挡场景下性能超越现有最优水平。
2024-07-25 cs.CV
TextAug: Test time Text Augmentation for Multimodal Person Re-identification
Fogsphere（雾界（Fogsphere））；University of Aberdeen（阿伯丁大学）
本文提出测试时文本增强方法CutMixOut，融合Cutout与CutMix策略，无需训练即可提升多模态行人重识别性能。
2023-12-04 cs.CV cs.LG
Robust Ensemble Person Re-Identification via Orthogonal Fusion with Occlusion Handling
本文针对遮挡场景下的行人重识别问题，提出结合 CNN 与 Transformer 的正交融合集成模型 OFOH，无需人工标注遮挡区域即可提升 rank-1 和 mAP 性能。
2024-03-29 cs.AI cs.CV
MMD-ReID: A Simple but Effective Solution for Visible-Thermal Person ReID
Indian Institute of Science（印度科学理工学院）
学习模态不变特征是可见-热跨模态人员重新识别（VT-ReID）问题的核心，其中查询和图库图像来自不同的模态。现有的作品隐式对齐的方式在像素和特征空间使用对抗学习或精心设计的特征提取模块，严重依赖于领域知识。我们提出了一个简单但有效的框架，MMD-ReID，减少了模态差距的明确差异减少约束。MMD-ReID的灵感来自最大平均离散度（MMD），这是一种广泛使用的假设检验统计工具，用于确定两个分布之间的距离。MMD-ReID使用一种新的基于边缘的公式来匹配可见光和热样本的类条件特征分布，以最小化类内距离，同时保持特征的可辨别性。MMD-ReID在架构和损失公式方面是一个简单的框架。我们进行了大量的实验，以定性和定量地证明MMD-ReID在对齐边缘和类条件分布方面的有效性，从而学习模态独立和身份一致的特征。该框架在SYSU-MM 01和RegDB数据集上的性能明显优于最先进的方法。代码将在https://github.com/vcl-iisc/MMD-ReID上发布
2021-11-09 cs.CV cs.LG eess.IV
A Semantic-aware Attention and Visual Shielding Network for Cloth-changing Person Re-identification
Key Laboratory of Computer Vision and System, Ministry of Education, Tianjin University of Technology（天津理工大学计算机视觉与系统教育部重点实验室）；School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机与信息工程学院）
提出语义感知注意力与视觉遮挡网络（SAVS），通过屏蔽衣服区域并聚焦人体语义信息，解决换衣行人重识别特征鲁棒性问题，在LTCC和PRCC数据集上显著优于现有方法。
2023-11-17 cs.CV
Attention-based Few-Shot Person Re-identification Using Meta Learning
University of Tennessee（田纳西大学）
在本文中，我们从一个新的角度研究了具有挑战性的任务，人的重新识别，并提出了一个端到端的注意力为基础的架构，通过元学习的Few-Shot重新识别。这项任务的动机在于这样一个事实，即人类通常可以通过注意他们的记忆来识别另一个人，只要看到这个人几次（甚至一次）。另一方面，个人重新识别问题的独特性质，即，每个身份仅存在几个示例，并且在测试期间总是出现新的身份，这要求具有处理新身份的能力的少样本学习体系结构。因此，我们在元学习设置中构建问题，其中基于神经网络的元学习器被训练以优化学习器，即，基于注意力的匹配功能。人的重新识别问题的另一个挑战是不同身份之间的小类间差异和同一身份的大类内差异。为了提高模型的鉴别能力，我们提出了一种新的基于注意力的特征编码方案，该方案考虑了图像的关键视图内和跨视图关系。我们将所提出的基于注意力的再识别元学习模型称为ARM。在具有挑战性的PRID2011、CUHK01、CUHK03和Market1501数据集上，广泛的评估表明了ARM与最先进的模型相比的优势。
2019-03-24 cs.CV
Meta Batch-Instance Normalization for Generalizable Person Re-Identification
Korea Advanced Institute of Science and Technology（韩国科学技术院）
尽管有监督的人重新识别（Re-ID）方法已经显示出令人印象深刻的性能，但它们在看不见的领域中的泛化能力很差。因此，可推广的Re-ID最近引起了越来越多的关注。许多现有的方法都采用了实例规范化技术来减少风格变化，但无法避免的歧视性信息的损失。在本文中，我们提出了一种新的通用的Re-ID框架，命名为Meta批量实例规范化（MetaBIN）。我们的主要思想是通过在元学习管道中预先模拟不成功的泛化场景来泛化归一化层。为此，我们将可学习的批量实例规范化层与元学习相结合，并研究了由批量和实例规范化层引起的挑战性情况。此外，我们通过我们的元训练损失以及循环内部更新方式来多样化虚拟仿真，以提高泛化能力。毕竟，MetaBIN框架可以防止我们的模型过度拟合给定的源样式，并提高对未知领域的泛化能力，而无需额外的数据增强或复杂的网络设计。大量的实验结果表明，该模型在大规模领域泛化Re-ID基准测试和跨领域Re-ID问题上的性能优于现有方法.源代码可在https://github.com/bismex/MetaBIN上获得。
2021-03-29 cs.CV
Beyond Triplet Loss: Meta Prototypical N-tuple Loss for Person Re-identification
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；Columbia University（哥伦比亚大学）
人物重新识别（ReID）的目的是在图像中匹配感兴趣的人。在基于卷积神经网络（CNN）的方法中，损失设计在拉近相同身份的特征和推开不同身份的特征方面起着至关重要的作用。近年来，三重态损失实现了优异的性能，并且在ReID中占主导地位。然而，三元组丢失在每查询优化中仅考虑两个类的三个实例（以锚样本作为查询），并且它实际上等效于两个类分类。缺少丢失设计，该丢失设计使得能够在针对人员ReID的每个查询优化内对多个实例（多个类）进行联合优化。在本文中，我们引入了多类分类损失，即，N元组丢失，以联合考虑多个（N）实例用于每查询优化。这实际上与ReID测试/推理过程更好地保持一致，该过程在多个实例之间进行排名/比较。此外，为了更有效的多类分类，我们提出了一个新的元原型N元组损失。结合多类分类，我们的模型在基准人员ReID数据集上实现了最先进的性能。
2021-09-24 cs.CV
Learning to Generalize Unseen Domains via Memory-based Multi-Source Meta-Learning for Person Re-Identification
Xiamen University（厦门大学）；University of Trento（特伦托大学）；Minnan Normal University（闽南师范大学）
人的重新识别（ReID）的最新进展获得了令人印象深刻的准确性，在监督和无监督学习设置。然而，现有的方法大多需要通过访问数据来训练新领域的新模型。由于公共隐私，新的域数据并不总是可访问的，导致这些方法的适用性有限。本文研究了ReID中的多源领域泛化问题，旨在学习一个模型，该模型可以在只有几个标记源域的未知域上表现良好。为了解决这个问题，我们提出了基于内存的多源元学习（M $^3$ L）框架训练一个通用的模型看不见的领域。具体而言，元学习策略被引入到模拟的训练测试过程中的领域泛化学习更多的泛化模型。为了克服由参数分类器引起的不稳定的元优化，我们提出了一种基于记忆的识别损失，它是非参数的，与元学习相协调。我们还提出了一个Meta批量归一化层（MetaBN），以多样化的元测试功能，进一步建立元学习的优势。实验结果表明，本文提出的M $^3$ L算法能够有效地提高模型对未知领域的泛化能力，并在四个大规模ReID数据集上取得了优于现有方法的效果.
2021-05-07 cs.CV
Joint Noise-Tolerant Learning and Meta Camera Shift Adaptation for Unsupervised Person Re-Identification
Xiamen University（厦门大学）；University of Trento（特伦托大学）；Minjiang University（闽江学院）；Minnan Normal University（闽南师范大学）
本文研究了无监督的人再识别（re-ID）问题，其目的是利用未标记的数据学习判别模型。一种流行的方法是通过聚类获得伪标签，并使用它们来优化模型。虽然这种方法已经显示出有希望的准确性，但它受到1）聚类产生的噪声标签和2）相机移位引起的特征变化的阻碍。前者将导致不正确的优化，从而阻碍模型的准确性。后者将导致将不同相机的类内样本分配给不同的伪标签，使模型对相机变化敏感。在本文中，我们提出了一个统一的框架来解决这两个问题。具体而言，我们提出了一个动态和对称的交叉熵损失（DSCE）来处理噪声样本和相机感知Meta学习算法（MetaCam），以适应相机移位。DSCE算法可以有效地消除噪声样本对聚类结果的影响，并适应聚类过程中聚类结果的变化。MetaCam通过基于摄像机ID将训练数据分为元训练和元测试来模拟跨摄像机约束。通过元训练和元测试的交互梯度，该模型被强制学习相机不变特征。在三个re-ID基准上的实验表明了DSCE和MetaCam的有效性和互补性。我们的方法在完全无监督的re-ID和无监督的域自适应re-ID上都优于最先进的方法。
2021-03-08 cs.CV
The P-DESTRE: A Fully Annotated Dataset for Pedestrian Detection, Tracking, Re-Identification and Search from Aerial Devices
Instituto de Telecomunicações（电信研究所）；University of Beira Interior（贝拉内格罗大学）；India Statistical Institute（印度统计研究所）；JSS Science and Technology University（JSS科技大学）
在过去的几十年里，世界目睹了城市空间安全面临的日益增长的威胁，这增强了能够检测、跟踪和识别人群中感兴趣的人的视觉监控解决方案的相关性。特别是，无人驾驶飞行器（无人机）是这种分析的潜在工具，因为它们提供了一种廉价的数据汇集方式，覆盖了大片和难以到达的地区，同时减少了人力需求。在这种情况下，所有可用的数据集都专门适合于行人重新识别问题，其中每个ID的多相机视图是在一天内拍摄的，并且允许使用服装外观特征进行识别。因此，本文的主要贡献有两个方面：1）我们宣布了基于无人机的P-DESTRE数据集，这是第一个在多天内提供一致的ID注释的数据集，使其适用于极具挑战性的人员搜索问题，即，其中不能可靠地使用服装信息。除此之外，P-DESTRE注释还支持对基于无人机的行人检测、跟踪、重新识别和软生物识别解决方案的研究; 2）我们将最先进的行人检测、跟踪、重新识别和搜索技术在知名监控数据集中获得的结果与相同技术在P-DESTRE数据中获得的有效性进行了比较。这种比较能够确定每个任务中基于无人机的数据中最有问题的数据退化因素，并可用作此类技术后续进展的基线。数据集和经验评估的全部细节可在http://p-destre.di.ubi.pt/上免费获得。
2020-04-06 cs.CV
Meta Clustering Learning for Large-scale Unsupervised Person Re-identification
Eastern Institute for Advanced Study（东方理工高等研究院）；Alibaba Group（阿里巴巴集团）；The University of Sydney（悉尼大学）；National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）
与基于现代聚类算法的全监督ReID方法相比，具有伪标签的无监督人员重新识别（U-ReID）最近达到了具有竞争力的性能。然而，这种基于聚类的方案对于大规模数据集在计算上变得过高。如何有效地利用有限的计算资源来获得更好的U-ReID，这一点尚未得到充分探讨。在本文中，我们首次尝试大规模的U-ReID，并提出了一个“小数据的大任务”的范式称为Meta聚类学习（MCL）。MCL仅通过聚类对整个未标记数据的子集进行伪标记，以节省第一阶段训练的计算。在此之后，学习的聚类中心，在我们的MCL中称为元原型，被视为一个代理注释器，以软注释其余未标记的数据，以进一步抛光模型。为了减轻抛光阶段潜在的噪声标记问题，我们实施了两个精心设计的损失约束，以保证身份内的一致性和身份间的强相关性。对于多个广泛使用的U-ReID基准测试，我们的方法显着节省了计算成本，同时实现了与以前的作品相比相当甚至更好的性能。
2022-08-06 cs.CV
EgoReID Dataset: Person Re-identification in Videos Acquired by Mobile Devices with First-Person Point-of-View
Istanbul Technical University（伊斯坦布尔理工大学）；University of Central Florida（中佛罗里达大学）
近年来，我们已经看到基于视频的人员重新识别（ReID）方法的性能有了很大的提高。然而，这一领域的大部分工作都是处理由具有更宽视野的固定摄像机获取的视频。最近，可穿戴相机和记录设备（如手机）的广泛使用为第一人称视角（Point-of-View，简称POW）视频（自我中心视频）的有趣研究打开了大门。然而，由于诸如由于自我运动、模糊、照明条件的严重变化和视角失真而导致的差的视频质量等因素，对这样的视频的分析是具有挑战性的。为了促进克服这些挑战的研究，本文提供了一个名为EgoReID的新数据集。使用具有非重叠视场的3个移动手机捕获数据集。它包含900个ID和大约10，200个轨道，总共有176，000个检测。该数据集还包含12传感器Meta数据，例如每个视频的摄像机方向、俯仰和旋转。此外，我们提出了一个新的框架，它利用视觉和传感器Meta数据成功地执行人ReID。我们将基于图像的re-ID方法扩展到基于视频的re-ID。在我们的方法中，首先为每个语义区域提取帧级局部特征，然后应用3D卷积对每个语义区域序列中的时间信息进行编码。此外，我们采用传感器Meta数据来预测目标的下一个摄像头及其估计到达时间，这大大提高了我们的ReID性能，因为它大大减少了我们的搜索空间。
2019-09-05 cs.CV
Learning to Learn Transferable Generative Attack for Person Re-Identification
针对行人重识别模型的对抗攻击迁移性不足问题，提出元迁移生成攻击（MTGA）方法，通过元学习模拟跨模型、数据集、测试黑盒攻击任务，提升对抗样本迁移性，实验表明其在跨场景攻击中显著优于现有方法。
2025-04-16 cs.CV
Camera-Invariant Meta-Learning Network for Single-Camera-Training Person Re-identification
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Australian AI Institute, Faculty of Engineering and Information Technology, University of Technology Sydney（悉尼科技大学澳大利亚人工智能学院工程与信息技术学院）
针对单摄像机训练行人重识别缺乏跨摄像机同人监督数据的难题，提出基于元学习的摄像机不变网络，通过跨摄像机模拟和三种损失函数学习鲁棒特征，性能优于现有方法且能提升域泛化能力。
2024-06-21 cs.AI cs.CV
Debiased Dual-Invariant Defense for Adversarially Robust Person Re-Identification
针对行人ReID模型易受对抗攻击且现有防御未解决其独特挑战的问题，提出去偏双不变防御框架，通过数据平衡和双对抗自元防御阶段提升鲁棒性与泛化能力，实验效果优于现有方法。
2025-11-13 cs.CV
Mimic Embedding via Adaptive Aggregation: Learning Generalizable Person Re-identification
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Longfor Inc.（龙湖集团）
领域可推广（DG）人员再识别（ReID）旨在在训练时不访问目标领域数据的情况下跨未知领域进行测试，这是一个现实但具有挑战性的问题。与假设不同领域具有相同模型的方法相比，混合专家模型（MoE）利用多个特定领域的网络来利用领域之间的互补信息，获得了令人印象深刻的结果。然而，现有的基于MoE的DG ReID方法随着源域数量的增加而遭受较大的模型大小，并且大多数方法忽略了对域不变特征的利用。针对这两个问题，本文提出了一种基于自适应聚合的伪嵌入方法（Meta）。为了避免模型规模过大，Meta中的专家不为每个源域采用分支网络，而是共享除批量归一化层之外的所有参数。除了多个专家之外，Meta还利用了实例规范化（IN）并将其引入到全局分支中，以跨域追求不变特征。同时，Meta通过归一化统计考虑未知目标样本与源域的相关性，并开发了一个聚合模块来自适应地集成多个专家以模仿未知目标域。受益于拟议的一致性损失和情节训练算法，Meta有望模仿嵌入一个真正看不见的目标域。大量的实验证明，Meta超过国家的最先进的DG人的ReID方法的大幅度。我们的代码可在https://github.com/xbq1994/META上获得。
2022-07-21 cs.AI cs.CV
APES: Audiovisual Person Search in Untrimmed Video
Universidad de los Andes（安第斯大学）；Adobe Research（Adobe研究院）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
人类可以说是视频流中最重要的主体之一，许多现实世界的应用，如视频摘要或视频编辑工作流，通常需要自动搜索和检索感兴趣的人。尽管在人的重新识别和检索领域做出了巨大的努力，但很少有作品开发了视听搜索策略。在本文中，我们提出了视听人员搜索数据集（APES），一个新的数据集组成的未修剪的视频，其音频（声音）和视觉（面部）流密集注释。APES包含超过1.9K个标识，标记了36小时的视频，使其成为可用于未经修剪的视听人员搜索的最大数据集。APES的一个关键属性是它包括将面部链接到相同身份的语音片段的密集时间注释。为了展示我们新数据集的潜力，我们提出了一个用于人员检索的视听基线和基准。我们的研究表明，模拟视听线索有利于人们的身份识别。为了实现可重复性并促进未来的研究，数据集注释和基线代码可在https://github.com/fuankarion/audiovisual-person-search上获得
2021-06-03 cs.CV
MGH: Metadata Guided Hypergraph Modeling for Unsupervised Person Re-identification
Zhejiang University（浙江大学）
作为一个具有挑战性的任务，无监督的人ReID的目标是匹配相同的身份与查询图像，不需要任何标记的信息。通常，大多数现有方法仅关注视觉线索，留下潜在有价值的辅助元数据信息（例如，时空背景）未被探索。在现实世界中，这种元数据通常与捕获的图像一起可用，因此在分离几个硬ReID匹配中起着重要作用。考虑到这一动机，我们提出了~ \textbf{MGH}，一种新的无监督的人ReID方法，使用Meta信息构建一个超图的特征学习和标签细化。原则上，超图由相机拓扑感知的超边组成，可以对相机之间的异构数据相关性进行建模。利用超图上的标签传播，所提出的方法能够有效地改进ReID结果，例如纠正错误的标签或平滑噪声标签。给出了改进的结果，我们进一步提出了一个基于内存的列表损失，以近似的方式直接优化平均精度。在三个基准上的大量实验证明了所提出的方法对国家的最先进的有效性。
2021-10-12 cs.AI cs.CV cs.MM
Hierarchical Skeleton Meta-Prototype Contrastive Learning with Hard Skeleton Mining for Unsupervised Person Re-Identification
Nanyang Technological University（南洋理工大学）；The University of British Columbia（不列颠哥伦比亚大学）
本文提出无监督分层骨架元原型对比学习方法Hi-MPC，结合困难骨架挖掘HSM，通过关节、部件、肢体分层建模与元原型一致性学习，在多个数据集上超越现有骨架行人重识别方法。
2023-09-19 cs.AI cs.CV
A Framework to Enhance Generalization of Deep Metric Learning methods using General Discriminative Feature Learning and Class Adversarial Neural Networks
University of Kufa（库法大学）；Ferdowsi University of Mashhad（马什哈德菲尔多西大学）；Hakim Sabzevari University（哈基姆·萨布泽瓦里大学）
度量学习算法的目标是学习一个距离函数，该函数将语义相似的数据项聚集在一起，并将不相似的数据项保持在一定距离。传统的马氏远程学习等价于求一个线性投影。相比之下，提出了深度度量学习（DML）方法，其自动从数据中提取特征并学习从输入空间到语义嵌入空间的非线性变换。近年来，提出了许多DML方法，通过提供新的采样策略或损失函数来提高学习度量的鉴别能力。当训练示例和测试示例都来自同一组类别时，这种方法非常有帮助。然而，它是不太有效的DML的许多应用，如图像检索和个人的重新识别。在这里，DML应该从观察到的类中学习一般的语义概念，并使用它们来从看不见的类别中排名或识别对象。忽略学习表示的泛化能力，只强调学习在观察类上更有区别的嵌入可能会导致过拟合问题。为了解决这个问题，我们提出了一个框架，以提高泛化能力的现有DML方法在零拍摄学习（Zero-Shot Learning，ZRL）设置一般但歧视性的表示学习，并采用类对抗神经网络。为了学习更一般的表示，我们建议在深度神经网络中使用中间层的特征图，并通过注意力机制增强它们的识别能力。此外，类对抗网络被用来执行深层模型，以寻求类不变的特征，用于DML任务。我们评估了我们的工作广泛使用的机器视觉数据集在一个可移植的设置。
2021-06-11 cs.CV cs.IR cs.LG
DetReIDX: A Stress-Test Dataset for Real-World UAV-Based Person Recognition
Instituto de Telecomunicações（电信研究所）；University of Beira Interior（贝拉内尔大学）；J.N.N. College of Engineering（J.N.N. 工程学院）；School of Computational Sciences（计算科学学院）；SRTM University（SRTM 大学）；Istanbul Medipol University（伊斯坦布尔梅迪波尔大学）；SRM Institute of Science and Technology（SRM 科学与技术研究所）
本文提出DetReIDX大规模空地行人压力测试数据集，覆盖三大洲509个身份、1300余万边界框及多时段外观变化，用于揭示现有检测与ReID方法在真实无人机条件下的显著性能退化。
2025-05-07 cs.CV
MetaAge: Meta-Learning Personalized Age Estimators
Tsinghua University（清华大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
不同的人以不同的方式变老。为每个人学习个性化的年龄估计器是年龄估计的一个有前途的方向，因为它可以更好地模拟衰老过程的个性化。然而，大多数现有的个性化方法都缺乏大规模的数据集，这是由于高层次的要求：身份标签和足够的样本，每个人都可以形成一个长期的老化模式。在本文中，我们的目标是学习个性化的年龄估计没有上述要求，并提出了一个元学习方法名为MetaAge的年龄估计。与大多数现有的学习训练集中每个人的个性化估计参数的个性化方法不同，我们的方法学习从身份信息到年龄估计参数的映射。具体来说，我们引入了一个个性化的估计元学习器，它以身份特征作为输入，输出定制的估计参数。通过这种方式，我们的方法在没有上述要求的情况下学习Meta知识，并将学习到的Meta知识无缝地传输到测试集，这使我们能够利用现有的大规模年龄数据集，而无需任何额外的注释。在包括MORPH II，ChaLearn 2015和ChaLearn 2016数据库在内的三个基准数据集上的广泛实验结果表明，我们的MetaAge显着提高了现有个性化方法的性能，并优于最先进的方法。
2022-07-12 cs.CV
MetaDance: Few-shot Dancing Video Retargeting via Temporal-aware Meta-learning
The University of Hong Kong（香港大学）；Tencent AI Lab（腾讯人工智能实验室）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
舞蹈视频重定向的目的是合成一个视频，将舞蹈动作从源视频传输到目标人物。以往的工作需要采集目标人物的几分钟长的视频，上千帧的视频来训练个性化模型。然而，训练好的模型只能生成同一个人的视频。为了解决这些局限性，最近的工作解决了Few-Shot跳舞视频重定向，它通过利用几帧视频来学习合成看不见的人的视频。在实践中，给定一个人的几帧，这些工作只是将它们视为一批没有时间相关性的单个图像，从而生成视觉质量低的时间不连贯的舞蹈视频。在这项工作中，我们将一个人的几个帧建模为一系列舞蹈动作，其中每个动作包含两个连续的帧，以提取这个人的外观模式和时间动态。我们提出了MetaDance，它利用时间感知元学习来通过舞蹈动作的合成来优化模型的初始化，这样经过元训练的模型就可以有效地调整为增强视觉质量和增强时间稳定性，从而为看不见的人提供几帧。广泛的评价表明，我们的方法有很大的优越性。
2022-01-13 cs.CV
Domain-Specific Priors and Meta Learning for Few-Shot First-Person Action Recognition
Microsoft（微软）；Technische Universität München（慕尼黑工业大学）；Retrocausal, Inc.（Retrocausal公司）
缺乏带有注释的大规模真实数据集使得迁移学习成为视频活动理解的必要条件。我们的目标是开发一种有效的方法，Few-Shot迁移学习的第一人称动作分类。我们利用独立训练的本地视觉线索来学习表示，这些表示可以从提供原始动作标签的源域转移到仅使用少数示例的不同目标域。我们采用的视觉线索包括对象-对象的相互作用，手握和运动的区域内的手的位置的函数。我们采用了一个基于元学习的框架来提取部署的视觉线索的独特和域不变的组件。这使得动作分类模型能够跨使用不同场景和动作配置捕获的公共数据集进行传输。我们提出了我们的迁移学习方法的比较结果，并报告了在类间和数据集间迁移方面优于最先进的动作分类方法的结果。
2021-12-07 cs.CV
CAMeL: Cross-modality Adaptive Meta-Learning for Text-based Person Retrieval
School of Computer Engineer and Science, Shanghai University（上海大学计算机工程与科学学院）
针对合成数据领域偏差损害预训练模型可扩展性的问题，提出跨模态自适应元学习框架CAMeL，通过动态错误样本记忆单元和自适应双速更新策略增强泛化能力，在多个真实基准上达到SOTA。
2025-04-26 cs.CV cs.MM
Vision based body gesture meta features for Affective Computing
Hughes Hall（休斯学院）
早期发现心理困扰是有效治疗的关键。诸如抑郁症之类的痛苦的自动检测是一个活跃的研究领域。目前的方法利用声音，面部和身体形态。其中，身体形态是研究最少的，部分原因是难以从视频中提取身体表征，部分原因是缺乏可行的数据集。现有的身体模态方法使用表情的自动分类来将身体语言表示为一系列特定的表情，很像自然语言中的单词。在这篇论文中，我提出了一种新的类型的功能，在身体形态，表示Meta信息的手势，如速度，并用它来预测非临床抑郁症的标签。这与现有的工作不同，它将整体行为表示为一小组来自人的运动的聚合Meta特征。在我的方法中，我从视频中提取姿势估计，检测身体部位内的手势，从各个手势中提取Meta信息，最后聚合这些特征以生成用于预测任务的小特征向量。我介绍了一个新的数据集的65个视频记录的采访与自我评估的痛苦，个性和人口统计标签。该数据集能够开发在遇险检测任务中利用全身的特征。我评估了我新引入的元特征，用于预测抑郁、焦虑、感知压力、躯体压力、五项标准人格测量和性别。使用这些特征的基于线性回归的分类器在我的新数据集中预测抑郁症的F1得分达到82.70%。
2020-02-10 cs.CV cs.HC
MetaScript: Few-Shot Handwritten Chinese Content Generation via Generative Adversarial Networks
SJTU（上海交通大学）
提出MetaScript系统，利用少样本学习和生成对抗网络，从少量风格参考生成保留个人手写风格的中文内容，在识别准确率等指标上表现优异。
2023-12-25 cs.AI cs.CV
