Hi-CMD: Hierarchical Cross-Modality Disentanglement for Visible-Infrared Person Re-Identification
Korea Advanced Institute of Science and Technology（韩国科学技术院）
可见光-红外人脸识别是夜间监控中的一项重要任务，因为可见光摄像机在恶劣的光照条件下很难捕捉到有效的外观信息。与仅处理模态内差异的传统人员重新识别相比，VI-ReID遭受由不同类型的成像系统引起的额外的跨模态差异。为了减少内部和跨模态的差异，我们提出了一个分层的跨模态解开（Hi-CMD）的方法，它自动解开ID的歧视性因素和ID排除的因素从可见光热图像。我们只使用ID判别因子进行鲁棒的跨模态匹配，而不使用ID排除因子，如姿势或照明。为了实现我们的方法，我们引入了一个ID保持的人的图像生成网络和分层特征学习模块。我们的生成网络通过生成具有不同姿势和照明的新的跨模态图像来学习解纠缠表示，同时保留一个人的身份。同时，特征学习模块使我们的模型能够显式地提取可见光-红外图像之间的共同ID鉴别特征。大量的实验结果表明，我们的方法优于最先进的方法在两个VI-ReID数据集。源代码可在https://github.com/bismex/HiCMD上获得。
2020-03-14 cs.CV
How Image Generation Helps Visible-to-Infrared Person Re-Identification?
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Northeast Forestry University（东北林业大学）；Peng Cheng Laboratory（鹏城实验室）
与可见光-可见光（V2 V）人物再识别（ReID）相比，可见光-红外（V2 I）人物再识别任务由于训练样本不足和跨模态差异大而更具挑战性。为此，我们提出了Flow 2Flow，这是一个统一的框架，可以联合实现V2 I人员ReID的训练样本扩展和跨模态图像生成。具体来说，Flow 2Flow学习从可见光图像域和红外域到共享的各向同性高斯域的双射变换，分别使用基于可逆可见光流的生成器和红外生成器。使用Flow 2Flow，我们能够通过从潜在高斯噪声到可见光或红外图像的变换来生成伪训练样本，并通过从现有模态图像到潜在高斯噪声到缺失模态图像的变换来生成跨模态图像。为了生成的图像的身份对齐和模态对齐的目的，我们开发了对抗训练策略来训练Flow 2Flow。具体来说，我们设计了一个图像编码器和一个模态解码器为每一个模态。图像编码器通过身份对抗训练鼓励生成的图像与相同身份的真实图像相似，并且模态识别器通过模态对抗训练使生成的图像与真实图像模态不可区分。在SYSU-MM 01和RegDB上的实验结果表明，训练样本扩展和跨模态图像生成可以显着提高V2 I ReID的准确性。
2022-10-25 cs.CV
Bridging the Distribution Gap of Visible-Infrared Person Re-identification with Modality Batch Normalization
Guangzhou University（广州大学）；University of Macau（澳门大学）
可见光-红外跨模态人物再识别（VI-ReID）是一项具有挑战性的跨模态图像检索任务，其目标是在可见光和红外模态之间匹配人物图像。大多数现有的工作集成批量归一化层到他们的神经网络，但我们发现，批量归一化层会导致两种类型的分布差距：1）小批量间分布差距-每个小批量之间的相同模态的分布差距; 2）小批量内模态分布差距-同一小批量内不同模态的分布差距。为了解决这些问题，我们提出了一个新的批量规范化层称为模态批量归一化（MBN），它规范化每个模态子小批量，而不是整个小批量，并可以减少这些分布差距显着。大量的实验表明，我们的MBN能够提高VI-ReID模型的性能，即使使用不同的数据集，骨干和损失。
2021-03-08 cs.CV
Spectral Enhancement and Pseudo-Anchor Guidance for Infrared-Visible Person Re-Identification
Beijing Information Science And Technology University（北京信息科技大学）；Beijing Normal University（北京师范大学）；Nanjing University（南京大学）；University of Oxford（牛津大学）
本文提出SEPG-Net，通过频域与灰度空间的光谱增强和伪锚引导双向聚合损失，有效弥合红外与可见光模态差异，提升VI-ReID性能。
2025-01-02 cs.CV cs.LG eess.IV
MMD-ReID: A Simple but Effective Solution for Visible-Thermal Person ReID
Indian Institute of Science（印度科学理工学院）
学习模态不变特征是可见-热跨模态人员重新识别（VT-ReID）问题的核心，其中查询和图库图像来自不同的模态。现有的作品隐式对齐的方式在像素和特征空间使用对抗学习或精心设计的特征提取模块，严重依赖于领域知识。我们提出了一个简单但有效的框架，MMD-ReID，减少了模态差距的明确差异减少约束。MMD-ReID的灵感来自最大平均离散度（MMD），这是一种广泛使用的假设检验统计工具，用于确定两个分布之间的距离。MMD-ReID使用一种新的基于边缘的公式来匹配可见光和热样本的类条件特征分布，以最小化类内距离，同时保持特征的可辨别性。MMD-ReID在架构和损失公式方面是一个简单的框架。我们进行了大量的实验，以定性和定量地证明MMD-ReID在对齐边缘和类条件分布方面的有效性，从而学习模态独立和身份一致的特征。该框架在SYSU-MM 01和RegDB数据集上的性能明显优于最先进的方法。代码将在https://github.com/vcl-iisc/MMD-ReID上发布
2021-11-09 cs.CV cs.LG eess.IV
MSCMNet: Multi-scale Semantic Correlation Mining for Visible-Infrared Person Re-Identification
School of Computer, Jiangsu University of Science and Technology（江苏科技大学计算机学院）；School of Computer Science and Communication Engineering, Jiangsu University（江苏大学计算机科学与通信工程学院）；School of Artificial Intelligence, Hebei University of Technology（河北工业大学人工智能学院）；School of Digital Media, Jiangnan University（江南大学数字媒体学院）
针对可见光-红外行人重识别中模态信息利用不充分的问题，提出MSCMNet网络，通过设计多尺度信息关联挖掘块、四流特征提取器和四元中心三元组损失来提取多尺度语义特征并减少信息损失，在多个数据集上取得了最高准确率。
2025-04-01 cs.CV cs.LG
Homogeneous and Heterogeneous Relational Graph for Visible-infrared Person Re-identification
Nanjing University of Posts and Telecommunications（南京邮电大学）；Nanjing University Of Aeronautics And Astronautics（南京航空航天大学）；Wuhan University（武汉大学）
可见光-红外人再识别（VI Re-ID）旨在匹配可见光和红外模态之间的人图像。现有的VI Re-ID方法主要集中在提取图像中的同质结构关系，即局部特征之间的关系，而忽略了不同模态中局部特征的异质相关性。异构结构化关系对于学习有效的身份表示和执行跨模态匹配至关重要。在本文中，我们模型的同质结构关系的模态特定的图内的个别模态，然后挖掘异构结构的相关性与模态特定的图的可见光和红外模态。首先，同质结构图（HOSG）挖掘一对一。任意节点（局部特征）与可见光或红外图像内的所有其余节点之间的剩余关系，以学习有效的身份表示。其次，异构图对齐模块（HGAM）通过路由搜索的方式进一步度量两种模态局部节点特征之间的关系边强度，以发现跨模态的身份一致对应关系。第三，我们提出了跨模态互相关（CMCC）损失提取模态不变性的特征表示的可见光和红外图像。CMCC通过计算模态间的互信息，排除语义冗余。在SYSU-MM 01和RegDB数据集上的大量实验表明，我们的方法优于最先进的方法，分别获得了13.73%和9.45%的Rank 1/mAP。该代码可在https://github.com/fegnyujian/Homogeneous-and-Heterogeneous-Relational-Graph上获得。
2021-12-02 cs.CV
BIT: Matching-based Bi-directional Interaction Transformation Network for Visible-Infrared Person Re-Identification
本文提出BIT网络，通过显式建模可见与红外图像对的交互，解决VI-ReID中模态差异大和分布偏移的问题，实验表明其在重识别任务中表现优异。
2026-03-15 cs.CV
Modality-Transition Representation Learning for Visible-Infrared Person Re-Identification
Beihang University（北航大学）
针对可见光-红外行人重识别中的模态差异问题，提出基于模态转换表示学习（MTRL）的新型框架，利用中间生成图像作为传输媒介并结合对比损失和正则化损失对齐跨模态特征，无需额外参数即可提升推理速度和性能。
2025-11-04 cs.CV
Parameter Sharing Exploration and Hetero-Center based Triplet Loss for Visible-Thermal Person Re-Identification
Chongqing University（重庆大学）
本文重点研究了可见-热跨模态人物再识别（VT Re-ID）任务，其目标是在白天可见模态和夜间热模态之间匹配人物图像。双流网络通常通过学习多模态人特征来解决跨模态差异，这是VT Re-ID最具挑战性的问题。本文探讨了双流网络的参数应该共享多少，这在现有文献中还没有得到很好的研究。通过对ResNet 50模型进行很好的分割，分别构建了模态特定的特征提取网络和模态共享的特征嵌入网络，实验验证了双流网络参数共享对VT Re-ID的影响。此外，在部分级人物特征学习框架下，我们建议异性恋基于中心的三重损失，通过将锚与所有其他样本的比较替换为锚中心，所有其他中心。该方法以极其简单的方法，显著提高了VT Re-ID性能。在两个数据集上的实验结果表明，我们提出的方法明显优于最先进的方法，特别是在RegDB数据集上实现了优异的性能，rank 1/mAP/mINP 91.05%/83.28%/68.84%。它可以成为VT Re-ID的新基线，具有简单但有效的策略。
2020-12-04 cs.CV
CycleTrans: Learning Neutral yet Discriminative Features for Visible-Infrared Person Re-Identification
Xiamen University（厦门大学）；Peng Cheng Laboratory（鹏城实验室）；Tencent Youtu Lab（腾讯优图实验室）
可见-红外人员重新识别（VI-ReID）是一项在可见光和红外模态之间匹配相同个体的任务。它的主要挑战在于由在不同光谱上操作的相机引起的模态间隙。现有的VI-ReID方法主要集中在学习跨模态的一般特征，通常以牺牲特征的可辨别性为代价。为了解决这个问题，我们提出了一种新的基于循环构造的网络，用于中性但有区别的特征学习，称为CycleTrans。具体来说，CycleTrans使用一个轻量级的知识捕获模块（KCM），以捕获丰富的语义从模态相关的特征图根据伪查询。然后，部署离散建模模块（DMM），根据模态无关的原型将这些特征转换为中性特征。为了保证特征的可区分性，另外两个KCM被进一步部署用于特征循环构造。通过循环构造，我们的方法可以学习有效的中性特征的可见光和红外图像，同时保持其显着的语义。在SYSU-MM 01和RegDB数据集上进行的大量实验验证了CycleTrans相对于一系列最先进方法的优点，SYSU-MM 01中的rank-1为+4.57%，RegDB中的rank-1为+2.2%。
2022-08-21 cs.CV
Frequency Domain Modality-invariant Feature Learning for Visible-infrared Person Re-Identification
University of Science and Technology of China（中国科学技术大学）
针对可见光-红外行人重识别的模态差异问题，本文提出FDMNet框架，通过在图像级和特征级增强振幅成分并抑制模态特定成分，有效减小频域模态差异，在SYSU-MM01和RegDB基准上取得优异性能。
2024-01-04 cs.CV
Shape-Erased Feature Learning for Visible-Infrared Person Re-Identification
Sun Yat-sen University（中山大学）
针对可见光-红外行人重识别的模态鸿沟问题，提出形状擦除特征学习范式，通过在正交子空间解耦形状特征与形状擦除特征以最大化条件互信息，增强模态共享表示多样性，并在多个数据集上验证有效。
2023-04-09 cs.CV
Strong but Simple Baseline with Dual-Granularity Triplet Loss for Visible-Thermal Person Re-Identification
Chongqing University（重庆大学）
在这封信中，我们提出了一个概念上简单而有效的双粒度三重损失的可见热的人重新识别（VT-ReID）。通常，ReID模型总是使用基于样本的三重丢失和来自细粒度级别的识别丢失进行训练。当引入基于中心的损失时，可以从粗粒度级别鼓励类内紧凑性和类间区分。我们提出的双粒度三重丢失很好地组织了基于样本的三重丢失和基于中心的三重丢失在一个分层的细到粗粒度的方式，只是一些简单的配置的典型操作，如池化和批量归一化。在RegDB和SYSU-MM 01数据集上的实验表明，只有全局特征，我们的双粒度三元组丢失可以显着提高VT-ReID的性能。它可以成为一个强大的VT-ReID基线，以促进未来高质量的研究。
2021-03-10 cs.CV
Diverse Embedding Expansion Network and Low-Light Cross-Modality Benchmark for Visible-Infrared Person Re-identification
Xiamen University（厦门大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
对于可见光-红外人再识别（VIReID）任务，主要挑战之一是可见光（VIS）和红外（IR）图像之间的模态间隙。然而，训练样本通常是有限的，而模态差距太大，这导致现有的方法不能有效地挖掘多样化的跨模态线索。为了解决这个问题，我们在嵌入空间中提出了一种新的增强网络，称为多样嵌入扩展网络（DEEN）。DEEN算法能够有效地生成不同的嵌入，以学习信息特征表示，并减少VIS和IR图像之间的模态差异。此外，VIReID模型可能会受到剧烈照明变化的严重影响，而所有现有的VIReID数据集都是在没有显著光线变化的情况下在足够的照明下捕获的。因此，我们提供了一个低光交叉模态（LLCM）数据集，其中包含由9个RGB/IR相机捕获的1，064个身份的46，767个边界框。在SYSU-MM 01、RegDB和LLCM数据集上的大量实验表明，所提出的DEEN方法优于其他几种最先进的方法。代码和数据集发布于：https://github.com/ZYK100/LLCM
2023-03-25 cs.CV
MRCN: A Novel Modality Restitution and Compensation Network for Visible-Infrared Person Re-identification
Xiamen University（厦门大学）；Xidian University（西安电子科技大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
可见光-红外人脸再识别（VI-ReID）是一项具有挑战性的任务，其目标是在不同光谱中搜索身份，这是由于可见光和红外图像之间存在很大的跨模态差异。减少差异的关键是过滤掉身份无关的干扰，并有效地学习模态不变的人表示。在本文中，我们提出了一种新的模态恢复和补偿网络（MRCN），以缩小这两种模态之间的差距。具体来说，我们首先通过使用两个实例归一化（IN）层来减少模态差异。接下来，为了减少IN层对去除鉴别信息的影响并减少模态差异，我们提出了模态恢复模块（MRM）和模态补偿模块（MCM），分别从去除的信息中提取模态无关和模态相关的特征。然后，使用与模态无关的特征来恢复标准化的可见光和红外特征，而使用与模态相关的特征来补偿另一模态的特征。此外，为了更好地理清模态相关特征和模态无关特征，我们提出了一种新的中心四元组因果（CQC）损失，以鼓励网络有效地学习模态相关特征和模态无关特征。在具有挑战性的SYSU-MM 01和RegDB数据集上进行了大量的实验，以验证我们的方法的优越性。更值得注意的是，我们的方法在RegDB数据集上的Rank-1和mAP方面分别达到了95.1%和89.2%。
2023-03-26 cs.CV
Learning Modal-Invariant and Temporal-Memory for Video-based Visible-Infrared Person Re-Identification
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Kunming University of Science and Technology（昆明理工大学）；The Chinese University of HongKong, Shenzhen（香港中文大学（深圳））
由于跨模态检索技术，可见红外（RGB-IR）的人重新识别（Re-ID）是通过将他们投射到一个共同的空间，允许人重新ID在24小时监控系统中实现。然而，相对于探针到图库，几乎所有现有的基于RGB-IR的跨模态人Re-ID方法都集中在图像到图像的匹配上，而包含更丰富的空间和时间信息的视频到视频的匹配仍然没有得到充分的探索。本文主要研究了基于视频的跨模态人物Re-ID方法。为了实现这一任务，构建了一个基于视频的RGB-IR数据集，其中收集了927个有效身份，463，259帧和21，863个轨迹，由12个RGB/IR摄像机捕获。基于我们构建的数据集，我们证明了随着tracklet中帧的增加，性能确实得到了更多的增强，证明了视频到视频匹配在RGB-IR人Re-ID中的重要性。此外，进一步提出了一种新的方法，该方法不仅将两个模态投影到模态不变子空间，而且还提取了运动不变的时间记忆。由于这两种策略，我们基于视频的跨模态人员Re-ID获得了更好的结果。代码和数据集发布在：https://github.com/VCMproject233/MITML。
2022-08-04 cs.CV
Modality-Aware Bias Mitigation and Invariance Learning for Unsupervised Visible-Infrared Person Re-Identification
本文提出模态感知的偏见缓解与不变性学习方法，通过改进的Jaccard距离和分割与对比策略，在无监督可见-红外人重识别中实现更可靠的跨模态关联和判别性表示学习。
2025-12-08 cs.CV
Dual Gaussian-based Variational Subspace Disentanglement for Visible-Infrared Person Re-Identification
Leiden University（莱顿大学）；KU Leuven University（鲁汶大学）
可见-红外人员再识别是夜间智能监控系统中一项具有挑战性的重要任务。除了RGB-RGB人重新识别主要克服的模态内方差之外，VI-ReID还遭受由固有的异质间隙引起的额外模态间方差。为了解决这个问题，我们提出了一个精心设计的双高斯变分自动编码器（DG-VAE），它解开身份可辨别和身份模糊的跨模态特征子空间，以下混合高斯（MoG）先验和标准高斯分布先验，分别。解开跨模态的身份可辨别的功能，导致更强大的检索VI-ReID。为了实现像传统VAE那样的高效优化，我们从理论上推导了监督设置下的MoG先验的两个变分推理项，这不仅限制了身份可区分的子空间，使模型显式地处理跨模态身份内方差，而且还使MoG分布能够避免后验崩溃。此外，我们提出了一个三重态交换重建（TSR）策略，以促进上述解纠缠过程。大量的实验表明，我们的方法优于两个VI-ReID数据集上的最先进的方法。
2020-08-06 cs.CV
Homogeneous and Heterogeneous Consistency progressive Re-ranking for Visible-Infrared Person Re-identification
本文提出HHCR方法，通过同质和异质一致性重排序解决跨模态人重识别中的模态差异问题，实验表明其方法具有泛化能力并达到最优性能。
2026-03-17 cs.AI cs.CV
Visible-Infrared Person Re-Identification via Patch-Mixed Cross-Modality Learning
Wuhan University（武汉大学）；School of Computer Science（计算机学院）
本文提出补丁混合跨模态框架PMCM，通过将同一行人可见光与红外图像切块拼接并引入部件对齐与模态学习损失，缓解模态差异与不平衡问题，在VI-ReID任务上取得最优性能。
2024-04-30 cs.CV
Base-Detail Feature Learning Framework for Visible-Infrared Person Re-Identification
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；GuiZhou Education University（黔zhou教育学院）
针对可见光-红外行人重识别中模态差异大、细节信息利用不足的问题，提出基-细节特征学习框架BDLF，通过无损细节提取、互补基嵌入生成及相关性约束，同时利用模态共享与模态特有信息，在多个数据集上验证了有效性。
2025-05-06 cs.CV
Pose-guided Visible Part Matching for Occluded Person ReID
UBTECH Sydney AI Center, The University of Sydney（悉尼大学优必选悉尼人工智能中心）；Dalian University of Technology（大连理工大学）；Pengcheng Lab（鹏城实验室）
被遮挡人的重新识别是一项具有挑战性的任务，因为外观随着各种障碍物而变化，特别是在人群场景中。为了解决这个问题，我们提出了一个姿势引导的可见部分匹配（PVPM）方法，共同学习的歧视性功能与姿势引导的注意力和自我挖掘的部分可见性在一个端到端的框架。具体而言，所提出的PVPM包括两个关键组件：1）用于利用更具区分性的局部特征的部件特征池化的姿势引导注意力（PGA）方法; 2）估计部件是否遭受遮挡的姿势引导可见性预测器（PVP）。由于被遮挡部分没有地面真实训练标注，我们转而利用正对中部分对应的特性，通过图匹配自挖掘对应分数。然后将生成的对应性分数用作可见性预测器（PVP）的伪标签。实验结果表明，所提出的方法达到了竞争力的性能，国家的最先进的方法。源代码可在https://github.com/hh23333/PVPM上获得
2020-04-01 cs.CV
Frequency Domain Nuances Mining for Visible-Infrared Person Re-identification
Xiamen University（厦门大学）；Northwestern Polytechnical University（西北工业大学）
针对可见光-红外行人重识别中忽略频率信息的问题，提出频域细节挖掘方法（FDNM），通过振幅引导相位模块和振幅细节挖掘模块协同探索跨模态频域细节，有效减小模态差异，在SYSU-MM01数据集上Rank-1和mAP分别提升5.2%和5.8%。
2024-01-10 cs.CV
On Exploring Pose Estimation as an Auxiliary Learning Task for Visible-Infrared Person Re-identification
由于可见光和红外模式之间存在很大的差异，可见-红外人员重新识别（VI-ReID）一直具有挑战性。大多数开创性的方法通过学习模态共享和ID相关特征来减少类内差异和模态间差异。然而，一个明确的模态共享线索，即，身体关键点，在VI-ReID中尚未得到充分利用。此外，现有的特征学习范式对全局特征或分区特征条带施加了约束，忽略了全局特征和局部特征的预测一致性。为了解决上述问题，我们利用姿态估计作为辅助学习任务，以协助端到端框架中的VI-ReID任务。通过以互利的方式联合训练这两个任务，我们的模型学习更高质量的模态共享和ID相关特征。在此基础上，全局特征和局部特征的学习通过层次特征约束（HFC）实现无缝同步，全局特征通过知识蒸馏策略监督局部特征的学习。在两个基准VI-ReID数据集上的实验结果表明，该方法通过显着的裕度一致地改进了最先进的方法。具体来说，我们的方法实现了近20个$\%$ mAP的改进，对国家的最先进的方法在RegDB数据集。我们有趣的发现突出了VI-ReID中辅助任务学习的使用。
2022-02-23 cs.CV
CMTR: Cross-modality Transformer for Visible-infrared Person Re-identification
School of Computer and Information Technology, Beijing Jiaotong University（北京交通大学计算机与信息技术学院）；JD AI Research（京东人工智能研究院）
针对可见光-红外跨模态行人重识别任务，提出首个基于Transformer的CMTR方法，通过设计模态嵌入融合token信息并提出模态感知增强损失，显著提升了跨模态特征判别力，性能超越现有CNN方法。
2021-10-18 cs.CV
CKDA: Cross-modality Knowledge Disentanglement and Alignment for Visible-Infrared Lifelong Person Re-identification
Zhenyu Cui, Jiahuan Zhou, Yuxin Peng（作者）
针对可见光-红外终身行人重识别中模态知识干扰问题，提出CKDA方法，通过解耦对齐模态知识缓解灾难性遗忘，在四个基准数据集上验证了有效性与优越性。
2025-11-19 cs.CV
MFEN:Multi-Frequency Expert Network for Visible-Infrared Person Re-ID
University of Science and Technology of China（中国科学技术大学）；Anhui Province Key Laboratory of Digital Security（安徽省数字安全重点实验室）；The Chinese University of Hong Kong（香港中文大学）
提出多频专家网络（MFEN），通过多频调制和混合专家设计自适应组合不同频带，结合随机频率增强和频率辅助优化，解决可见光-红外图像模态差异问题。
2026-06-11 cs.CV
Video-based Visible-Infrared Person Re-Identification with Auxiliary Samples
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出基于视频的可见光-红外行人重识别方法，构建了包含时间信息和辅助集的BUPTCampus数据集，并采用双流框架、GAN、课程学习及时间k-reciprocal重排序策略，显著优于现有方法。
2023-11-27 cs.CV
Exploring Invariant Representation for Visible-Infrared Person Re-Identification
Xiamen University（厦门大学）；Pensees Pte Ltd.（澎思科技私人有限公司）；Pinterest（Pinterest公司）；Tencent Technology (Shanghai) Co. Ltd（腾讯科技（上海）有限公司）
跨光谱的身份识别是将不同光谱中的行人身份关联起来的一种方法，其主要挑战是模态差异。在本文中，我们解决了这个问题，从图像级和特征级的一个端到端的混合学习框架命名为鲁棒特征挖掘网络（RFM）。特别是，我们观察到，在不同波长下拍摄的照片中，同一表面的反射强度可以使用线性模型进行转换。此外，我们发现不同表面上的可变线性因子是引发模态差异的主要原因。我们将这样的反射观察到一个图像级的数据增强提出的线性变换生成器（LTG）。此外，在特征级，我们引入了交叉中心损失来探索更紧凑的类内分布和模态感知空间注意力，以更有效地利用纹理区域。在两个标准的交叉谱人再识别数据集上的实验结果，即，RegDB和SYSU-MM 01已展示了最先进的性能。
2023-02-02 cs.CV
Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person Re-Identification
Inception Institute of Artificial Intelligence（起源人工智能研究所）；Indiana University（印第安纳大学）；University of Rochester（罗切斯特大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
可见红外行人再识别是一个具有挑战性的跨模态行人检索问题。由于大的类内变化和跨模态差异与大量的样本噪声，它是很难学习的区别部分功能。现有的VI-ReID方法倾向于学习全局表示，这对噪声图像具有有限的可辨别性和弱鲁棒性。在本文中，我们提出了一种新的动态双注意聚集（DDAG）学习方法，通过挖掘内部通道部分级别和跨通道图形级别的上下文线索VI-ReID。我们提出了一个模态内加权部分注意模块，通过将领域知识强加于部分关系挖掘来提取有区别的部分聚集特征。为了增强对噪声样本的鲁棒性，我们引入了跨模态图结构化注意，以加强跨两种模态的上下文关系的表示。我们还开发了一个无参数的动态双重聚合学习策略，以渐进的联合训练方式自适应地整合这两个组件。大量的实验表明，DDAG优于国家的最先进的方法在各种设置。
2020-07-18 cs.CV
Learning Commonality, Divergence and Variety for Unsupervised Visible-Infrared Person Re-identification
Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能研究院）；Shanghai Innovation Institute（上海创新研究院）；School of Informatics, Xiamen University（厦门大学信息学院）；East China Normal University（华东师范大学）
针对无监督可见光-红外行人重识别中聚类中心只关注共性的问题，提出结合困难原型、动态原型与渐进式对比学习的方法，以刻画分歧与多样性，并在SYSU-MM01和RegDB上验证有效。
2024-10-24 cs.CV
Extended Cross-Modality United Learning for Unsupervised Visible-Infrared Person Re-identification
School of Electronics and Information Technology, Sun Yat-sen University（中山大学电子与信息工程学院）；School of Science and Engineering, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）理工学院）
本文提出扩展跨模态联合学习框架ECUL，通过整合模态内/间聚类与实例选择，并引入EMCC和TSMem模块，在无监督可见光-红外行人重识别中学习可靠的模态不变特征，性能优于部分有监督方法。
2024-12-26 cs.CV cs.LG eess.IV
Prototype-Driven Multi-Feature Generation for Visible-Infrared Person Re-identification
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；The art & science college, Boston University（波士顿大学文理学院）
针对可见-红外行人重识别中的模态差异问题，提出PDM框架，通过多特征生成、可学习原型对齐和余弦异质性损失提升性能，并在SYSU-MM01与LLCM上达到SOTA。
2024-09-09 cs.CV
PartMix: Regularization Strategy to Learn Part Discovery for Visible-Infrared Person Re-identification
Yonsei University（延世大学）；Korea University（高丽大学）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）
针对基于部位的可见光-红外行人重识别（VI-ReID）模型，提出新型数据增强技术PartMix，通过跨模态混合部位描述符合成正负样本并结合对比学习与基于熵的挖掘策略进行正则化，有效防止过拟合并提升了模型性能。
2023-04-04 cs.CV
Weakly Supervised Visible-Infrared Person Re-Identification via Heterogeneous Expert Collaborative Consistency Learning
Faculty of Information Engineering and Automation, Kunming University of Science and Technology（昆明理工大学信息工程与自动化学院）；School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）
本文针对跨模态标签缺失的可见光-红外行人重识别问题，提出异构专家协作一致性学习框架，通过单模态标签训练专家并融合跨模态预测，在弱监督下建立鲁棒身份对应关系，显著提升跨模态识别性能。
2025-07-17 cs.CV
Prototype Matters: Modality-unified Prototype Self-distillation for Unsupervised Visible-infrared Person Re-identification
Nanjing Normal University（南京师范大学）；Zhejiang University（浙江大学）
本文提出模态统一原型自蒸馏框架，通过联合优化模态内外相似性并利用自原型蒸馏，解决无监督可见光-红外行人重识别的跨模态关联问题。
2026-09-11 cs.CV
CLIP-Driven Semantic Discovery Network for Visible-Infrared Person Re-Identification
Beijing Institute of Technology（北京理工大学）；Nanjing University of Science and Technology（南京理工大学）；Beihang University（北京航空航天大学）；Yunnan University（云南大学）
本文提出CLIP驱动语义发现网络CSDN，通过双模态提示学习与高层语义嵌入弥合可见光-红外模态差异，提升行人重识别性能。
2024-01-12 cs.CV
Towards Homogeneous Modality Learning and Multi-Granularity Information Exploration for Visible-Infrared Person Re-Identification
Huzhou Institute, Zhejiang University（浙江大学湖州研究院）；Zhejiang University（浙江大学）；Guizhou Normal University（贵州师范大学）
针对可见-红外行人重识别的模态差异问题，提出对齐灰度模态将双模态学习转为单模态问题，结合多粒度特征提取网络，在主流数据集上实现跨模态检索性能提升。
2022-04-11 cs.AI cs.CV
An Efficient Framework for Visible-Infrared Cross Modality Person Re-Identification
Istanbul Technical University（伊斯坦布尔技术大学）；MEF University（MEF大学）
可见光-红外交叉模态身份识别（VI-ReId）是弱光或黑暗环境下视频监控的一项重要任务。尽管最近有许多关于可见域（ReId）中的人重新识别的研究，但很少有专门针对VI-ReId的研究。除了ReId和VI-ReId常见的挑战（如姿态/照明变化、背景杂波和遮挡）之外，VI-ReId还面临其他挑战，因为红外图像中没有颜色信息。因此，VI-ReId系统的性能通常低于ReId系统。在这项工作中，我们提出了一个四流框架，以提高VI-ReId的性能。我们使用输入图像的不同表示在每个流中训练单独的深度卷积神经网络。我们希望可以从每个流中学习到不同和互补的功能。在我们的框架中，灰度和红外输入图像用于训练第一个流中的ResNet。在第二流中，使用RGB和三通道红外图像（通过重复红外通道创建）。在剩下的两个流中，我们使用局部模式映射作为输入图像。这些地图是利用本地Zernike矩变换。局部模式图从第三流中的灰度和红外图像以及从最后一个流中的RGB和三通道红外图像获得。我们提高了性能的建议框架，采用重新排名算法进行后处理。我们的研究结果表明，该框架在SYSU-MM 01数据集上的Rank-1/mAP提高了29.79%/30.91%，在RegDB数据集上提高了9.73%/16.36%，大大优于当前最先进的框架。
2020-08-02 cs.CV
Cross-modal Local Shortest Path and Global Enhancement for Visible-Thermal Person Re-Identification
University of Shanghai for Science and Technology（上海理工大学）
在可见-热交叉模态人识别（VT-ReID）任务中，除了考虑人体姿态和遮挡引起的识别难度外，还需要解决不同成像系统引起的模态差异。在本文中，我们提出了跨模态局部最短路径和全局增强（CM-LSP-GE）模块，一个基于局部和全局特征联合学习的双流网络。本文的核心思想是利用局部特征对齐来解决遮挡问题，通过增强全局特征来解决模态差异问题。首先，设计了基于注意力的双流ResNet网络来提取双模态特征并映射到统一的特征空间。然后，为了解决跨模态人的姿态和遮挡问题，将图像水平分割成若干等份，得到局部特征，并利用局部特征中两图间的最短路径实现细粒度局部特征对齐。第三，批量归一化增强模块将全局特征应用于增强策略，实现了不同类之间的差异增强。多粒度丢失融合策略进一步提高了算法的性能。最后，采用局部和全局特征的联合学习机制提高跨模态人物再识别的准确率。在两个典型数据集上的实验结果表明，该模型明显优于目前最先进的方法。特别是在SYSU-MM 01数据集上，我们的模型在Rank-1和mAP的所有搜索项上分别获得了2.89%和7.96%的增益。源代码将很快发布。
2022-06-09 cs.CV
Spectral Aware Softmax for Visible-Infrared Person Re-Identification
Xiamen University（厦门大学）；Peng Cheng Laboratory（鹏城实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Zhengzhou University（郑州大学）；Tencent Technology (Shanghai) Co. Ltd（腾讯科技（上海）有限公司）
可见红外人再识别（VI-ReID）旨在匹配来自不同模态的特定行人图像。尽管存在额外的模态差异，但现有方法仍然遵循softmax损失训练范式，该范式广泛用于单模态分类任务。softmax损失缺乏对明显模态间隙的明确惩罚，这不利地限制了VI-ReID任务的性能上限。在本文中，我们提出了频谱感知的softmax（SA-Softmax）损失，它可以充分探索嵌入空间的模态信息，并具有清晰的可解释性。具体而言，SA-Softmax损失利用基于模态原型的异步优化策略，而不是原始softmax损失中基于身份原型的同步优化。为了鼓励两种模式之间的高度重叠，SA-Softmax通过另一个频谱的原型优化每个样本。在对SA-Softmax算法进行观察和分析的基础上，我们对SA-Softmax算法进行了改进，增加了特征掩码和绝对相似项，以减少模型训练过程中的模糊优化。在RegDB和SYSU-MM 01上进行的广泛实验评估表明，在这种跨模态条件下，SA-Softmax的性能优于最先进的方法。
2023-02-03 cs.CV
Multi-scale Decomposed Convolution Refinement Network for Visible-Infrared Person Re-Identification
School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）；Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing, Xinjiang University（新疆大学丝绸之路多语言认知计算联合国际研究实验室）
针对可见光-红外行人重识别的跨模态差异与判别能力不足问题，提出MDCRNet网络，结合HDCA模块与JDML损失，在SYSU-MM01和RegDB数据集上取得最优性能。
2026-08-18 cs.CV
Parameter Hierarchical Optimization for Visible-Infrared Person Re-Identification
School of Computer Science（计算机学院）；Artificial Intelligence（人工智能学院）；Southwest Jiaotong University（西南交通大学）
针对可见-红外行人重识别的跨模态差异问题，提出参数分层优化范式，结合自适应对齐、自加权对齐模块及跨模态一致性损失，无需全网络训练即可优化参数，性能优于现有方法。
2024-04-11 cs.AI cs.CV
High-Order Structure Based Middle-Feature Learning for Visible-Infrared Person Re-Identification
Xiamen University（厦门大学）；Xiamen University of Technology（厦门理工学院）；University College London（伦敦大学学院）
针对可见光-红外行人重识别中模态差异大、忽略特征高阶结构的问题，提出HOS-Net，通过多模块结合及MRIC损失实现了优于现有方法的性能。
2023-12-14 cs.CV
Transferring Modality-Aware Pedestrian Attentive Learning for Visible-Infrared Person Re-identification
针对可见-红外行人重识别中现有模态补偿方法计算开销高、易引入干扰的问题，提出TMPA模型，通过PedMix区域增强和轻量MFT模块高效学习模态完备特征，在两个基准数据集上验证了有效性。
2023-12-19 cs.AI cs.CV
SFANet: A Spectrum-aware Feature Augmentation Network for Visible-Infrared Person Re-Identification
Guizhou Normal University（贵州师范大学）；Xiamen University（厦门大学）
由于可见光和红外图像之间的模态变化很大，可见光-红外人脸识别是一个具有挑战性的匹配问题。现有的方法通常只使用特征级约束来弥合模态差距，而忽略了像素级的变化。一些方法使用GAN来生成风格一致的图像，但是它破坏了结构信息并且引起相当大的噪声水平。在本文中，我们明确地考虑这些挑战，并制定了一种新的频谱感知功能增强网络命名为SFANet的跨模态匹配问题。具体来说，我们提出了使用灰度谱图像完全取代RGB图像进行特征学习。通过对灰度谱图像的学习，我们的模型可以明显地减少模态差异，并检测不同模态之间的内部结构关系，使其对颜色变化具有鲁棒性。在特征层，我们通过平衡特定和可共享卷积块的数量来改进传统的双流网络，从而保留了特征的空间结构信息。此外，双向三约束顶推排名损失（BTTR）嵌入在所提出的网络，以提高区分度，这有效地进一步提高匹配精度。同时，我们进一步引入了一种有效的双线性批量归一化ID嵌入方法来建模身份特定信息，并在幅度稳定中补偿BTTR损失。在SYSU-MM 01和RegDB数据集上，我们进行了广泛的实验，以证明我们提出的框架的贡献是不可或缺的，并实现了非常有竞争力的VI-ReID性能。
2021-02-24 cs.CV
Modality Unifying Network for Visible-Infrared Person Re-Identification
Nanjing University of Information Science and Technology（南京信息工程大学）；Stanford University（斯坦福大学）；Soochow University（苏州大学）；University of Oulu（奥卢大学）
针对可见-红外行人重识别中跨模态差异大、现有方法易丢失关键信息的问题，提出模态统一网络，通过生成辅助模态、设计身份与模态对齐损失提升识别性能，效果显著优于现有最优方法。
2023-10-05 cs.CV
Cross-Modality Earth Mover's Distance for Visible Thermal Person Re-Identification
可见热人体再识别（VT-ReID）存在通道间差异和身份内差异。分布对齐是VT-ReID的一种流行解决方案，然而，它通常限于身份内变化的影响。在本文中，我们提出了跨模态地球移动器的距离（CM-EMD），可以减轻模态对齐过程中的身份内的变化的影响。CM-EMD选择最优传输策略，并将高权重分配给具有较小身份内变化的对。通过这种方式，该模型将专注于减少模态间差异，同时较少关注身份内变化，从而实现更有效的模态对齐。此外，我们引入了两种技术来改善CM-EMD的优势。首先，跨通道辨别学习（CM-DL）的设计，以克服歧视退化的问题所造成的通道对齐。通过降低身份内和身份间方差之间的比率，CM-DL使模型能够学习更多的区分表示。其次，我们构建了多粒度结构（MGS），使我们能够从粗粒度和细粒度级别与建议CM-EMD对齐模态。大量的实验表明，建议CM-EMD及其辅助技术（CM-DL和MGS）的好处。我们的方法在两个VT-ReID基准测试中达到了最先进的性能。
2022-03-03 cs.CV
Adversarial Self-Attack Defense and Spatial-Temporal Relation Mining for Visible-Infrared Video Person Re-Identification
Kunming University of Science and Technology（昆明理工大学）；Yunnan University（云南大学）
本文提出一种可见光-红外视频行人重识别方法，通过对抗自攻击防御增强模型对视角、姿态、背景和模态差异的鲁棒性，并结合时空信息引导网络挖掘视频序列中的运动与局部关系，在大规模跨模态视频数据集上取得优异性能。
2023-08-11 cs.CV
YYDS: Visible-Infrared Person Re-Identification with Coarse Descriptions
The school of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；Key Laboratory of Interactive Technology and Experience System Ministry of Culture and Tourism（文化和旅游部交互技术与体验系统重点实验室）
针对可见-红外行人重识别中颜色信息缺失的问题，提出结合粗略语言描述的Refer-VI-ReID设置，设计YYDS结构分解聚合特征，并提出CMKR重排序算法，在多个数据集上性能超越现有最优方法。
2024-03-07 cs.CV
Implicit Discriminative Knowledge Learning for Visible-Infrared Person Re-Identification
School of Microelectronics and Communication Engineering, Chongqing University（重庆大学微电子与通信工程学院）
针对可见光-红外行人重识别忽略模态特有特征中隐含判别信息的问题，提出IDKL网络，通过双流网络提取并净化模态特有特征，将其蒸馏至模态共享特征以增强独特性，实验证明其优于现有方法。
2024-03-26 cs.CV
Skeleton-Guided Spatial-Temporal Feature Learning for Video-Based Visible-Infrared Person Re-Identification
Henan University（河南大学）
针对VVI-ReID中时空特征易受低质、遮挡影响且现有方法对其优化不足的问题，提出STAR方法，通过帧级和序列级两级骨架引导策略提升双模态时空特征准确性，性能优于当前最优方法。
2024-12-11 cs.CV
X-ReID: Multi-granularity Information Interaction for Video-Based Visible-Infrared Person Re-Identification
X-ReID通过多粒度信息交互和跨模态特征学习，提升视频中可见-红外人重识别的性能。
2025-11-25 cs.CV
