Self-Supervised RGB-T Tracking with Cross-Input Consistency
Imperial College London（伦敦帝国学院）
在本文中，我们提出了一种自监督的RGB-T跟踪方法。与现有的使用大量带注释的RGB-T图像对进行训练的深度RGB-T跟踪器不同，我们的RGB-T跟踪器以自监督的方式使用未标记的RGB-T视频对进行训练。我们提出了一种新的基于交叉输入一致性的自监督训练策略的思想，跟踪可以使用不同的输入。具体来说，我们使用未标记的RGB-T视频对构建两个不同的输入。然后，我们使用这两个输入来跟踪对象以生成结果，基于此，我们构建了交叉输入一致性损失。同时，我们提出了一个重新加权的策略，使我们的损失函数的低质量的训练样本的鲁棒性。我们建立我们的跟踪器上的暹罗相关过滤器网络。据我们所知，我们的跟踪器是第一个自我监督的RGB-T跟踪器。在两个公开的RGB-T跟踪基准上的大量实验表明，所提出的训练策略是有效的。值得注意的是，尽管只使用未标记的RGB-T视频对的语料库进行训练，但我们的跟踪器在GTOT数据集上的性能优于七个监督的RGB-T跟踪器。
2023-01-26 cs.AI cs.CV cs.MM
SAGA: Semantic-Aware Gray color Augmentation for Visible-to-Thermal Domain Adaptation across Multi-View Drone and Ground-Based Vision Systems
Department of Aerospace Engineering, Indian Institute of Science（航空航天工程系，印度科学研究院）；Robert Bosch Centre for Cyber Physical Systems, Indian Institute of Science（网络物理系统研究中心，印度科学研究院）
提出SAGA策略，通过提取对象级特征减轻颜色偏差，并引入多传感器数据集IndraEye，显著提升可见光到热红外的域自适应目标检测性能。
2025-04-22 cs.CV
A Survey for Deep RGBT Tracking
Jiangnan University（江南大学）
利用可见光（RGB）和热红外（TIR）电磁波（简称RGBT跟踪）的视觉目标跟踪最近引起了跟踪界越来越多的关注。鉴于深度学习的快速发展，本文综述了近年来基于深度神经网络的RGBT跟踪器。首先，我们对归入这一类别的RGBT跟踪器进行了简要介绍。然后，在几个具有挑战性的基准之间的比较，现有的RGBT跟踪统计。具体来说，MDNet和Siamese架构是RGBT社区的两个主流框架，尤其是前者。基于MDNet的跟踪器具有更高的性能，而基于Siamese的跟踪器满足实时性要求。总之，自从大规模数据集LasHeR发布以来，端到端框架的集成，例如，应进一步考虑Siamese和Transformer，以满足实时性和更鲁棒的性能。此外，在设计网络时应更多地考虑其数学意义。这项调查可以被视为关注RGBT跟踪的研究人员的查找表。
2022-01-29 cs.CV
LasHeR: A Large-scale High-diversity Benchmark for RGBT Tracking
Anhui University（安徽大学）
RGBT跟踪在计算机视觉领域受到了广泛的关注，但该研究领域缺乏大规模和高多样性的基准数据集，这对于深度RGBT跟踪器的训练和RGBT跟踪方法的综合评估至关重要。为此，我们提出了一个大规模的高多样性的RGBT跟踪基准（LasHeR）在这项工作中。LasHeR由1224个可见光和热红外视频对组成，总共超过730K帧对。每个帧对都在空间上对齐，并使用限界框手动注释，使数据集具有良好且密集的注释。LasHeR是高度多样化的捕捉从广泛的对象类别，相机的观点，场景的复杂性和环境因素跨季节，天气，白天和黑夜。我们在LasHeR数据集上对12种RGBT跟踪算法进行了全面的性能评估，并给出了详细的分析，以澄清RGBT跟踪的研究空间。此外，我们发布了LasHeR的未对齐版本，以吸引对无干扰RGBT跟踪的研究兴趣，这在现实世界的应用中是一个更实际的任务。数据集和评估方案可在https://github.com/BUGPLEASEOUT/LasHeR上获得。
2021-11-26 cs.CV
MFGNet: Dynamic Modality-Aware Filter Generation for RGB-T Tracking
Peng Cheng Laboratory（鹏城实验室）；Peking University（北京大学）；Anhui University（安徽大学）；University of Science and Technology of China（中国科学技术大学）
许多RGB-T跟踪器试图通过利用自适应加权方案（或注意力机制）来获得鲁棒的特征表示。与这些工作不同的是，我们提出了一个新的动态模态感知滤波器生成模块（名为MFGNet），通过自适应地调整实际跟踪中各种输入图像的卷积核来增强可见光和热数据之间的消息通信。给定图像对作为输入，我们首先使用骨干网络对其特征进行编码。然后，我们将这些特征图连接起来，并使用两个独立的网络生成动态模态感知过滤器。可见光滤波器和热滤波器将分别用于对其对应的输入特征图进行动态卷积操作。受残差连接的启发，生成的可见和热特征图将与输入特征图一起汇总。增强的特征映射将被馈送到RoI对齐模块中，以生成用于后续分类的实例级特征。为了解决严重的遮挡，快速运动和out-of-view所造成的问题，我们建议进行联合本地和全局搜索，利用一种新的方向感知目标驱动的注意力机制。空间和时间递归神经网络用于捕获方向感知上下文，以实现精确的全局注意力预测。在三个大规模RGB-T跟踪基准数据集上的实验验证了该算法的有效性。本文的源代码可在\textcolor{magenta}{\url{https://github.com/wangxiao5791509/MFG_RGBT_Tracking_PyTorch}}上获得。
2022-05-09 cs.AI cs.CV
SiaTrans: Siamese Transformer Network for RGB-D Salient Object Detection with Depth Image Classification
Shandong University of Science and Technology（山东科技大学）
RGB-D SOD使用深度信息来处理具有挑战性的场景并获得高质量的显着性图。现有的最先进的RGB-D显著性检测方法压倒性地依赖于直接融合深度信息的策略。虽然这些方法通过各种跨模态融合策略提高了显著性预测的准确性，但一些质量较差的深度图像提供的错误信息会影响显著性预测结果。为了解决这个问题，本文提出了一种新的RGB-D显著目标检测模型（SiaTrans），它允许在训练SOD的同时训练深度图像质量分类。鉴于RGB和深度图像之间关于显著对象的共同信息，SiaTrans使用具有共享权重参数的Siamese Transformer网络作为编码器，并提取在批次维度上级联的RGB和深度特征，从而在不影响性能的情况下节省空间资源。SiaTrans在骨干网络（T2 T-ViT）中使用Class令牌来对深度图像的质量进行分类，而不会阻止令牌序列继续执行显著性检测任务。基于变换器的跨模态融合模块（CMF）可以有效地融合RGB和深度信息。在测试过程中，CMF可以根据深度图像的质量分类信号选择融合跨模态信息或增强RGB信息。我们设计的CMF和解码器的最大好处是保持了RGB和RGB-D信息解码的一致性：SiaTrans在测试时根据分类信号在相同的模型参数下解码RGB-D或RGB信息。在9个RGB-D SOD基准数据集上的综合实验表明，与现有方法相比，SiaTrans具有最好的整体性能和最少的计算量。
2022-07-09 cs.CV cs.LG
RASMD: RGB And SWIR Multispectral Driving Dataset for Robust Perception in Adverse Conditions
Yonsei University（延世大学）；Slovak University of Technology（斯洛伐克技术大学）
针对自动驾驶在恶劣条件下可见光感知性能下降的问题，本文提出包含10万对RGB-SWIR图像对的RASMD数据集，并通过目标检测与图像转换实验证明融合RGB和SWIR可显著提升检测精度。
2025-04-10 cs.AI cs.CV
Nonrigid Optical Flow Ground Truth for Real-World Scenes with Time-Varying Shading Effects
University College London（伦敦大学学院）；University of Bath（巴斯大学）；Google（谷歌）
在本文中，我们提出了一个密集的真值数据集的非刚性变形现实世界的场景。我们的数据集包含长视频序列和短视频序列，并能够对基于RGB的跟踪和配准方法进行定量评估。为了构建RGB序列的真值，我们同时捕获近红外（NIR）图像序列，其中密集标记（仅在NIR中可见）表示真值位置。这允许与自动跟踪的RGB位置进行比较并形成误差度量。大多数包含非刚性变形序列的先前数据集基于合成数据。我们的捕获协议使我们能够获得真实世界的变形对象与逼真的光度效果-如模糊和照明变化-以及闭塞和复杂的变形。构建了一个公共评估网站，以允许使用各种统计测量对基于RGB图像的光流和其他密集跟踪算法进行排名。此外，我们提出了一个RGB-NIR多光谱光流模型，允许通过自适应地结合来自RGB和互补NIR通道的特征信息进行能量优化。在我们的实验中，我们评估了现有的八个基于RGB的光流方法对我们的新数据集。我们还评估了我们的混合光流算法，通过比较现有的两种多光谱方法，以及不同的输入通道在RGB，NIR和RGB-NIR。
2016-07-15 cs.CV
TS-Net: Combining modality specific and common features for multimodal patch matching
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；ENSICAEN（卡昂国立高等工程师学院）；CNRS -- UMR GREYC（法国国家科学研究中心——GREYC联合研究单位）
多模态块匹配解决了从两种不同模态（例如RGB与草图或RGB与近红外）找到图像块之间的对应关系的问题。不同模态的斑块的比较可以通过发现两种模态共同的信息（类暹罗方法）或模态特定的信息（类伪暹罗方法）来完成。我们观察到，这两种情况都不是最佳的。这促使我们提出一个三流架构，称为TS-Net，结合两者的优点。此外，我们还证明了在这种网络的中间层中添加额外的约束可以进一步提高性能。在三个多模态数据集上的实验表明，与暹罗和伪暹罗网络相比，性能有显着提高。
2018-06-05 cs.CV
Sigma: Siamese Mamba Network for Multi-Modal Semantic Segmentation
Robotics Institute, Carnegie Mellon University（机器人研究所，卡内基梅隆大学）
本文提出Sigma，一种基于Siamese Mamba网络的多模态语义分割方法，以线性复杂度实现全局感受野，并在RGB-热和RGB-深度任务上验证了优越性。
2025-09-10 cs.CV
Learning to Align Images using Weak Geometric Supervision
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）
图像对齐任务需要精确的像素对应关系，通常通过匹配局部特征描述符来恢复。这种描述符通常是使用监督学习在具有地面真实对应的现有数据集上导出的。然而，创建这样的数据集的成本通常是过高的。在本文中，我们提出了一种新的方法来对齐两个图像相关的一个未知的二维单应性的局部描述符是从头开始学习的图像和单应性估计的同时。我们的关键见解是，连体卷积神经网络可以联合训练，同时通过优化单个损失函数迭代更新单应性参数。我们的方法目前是弱监督的，因为输入图像需要粗略对齐。我们已经使用这种方法来对齐不同模态的图像，如RGB和近红外（NIR），而不使用任何先前标记的数据。图像自动对齐我们的方法，然后用于训练描述符，概括到新的图像。我们还在RGB图像上评估了我们的方法。在HPatches基准测试中，我们的方法实现了与在监督设置中离线训练的深度本地描述符相当的准确性。
2018-08-04 cs.CV
RGB-T Tracking Based on Mixed Attention
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出MACFT跟踪器，利用混合注意力机制在Transformer主干中实现模板与搜索图像的信息交互，并通过模态自适应融合抑制低质量模态噪声、增强占优模态，在多个RGB-T数据集上取得优于现有方法的跟踪性能。
2023-04-18 cs.CV
Embedding Structured Contour and Location Prior in Siamesed Fully Convolutional Networks for Road Detection
Northwestern Polytechnical University（西北工业大学）
从运动车辆的角度进行道路检测是自动驾驶中的一个具有挑战性的问题。最近，许多深度学习方法涌现出来，因为它们可以提取高级局部特征，从原始RGB数据中找到道路区域，例如卷积神经网络（CNN）和全卷积网络（FCN）。然而，如何准确地检测出道路的边界仍然是一个棘手的问题。在本文中，我们提出了一个siamesed全卷积网络（命名为“s-FCN-loc”），它能够同时考虑RGB通道图像，语义轮廓和位置先验，以精细地分割道路区域。具体来说，s-FCN-loc有两个流分别处理原始RGB图像和等高线图。同时，位置先验直接附加到连体FCN中，以提高最终的检测性能。我们的贡献有三个方面：（1）提出了一种s-FCN-loc算法，该算法学习了比原FCN算法更多的道路边界判别特征，从而能够更准确地检测出道路区域;（2）将位置先验作为一种特征映射，直接附加到s-FCN-loc算法的最终特征映射中，从而有效地提高了道路区域的检测性能（3）由于高度结构化轮廓的指导，训练后的s-FCN-loc模型的收敛速度比原始FCN模型快30%.在KITTI道路检测基准和一类道路检测数据集上对所提出的方法进行了评估，并取得了具有竞争力的结果。
2019-05-05 cs.CV
ShadowSense: Unsupervised Domain Adaptation and Feature Fusion for Shadow-Agnostic Tree Crown Detection from RGB-Thermal Drone Imagery
University of Alberta（阿尔伯塔大学）
本文提出ShadowSense方法，通过无监督域适应与RGB-热成像特征融合，结合约5万对配对数据集，有效解决了无人机影像中阴影树冠的检测难题。
2023-10-24 cs.CV
Domain Siamese CNNs for Sparse Multispectral Disparity Estimation
Polytechnique Montreal（蒙特利尔高等理工学院）
由于许多原因，多光谱视差估计是一项困难的任务：它具有与传统的可见-可见视差估计相同的挑战（遮挡、重复图案、无纹理表面），此外图像之间具有非常少的共同视觉信息（例如，颜色信息与热信息）。在本文中，我们提出了一种新的CNN架构，能够做不同光谱的图像之间的视差估计，即热和可见光在我们的情况下。我们提出的模型以两个补丁作为输入，并进行域特征提取为他们每个人。然后用两个融合操作合并来自两个域的特征，即相关和级联。然后，这些合并的向量被转发到它们各自的分类头，分类头负责将输入分类为相同或不同。使用两个合并操作为我们的特征提取过程提供了更强的鲁棒性，这导致更精确的视差估计。我们的方法使用公开的LITIV 2014和LITIV 2018数据集进行了测试，与其他最先进的方法相比，显示出最佳结果。
2020-04-30 cs.CV
The Spectrascapes Dataset: Street-view imagery beyond the visible captured using a mobile platform
TU Delft（代尔夫特理工大学）；National University of Singapore（新加坡国立大学）
本文提出首个公开的多光谱地面视图数据集，通过自行车搭载RGB、近红外和热成像传感器，在荷兰不同城市形态中采集17718张高分辨率多光谱图像，克服传统方法的局限，应用于城市规划和遥感领域。
2026-04-16 cs.CV cs.LG
F-Siamese Tracker: A Frustum-based Double Siamese Network for 3D Single Object Tracking
Zhejiang University（浙江大学）；Huawei Noah’s Ark lab（华为诺亚方舟实验室）
本文提出了一种新的单目标跟踪方法F-Siamese Tracker，它的突出特点是更鲁棒地融合了二维和三维信息，减少了冗余的搜索空间。3D单目标跟踪中的主要挑战是如何减少搜索空间以生成合适的3D候选。首先，我们的方法不是仅仅依赖于3D提案，而是利用应用于RGB图像的Siamese网络来产生2D区域提案，然后将其挤出到3D视锥中。此外，我们对3D平截头体进行在线精度验证，以生成精确的点云搜索空间，该空间可以直接嵌入到现有的3D跟踪骨干中。为了提高效率，我们的方法通过减少搜索空间，以较少的候选人获得更好的性能。此外，由于引入了在线精度验证，对于偶尔出现的强遮挡或非常稀疏的点，即使在2D暹罗跟踪器丢失目标的情况下，我们的方法仍然可以达到很高的精度。这种方法使我们能够在稀疏的室外数据集（KITTI跟踪）上设置一个新的最先进的3D单对象跟踪。此外，在2D单目标跟踪上的实验表明，我们的框架也提高了2D跟踪性能。
2020-10-22 cs.CV
Dynamic Message Propagation Network for RGB-D Salient Object Detection
本文提出了一种用于RGB-D显著目标检测的新型深度神经网络框架，通过在特征层上控制RGB图像和深度图之间的消息传递，并探索RGB和深度特征上的远程语义上下文和几何信息来推断显著对象。为了实现这一点，我们制定了一个动态的消息传播（ESTA）模块的图神经网络和变形卷积动态学习的上下文信息，并自动预测过滤器的权重和亲和矩阵的消息传播控制。我们进一步将该模块嵌入到基于Siamese的网络中，分别处理RGB图像和深度图，并设计了一个多层次特征融合（MFF）模块，以探索细化的RGB和深度特征之间的跨层次信息。在6个标准数据集上与17种最先进的RGB-D显著性目标检测方法进行了比较，实验结果表明，该方法在定量和视觉上都优于其他方法。
2022-06-20 cs.CV
Fully Convolutional Siamese Networks for Change Detection
ONERA（法国航空航天研究院）
本文提出了三个完全卷积神经网络架构，使用一对配准图像进行变化检测。最值得注意的是，我们提出了完全卷积网络的两个连体扩展，它们使用关于当前问题的算法，以在我们使用RGB和多光谱图像对两个开放变化检测数据集进行的测试中获得最佳结果。我们表明，我们的系统能够从头开始学习使用注释的变化检测图像。我们的架构比以前提出的方法实现了更好的性能，同时比相关系统快至少500倍。这项工作是朝着有效处理哥白尼或大地卫星等大规模地球观测系统的数据迈出的一步。
2018-10-19 cs.CV cs.LG
SC3EF: A Joint Self-Correlation and Cross-Correspondence Estimation Framework for Visible and Thermal Image Registration
Zhejiang University（浙江大学）；Texas A&M University（德克萨斯农工大学）
针对可见光与热红外图像因模态差异导致配准困难的问题，提出SC3EF框架，通过卷积-Transformer提取局部特征并编码全局相关性，结合分层光流解码器优化对应图，在相关数据集上优于SOTA方法且泛化性强。
2025-04-17 cs.CV
Temporal Aggregation for Adaptive RGBT Tracking
Jiangnan University（江南大学）
利用RGB和热红外（TIR）光谱进行视觉目标跟踪，简称RGBT跟踪，是一个新颖而具有挑战性的研究课题，目前正受到越来越多的关注。在本文中，我们提出了一个RGBT跟踪器，考虑到强大的外观模型学习的时空线索，同时，构建了一个自适应融合子网络的跨模态的相互作用。与大多数现有的RGBT跟踪器，实现对象跟踪任务，仅包括空间信息，时间信息被进一步考虑在该方法中。与传统的Siamese跟踪器在提取模板-搜索图像对的过程中只获得一个搜索图像不同，该算法选择了一个与原始搜索样本相邻的额外搜索样本来预测时间变换，从而提高了跟踪性能的鲁棒性。自适应融合子网络在决策级被附加到我们的方法，以反映包含在两种模态中的互补特性。为了设计热红外辅助RGB跟踪器，在从RGB模态的剩余连接之前考虑来自TIR模态的分类头的输出。在VOT-RGBT 2019、GTOT和RGBT 210三个具有挑战性的数据集上的实验结果验证了该方法的有效性。代码将在\textcolor{blue}{\emph{https://github.com/Zhangyong-Tang/TAAT}}上共享。
2022-01-29 cs.CV
Hierarchical Spatial-aware Siamese Network for Thermal Infrared Object Tracking
Harbin Institute of Technology Shenzhen Graduate School（哈尔滨工业大学深圳研究生院）；Harbin Institute of Technology（哈尔滨工业大学）
大多数热红外（TIR）跟踪方法是判别式的，将跟踪问题视为分类任务。然而，分类器的目标（标签预测）不耦合到跟踪器的目标（位置估计）。分类任务主要关注任意目标的类间差异，而跟踪任务主要关注同一目标的类内差异。在本文中，我们投TIR跟踪问题作为一个相似性验证任务，这是耦合良好的跟踪任务的目标。我们提出了一个TIR跟踪器通过分层空间感知的连体卷积神经网络（CNN），命名为HSSNet。为了获得TIR对象的空间和语义特征，我们设计了一个Siamese CNN，它合并了多个分层卷积层。然后，我们提出了一个空间感知的网络，以提高联合层次特征的区分能力。随后，我们训练这个网络端到端的大型可见视频检测数据集学习配对对象之间的相似性，然后我们将网络转移到TIR域。接下来，这个预先训练的Siamese网络用于评估目标模板和目标候选者之间的相似性。最后，我们定位的候选人是最相似的跟踪目标。在基准测试VOT-TIR 2015和VOT-TIR 2016上的大量实验结果表明，与最先进的方法相比，我们提出的方法具有良好的性能。
2018-11-27 cs.CV
Visible and infrared self-supervised fusion trained on a single example
Kingston University London（伦敦金斯顿大学）
针对可见光图像易受干扰、近红外图像更清晰的特点，提出一种单样本自监督训练的卷积神经网络融合方法，数秒即可完成训练，在无需大数据集的前提下实现了性能相当或更优的多光谱融合效果。
2024-03-09 cs.CV
Towards RGB-NIR Cross-modality Image Registration and Beyond
MEGVII Technology（旷视科技）
本文提出RGB-NIR-IRegis基准用于评估RGB-NIR跨模态图像配准，并设计SGFormer基线方法利用高级语义指导减轻局部不一致特征的负面影响，实验验证了其有效性。
2024-05-30 cs.CV
Glass Segmentation with RGB-Thermal Image Pairs
University of Alberta（阿尔伯塔大学）；Snapchat（Snapchat公司）；University of Manitoba（曼尼托巴大学）
本文提出了一种新的玻璃分割方法，利用成对的RGB和热图像。由于通过玻璃的可见光的透射性质与热能的透射性质之间的大差异（其中大多数玻璃对可见光是透明的但对热能是不透明的），使得场景的玻璃区域利用一对RGB图像和热图像比仅利用RGB图像更可区分。为了利用这样一个独特的属性，我们提出了一个神经网络架构，有效地结合了RGB热图像对与一个新的多模态融合模块的基础上的注意力，并集成CNN和Transformer，分别提取本地特征和非本地依赖。此外，我们还收集了一个新的数据集，其中包含5551个RGB热图像对，并带有地面实况分割注释。定性和定量的评价表明，所提出的方法的有效性融合RGB和热数据的玻璃分割。我们的代码和数据可在https://github.com/Dong-Huo/RGB-T-Glass-Segmentation上获得。
2023-03-16 cs.CV
JL-DCF: Joint Learning and Densely-Cooperative Fusion Framework for RGB-D Salient Object Detection
Sichuan University（四川大学）；Nankai University（南开大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；Wuhan University（武汉大学）
提出了一种新的联合学习和密集协作融合（JL-DCF）结构，用于RGB-D显著目标检测。现有的模型通常将RGB和深度视为独立的信息，并设计单独的网络用于从每个中提取特征提取。这种方案很容易受到有限的训练数据或过度依赖精心设计的训练过程的限制。相比之下，我们的JL-DCF通过Siamese网络从RGB和深度输入中学习。为此，我们提出了两个有效的组件：联合学习（JL）和密集合作融合（DCF）。JL模块提供了强大的显着性特征学习，而后者被引入用于互补特征发现。对四种常用的显著性检测方法进行了综合实验，结果表明，该框架具有较好的泛化能力，是一种鲁棒的RGB-D显著性检测方法。因此，JL-DCF在六个具有挑战性的数据集上将前1名的D3 Net模型平均提高了约1.9%（S-测量），这表明所提出的框架为现实世界的应用提供了一个潜在的解决方案，并可以为跨模态互补任务提供更多的见解。该代码将在https://github.com/kerenfu/JLDCF/上提供。
2020-04-18 cs.CV
MiPa: Mixed Patch Infrared-Visible Modality Agnostic Object Detection
ETS Montreal（蒙特利尔理工学院）
针对单一共享编码器学习RGB与IR时的模态不平衡问题，提出MiPa混合块训练及块级模态不可知模块，使推理仅需单模态即可在RGB/IR检测基准上取得竞争力。
2024-08-02 cs.CV
Learning Modal-Invariant and Temporal-Memory for Video-based Visible-Infrared Person Re-Identification
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Kunming University of Science and Technology（昆明理工大学）；The Chinese University of HongKong, Shenzhen（香港中文大学（深圳））
由于跨模态检索技术，可见红外（RGB-IR）的人重新识别（Re-ID）是通过将他们投射到一个共同的空间，允许人重新ID在24小时监控系统中实现。然而，相对于探针到图库，几乎所有现有的基于RGB-IR的跨模态人Re-ID方法都集中在图像到图像的匹配上，而包含更丰富的空间和时间信息的视频到视频的匹配仍然没有得到充分的探索。本文主要研究了基于视频的跨模态人物Re-ID方法。为了实现这一任务，构建了一个基于视频的RGB-IR数据集，其中收集了927个有效身份，463，259帧和21，863个轨迹，由12个RGB/IR摄像机捕获。基于我们构建的数据集，我们证明了随着tracklet中帧的增加，性能确实得到了更多的增强，证明了视频到视频匹配在RGB-IR人Re-ID中的重要性。此外，进一步提出了一种新的方法，该方法不仅将两个模态投影到模态不变子空间，而且还提取了运动不变的时间记忆。由于这两种策略，我们基于视频的跨模态人员Re-ID获得了更好的结果。代码和数据集发布在：https://github.com/VCMproject233/MITML。
2022-08-04 cs.CV
Multi-modal Visual Tracking: Review and Experimental Comparison
视觉目标跟踪作为计算机视觉中的一项基本任务，近年来受到了广泛的关注。为了将跟踪器扩展到更广泛的应用，研究人员引入了来自多种模态的信息来处理特定场景，这是一个有前途的研究前景，具有新兴的方法和基准。为了对多模态跟踪技术进行全面的综述，本文从不同的角度对多模态跟踪算法，特别是可见光深度跟踪（RGB-D）和可见光温度跟踪（RGB-T）进行了统一的分类。其次，我们提供了相关基准和挑战的详细描述。此外，我们进行了广泛的实验，以分析跟踪器在五个数据集上的有效性：PTB，VOT 19-RGBD，GTOT，RGBT 234和VOT 19-RGBT。最后，我们从不同的角度讨论了未来的各种方向，包括模型设计和数据集构建，以进一步研究。
2020-12-08 cs.CV
Cross-Spectral Attention for Unsupervised RGB-IR Face Verification and Person Re-identification
针对RGB-IR跨光谱生物识别中监督方法标记数据获取可扩展性差的问题，提出结合伪三元组损失、跨光谱注意力网络和结构化稀疏性的无监督框架，在ARL-VTF和RegDB数据集上部分性能优于监督方法。
2024-11-28 cs.CV
Translation, Scale and Rotation: Cross-Modal Alignment Meets RGB-Infrared Vehicle Detection
Beihang University（北京航空航天大学）
近年来，在目标检测中，尤其是在可见光和红外图像中集成多光谱数据受到了极大的关注。由于可见光（RGB）和红外（IR）图像可以提供互补信息来处理光变化，因此配对图像被用于许多领域，诸如多光谱行人检测、RGB-IR人群计数和RGB-IR显著目标检测。与自然RGB-IR图像相比，航空RGB-IR图像的检测存在交叉模态弱失调问题，表现为同一目标的位置、大小和角度偏差。在本文中，我们主要解决的挑战，跨模式弱失调的航空RGB-IR图像。具体来说，我们首先解释和分析了弱失调问题的原因。然后，我们提出了一个平移-尺度-旋转对齐（TSRA）模块，通过校准这两种模式的特征图来解决这个问题。该模块通过对齐过程预测两个模态对象之间的偏差，并利用模态选择（MS）策略来提高对齐性能。最后，基于TSRA模块构造了一个双流特征对齐检测器（TSFADet），用于航空图像中的RGB-IR目标检测。通过在公开的DroneVehicle数据集上的综合实验，我们验证了我们的方法减少了交叉模态错位的影响，并获得了鲁棒的检测结果。
2022-09-28 cs.CV
Efficient Image Pre-Training with Siamese Cropped Masked Autoencoders
University of Liège（列日大学）；KAUST（阿卜杜拉国王科技大学）
本文提出 CropMAE，用同图不同裁剪的图像对替代视频帧对进行连体 MAE 预训练，无需视频、缩短训练时间，并以 98.5% 掩码率证明隐式变换足以学习对象中心表示。
2024-07-18 cs.CV
Deep Representation Learning for Road Detection through Siamese Network
Nanjing University of Posts and Telecommunications（南京邮电大学）；Nanjing University of Science and Technology（南京理工大学）
稳健的道路检测是安全自动驾驶的关键挑战。近年来，随着3D传感器的快速发展，越来越多的研究者试图融合不同传感器的信息来提高道路检测的性能。虽然在这一领域已经取得了许多成功的工作，深度学习框架下的数据融合方法仍然是一个开放的问题。本文提出了一种基于FCN-8 s的Siamese深度神经网络来检测道路区域。我们的方法使用从单目彩色相机和Velodyne-64 LiDAR传感器收集的数据。我们将LiDAR点云投影到图像平面上以生成LiDAR图像，并将其馈送到网络的一个分支中。RGB图像被馈送到我们提出的网络的另一个分支。这两个分支在多个尺度上提取的特征图在每个池化层之前通过填充额外的融合层进行融合。在公共数据集KITTI ROAD上的实验结果证明了该方法的有效性。
2019-05-26 cs.CV eess.IV
SurfConv: Bridging 3D and 2D Convolution for RGBD Images
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）；Uber ATG（优步先进技术集团）
我们解决了在卷积神经网络中使用3D信息进行下游识别任务的问题。使用深度作为RGB输入旁边的附加通道具有基于图像卷积的方法中存在的尺度方差问题。另一方面，3D卷积在大部分未占用的3D空间上浪费了大量内存，这些空间仅由传感器可见的表面组成。相反，我们提出了SurfConv，它沿着可见的3D表面“滑动”紧凑的2D过滤器。SurfConv通过新的数据驱动深度离散化（D4）方案被公式化为简单的深度感知多尺度2D卷积。我们证明了我们的方法在室内和室外三维语义分割数据集的有效性。我们的方法在基于3D卷积的方法使用不到30%的参数的情况下实现了最先进的性能。
2018-12-04 cs.CV
UniTriGen: Unified Triplet Generation of Aligned Visible-Infrared-Label for Few-Shot RGB-T Semantic Segmentation
School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）；School of Computer Science & Technology, Xi’an University of Posts & Telecommunications（西安邮电大学计算机科学与技术学院）；MMLab, The Chinese University of Hong Kong（香港中文大学MMLab）
UniTriGen提出统一三元组生成框架，通过共享潜在空间和扩散过程生成一致的可见-红外-标签三元组，解决少样本RGB-T语义分割中的对齐问题。
2026-05-14 cs.CV
Dynamic Fusion Network for RGBT Tracking
East China University of Science and Technology（华东理工大学）
由于可见光和红外图像各有优缺点，RGBT跟踪受到越来越多的关注。RGBT跟踪的关键在于可见光和红外图像的特征提取和特征融合。目前的RGBT跟踪方法大多关注个体特征（从单个摄像机的图像中提取的特征）和共同特征（从RGB摄像机和热成像摄像机中提取并融合的特征），而较少关注个体特征和共同特征对不同序列的注册图像对的不同和动态贡献。本文提出了一种新的RGBT跟踪方法，称为动态融合网络（DFNet），它采用了两个流结构，其中两个非共享的卷积核在每一层中提取个人的功能。此外，DFNet为每一层共享卷积核来提取共同特征。非共享卷积核和共享卷积核根据不同的图像对进行自适应加权和求和，使DFNet可以针对不同的序列处理不同的贡献。DFNet的速度很快，为28.658 FPS。实验结果表明，DFNet在Mult-Adds仅比基于非共享卷积核的融合方法增加0.02%的情况下，准确率（PR）和成功率（SR）分别达到88.1%和71.9%。
2021-09-16 cs.CV
UniRGB-IR: A Unified Framework for Visible-Infrared Semantic Tasks via Adapter Tuning
Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）；School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）；CTTL-Terminal, China Academy of Information and Communications Technology（信息通信技术中国科学院CTTL终端）；School of Automation and Intelligent Sensing, Shanghai Jiao Tong University（上海交通大学自动化与智能感知学院）
针对RGB-IR语义任务缺乏预训练模型导致泛化差的问题，提出UniRGB-IR框架，通过MFP和SFI适配器模块将多模态特征注入冻结的ViT基础模型，在多种任务上达到SOTA性能。
2025-10-12 cs.CV
RSFusionDet: Underwater RGB-Sonar Multimodal Object Detection
Harbin Engineering University（哈尔滨工程大学）；Hong Kong Polytechnic University（香港理工大学）
针对水下单模态目标检测的传感器成像缺陷，本文构建RSFusion数据集并提出RSFusionDet模型，通过CAFusion模块与OMHead、OMLoss实现跨模态特征融合与目标匹配，在RSFusion数据集上性能优于基线模型DINO。
2026-08-27 cs.CV
Cross-Spectrum Dual-Subspace Pairing for RGB-infrared Cross-Modality Person Re-Identification
Beijing Research Institute of Megvii Inc (Face++)（北京旷视科技有限公司研究院）
由于其在视频监控和其他计算机视觉任务如跟踪中的潜在广泛应用，人员重新识别（ReID）已成为流行和广泛的研究。然而，传统的人重新识别只能处理RGB彩色图像，这将在黑暗条件下失败。因此，提出了RGB-红外ReID（也称为可见光-可见光ReID或可见光-热ReID）。传统的ReID除了由于光照、姿态变化和视点变化等原因造成的外观差异外，还存在不同光谱相机产生的模态差异，这使得RGB-红外ReID更加困难。为了解决这个问题，我们专注于提取不同模态的共享互谱特征。本文提出了一种新的多光谱图像生成方法，并利用生成的样本来帮助网络找到用于跨模态重新识别同一个人的判别信息。RGB-红外ReID的另一个挑战是人内（来自同一个人的图像）差异通常大于人间（来自不同人的图像）差异，因此提出了一种双子空间配对策略来缓解这个问题。结合这两个部分，我们还设计了一个单流神经网络结合上述方法来提取紧凑的表示的人的图像，称为互谱双子空间配对（CDP）模型。此外，在训练过程中，我们还提出了一种动态硬谱挖掘方法，根据当前模型状态自动从硬谱中挖掘更多的硬样本，以进一步提高性能。在两个公共数据集SYSU-MM 01和RegDB上的实验结果表明了该方法的有效性和通用性。
2020-02-29 cs.CV
RGB-T Tracking via Multi-Modal Mutual Prompt Learning
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）
针对RGB-T跟踪中多模态融合计算成本高的问题，提出基于双模态互提示学习的跟踪架构，并设计轻量级提示器，在保持高速运行的同时实现最先进性能。
2023-08-31 cs.CV
RT-X Net: RGB-Thermal cross attention network for Low-Light Image Enhancement
Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）；Carnegie Mellon University（卡内基梅隆大学）
本文提出RT-X Net，通过自注意力特征提取与RGB-热红外交叉注意力融合实现夜间低光图像增强，并构建V-TIEE数据集，在LLVIP和V-TIEE上验证其优于现有方法。
2025-05-30 cs.CV
Unsupervised Visible-light Images Guided Cross-Spectrum Depth Estimation from Dual-Modality Cameras
Nanjing University of Science and Technology（南京理工大学）；University of Macau（澳门大学）
互谱深度估计的目的是利用一对双光谱图像提供所有光照条件下的深度图。当车辆配备有两个不同模态的相机时，这对于自主车辆应用是有价值的。然而，由不同模态相机捕获的图像在光度上可能完全不同。因此，互谱深度估计是一个非常具有挑战性的问题。此外，大规模开源数据集的缺乏也阻碍了该领域的进一步研究。在本文中，我们提出了一种无监督的可见光图像引导的互谱（即，热和可见光，简称TIR-VIS）深度估计框架给出了从可见光相机和热相机捕获的一对RGB和热图像。我们首先采用一个基本的深度估计网络，使用RGB图像对。然后，我们提出了一个多尺度的特征转移网络，从TIR-VIS域的VIS域的特征转移到特征级，以适应训练的深度估计网络。最后，我们提出了一种互谱深度周期一致性方法来改善双谱图像对的深度结果。同时，我们向社会发布了一个大型的双光谱深度估计数据集，其中包括在不同场景中捕获的可见光和远红外立体图像。实验结果表明，该方法比现有的方法具有更好的性能。我们的数据集可在https://github.com/whitecrow1027/VIS-TIR-Datasets上获得。
2022-04-30 cs.CV
Frequency-Guided Fusion For RGB-Thermal Semantic Segmentation
Hacettepe University（哈切特佩大学）
提出一种基于双ConvNeXt V2骨干网络的多模态融合架构，通过频率分解和置信门控残差机制融合RGB与热红外特征，在MFNet和PST900上以较低参数量实现先进性能。
2026-05-25 cs.CV
Dual Gaussian-based Variational Subspace Disentanglement for Visible-Infrared Person Re-Identification
Leiden University（莱顿大学）；KU Leuven University（鲁汶大学）
可见-红外人员再识别是夜间智能监控系统中一项具有挑战性的重要任务。除了RGB-RGB人重新识别主要克服的模态内方差之外，VI-ReID还遭受由固有的异质间隙引起的额外模态间方差。为了解决这个问题，我们提出了一个精心设计的双高斯变分自动编码器（DG-VAE），它解开身份可辨别和身份模糊的跨模态特征子空间，以下混合高斯（MoG）先验和标准高斯分布先验，分别。解开跨模态的身份可辨别的功能，导致更强大的检索VI-ReID。为了实现像传统VAE那样的高效优化，我们从理论上推导了监督设置下的MoG先验的两个变分推理项，这不仅限制了身份可区分的子空间，使模型显式地处理跨模态身份内方差，而且还使MoG分布能够避免后验崩溃。此外，我们提出了一个三重态交换重建（TSR）策略，以促进上述解纠缠过程。大量的实验表明，我们的方法优于两个VI-ReID数据集上的最先进的方法。
2020-08-06 cs.CV
D3T: Distinctive Dual-Domain Teacher Zigzagging Across RGB-Thermal Gap for Domain-Adaptive Object Detection
Ajou University（明知大学）；Hyundai Motor Company（现代汽车公司）
提出D3T框架，通过分离源/目标域构建双教师并采用交错学习，实现从可见光到热红外的渐进域自适应目标检测，在FLIR和KAIST数据集上验证优越性。
2024-03-14 cs.AI cs.CV
A Bidirectional Siamese Recurrent Neural Network for Accurate Gait Recognition Using Body Landmarks
United International University（联合国际大学）；Edinburgh Napier University（爱丁堡龙比亚大学）；BRAC University（BRAC大学）
本文提出结合 Mediapipe 关键点、Procrustes 对齐与 Siamese biGRU-dualStack 的步态识别方法，并在四个跨视角数据集上验证其高准确率。
2024-12-05 cs.AI cs.CV cs.LG
RevealLayer: Disentangling Hidden and Visible Layers via Occlusion-Aware Image Decomposition
Wenzhou University（温州大学）；AI Research（360人工智能研究院）
本文提出RevealLayer框架，通过区域感知注意力模块、遮挡引导适配器和复合损失函数，实现多层图像的精确分解与遮挡内容恢复，同时构建高质量数据集和基准测试平台。
2026-05-12 cs.CV
ViewSynth: Learning Local Features from Depth using View Synthesis
Siemens Corporate Technology（西门子企业技术中心）；Rutgers University（罗格斯大学）
廉价商品深度传感器的快速发展使得深度图像模态中的关键点检测和匹配成为计算机视觉中的重要问题。尽管最近的RGB局部特征学习方法有了很大的改进，但直接在深度模态中调整它们会导致性能不令人满意。这些方法中的大多数都没有明确地推理图像中的可见像素之外的内容。为了解决这些方法的局限性，我们提出了一个框架ViewSynth，以共同学习：（1）使用所提出的对比匹配损失从深度图像中获得视点不变的关键点描述符，以及（2）使用所提出的视图合成模块和视图合成损失从不同视点合成深度图像。通过学习视图合成，我们明确地鼓励特征提取器不仅对可见的信息进行编码，而且还对场景的遮挡部分进行编码。我们证明，在深度模态，ViewSynth优于国家的最先进的深度和RGB本地特征提取技术在3D关键点匹配和摄像机定位任务的RGB-D数据集7-场景，TUM RGBD和CoRBS在大多数情况下。我们还展示了ViewSynth在不同数据集的3D关键点匹配中的通用性。
2020-09-01 cs.CV
Drone Object Detection Using RGB/IR Fusion
University of California Berkeley（加州大学伯克利分校）
近年来，使用航空无人机图像的目标检测受到了极大的关注。虽然可见光图像在大多数情况下足以检测物体，但热成像相机可以将目标检测的能力扩展到夜间或被遮挡的物体。因此，用于目标检测的RGB和红外（IR）融合方法是有用且重要的。将深度学习方法应用于RGB/IR目标检测的最大挑战之一是缺乏无人机红外图像的可用训练数据，尤其是在夜间。在本文中，我们开发了几种使用AIRSim仿真引擎和CycleGAN创建合成红外图像的策略。此外，我们利用光照感知的融合框架融合RGB和红外图像的目标检测在地面上。我们的模拟和实际数据的特点和测试我们的方法。我们的解决方案是在实际无人机上运行的NVIDIA Jetson Xavier上实现的，每个RGB/IR图像对需要大约28毫秒的处理时间。
2022-01-11 cs.CV
Multi-interactive Dual-decoder for RGB-thermal Salient Object Detection
Anhui University（安徽大学）
RGB-热显著性目标检测（SOD）的目的是分割可见光图像和相应的热红外图像中共同的显著区域，我们称之为RGBTSOD。现有的方法没有充分挖掘和利用图像内容的不同模态和多类型线索的互补性，这对实现准确的结果起着至关重要的作用。在本文中，我们提出了一种多交互双解码器来挖掘和建模多种类型的交互，以获得准确的RGBT SOD。具体来说，我们首先将两种模态编码成多级多模态特征表示。然后，我们设计了一种新的双解码器，进行多层次的功能，两个模态和全局上下文的相互作用。有了这些相互作用，我们的方法在具有挑战性的情况下，即使在存在无效模态的情况下也能很好地工作。最后，我们在公开的RGBT和RGBD SOD数据集上进行了大量的实验，结果表明，该方法取得了优异的性能，对最先进的算法。源代码已在https://github.com/lz118/Multi-interactive-Dual-decoder上发布。
2021-06-04 cs.CV
Visible-Infrared Person Re-Identification Using Privileged Intermediate Information
Laboratoire d’imagerie, de vision et d’intelligence artificielle (LIVIA)（成像、视觉与人工智能实验室（LIVIA））；ETS Montreal（蒙特利尔高等工程技术学院）
可见红外人员重新识别（ReID）旨在通过RGB和IR摄像机网络识别同一个感兴趣的人。一些深度学习（DL）模型直接结合了这两种模式，以在联合表示空间中区分人。然而，由于RGB和IR模态之间的数据分布存在较大的域偏移，这种跨模态ReID问题仍然具有挑战性。本文介绍了一种用于创建中间虚拟域的新方法，该中间虚拟域充当两个主域（即，RGB和IR模式）。这个中间域被认为是特权信息（PI），是在测试时不可用的，并允许制定这个跨模态匹配任务作为一个问题，在特权信息（LUPI）下的学习。我们设计了一种新的方法来生成可见光和红外域之间的图像，通过中间领域自适应为训练深度ReID模型提供额外的信息。特别是，通过在训练过程中采用无颜色和多步三重损失目标，我们的方法提供了对大的可见-红外域偏移具有鲁棒性的共同特征表示空间。在具有挑战性的可见红外ReID数据集上的实验结果表明，我们提出的方法始终提高了匹配精度，在测试时没有任何计算开销。代码可从以下网址获得：\href{https://github.com/alehdaghi/Cross-Modal-Re-ID-via-LUPI}{https://github.com/alehdaghi/Cross-Modal-Re-ID-via-LUPI}
2022-09-19 cs.CV cs.LG
UNIV: Unified Foundation Model for Infrared and Visible Modalities
Research Center for Intelligent Computing Systems, CAS ICT（智能计算系统研究所以及中国科学院信息科技研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
UNIV通过跨模态对比学习提升红外与可见光感知的鲁棒性，解决模态偏差问题，实验显示在红外任务中表现优异。
2026-05-13 cs.CV
Incorporating Near-Infrared Information into Semantic Image Segmentation
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Xerox Research Centre Europe（施乐欧洲研究中心）
计算摄影的最新进展表明，除了正常的可见光（RGB）波段外，我们还可以获取近红外（NIR）信息，只需对标准数码相机进行轻微修改。由于NIR波段接近可见光辐射，NIR图像与可见光图像共享许多特性。然而，由于光谱的NIR部分中的材料相关反射，这样的图像揭示了场景的不同特性。我们研究如何有效地利用这些差异，以提高性能的语义图像分割任务。基于一个国家的最先进的分割框架和一个新的手动分割图像数据库（室内和室外场景），包含4通道图像（RGB+NIR），我们研究如何最好地结合NIR响应的具体特征。我们表明，添加近红外导致提高性能的类，对应于一个特定类型的材料在室外和室内场景。我们还讨论了结果相对于近红外响应的物理性质。
2014-06-24 cs.CV
EANet: Enhanced Attribute-based RGBT Tracker Network
Graduate School of Informatics, METU（中东技术大学信息学院）
本文提出EANet，通过融合RGB与热红外图像并采用增强的基于属性特征选择与聚合模块，在RGBT234和LasHeR数据集上以较少参数量超越现有RGBT跟踪器。
2023-07-04 cs.CV
