Towards NIR-VIS Masked Face Recognition
Shanghai University（上海大学）；JD AI Research（京东人工智能研究院）
近红外可见光人脸识别是异构人脸识别中最常见的情况，其目的是匹配从两种不同模态捕获的一对人脸图像。现有的基于深度学习的方法在近红外-可见人脸识别方面取得了显着进展，但在COVID-19大流行期间，由于人们应该戴口罩以切断病毒的传播，因此遇到了一些新出现的困难。我们将此任务定义为NIR-VIS蒙面人脸识别，并发现它与近红外探测图像中的蒙面人脸的问题。首先，缺乏蒙面人脸数据是网络训练的一个挑战性问题。第二，大部分面部部位（脸颊，嘴巴，鼻子等）被掩模完全遮挡，这导致大量信息丢失。第三，域间隙仍然存在于面部的其余部分。在这种情况下，现有的方法遭受由上述问题引起的显著的性能下降。本文从训练数据和训练方法两个方面对近红外可见光人脸识别技术进行了研究。具体来说，我们提出了一种新的异构训练方法，以最大限度地提高共享的互信息的脸表示的两个域的帮助下，半连体网络。此外，基于三维人脸重建的方法是用来合成掩模人脸从现有的近红外图像。借助于这些做法，我们的解决方案提供了域不变的人脸表示，这也是强大的掩模遮挡。在三个NIR-VIS人脸数据集上的实验证明了该方法的有效性和跨数据集泛化能力。
2021-04-14 cs.CV
Wasserstein CNN: Learning Invariant Features for NIR-VIS Face Recognition
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）；University of Chinese Academy of Sciences（中国科学院大学）
异构人脸识别（HFR）旨在将从不同传感模式获取的人脸图像与取证，安全和商业领域的关键任务应用相匹配。然而，HFR是一个比传统的人脸识别更具挑战性的问题，因为大的类内变化的异构人脸图像和有限的训练样本的跨模态人脸图像对。本文提出了一种新的方法，即Wasserstein CNN（卷积神经网络，或简称WCNN）学习近红外和视觉人脸图像之间的不变特征（即近红外-可见光人脸识别）。WCNN的低层是用可见光谱中广泛可用的人脸图像训练的。高级层分为三个部分，即，NIR层、VIS层和NIR-VIS共享层。前两层用于学习模态相关特征，NIR-VIS共享层用于学习模态不变特征子空间。在NIR-VIS共享层中引入Wasserstein距离来度量异质特征分布之间的相异性。因此，W-CNN学习的目标是实现NIR分布和VIS分布之间的Wasserstein距离最小化，以实现异构人脸图像的不变深度特征表示。为了避免小规模异构人脸数据的过拟合问题，在WCNN网络的全连接层上引入相关先验以减少参数空间。该先验通过端到端网络中的低秩约束来实现。联合公式导致在训练阶段的深层特征表示的交替最小化和在测试阶段的异构数据的有效计算。在三个具有挑战性的NIR-VIS人脸识别数据库上进行的大量实验表明，Wasserstein CNN比最先进的方法具有显着的优越性。
2017-08-08 cs.CV
A NIR-to-VIS face recognition via part adaptive and relation attention module
Yonsei University（延世大学）
在人脸识别应用场景中，我们需要处理各种条件下捕获的人脸图像，例如在夜间通过近红外（NIR）监控摄像头捕获的人脸图像。近红外和可见光（VIS）之间的照明差异导致面部图像之间存在域差距，并且姿势和情感的变化也使面部匹配变得更加困难。异构人脸识别（HFR）存在领域差异的困难，许多研究都集中在提取领域不变的特征，如面部部位的关系信息。然而，当姿态变化发生时，面部组件位置改变，并且提取不同的部分关系。在本文中，我们提出了一个部分关系注意模块，作物通过语义面具获得的面部部位，并使用这些代表性的功能进行关系建模。此外，我们建议组件自适应三重损失函数使用自适应权重的每个部分，以减少类内的身份，无论域以及姿势。最后，我们的方法在CASIA NIR-VIS 2.0中表现出性能改进，并在具有大姿态和情感变化的BUAA-VisNir中取得了优异的结果。
2021-02-01 cs.CV
Mutimodal Ranking Optimization for Heterogeneous Face Re-identification
本文提出多模态融合排序优化算法，通过异构人脸翻译网络生成多模态人脸对并融合排序，有效利用模态互补性，提升NIR-VIS异构人脸再识别性能。
2024-05-28 cs.CV
The Invisible Threat: Evaluating the Vulnerability of Cross-Spectral Face Recognition to Presentation Attacks
Idiap Research Institute（IDiap研究机构）
本研究系统评估了NIR-VIS跨光谱人脸识别系统对呈现攻击的脆弱性，发现尽管该系统具备一定可靠性，但仍易受特定攻击威胁，亟需进一步研究。
2025-05-01 cs.CV
Disentangled Variational Representation for Heterogeneous Face Recognition
Center for Research on Intelligent Perception and Computing (CRIPAC), CASIA（中国科学院自动化研究所智能感知与计算研究中心）；National Laboratory of Pattern Recognition (NLPR), CASIA（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
可见光（VIS）到近红外（NIR）人脸匹配是一个具有挑战性的问题，由于域之间的显着域差异和缺乏足够的数据来训练跨模态匹配算法。现有的方法试图解决这个问题，无论是合成可见的近红外人脸，从这些模态提取域不变的功能，或投影异构数据到一个共同的潜在空间的跨模态匹配。在本文中，我们采取了不同的方法，我们利用解纠缠变分表示（DVR）的跨模态匹配。首先，我们建立了一个具有内在身份信息及其内部变化的人脸模型。通过探索解纠缠的潜变量空间，变分下界被用来优化NIR和VIS表示的近似后验。其次，为了获得更紧凑和歧视性的解纠缠的潜在空间，我们施加了最小化的身份信息为同一主题和放松的相关对齐约束之间的近红外和可见光的模态变化。对于解纠缠变分表示部分和异构人脸识别网络部分，提出了一种替代的优化方案。这两个部分之间的相互促进，有效地减少了近红外和可见光域的差异，并消除了过度拟合。在三个具有挑战性的NIR-VIS异构人脸识别数据库上的大量实验表明，该方法比现有的方法取得了显着的改进。
2019-01-23 cs.CV
Joint Feature Distribution Alignment Learning for NIR-VIS and VIS-VIS Face Recognition
NEC Biometrics Research Laboratories（NEC生物识别研究实验室）；NEC Corporation（NEC公司）
由于深度学习的最新发展，可见光（VIS）图像的人脸识别实现了高准确性。然而，异构人脸识别（HFR），这是一个在不同领域的人脸匹配，仍然是一个困难的任务，由于领域的差异和缺乏大的HFR数据集。有几种方法试图通过微调来减少域差异，这导致VIS域中的性能显著下降，因为它失去了高度区分的VIS表示。为了克服这个问题，我们提出了联合特征分布对齐学习（JFDAL），这是一种利用知识蒸馏的联合学习方法。它使我们能够实现高HFR性能，同时保留VIS域的原始性能。大量的实验表明，我们提出的方法提供了统计上显着更好的性能相比，传统的微调方法在公共HFR数据集Oulu-CASIA NIR&VIS和流行的验证数据集在VIS域，如FLW，CFP，CFDB。此外，与现有的国家的最先进的HFR方法的比较实验表明，我们的方法实现了可比的HFR性能的Oulu-CASIA NIR和VIS数据集的VIS性能下降较少。
2022-04-25 cs.CV cs.LG
Shared Representation Learning for Heterogeneous Face Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
经过深入的研究，异构人脸识别仍然是一个具有挑战性的问题。主要困难是由于异构人脸图像空间之间的复杂关系。人脸图像的异质性往往与其他变量紧密耦合，使得异质人脸图像之间的关系具有高度的非线性。虽然已经提出了许多优秀的方法来建模非线性关系，但由于样本有限，这些方法容易过拟合训练集。受深度学习中无监督算法的启发，本文提出了一种新的异构人脸识别框架。我们首先在一些局部的面部点提取Gabor特征，然后使用受限玻尔兹曼机（RBM）在本地学习一个共享表示，以消除每个面部点周围的异质性。最后，局部RBM的共享表示被连接在一起并由PCA处理。两个问题（Sketch-Photo和NIR-VIS）和三个数据库被选择来评估所提出的方法。对于Sketch-Photo问题，我们在CUFS数据库上获得了理想的结果。对于NIR-VIS问题，我们在CASIA HFB和NIR-VIS 2.0数据库上产生了新的最先进的性能。
2014-06-05 cs.CV
Improving Pairwise Ranking for Multi-label Image Classification
University of Rochester（罗切斯特大学）；Yahoo Research（雅虎研究院）
学习排序最近已经成为一种有吸引力的技术，用于为各种计算机视觉任务训练深度卷积神经网络。特别是，成对排序在多标签图像分类中取得了成功，在各种基准上取得了最先进的结果。然而，大多数现有方法使用铰链损失来训练它们的模型，这是不平滑的，因此难以优化，特别是对于深度网络。此外，它们采用简单的算法，如top-k或阈值，来确定哪些标签包含在标签排名列表的输出中，这限制了它们在现实世界中的使用。在这项工作中，我们提出了两种技术，以提高成对排序的多标签图像分类：（1）我们提出了一种新的损失函数的成对排序，这是光滑的，因此更容易优化;和（2）我们将标签决策模块到模型中，估计每个视觉概念的最佳置信阈值。我们提供了我们的损失函数的贝叶斯一致性和风险最小化框架的理论分析，并显示其优势，现有的成对排序配方。我们证明了我们的方法在三个大规模的数据集，VOC 2007，NUS-WIDE和MS-COCO的有效性，实现了文献中最好的报告结果。
2017-06-01 cs.CV
Multi-Energy Guided Image Translation with Stochastic Differential Equations for Near-Infrared Facial Expression Recognition
Tsinghua University（清华大学）
针对近红外面部表情数据稀缺与异构图像转换可控性不足的问题，提出NFER-SDE，利用随机微分方程和领域知识保留模态不变高频信息，在Oulu-CASIA与Large-HFE上达到最先进性能。
2023-12-10 cs.AI cs.CV cs.HC
Is Facial Recognition Biased at Near-Infrared Spectrum As Well?
Wichita State University（威奇托州立大学）
已发表的学术研究和媒体文章表明，人脸识别在人口统计学上存在偏见。具体而言，女性、深色皮肤的人和老年人的表现不平等。然而，这些已发表的研究已经检查了可见光谱（VIS）中面部识别的偏差。面部化妆、面部毛发、肤色和照明变化等因素已被归因于VIS处该技术的偏差。近红外（NIR）光谱在对照明变化、面部化妆和肤色等因素的鲁棒性方面优于VIS。因此，研究人脸识别在近红外光谱（NIR）上的偏差是值得的。第一项研究调查了人脸识别系统在近红外光谱上的偏差。为此，两个流行的近红外人脸图像数据集，即CASIA-Face-Africa和Notre-Dame-NIVL，分别由非洲人和白人受试者组成，用于研究面部识别技术在性别和种族上的偏见。有趣的是，实验结果表明，在近红外光谱下，性别和种族之间的人脸识别性能是平等的。
2022-10-31 cs.CV cs.CY cs.HC
Hypergraph-Guided Disentangled Spectrum Transformer Networks for Near-Infrared Facial Expression Recognition
Tsinghua University（清华大学）
针对近红外面部表情识别中的数据受限、频谱干扰与类间相似问题，提出 NFER-Former，通过自注意力正交分解和超图引导特征嵌入实现 SOTA。
2023-12-10 cs.AI cs.CV cs.HC
TAS-NIR: A VIS+NIR Dataset for Fine-grained Semantic Segmentation in Unstructured Outdoor Environments
Universität der Bundeswehr München（慕尼黑联邦国防军大学）
基于可见光谱和近红外光谱图像的植被指数在遥感应用中得到了广泛的应用。这些植被指数的应用程序在非结构化的户外环境中的自动驾驶进行了扩展。在这一领域，我们可以将传统的植被指数（如归一化差异植被指数（NDVI）和增强型植被指数（EVI））与在可用VIS数据集上预训练的卷积神经网络（CNN）相结合。通过重点学习校准的CNN输出，我们还可以提供一种将已知手工制作的图像特征与不同领域的CNN预测融合的方法。在非结构化户外环境中的语义注释图像的VIS+NIR数据集上评估该方法。该数据集可在mucar3.de/iros2022-ppniv-tas-nir上获得。
2022-12-19 cs.CV
Pixel-aligned RGB-NIR Stereo Imaging and Dataset for Robot Vision
POSTECH（浦项科技大学）
本文构建像素对齐RGB-NIR立体相机与LiDAR的机器人成像系统及多光照数据集，并提出图像融合与特征融合两种方法，验证其对机器人视觉的增强效果。
2024-12-02 cs.CV
Image Acquisition in an Underwater Vision System with NIR and VIS Illumination
Poznań University of Technology（波兹南理工大学）
介绍了一种用于水下自主导航的双波段图像采集系统。通道有：可见光光谱和近红外光谱。介绍了水下自然环境的特点以及水下图像的生成过程。在这些通道中获得的选定图像的比较实验的结果进行了讨论。
2014-02-05 cs.CV
Does V-NIR based Image Enhancement Come with Better Features?
KU Leuven（鲁汶大学）；ETH Zürich（苏黎世联邦理工学院）
使用可见光（V）和近红外（NIR）的图像增强通常增强有用的图像细节。增强后的图像通过观察者的感知来评价，而不是定量的特征评价。因此，我们可以说这些使用NIR信息的增强图像与直接在红色，绿色和蓝色通道中计算的特征相比具有更好的特征吗？在这项工作中，我们提出了一种新的方法来增强可见光图像使用近红外信息通过边缘保持滤波器，并调查哪种方法从图像特征的角度来看表现最好。然后，我们表明，我们提出的增强方法比现有的最先进的方法产生更稳定的功能。
2016-08-24 cs.CV
Incorporating Near-Infrared Information into Semantic Image Segmentation
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Xerox Research Centre Europe（施乐欧洲研究中心）
计算摄影的最新进展表明，除了正常的可见光（RGB）波段外，我们还可以获取近红外（NIR）信息，只需对标准数码相机进行轻微修改。由于NIR波段接近可见光辐射，NIR图像与可见光图像共享许多特性。然而，由于光谱的NIR部分中的材料相关反射，这样的图像揭示了场景的不同特性。我们研究如何有效地利用这些差异，以提高性能的语义图像分割任务。基于一个国家的最先进的分割框架和一个新的手动分割图像数据库（室内和室外场景），包含4通道图像（RGB+NIR），我们研究如何最好地结合NIR响应的具体特征。我们表明，添加近红外导致提高性能的类，对应于一个特定类型的材料在室外和室内场景。我们还讨论了结果相对于近红外响应的物理性质。
2014-06-24 cs.CV
Visible and NIR Image Fusion Algorithm Based on Information Complementarity
Beihang University（北京航空航天大学）
本文针对可见光与近红外图像融合中的颜色失真和伪影问题，提出基于物理信号层的互补融合模型，利用权重引导滤波、扩展DoG滤波和arctanI函数构建互补权重图，在保持自然度的同时提升融合质量。
2023-09-19 cs.AI cs.CV
Spatial-Temporal Frequency Forgery Clue for Video Forgery Detection in VIS and NIR Scenario
Xidian University（西安电子科技大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
近年来，随着人脸编辑和生成的快速发展，越来越多的虚假视频在社交媒体上流传，引发了公众的极度担忧。现有的基于频域的人脸伪造检测方法发现，与真实图像相比，GAN伪造图像在频谱上存在明显的网格状视觉伪影。但对于合成视频，这些方法只局限于单帧，对不同帧间最具鉴别力的部分和时频线索关注较少。为了充分利用视频序列中丰富的信息，本文在时空频域上进行视频伪造检测，并提出一种基于离散余弦变换的伪造线索增强网络（FCAN-DCT），以实现更全面的时空特征表示。FCAN-DCT由一个主干网络和两个分支组成：紧凑特征提取（CFE）模块和频率时间注意（FTA）模块。我们对两个基于可见光（VIS）的数据集WildDeepfake和Celeb-DF（v2）以及我们自建的视频伪造数据集DeepfakeNIR进行了全面的实验评估，DeepfakeNIR是第一个近红外模式的视频伪造数据集。实验结果表明，我们的方法在检测伪造视频在可见光和近红外场景的有效性。
2022-07-05 cs.CV
Intra and Cross-spectrum Iris Presentation Attack Detection in the NIR and Visible Domains
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所IGD）
虹膜呈现攻击检测（PAD）是虹膜识别系统安全的关键。最近的iris PAD解决方案通过利用深度学习技术实现了良好的性能。然而，大多数结果都是在数据库内的情况下报告的，目前还不清楚这种解决方案是否可以很好地推广到数据库和捕获光谱。由于在网络训练期间的二进制标签监督，这些PAD方法存在过拟合的风险，这有助于全局信息学习，但削弱了对局部判别特征的捕获。本章提出了一种新的基于注意力的深度像素二元监督（A-PBS）方法。A-PBS利用逐像素监督来捕获细粒度的像素/块级线索，并利用注意力机制来引导网络自动找到对准确的PAD决策贡献最大的区域。在六个近红外和一个可见光虹膜数据库上进行了大量的实验，以证明所提出的A-PBS方法的有效性和鲁棒性。我们还进行了大量的实验，在内部/跨数据库和内部/交叉频谱进行详细的分析。我们的实验结果表明A-PBS虹膜PAD方法的普遍性。
2023-02-27 cs.CV
Visibility Constrained Wide-band Illumination Spectrum Design for Seeing-in-the-Dark
The University of Tokyo（东京大学）
由于其广泛的应用和野外场景的极端复杂性，黑暗中的视觉是计算机视觉中最重要和最具挑战性的任务之一。现有技术可以主要分为两个线程：1）RGB相关的方法仅使用降级的RGB输入来恢复信息（\eg，低光增强），2）RGB无关的方法将在辅助近红外（NIR）发光体下捕获的图像转换到RGB域（\eg，NIR 2 RGB转换）。后者是非常有吸引力的，因为它在完全黑暗中工作，并且发光体对肉眼视觉友好，但由于其固有的模糊性而趋于不稳定。在本文中，我们试图通过在宽带VIS-NIR范围内设计辅助照明的最佳光谱，同时保持视觉友好性，来增强NIR 2 RGB转换。我们的核心思想是量化人类视觉系统所隐含的可见性约束，并将其纳入设计流程。通过对VIS-NIR范围内的图像形成过程进行建模，在可见度约束定义的可行区域内，以完全可区分的方式自动设计各种LED的最佳复用。我们还收集了一个大大扩展的VIS-NIR高光谱图像数据集的实验，通过使用定制的50波段滤光轮。实验结果表明，使用优化的宽带照明比仅使用近红外的任务可以显着改善。可用代码：https://github.com/MyNiuuu/VCSD。
2023-03-21 cs.CV eess.IV
PPR-FCN: Weakly Supervised Visual Relation Detection via Parallel Pairwise R-FCN
Columbia University（哥伦比亚大学）；National University of Singapore（新加坡国立大学）
我们的目标是解决一个新的视觉任务，称为弱监督视觉关系检测（WSVRD），以检测“主谓宾”的关系，在图像中的对象关系groundtruths仅在图像级别。这是因为在实例级别标记对象之间的组合关系是非常昂贵的。与广泛研究的问题相比，弱监督目标检测（WSOD），WSVRD更具挑战性，因为它需要检查大量的区域对，这在计算上是禁止的，并且更可能陷入局部最优解，例如涉及错误空间上下文的那些。为此，我们提出了一个并行的，成对的区域为基础的，全卷积网络（PPR-FCN）的WSVRD。它使用并行FCN架构，同时执行对选择和分类的单个区域和区域对的对象和关系检测，同时共享几乎所有的计算共享整个图像。特别是，我们提出了一种新的位置-角色-敏感的得分地图与成对的ROI池，以有效地捕捉与一对对象相关的关键上下文。我们证明了PPR-FCN的优越性，在解决WSVRD的挑战，通过使用两个视觉关系基准的广泛的实验结果在所有基线。
2017-08-07 cs.CV
Near-Infrared and Low-Rank Adaptation of Vision Transformers in Remote Sensing
Ankara University（安卡拉大学）；METU（中东技术大学）
本研究针对遥感NIR图像域偏移问题，提出使用RGB预训练ViT骨干结合低秩自适应（LoRA）进行高效微调，实验证明该方法在NIR下游任务中性能最优。
2024-05-28 cs.AI cs.CV
PCSGAN: Perceptual Cyclic-Synthesized Generative Adversarial Networks for Thermal and NIR to Visible Image Transformation
Indian Institute of Information Technology, Sri City（印度信息技术学院斯里城校区）
在许多真实世界场景中，由于恶劣的照明条件，难以捕获可见光谱（VIS）中的图像。然而，在这种情况下，可以使用近红外（NIR）和热（THM）相机捕获图像。NIR和THM图像包含有限的细节。因此，需要将图像从THM/NIR转换为VIS以更好地理解。然而，这是不平凡的任务，由于大的域差异和缺乏丰富的数据集。生成对抗网络（GAN）能够将图像从一个域转换到另一个域。大多数可用的基于GAN的方法使用对抗性损失和像素损失（如$L_1$或$L_2$）的组合作为用于训练的目标函数。在THM/NIR到VIS变换的情况下，变换图像的质量仍然没有达到使用这样的目标函数的标准。因此，需要更好的目标函数来提高变换图像的质量、细节和真实感。为了解决这些问题，引入了一种新的THM/NIR到VIS图像转换模型，称为感知循环合成生成对抗网络（PCSGAN）。PCSGAN使用感知（即，基于特征的）损失以及像素方面的损失和对抗性损失。定量和定性的措施被用来判断PCSGAN模型的性能在WHU-IIP人脸和RGB-NIR场景数据集。所提出的PCSGAN在SSIM、MSE、PSNR和LPIPS评估指标方面优于最先进的图像变换模型，包括Pix 2 pix、DualGAN、CycleGAN、PS2 GAN和PAN。该代码可在https://github.com/KishanKancharagunta/PCSGAN上获得。
2020-08-06 cs.CV cs.LG cs.MM
Cross-Spectral Iris Matching Using Conditional Coupled GAN
West Virginia University（西弗吉尼亚大学）
跨光谱虹膜识别是一种很有前途的生物识别方法，用于身份认证的个人。然而，匹配虹膜图像在不同的光谱波段获取时，显示出显着的性能退化相比，单波段近红外（NIR）匹配由于在NIR和可见光（VIS）光谱中获得的虹膜图像之间的光谱间隙。虽然研究人员最近专注于基于深度学习的方法来恢复不变的代表性特征，以获得更准确的识别性能，但现有方法无法达到商业应用所需的预期准确性。因此，在本文中，我们提出了一个条件耦合生成对抗网络（CpGAN）架构的跨光谱虹膜识别的VIS和NIR虹膜图像投影到一个低维嵌入域，探索它们之间的隐藏关系。条件CpGAN框架由一对基于GAN的网络组成，一个负责在可见光域中检索图像，另一个负责在NIR域中检索图像。两个网络都试图将数据映射到一个公共的嵌入子空间，以确保来自同一受试者的两种虹膜模态的特征向量之间的最大成对相似性。为了证明我们所提出的方法的有用性，在PolyU数据集上获得的大量实验结果与现有的最先进的交叉光谱识别方法进行了比较。
2020-10-09 cs.CV
Unsupervised Domain Adaptation for Semantic Segmentation of NIR Images through Generative Latent Search
Indian Institute of Technology Delhi（德里印度理工学院）
分割的像素对应于人类皮肤是一个重要的第一步，在多个应用范围从监测到心率估计从远程光电容积脉搏波。然而，现有文献仅在EM光谱的可见范围内考虑该问题，这限制了它们在应用的关键性较高的低光或无光设置中的实用性。为了缓解这个问题，我们考虑从近红外图像的皮肤分割的问题。然而，基于深度学习的最先进的分割技术需要大量的标记数据，这对于当前的问题是不可用的。因此，我们将皮肤分割问题转化为目标无关的无监督领域自适应（UDA）问题，其中我们使用来自可见光范围的红色通道的数据来开发近红外图像上的皮肤分割算法。我们提出了一种目标独立的分割方法，其中在源域中的目标图像的“最近克隆”被搜索，并用作仅在源域上训练的分割网络中的代理。我们证明了“最近克隆”的存在性，并提出了一种方法来找到它，通过优化算法的潜在空间的深度生成模型的基础上变分推理。我们证明了所提出的方法的有效性，近红外皮肤分割的国家的最先进的UDA分割方法的两个新创建的皮肤分割数据集在近红外域，尽管没有访问目标近红外数据。此外，我们报告了从Synthia到Cityscapes的最新结果，这是语义分割的无监督领域自适应中的一个流行设置。代码和数据集可在https://github.com/ambekarsameer96/GLSS上获得。
2020-07-17 cs.CV
PairWise Image Finder: An Open-source Tool for Finding Visually Aligned Street-Level Image Pairs for Urban Perception Studies
Digital Geography Lab, Department of Geosciences and Geography, University of Helsinki（赫尔辛基大学地球科学与地理系数字地理实验室）
提出PairWise图像查找工具，集成特征检测与匹配及语义分割掩码，量化不同时期图像的视觉对齐度，输出匹配特征比例、距离、覆盖率和语义掩码对齐度，支持过滤高质量图像对，用于纵向变化研究和减少人工工作量。
2026-06-07 cs.CV
Beyond Pairwise Relations: Dynamic Manipulation Hypergraphs for Vision-Based Human Activity Recognition
School of Mathematics, Statistics and Computer Science, College of Science, University of Tehran（德黑兰大学理学院数学、统计与计算机科学学院）
研究基于视觉的人类活动识别中的细粒度操纵问题。提出动态操纵超图框架，通过多特征编码实体、谓词排序超边候选等进行建模。实验表明该方法在HO-F1上优于成对图和静态超图，证明时变高阶关系建模的价值。
2026-07-21 cs.CV
NIR-Assisted Image Denoising: A Selective Fusion Approach and A Real-World Benchmark Dataset
Harbin Institute of Technology（哈尔滨工业大学）
针对极低光照下图像去噪难题，本文提出可即插即用的选择性融合模块SFM以有效融合NIR与RGB特征，并构建真实世界数据集Real-NAID，实验证明方法优于现有最先进方案。
2025-03-10 cs.CV
An Integrated Enhancement Solution for 24-hour Colorful Imaging
Beihang University（北京航空航天大学）；National Institute of Informatics（国立信息学研究所）；Peng Cheng Laboratory（鹏城实验室）
目前24小时户外成像的行业实践是使用补充有近红外（NIR）照明的硅相机。这将导致彩色图像在白天对比度差，在夜间缺乏色度。对于这种困境，所有现有的解决方案都试图分别捕获RGB和NIR图像。然而，它们需要额外的硬件支持，并遭受各种缺点，包括使用寿命短，价格高，特定的使用场景，在本文中，我们提出了一种新颖的和集成的增强解决方案，产生清晰的彩色图像，无论是在充足的阳光白天或极低光的夜晚。我们的核心思想是从混合信号中分离出可见光和近红外信息，并在近红外信号的辅助下自适应地增强可见光信号。为此，我们建立了一个光学系统来收集一个新的VIS-NIR-MIX数据集，并提出了一个物理意义上的图像处理算法的基础上CNN。大量的实验结果表明，突出的结果，证明了我们的解决方案的有效性。
2020-05-10 cs.CV eess.IV
Adapting Deep Visuomotor Representations with Weak Pairwise Constraints
University of California, Berkeley（加州大学伯克利分校）；Boston University（波士顿大学）
现实世界的机器人问题经常发生在与机器人先前的训练环境显著不同的领域。对于许多机器人控制任务，获得真实世界的经验是昂贵的，但数据很容易在仪器环境或模拟中收集。我们提出了一种新的领域自适应的机器人感知方法，适应视觉表示学习的一个大的容易获得的源数据集（例如合成图像）的目标现实世界的域，而不需要昂贵的人工数据注释的现实世界的数据之前，政策搜索。监督领域自适应方法使用在源域和目标域两者中包含相同对象或场景的对准图像对来最小化跨域差异，从而学习域不变表示。然而，它们需要手动对准这样的图像对。完全无监督的自适应方法依赖于最小化跨域特征分布之间的差异。我们提出了一种新的，更强大的组合分布和成对的图像对齐，并删除昂贵的注释的要求，通过使用弱对齐的图像对在源和目标域。专注于使用PR2机器人从模拟到现实世界数据的适应，我们评估了我们在操作任务上的方法，并表明通过使用弱配对图像，我们的方法比以前的技术更有效地补偿了域偏移，从而在现实世界中实现了更好的机器人性能。
2017-05-25 cs.CV
Deep GAN-Based Cross-Spectral Cross-Resolution Iris Recognition
近年来，交叉光谱虹膜识别已经成为一种很有前途的生物识别方法，以建立个人的身份。然而，匹配在不同光谱带（即，将可见光（VIS）虹膜探针与近红外（NIR）虹膜图像的图库相匹配，或反之亦然）与带内NIR匹配相比，显示出显著的性能下降。因此，在本文中，我们研究了一系列深度卷积生成对抗网络（DCGAN）架构，以进一步提高跨光谱虹膜识别方法的准确性。此外，与文献中现有的作品，我们引入了一个分辨率差异到经典的交叉光谱匹配问题域。我们已经开发了两种不同的技术，使用条件生成对抗网络（cGAN）作为骨干架构的跨光谱虹膜匹配。在第一种方法中，我们通过训练cGAN同时解决交叉分辨率和交叉光谱匹配问题，该cGAN将交叉分辨率和交叉光谱任务联合转换为相同的分辨率和相同的光谱。在第二种方法中，我们设计了一个耦合的生成对抗网络（cpGAN）架构，该架构由一对cGAN模块组成，该cGAN模块将VIS和NIR虹膜图像投影到低维嵌入域中，以确保来自同一受试者的两种虹膜模态的特征向量之间的最大成对相似性。
2021-08-03 cs.CV
Smartphone-based Iris Recognition through High-Quality Visible Spectrum Iris Capture
Clarkson University（克拉克森大学）
本研究提出一款Android应用，通过自动对焦和变焦结合YOLOv3-tiny与G-ATTU-Net模型，实现高质量可见光谱虹膜采集与识别，在47名受试者上VIS和NIR的TAR分别达96.57%和97.95%，显著提升智能手机安全性。
2024-12-17 cs.CV eess.IV
Deep Multi-Spectral Registration Using Invariant Descriptor Learning
在本文中，我们介绍了一种新的深度学习方法来对齐交叉光谱图像。我们的方法依赖于一个学习的描述符，这是不变的不同的光谱。同一场景的多模态图像捕获不同的信号，因此它们的配准具有挑战性，并且经典方法无法解决。为此，我们开发了一种基于特征的方法，解决了可见光（VIS）到近红外（NIR）的配准问题。我们的算法通过Harris检测角点，并通过在CIFAR-10网络描述符上学习的补丁度量进行匹配。正如我们的实验表明，我们实现了高质量的跨光谱图像的子像素精度对齐。与现有的方法相比，我们的方法是更准确的VIS到NIR配准的任务。
2018-05-23 cs.CV
Texture-Shape Bias Balancing for Robust Synthetic-to-Real Semantic Segmentation in Automotive NIR Imagery
University of Wuppertal（伍珀塔尔大学）；Aptiv（Aptiv公司）；Heinrich Heine University Düsseldorf（海因里希·海涅大学杜塞尔多夫）；Osnabrück University（奥斯纳布吕克大学）
提出生成式增强框架，通过目标风格适配和Voronoi风格多样化策略平衡纹理-形状偏差，实现近红外图像合成到真实域适应，将域差距减少高达63.6%。
2026-06-16 cs.CV
Pigment Melanin: Pattern for Iris Recognition
University of Tehran（德黑兰大学）；University of Waterloo（滑铁卢大学）；Henry Ford Hospital（亨利福特医院）
由于人眼角膜对可见光的反射，使得基于可见光成像的虹膜识别成为一个难题。尽管如此，色素黑色素在VL中提供了丰富的特征源，这在近红外（NIR）成像中是不可用的。这是由于真黑素的生物光谱学，一种在NIR中不受刺激的化学物质。在这种情况下，可以通过在图像直方图上使用变分技术的自适应过程来提供观察这种图案的合理解决方案。为了描述的模式，形状分析方法是用来获得每个主题的特征代码。一个重要的问题是，从VL中提取的黑色素图案在多大程度上独立于NIR中的虹膜纹理。考虑到这个问题，本研究提出了融合从NIR和VL提取的特征，以提高识别性能。我们已经收集了我们自己的数据库（UTIRIS）包括近红外和VL图像的158只眼睛的79个人。实验结果表明，该算法对虹膜的色团模式高度敏感，提高了虹膜识别率。
2009-11-29 cs.CV
Graph Relation Transformer: Incorporating pairwise object features into the Transformer architecture
Carnegie Mellon University（卡内基梅隆大学）
VizWiz等先前的研究发现，可以阅读和推理图像中的文本的视觉问答（VQA）系统在帮助视力受损的人等应用领域非常有用。TextVQA是一个针对这个问题的VQA数据集，其中的问题需要回答系统来阅读和推理图像中的视觉对象和文本对象。TextVQA中的一个关键挑战是设计一个系统，该系统不仅可以有效地单独推理视觉和文本对象，还可以有效地推理这些对象之间的空间关系。这激发了“边缘特征”的使用，即关于每对对象之间关系的信息。一些当前的TextVQA模型解决了这个问题，但要么只使用关系类别（而不是边缘特征向量），要么不使用Transformer架构中的边缘特征。为了克服这些缺点，我们提出了一个图形关系Transformer（GRT），它使用的边缘信息，除了节点信息的图形注意力计算的Transformer。我们发现，在不使用任何其他优化，建议的GRT方法优于M4C基线模型的准确性由0.65%的valset和0.57%的测试集。定性地，我们观察到GRT具有优于M4C的空间推理能力。
2021-11-11 cs.CV
A text-based, generative deep learning model for soil reflectance spectrum simulation in the VIS-NIR (400-2499 nm) bands
University of California, Davis（加州大学戴维斯分校）
本文提出基于去噪扩散概率模型的文本驱动土壤光学生成模型SOGM，利用近18万对光谱-属性数据实现VIS-NIR波段土壤反射光谱模拟，并配套光谱填充与湿土光谱子模型，可耦合Helios和PROSAIL用于遥感研究。
2024-05-02 cs.AI cs.CV cs.LG
Synthesis-Guided Feature Learning for Cross-Spectral Periocular Recognition
West Virginia University（西弗吉尼亚大学）
眼周生物识别中常见但具有挑战性的场景是交叉光谱匹配-特别是可见光波长与近红外（NIR）眼周图像的匹配。我们提出了一种新的方法来交叉光谱眼周验证，主要集中在学习从可见光和近红外眼周图像映射到共享的潜在代表子空间，并支持这一努力，同时学习内光谱图像重建。我们表明，辅助图像重建任务（特别是高层次的语义特征的重建）的结果是学习一个更具鉴别力的，域不变的子空间相比，基线，而不会产生额外的计算或内存成本在测试时。所提出的耦合条件生成对抗网络（CoGAN）架构使用成对的生成器网络（一个在可见光图像上操作，另一个在NIR上操作），该生成器网络由具有ResNet-18编码器的U网组成，该编码器经过训练用于通过对比损失进行特征学习，以及用于具有对抗性、基于像素和感知重建损失的谱内图像重建。此外，所提出的CoGAN模型在跨光谱眼周识别中击败了当前最先进的（SotA）。在香港理工大学基准数据集上，我们实现了98.65%的AUC和5.14%的EER，而SotA的EER为8.02%。在交叉眼数据集上，我们实现了99.31%的AUC和3.99%的EER，而SotA的EER为4.39%。
2021-11-16 cs.AI cs.CV
Rapid Probabilistic Interest Learning from Domain-Specific Pairwise Image Comparisons
Council for Scientific and Industrial Research（科学与工业研究理事会）
大量的工作旨在发现用于视觉搜索和信息检索的图像兴趣或可记忆性的大型通用模型。本文认为，图像的兴趣往往是领域和用户特定的，有效的机制，了解这个特定领域的图像兴趣尽快，同时限制所需的数据标签的数量，往往是更有用的最终用户。这项工作使用成对图像比较来减少这些用户的标签负担，并引入了一种图像兴趣估计方法，该方法与最近使用成对排名损失训练的数据饥渴深度学习方法类似。在这里，我们使用一个高斯过程模型来插值图像的兴趣推断使用贝叶斯排名的方法在使用预训练的卷积神经网络提取的图像特征。结果表明，在高维图像特征空间中拟合高斯过程不仅在计算上是可行的，而且在广泛的领域中也是有效的。所提出的概率兴趣估计方法产生与不确定性配对的图像兴趣，这些不确定性可用于识别需要额外标记的图像并测量推理收敛，从而允许样本有效的主动模型训练。重要的是，概率公式允许有效的视觉搜索和信息检索时，有限的标签数据是可用的。
2020-05-22 cs.CV cs.RO
