Wasserstein CNN: Learning Invariant Features for NIR-VIS Face Recognition
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）；University of Chinese Academy of Sciences（中国科学院大学）
异构人脸识别（HFR）旨在将从不同传感模式获取的人脸图像与取证，安全和商业领域的关键任务应用相匹配。然而，HFR是一个比传统的人脸识别更具挑战性的问题，因为大的类内变化的异构人脸图像和有限的训练样本的跨模态人脸图像对。本文提出了一种新的方法，即Wasserstein CNN（卷积神经网络，或简称WCNN）学习近红外和视觉人脸图像之间的不变特征（即近红外-可见光人脸识别）。WCNN的低层是用可见光谱中广泛可用的人脸图像训练的。高级层分为三个部分，即，NIR层、VIS层和NIR-VIS共享层。前两层用于学习模态相关特征，NIR-VIS共享层用于学习模态不变特征子空间。在NIR-VIS共享层中引入Wasserstein距离来度量异质特征分布之间的相异性。因此，W-CNN学习的目标是实现NIR分布和VIS分布之间的Wasserstein距离最小化，以实现异构人脸图像的不变深度特征表示。为了避免小规模异构人脸数据的过拟合问题，在WCNN网络的全连接层上引入相关先验以减少参数空间。该先验通过端到端网络中的低秩约束来实现。联合公式导致在训练阶段的深层特征表示的交替最小化和在测试阶段的异构数据的有效计算。在三个具有挑战性的NIR-VIS人脸识别数据库上进行的大量实验表明，Wasserstein CNN比最先进的方法具有显着的优越性。
2017-08-08 cs.CV
A NIR-to-VIS face recognition via part adaptive and relation attention module
Yonsei University（延世大学）
在人脸识别应用场景中，我们需要处理各种条件下捕获的人脸图像，例如在夜间通过近红外（NIR）监控摄像头捕获的人脸图像。近红外和可见光（VIS）之间的照明差异导致面部图像之间存在域差距，并且姿势和情感的变化也使面部匹配变得更加困难。异构人脸识别（HFR）存在领域差异的困难，许多研究都集中在提取领域不变的特征，如面部部位的关系信息。然而，当姿态变化发生时，面部组件位置改变，并且提取不同的部分关系。在本文中，我们提出了一个部分关系注意模块，作物通过语义面具获得的面部部位，并使用这些代表性的功能进行关系建模。此外，我们建议组件自适应三重损失函数使用自适应权重的每个部分，以减少类内的身份，无论域以及姿势。最后，我们的方法在CASIA NIR-VIS 2.0中表现出性能改进，并在具有大姿态和情感变化的BUAA-VisNir中取得了优异的结果。
2021-02-01 cs.CV
Mutimodal Ranking Optimization for Heterogeneous Face Re-identification
本文提出多模态融合排序优化算法，通过异构人脸翻译网络生成多模态人脸对并融合排序，有效利用模态互补性，提升NIR-VIS异构人脸再识别性能。
2024-05-28 cs.CV
NIR-to-VIS Face Recognition via Embedding Relations and Coordinates of the Pairwise Features
Yonsei University（延世大学）
近红外到可见光人脸识别是通过提取领域不变的特征来识别两个不同领域的人脸。然而，这是一个具有挑战性的问题，由于这两个不同的领域的特点，并缺乏近红外人脸数据集。为了减少域差异，同时使用现有的人脸识别模型，我们提出了一个“关系模块”，它可以简单地添加到任何人脸识别模型。从人脸图像中提取的局部特征包含了人脸各个部分的信息。基于两种不同的领域特征，使用局部特征之间的关系比直接使用它更具领域不变性。除了这些关系之外，诸如从嘴唇到下巴或眼睛到眼睛的距离的位置信息也提供域不变信息。在我们的关系模块中，关系层隐式地捕获关系，坐标层对位置信息进行建模。此外，我们提出的具有条件保证金的三重损失减少了训练中的类内变化，并导致额外的性能改进。与一般的人脸识别模型不同，我们的附加模块不需要使用大规模数据集进行预训练。建议的模块微调仅与CASIA NIR-VIS 2.0数据库。与两个基线模型相比，我们实现了14.81%的rank-1准确率和15.47%的验证率，FAR提高了0.1%。
2022-08-04 cs.CV
The Invisible Threat: Evaluating the Vulnerability of Cross-Spectral Face Recognition to Presentation Attacks
Idiap Research Institute（IDiap研究机构）
本研究系统评估了NIR-VIS跨光谱人脸识别系统对呈现攻击的脆弱性，发现尽管该系统具备一定可靠性，但仍易受特定攻击威胁，亟需进一步研究。
2025-05-01 cs.CV
Disentangled Variational Representation for Heterogeneous Face Recognition
Center for Research on Intelligent Perception and Computing (CRIPAC), CASIA（中国科学院自动化研究所智能感知与计算研究中心）；National Laboratory of Pattern Recognition (NLPR), CASIA（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
可见光（VIS）到近红外（NIR）人脸匹配是一个具有挑战性的问题，由于域之间的显着域差异和缺乏足够的数据来训练跨模态匹配算法。现有的方法试图解决这个问题，无论是合成可见的近红外人脸，从这些模态提取域不变的功能，或投影异构数据到一个共同的潜在空间的跨模态匹配。在本文中，我们采取了不同的方法，我们利用解纠缠变分表示（DVR）的跨模态匹配。首先，我们建立了一个具有内在身份信息及其内部变化的人脸模型。通过探索解纠缠的潜变量空间，变分下界被用来优化NIR和VIS表示的近似后验。其次，为了获得更紧凑和歧视性的解纠缠的潜在空间，我们施加了最小化的身份信息为同一主题和放松的相关对齐约束之间的近红外和可见光的模态变化。对于解纠缠变分表示部分和异构人脸识别网络部分，提出了一种替代的优化方案。这两个部分之间的相互促进，有效地减少了近红外和可见光域的差异，并消除了过度拟合。在三个具有挑战性的NIR-VIS异构人脸识别数据库上的大量实验表明，该方法比现有的方法取得了显着的改进。
2019-01-23 cs.CV
Joint Feature Distribution Alignment Learning for NIR-VIS and VIS-VIS Face Recognition
NEC Biometrics Research Laboratories（NEC生物识别研究实验室）；NEC Corporation（NEC公司）
由于深度学习的最新发展，可见光（VIS）图像的人脸识别实现了高准确性。然而，异构人脸识别（HFR），这是一个在不同领域的人脸匹配，仍然是一个困难的任务，由于领域的差异和缺乏大的HFR数据集。有几种方法试图通过微调来减少域差异，这导致VIS域中的性能显著下降，因为它失去了高度区分的VIS表示。为了克服这个问题，我们提出了联合特征分布对齐学习（JFDAL），这是一种利用知识蒸馏的联合学习方法。它使我们能够实现高HFR性能，同时保留VIS域的原始性能。大量的实验表明，我们提出的方法提供了统计上显着更好的性能相比，传统的微调方法在公共HFR数据集Oulu-CASIA NIR&VIS和流行的验证数据集在VIS域，如FLW，CFP，CFDB。此外，与现有的国家的最先进的HFR方法的比较实验表明，我们的方法实现了可比的HFR性能的Oulu-CASIA NIR和VIS数据集的VIS性能下降较少。
2022-04-25 cs.CV cs.LG
Shared Representation Learning for Heterogeneous Face Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
经过深入的研究，异构人脸识别仍然是一个具有挑战性的问题。主要困难是由于异构人脸图像空间之间的复杂关系。人脸图像的异质性往往与其他变量紧密耦合，使得异质人脸图像之间的关系具有高度的非线性。虽然已经提出了许多优秀的方法来建模非线性关系，但由于样本有限，这些方法容易过拟合训练集。受深度学习中无监督算法的启发，本文提出了一种新的异构人脸识别框架。我们首先在一些局部的面部点提取Gabor特征，然后使用受限玻尔兹曼机（RBM）在本地学习一个共享表示，以消除每个面部点周围的异质性。最后，局部RBM的共享表示被连接在一起并由PCA处理。两个问题（Sketch-Photo和NIR-VIS）和三个数据库被选择来评估所提出的方法。对于Sketch-Photo问题，我们在CUFS数据库上获得了理想的结果。对于NIR-VIS问题，我们在CASIA HFB和NIR-VIS 2.0数据库上产生了新的最先进的性能。
2014-06-05 cs.CV
Multi-Energy Guided Image Translation with Stochastic Differential Equations for Near-Infrared Facial Expression Recognition
Tsinghua University（清华大学）
针对近红外面部表情数据稀缺与异构图像转换可控性不足的问题，提出NFER-SDE，利用随机微分方程和领域知识保留模态不变高频信息，在Oulu-CASIA与Large-HFE上达到最先进性能。
2023-12-10 cs.AI cs.CV cs.HC
Is Facial Recognition Biased at Near-Infrared Spectrum As Well?
Wichita State University（威奇托州立大学）
已发表的学术研究和媒体文章表明，人脸识别在人口统计学上存在偏见。具体而言，女性、深色皮肤的人和老年人的表现不平等。然而，这些已发表的研究已经检查了可见光谱（VIS）中面部识别的偏差。面部化妆、面部毛发、肤色和照明变化等因素已被归因于VIS处该技术的偏差。近红外（NIR）光谱在对照明变化、面部化妆和肤色等因素的鲁棒性方面优于VIS。因此，研究人脸识别在近红外光谱（NIR）上的偏差是值得的。第一项研究调查了人脸识别系统在近红外光谱上的偏差。为此，两个流行的近红外人脸图像数据集，即CASIA-Face-Africa和Notre-Dame-NIVL，分别由非洲人和白人受试者组成，用于研究面部识别技术在性别和种族上的偏见。有趣的是，实验结果表明，在近红外光谱下，性别和种族之间的人脸识别性能是平等的。
2022-10-31 cs.CV cs.CY cs.HC
Hypergraph-Guided Disentangled Spectrum Transformer Networks for Near-Infrared Facial Expression Recognition
Tsinghua University（清华大学）
针对近红外面部表情识别中的数据受限、频谱干扰与类间相似问题，提出 NFER-Former，通过自注意力正交分解和超图引导特征嵌入实现 SOTA。
2023-12-10 cs.AI cs.CV cs.HC
TAS-NIR: A VIS+NIR Dataset for Fine-grained Semantic Segmentation in Unstructured Outdoor Environments
Universität der Bundeswehr München（慕尼黑联邦国防军大学）
基于可见光谱和近红外光谱图像的植被指数在遥感应用中得到了广泛的应用。这些植被指数的应用程序在非结构化的户外环境中的自动驾驶进行了扩展。在这一领域，我们可以将传统的植被指数（如归一化差异植被指数（NDVI）和增强型植被指数（EVI））与在可用VIS数据集上预训练的卷积神经网络（CNN）相结合。通过重点学习校准的CNN输出，我们还可以提供一种将已知手工制作的图像特征与不同领域的CNN预测融合的方法。在非结构化户外环境中的语义注释图像的VIS+NIR数据集上评估该方法。该数据集可在mucar3.de/iros2022-ppniv-tas-nir上获得。
2022-12-19 cs.CV
Pixel-aligned RGB-NIR Stereo Imaging and Dataset for Robot Vision
POSTECH（浦项科技大学）
本文构建像素对齐RGB-NIR立体相机与LiDAR的机器人成像系统及多光照数据集，并提出图像融合与特征融合两种方法，验证其对机器人视觉的增强效果。
2024-12-02 cs.CV
Image Acquisition in an Underwater Vision System with NIR and VIS Illumination
Poznań University of Technology（波兹南理工大学）
介绍了一种用于水下自主导航的双波段图像采集系统。通道有：可见光光谱和近红外光谱。介绍了水下自然环境的特点以及水下图像的生成过程。在这些通道中获得的选定图像的比较实验的结果进行了讨论。
2014-02-05 cs.CV
Towards RGB-NIR Cross-modality Image Registration and Beyond
MEGVII Technology（旷视科技）
本文提出RGB-NIR-IRegis基准用于评估RGB-NIR跨模态图像配准，并设计SGFormer基线方法利用高级语义指导减轻局部不一致特征的负面影响，实验验证了其有效性。
2024-05-30 cs.CV
Does V-NIR based Image Enhancement Come with Better Features?
KU Leuven（鲁汶大学）；ETH Zürich（苏黎世联邦理工学院）
使用可见光（V）和近红外（NIR）的图像增强通常增强有用的图像细节。增强后的图像通过观察者的感知来评价，而不是定量的特征评价。因此，我们可以说这些使用NIR信息的增强图像与直接在红色，绿色和蓝色通道中计算的特征相比具有更好的特征吗？在这项工作中，我们提出了一种新的方法来增强可见光图像使用近红外信息通过边缘保持滤波器，并调查哪种方法从图像特征的角度来看表现最好。然后，我们表明，我们提出的增强方法比现有的最先进的方法产生更稳定的功能。
2016-08-24 cs.CV
Incorporating Near-Infrared Information into Semantic Image Segmentation
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Xerox Research Centre Europe（施乐欧洲研究中心）
计算摄影的最新进展表明，除了正常的可见光（RGB）波段外，我们还可以获取近红外（NIR）信息，只需对标准数码相机进行轻微修改。由于NIR波段接近可见光辐射，NIR图像与可见光图像共享许多特性。然而，由于光谱的NIR部分中的材料相关反射，这样的图像揭示了场景的不同特性。我们研究如何有效地利用这些差异，以提高性能的语义图像分割任务。基于一个国家的最先进的分割框架和一个新的手动分割图像数据库（室内和室外场景），包含4通道图像（RGB+NIR），我们研究如何最好地结合NIR响应的具体特征。我们表明，添加近红外导致提高性能的类，对应于一个特定类型的材料在室外和室内场景。我们还讨论了结果相对于近红外响应的物理性质。
2014-06-24 cs.CV
Visible and NIR Image Fusion Algorithm Based on Information Complementarity
Beihang University（北京航空航天大学）
本文针对可见光与近红外图像融合中的颜色失真和伪影问题，提出基于物理信号层的互补融合模型，利用权重引导滤波、扩展DoG滤波和arctanI函数构建互补权重图，在保持自然度的同时提升融合质量。
2023-09-19 cs.AI cs.CV
Spatial-Temporal Frequency Forgery Clue for Video Forgery Detection in VIS and NIR Scenario
Xidian University（西安电子科技大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
近年来，随着人脸编辑和生成的快速发展，越来越多的虚假视频在社交媒体上流传，引发了公众的极度担忧。现有的基于频域的人脸伪造检测方法发现，与真实图像相比，GAN伪造图像在频谱上存在明显的网格状视觉伪影。但对于合成视频，这些方法只局限于单帧，对不同帧间最具鉴别力的部分和时频线索关注较少。为了充分利用视频序列中丰富的信息，本文在时空频域上进行视频伪造检测，并提出一种基于离散余弦变换的伪造线索增强网络（FCAN-DCT），以实现更全面的时空特征表示。FCAN-DCT由一个主干网络和两个分支组成：紧凑特征提取（CFE）模块和频率时间注意（FTA）模块。我们对两个基于可见光（VIS）的数据集WildDeepfake和Celeb-DF（v2）以及我们自建的视频伪造数据集DeepfakeNIR进行了全面的实验评估，DeepfakeNIR是第一个近红外模式的视频伪造数据集。实验结果表明，我们的方法在检测伪造视频在可见光和近红外场景的有效性。
2022-07-05 cs.CV
Pix2Next: Leveraging Vision Foundation Models for RGB to NIR Image Translation
School of Integrated Technology（整合技术学院）
Pix2Next提出一种利用视觉基础模型和交叉注意力机制的编码器-解码器框架，实现RGB到近红外图像转换，在RANUS数据集上FID提升34.81%，并增强下游目标检测性能。
2025-04-23 cs.AI cs.CV
DarkVisionNet: Low-Light Imaging via RGB-NIR Fusion with Deep Inconsistency Prior
Megvii Technology（旷视科技）；Southeast University（东南大学）；Dalian University Of Technology（大连理工大学）
提出 DVN 网络，通过深度结构与深度不一致先验引导 RGB-NIR 融合，并构建首个公开对齐数据集 DVD，在极低光场景下显著提升 PSNR 与 SSIM。
2023-04-19 cs.CV
Multispectral Object Detection with Deep Learning
Jadavpur University（贾达普大学）
自然场景中的目标检测是一项具有挑战性的任务。在许多现实生活中，可见光谱不适合传统的计算机视觉任务。移动到可见光谱范围之外，例如热光谱或近红外（NIR）图像，在低能见度条件下更加有益，NIR图像对于了解物体的材料质量非常有帮助。在这项工作中，我们已经采取了图像与热和近红外光谱的目标检测任务。由于探测任务无法获得热红外和近红外的多光谱数据，我们需要自己收集数据。数据汇集是一个耗时的过程，我们面临着许多必须克服的障碍。我们从头开始训练YOLO v3网络，以从多光谱图像中检测目标。此外，为了避免过度拟合，我们已经做了数据增强和调整超参数。
2021-02-05 cs.CV
Intra and Cross-spectrum Iris Presentation Attack Detection in the NIR and Visible Domains
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所IGD）
虹膜呈现攻击检测（PAD）是虹膜识别系统安全的关键。最近的iris PAD解决方案通过利用深度学习技术实现了良好的性能。然而，大多数结果都是在数据库内的情况下报告的，目前还不清楚这种解决方案是否可以很好地推广到数据库和捕获光谱。由于在网络训练期间的二进制标签监督，这些PAD方法存在过拟合的风险，这有助于全局信息学习，但削弱了对局部判别特征的捕获。本章提出了一种新的基于注意力的深度像素二元监督（A-PBS）方法。A-PBS利用逐像素监督来捕获细粒度的像素/块级线索，并利用注意力机制来引导网络自动找到对准确的PAD决策贡献最大的区域。在六个近红外和一个可见光虹膜数据库上进行了大量的实验，以证明所提出的A-PBS方法的有效性和鲁棒性。我们还进行了大量的实验，在内部/跨数据库和内部/交叉频谱进行详细的分析。我们的实验结果表明A-PBS虹膜PAD方法的普遍性。
2023-02-27 cs.CV
Visibility Constrained Wide-band Illumination Spectrum Design for Seeing-in-the-Dark
The University of Tokyo（东京大学）
由于其广泛的应用和野外场景的极端复杂性，黑暗中的视觉是计算机视觉中最重要和最具挑战性的任务之一。现有技术可以主要分为两个线程：1）RGB相关的方法仅使用降级的RGB输入来恢复信息（\eg，低光增强），2）RGB无关的方法将在辅助近红外（NIR）发光体下捕获的图像转换到RGB域（\eg，NIR 2 RGB转换）。后者是非常有吸引力的，因为它在完全黑暗中工作，并且发光体对肉眼视觉友好，但由于其固有的模糊性而趋于不稳定。在本文中，我们试图通过在宽带VIS-NIR范围内设计辅助照明的最佳光谱，同时保持视觉友好性，来增强NIR 2 RGB转换。我们的核心思想是量化人类视觉系统所隐含的可见性约束，并将其纳入设计流程。通过对VIS-NIR范围内的图像形成过程进行建模，在可见度约束定义的可行区域内，以完全可区分的方式自动设计各种LED的最佳复用。我们还收集了一个大大扩展的VIS-NIR高光谱图像数据集的实验，通过使用定制的50波段滤光轮。实验结果表明，使用优化的宽带照明比仅使用近红外的任务可以显着改善。可用代码：https://github.com/MyNiuuu/VCSD。
2023-03-21 cs.CV eess.IV
CompletionFormer: Depth Completion with Convolutions and Vision Transformers
University of Bologna（博洛尼亚大学）；PhiGent Robotics（视比特机器人）
本文提出CompletionFormer，以深度耦合卷积注意力与Vision Transformer的JCAT块构建金字塔模型，兼顾局部细节与全局上下文，在KITTI和NYUv2上超越CNN方法且FLOPs约为纯Transformer的1/3。
2023-04-25 cs.CV
Generating near-infrared facial expression datasets with dimensional affect labels
Asus AICS（华硕人工智能云与服务研究院）
人脸表情分析一直是计算机视觉的一个活跃的研究领域。传统的方法主要是分析图像的原型离散的情绪，因此，他们不提供一个准确的描述复杂的情绪状态在人类。此外，光照变化仍然是可见光谱中人脸分析的一个挑战。为了解决这些问题，我们建议使用基于效价和唤醒的维度模型来表示更广泛的情绪，结合近红外（NIR）图像，这对照明变化更鲁棒。由于没有现有的近红外人脸表情数据集与价唤醒标签可用，我们提出了两个互补的数据增强方法（人脸变形和CycleGAN方法），以创建近红外图像数据集与维度情感标签从现有的分类和/或可见光数据集。我们的实验表明，这些生成的近红外数据集的数据质量和基线预测性能与现有的数据集。
2022-06-28 cs.CV
OSCAR: Occupancy-based Shape Completion via Acoustic Neural Implicit Representations
Chair for Computer Aided Medical Procedures (CAMP) Technical University of Munich（慕尼黑工业大学计算机辅助医疗程序教席（CAMP））；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））；Konrad Zuse School of Excellence in Reliable AI (relAI)（康拉德·楚泽可靠人工智能卓越学校（relAI））
提出基于占用率的形状补全方法，利用声学神经隐式表示从部分超声观测中重建完整3D解剖结构，无需标签，在HD95指标上优于现有方法80%。
2026-07-02 cs.CV
VOIC: Visible-Occluded Integrated Guidance for 3D Semantic Scene Completion
Research Institute of Trustworthy Autonomous Systems, Southern University of Science and Technology（可信自主系统研究院，南方科技大学）；Department of Computer Science and Engineering, Southern University of Science and Technology（计算机科学与工程系，南方科技大学）；School of Computer Science, University of Nottingham Ningbo China（宁波大学计算机学院）；Department of Electronic and Information Engineering, Changchun University（电子与信息工程学院，长春大学）
提出VOIC网络，通过解耦可见区域感知与遮挡区域推理，利用离线可见区域标签提取策略和双解码器框架，在SemanticKITTI和SSCBench-KITTI360上实现最先进的3D语义场景补全性能。
2026-06-02 cs.CV
360ORB-SLAM: A Visual SLAM System for Panoramic Images with Depth Completion Network
Hangzhou Normal University（杭州师范大学）；Chinese Academy of Sciences（中国科学院）；Quanzhou Institute of Equipment Manufacturing（泉州装备制造研究所）；Hangzhou Dianzi University（杭州电子科技大学）；Tianjin University of Technology（天津理工大学）
本文提出360ORB-SLAM，通过全景特征提取、全景三角化与深度补全网络获得稠密深度，在基于Carla的全景数据集上提升了单目SLAM的尺度精度与稳定性。
2024-01-19 cs.CV
Vision-based 3D Semantic Scene Completion via Capture Dynamic Representations
本文提出CDScene方法，通过多模态大模型提取2D语义并对齐到3D空间，将场景解耦为动态与静态特征并自适应融合，在多个基准上实现了鲁棒且准确的视觉语义场景补全。
2025-05-05 cs.CV
Near-Infrared and Low-Rank Adaptation of Vision Transformers in Remote Sensing
Ankara University（安卡拉大学）；METU（中东技术大学）
本研究针对遥感NIR图像域偏移问题，提出使用RGB预训练ViT骨干结合低秩自适应（LoRA）进行高效微调，实验证明该方法在NIR下游任务中性能最优。
2024-05-28 cs.AI cs.CV
PCSGAN: Perceptual Cyclic-Synthesized Generative Adversarial Networks for Thermal and NIR to Visible Image Transformation
Indian Institute of Information Technology, Sri City（印度信息技术学院斯里城校区）
在许多真实世界场景中，由于恶劣的照明条件，难以捕获可见光谱（VIS）中的图像。然而，在这种情况下，可以使用近红外（NIR）和热（THM）相机捕获图像。NIR和THM图像包含有限的细节。因此，需要将图像从THM/NIR转换为VIS以更好地理解。然而，这是不平凡的任务，由于大的域差异和缺乏丰富的数据集。生成对抗网络（GAN）能够将图像从一个域转换到另一个域。大多数可用的基于GAN的方法使用对抗性损失和像素损失（如$L_1$或$L_2$）的组合作为用于训练的目标函数。在THM/NIR到VIS变换的情况下，变换图像的质量仍然没有达到使用这样的目标函数的标准。因此，需要更好的目标函数来提高变换图像的质量、细节和真实感。为了解决这些问题，引入了一种新的THM/NIR到VIS图像转换模型，称为感知循环合成生成对抗网络（PCSGAN）。PCSGAN使用感知（即，基于特征的）损失以及像素方面的损失和对抗性损失。定量和定性的措施被用来判断PCSGAN模型的性能在WHU-IIP人脸和RGB-NIR场景数据集。所提出的PCSGAN在SSIM、MSE、PSNR和LPIPS评估指标方面优于最先进的图像变换模型，包括Pix 2 pix、DualGAN、CycleGAN、PS2 GAN和PAN。该代码可在https://github.com/KishanKancharagunta/PCSGAN上获得。
2020-08-06 cs.CV cs.LG cs.MM
Cross-Spectral Iris Matching Using Conditional Coupled GAN
West Virginia University（西弗吉尼亚大学）
跨光谱虹膜识别是一种很有前途的生物识别方法，用于身份认证的个人。然而，匹配虹膜图像在不同的光谱波段获取时，显示出显着的性能退化相比，单波段近红外（NIR）匹配由于在NIR和可见光（VIS）光谱中获得的虹膜图像之间的光谱间隙。虽然研究人员最近专注于基于深度学习的方法来恢复不变的代表性特征，以获得更准确的识别性能，但现有方法无法达到商业应用所需的预期准确性。因此，在本文中，我们提出了一个条件耦合生成对抗网络（CpGAN）架构的跨光谱虹膜识别的VIS和NIR虹膜图像投影到一个低维嵌入域，探索它们之间的隐藏关系。条件CpGAN框架由一对基于GAN的网络组成，一个负责在可见光域中检索图像，另一个负责在NIR域中检索图像。两个网络都试图将数据映射到一个公共的嵌入子空间，以确保来自同一受试者的两种虹膜模态的特征向量之间的最大成对相似性。为了证明我们所提出的方法的有用性，在PolyU数据集上获得的大量实验结果与现有的最先进的交叉光谱识别方法进行了比较。
2020-10-09 cs.CV
PHAC: Promptable Human Amodal Completion
本文提出PHAC任务，通过满足可见外观约束和多用户提示完成遮挡人像，使用ControlNet模块编码提示信号并微调交叉注意力块以提升提示对齐性。
2026-03-16 cs.CV
IPFormer: Visual 3D Panoptic Scene Completion with Context-Adaptive Instance Proposals
Fraunhofer Institute IVI（弗劳恩霍夫研究所IVI）；Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；University of California, Los Angeles（加州大学洛杉矶分校）
IPFormer通过上下文自适应实例提案实现视觉3D全景场景补全，提升场景理解与泛化能力。
2026-01-24 cs.CV
Unsupervised Domain Adaptation for Semantic Segmentation of NIR Images through Generative Latent Search
Indian Institute of Technology Delhi（德里印度理工学院）
分割的像素对应于人类皮肤是一个重要的第一步，在多个应用范围从监测到心率估计从远程光电容积脉搏波。然而，现有文献仅在EM光谱的可见范围内考虑该问题，这限制了它们在应用的关键性较高的低光或无光设置中的实用性。为了缓解这个问题，我们考虑从近红外图像的皮肤分割的问题。然而，基于深度学习的最先进的分割技术需要大量的标记数据，这对于当前的问题是不可用的。因此，我们将皮肤分割问题转化为目标无关的无监督领域自适应（UDA）问题，其中我们使用来自可见光范围的红色通道的数据来开发近红外图像上的皮肤分割算法。我们提出了一种目标独立的分割方法，其中在源域中的目标图像的“最近克隆”被搜索，并用作仅在源域上训练的分割网络中的代理。我们证明了“最近克隆”的存在性，并提出了一种方法来找到它，通过优化算法的潜在空间的深度生成模型的基础上变分推理。我们证明了所提出的方法的有效性，近红外皮肤分割的国家的最先进的UDA分割方法的两个新创建的皮肤分割数据集在近红外域，尽管没有访问目标近红外数据。此外，我们报告了从Synthia到Cityscapes的最新结果，这是语义分割的无监督领域自适应中的一个流行设置。代码和数据集可在https://github.com/ambekarsameer96/GLSS上获得。
2020-07-17 cs.CV
Visible and infrared self-supervised fusion trained on a single example
Kingston University London（伦敦金斯顿大学）
针对可见光图像易受干扰、近红外图像更清晰的特点，提出一种单样本自监督训练的卷积神经网络融合方法，数秒即可完成训练，在无需大数据集的前提下实现了性能相当或更优的多光谱融合效果。
2024-03-09 cs.CV
CroCo: Self-Supervised Pre-training for 3D Vision Tasks by Cross-View Completion
NAVER LABS Europe（NAVER LABS欧洲）
掩码图像建模（MIM）是近年来发展起来的一种有效的预训练方法。通过掩蔽输入图像中的补丁来构造借口任务，然后通过使用可见补丁作为唯一输入的神经网络来预测该掩蔽的内容。当针对高级语义任务（例如图像分类和目标检测）进行微调时，这种预训练会带来最先进的性能。在本文中，我们试图学习能够很好地转移到各种3D视觉和较低级别的几何下游任务（如深度预测或光流估计）的表示。受MIM的启发，我们提出了一个无监督的表示学习任务，从不同的视角显示同一场景的图像对训练。更准确地说，我们提出了交叉视图完成的借口任务，其中第一输入图像被部分掩蔽，并且这个掩蔽的内容必须从可见内容和第二图像中重建。在单视图MIM中，被屏蔽的内容通常不能仅从可见部分精确地推断，因此模型学习充当受高级语义影响的先验。相反，这种模糊性可以通过从第二未掩蔽图像的交叉视图完成来解决，条件是模型能够理解两个图像之间的空间关系。我们的实验表明，我们的借口任务导致单目3D视觉下游任务，如深度估计的性能显着提高。此外，我们的模型可以直接应用于双目下游任务，如光流或相对相机姿态估计，对于这些任务，我们获得了具有竞争力的结果，而没有花里胡哨的东西，即，使用通用架构而没有任何特定于任务的设计。
2023-01-12 cs.CV
Global and Local Semantic Completion Learning for Vision-Language Pre-training
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Tencent Data Platform（腾讯数据平台）
针对VLP中掩码建模忽视全局语义的问题，本文提出GLSCL任务，通过MGSC与MLTC同时增强全局-局部及局部-局部跨模态对齐，并在多类视觉-语言基准上达到SOTA。
2023-12-06 cs.CV
Fine-grained Text and Image Guided Point Cloud Completion with CLIP Model
Dalian Maritime University（大连海事大学）；Zhejiang Sci-Tech University（浙江理工大学）；Beijing University of Technology（北京工业大学）；Dalian University of Technology（大连理工大学）
针对多模态点云补全中泛化弱、细粒度语义不足的问题，提出融合 CLIP 图文特征并渐进注入骨干网络的多阶段方法，辅以细粒度文本语料，实验性能优于现有方法。
2023-08-17 cs.CV
Agentic AI-powered flexible fiber-bundle endoscopy for high-resolution NIR-II fluorescence imaging in vivo
该研究开发了AI驱动的柔性光纤束内窥镜平台，通过光学-计算协同设计及GAME流水线提升NIR-II成像分辨率，实现体内生物样本高分辨率成像，为临床转化奠定基础。
2026-08-11 cs.CV
Completing Visual Objects via Bridging Generation and Segmentation
Carnegie Mellon University（卡内基梅隆大学）；Microsoft（微软）
针对从部分可见组件重建完整对象的视觉补全问题，提出MaskComp方法，通过迭代交替生成与分割阶段逐步细化掩码，实验证明其效果优于ControlNet等现有方法。
2024-02-02 cs.CV
Revisiting Cross-View Completion: Self-Supervised Pre-Training via Reconstruction Error Comparison
LIGM, Ecole Nationale des Ponts et Chaussées, IP Paris, Univ Gustave Eiffel, CNRS（LIGM实验室、巴黎国立路桥学校、巴黎IP大学、古斯塔夫·埃菲尔大学、法国国家科学研究中心）；Univ. Bordeaux, CNRS, Bordeaux INP, IMS（波尔多大学、法国国家科学研究中心、波尔多国立综合理工学院、IMS研究所）
本研究提出Gekko模型，通过重构误差对比实现跨视图补全的自监督预训练，无需3D标注即可提升多3D视觉任务性能，且可直接从原始视频训练，效果优于现有方法。
2026-09-02 cs.CV
NIR-Assisted Image Denoising: A Selective Fusion Approach and A Real-World Benchmark Dataset
Harbin Institute of Technology（哈尔滨工业大学）
针对极低光照下图像去噪难题，本文提出可即插即用的选择性融合模块SFM以有效融合NIR与RGB特征，并构建真实世界数据集Real-NAID，实验证明方法优于现有最先进方案。
2025-03-10 cs.CV
An Integrated Enhancement Solution for 24-hour Colorful Imaging
Beihang University（北京航空航天大学）；National Institute of Informatics（国立信息学研究所）；Peng Cheng Laboratory（鹏城实验室）
目前24小时户外成像的行业实践是使用补充有近红外（NIR）照明的硅相机。这将导致彩色图像在白天对比度差，在夜间缺乏色度。对于这种困境，所有现有的解决方案都试图分别捕获RGB和NIR图像。然而，它们需要额外的硬件支持，并遭受各种缺点，包括使用寿命短，价格高，特定的使用场景，在本文中，我们提出了一种新颖的和集成的增强解决方案，产生清晰的彩色图像，无论是在充足的阳光白天或极低光的夜晚。我们的核心思想是从混合信号中分离出可见光和近红外信息，并在近红外信号的辅助下自适应地增强可见光信号。为此，我们建立了一个光学系统来收集一个新的VIS-NIR-MIX数据集，并提出了一个物理意义上的图像处理算法的基础上CNN。大量的实验结果表明，突出的结果，证明了我们的解决方案的有效性。
2020-05-10 cs.CV eess.IV
Generation of the NIR spectral Band for Satellite Images with Convolutional Neural Networks
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）
多光谱遥感图像的近红外（NIR）光谱范围（780至2500 nm）为土地覆盖分类提供了重要信息，特别是有关植被评估的信息。尽管NIR很有用，但常见的RGB并不总是伴随着它。通过深度神经网络进行图像处理的现代成就允许生成人工光谱信息，例如用于图像着色问题。在这项研究中，我们的目标是调查这种方法是否可以产生不仅在视觉上相似的图像，但也是一个人工的光谱带，可以提高性能的计算机视觉算法解决遥感任务。我们研究了生成对抗网络（GAN）的方法在任务中的近红外波段生成仅使用RGB通道的高分辨率卫星图像。我们评估了生成的通道对解决森林分割任务的模型性能的影响。我们的研究结果表明，与仅使用RGB的基线模型相比，使用生成的NIR时模型准确性有所提高（相应地为0.947和0.914 F1分数）。进行的研究表明，产生额外的频带和它的实施在应用的挑战，减少所需的标记数据量的优势。
2021-06-13 cs.CV eess.IV
Bridging Global Context Interactions for High-Fidelity Image Completion
Monash University（莫纳什大学）
正确地桥接全局上下文交互对于使用大掩模的高保真图像完成是重要的。以前的方法试图通过深或大的感受野（RF）卷积不能摆脱附近的相互作用，这可能是劣势的主导地位。在本文中，我们建议将图像完成作为一个无方向的序列到序列的预测任务，并部署一个Transformer直接捕获编码器中的长程依赖。至关重要的是，我们采用了一个限制性的CNN与小的和非重叠的RF加权令牌表示，这使得Transformer显式建模的长距离可见的上下文关系在所有层中具有同等的重要性，而不会隐式混淆相邻令牌时，较大的RF使用。为了提高可见区域和生成区域之间的外观一致性，引入了一种新的注意力感知层（AAL），以更好地利用远距离相关的高频特征。总的来说，广泛的实验表明，与几个数据集上的最先进的方法相比，性能优越。
2021-11-22 cs.CV
Grounded and Controllable Image Completion by Incorporating Lexical Semantics
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Alibaba Group（阿里巴巴集团）；Faculty of Engineering and Information Technology, University of Technology Sydney（悉尼科技大学工程与信息技术学院）
在本文中，我们提出了一种方法，即词汇语义图像完成（LSIC），可能有潜在的应用在艺术，设计和文物保护等。现有的图像补全过程是高度主观的，只考虑视觉上下文，这可能会触发不可预测的结果，这是合理的，但不忠实于一个接地的知识。为了允许接地和可控的完成过程，我们主张生成忠实于视觉和词汇语义上下文的结果，即，在图像中留下孔或空白区域的描述（例如，孔描述）。LSIC的一个主要挑战来自于建模和调整视觉语义上下文的结构以及跨不同模态的翻译。我们称这个过程为结构完成，这是实现我们的模型中的多粒度推理块。另一个挑战与单峰偏差有关，当模型在不使用文本描述的情况下生成合理的结果时，就会出现单峰偏差。这可能是真的，因为图像的注释标题在现有数据集中通常在语义上是等效的，因此在训练中，对于掩码图像只有一个配对文本。除了过度探索的成对重建路径之外，我们还设计了一种无监督的非成对创建学习路径，以及一种多阶段训练策略，以减轻标记数据的不足。我们进行了广泛的定量和定性实验以及消融研究，揭示了我们提出的LSIC的疗效。
2020-02-29 cs.CV
Visual Natural Language Query Auto-Completion for Estimating Instance Probabilities
Columbia University（哥伦比亚大学）
我们提出了一个新的任务，估计实例概率的查询自动完成。我们完成了一个用户查询前缀的图像条件。给定完整的查询，我们微调BERT嵌入，以估计广泛的实例集的概率。所得到的实例概率用于选择，同时与分割或注意力机制无关。我们的研究结果表明，使用语言和视觉的自动完成比只使用语言更好，并且微调BERT嵌入可以有效地对图像中的实例进行排名。本着可重复研究的精神，我们提供我们的数据、模型和代码。
2019-10-10 cs.CL cs.CV cs.LG
Smartphone-based Iris Recognition through High-Quality Visible Spectrum Iris Capture
Clarkson University（克拉克森大学）
本研究提出一款Android应用，通过自动对焦和变焦结合YOLOv3-tiny与G-ATTU-Net模型，实现高质量可见光谱虹膜采集与识别，在47名受试者上VIS和NIR的TAR分别达96.57%和97.95%，显著提升智能手机安全性。
2024-12-17 cs.CV eess.IV
Recurrent computations for visual pattern completion
Harvard University（哈佛大学）；Augsburg University（奥格斯堡大学）；Technische Universität München（慕尼黑工业大学）；Ludwig-Maximilians-Universität München（慕尼黑大学）
从部分信息中进行推理构成了认知的一个重要方面。在视觉感知过程中，模式完成能够识别可见性差或被遮挡的物体。我们结合心理物理学，生理学和计算模型来测试的假设，即模式完成是由经常性的计算，并提出了三件证据，是与这一假设相一致的。第一，即使在可见度小于15%的情况下，受试者也能稳健地识别物体，但当处理被后向掩蔽中断时，识别能力会受到很大损害。其次，沿人类腹侧皮层的侵入性生理反应表现出视觉选择性的反应，部分可见的对象，延迟相比，整个对象，这表明需要额外的计算。这些生理延迟与后掩蔽效应相关。第三，最先进的前馈计算架构对部分可见性不鲁棒。然而，识别性能恢复时，该模型与吸引子为基础的经常性连接增强。这些结果提供了一个强有力的论据，循环计算的作用，使视觉推断部分信息的可扩展性。
2018-04-06 cs.AI cs.CV cs.LG
Contour-guided Image Completion with Perceptual Grouping
University of Toronto（多伦多大学）
人类擅长感知虚幻的轮廓。我们很容易能够完成轮廓，形状，场景，甚至看不见的对象时，提供的图像包含一个连接的外观破碎的片段。在视觉科学中，这种能力在很大程度上是由感知分组来解释的：这是人类视觉中的一组基本过程，描述了如何将分离的元素分组。在本文中，我们重新审视一种算法称为随机补全场（SCF），机械化一组这样的过程-良好的连续性，封闭性和接近性-通过轮廓完成。本文实现了SCF算法的现代化模型，并将其用于图像编辑框架中，我们提出了新的方法来完成碎片轮廓。我们展示了SCF算法如何巧妙地模仿人类感知的结果。我们使用SCF完成的轮廓作为修复指南，并表明我们的指南提高了最先进的模型的性能。此外，我们表明，SCF有助于在高噪声环境中找到边缘。总的来说，我们描述的算法类似于人类视觉系统中的一个重要机制，并提供了一个新的框架，现代计算机视觉模型可以从中受益。
2021-11-22 cs.AI cs.CV
Image Amodal Completion: A Survey
The University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）
该综述全面梳理图像非模态补全领域的核心任务、主流数据集与评估指标，探讨实际应用与未来方向，为理解该新兴领域的研究热点、技术挑战与发展趋势提供参考。
2023-11-07 cs.CV cs.LG
Integrating Multimodal Large Language Model Knowledge into Amodal Completion
KAIST（韩国科学技术院）；AITRICS
本文提出AmodalCG框架，利用多模态大语言模型知识指导无模态补全，通过评估遮挡程度选择性调用MLLM指导，结合视觉生成模型迭代优化补全结果，实验表明优于现有方法。
2026-03-30 cs.AI cs.CV
