FOSS: Multi-Person Age Estimation with Focusing on Objects and Still Seeing Surroundings
The University of Tokyo(东京大学);BTC Corporation(BTC公司)
从图像中估计年龄可以用于许多实际场景。以往的大多数工作都是针对只有一张人脸的图像进行估计。此外,大多数用于年龄估计的开放数据集都包含这样的图像。然而,在某些情况下,需要在野外和多人的年龄估计。通常,这种情况是由两个独立的模型来解决的;一个是面部检测器模型,它裁剪面部区域,另一个是年龄估计模型,它从裁剪的图像中进行估计。在这项工作中,我们提出了一种方法,可以检测和估计多人的年龄与一个单一的模型,估计年龄与关注的面孔和仍然看到周围环境。此外,我们提出了一种训练方法,使模型能够很好地估计多人,尽管训练的图像中只有一个人的脸被拍摄。在实验中,我们评估我们提出的方法相比,传统的方法,使用两个单独的模型。因此,我们提出的方法可以提高精度。我们还将我们提出的模型适用于常用的单人照片年龄估计数据集,并证明我们的方法对这些图像也是有效的,并且优于最先进的准确性。
2021-02-19 cs.CV
ProFocus: Interpreting Affective Experience in Artistic Images with Progressive Visual Focusing
University of Science and Technology of China(中国科学技术大学);Anhui University(安徽大学)
本研究针对现有方法无法捕捉艺术情感细微线索的问题,提出ProFocus框架,通过层级艺术评论家与渐进式提示融合模块,在ArtEmis数据集上实现了更优的情感识别与解释性能。
2026-08-17 cs.CV
Center-Focusing Multi-task CNN with Injected Features for Classification of Glioma Nuclear Images
Lexington High School(列克星敦高中);Stony Brook University(石溪大学);Ecole Centrale Paris(巴黎中央理工学院);Oak Ridge National Laboratory(橡树岭国家实验室);Stony Brook University Hospital(石溪大学医院)
分类胶质瘤细胞核的各种形状和属性对于诊断和理解疾病至关重要。我们研究自动分类胶质瘤核形状和视觉属性,使用卷积神经网络(CNN)的病理图像自动分割的细胞核。我们提出了三种方法,提高了以前开发的半监督CNN的性能。首先,我们提出了一种方法,允许CNN专注于图像中最重要的部分-包含细胞核的图像中心。其次,我们将预提取的VGG特征注入(连接)到半监督CNN的中间层,以便在训练期间,CNN可以学习一组互补特征。第三,我们分开的损失的两组目标类(核形状和属性)到一个单标签的损失和多标签的损失,使标签间的排他性的先验知识可以被纳入。在2078幅图像的数据集上,与现有的最先进的方法相比,所提出的方法组合的属性和形状分类的出错率分别降低了21.54%和15.07%。
2017-01-10 cs.CV
FINECAPTION: Compositional Image Captioning Focusing on Wherever You Want at Any Granularity
University of Rochester(罗切斯特大学);Adobe Research(奥多比研究院)
针对VLMs在细粒度区域组合信息感知上的不足,本文提出FINECAPTION模型,可识别任意掩码并处理高分辨率图像,实现多粒度组合式图像描述,并构建了COMPOSITIONCAP数据集,实验证明其优于现有最先进方法。
2024-11-23 cs.CV
A Novel Deep Learning Method for Thermal to Annotated Thermal-Optical Fused Images
提出一种在离散小波变换域运行的新型深度学习方法,实现热图像到灰度热-光融合掩膜的生成,并构建了包含5类数据的新数据库及融合区域统计度量,实验证明融合图像处理效果优于纯热图像。
2021-07-13 cs.CV
Thermal to Visible Image Synthesis under Atmospheric Turbulence
Johns Hopkins University(约翰斯·霍普金斯大学)
在许多远程成像的实际应用中,例如生物识别和监视,热成像模态通常用于在弱光和夜间条件下捕获图像。然而,这样的成像系统经常遭受大气湍流,其将严重的模糊和变形伪影引入到所捕获的图像。这样的问题在远距离成像中是不可避免的,并且显著降低了面部验证的准确性。在本文中,我们首先调查的问题与湍流模拟方法对现实世界的热图像。然后提出了一种端到端的重建方法,该方法可以直接将热图像转换为可见光谱图像,通过利用自然图像先验知识,基于预先训练的StyleGAN2网络。与现有的连续湍流缓解和热可见光图像转换的两步方法相比,我们的方法被证明是有效的重建结果的视觉质量和人脸验证精度。此外,据我们所知,这是第一个工作,研究了大气湍流下的热可见光图像的翻译问题。
2022-04-06 cs.CV
Glass Segmentation with RGB-Thermal Image Pairs
University of Alberta(阿尔伯塔大学);Snapchat(Snapchat公司);University of Manitoba(曼尼托巴大学)
本文提出了一种新的玻璃分割方法,利用成对的RGB和热图像。由于通过玻璃的可见光的透射性质与热能的透射性质之间的大差异(其中大多数玻璃对可见光是透明的但对热能是不透明的),使得场景的玻璃区域利用一对RGB图像和热图像比仅利用RGB图像更可区分。为了利用这样一个独特的属性,我们提出了一个神经网络架构,有效地结合了RGB热图像对与一个新的多模态融合模块的基础上的注意力,并集成CNN和Transformer,分别提取本地特征和非本地依赖。此外,我们还收集了一个新的数据集,其中包含5551个RGB热图像对,并带有地面实况分割注释。定性和定量的评价表明,所提出的方法的有效性融合RGB和热数据的玻璃分割。我们的代码和数据可在https://github.com/Dong-Huo/RGB-T-Glass-Segmentation上获得。
2023-03-16 cs.CV
Pose Error Reduction for Focus Enhancement in Thermal Synthetic Aperture Visualization
Johannes Kepler University(约翰内斯·开普勒大学)
机载光学切片是一种有效的航空合成孔径成像技术,用于揭示被森林遮挡的文物,需要精确测量无人机姿态。在这篇文章中,我们提出了一种新的方法,用于减少姿态估计误差超出传统的透视n点解决方案的可能性,通过考虑底层的优化作为一个聚焦问题。我们提出了一种有效的图像集成技术,它也减少了参数搜索空间,以实现现实的处理时间,并提高了合成的整体图像的质量。
2020-12-15 cs.CV
Borrow from Anywhere: Pseudo Multi-modal Object Detection in Thermal Imagery
Indian Institute of Technology, Hyderabad(海得拉巴印度理工学院);ANURAG, Defense Research and Development Organization(国防研究与发展组织ANURAG)
我们能否通过从丰富的领域(如视觉RGB)借用特征来改进热域中的检测?在本文中,我们提出了一个伪多模对象检测器训练的自然图像域数据,以帮助提高性能的目标检测在热图像。我们假设访问视觉RGB域中的大规模数据集和热域中相对较小的数据集(就实例而言),这在今天很常见。我们建议使用众所周知的图像到图像的翻译框架来生成一个给定的热图像的伪RGB等效,然后使用多模态架构的热图像中的目标检测。我们表明,我们的框架优于现有的基准,而不明确需要配对的训练样本从两个域。我们还表明,我们的框架有能力学习,从热域使用我们的方法时,较少的数据。我们的代码和预训练模型可在https://github.com/tdchaitanya/MMTOD上获得
2020-07-15 cs.CV
Text2Thermal: Physics-Aware Thermal Image Synthesis from Textual Priors
School of Engineering, Jawaharlal Nehru University(贾瓦哈拉尔·尼赫鲁大学工程学院)
针对热数据集稀缺及RGB转热图像的不适定问题,提出Text2Thermal框架,通过热接地文本先验结合适配的Stable Diffusion主干合成热图像,在多数据集上实现最优FID且具备文本级控制能力。
2026-09-09 cs.CV
Robust pedestrian detection in thermal imagery using synthesized images
Università degli Studi di Firenze(佛罗伦萨大学)
在本文中,我们提出了一种方法,用于改善行人检测在热域中使用两个阶段:首先,生成数据增强的方法,然后领域自适应方法使用生成的数据适应RGB行人检测器。我们的模型,基于最小二乘生成对抗网络,训练合成输入RGB图像的真实热版本,然后用于增强可用于训练的有限数量的标记热行人图像。我们应用我们的生成数据增强策略,以适应预训练的YOLOv 3行人检测器在仅热域中的检测。实验结果表明,该方法的有效性:使用不到50%的真实热训练数据,并依赖于领域自适应阶段模型生成的合成数据,在KAIST多光谱行人检测基准测试中取得了最好的结果;即使有更多的真实热数据可用将GAN生成的图像添加到训练数据导致改进的性能,从而表明这些图像用作数据增强的有效形式。据我们所知,我们的检测器在KAIST上实现了最好的单模态检测结果。
2021-02-03 cs.CV
Fusion of Wavelet Coefficients from Visual and Thermal Face Images for Human Face Recognition - A Comparative Study
Tripura University(特里普拉大学);Jadavpur University(贾达沃普尔大学)
在本文中,我们提出了一个比较研究的融合视觉和热图像使用不同的小波变换。在这里,从视觉和热图像的离散小波变换的系数分别计算和组合。然后对融合后的人脸图像进行离散小波逆变换,得到融合后的人脸图像。Haar和Daubechies(db2)小波变换已被用来比较识别结果。对于实验,使用IRIS热/视觉人脸数据库。使用Haar和Daubechies小波的实验结果表明,这里提出的方法的性能在许多情况下达到100%的最大成功率。
2010-07-05 cs.CV
Multi-focus thermal image fusion
Brno University of Technology(布尔诺理工大学);EUP Mataró, Tecnocampus(马塔罗EUP,Tecnocampus)
提出了一种新的多聚焦热图像融合算法。该算法是基于局部活动性分析和先进的预选图像融合过程。该算法将物体温度测量误差提高到5摄氏度。通过半总出错率、均方根误差、互相关和目视检查对算法进行了评价。据我们所知,这是第一个致力于多聚焦热图像融合的工作。为了测试所提出的算法,我们获得了六个热图像集的目标在不同的焦深。
2022-03-16 cs.CV
Inception-Residual Block based Neural Network for Thermal Image Denoising
Chonnam National University(全南国立大学)
由于热分辨率有限,热成像仪显示出嘈杂的图像,特别是对于低温差的场景。为了解决噪声问题,提出了一种新的基于可重复去噪起始-残差块(DnIRB)的神经网络结构。每个DnIRB具有两个具有不同感受野的子块和一个快捷连接以防止消失梯度问题。所提出的方法进行测试的热图像。实验结果表明,该方法显示出最好的SQNR性能和合理的处理时间相比,国家的最先进的去噪方法。
2018-11-19 cs.CV
Self-adversarial Multi-scale Contrastive Learning for Semantic Segmentation of Thermal Facial Images
University College London(伦敦大学学院)
人脸热图像的分割是一个具有挑战性的任务。这是因为面部特征通常由于高动态热范围场景和遮挡问题而缺乏显著性。来自无约束设置的数据集的有限可用性进一步限制了最先进的分割网络、损失函数和学习策略的使用,这些都是针对RGB图像构建和验证的。为了应对这一挑战,我们提出了自对抗多尺度对比学习(SAM-CL)框架作为一种新的训练策略,用于热图像分割。SAM-CL框架由SAM-CL损失函数和作为特定领域增强技术的热图像增强(TiAug)模块组成。我们使用热脸数据库来证明我们的方法的有效性。在现有的分割网络(UNET,Attention-UNET,DeepLabV 3和HRNetv 2)上进行的实验证明了SAM-CL框架的一致性能增益。此外,我们还对UBComfort和DeepBreath数据集进行了定性分析,以讨论我们提出的方法在处理无约束情况时的表现。
2022-10-07 cs.CV
RT-X Net: RGB-Thermal cross attention network for Low-Light Image Enhancement
Indian Institute of Technology, Madras(印度理工学院马德拉斯分校);Carnegie Mellon University(卡内基梅隆大学)
本文提出RT-X Net,通过自注意力特征提取与RGB-热红外交叉注意力融合实现夜间低光图像增强,并构建V-TIEE数据集,在LLVIP和V-TIEE上验证其优于现有方法。
2025-05-30 cs.CV
Quotient Based Multiresolution Image Fusion of Thermal and Visual Images Using Daubechies Wavelet Transform for Human Face Recognition
Tripura University(特里普拉大学);Jadavpur University(贾达沃普尔大学)
本文研究了基于多分辨率水平商和水平商的热图像和可见光图像融合。在所提出的系统中,方法-1即“分解然后商数-1级”和方法-2即“分解-重构然后商数-2级”都工作于视觉和热人脸图像的小波变换。小波变换是非常适合管理不同的图像分辨率,并允许在不同类型的系数的图像分解,同时保持图像信息没有任何损失。这种方法是基于一个定义的照明不变的签名图像,使一个分析生成的图像空间与不同的照明。商融合图像通过主成分分析(PCA)的降维,然后使用多层感知器(MLP)对这些图像进行分类。这两种方法的性能进行了评估,使用OTCBVS和IRIS数据库。对不同的类分别进行了测试,其中最高识别率为100%。
2010-07-05 cs.CV
Face segmentation: A comparison between visible and thermal images
EUP Mataró(马塔罗理工学院)
人脸分割是人脸生物识别系统的第一步。本文提出了一种针对红外图像的人脸分割算法。该算法与经典的Viola和Jones算法进行了比较。实验结果表明,在分割多光谱(可见光和热)人脸数据库时,该算法的速度提高了10倍以上,而热图像中的人脸分割精度高于Viola-Jones
2022-03-29 cs.CV
Perceptual MAE for Image Manipulation Localization: A High-level Vision Learner Focusing on Low-level Features
The 10th Institute of China Electronics Technology Group(中国电子科技集团第十研究所);University of Macau(澳门大学);Sichuan University(四川大学)
本文提出感知MAE(PMAE),将图像篡改定位重构为高级视觉任务,通过高分辨率输入和感知损失增强MAE,融合低级与高级特征,在五个公开数据集上超越现有方法。
2023-10-10 cs.CV
Thermal Human face recognition based on Haar wavelet transform and series matching technique
Jadavpur University(贾达普大学)
热红外(IR)图像表示从热物体发射的热模式,并且它们不考虑从物体反射的能量。有生命或无生命的物体根据其体温和特征发射不同数量的IR能量。人类是恒温动物,因此能够在不同的环境温度下保持恒定的温度。从热(IR)图像的人脸识别应该集中在面部血管的温度变化。这些温度变化可以看作是图像的纹理特征,小波变换是一种很好的多尺度、多方向纹理分析工具。小波变换还用于图像降维,通过去除冗余并保留图像的原始特征。面部图像的尺寸通常很大。因此,在进行图像相似性度量之前,先对图像进行前像小波变换。因此本文提出了一种基于小波变换的红外热像人脸识别方法。该系统包括三个步骤。在第一步,人体热红外人脸图像进行预处理,并从整个图像中只裁剪人脸区域。其次,利用Haar小波提取裁剪后的人脸区域的低频带;最后,对训练图像和测试图像进行基于低频分量的图像分类。所提出的方法进行了测试,在我们自己的实验室和Terravic面部红外数据库创建的一些人的热红外人脸图像。实验结果表明,该系统能有效地识别热红外人脸图像。最大成功率达到95%。
2013-09-04 cs.CV
Photovoltaic module segmentation and thermal analysis tool from thermal images
Centro de Investigaciones en Óptica A.C.(光学研究中心);Centro de Investigación en Ciencias de Información Geoespacial A.C.(地理空间信息科学研究中心)
对使用清洁能源的兴趣日益增长,导致越来越大的光伏系统的建设。因此,监测这些系统的正常运行已成为一个高度相关的issue.In本文中,自动检测,并提出了光伏组件的分析。为了执行分析,首先执行基于数字图像处理算法的模块识别步骤。该算法包括图像增强(对比度增强、降噪等)、随后分割光伏模块。然后,对模块的温度值进行统计分析,并设计了一个图形化的用户界面,作为提供光伏模块相关信息的工具。
2020-10-14 cs.CV
Pyramidal Edge-maps and Attention based Guided Thermal Super-resolution
Computational Imaging Lab, IIT Madras(印度理工学院马德拉斯分校计算成像实验室)
由于可见光图像之间的光谱范围差异,使用可见光图像的热图像的引导超分辨率(GSR)是具有挑战性的。这又意味着图像之间存在显著的纹理失配,其表现为超分辨率热图像中的模糊和重影伪影。为了解决这个问题,我们提出了一种新的算法GSR的基础上金字塔边缘图提取的可见光图像。我们提出的网络有两个子网络。第一个子网络对低分辨率的热图像进行超分辨,而第二个子网络以不断增长的感知尺度从可见光图像中获得边缘图,并借助基于注意力的融合将它们集成到超分辨率子网络中。多级边缘的提取和整合允许超分辨率网络渐进地处理纹理到对象级信息,从而能够更直接地识别输入图像之间的重叠边缘。大量的实验表明,我们的模型优于国家的最先进的GSR方法,定量和定性。
2020-09-30 cs.CV
Polar Fusion Technique Analysis for Evaluating the Performances of Image Fusion of Thermal and Visual Images for Human Face Recognition
Tripura University(特里普拉大学);Jadavpur University(贾达普大学);Université Pierre et Marie Curie, Paris-6(皮埃尔和玛丽·居里大学(巴黎第六大学));Université Denis Diderot, Paris-7(丹尼斯·狄德罗大学(巴黎第七大学))
本文提出了两种不同的方法,这是基于视觉和热图像的融合和极坐标变换的比较研究。在这里,调查是为了应对人脸识别的挑战,其中包括姿态变化,面部表情的变化,部分遮挡,照明变化,通过不同的角度旋转,规模的变化等,为了克服这些障碍,我们已经实施并通过严格的实验彻底检查了两种不同的融合技术。在第一种方法中,对数极坐标变换应用于视觉和热图像融合后获得的融合图像,而在第二种方法中,融合应用于对数极坐标变换的个体视觉和热图像。在以一种形式或另一种形式获得的该步骤之后,应用主成分分析(PCA)来降低融合图像的维度。对数极坐标变换图像能够处理由缩放和旋转引入的复杂性。采用融合的主要目的是产生一个融合的图像,提供更详细和可靠的信息,这是能够克服存在于个人的视觉和热人脸图像的缺点。最后,使用多层感知器神经网络对这些简化的融合图像进行分类。用于这里进行的实验的数据库是对象跟踪和分类超可见光谱(OTCBVS)数据库基准热和视觉人脸图像。第二种方法表现出更好的性能,这是95.71%(最高),平均93.81%的正确识别率。
2011-06-17 cs.CV
GIGP: A Global Information Interacting and Geometric Priors Focusing Framework for Semi-supervised Medical Image Segmentation
The School of Mathematical Science, Capital Normal University(首都师范大学数学科学学院);The Academy for Multidisciplinary Studies, Capital Normal University(首都师范大学交叉科学研究院)
针对半监督医学图像分割中的分布差异与几何先验利用不足问题,提出GIGP框架,通过全局信息交互Mamba、几何矩注意力及全局几何扰动一致性提升泛化分割性能。
2025-03-12 cs.CV
IR image databases generation under target intrinsic thermal variability constraints
DGA(法国国防部装备总局)
本文针对ATR评估需求,提出在图像质量指标约束下叠加目标与遮挡物生成逼真红外图像,并利用真实红外纹理3D模型生成具内在热变化目标特征的方法,以构建大规模红外图像数据库。
2024-11-12 cs.CV
T-CLIP: Enabling Thermal Perception for Contrastive Language-Image Pretraining
Indian Institute of Technology Delhi, India(印度理工学院德里分校);NVIDIA AI Technology Center, India(NVIDIA AI技术中心);Jawaharlal Nehru University, India(贾瓦哈拉尔·尼赫鲁大学)
针对CLIP无法对齐热图像与文本描述的问题,提出物理感知的热描述数据集IR-Cap和解耦双LoRA框架T-CLIP,实现场景级和对象级热理解,在跨模态检索任务上超越所有基线。
2026-05-30 cs.CV
Pedestrian Detection in Thermal Images using Saliency Maps
College of Information and Computer Sciences, University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院)
热图像主要用于在夜间或光照条件差的情况下检测人的存在,但在白天表现不佳。为了解决这个问题,大多数最先进的技术采用融合网络,该网络使用来自成对的热图像和彩色图像的特征。相反,我们建议增加热图像与显着图,作为行人检测器的注意力机制,特别是在白天。我们研究了这种方法如何只使用热图像来提高行人检测的性能,从而消除了对彩色图像的需求。对于我们的实验,我们训练Faster R-CNN进行行人检测,并报告使用静态和深度方法(PiCA-Net和R3-Net)生成的显着图的附加效果。我们的最佳性能模型在白天和夜间图像中分别使未命中率绝对降低了13.4%和19.4%。我们还在KAIST多光谱行人检测数据集的一个子集上注释和发布行人的像素级掩模,该数据集是第一个公开的用于显著行人检测的数据集。
2019-04-15 cs.CV
Illumination-invariant Face recognition by fusing thermal and visual images via gradient transfer
Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校)
在低照度等现实生活环境中的人脸识别仍然是生物识别安全领域的一个公开挑战。公认的是,面部识别中的最先进的方法在照明不良的情况下提供低准确度。在这项工作中,我们提出了一个更强大的光照不变的人脸识别算法,使用多模式的方法。我们提出了一个新的数据集,包括对齐的面孔的热和视觉图像的100个主题。然后,我们将人脸检测应用于热图像,使用最大的斑点提取方法,并将其应用于融合图像的不同形式的人脸识别的目的。提出了一种热图像与可见光图像融合的算法。我们解释为什么只依赖一种模态会得到错误的结果。我们使用一个更轻,更快的CNN模型,称为MobileNet,用于人脸识别和更快的推理,并能够在实时的生物识别系统中使用它。我们在自己创建的数据集上测试了我们提出的方法,结果表明,融合图像上的实时人脸识别比单独使用视觉或热图像的效果要好得多。
2019-02-23 cs.CV
Linear Support Tensor Machine: Pedestrian Detection in Thermal Infrared Images
由于图像的低分辨率和噪声特性,热红外图像中的行人检测提出了独特的挑战。在这里,我们提出了一个中级属性的多维模板,或张量的形式,使用本地转向核(LSK)作为低级别的描述符,用于检测远红外图像中的行人。LSK被专门设计为通过简洁地捕获局部图像几何形状而不是收集局部取向统计来处理固有图像噪声和像素级不确定性(例如,HOG中的直方图)。我们的第二个贡献是引入一个新的图像相似性内核中流行的最大间距框架的支持向量机,结果在一个相对较短的和简单的训练阶段,建立一个刚性的行人检测器。我们的第三个贡献是用多通道离散傅立叶变换代替了缓慢但事实上基于滑动窗口的检测方法,从而促进了非常快速和有效的行人定位。公开的热红外图像的实验研究证明我们的建议和模型假设。此外,拟议的工作还涉及在超过17000帧的OSU Color Thermal数据库中发布我们内部的行人注释,以便与研究界共享。
2016-09-26 cs.CV
Estimating exercise-induced fatigue from thermal facial images
University of Oulu(奥卢大学)
本文提出一种利用深度学习、热成像和面部分析技术估计运动性疲劳的方法,基于超40万张热面部图像的数据集,仅用单帧静态热图像即可实现平均误差低于15%的预测。
2023-09-12 cs.CV
A Generative Approach for Image Registration of Visible-Thermal (VT) Cancer Faces
Booz Allen Hamilton(博思艾伦汉密尔顿公司);University of Maryland Baltimore County(马里兰大学巴尔的摩县分校);National Cancer Institute, National Institutes of Health(美国国立卫生研究院国家癌症研究所)
针对可见光与热成像癌症面部图像因拍摄角度不同存在的错位问题,该研究改进生成式对齐算法实现无参考的图像配准,使V2T图像翻译任务的热图质量提升52.5%。
2023-08-23 cs.CV
Polarimetric Thermal to Visible Face Verification via Attribute Preserved Synthesis
Johns Hopkins University(约翰斯·霍普金斯大学);Rutgers University(罗格斯大学)
热可见人脸验证是一个具有挑战性的问题,由于模态之间的大域差异。现有的方法要么试图从热面孔合成可见面孔,要么从这些模态中提取鲁棒的特征进行跨模态匹配。在本文中,我们采取了不同的方法,我们利用从可见光图像中提取的属性合成的属性保留的可见光图像从输入的热图像进行跨模态匹配。一个预先训练的VGG-Face网络用于从可见图像中提取属性。然后,提出了一种新的属性保持生成对抗网络(AP-GAN)的热图像合成的可见光图像的引导下提取的属性。最后,使用深度网络从合成图像和输入可见光图像中提取特征以进行验证。在ARL偏振人脸数据集上的实验表明,该方法与现有方法相比具有显著的改进效果。
2019-01-03 cs.CV
LaPIG: Cross-Modal Generation of Paired Thermal and Visible Facial Images
University College London(伦敦大学学院);Xiamen University(厦门大学)
针对成对可见光与热成像人脸数据稀缺问题,提出LaPIG框架,结合LLM生成标题、ArcFace合成可见光图像及LDM翻译热成像,生成保持身份的多视角高质量成对数据,优于现有方法。
2025-09-05 cs.CV
T2V-DDPM: Thermal to Visible Face Translation using Denoising Diffusion Probabilistic Models
Johns Hopkins University(约翰斯·霍普金斯大学)
现代监控系统使用基于深度学习的人脸验证网络来执行人员识别。大多数最先进的面部验证系统都是使用可见光谱图像进行训练的。但是,在可见光谱中获取图像在低光和夜间条件的场景中是不切实际的,并且通常在诸如热红外域的替代域中捕获图像。热图像中的人脸验证通常在检索相应的可见光域图像之后执行。这是一个公认的问题,通常称为热到可见光(T2V)图像转换。在本文中,我们提出了一个去噪扩散概率模型(DDPM)为基础的解决方案T2V翻译专门为面部图像。在训练过程中,模型通过扩散过程学习可见面部图像的条件分布,并给出相应的热图像。在推理过程中,从高斯噪声出发,反复进行去噪处理,得到可见域图像。现有的DDPM推理过程是随机的,耗时的。因此,我们提出了一种新的推理策略,加快DDPM的推理时间,特别是T2V图像翻译的问题。我们在多个数据集上实现了最先进的结果。代码和预训练模型可在http://github.com/Nithin-GK/T2V-DDPM上免费获得
2022-09-19 cs.CV
Thermal to Visible Synthesis of Face Images using Multiple Regions
U.S. Army Research Laboratory(美国陆军研究实验室);Booz Allen Hamilton(博思艾伦汉密尔顿)
从热人脸图像合成可见光谱人脸是一种很有前途的异构人脸识别方法;使现有的人脸识别软件在可见光图像上训练,并允许人类分析师更有效地验证交叉光谱匹配。我们提出了一种新的合成方法,通过利用全局(例如,整个面部)和局部区域(例如,眼睛、鼻子和嘴巴)。这里,每个区域提供(1)对应区域的独立表示,以及(2)额外的正则化项,其影响合成图像的整体质量。我们分析了使用多个区域从热脸合成可见人脸图像的效果。我们证明,我们的方法提高了交叉频谱验证率最近公布的合成方法。此外,使用我们的合成图像,我们报告的结果面部标志检测通常用于图像配准,这是一个关键的一部分,人脸识别过程。
2018-03-20 cs.CV
TV-GAN: Generative Adversarial Network Based Thermal to Visible Face Recognition
The University of Queensland(昆士兰大学)
这项工作解决了使用热成像相机传感器捕获的图像上的人脸识别任务,该传感器可以在非光照环境下工作。虽然它可以大大增加当前安全监控系统的范围和好处,但与可见光域(VLD)中的人脸识别任务相比,使用热图像执行这样的任务是一个具有挑战性的问题。这部分是由于与VLD数据相比,收集的热成像数据数量少得多。不幸的是,直接应用现有的非常强大的人脸识别模型训练使用VLD数据到热成像数据将不会产生令人满意的性能。这是由于热像和VLD像之间存在畴隙。为此,我们提出了一个热可见生成对抗网络(TV-GAN),它能够将热人脸图像转换为相应的VLD图像,同时保持身份信息,这足以让现有的VLD人脸识别模型进行识别。图1给出了一些例子。与以前的方法不同,我们提出的TV-GAN使用显式闭集人脸识别损失来正则化神经网络训练。然后,该信息将以梯度损失的形式被传送到发电机网络中。在实验中,我们表明,通过对网络使用这种额外的显式正则化,TV-GAN在翻译TV-GAN之前没有看到的人的热图像时能够保留更多的身份信息。
2017-12-07 cs.CV
Minuscule Cell Detection in AS-OCT Images with Progressive Field-of-View Focusing
University College London(伦敦大学学院);Great Ormond Street Institute of Child Health, University College London(伦敦大学学院大奥蒙德街儿童健康研究所)
针对 AS-OCT 图像中微小炎症细胞难检测且噪声易致假阳性的问题,提出渐进式视野聚焦框架,结合视觉基础模型分割、微小区域提议与空间注意力,实现优于现有方法的检测性能。
2025-03-15 cs.CV
Generating Thermal Human Faces for Physiological Assessment Using Thermal Sensor Auxiliary Labels
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);Booz Allen Hamilton(博思艾伦汉密尔顿)
本文提出 favtGAN,利用 pix2pix 和辅助传感器标签预测网络实现可见光到热成像人脸生成,并通过合并人脸与城市景观数据集提升 SSIM 和 PSNR。
2021-06-15 cs.CV
Focusing on Shadows for Predicting Heightmaps from Single Remotely Sensed RGB Images with Deep Learning
CYENS Center of Excellence(CYENS卓越中心)
在单张遥感影像中估算建筑物和植被的高度图是一个具有挑战性的问题。这个问题的有效解决方案可以包括解决复杂和苛刻的问题,需要在遥感学科的航空图像的三维信息,这可能是昂贵的或不可行的要求的垫脚石。我们提出了一个以任务为中心的深度学习(DL)模型,该模型利用遥感图像的阴影图来计算其高度图。阴影被有效地计算,并且不会显著增加计算复杂度。该模型使用航空图像及其激光雷达测量进行训练,在任务中实现了卓越的性能。我们使用覆盖英国曼彻斯特大面积的数据集以及2018年IEEE GRSS数据融合竞赛激光雷达数据集来验证该模型。我们的工作表明,建议的DL架构和技术注入阴影的信息到模型中是有价值的,以提高单遥感图像的高度图估计任务。
2021-04-22 cs.CV cs.LG
UAV Thermal Imagery for Inert Ordnance Screening: Multi Campaign Dataset Development,Object Detection, and Practical Recommendations
Oak Ridge National Laboratory(橡树岭国家实验室);UT-Battelle, LLC(UT-巴特勒有限责任公司);US Department of Energy(美国能源部)
本研究构建了多场景无人机热成像惰性弹药数据集,测试YOLOV11l等算法用于目标检测,提出排雷应用的实用建议,为后续排爆评估提供筛查支持。
2026-09-03 cs.CV
Cascaded Generation of High-quality Color Visible Face Images from Thermal Captures
TU Darmstadt(达姆施塔特工业大学);Fraunhofer Institute for Computer Graphics Research IGD(弗劳恩霍夫计算机图形学研究所IGD);EURECOM(欧洲通信学院)
从热图像中生成类可见光人脸图像是进行人工和自动互谱人脸识别的关键。我们成功地提出了一个解决方案的基础上级联细化网络,不像以前的作品,产生高质量的生成的彩色图像,而不需要人脸对齐,大型数据库,数据增强,偏振传感器,计算密集型训练,或不切实际的限制所产生的分辨率。我们的解决方案的训练基于上下文损失,使其具有固有的缩放(面部区域)和旋转不变性。我们给出了未知个体在不同姿态和遮挡条件下的生成图像样本,并通过比较七个质量指标证明了地面真实图像和生成图像之间的高度相似性。我们比较我们的结果与两个国家的最先进的方法证明我们所提出的方法的优越性。
2019-10-21 cs.CV
Physics-Constrained Cross-Resolution Enhancement Network for Optics-Guided Thermal UAV Image Super-Resolution
School of Artificial Intelligence, Anhui University, Hefei, 230601, China(人工智能学院,安徽大学,合肥,230601,中国);Anhui Provincial Key Laboratory of Multimodal Cognitive Computation, Anhui University, Hefei 230601, China(安徽省多模态认知计算重点实验室,安徽大学,合肥,230601,中国);School of Computer Science and Technology, Anhui University, Hefei, 230601, China(计算机科学与技术学院,安徽大学,合肥,230601,中国)
PCNet通过物理约束的跨分辨率增强模块和热传导模块,提升光学引导的热无人机图像超分辨率性能。
2026-01-07 cs.CV
Learning Domain and Pose Invariance for Thermal-to-Visible Face Recognition
CCDC Army Research Laboratory(美国陆军作战能力发展司令部陆军研究实验室);University of Nebraska-Lincoln(内布拉斯加大学林肯分校)
在过去的十年中,由于热红外相机和可见光谱以外的分析技术的进步,对热可见人脸识别的兴趣显着增长。尽管热光谱和可见光谱之间存在很大差异,但现有方法通过从热面合成可见面或通过学习交叉光谱图像表示来弥合域间隙。这些方法通常与在不同范围和表情下收集的正面面部图像一起工作得很好,但是当将具有不同姿势的热面部与正面可见面部匹配时,表现出显著降低的性能。我们提出了一种新的域和姿态不变框架,同时学习域和姿态不变表示。我们提出的框架由修改后的网络、一个联合桥接域和姿势间隙的子网络以及一个由交叉组成的联合损失函数组成,其中修改后的网络用于从非姿势热和正面可见人脸图像中提取最相关的中间表示。频谱和姿势校正损失。我们证明了所提出的方法的有效性和优势,通过评估三个热可见光数据集:ARL可见热脸,ARL多模态脸,和塔夫茨脸。虽然DPIF侧重于学习匹配关闭热正面可见的面孔,我们也表明,DPIF提高性能时,匹配正面热正面可见的人脸图像。
2022-11-17 cs.CV
Segmenting Objects in Day and Night:Edge-Conditioned CNN for Thermal Image Semantic Segmentation
Anhui University(安徽大学);Texas State University(德克萨斯州立大学)
尽管图像语义分割的研究取得了很大的进展,但在可见光成像的局限性所导致的恶劣环境条件下,它仍然具有挑战性。虽然热红外相机具有几个优于可见光谱相机的优点,例如在完全黑暗中操作,对照明变化不敏感,对阴影效果鲁棒,以及穿透薄雾和烟雾的能力强。热红外摄像机的这些优点使得语义目标的分割在白天和夜晚都可以实现。在本文中,我们提出了一种新的网络架构,称为边缘条件卷积神经网络(EC-CNN),热图像语义分割。特别地,我们精心设计了EC-CNN中的门控特征变换层,以自适应地结合边缘先验知识。整个EC-CNN是端到端训练的,可以在边缘指导下生成高质量的分割结果。同时,我们还引入了一个新的基准数据集“白天和黑夜中的分割对象”(SODA),用于热图像语义分割的综合评价。SODA包含超过7,168个手动注释和合成生成的热图像,具有20个语义区域标签,并且来自广泛的视角和场景复杂性。在SODA上的大量实验证明了所提出的EC-CNN对最先进方法的有效性。
2019-07-24 cs.CV
Synthetic Thermal Image Generation for Real-Time Animal Detection Under Low-Visibility Conditions
本研究利用CycleGAN-Turbo生成合成热图像并扩展真实热数据,训练多种检测器,证明合成数据可减少对红外数据集的依赖,实现低可见度下实时动物检测,RT-DETR和YOLOv10s分别取得最佳合成与增强数据性能。
2026-09-29 cs.CV
Focusing On Targets For Improving Weakly Supervised Visual Grounding
Toshiba Corporation(东芝公司)
弱监督视觉基础旨在预测图像中对应于特定语言查询的区域,其中目标对象和查询之间的映射在训练阶段是未知的。最先进的方法使用视觉语言预训练模型从Grad-CAM中获取热图,Grad-CAM将每个查询词与图像区域相匹配,并使用组合的热图对区域建议进行排名。在本文中,我们提出了两个简单而有效的方法来改善这种方法。首先,我们提出了一个目标感知裁剪方法,鼓励模型学习对象和场景级语义表示。其次,我们应用依存句法分析来提取与目标对象相关的词,然后在热图组合中强调这些词。我们的方法在RefCOCO、RefCOCO+和RefCOCOg上明显优于以前的SOTA方法。
2023-02-22 cs.CV
IR2VI: Enhanced Night Environmental Perception by Unsupervised Thermal Image Translation
University of British Columbia(不列颠哥伦比亚大学);Toyota Institute of Technology(丰田工业大学);Air Force Research Laboratory(空军研究实验室);Chongqing University of Posts and Telecommunications(重庆邮电大学)
背景增强对于夜视(NV)应用至关重要,特别是对于没有任何人工照明的黑暗夜晚情况。在本文中,我们提出了红外到视觉(IR2VI)算法,这是一种基于生成对抗网络(GANs)的新型无监督热到可见光图像翻译框架。IR2VI能够从VI图像中学习固有特征并将其集成到IR图像中。由于现有的基于无监督GAN的图像翻译方法面临着一些挑战,例如不正确的映射和缺乏细节,我们提出了一个结构连接模块和一个感兴趣区域(ROI)焦点丢失方法来解决当前的限制。实验结果表明,IR2VI算法优于基线方法。
2018-06-25 cs.CV
ThermalLoc: A Vision Transformer-Based Approach for Robust Thermal Camera Relocalization in Large-Scale Environments
College of Intelligence Science and Technology, National University of Defense Technology(智能科学与技术学院,国防科技大学);China Academy of Launch Vehicle Technology(航天科技研究院);PEAK-Lab, The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)PEAK实验室)
针对热像仪重定位方法缺失的问题,提出端到端深度学习模型ThermalLoc,结合EfficientNet与Transformer提取特征并用MLP回归位姿,在公开及自建数据集上超越现有方法,实现高精度高鲁棒性重定位。
2025-06-23 cs.CV
Matching Thermal to Visible Face Images Using a Semantic-Guided Generative Adversarial Network
Michigan State University(密歇根州立大学)
设计能够将在热光谱中获得的人脸图像与在可见光谱中获得的人脸图像相匹配的人脸识别系统是一个具有挑战性的问题。在这项工作中,我们提出了使用语义引导的生成对抗网络(SG-GAN)自动合成可见的人脸图像从他们的热对应。具体而言,由人脸解析网络提取的语义标签用于计算语义损失函数以在训练期间正则化对抗网络。这些语义线索表示与每个像素相关联的高级面部组件信息。此外,利用身份提取网络来生成多尺度特征以计算身份损失函数。为了实现照片级真实感的结果,在网络训练期间引入感知损失函数,以确保合成的可见人脸在感知上与目标可见人脸图像相似。我们广泛地评估了各个损失函数的好处,并将它们有效地结合起来,学习从热到可见人脸图像的映射。在两个多光谱人脸数据集上的实验表明,该方法在人脸合成和跨光谱人脸匹配方面都取得了良好的效果。
2019-03-03 cs.CV
Extended depth-of-field in holographic image reconstruction using deep learning based auto-focusing and phase-recovery
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);California NanoSystems Institute (CNSI)(加州纳米系统研究所);David Geffen School of Medicine(戴维·格芬医学院)
全息术以仅强度记录的形式对样本的三维(3D)信息进行编码。然而,为了从其全息图中解码原始样本图像,需要自动聚焦和相位恢复,这对于数字执行来说通常是麻烦和耗时的。在这里,我们展示了一种基于卷积神经网络(CNN)的方法,该方法同时执行自动聚焦和相位恢复,以显着扩展全息图像重建中的景深(DOF)。为此,通过使用成对的随机散焦反向传播全息图及其对应的聚焦相位恢复图像来训练CNN。在该训练阶段之后,CNN将3D样本的单个反向传播全息图作为输入,以快速实现相位恢复并在显著扩展的DOF上重建样本的聚焦图像。这种基于深度学习的DOF扩展方法是非迭代的,并且显著地将全息图像重建的算法时间复杂度从O(nm)提高到O(1),其中n指的是样本体积内的个体物点或粒子的数量,并且m表示其中每个物点或粒子需要被个体聚焦的聚焦搜索空间。这些结果突出了由机器学习驱动的数据支持的统计图像重建方法所创造的一些独特的机会,我们相信所提出的方法可以广泛适用于计算扩展其他成像模式的自由度。
2018-03-21 cs.CV cs.LG physics.optics
Unsupervised Image-generation Enhanced Adaptation for Object Detection in Thermal images
China National Institute of Standardization(中国标准化研究院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
热图像中的目标检测是一项重要的计算机视觉任务,在无人驾驶汽车、机器人、监控和夜视等领域有着广泛的应用。基于深度学习的检测器已经取得了重大进展,其通常需要大量标记的训练数据。然而,热图像中用于目标检测的标记数据量少且采集成本高,如何充分利用大量标记的可见光图像,并将其应用于热图像领域,是一个亟待解决的问题。提出了一种用于热图像中目标检测的无监督图像生成增强自适应方法。为了减少可见光域和热域之间的差距,所提出的方法设法生成与目标图像相似的模拟假热图像,并保留可见光源域的注释信息。图像生成包括基于CycleGAN的图像到图像转换和强度反转变换。生成的假热图像被用作更新的源域。然后利用现成的Domain Adaptive Faster RCNN来减少生成的中间域和热目标域之间的差距。实验证明了该方法的有效性和优越性。
2021-11-01 cs.CV eess.IV
Focusing on Persons: Colorizing Old Images Learning from Modern Historical Movies
Beijing Electronic Science and Technology Institute(北京电子科技学院);SenseTime Research(商汤科技研究院);Qing Yuan Research Institute, Shanghai Jiao Tong University(上海交通大学清源研究院)
在行业中,存在大量需要对旧灰照片进行自动着色的场景,如视频网站和档案馆。本文提出了基于细粒度语义理解和先验知识的历史人物服装彩色化模型HistoryNet。历史人物的色彩化具有现实性和实用性,但现有的方法在这方面的表现并不理想。本文提出了一个包含分类、细粒度语义解析和着色三部分的历史网。分类子模块提供图像的时代、民族、服装类型分类;解析子网络提供图像中人物轮廓、服装、背景的语义,实现服装和人物更准确的着色,防止颜色溢出。在训练过程中,我们将分类和语义解析功能集成到着色生成网络中,以提高着色效果。通过分类解析子网络的设计,提高了图像彩色化的准确性,使图像各部分的边界更加清晰。此外,我们还提出了一种新的现代历史电影数据集(MHMD),包含1,353,166张图像和42个时代,民族和服装类型的标签,用于自动彩色化147部现代历史电影或电视剧。各种定量和定性的比较表明,我们的方法优于国家的最先进的彩色化方法,特别是对军装,它有正确的颜色,根据历史文献。
2021-08-14 cs.CV cs.MM
Maximizing Self-supervision from Thermal Image for Effective Self-supervised Learning of Depth and Ego-motion
KAIST(韩国科学技术院)
近年来,热图像深度和自我运动的自监督学习在具有挑战性的场景下显示出很强的鲁棒性和可靠性。然而,固有的热图像属性,如弱对比度,模糊的边缘,和噪声阻碍了从热图像产生有效的自我监督。因此,大多数研究都依赖于额外的自我监督来源,例如光线充足的RGB图像,生成模型和激光雷达信息。在本文中,我们进行了深入的分析,退化的自我监督从热图像的热图像特性。基于分析,我们提出了一种有效的热图像映射方法,显着增加图像的信息,如整体结构,对比度和细节,同时保持时间的一致性。所提出的方法显示出优于先前最先进的网络的深度和姿态结果,而无需利用额外的RGB指导。
2022-06-15 cs.CV cs.RO
A Simple Mutual Information based Registration Method for Thermal-Optical Image Pairs applied on a Novel Dataset
虽然热光学配准数据集变得越来越广泛,但这些工作中的大多数都是基于预配准的图像对。然而,默认注册这些图像的热成像仪非常昂贵。在这项工作中,我们提出了一种热图像配准技术,这是计算量小,可以采用无论捕获的图像的分辨率。我们使用2个不同的热成像仪来创建一个全新的数据库,并将其作为这项工作的一部分。拍摄的图像基于5个不同的类别,包括Prayagraj Kumbh Mela等主题,这是世界上最大的公共博览会之一,拍摄时间为2年。
2022-03-18 cs.CV eess.IV