A biologically inspired separable learning vision model for real-time traffic object perception in Dark
Chongqing Jiaotong University（重庆交通大学）；University of British Columbia（不列颠哥伦比亚大学）
针对低光照交通场景感知难题，研究构建了最大规模低光照交通密集标注数据集Dark-traffic，提出受生物启发的可分离学习视觉模型SLVM，在多任务上以更低计算开销实现了当前最优性能。
2025-09-05 cs.CV
Drone Object Detection Using RGB/IR Fusion
University of California Berkeley（加州大学伯克利分校）
近年来，使用航空无人机图像的目标检测受到了极大的关注。虽然可见光图像在大多数情况下足以检测物体，但热成像相机可以将目标检测的能力扩展到夜间或被遮挡的物体。因此，用于目标检测的RGB和红外（IR）融合方法是有用且重要的。将深度学习方法应用于RGB/IR目标检测的最大挑战之一是缺乏无人机红外图像的可用训练数据，尤其是在夜间。在本文中，我们开发了几种使用AIRSim仿真引擎和CycleGAN创建合成红外图像的策略。此外，我们利用光照感知的融合框架融合RGB和红外图像的目标检测在地面上。我们的模拟和实际数据的特点和测试我们的方法。我们的解决方案是在实际无人机上运行的NVIDIA Jetson Xavier上实现的，每个RGB/IR图像对需要大约28毫秒的处理时间。
2022-01-11 cs.CV
Modality-Decoupled RGB-Thermal Object Detector via Query Fusion
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳分校）
本文提出了一种通过查询融合实现模态解耦的RGB热物体检测框架，以提升在极端条件下的检测鲁棒性。
2026-01-13 cs.CV
Neuromorphic Drone Detection: an Event-RGB Multimodal Approach
University of Florence（佛罗伦萨大学）；University of Siena（锡耶纳大学）；Leonardo S.p.A.（莱昂纳多公司）
针对无人机检测中RGB模态在高速运动和光照不足下的局限性，提出一种融合神经形态相机与RGB的多模态检测模型，并发布了超3.5小时的多模态标注数据集NeRDD。
2024-09-24 cs.AI cs.CV
Spectral-Aware Global Fusion for RGB-Thermal Semantic Segmentation
Carnegie Mellon University（卡内基梅隆大学）
针对单RGB语义分割在复杂场景下性能受限、RGB与热红外模态融合存在差异的问题，提出SGFNet，从光谱视角建模高频模态特征交互实现融合，在MFNet和PST900数据集上取得SOTA性能。
2025-05-21 cs.CV
PEOD: A Pixel-Aligned Event-RGB Benchmark for Object Detection under Challenging Conditions
针对现有Event-RGB数据集极端条件覆盖稀疏、分辨率低的局限，提出首个大规模像素对齐高分辨率（1280×720）目标检测基准PEOD，含130+序列、34万标注框，57%数据来自极端场景，基准测试揭示不同条件下各模型性能差异，为多模态感知研究提供支撑。
2025-11-11 cs.CV
RegisterBridgeMM: A Register-Centric Framework for RGB-Infrared Object Detection
Jilin University（吉林大学）；Taiyuan University of Technology（太原理工大学）；Shenzhen University（深圳大学）
针对RGB-红外目标检测的跨模态融合难题，提出以寄存器为核心的RegisterBridgeMM框架，通过三阶段寄存器生命周期实现高效融合，在四个基准数据集上取得最高mAP50-95性能。
2026-08-06 cs.CV
Comparison of Object Detection Algorithms Using Video and Thermal Images Collected from a UAS Platform: An Application of Drones in Traffic Management
University of South Florida（南佛罗里达大学）；Center for Urban Transportation Research（城市交通研究中心）；Florida Department of Transportation（佛罗里达州交通部）
无人机（UAV）在交通管理中的应用迅速增长，例如交通监视、监控和事件检测。然而，现有的文献缺乏解决方案，实时事件检测，同时在实践中解决隐私问题。本研究探讨了实时车辆检测算法的视觉和红外摄像机，并进行了实验比较其性能。红绿蓝（RGB）视频和热图像是从佛罗里达州坦帕市高速公路沿线的UAS平台收集的。实验设计了量化的性能，实时背景减除为基础的方法在车辆检测从一个固定的摄像机悬停无人机在自由流条件下。根据无人机和传感器相对于道路的几何形状，在实验中设置了几个参数。实验结果表明，基于背景减除的方法在RGB图像上具有良好的检测性能（F1值在0.9左右），在不同方位角的热图像上具有更好的检测性能。这些实验的结果将有助于为使用无人机检测高速公路拥堵的协议、标准和指南的开发提供信息，并为事件检测算法的开发提供投入。
2021-09-27 cs.CV
Variational Probabilistic Fusion Network for RGB-T Semantic Segmentation
University of Electronic Science and Technology of China（电子科技大学）；Sun Yat-sen University（中山大学）
针对RGB-T语义分割中的模态噪声、类别不平衡与模态偏差问题，提出VPFNet，通过变分特征融合采样并结合光照、类别先验实现鲁棒分割，在MFNet和PST900上达到SOTA性能。
2023-07-17 cs.CV
DRPFNet: Dual-domain Residual Progressive Fusion Network for RGB-Thermal Object Detection
针对现有RGB-T目标检测方法的跨尺度知识继承不足、噪声抑制弱及信息退化问题，提出DRPFNet，通过结构、特征、增强三级协同优化，在公开数据集上实现了兼具竞争力与高效性的检测性能。
2026-08-05 cs.CV
Alignment-Free RGB-T Salient Object Detection: A Large-scale Dataset and Progressive Correlation Network
Anhui University（安徽大学）
针对免对齐RGB-T显著性目标检测数据集规模受限问题，构建了包含2万图像对的大规模数据集UVT20K，并提出渐进式相关网络PCNet，通过显式对齐建模相关性实现准确预测。
2024-12-19 cs.CV
Articulated Clinician Detection Using 3D Pictorial Structures on RGB-D Data
ICube, University of Strasbourg, CNRS（斯特拉斯堡大学ICube实验室，法国国家科学研究中心）；IHU Strasbourg（斯特拉斯堡大学医院研究所）；University Hospital of Strasbourg（斯特拉斯堡大学医院）
可靠的人体姿态估计（HPE）对于许多临床应用至关重要，例如手术工作流程分析，辐射安全监测和人机协作。所提出的用于手术室（OR）的方法依赖于使用多相机系统的前景估计，由于颜色相似性和频繁的照明变化，这在真实的OR中是一个挑战，或者依赖于可穿戴传感器或标记，这是侵入性的，因此难以引入到房间中。相反，我们提出了一种新的方法，基于图像结构（PS）和RGB-D数据，它可以很容易地部署在真正的OR。我们以两种方式扩展PS框架。首先，我们使用彩色和深度图像构建鲁棒和有区别的部分检测器。我们还提出了一种新的描述深度图像，称为直方图的深度差异（HDD）。其次，我们扩展PS到3D提出了3D成对约束和一个新的方法，使精确推理易处理。我们的方法进行了评估的姿态估计和临床医生检测的一个具有挑战性的RGB-D数据集记录在一个繁忙的手术室在现场手术。我们进行了一系列的实验，研究不同的部分检测器结合各种2D或3D成对约束。我们的比较表明，3D PS与RGB-D部分检测器显着改善了在视觉上具有挑战性的操作环境中的结果。
2016-07-06 cs.CV
Radiometric Scene Decomposition: Scene Reflectance, Illumination, and Geometry from RGB-D Images
Drexel University（德雷塞尔大学）
恢复场景的辐射特性（即，反射率、照明和几何形状）是计算机视觉长期寻求的能力，其可以为广泛的应用提供宝贵的信息。从真实世界场景的外观中破译辐射成分，而不是单个孤立的对象，是特别具有挑战性的，因为它通常由具有不同材料成分的各种对象组成，这些对象表现出复杂的反射率和光相互作用，这些也是照明的一部分。我们介绍的第一种方法辐射场景分解，处理这些错综复杂的。我们使用RGB-D图像引导几何恢复，同时恢复复杂的反射率和自然光照，同时细化噪声的初始几何形状和分割成不同的材料区域的场景。最重要的是，我们处理真实世界的场景，包括多个对象的未知材料，这需要建模的空间变化复杂的反射率，自然光照，纹理，相互反射和阴影。我们系统地评估了我们的方法在合成场景中的有效性，并展示了其在现实世界场景中的应用。结果表明，丰富的辐射信息可以恢复从RGB-D图像和展示一个新的角色RGB-D传感器可以发挥一般场景理解任务。
2016-04-05 cs.CV
ORGB: Offset Correction in RGB Color Space for Illumination-Robust Image Processing
Peking University（北京大学）；Dalian University of Technology（大连理工大学）
单一材质的颜色在RGB空间中形成直线。然而，在严重阴影的情况下，这些线并不与原点相交，这与大多数文献的描述不一致。本文主要研究交点到原点的偏移量的检测与校正。首先，我们通过光学成像模型分析了形成这种偏移的原因。其次，我们提出了一种简单有效的方法来检测和消除偏移。所得到的图像，命名为ORGB，具有几乎相同的外观作为原始的RGB图像，而更光照鲁棒的颜色空间转换。此外，使用ORGB而不是RGB进行的图像处理不受阴影的干扰。最后，将提出的偏移校正方法应用于道路检测任务，提高了定量和定性评价的性能。
2017-08-03 cs.CV
RA-SOD: Reliability-Aware RGB-T Salient Object Detection under Modality Degradation
State Key Laboratory of Robotics and Systems, Harbin Institute of Technology（哈尔滨工业大学机器人技术与系统国家重点实验室）；School of Computer Science, University of Sydney（悉尼大学计算机科学学院）
针对RGB-T显著目标检测中模态退化导致融合不可靠的问题，提出可靠性感知框架RA-SOD，通过可靠性条件化表示、不确定性引导细化及像素级模态竞争机制，在四个基准上取得最优性能。
2026-09-14 cs.CV
BIMII-Net: Brain-Inspired Multi-Iterative Interactive Network for RGB-T Road Scene Semantic Segmentation
提出脑启发多迭代交互网络BIMII-Net，通过深度连续耦合神经网络、跨显式注意力融合及多层解码器，实现RGB-T道路场景语义分割，达到SOTA性能并展现强泛化能力。
2025-03-25 cs.CV
DEYOLO: Dual-Feature-Enhancement YOLO for Cross-Modality Object Detection
College of Artificial Intelligence, Nankai University（南开大学人工智能学院）；Engineering Research Center of Trusted Behavior Intelligence, Ministry of Education, Nankai University（南开大学教育部可信行为智能工程研究中心）
提出 DEYOLO 跨模态目标检测网络，通过 DECA、DEPA 双特征增强及双向解耦聚焦模块减少 RGB-IR 干扰，在 M3FD 和 LLVIP 上显著优于现有 SOTA。
2024-12-06 cs.CV
RGB-T Semantic Segmentation with Location, Activation, and Sharpening
Shanghai University（上海大学）；Shanghai Institute for Advanced Communication and Data Science（上海先进通信与数据科学研究院）
语义分割是场景理解的重要内容。针对自然图像光照条件恶劣的场景，引入了热红外（TIR）图像。现有的大多数RGB-T语义分割方法遵循三种跨模态融合范式，即编码器融合、解码器融合和特征融合。不幸的是，一些方法忽略了RGB和TIR特征的属性或不同级别的特征的属性。在本文中，我们提出了一种新的基于特征融合的网络RGB-T语义分割，命名为\emph{LASNet}，它遵循三个步骤的位置，激活，锐化。LASNet的亮点在于，我们充分考虑了跨模态特征在不同层次上的特点，并相应地提出了三个具体的模块，以更好地分割。具体地说，我们提出了一个协作定位模块（CLM）的高层语义特征，旨在定位所有潜在的对象。我们提出了一个补充激活模块的中层功能，旨在激活不同对象的确切区域。我们提出了一个边缘锐化模块（ESM）的低层次的纹理特征，旨在锐化物体的边缘。此外，在训练阶段，我们附加一个位置监督和边缘监督后CLM和ESM，分别，并施加两个语义监督的解码器部分，以促进网络收敛。在两个公共数据集上的实验结果表明，我们的LASNet的优越性，相关国家的最先进的方法。我们的方法的代码和结果可在https://github.com/MathLee/LASNet上获得。
2022-10-26 cs.CV
Does Thermal Really Always Matter for RGB-T Salient Object Detection?
Beijing Jiaotong University（北京交通大学）；City University of Hong Kong（香港城市大学）；Southern University of Science and Technology（南方科技大学）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Peng Cheng Laboratory（鹏城实验室）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）
近年来，RGB-T显著目标检测（SOD）受到了持续的关注，这使得通过引入热图像来识别弱光等环境中的显著物体成为可能。然而，现有的RGB-T SOD模型大多集中在如何进行跨模态特征融合，忽略了热图像是否真的总是在SOD任务的问题。从该任务的定义和性质出发，重新思考了热模态的内涵，并提出了一种解决RGB-T SOD任务的网络TNet。本文引入了一个全局光照估计模块来预测图像的全局照度得分，从而调节两种模态所起的作用。此外，考虑到热通道的作用，我们在编码阶段和解码阶段建立了不同的跨通道交互机制。一方面，在编码阶段引入语义约束提供器，丰富了热图像的语义，使热模态更适合SOD任务。另一方面，我们在解码阶段引入了两阶段定位和互补模块，将热特征中的对象定位线索和内部完整性线索转移到RGB模态。在三个数据集上进行的大量实验表明，与20种最先进的方法相比，所提出的TNet具有竞争力的性能。
2022-10-09 cs.CV
DriveIndia: An Object Detection Dataset for Diverse Indian Traffic Scenes
该研究构建DriveIndia大规模目标检测数据集，覆盖印度多样交通场景与条件，含66986张图像及24类目标，提供YOLO模型基线（最佳mAP50为78.7%），助力不确定路况下鲁棒检测研究并将公开。
2025-08-26 cs.CV
Thermal Detection of People with Mobility Restrictions for Barrier Reduction at Traffic Lights Controlled Intersections
Faculty of Mathematics and Computer Science, University of Münster（数学与计算机科学学院，穆斯特大学）；University of Applied Sciences Erfurt（埃弗特应用科学大学）；Faculty of Business, Logistics and Transport, University of Applied Sciences Erfurt（商业、物流与交通学院，埃弗特应用科学大学）
本文提出基于热成像检测的自适应交通信号灯系统，构建 TD4PWMR 数据集并设计 YOLO-Thermal，以提升行动受限及视障行人的路口无障碍通行能力。
2025-05-14 cs.CV
Bridging Severe Cross-Modal Misalignment: End-to-End Visible-Infrared Object Detection via Explicit Feature-Domain Affine Registration
Beijing University of Technology（北京工业大学）；Central South University（中南大学）；Beijing Electronics Science & Technology Institute（北京电子科学技术研究所）；China Aerospace Science & Industry Corporation（中国航天科技集团）；Beijing Institute of Technology（北京理工大学）；Information Support Force Engineering University（信息支援部队工程大学）；Trunk Technology (Beijing) Co., Ltd.（trunk技术（北京）有限公司）
针对可见光-红外目标检测的严重跨模态错位问题，提出JFRDet网络，含CMAA、IGCF、AQCG模块，构建DVMA基准，在该基准上达到69.7% mAP₅₀的SOTA性能。
2026-08-12 cs.CV
Visible-Thermal Tiny Object Detection: A Benchmark Dataset and Baselines
College of Electronic Science and Technology, NUDT（国防科技大学电子科学学院）
针对RGBT小目标检测缺乏公平基准的问题，本文构建大规模RGBT-Tiny数据集，提出SAFit评估度量，并对23种代表性算法进行系统评测。
2025-02-20 cs.CV
Artificial Intelligence Enabled Traffic Monitoring System
University of Missouri-Columbia（密苏里大学哥伦比亚分校）；WSP USA（美国WSP公司）
手动交通监控可能是一项艰巨的任务，因为交通管理中心操作安装在网络上的无数摄像头。注入一定程度的自动化可以帮助减轻人工操作员执行手动监控的工作量，并促进做出积极的决策，从而减少事故和道路经常性拥堵的影响。本文提出了一种新的方法来自动监控实时的交通镜头使用深度卷积神经网络和一个独立的图形用户界面。作者描述了在开发模型的过程中收到的研究结果，这些模型可以作为人工智能启用的交通监控系统的集成框架。所提出的系统部署了几种最先进的深度学习算法，以自动化不同的流量监控需求。利用带注释的视频监控数据的大型数据库，训练基于深度学习的模型来检测队列，跟踪静止车辆，并将车辆计数制成表格。一个像素级的分割方法被应用到检测交通队列和预测的严重性。实时目标检测算法与不同的跟踪系统相结合，自动检测滞留车辆，以及执行车辆计数。在每个发展阶段，有趣的实验结果，以证明所提出的系统的有效性。总体而言，结果表明，所提出的框架在各种条件下都表现令人满意，而不会受到环境危害的极大影响，如模糊的相机视图，低照度，雨或雪。
2020-10-02 cs.CV
Lighting-aware Unified Model for Instance Segmentation
Iowa State University（爱荷华州立大学）
本文提出了一种考虑光照的实例分割统一模型，通过开发Lighting Convolutional-Attention模块，在不微调重型主干网络的情况下提升分割鲁棒性，实验结果表明该方法能有效解决光照变化带来的领域差距问题。
2026-06-11 cs.CV
Dual-Correlation Hypergraph Network for Unaligned RGBT Video Object Detection and A Large-scale Benchmark
Anhui Provincial Key Laboratory of Multimodal Cognitive Computation（安徽省多模态认知计算重点实验室）；School of Computer Science and Technology（计算机科学与技术学院）；Anhui University（安徽大学）；School of Artificial Intelligence（人工智能学院）
针对RGBT视频目标检测中图像对空间未对齐问题，提出双相关超图网络DHNet，通过设计PSAM和DHFM模块捕获互补信息，还构建DVT-VOD1000数据集，实验表明该网络检测精度达最优，数据集和代码将公开。
2026-09-09 cs.CV
Detailed Surface Geometry and Albedo Recovery from RGB-D Video Under Natural Illumination
Northwestern Polytechnical University（西北工业大学）；University of Kentucky（肯塔基大学）；Hangzhou Normal University（杭州师范大学）；Baidu Research（百度研究院）
在本文中，我们提出了一种新的方法，从RGB-D视频序列的深度图增强。其基本思想是利用彩色图像中的阴影信息。而不是假设表面的运动或控制对象的运动和照明，我们使用的照明变化所引入的偶然的对象运动。我们正在有效地计算光度立体从一个移动的物体在自然照明。关键的技术挑战是在整个图像集上建立对应关系。因此，我们开发了一种照明不敏感的鲁棒像素匹配技术，在存在照明变化的情况下优于光流方法。此外，我们提出了一个期望最大化的框架，同时恢复表面正常和cross-do，没有任何正则化项。我们已经验证了我们的方法在合成和真实的数据集上，以显示其优越的性能在表面细节恢复和内在分解。
2019-11-20 cs.CV
Multi-Modal Attention-based Fusion Model for Semantic Segmentation of RGB-Depth Images
Sharif University of Technology（谢里夫理工大学）
三维场景理解是计算机视觉和机器人应用中的一个重要需求。RGB深度图像的语义分割是3D场景理解中的高级任务之一。随着RGB-D相机的可用性，期望通过利用深度特征以及外观特征来提高场景理解过程的准确性。由于深度图像与光照无关，因此它们可以提高RGB图像的语义标记质量。考虑这两种模态的共同特征和特定特征提高了语义分割的性能。RGB深度语义分割的主要问题之一是如何融合或组合这两种模态，以实现每种模态的更多优点，同时计算效率高。最近，遇到深度卷积神经网络的方法已经通过早期、晚期和中期融合策略达到了最先进的结果。在本文中，提出了一种有效的编码器-解码器模型与基于注意力的融合块，以整合这两种模态的特征图之间的相互影响。该块显式地提取这些模态的级联特征图之间的相互依赖性，以利用来自RGB深度图像的更强大的特征图。在NYU-V2、SUN RGB-D和Stanford 2D-3D-Semantic三个主要挑战数据集上的广泛实验结果表明，该网络在计算成本和模型大小方面优于最先进的模型。实验结果也说明了所提出的轻量级的基于注意力的融合模型在准确性方面的有效性。
2019-12-25 cs.CV cs.MM
How to Train a CAT: Learning Canonical Appearance Transformations for Direct Visual Localization Under Illumination Change
University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究所）
随着廉价的移动计算能力的日益可用，直接视觉定位最近又重新流行起来。与最先进的基于特征的方法相比，这些算法具有竞争力的准确性和鲁棒性，以及它们产生密集地图的自然能力，使它们成为各种移动机器人应用的吸引人的选择。然而，直接的方法仍然脆弱的外观变化，由于其基本假设的光度一致性，这是在实践中经常违反。在本文中，我们提出通过训练深度卷积编码器-解码器模型来转换场景的图像，使它们对应于以前看到的规范外观，从而缓解这个问题。我们使用高保真合成RGB-D数据集在多种环境和照明条件下验证我们的方法，并将训练的模型集成到直接视觉定位管道中，通过时变照明条件提高视觉里程计（VO）的准确性，以及在照明变化下提高度量重新定位性能，传统方法通常失败。我们进一步提供了一个初步的调查迁移学习从合成到真实的环境中的本地化背景。我们使用PyTorch的方法的开源实现可在https://github.com/utiasSTARS/cat-net上获得。
2022-07-04 cs.CV cs.RO
Learning to See through Illumination Extremes with Event Streaming in Multimodal Large Language Models
The University of Hong Kong（香港大学）
本文提出Event-MLLM，通过动态融合事件流与RGB帧进行全光视觉推理，引入光照指示器和光照校正损失，解决极端光照下多模态大语言模型的感知与推理问题。
2026-03-29 cs.CV
Tuning IR-cut Filter for Illumination-aware Spectral Reconstruction from RGB
University of Southern California（南加州大学）；Shanghai Jiao Tong University（上海交通大学）；Anhui Normal University（安徽师范大学）；The University of Tokyo（东京大学）
重建光谱信号从多通道观测，特别是三色RGB，最近出现了作为一个有前途的替代传统的扫描为基础的光谱成像仪。已经证明，重建精度在很大程度上依赖于所使用的RGB相机的光谱响应。为了提高准确性，已经提出了数据驱动算法来检索现有RGB相机的最佳响应曲线，甚至设计全新的三通道响应曲线。相反，本文探讨了现有RGB相机的基于滤波器阵列的彩色成像机制，并提出了适当设计IR截止滤波器以改善光谱恢复，这是一种介于两者之间的解决方案，在重建精度和实现复杂性之间具有更好的权衡。我们还提出了一种基于深度学习的光谱重建方法，该方法也可以恢复照明光谱。实验结果与合成和真实图像在日光照明下显示了我们的红外截止滤波器调谐方法和我们的照明感知光谱重建方法的好处。
2021-03-26 cs.CV eess.IV
Consistent Depth Prediction under Various Illuminations using Dilated Cross Attention
South China University of Technology（华南理工大学）
在本文中，我们的目标是解决在各种光照条件下的复杂场景一致的深度预测问题。基于RGB-D传感器或虚拟渲染的现有室内数据集有两个关键限制-稀疏深度图（NYU Depth V2）和非真实照明（SUN CG，SceneNet RGB-D）。我们建议使用互联网3D室内场景并手动调整其照明来渲染照片级逼真的RGB照片及其相应的深度和BRDF地图，获得一个新的室内深度数据集，称为Vari数据集。我们提出了一个简单的卷积块命名为DCA通过应用dependently可分离的扩张卷积的编码特征来处理全局信息和减少参数。我们对这些膨胀的特征进行交叉注意，以保持不同光照下深度预测的一致性。我们的方法进行评估，通过比较它与当前国家的最先进的方法在Vari数据集和一个显着的改善，在我们的实验中观察到。我们还进行了消融研究，在NYU Depth V2上微调了我们的模型，并对真实数据进行了评估，以进一步验证我们的DCA阻滞的有效性。代码、预训练权重和Vari数据集都是开源的。
2021-12-15 cs.CV
A Dataset for Improved RGBD-based Object Detection and Pose Estimation for Warehouse Pick-and-Place
Rutgers University（罗格斯大学）；Federal University of Espirito Santo（圣埃斯皮里图联邦大学）
机器人技术的一个重要的物流应用涉及机械手，机械手可以拾取和放置放在仓库货架上的物体。该任务的一个关键方面对应于使用视觉数据检测货架中已知对象的姿态。解决这个问题可以通过使用RGB-D传感器来帮助，该传感器还提供视觉数据之外的深度信息。然而，这仍然是一个具有挑战性的问题，因为需要解决多个问题，例如货架内的低照明，杂乱，无纹理和反射物体以及深度传感器的限制。本文提供了一个新的丰富的数据集，以推进最先进的基于RGBD的3D对象姿态估计，这是集中在解决仓库拾取和放置任务时出现的挑战。公开的数据集包括数千张图像和相应的地面实况数据，这些图像和数据是在不同姿势和杂乱条件下的第一次亚马逊采摘挑战赛期间使用的对象。每张图像都附有地面真实信息，以帮助评估目标检测算法。为了显示数据集的实用性，本文评估了最近基于RGBD的姿态估计算法。基于该算法在数据集上的测量性能，应用各种修改和改进来提高检测的准确性。这些步骤可以很容易地应用到各种不同的方法，用于对象姿态检测和提高性能的仓库拾取和放置的领域。
2016-02-20 cs.CV cs.RO
Adaptive Illumination based Depth Sensing using Deep Superpixel and Soft Sampling Approximation
Geomagical labs（Geomagical实验室）；Apple Inc（苹果公司）；Northwestern University（西北大学）
密集深度图捕获在现有的基于主动稀疏照明的深度获取技术（诸如LiDAR）中具有挑战性。已经提出了各种技术来基于稀疏深度图测量与RGB图像的融合来估计密集深度图。硬件的最新进展使得能够实现自适应深度测量，从而进一步改进密集深度图估计。在本文中，我们研究的主题，估计密集深度从深度采样。自适应稀疏深度采样网络与RGB图像和稀疏深度的融合网络联合训练，生成最优自适应采样模板。我们表明，这种自适应采样掩模可以推广到许多RGB和稀疏深度融合算法下的各种采样率（低至$0.0625\%$）。所提出的自适应采样方法是完全可微的，并且可以灵活地与上游感知算法进行端到端的训练。
2022-02-22 cs.CV
Self-Supervised Reversed Image Signal Processing via Reference-Guided Dynamic Parameter Selection
Sony Group Corporation（索尼集团公司）
未经处理的传感器输出（RAW图像）可能会改进低级和高级计算机视觉算法，但缺乏大规模RAW图像数据集是研究的障碍。因此，已经研究了将现有RGB图像转换为RAW图像的逆图像信号处理（ISP）。然而，大多数现有方法需要相机特定的元数据或成对的RGB和RAW图像来模拟转换，并且它们并不总是可用的。此外，在处理不同ISP和恢复全局光照方面存在问题。为了解决这些限制，我们提出了一种自监督的反向ISP方法，不需要元数据和配对的图像。所提出的方法通过基于参考RAW图像动态地选择反向ISP流水线的参数，将RGB图像转换为在与参考RAW图像相同的环境中使用相同的传感器拍摄的RAW类图像。通过从未配对的RGB和RAW图像创建的伪配对数据来训练参数选择。我们表明，所提出的方法能够学习各种反向ISP，其精度与其他最先进的监督方法相当，并将未知的RGB图像从COCO和Flickr1M转换为目标RAW类图像，在像素分布方面更准确。我们还证明了我们生成的RAW图像提高了真实RAW图像目标检测任务的性能。
2023-03-24 cs.CV eess.IV
Ambient-robust Inverse Rendering using Active RGB-NIR Imaging
POSTECH
提出一种利用主动RGB-NIR成像的三阶段逆渲染方法，通过结合环境光照下的多视角RGB图像和主动NIR闪光图像，实现对外部光照变化鲁棒的几何与反射率重建。
2026-05-28 cs.CV cs.GR
A Robust Framework for Moving-Object Detection and Vehicular Traffic Density Estimation
National ICT Australia (NICTA)（澳大利亚国家信息与通信技术研究院（NICTA））；The University of New South Wales (UNSW)（新南威尔士大学（UNSW））
本文提出了一种基于纹理度量的移动物体检测方法，具有计算成本低、参数调整少和抗噪声能力强的特点，实验表明其性能优于现有方法，并提出车辆交通密度估计的框架及对比分析。
2014-02-03 cs.CV cs.RO cs.SY
Traffic Signs Detection and Recognition System using Deep Learning
Faculty of Engineering, Helwan University（赫尔万大学工程学院）；Mentor, A Siemens Business（Mentor（西门子旗下业务））
随着科技的快速发展，汽车已经成为我们日常生活中不可或缺的资产。交通标志识别（TSR）系统是交通标志识别的重要研究内容之一。本文描述了一种通过迁移学习有效地实时检测和识别交通标志的方法，该方法考虑了各种天气、光照和能见度的挑战。我们使用最先进的多目标检测系统来解决交通标志检测问题，例如快速递归卷积神经网络（F-RCNN）和Single Shot Multi-Box Detector（SSD），并结合各种特征提取器，例如MobileNet v1和Inception v2，以及Tiny-YOLOv 2。然而，本文的重点将是F-RCNN Inception v2和Tiny YOLO v2，因为它们取得了最佳效果。上述模型在德国交通标志检测基准（GTSDB）数据集上进行了微调。这些模型在主机PC以及Raspberry Pi 3 Model B+和TASS PreScan模拟上进行了测试。我们将在结论部分讨论所有模型的结果。
2020-03-06 cs.CV cs.LG eess.IV
BRIC-Net: Boundary-Reliable Illumination-Color Interaction for Remote Sensing Image Deshadowing
针对遥感图像去阴影的不适定问题，提出BRIC-Net网络，通过LRP、BAGM、SCMM模块实现光照与色度解耦，在多个数据集上取得优于现有方法的去阴影效果。
2026-08-04 cs.CV
Point Cloud Color Constancy
Tsinghua University（清华大学）；Czech Technical University（捷克技术大学）
本文提出PCCC算法，利用ToF深度信息构建6D点云并应用PointNet架构估计光照色度，在多个RGB-D数据集上误差低于现有算法，且速度快达500 fps。
2024-07-29 cs.CV
SenseShift6D: Multimodal RGB-D Benchmarking for Robust 6D Pose Estimation across Environment and Sensor Variations
Graduate School of Data Science（数据科学研究生院）
SenseShift6D通过多样的光照和传感器设置，评估了6D位姿估计在真实环境中的鲁棒性，揭示了传感器和环境变化对性能的影响，推动了多模态传感器选择的研究。
2026-11-05 cs.CV
Unified Low-Light Traffic Image Enhancement via Multi-Stage Illumination Recovery and Adaptive Noise Suppression
Korea University（高丽大学）
本文提出了一种无监督的多阶段深度学习框架，通过照明恢复和噪声抑制提升低光照交通图像质量，提高自动驾驶等系统的感知可靠性。
2025-11-18 cs.AI cs.CV
IDM-Net: A Lightweight Illumination-Decoupled Modulation Network for Low-Light Image Enhancement
National Taiwan University of Science and Technology（国立台湾科技大学）
IDM-Net提出一种轻量级光照解耦调制网络，通过双编码器提取光照先验并注入解码器，实现低光图像增强中亮度恢复与色彩保真的平衡，在多个基准上取得竞争力性能。
2026-09-28 cs.CV
IAF-Net: Illumination-Adaptive Fusion for Low-Light Urban Road Segmentation
The Shandong University（山东大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
提出IAF-Net，通过照明自适应融合模块动态调整RGB与几何特征的融合权重，并利用亮度调制注意力解码器增强低光照特征选择，实现不同光照条件下鲁棒的道路分割。
2026-05-29 cs.CV
Robust Depth-based Person Re-identification
Sun Yat-sen University（中山大学）；National University of Defense Technology（国防科技大学）
人员重新识别（re-id）旨在匹配非重叠摄像机视图中的人员。到目前为止，基于RGB的外观在大多数现有作品中被广泛使用。然而，当人们出现在极端照明或改变衣服，基于RGB外观的re-id方法往往会失败。为了克服这个问题，我们建议利用深度信息提供更多的不变的身体形状和骨架信息，而不管照明和颜色的变化。更具体地说，我们利用深度体素协方差描述符，并进一步提出了一个局部旋转不变的深度形状描述符称为特征深度特征来描述行人的身体形状。我们证明了黎曼流形上任意两个协方差矩阵之间的距离等价于相应特征深度特征之间的欧氏距离。此外，我们提出了一个核化的隐式特征转移方案，估计特征深度特征时，深度信息是不可用的RGB图像隐式。我们发现，将估计的深度特征与基于RGB的外观特征相结合，有时可以帮助更好地减少由照明和相似的衣服引起的外观特征的视觉模糊性。我们的模型的有效性进行了验证，在公开的深度行人数据集相比，相关的方法进行人员重新识别。
2017-03-28 cs.CV
Visibility Constrained Wide-band Illumination Spectrum Design for Seeing-in-the-Dark
The University of Tokyo（东京大学）
由于其广泛的应用和野外场景的极端复杂性，黑暗中的视觉是计算机视觉中最重要和最具挑战性的任务之一。现有技术可以主要分为两个线程：1）RGB相关的方法仅使用降级的RGB输入来恢复信息（\eg，低光增强），2）RGB无关的方法将在辅助近红外（NIR）发光体下捕获的图像转换到RGB域（\eg，NIR 2 RGB转换）。后者是非常有吸引力的，因为它在完全黑暗中工作，并且发光体对肉眼视觉友好，但由于其固有的模糊性而趋于不稳定。在本文中，我们试图通过在宽带VIS-NIR范围内设计辅助照明的最佳光谱，同时保持视觉友好性，来增强NIR 2 RGB转换。我们的核心思想是量化人类视觉系统所隐含的可见性约束，并将其纳入设计流程。通过对VIS-NIR范围内的图像形成过程进行建模，在可见度约束定义的可行区域内，以完全可区分的方式自动设计各种LED的最佳复用。我们还收集了一个大大扩展的VIS-NIR高光谱图像数据集的实验，通过使用定制的50波段滤光轮。实验结果表明，使用优化的宽带照明比仅使用近红外的任务可以显着改善。可用代码：https://github.com/MyNiuuu/VCSD。
2023-03-21 cs.CV eess.IV
IllumiNet: Transferring Illumination from Planar Surfaces to Virtual Objects in Augmented Reality
Shadow Creator Inc.（影子创造者公司）；Northwestern Polytechnical University（西北工业大学）；University of Glasgow（格拉斯哥大学）
提出了一种基于学习的真实环境中虚拟物体光照估计方法。虽然以前的作品解决了这个问题，通过重建高动态范围（HDR）的环境地图或相应的球谐函数，我们不寻求恢复整个场景的照明环境。给定单个RGB图像，我们的方法通过将从场景中的平面表面提取的照明特征转移到所需的几何形状来直接推断重新照明的虚拟对象。与以前的作品相比，我们的方法是更强大的，因为它可以在室内和室外环境中的空间变化的照明。实验和评估结果表明，我们的方法优于国家的最先进的定量和定性，实现逼真的增强体验。
2020-07-12 cs.CV
Modeling Indirect Illumination for Inverse Rendering
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
隐式神经表示和可微分渲染的最新进展使得可以从未知静态照明下捕获的多视图RGB图像中同时恢复对象的几何形状和材料。尽管取得了有希望的结果，间接照明很少建模在以前的方法，因为它需要昂贵的递归路径追踪，这使得逆渲染计算棘手。在本文中，我们提出了一种新的方法来有效地恢复空间变化的间接照明。关键的见解是，间接照明可以方便地从输入图像中学习的神经辐射场导出，而不是与直接照明和材料联合估计。通过对间接照明和直接照明的可见性进行适当建模，可以恢复无互反射和无阴影的反射。合成和真实数据上的实验表明，我们的方法相比以前的工作和它的能力，以合成逼真的渲染新的观点和照明下的优越性能。我们的代码和数据可在https://zju3dv.github.io/invrender/上获得。
2022-04-14 cs.CV
Evaluating an Adaptive Multispectral Turret System for Autonomous Tracking Across Variable Illumination Conditions
Department of Geography & Geoinformation Science, George Mason University（地理与地理信息科学系，乔治·马歇尔大学）
本文提出了一种自适应多光谱turret系统，通过融合RGB和LWIR视频流提升自主机器人在不同光照条件下的跟踪性能。
2025-12-24 cs.CV cs.LG cs.RO
Spectral Rendering Without a Spectral Renderer: Learned Spectral Codes for RGB Pipelines
University of York（约克大学）
本文提出Hadamard潜在码，通过紧凑的RGB渲染操作实现高效光谱渲染，减少计算成本并提升颜色准确性。
2026-09-22 cs.CV cs.GR
Benchmarking Nighttime Traffic Sign Recognition with Illumination-Adaptive Detection and Semantic Attribute Reasoning
IISER Bhopal（印度比哈尔州国际研究学院）
本文提出INTSD数据集和LENS-Net算法，解决夜间交通标志识别中的低光照和干扰问题，通过大规模数据和先进模型验证了夜间识别的挑战与方法。
2026-07-15 cs.CV cs.CY
Learning to Recover Spectral Reflectance from RGB Images
University of Alberta（阿尔伯塔大学）；Snapchat NYC（Snapchat纽约办公室）；University of Manitoba（曼尼托巴大学）
本文提出自监督元辅助学习（MAXL）策略，结合物理关系架构与多光照输入，解决RGB图像光谱反射率恢复问题，有效利用测试图像内部信息提升真实场景表现。
2024-04-23 cs.CV
Depth as Attention for Face Representation Learning
人脸表示学习解决方案最近在验证和识别等各种应用中取得了巨大成功。然而，纯粹基于RGB图像的面部识别方法仅依赖于强度信息，因此对面部变化（特别是姿势、遮挡和环境变化，例如照明和背景）更敏感。提出了一种新颖的深度引导注意力机制，用于使用低成本RGB-D传感器进行深度多模式人脸识别。我们的新型注意力机制通过使用卷积神经网络（CNN）提取的深度特征来集中网络的注意力，从而指导深度网络“在哪里寻找”RGB图像中的视觉特征。深度特征有助于网络聚焦RGB图像中包含更突出的个人特定信息的面部区域。然后，我们的注意力机制使用这种相关性从CNN提取的深度特征中生成RGB图像的注意力图。我们在四个公共数据集上测试了我们的网络，表明我们提出的解决方案获得的特征在Lock 3DFace，CurtinFaces，IIIT-D RGB-D和KaspAROV数据集上产生了更好的结果，这些数据集包括姿势，遮挡，照明，表情和延时的挑战性变化。我们的解决方案达到平均准确率提高了87.3%（+5.0\%），99.1\%（+0.9\%），99.7\%（+0.6\%）和95.3\%（+0.5\%），从而提高了最新技术水平。我们还使用热图像进行了额外的实验，而不是深度图像，当采用其他模态来引导注意力机制而不是深度信息时，显示了我们的解决方案的高泛化能力
2021-04-05 cs.CV
MAFNet: A Multi-Attention Fusion Network for RGB-T Crowd Counting
Northwestern Polytechnical University（西北工业大学）
RGB-Thermal（RGB-T）人群计数是一项具有挑战性的任务，它使用热图像作为RGB图像的补充信息来处理低光照或相似背景场景中基于单峰RGB的方法性能下降的问题。大多数现有的方法提出了精心设计的结构，用于RGB-T人群计数中的跨模态融合。然而，这些方法在编码RGB-T图像对中的跨模态上下文语义信息时存在困难。考虑到上述问题，我们提出了一种称为多注意力融合网络（MAFNet）的双流RGB-T人群计数网络，其目的是基于注意力机制从RGB和热模态中完全捕获长距离上下文信息。具体而言，在编码器部分，多注意力融合（MAF）模块被嵌入到两个模态特定分支的不同阶段，用于全局级的跨模态融合。此外，引入了多模态多尺度聚合（MMA）回归头，以充分利用跨模态的多尺度和上下文信息来生成高质量的人群密度图。在两个流行的数据集上的实验表明，所提出的MAFNet是有效的RGB-T人群计数，并达到了最先进的性能。
2022-08-14 cs.CV
