Towards Dynamic and Small Objects Refinement for Unsupervised Domain Adaptative Nighttime Semantic Segmentation
AI Thrust, HKUST(GZ)(香港科技大学(广州)AI方向);AI/CMA Thrust, HKUST(GZ)(香港科技大学(广州)AI/CMA方向);Dept. of CSE, HKUST(香港科技大学计算机科学与工程系)
针对夜间语义分割中动态和小目标难以学习的问题,本文提出一种无监督域自适应方法,通过标签与特征层面的细化模块及原型对齐,在三个基准上大幅提升性能。
2024-03-14 cs.AI cs.CV
Unsupervised Domain Adaptation for Nighttime Aerial Tracking
Tongji University(同济大学);ETH Zürich(苏黎世联邦理工学院)
以往在目标跟踪方面的研究主要集中在良好的光照条件下,而忽略了夜间的跟踪性能,这严重阻碍了相关空中机器人应用的发展。这项工作,而不是开发一种新的无监督领域自适应框架夜间空中跟踪(UDAT)。具体而言,提供了一种独特的对象发现方法来从原始夜间跟踪视频生成训练补丁。为了解决域差异,我们采用了一个基于transformer的桥接层后的特征提取器,以对齐来自两个域的图像特征。借助Transformer日/夜功能,白天跟踪模型经过逆向训练,可在夜间进行跟踪。此外,我们构建了一个开创性的基准,即NAT 2021无监督域自适应夜间跟踪,其中包括一个测试集的180手动注释的跟踪序列和一个训练集超过276 k未标记的夜间跟踪帧。详尽的实验证明了该框架在夜间空中跟踪中的鲁棒性和域适应性。代码和基准可以在https://github.com/vision4robotics/UDAT上获得。
2022-03-30 cs.CV
DANNet: A One-Stage Domain Adaptation Network for Unsupervised Nighttime Semantic Segmentation
University of South Carolina(南卡罗来纳大学);Farsee2 Technology Ltd(远见2科技有限公司)
夜间图像的语义分割在自动驾驶中扮演着与白天图像同样重要的角色,但由于光照条件差和人工注释繁琐,夜间图像的语义分割更具挑战性。在本文中,我们提出了一种新的领域自适应网络(DANNet)的夜间语义分割,而不使用标记的夜间图像数据。它使用带有标记的白天数据集和包含粗略对齐的昼夜图像对的未标记数据集进行对抗训练。具体来说,对于未标记的昼夜图像对,我们使用白天图像上的静态对象类别的像素级预测作为伪监督来分割其对应的夜间图像。我们进一步设计了一种重新加权策略来处理昼夜图像对之间的不对齐和白天图像的错误预测所造成的不准确性,以及提高小物体的预测精度。建议的DANNet是第一个一阶段的适应框架,夜间语义分割,不训练额外的昼夜图像传输模型作为一个单独的预处理阶段。在Dark Zurich和Nighttime Driving数据集上的大量实验表明,该方法在夜间语义分割方面具有最先进的性能。
2021-04-22 cs.CV
Semantic Segmentation under Adverse Conditions: A Weather and Nighttime-aware Synthetic Data-based Approach
Lancaster University(兰卡斯特大学);Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学)
最近的语义分割模型在标准天气条件和充足的光照下表现良好,但在恶劣天气条件和夜间表现不佳。在这些条件下收集和注释训练数据是昂贵的、耗时的、容易出错的,并且并不总是实用的。通常,使用合成数据作为可行的数据源以增加训练数据的量。然而,直接使用合成数据实际上可能会损害模型在正常天气条件下的性能,而在不利情况下只能获得很小的收益。因此,我们提出了一种新的架构,专门设计用于使用合成训练数据的领域自适应。我们提出了一个简单而强大的添加到DeepLabV3+通过使用天气和一天中的时间监督员训练多任务学习,使天气和夜间意识,这提高了其mIoU准确性的$14$百分点ACDC数据集上,同时保持$75\%$ mIoU的分数在城市景观数据集上。我们的代码可在https://github.com/lsmcolab/Semantic-Segmentation-under-Adverse-Conditions上获得。
2022-10-11 cs.CV cs.GR cs.LG
Prompt-Driven Temporal Domain Adaptation for Nighttime UAV Tracking
School of Mechanical Engineering, Tongji University(同济大学机械工程学院);the University of Hong Kong(香港大学)
本文提出提示驱动的时序域自适应框架TDA,通过对抗训练对齐昼夜时序上下文分布,并利用提示驱动目标挖掘器获取高质量样本,构建长期夜间无人机跟踪基准,显著提升夜间跟踪性能。
2024-09-27 cs.CV
Cross-Domain Correlation Distillation for Unsupervised Domain Adaptation in Nighttime Semantic Segmentation
Tianjin University(天津大学);Horizon Robotics(地平线机器人)
夜间语义分割的性能受到光照不足和缺乏像素级标注的限制,严重限制了其在自动驾驶中的应用。现有工程,例如,使用微光作为中间目标域来执行从白天到夜晚的适配可能无法处理由相机设备和城市风格引起的数据集之间的固有差异。面对这两种类型的域转移,即,针对数据集的光照和固有差异,提出了一种基于跨域相关蒸馏的领域自适应框架CCDistill。充分挖掘了两幅图像之间的光照不变性或内在差异,弥补了夜间图像标签的不足。具体地说,我们提取特征中包含的内容和风格知识,计算两幅图像之间的固有或光照差异程度。领域自适应是利用同类差分的不变性来实现的。在Dark Zurich和ACDC上的大量实验表明,CCDistill在夜间语义分割方面达到了最先进的性能。值得注意的是,我们的方法是一个单阶段的领域自适应网络,可以避免影响推理时间。我们的实现可以在www.example.com上获得。
2022-05-02 cs.CV
Rethinking Nighttime Image Deraining via Learnable Color Space Transformation
Dalian Polytechnic University(大连工业大学);Nanjing University of Science and Technology(南京理工大学);Dalian Martime University(大连 Maritime University)
针对夜间雨与光照耦合及数据不足问题,本文构建高质量 HQ-NightRain 基准,并提出带可学习色彩空间转换和隐式光照引导的 CST-Net,提升复杂夜间去雨效果。
2025-10-20 cs.CV
Learning color space adaptation from synthetic to real images of cirrus clouds
Zhejiang University(浙江大学)
云分割在气候建模的图像分析中起着至关重要的作用。手动标记用于云分割的训练数据是耗时且容易出错的。由于像素级标签的自然获取,我们探索用合成数据来训练分割网络。然而,合成图像和真实图像之间的域差距显着降低了训练模型的性能。我们提出了一种颜色空间自适应方法来弥补这一差距,通过训练一个颜色敏感的生成器和训练器,使合成数据适应颜色空间中的真实图像。我们采用一组封闭形式的操作来进行颜色空间调整,同时保留标签,而不是通过一般的卷积核来转换图像。我们还构建了一个合成到真实的卷云数据集SynCloud,并展示了卷云语义分割任务的适应效果。利用我们自适应的合成数据来训练语义分割,当应用于真实图像时,我们实现了6:59%的改进,优于其他方法。
2020-11-17 cs.CV
CMDA: Cross-Modality Domain Adaptation for Nighttime Semantic Segmentation
East China University of Science and Technology(华东理工大学);United Imaging Intelligence(联影智能)
针对夜间低光下传统相机图像细节缺失的问题,提出无监督跨模态域适应(CMDA)框架,结合图像与事件多模态信息并仅需白天标签,设计了运动与内容提取器弥合模态与域间差距,并发布了首个图像-事件夜间语义分割数据集。
2023-07-29 cs.CV
Nighttime Haze Removal with Illumination Correction
去雾对于计算摄影和计算机视觉应用是重要的。然而,现有的去雾方法大多是针对白天的图像设计的,并不能总是在夜间工作。与白天的成像条件不同,夜间雾霾条件下拍摄的图像可能会因人工光源而出现照明不均匀,表现出低亮度/对比度和色彩失真。在本文中,我们提出了一个新的夜间烟雾成像模型,同时考虑到非均匀照明的人工光源和烟雾的散射和衰减的影响。因此,我们提出了一个有效的去雾算法,夜间有雾的图像。该算法包括三个连续的步骤。i)它通过在从原始图像估计照明之后执行伽马校正步骤来增强整体亮度。ii)然后,在估计入射光的颜色特性之后,通过执行颜色校正步骤来实现颜色平衡结果。iii)最后,通过应用暗通道先验并基于先前的照明平衡结果估计逐点环境光来去除雾度效应。实验结果表明,该算法能够实现光照平衡和无雾效果,并具有良好的色彩还原能力。
2016-06-05 cs.CV
Memory-Guided Collaborative Attention for Nighttime Thermal Infrared Image Colorization
University of Electronic Science and Technology of China(电子科技大学)
夜间热红外(NTIR)图像彩色化,也称为NTIR图像到日间彩色图像的转换(NTIR 2DC),是一个有前途的研究方向,以促进人类和智能系统在不利条件下(例如,完全黑暗)。然而,以前开发的方法对于小样本类的着色性能较差。此外,减少伪标签中的高置信度噪声和解决平移过程中图像梯度消失的问题仍然是探索不足的,并且在平移过程中保持边缘不失真也具有挑战性。为了解决上述问题,我们提出了一种新的学习框架称为记忆引导的协同注意生成对抗网络(MornGAN),这是受人类类比推理机制的启发。具体而言,记忆引导的样本选择策略和自适应的合作注意力损失的设计,以提高小样本类别的语义保持。此外,我们提出了一个在线语义蒸馏模块挖掘和细化的NTIR图像的伪标签。此外,条件梯度修复损失的引入,以减少在翻译过程中的边缘失真。在NTIR 2DC任务上的大量实验表明,MornGAN在语义保持和边缘一致性方面明显优于其他图像到图像的翻译方法,这有助于显着提高目标检测的准确性。
2022-08-05 cs.CV
Thermal Infrared Image Colorization for Nighttime Driving Scenes with Top-Down Guided Attention
University of Electronic Science and Technology of China(电子科技大学);Beijing Institute of Basic Medical Sciences(北京基础医学研究所)
红外摄像机具有对光不敏感和雾环境下穿透力强的优点,被广泛应用于夜间交通场景的传感。然而,热红外(TIR)图像的低对比度和缺乏色度阻碍了高级计算机视觉算法的人类解释和可移植性。将夜间TIR图像转换为日间彩色(NTIR2DC)图像的着色可以是促进夜间场景感知的有希望的方式。尽管最近在图像翻译方面取得了令人印象深刻的进展,但NTIR2DC任务中的语义编码纠缠和几何失真仍然没有得到充分解决。因此,我们提出了一个自上而下的attEntion和gRadient aLignment为基础的GAN,称为珍珠GAN。首先设计了一个自上而下的引导注意模块和一个精心设计的注意损失,以减少翻译过程中的语义编码歧义。然后,引入结构化梯度对齐损失,以鼓励翻译和输入图像之间的边缘一致性。此外,像素级标注的FLIR和KAIST数据集的一个子集上进行的多种翻译方法的语义保持性能进行评估。此外,设计了一种新的度量标准来评价翻译过程中的几何一致性。大量的实验证明了所提出的PearlGAN在NTIR2DC任务中优于其他图像翻译方法。源代码和带标签的分割掩码将在\url{https://github.com/FuyaLuo/PearlGAN/}上提供。
2021-04-29 cs.CV
Condition-Invariant Semantic Segmentation
ETH Zürich(苏黎世联邦理工学院);KU Leuven(鲁汶大学);INSAIT
提出条件不变语义分割(CISS),通过特征不变性损失对齐原始与风格化图像特征,实现条件级适应,在Cityscapes→Dark Zurich基准上达到最先进,在Cityscapes→ACDC上取得第二,并泛化到未见域。
2025-01-22 cs.CV
SAM-DA: UAV Tracks Anything at Night with SAM-Powered Domain Adaptation
School of Mechanical Engineering, Tongji University(同济大学机械工程学院);Department of Computer Science, University of Hong Kong(香港大学计算机科学系)
针对夜间无人机跟踪中目标域训练样本质量不足的问题,提出基于SAM的域适应框架SAM-DA,通过一对多样本扩充生成高质量训练数据,实现少而精的高效训练,提升了夜间跟踪性能并加速算法部署。
2024-03-24 cs.CV
Transmittance-Guided Structure-Texture Decomposition for Nighttime Image Dehazing
Maharaja Agrasen University(马哈拉贾·阿格拉森大学)
本文提出双阶段夜间图像去雾框架,结合透射率校正与结构-纹理分层优化,通过改进的夜间成像模型和STAR-YUV分解模型提升去雾效果。
2026-03-31 cs.CV
Rendering Nighttime Image Via Cascaded Color and Brightness Compensation
Nanjing University(南京大学);Nankai University(南开大学)
图像信号处理(ISP)对于相机成像至关重要,并且神经网络(NN)解决方案被广泛部署用于白天场景。缺乏足够的夜间图像数据集和夜间照明特性的见解,提出了一个很大的挑战,高质量的渲染使用现有的NN ISP。为了解决这个问题,我们首先构建了一个高分辨率的夜间RAW-RGB(NR2R)数据集,并由专家进行了白平衡和色调映射注释。同时,为了更好地捕捉夜间照明光源的特性,我们开发了CBUnet,一个两阶段的NN ISP级联颜色和亮度属性的补偿。实验结果表明,该方法与传统ISP流水线相比具有更好的视觉质量,并在NTIRE 2022夜间摄影渲染挑战赛中分别获得了People和Professional Photographer的两个赛道的第二名。代码和相关材料可在我们的网站上找到:www.example.com。
2022-04-21 cs.CV eess.IV
ABRA: Teleporting Fine-Tuned Knowledge Across Domains for Open-Vocabulary Object Detection
University of Modena and Reggio Emilia(摩德纳和雷吉奥艾米利亚大学)
ABRA通过在预训练检测器的权重空间中将类别特定检测知识从标注源域传输到目标域,解决领域偏移下的开放词汇物体检测问题,实验表明其在多种恶劣条件下有效。
2026-08-04 cs.CV
DaDiff: Domain-aware Diffusion Model for Nighttime UAV Tracking
University of Hong Kong(香港大学);Centre for Transformative Garment Production(创新服装生产中心);Tongji University(同济大学)
本文提出了一种新颖的渐进式对齐范式DaDiff,通过领域感知扩散模型将夜间低分辨率目标特征对齐到白天,并构建了NUT-LR基准,有效提升了夜间无人机跟踪的鲁棒性。
2024-10-16 cs.CV
CloudSegNet: A Deep Network for Nychthemeron Cloud Image Segmentation
ADAPT SFI Research Centre(ADAPT SFI研究中心);Trinity College Dublin(都柏林圣三一学院);Nanyang Technological University(南洋理工大学);AI Singapore(新加坡人工智能中心);National University of Singapore(新加坡国立大学)
我们用地面的天空照相机分析地球大气中的云。由于云边界的模糊性,在所捕获的天空/云图像中的云的准确分割是困难的。已经提出了几种使用颜色作为云检测的判别特征的技术。然而,在现有的文献中,白天和夜间图像的分析被认为是分开的,主要是因为图像特性和应用的差异。在本文中,我们提出了一个轻量级的深度学习架构,称为CloudSegNet。它是第一个将白天和夜间(也称为nychthemeron)图像分割集成在一个框架中,并在公共数据库上实现最先进的结果。
2019-04-16 cs.CV eess.IV physics.ao-ph
Nighttime Thermal Infrared Image Colorization with Feedback-based Object Appearance Learning
University of Electronic Science and Technology of China(电子科技大学);Naval Medical Center of PLA(中国人民解放军海军医学中心)
针对夜间热红外转白天彩色图像任务中小物体转换性能不足的问题,提出结合反馈式物体外观学习的生成对抗网络FoalGAN,通过引入遮挡感知mixup模块、外观一致性损失、交通灯外观损失及双重反馈学习策略,有效提升了小物体的真实感、语义保留与边缘一致性。
2023-10-24 cs.CV
Rein++: Efficient Generalization and Adaptation for Semantic Segmentation with Vision Foundation Models
University of Science and Technology of China(中国科学技术大学)
Rein++提出基于视觉基础模型的语义分割框架,通过实例感知令牌微调不足1%参数实现高效泛化,并结合无监督域自适应与语义迁移模块,在无标签目标域上显著超越现有方法。
2025-08-03 cs.CV
Learnable Differencing Center for Nighttime Depth Perception
Nanjing University of Science and Technology(南京理工大学);Chinese Academy of Sciences(中国科学院);Nankai University(南开大学)
针对夜间深度补全与估计任务,提出LDCNet框架,利用循环卷积间差分和光照亲和卷积内差分增强图像并抑制光照变化,达到最先进性能。
2023-09-04 cs.CV
AeroLLE: Constrained Pseudo-Supervision for Nighttime Aerial Image Enhancement with the AeroNight-1.5K Benchmark
该研究针对夜间航拍图像增强难题,构建AeroNight-1.5K基准,提出两阶段框架AeroLLE,结合约束伪监督实现更均衡的曝光与颜色校正,为无配准参考时的图像增强提供有效策略。
2026-08-04 cs.CV
Disentangled Contrastive Image Translation for Nighttime Surveillance
本文提出解耦对比学习方法 DiCo,通过颜色不变量物理先验和前景背景解耦表示,在生成对抗网络中实现夜间监控图像到白天的高保真转换,并发布 NightSuR 数据集。
2023-07-11 cs.CV
Boosting Cross-spectral Unsupervised Domain Adaptation for Thermal Semantic Segmentation
Sejong University(世宗大学);NAVER LABS(NAVER实验室);Department of Automotive Engineering, Hanyang University(汉阳大学汽车工程系)
针对热成像语义分割中RGB与热成像互补信息利用不足的问题,提出掩码互学习与夜间原型自监督损失,提升跨光谱UDA并逼近监督方法。
2025-05-11 cs.CV cs.RO
DASP: Self-supervised Nighttime Monocular Depth Estimation with Domain Adaptation of Spatiotemporal Priors
College of Computer Science and Technology, Guangdong University of Technology(广东工业大学计算机科学与技术学院);Digital Future Lab, Flanders Make, Hasselt University(数字未来实验室,弗拉芒制造,哈塞尔特大学);College of Engineering, Shantou University(汕头大学工程学院);Hasselt University(哈塞尔特大学)
DASP通过结合时空先验学习和自监督方法,实现了夜间单目深度估计的高效准确恢复。
2025-12-16 cs.CV
ADeLA: Automatic Dense Labeling with Attention for Viewpoint Adaptation in Semantic Segmentation
Stanford University(斯坦福大学);Zhejiang University(浙江大学)
我们描述了一个无监督的领域自适应方法的图像内容的变化所造成的语义分割任务的观点。大多数现有方法在共享空间中执行域对齐,并假设从对齐空间到输出的映射是可转移的。然而,由视点变化引起的新内容可能使这种有效对齐的空间无效,从而导致负面适应。我们的方法不需要在两个域之间对齐图像的任何统计数据。相反,它利用仅在彩色图像上训练的视图转换网络来为目标产生语义图像。由于注意力机制引入的归纳偏差,尽管缺乏监督,视图转换网络仍然可以推广到语义图像。此外,为了解决语义图像转换为语义标签的歧义,我们把视图转换网络作为一个功能表示的颜色图像所隐含的未知映射,并提出功能标签幻觉在目标域中生成伪标签。我们的方法超越了基于最先进的对应估计和视图合成方法的基线。此外,它优于最先进的无监督领域自适应方法,利用自我训练和对抗域对齐。我们的代码和数据集将公开提供。
2021-07-29 cs.CV
Cooperative Students: Navigating Unsupervised Domain Adaptation in Nighttime Object Detection
Open Distributed Systems (ODS), TU Berlin and BIFOLD Berlin(开放分布式系统(ODS)、柏林技术大学和柏林BIFOLD);Open Distributed Systems (ODS), TU Berlin and Fraunhofer FOKUS Berlin, Germany(开放分布式系统(ODS)、柏林技术大学和弗劳恩霍夫研究所FOKUS)
本文提出合作学生(CoS)框架,通过全局-局部变换、基于代理的目标一致性及自适应IoU阈值化模块,有效缓解昼夜域偏移,在多个夜间目标检测数据集上显著超越现有方法。
2025-07-04 cs.CV
Reducing Semantic Ambiguity In Domain Adaptive Semantic Segmentation Via Probabilistic Prototypical Pixel Contrast
School of Artificial Intelligence, Hebei University of Technology(河北工业大学人工智能学院)
针对域自适应语义分割中确定性嵌入存在语义歧义的问题,提出概率原型像素对比框架,通过高斯分布建模像素嵌入、推导原型、高效计算分布相似度及动态选歧义块,显著提升自适应性能与泛化能力。
2024-09-27 cs.CV
Similarity Min-Max: Zero-Shot Day-Night Domain Adaptation
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);School of EECS, Peking University(北京大学电子工程与计算机科学学院);School of CS, Peking University(北京大学计算机科学学院);Peng Cheng Laboratory(鹏城实验室)
针对零样本昼夜域自适应无需夜间数据的需求,提出相似性最小-最大范式,联合优化图像级变暗增广与模型级特征对齐,显著提升模型泛化性,在多类夜间视觉任务上验证了有效性。
2023-11-05 cs.CV
Domain Generalization through Attenuation of Domain-Specific Information
Meijo University(名城大学)
本文提出领域独立性指标DI和领域特定信息衰减方法ADSI,利用Butterworth滤波抑制图像中领域特定低频信息,在自动驾驶语义分割跨域任务中优于传统方法。
2025-04-09 cs.CV
SePiCo: Semantic-Guided Pixel Contrast for Domain Adaptive Semantic Segmentation
Beijing Institute of Technology(北京理工大学);Tsinghua University(清华大学)
域自适应语义分割试图通过利用在标记源域上训练的监督模型对未标记目标域进行令人满意的密集预测。在这项工作中,我们提出了语义引导的像素对比度(SePiCo),这是一种新的单阶段自适应框架,它突出了单个像素的语义概念,以促进跨域的类区分和类平衡像素表示的学习,最终提高自训练方法的性能。具体来说,为了探索适当的语义概念,我们首先研究了一种质心感知像素对比度,该像素对比度采用整个源域或单个源图像的类别质心来指导判别特征的学习。考虑到语义概念中可能缺乏类别多样性,我们开辟了一条包含足够数量实例的分布视角的道路,即分布感知像素对比度,其中我们从标记源数据的统计数据中近似每个语义类别的真实分布。此外,这样的优化目标可以推导出一个封闭形式的上限隐含地涉及无限数量的(不)相似的对,使其计算效率。大量的实验表明,SePiCo不仅有助于稳定训练,而且还能产生有区别的表示,在合成到真实和白天到夜间的适应场景中都取得了重大进展。
2023-02-20 cs.CV
Shadow Erosion and Nighttime Adaptability for Camera-Based Automated Driving Applications
Johannes Kepler University Linz, Austria(奥地利林茨约翰内斯·开普勒大学);Department Intelligent Transport Systems(智能交通系统部门)
针对自动驾驶中挑战性光照下的图像增强问题,提出保留色彩纹理的阴影侵蚀与夜间适应性流水线,经对比CLAHE验证在光照均匀度等指标上更优,且能提升YOLO可行驶区域分割效果。
2025-09-02 cs.CV
Sun Off, Lights On: Photorealistic Monocular Nighttime Simulation for Robust Semantic Perception
ETH Zürich(苏黎世联邦理工学院);University of Toronto(多伦多大学);KU Leuven(鲁汶大学);INSAIT
本文提出SOLO方法,首次在单张白天图像上通过三维几何、材质与光源估计及语义感知的光源概率实例化和光线追踪,生成真实感夜间图像,并在昼夜自适应的夜间语义分割中验证其有效性。
2024-07-29 cs.CV
VBLC: Visibility Boosting and Logit-Constraint Learning for Domain Adaptive Semantic Segmentation under Adverse Conditions
Beijing Institute of Technology(北京理工大学);Tsinghua University(清华大学);Inceptio Technology(嬴彻科技)
在实际系统中,将在正常视觉条件下训练的模型推广到不利条件下的目标域是很有必要的。一种普遍的解决方案是弥合清晰和不良条件图像之间的域间隙,以对目标进行满意的预测。然而,以前的方法通常依赖于在正常条件下拍摄的相同场景的额外参考图像,这在现实中是相当困难的。此外,大多数模式主要针对夜间或雾天等个别不利条件,削弱了模式在遇到其他不利天气时的通用性。为了克服上述限制,我们提出了一个新的框架,可见性提升和逻辑约束学习(VBLC),专为卓越的正常到不利的适应。VBLC探索了去除参考图像和同时解决不利条件混合的潜力。详细地说,我们首先提出了可见性提升模块,通过图像级的某些先验知识来动态地改善目标图像。然后,我们指出了传统的交叉熵损失自训练方法中的过度自信的缺点,并设计了logit约束学习,它在训练过程中对logit输出施加约束,以减轻这一痛点。据我们所知,这是处理这一具有挑战性的任务的新视角。对两个正常到不利的领域自适应基准进行了广泛的实验,即,Cityscapes -> ACDC和Cityscapes -> FoggyCityscapes + RainCityscapes,验证VBLC的有效性,它建立了最新的技术水平。代码可在https://github.com/BIT-DA/VBLC上获得。
2022-11-22 cs.CV
HistoFusionNet: Histogram-Guided Fusion and Frequency-Adaptive Refinement for Nighttime Image Dehazing
McMaster University(麦克马斯特大学)
本文提出HistoFusionNet,结合直方图引导的表示学习与频率自适应特征细化,解决夜间图像去雾中的复杂退化问题,通过多尺度编码器-解码器架构提升恢复精度。
2026-04-04 cs.CV
NightHazeFormer: Single Nighttime Haze Removal Using Prior Query Transformer
Southwest University(西南大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Sun Yat-sen University(中山大学);Jimei University(集美大学)
针对夜间复杂退化导致的去雾难题,提出两阶段NightHazeFormer,利用先验查询和半监督微调提升真实场景泛化,并构建UNREAL-NH数据集,效果优于现有方法。
2023-08-13 cs.CV
MATrack: Efficient Multiscale Adaptive Tracker for Real-Time Nighttime UAV Operations
Nanyang Technological University(南洋理工大学)
针对夜间无人机跟踪中低光、杂乱背景和视角变化导致的漂移问题,提出MATrack多尺度自适应系统,通过三个核心模块协同工作,在UAVDark135上精度、归一化精度和AUC分别提升5.9%、5.4%和4.2%,并保持81 FPS实时速度。
2025-10-24 cs.CV cs.RO
RL-AWB: Deep Reinforcement Learning for Auto White Balance Correction in Low-Light Night-time Scenes
MediaTek Inc.(联发科技股份有限公司);National Taiwan University(国立台湾大学);National Yang Ming Chiao Tung University(国立阳明交通大学)
本文提出RL-AWB框架,结合统计方法与深度强化学习解决低光环境下色彩恒常性问题,通过统计算法与强化学习动态优化参数,提升低光和明亮场景的泛化能力。
2026-07-09 cs.CV
Source-Free Domain Adaptation for RGB-D Semantic Segmentation with Vision Transformers
University of Padova(帕多瓦大学)
针对 RGB-D 语义分割中无法访问源数据的域适应问题,提出 MISFIT 框架,通过多阶段深度融合、风格迁移、跨模态注意力重连和深度感知熵最小化提升性能。
2023-12-06 cs.CV cs.MM
NDELS: A Novel Approach for Nighttime Dehazing, Low-Light Enhancement, and Light Suppression
The Graduate Center, City University of New York(纽约市立大学研究生中心)
针对夜间有雾低光照图像存在的光晕、模糊、色彩失真等质量问题,提出融合去雾、低光增强、光线抑制三流程的NDELS网络,经多数据集多算法对比验证,其在图像质量指标上表现更优。
2023-12-11 cs.CV cs.LG
Unsupervised Domain Adaptive Object Detection using Forward-Backward Cyclic Adaptation
The University of Queensland(昆士兰大学)
我们提出了一种新的方法来执行无监督领域自适应适应目标检测通过前向-后向循环(FBC)训练。最近的对抗性训练的领域自适应方法已显示出其有效性,最小化域差异,通过边缘特征分布对齐。然而,对齐边缘特征分布并不能保证类条件分布的对齐。当适配对象检测器时,该限制更加明显,因为与图像分类任务相比,域差异更大,例如,在一个图像中存在各种数量的对象,并且图像中的大部分内容是背景。这促使我们通过梯度对齐来学习类别级语义的域不变性。直觉上,如果两个领域的梯度指向相似的方向,那么一个领域的学习可以改善另一个领域的学习。为了实现梯度对齐,我们提出了Forward-Backward Cyclic Adaptation,它通过后向跳跃迭代计算从源到目标的自适应,以及通过前向传递迭代计算从目标到源的自适应。此外,我们还通过对抗性训练来调整低级特征,以适应整体颜色/纹理。然而,检测器在两个域上都表现良好,对于目标域并不理想。因此,在每个循环中,通过源域上的最大熵正则化来惩罚置信源特定学习,并通过目标域上的最小熵正则化来激发目标特定学习,从而加强域多样性。提供了训练过程的理论分析,并在具有挑战性的跨域目标检测数据集上进行了广泛的实验,结果表明我们的方法优于最先进的方法。
2020-02-03 cs.CV
SegDA: Maximum Separable Segment Mask with Pseudo Labels for Domain Adaptive Semantic Segmentation
Amazon(亚马逊)
本文提出SegDA模块,利用ETF分类器学习最大可分离分段表示并校正目标域伪标签噪声,在多个UDA语义分割基准上显著提升mIoU。
2023-08-10 cs.CV
Nighttime Person Re-Identification via Collaborative Enhancement Network with Multi-domain Learning
Anhui University(安徽大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Hefei University(合肥学院)
针对夜间行人重识别中串行重光照质量受限及真实数据不足的问题,提出并行协同增强网络CENet与多域学习算法,通过多层次特征交互和特征蒸馏提升夜间ReID性能。
2025-01-04 cs.CV
Nighttime Dehazing with a Synthetic Benchmark
The University of Sydney(悉尼大学);University of Science and Technology of China(中国科学技术大学)
提高夜间朦胧图像的可见度是具有挑战性的,因为来自主动人工光源的不均匀照明和薄雾吸收/散射。缺乏大规模基准数据集阻碍了这一领域的进展。为了解决这个问题,我们提出了一种新的合成方法,称为3R模拟夜间朦胧的图像从白天清晰的图像,首先重建场景的几何,然后模拟光线和物体的反射率,最后渲染的阴霾效果。在此基础上,我们通过从先验经验分布中采样真实世界的光颜色来生成逼真的夜间朦胧图像。在合成基准上的实验表明,这些退化因素共同降低了图像质量。为了解决这个问题,我们提出了一个最佳规模的最大反射率之前解开的颜色校正,从烟雾消除和解决它们顺序。此外,我们还设计了一个简单而有效的基于学习的基线,它具有基于MobileNet-v2骨干网的编码器-解码器结构。实验结果表明,他们的优越性比国家的最先进的方法在图像质量和运行时间。数据集和源代码都将在https://github.com/chaimi2013/3R上提供。
2020-10-19 cs.CV cs.LG eess.IV
Physics-Based Adversarial Attack on Near-Infrared Human Detector for Nighttime Surveillance Camera Systems
The University of Tokyo(东京大学);National Institute of Informatics(情报通信研究机构情报学研究所)
本文揭示了夜间监控中近红外图像理解的漏洞,利用反光和绝缘胶带在物理世界操纵NIR图像强度,对YOLO人体检测器实施隐蔽的被动攻击,突显了监控系统的可靠性隐患。
2024-12-18 cs.CV
NightLab: A Dual-level Architecture with Hardness Detection for Segmentation at Night
University of California at Merced(加州大学默塞德分校);ByteDance Inc.(字节跳动公司)
夜间场景的语义分割是一个具有挑战性的问题,是自动驾驶汽车等有影响力的应用的关键。然而,与白天的对应物相比,它几乎没有受到关注。在本文中,我们提出了NightLab,这是一种新型的夜间分割框架,它利用多个充满夜间感知功能的深度学习模型,在多个夜间分割基准上产生最先进的(SoTA)性能。值得注意的是,NightLab包含两个粒度级别的模型,即图像和区域,每个级别都由光适应和分割模块组成。给定夜间图像,图像级模型提供初始分割估计,同时并行地,硬度检测模块识别需要进一步分析的区域及其周围环境。区域级模型集中在这些困难的区域,以提供显著改进的分割。NightLab中的所有模型都是使用一组建议的夜间感知损失进行端到端训练的,而不需要手工制作。在NightCity和BDD100K数据集上的大量实验表明,与并发方法相比,NightLab实现了SoTA性能。
2022-04-12 cs.CV
An Integrated Enhancement Solution for 24-hour Colorful Imaging
Beihang University(北京航空航天大学);National Institute of Informatics(国立信息学研究所);Peng Cheng Laboratory(鹏城实验室)
目前24小时户外成像的行业实践是使用补充有近红外(NIR)照明的硅相机。这将导致彩色图像在白天对比度差,在夜间缺乏色度。对于这种困境,所有现有的解决方案都试图分别捕获RGB和NIR图像。然而,它们需要额外的硬件支持,并遭受各种缺点,包括使用寿命短,价格高,特定的使用场景,在本文中,我们提出了一种新颖的和集成的增强解决方案,产生清晰的彩色图像,无论是在充足的阳光白天或极低光的夜晚。我们的核心思想是从混合信号中分离出可见光和近红外信息,并在近红外信号的辅助下自适应地增强可见光信号。为此,我们建立了一个光学系统来收集一个新的VIS-NIR-MIX数据集,并提出了一个物理意义上的图像处理算法的基础上CNN。大量的实验结果表明,突出的结果,证明了我们的解决方案的有效性。
2020-05-10 cs.CV eess.IV
Benchmarking Nighttime Traffic Sign Recognition with Illumination-Adaptive Detection and Semantic Attribute Reasoning
IISER Bhopal(印度比哈尔州国际研究学院)
本文提出INTSD数据集和LENS-Net算法,解决夜间交通标志识别中的低光照和干扰问题,通过大规模数据和先进模型验证了夜间识别的挑战与方法。
2026-07-15 cs.CV cs.CY
MULTIAQUA: A multimodal maritime dataset and robust training strategies for multimodal semantic segmentation
MULTIAQUA数据集和多模态语义分割的鲁棒训练策略,旨在通过多模态数据提升恶劣能见度下的场景解释质量。
2025-12-19 cs.CV cs.LG
Self-Supervised Monocular Depth Estimation in the Dark: Towards Data Distribution Compensation
East China University of Science and Technology(华东理工大学);Beihang University(北京航空航天大学)
本文提出一种无需夜间图像训练的自监督夜间单目深度估计方法,利用白天图像和物理先验进行昼夜数据分布补偿,在 nuScenes-Night 和 RobotCar-Night 上实现了 SoTA 性能。
2024-04-22 cs.CV
HeatNet: Bridging the Day-Night Domain Gap in Semantic Segmentation with Thermal Images
University of Freiburg(弗莱堡大学);Toyota Research Institute(丰田研究院)
大多数基于学习的语义分割方法针对白天场景和有利的照明条件进行了优化。然而,现实世界的驾驶场景需要不利的环境条件,例如夜间照明或眩光,这对于现有方法来说仍然是一个挑战。在这项工作中,我们提出了一个多模态语义分割模型,可以在白天和夜间应用。为此,除了RGB图像外,我们还利用热图像,使我们的网络更加强大。我们避免了昂贵的夜间图像的注释,利用现有的白天RGB数据集,并提出了一个师生培训的方法,将数据集的知识转移到夜间域。我们进一步采用了一种领域自适应方法来调整学习的特征空间,并提出了一种新的两阶段训练方案。此外,由于缺乏自动驾驶的热数据,我们提出了一个新的数据集,包括超过20,000个时间同步和对齐的RGB热图像对。在这种情况下,我们还提出了一种新的无目标校准方法,允许自动鲁棒的外在和内在的热摄像机校准。除此之外,我们使用我们的新数据集来显示夜间语义分割的最新结果。
2020-03-10 cs.CV cs.LG cs.RO
Underwater Organism Color Enhancement via Color Code Decomposition, Adaptation and Interpolation
School of Cyber Science and Engineering, Southeast University(东南大学网络空间科学与工程学院);School of Computer Science, The University of Sydney(悉尼大学计算机科学学院);National University of Singapore(新加坡国立大学);School of Information Science and Engineering, Southeast University(东南大学信息科学与工程学院);Purple Mountain Laboratories(紫金山实验室);Department of Computer Science and Engineering, The Hong Kong University of Science and Technology(香港科技大学计算机科学与工程学系);Department of Computer and Information Science, University of Macau(澳门大学计算机与信息科学系)
本文提出 ColorCode 方法,通过将水下图像分解为服从高斯分布的颜色编码与内容编码,实现颜色增强、颜色自适应和颜色插值三种可控输出,并在基准数据集上验证了其优越性。
2024-09-29 cs.CV
Beyond Pixel Fidelity: Minimizing Perceptual Distortion and Color Bias in Night Photography Rendering
Bahçeşehir University Department of Artificial Intelligence Engineering İstanbul, Türkiye(贝勒谢尔大学人工智能工程系伊斯坦布尔)
本文提出pHVI-ISPNet框架,通过改进的HVI颜色空间和四种关键优化方法,提升夜景摄影的视觉质量和颜色一致性,实验证明在CIE2000色差和LPIPS指标上达到新水平。
2026-04-30 cs.CV