ShadowFormer: Global Context Helps Image Shadow Removal
ROSE Lab(ROSE实验室)
最近的深度学习方法在图像阴影去除方面取得了可喜的成果。然而,大多数现有的方法集中在阴影和非阴影区域内的局部工作,导致阴影边界周围的严重工件以及阴影和非阴影区域之间的照明不一致。利用阴影和非阴影区域之间的全局上下文相关性对于深阴影去除模型仍然是具有挑战性的。在这项工作中,我们首先提出了一个基于Retinex的阴影模型,从中我们得到了一个新的基于transformer的网络,称为ShandowFormer,利用非阴影区域,以帮助阴影区域恢复。采用多尺度通道注意框架来分层地捕获全局信息。在此基础上,我们提出了一个阴影交互模块(SIM)与阴影交互注意力(SIA)的瓶颈阶段,有效地模拟阴影和非阴影区域之间的上下文相关性。我们在三个流行的公共数据集上进行了广泛的实验,包括ISTD,ISTD+和SRD,以评估所提出的方法。我们的方法通过使用多达150倍的模型参数来实现最先进的性能。
2023-02-03 cs.CV
Beyond Shadows: A Large-Scale Benchmark and Multi-Stage Framework for High-Fidelity Facial Shadow Removal
New York Institute of Technology(纽约理工学院);Shanghai University(上海大学);Central South University(中南大学);Xi'an Jiaotong-Liverpool University(西安交通大学利物浦大学);Huizhou University(惠州大学)
本文提出首个大规模真实世界面部阴影去除数据集ASFW,并引入FSE方法,通过实验验证其在提升阴影去除性能方面的有效性。
2026-01-27 cs.CV
Benchmarking Shadow Removal for Facial Landmark Detection and Beyond
University of South Carolina(南卡罗来纳大学);Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团);Cleveland State University(克利夫兰州立大学);Tianjin University(天津大学)
人脸标志点检测是一项非常基础和重要的视觉任务,具有许多重要的应用。在实践中,人脸标志点检测可能会受到许多自然退化的影响。最常见和最重要的退化之一是由光源阻挡引起的阴影。虽然近年来提出了许多先进的阴影去除方法来恢复图像质量,但它们对人脸标志点检测的影响还没有得到很好的研究。例如,目前还不清楚阴影去除是否可以增强面部特征点检测对不同阴影模式的鲁棒性。在这项工作中,作为第一次尝试,我们构建了一个新的基准来链接两个独立但相关的任务(即,阴影去除和面部界标检测)。特别是,建议的基准涵盖了不同的强度,大小,形状和位置的各种面部阴影。此外,为了针对面部地标检测挖掘硬阴影模式,我们提出了一种新的方法(即,对抗阴影攻击),这使我们能够构建一个具有挑战性的基准子集进行全面的分析。利用构建的基准,我们对三种最先进的阴影去除方法和三种地标检测器进行了广泛的分析。这项工作的观察促使我们设计一种新的检测感知阴影去除框架,该框架使阴影去除能够实现更高的恢复质量,并增强部署的面部标志检测器的阴影鲁棒性。
2021-11-27 cs.CV
Shadow Removal via Shadow Image Decomposition
Stony Brook University(石溪大学)
我们提出了一种新的深度学习方法来去除阴影。受阴影形成的物理模型的启发,我们使用线性照明变换来模拟图像中的阴影效果,该阴影效果允许将阴影图像表示为无阴影图像、阴影参数和哑光层的组合。我们使用两个深度网络,即SP-Net和M-Net,分别预测阴影参数和阴影蒙版。该系统允许我们消除图像上的阴影效果。我们训练和测试我们的框架上最具挑战性的阴影消除数据集(ISTD)。与最先进的方法相比,我们的模型在阴影区域的均方根误差(RMSE)方面实现了40%的误差减少,将RMSE从13.3减少到7.9。此外,我们创建一个增强的ISTD数据集的基础上的图像分解系统,通过修改阴影参数,以生成新的合成阴影图像。在这个新的增强ISTD数据集上训练我们的模型,进一步将阴影区域的RMSE降低到7.4。
2019-08-23 cs.CV
Shadow Feature Refinement Network: Progressive Feature Refinement based on Knowledge Distillation for Effective Shadow Removal
Kyonggi University(庆熙大学)
提出SFR-Net,结合监督学习、特征细化损失与知识蒸馏,并引入后处理算法,在ISTD+和SRD数据集上实现高效且自然的阴影去除。
2026-10-06 cs.CV
Soft-Hard Attention U-Net Model and Benchmark Dataset for Multiscale Image Shadow Removal
University of Thessaly(色萨利大学)
提出软-硬注意力U-Net(SHAU)架构和MSRD合成数据集,实现多尺度阴影去除,在基准上PSNR提升25.1%,RMSE降低61.3%。
2024-08-07 cs.CV
LP-IOANet: Efficient High Resolution Document Shadow Removal
CERTH, Information Technologies Institute(CERTH信息技术研究所);Samsung Research UK(三星英国研究院)
文档阴影消除是文档增强管道中不可或缺的任务,因为它可以提高可见性,可读性,从而提高整体质量。假设大多数实际的文档阴影去除场景需要实时,准确的模型,可以在野外产生高分辨率的输出,我们提出了Laplacian Pyramid with Input/Output Attention Network(LP-IOANet),这是一种具有轻量级架构和上采样模块的新型管道。此外,我们提出了三个新的数据集,涵盖了广泛的照明条件,图像,阴影形状和观点。我们的研究结果表明,我们优于国家的最先进的平均误差(MAE)的35%的相对改善,同时运行在四倍的分辨率(国家的最先进的方法)在移动终端上的实时。
2023-03-22 cs.CV
Portrait Eyeglasses and Shadow Removal by Leveraging 3D Synthetic Data
BNRist(北京信息科学与技术国家研究中心);Tsinghua University(清华大学)
在人像中,眼镜可能会遮挡面部区域并在面部上产生阴影,这会降低许多技术(如面部验证和表情识别)的性能。肖像眼镜拆除是处理这些问题的关键。然而,完全移除眼镜是具有挑战性的,因为照明效果(例如,投射阴影)通常是复杂的。在本文中,我们提出了一个新的框架,以消除眼镜以及他们的阴影从人脸图像。该方法采用先检测后去除的方式,即先检测眼镜和阴影,然后将其从图像中去除。由于缺乏用于监督训练的配对数据,我们提出了一个新的合成肖像数据集,用于检测和删除任务的中间和最终监督。此外,我们应用跨域技术来填补合成和真实数据之间的差距。据我们所知,所提出的技术是第一个同时去除眼镜及其投射阴影的技术。代码和合成数据集可在https://github.com/StoryMY/take-off-eyeglasses上获得。
2022-03-20 cs.CV
High-Resolution Document Shadow Removal via A Large-Scale Real-World Dataset and A Frequency-Aware Shadow Erasing Net
University of Macau(澳门大学)
针对高分辨率文档阴影去除,本文构建规模为现有数据集10倍的SD7K真实数据集,并提出频域解耦的频率感知擦除网络,显著提升视觉与数值性能。
2024-06-18 cs.CV
SARU: A Shadow-Aware and Removal Unified Framework for Remote Sensing Images with New Benchmarks
MOE Key Lab of ICSP, Anhui Provincial Key Lab of Multimodal Cognitive Computation, IMIS Lab of Anhui Province, School of Computer Science and Technology, Anhui University, Hefei, China(教育部信息与通信系统重点实验室、安徽省多模态认知计算重点实验室、安徽省IMIS实验室、计算机科学与技术学院、安徽大学、合肥,中国);Graduate School of Frontier Sciences, The University of Tokyo, Chiba, 277-8561, Japan(前沿科学研究生院、东京大学、千叶,日本)
本文提出SARU框架,通过双分支检测模块和训练自由物理算法实现影子检测与去除,建立新基准数据集,提升遥感图像处理性能。
2026-05-12 cs.CV
Self-Supervised Shadow Removal
ETH Zurich(苏黎世联邦理工学院)
阴影去除是一项重要的计算机视觉任务,其目标是检测和成功去除由遮挡光源产生的阴影,并恢复图像内容的照片级真实感。几十年的研究产生了许多手工制作的恢复技术,最近,从阴影和无阴影训练图像对中学习到了解决方案。在这项工作中,我们提出了一个无监督的单图像阴影去除解决方案,通过自监督学习使用条件掩模。与现有文献相比,我们不需要成对的阴影和无阴影图像,而是依靠自我监督和联合学习深度模型来去除和添加阴影。我们在最近引入的ISTD和USR数据集上验证了我们的方法。我们大大提高了定量和定性的比较方法,并设置一个新的国家的最先进的性能,在单图像阴影去除。
2020-10-22 cs.AI cs.CV
Deshadow-Anything: When Segment Anything Model Meets Zero-shot shadow removal
针对Segment Anything(SAM)难以区分阴影与背景的问题,提出Deshadow-Anything方法,通过大规模数据集微调、结合扩散模型及设计MSAG和DDPM-AIP,有效提升图像阴影去除性能。
2025-08-26 cs.CV eess.IV
Unveiling Deep Shadows: A Survey and Benchmark on Image and Video Shadow Detection, Removal, and Generation in the Deep Learning Era
School of Future Technology, South China University of Technology(华南理工大学未来技术学院);Department of Computer Science and Engineering, The Chinese University of Hong Kong(香港中文大学计算机科学与工程学院);Adobe Research(Adobe研究)
本文综述并建立了深度学习时代图像和视频阴影检测、去除与生成的统一基准,揭示了现有研究中的不一致、模型设计依赖性和跨数据集泛化限制,并提出了未来研究方向。
2026-02-26 cs.CV cs.GR cs.MM
From Ideal to Real: Stable Video Object Removal under Imperfect Conditions
MiLM Plus(小米公司)
本文提出SVOR框架,通过MUSE、DA-Seg和双阶段训练解决视频对象移除中的阴影、运动突变和掩码缺陷问题,实现更稳定的移除效果。
2026-04-22 cs.CV
Prompt-Aware Controllable Shadow Removal
Zhejiang University(浙江大学)
针对现有阴影去除方法不可控或依赖精确掩码的问题,提出基于用户提示的端到端模型PACSRNet,通过提示感知与阴影去除模块实现灵活可控的针对性阴影去除,并构建了新数据集验证其优越性。
2025-02-03 cs.CV
Physics-Aware Video Instance Removal Benchmark
Tohoku University(东北大学);University of Washington(华盛顿大学);Texas A&M University(德克萨斯农工大学)
本文提出PVIR基准,通过95个高质量视频评估实例移除的物理一致性,测试四种方法在指令遵循、渲染质量和编辑排他性方面的表现,揭示复杂物理交互的挑战。
2026-04-07 cs.CV
Unsupervised Portrait Shadow Removal via Generative Priors
HKUST(香港科技大学)
肖像图像通常会受到不经意的物体甚至脸部本身投射的不良阴影的影响。虽然现有的人像阴影去除方法需要在大规模的合成数据集上进行训练,但我们提出了第一种无需任何训练数据的人像阴影去除无监督方法。我们的关键思想是利用嵌入在现成的预训练StyleGAN 2中的生成面部先验。为了实现这一点,我们制定的阴影去除任务作为一个层分解问题:阴影的肖像图像构建的阴影图像和阴影的图像的混合。我们提出了一个有效的渐进优化算法来学习分解过程。我们的方法也可以扩展到肖像纹身去除和水印去除。在真实世界人像阴影数据集上的定性和定量实验表明,我们的方法实现了与监督阴影去除方法相当的性能。我们的源代码可在https://github.com/YingqingHe/Shadow-Removal-via-Generative-Priors上获得。
2021-08-07 cs.CV
SAM-helps-Shadow:When Segment Anything Model meet shadow removal
Shanghai Jiao Tong University(上海交通大学)
针对真实图像阴影去除的零样本学习需求,本研究提出SAM-helps-Shadow方法,改造SAM(分割一切模型)将阴影检测与去除整合为单阶段,以其检测结果为先验辅助检测,再用二阶深度展开网络去除阴影,代码已开源。
2023-06-01 cs.CV
CRFormer: A Cross-Region Transformer for Shadow Removal
Beijing Jiaotong University(北京交通大学);University of South Carolina(南卡罗来纳大学);China Mobile Research Institute(中国移动研究院)
为了恢复图像中阴影区域的原始强度,并使它们与剩余的非阴影区域兼容而不留下痕迹,阴影去除是一个非常具有挑战性的问题,它有利于许多下游图像/视频相关的任务。最近,Transformers已经显示出其强大的能力,在各种应用中,通过捕捉全局像素的相互作用,这种能力是非常可取的阴影消除。然而,由于以下两个原因,应用Transformers来促进阴影去除是不平凡的:1)由于不规则的阴影形状,补丁化操作不适合阴影去除; 2)阴影去除仅需要从非阴影区域到阴影区域的单向交互,而不是图像中所有像素之间的常见双向交互。在本文中,我们提出了一种新的跨区域Transformer,即CRFormer,阴影去除,它不同于现有的Transformers,只考虑像素的相互作用,从非阴影区域的阴影区域,而不分裂成补丁的图像。这是通过一个精心设计的区域感知的交叉注意操作,可以聚合恢复的阴影区域功能的非阴影区域功能的条件。在ISTD、AISTD、SRD和视频阴影去除数据集上的大量实验表明,与其他最先进的方法相比,我们的方法具有优越性。
2022-07-04 cs.CV
Learning from Synthetic Shadows for Shadow Detection and Removal
The University of Tokyo(东京大学)
阴影消除是计算机视觉和计算机图形学中的一项重要任务。最近的阴影去除方法是在真实成对的阴影/无阴影或阴影/无阴影/掩模图像数据集上训练所有训练卷积神经网络(CNN)。然而,获得大规模、多样化和准确的数据集一直是一个巨大的挑战,它限制了学习模型在具有不可见形状/强度的阴影图像上的性能。为了克服这一挑战,我们提出了SynShadow,一个新的大规模合成阴影/无阴影/无光泽图像三元组数据集和一个管道来合成它。我们扩展了一个物理接地阴影照明模型,并合成阴影图像给定的任意组合的无阴影图像,无光泽图像,和阴影衰减参数。由于SynShadow的多样性,数量和质量,我们证明了在SynShadow上训练的阴影去除模型在一些具有挑战性的基准上去除具有不同形状和强度的阴影方面表现良好。此外,我们表明,仅仅从SynShadow预训练模型进行微调,就可以改进现有的阴影检测和去除模型。代码可在https://github.com/naoto0804/SynShadow上公开获取。
2021-02-13 cs.CV
Fine-Context Shadow Detection using Shadow Removal
Johns Hopkins University(约翰斯·霍普金斯大学)
当前的阴影检测方法在检测小的、不清楚的或具有模糊边缘的阴影区域时表现不佳。在这项工作中,我们试图从两个方面解决这个问题。首先,我们提出了一个精细的上下文感知阴影检测网络(FCSD-Net),在这里我们限制了感受野的大小,并专注于低级别的功能,以更好地学习精细的上下文特征。其次,我们提出了一种新的学习策略,称为恢复检测(R2 D),我们表明,当深度神经网络被训练用于恢复(阴影去除)时,它也会学习有意义的特征来描绘阴影掩模。为了利用这种互补性质的阴影检测和去除任务,我们训练辅助网络的阴影去除,并提出了一个互补的特征学习块(CFL)学习和融合有意义的功能,从阴影去除网络的阴影检测网络。我们使用跨多个数据集的R2 D学习策略训练所提出的网络FCSD-Net。三个公共阴影检测数据集(ISTD,SBU和UCF)的实验结果表明,我们的方法提高了阴影检测性能,同时能够检测到更好的上下文相比,最近的其他方法。
2021-11-27 cs.CV
Precise Object and Effect Removal with Adaptive Target-Aware Attention
本文提出ObjectClear框架,通过自适应目标感知注意力机制分离前景移除与背景重建,提升对象及其效果的精确移除与背景保真度,同时构建OBER数据集用于训练和评估。
2026-03-16 cs.CV
Shadow Removal Refinement via Material-Consistent Shadow Edges
Stony Brook University(石溪大学);EPFL(洛桑联邦理工学院);Amazon(亚马逊)
本研究针对阴影边界与材质边界易混淆的问题,微调SAM模型提取材质一致的阴影边缘作为自监督信号,引入颜色与纹理一致性损失优化阴影去除,在自然图像上超越现有方法,并提出无需配对数据的新评估指标与数据集。
2024-09-10 cs.CV
Consistency as Regularization for Unsupervised Shadow Removal
La Rochelle University(拉罗谢尔大学)
该研究提出无监督阴影去除框架ShadowCLR,利用带阴影图像间的一致性作为正则化,在多个基准上取得优于现有无监督方法的性能,无需阴影掩码或无阴影参考图像。
2026-09-03 cs.CV
Leveraging Contrast Information for Efficient Document Shadow Removal
本文提出了一种基于对比表示的端到端文档阴影去除方法,通过由粗到细的细化策略,有效定位阴影并提升去除效果,达到最先进的性能。
2025-11-26 cs.CV
Appearance Harmonization for Single Image Shadow Removal
Tsinghua University(清华大学);Adobe Systems Inc.(奥多比系统公司)
阴影通常会在照片中产生不需要的伪影,去除它们可能非常具有挑战性。以前的阴影去除方法通常会产生与图像其余部分在视觉上不一致的去阴影区域。在这项工作中,我们提出了一个全自动的阴影区域协调的方法,提高了外观的兼容性,通常由以前的方法产生的去阴影区域。它是基于阴影引导的基于块的图像合成方法,使用从非阴影区域采样的块重建阴影区域。然后基于重建置信度对结果进行细化,以处理独特的图像模式。大量的阴影去除结果和比较表明了我们的改进的有效性。对基准数据集的定量评估表明,我们的自动阴影协调方法有效地改进了最新技术。
2016-03-21 cs.CV
ShaDocNet: Learning Spatial-Aware Tokens in Transformer for Document Shadow Removal
University of Macau(澳门大学);Shenzhen Institute of Advanced Technology(深圳先进技术研究院);Chinese Academy of Sciences(中国科学院)
本文提出基于Transformer的文档阴影去除模型ShaDocNet,通过阴影上下文编解码及由粗到细的阴影检测与像素级增强,在基准评估中表现出与最先进方法相当的竞争力。
2023-02-22 cs.CV
DC-ShadowNet: Single-Image Hard and Soft Shadow Removal Using Unsupervised Domain-Classifier Guided Network
National University of Singapore(新加坡国立大学);Yale-NUS College(耶鲁-新加坡国立大学学院)
本文提出无监督域分类器引导网络DC-ShadowNet,通过域分类器、新型损失函数和测试时训练,实现单图像硬阴影与软阴影的高质量去除。
2023-08-05 cs.CV
Regional Attention for Shadow Removal
Tianjin University(天津大学)
本文提出轻量级区域注意力阴影去除模型RASM,通过让阴影区域与周围非阴影区域合理交互来捕获区域上下文相关性,在准确性和效率上优于现有最先进模型。
2024-11-21 cs.CV
Learning Restoration is Not Enough: Transfering Identical Mapping for Single-Image Shadow Removal
University of South Carolina(南卡罗来纳大学);Center for Frontier AI Research (CFAR), A*STAR(新加坡科技研究局前沿人工智能研究中心(CFAR));Tianjin University(天津大学)
针对阴影去除中数据恢复与恒等映射任务兼容性差的问题,提出分别处理两任务并迭代利用恒等映射指导阴影恢复的方法,包含IMB、IDB和SAB三个组件,在多个数据集上优于现有方法。
2023-05-18 cs.CV
MetaShadow: Object-Centered Shadow Detection, Removal, and Synthesis
Adobe Research(奥多比研究院);The Chinese University of Hong Kong(香港中文大学)
提出三合一框架 MetaShadow,通过协同的 Shadow Analyzer 与 Shadow Synthesizer 及中间特征引导,实现以对象为中心的阴影检测、去除和可控合成,并在多项基准与图像编辑任务上优于现有方法。
2024-12-03 cs.CV
SoftShadow: Leveraging Soft Masks for Penumbra-Aware Shadow Removal
Nanyang Technological University(南洋理工大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Clemson University(克莱姆森大学)
本文提出 SoftShadow 框架,利用预训练 SAM 先验与半影物理约束生成软阴影掩码,联合微调实现端到端阴影去除,在常用数据集上取得最优性能并提升边界修复与泛化能力。
2025-03-12 cs.CV
ShadowMamba: State-Space Model with Boundary-Region Selective Scan for Shadow Removal
Department of Electrical Engineering, Faculty of Engineering, Universiti Malaya(马来大学电气工程系);Faculty of Engineering and Information Technology, Southern University College(南方学院工程与信息技术学院)
本文提出首个基于Mamba的阴影去除模型ShadowMamba,通过边界区域选择性扫描机制和阴影掩码去噪方法,在保持线性复杂度的同时有效提升了阴影去除性能。
2025-08-08 cs.CV
CNSNet: A Cleanness-Navigated-Shadow Network for Shadow Removal
University of Science and Technology of China(中国科学技术大学)
阴影去除的关键是在非阴影区域的指导下恢复阴影区域的内容。由于长期建模不足,基于CNN的方法不能彻底调查来自非阴影区域的信息。针对这一问题,提出了一种新的基于阴影模板的清晰度导航阴影网络(CNSNet),该网络包括阴影导向自适应归一化(SOAN)模块和阴影感知聚合Transformer(SAAT)模块。在阴影掩模的指导下,SOAN模块从非阴影区域制定统计数据,并自适应地将其应用于阴影区域,以进行区域级恢复。SAAT模块利用阴影掩模,通过考虑来自无阴影区域的高度相关像素来精确地引导每个阴影像素的恢复,以进行全局像素级恢复。在三个基准数据集(ISTD,ISTD+和SRD)上的大量实验表明,我们的方法具有优异的去阴影性能。
2022-09-06 cs.CV
VIP: Video Inpainting Pipeline for Real World Human Removal
提出无提示视频修复框架VIP,通过运动模块增强文本到视频模型并结合VAE渐进去噪与精确分割,解决了高分辨率长视频中人体移除的时间一致性与复杂交互问题。
2025-04-03 cs.CV
Structure-Informed Shadow Removal Networks
City University of Hong Kong(香港城市大学);Institute of High Performance Computing (IHPC)(高性能计算研究所);Centre for Frontier AI Research (CFAR)(前沿人工智能研究中心);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局);InnoPeak Technology Inc.(InnoPeak科技公司);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
针对现有深度学习阴影去除方法存在的阴影残留问题,提出结构感知阴影去除网络StructNet,通过无阴影结构先验引导去除,经实验证明性能优于现有方法且可集成提升其他方法效果。
2024-02-01 cs.CV
ShadowRefiner: Towards Mask-free Shadow Removal via Fast Fourier Transformer
McMaster University(麦克马斯特大学);Shanghai Jiao Tong University(上海交通大学)
本文提出无掩模阴影去除网络ShadowRefiner,通过空间与频率表示学习及快速傅里叶注意力Transformer实现精细阴影去除,在NTIRE 2024阴影去除挑战赛中获得感知赛道冠军和保真度赛道第二名。
2024-07-03 cs.CV
Benchmarking Adversarial Robustness of Image Shadow Removal with Shadow-adaptive Attacks
School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电气与电子工程学院);Nanyang Technological University(南洋理工大学)
针对阴影图像光照不均特性,提出阴影自适应对抗攻击,调整扰动预算以提升隐蔽性,并系统评估现有阴影去除方法的鲁棒性。
2024-03-15 cs.CV
FASR-Net: Unsupervised Shadow Removal Leveraging Inherent Frequency Priors
Faculty of Information Engineering and Automation, Kunming University of Science and Technology(昆明理工大学信息工程与自动化学院);College of Mechatronics and Control Engineering, Shenzhen University(深圳大学机电与控制工程学院)
本文提出无监督频率感知阴影去除网络FASR-Net,利用小波注意力下采样模块和多种新损失函数提升阴影去除效果,在AISTD和SRD数据集上取得优越性能。
2025-04-08 cs.CV
Single-Image Shadow Removal Using Deep Learning: A Comprehensive Survey
Nanyang Technological University(南洋理工大学);Clemson University(克莱姆森大学);Pengcheng Laboratory(鹏城实验室)
本文首次系统综述基于深度学习的单幅图像阴影去除方法,梳理技术进展、分类体系、性能比较与未来方向。
2024-10-04 cs.CV
Detail-Preserving Latent Diffusion for Stable Shadow Removal
Hangzhou Dianzi University(杭州电子科技大学);Zhejiang University(浙江大学)
针对复杂场景下阴影去除泛化性差的问题,提出基于Stable Diffusion的两阶段微调流水线,通过固定VAE微调去噪器及引入细节注入阶段,在保持高频细节的同时实现高效且泛化性强的阴影去除。
2024-12-23 cs.CV
ShadowDiffusion: When Degradation Prior Meets Diffusion Model for Shadow Removal
Nanyang Technological University(南洋理工大学);Peng Cheng Laboratory(鹏城实验室);Harvard University(哈佛大学)
最近的深度学习方法在图像阴影去除方面取得了可喜的成果。然而,由于缺乏退化前嵌入和建模能力的不足,它们的恢复图像仍然遭受不令人满意的边界伪影。我们的工作通过提出一个统一的扩散框架来解决这些问题,该框架集成了图像和退化先验,以实现高效的阴影去除。首先,我们提出了一个阴影退化模型,这启发我们建立了一个新的展开扩散模型,称为ShandowDiffusion。它通过使用退化先验和扩散生成先验逐步细化期望的输出,显着提高了模型的阴影去除能力,这本质上可以作为图像复原的新的强基线。此外,ShadowDiffusion作为扩散生成器的辅助任务,逐步细化估计的阴影遮罩,从而生成更准确、更强大的无阴影图像。我们在三个流行的公共数据集上进行了广泛的实验,包括ISTD,ISTD+和SRD,以验证我们的方法的有效性。与最先进的方法相比,我们的模型在PSNR方面取得了显着的改善,在SRD数据集上从31.69dB增加到34.73dB。
2022-12-13 cs.CV
Leveraging Inpainting for Single-Image Shadow Removal
University of South Carolina(南卡罗来纳大学);Tianjin University(天津大学)
本文针对全监督阴影去除缺乏成对训练数据且存在阴影残留的问题,利用图像修复预训练并提出双编码器自适应融合网络,仅用10%成对数据即可取得优于现有方法的性能。
2023-10-01 cs.CV
WildShadowRemover: In-the-Wild Video Shadow Removal via Detail-Preserving Video Diffusion Models
针对野外视频阴影去除难题,提出WildShadowRemover框架,通过LoRA微调适配视频扩散模型,结合细节注入、频率分解调制及Depth Anything 3深度先验,构建对应数据集,在阴影去除质量与时间一致性上优于现有方法。
2026-08-25 cs.CV
Direction-aware Spatial Context Features for Shadow Detection and Removal
The Chinese University of Hong Kong(香港中文大学);The Hong Kong Polytechnic University(香港理工大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
阴影检测和阴影去除是基本的和具有挑战性的任务,需要全局图像语义的理解。本文提出了一种新的深度神经网络设计的阴影检测和去除,通过分析空间图像上下文的方向感知的方式。为了实现这一点,我们首先制定了方向感知的注意力机制在空间递归神经网络(RNN)通过在RNN中聚合空间上下文特征时引入注意力权重。通过训练学习这些权重,我们可以恢复方向感知的空间上下文(DSC)来检测和去除阴影。该设计被开发到DSC模块中,并嵌入到卷积神经网络(CNN)中,以学习不同级别的DSC特征。此外,我们设计了一个加权的交叉熵损失,使有效的阴影检测的训练,并进一步采用网络的阴影去除,通过使用欧几里德损失函数和制定的颜色传递函数,以解决颜色和亮度不一致的训练对。我们采用了两个阴影检测基准数据集和两个阴影去除基准数据集,并进行了各种实验来评估我们的方法。实验结果表明,我们的方法对国家的最先进的方法进行阴影检测和阴影去除。
2019-05-25 cs.CV
NTIRE 2023 Image Shadow Removal Challenge Technical Report: Team IIM_TTI
Toyota Technological Institute(丰田工业大学)
针对NTIRE2023阴影去除挑战赛,我们改进ShadowFormer,通过五项关键改进(包括图像对齐、感知损失、半自动标注、联合学习及CutShadow增强),在LPIPS和MOS上分别取得0.196(第3)和7.44(第4)的成绩。
2024-03-15 cs.CV
A Reflectance Based Method For Shadow Detection and Removal
Purdue University(普渡大学)
阴影是图像的常见特征,如果不加以检测,会妨碍场景理解和视觉处理。提出了一种简单有效的基于反射率的阴影检测方法。首先对图像进行分割,并根据反射率、光照和纹理特征,将分割对识别为阴影对和非阴影对。所提出的方法进行了测试,在两个公开和广泛使用的数据集。我们的方法实现了更高的精度检测阴影相比,以前报道的方法,尽管需要更少的参数。我们还显示了无阴影图像的结果,通过重新照亮检测到的阴影区域中的像素。
2018-07-11 cs.CV
ShadowMaskFormer: Mask Augmented Patch Embeddings for Shadow Removal
City University of Hong Kong(香港城市大学);Sun Yat-Sen University(中山大学);CATL(宁德时代)
针对现有Transformer阴影去除方法依赖复杂注意力机制修改、计算成本高的问题,提出ShadowMaskFormer框架,通过掩码增强补丁嵌入在早期融入阴影信息,在多个基准上以更少参数实现了优于现有最优方法的性能。
2025-03-22 cs.CV
ShaDocFormer: A Shadow-Attentive Threshold Detector With Cascaded Fusion Refiner for Document Shadow Removal
University of Macau(澳门大学);Huizhou University(惠州学院)
本文提出ShaDocFormer,通过结合传统阈值技术与Transformer注意力机制的STD模块及级联融合精炼器CFR,实现精确的阴影掩膜检测与由粗到精的图像恢复,在定性和定量指标上均超越现有最先进方法。
2024-03-21 cs.CV
Structure-Guided Diffusion Models for High-Fidelity Portrait Shadow Removal
School of Computer Science and Engineering, Sun Yat-sen University, China(中山大学计算机科学与工程学院);Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education, China(教育部人工智能与先进计算重点实验室)
本文提出一种基于扩散模型的人像阴影去除方法,通过提取阴影无关结构图引导图像修复扩散模型去除阴影,并利用梯度指导训练细节恢复模型,在基准数据集上显著优于现有方法。
2025-07-14 cs.CV
WavShadow: Wavelet Based Shadow Segmentation and Removal
Indian Institute of Technology Gandhinagar(印度甘地讷格尔印度理工学院)
本文提出WavShadow方法,通过引入MAE先验、FFC模块和Haar小波特征改进ShadowFormer模型,并实现改进的SAM Adapter,在DESOBA数据集上实现了更快的收敛速度与最先进的阴影分割及去除效果。
2024-11-12 cs.CV
Towards Ghost-free Shadow Removal via Dual Hierarchical Aggregation Network and Shadow Matting GAN
University of Macau(澳门大学);Xi’an University of Technology(西安理工大学)
阴影去除是场景理解的一项重要任务。许多研究只考虑图像内容的匹配,这通常会导致两种类型的重影:阴影区域的颜色干扰或阴影边界上的伪影。在本文中,我们从两个方面来解决这些问题。首先,为了仔细学习无边界伪影的图像,我们提出了一种新的网络结构,称为双层次聚合网络~(DHAN)。它包含一系列增长扩张卷积作为骨干,没有任何下采样,我们分层聚合多上下文特征,分别用于注意和预测。其次,我们认为,在有限的数据集上训练限制了网络的纹理理解,这导致了阴影区域的颜色不一致。目前,最大的数据集包含2k+阴影/无阴影图像对。然而,它只有0.1k+个独特的场景,因为许多样本共享具有不同阴影位置的完全相同的背景。因此,我们设计了一个阴影抠图生成对抗网络~(SMGAN),从给定的阴影掩模和无阴影图像合成逼真的阴影抠图。借助新的掩模或场景,我们使用合成的阴影图像增强当前数据集。实验表明,我们的DHAN可以消除阴影,并产生高质量的无重影图像。在对合成数据集和真实数据集进行训练后,我们的网络的性能大大优于其他最先进的方法。代码可在以下网址获得:http://github.com/vinthony/ghost-free-shadow-removal/
2019-11-21 cs.CV
DocDeshadower: Frequency-Aware Transformer for Document Shadow Removal
Faculty of Science and Technology, University of Macau(澳门大学科技学院);Tp-Link International Shenzhen Co.,Ltd.(普联国际(深圳)有限公司);School of Computer Science and Engineering, Huizhou University(惠州学院计算机科学与工程学院)
针对扫描文档阴影去除的挑战,提出基于拉普拉斯金字塔的多频率Transformer模型DocDeshadower,通过频带分解与多尺度融合有效去除阴影并保留细节,性能优于现有方法。
2024-07-30 cs.CV
AeroDeshadow: Physics-Guided Shadow Synthesis and Penumbra-Aware Deshadowing for Aerospace Imagery
MOE Key Laboratory of ICSP, IMIS Laboratory of Anhui, Anhui Provincial Key Laboratory of Multimodal Cognitive Computation, Zenmorn-AHU AI Joint Laboratory, School of Computer Science and Technology, Anhui University(教育部ICSP重点实验室、安徽IMIS实验室、安徽省多模态认知计算重点实验室、Zenmorn-AHU人工智能联合实验室、安徽大学计算机科学与技术学院)
本文提出AeroDeshadow框架,通过物理引导的阴影合成和笔形 aware 的恢复方法,解决航空航天图像中阴影去除的挑战,实现高精度和视觉效果。
2026-04-17 cs.CV