Toward Convolutional Blind Denoising of Real Photographs
Harbin Institute of Technology(哈尔滨工业大学);The Hong Kong Polytechnic University(香港理工大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Peng Cheng Laboratory(鹏城实验室)
虽然深度卷积神经网络(CNN)在加性高斯白噪声(AWGN)图像去噪方面取得了令人印象深刻的成功,但它们的性能在现实世界的嘈杂照片上仍然有限。其主要原因是,他们的学习模型很容易过拟合简化的AWGN模型,严重偏离了复杂的现实世界的噪声模型。为了提高深度CNN去噪器的泛化能力,我们建议使用更真实的噪声模型和真实世界的噪声-干净图像对来训练卷积盲去噪网络(CBDNet)。一方面,考虑信号相关噪声和相机内信号处理流水线来合成真实的噪声图像。另一方面,真实世界的嘈杂照片和它们几乎没有噪音的对应物也被包括在内,以训练我们的CBDNet。为了进一步提供一种交互式策略来方便地校正去噪结果,将具有非对称学习的噪声估计子网络嵌入到CBDNet中,以抑制噪声水平的低估。在三个真实噪声照片数据集上的广泛实验结果清楚地表明,CBDNet在定量指标和视觉质量方面优于最先进的技术。该守则已在https://github.com/GuoShi28/CBDNet上公布。
2019-04-19 cs.CV
ShabbyPages: A Reproducible Document Denoising and Binarization Dataset
Sparkfish LLC(Sparkfish有限责任公司);Vanderbilt University(范德堡大学)
文档去噪和二值化是文档处理领域的基本问题,但当前的数据集通常太小,缺乏足够的复杂性,无法有效地训练和基准测试现代数据驱动的机器学习模型。为了填补这一空白,我们引入了ShabbyPages,这是一个新的文档图像数据集,旨在训练和基准测试文档去噪器和二进制化器。ShabbyPages包含超过6,000个干净的“天生数字”图像,其中包含使用Augraphy文档增强工具增强的合成噪声对应物(“破旧页面”),看起来就像它们已经打印和传真,复印或通过物理过程进行更改。在本文中,我们讨论了ShabbyPages的创建过程,并通过训练卷积去噪器来展示ShabbyPages的实用性,卷积去噪器以高度的人类可感知保真度去除真实噪声特征,为新的ShabbyPages基准建立基线性能。
2023-03-17 cs.CV
GeoEdit: Geometry-Aware Object Editing via Dual-Branch Denoising
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Pengcheng Laboratory(鹏城实验室);Sun Yat-sen University(中山大学);Peking University(北京大学);HKUST(香港科技大学);University of Tübingen(图宾根大学)
提出GeoEdit,一种无需训练的三阶段管道,通过3D解耦、点对应对齐和双分支去噪,实现单张照片中对象的刚性几何变换(平移、旋转、缩放),同时保持背景自然和身份一致性。
2026-06-29 cs.CV
Too Vivid to Be Real? Benchmarking and Calibrating Generative Color Fidelity
本文提出颜色真实性数据集和度量标准,通过多模态编码器和自适应指导尺度提升生成图像的颜色真实性,构建了评估与改进的渐进框架。
2026-03-11 cs.CV
ARTeFACT: Benchmarking Segmentation Models on Diverse Analogue Media Damage
University of Glasgow(格拉斯哥大学);Dotphoton(多光子公司)
本文提出 ARTeFACT 数据集与基准,包含逾 11,000 条跨媒介、15 类损伤标注及文本描述,系统评估多种分割模型并揭示其跨媒介泛化局限。
2024-12-05 cs.CV
MSSIDD: A Benchmark for Multi-Sensor Denoising
Huawei(华为);Shanghai Jiao Tong University(上海交通大学)
本文提出首个面向多传感器原始域去噪可迁移性评估的 MSSIDD 基准数据集,并设计传感器一致性训练框架以学习传感器不变特征,实验验证了该方法对未见传感器的泛化有效性。
2024-11-18 cs.CV eess.IV
The iToBoS dataset: skin region images extracted from 3D total body photographs for lesion detection
Computer Vision and Robotics Research Institute, University of Girona(赫罗纳大学计算机视觉与机器人研究所);Hospital Clínic Barcelona, Universitat de Barcelona(巴塞罗那大学巴塞罗那临床医院);Frazer Institute, The University of Queensland(昆士兰大学弗雷泽研究所);University of Trieste(的里雅斯特大学);ISAHIT;Canfield Scientific, Inc.(坎菲尔德科学公司);HUN-REN Institute for Computer Science and Control(HUN-REN计算机科学与控制研究所)
为解决现有皮肤病灶数据集缺乏周围皮肤上下文的问题,本文提出了iToBoS数据集,包含100名参与者的16,954张3D全身摄影皮肤区域图像及边界框标注,旨在促进病灶检测算法的训练与基准测试。
2025-01-30 cs.AI cs.CV eess.IV
Transforming Pixels into a Masterpiece: AI-Powered Art Restoration using a Novel Distributed Denoising CNN (DDCNN)
Indian Institute of Science (IISc)(印度科学学院)
针对传统艺术修复方法的局限,研究构建劣化艺术图像数据集,训练新型分布式去噪CNN(DDCNN)实现多类型多程度畸变去除与细节保留,经实验验证效果优于传统方法与其他去噪CNN,为文化遗产保护与艺术修复发展提供新方案。
2023-10-08 cs.AI cs.CV eess.IV
LSD$_2$ -- Joint Denoising and Deblurring of Short and Long Exposure Images with CNNs
University of Oulu(奥卢大学);Aalto University(阿尔托大学);Czech Technical University in Prague(捷克技术大学布拉格分校);Department of Computer Science(计算机科学系);Center for Machine Perception(机器感知中心);Faculty of Electrical Engineering(电气工程学院);Department of Electrical Engineering and Automation(电气工程与自动化系)
本文解决了在低光成像条件下使用手持智能手机相机获取高质量照片的问题。我们提出了一种方法的基础上捕捉对短期和长期曝光的图像在快速连续和融合成一个单一的高品质的照片。与现有的方法不同,我们同时利用这两个图像,并使用卷积神经网络进行联合去噪和去模糊。介绍了一种新的方法来产生逼真的短-长曝光图像对。该方法在极具挑战性的条件下产生良好的图像,并优于现有的去噪和去模糊方法。它还可以在存在运动模糊的情况下实现曝光融合。
2020-09-01 cs.CV
Deep Denoising of Flash and No-Flash Pairs for Photography in Low-Light Environments
Washington University in St. Louis(圣路易斯华盛顿大学);Adobe Research(Adobe研究院);Facebook
我们介绍了一种基于神经网络的方法去噪的图像对快速连续,有和没有闪光灯,在低光环境。我们的目标是生成高质量的场景渲染,保留噪声无闪光图像的环境照明的颜色和情绪,同时恢复闪光灯显示的表面纹理和细节。我们的网络输出一个增益图和一个核域,后者是通过线性混合每图像低秩核基的元素获得的。我们首先将内核字段应用于无闪光图像,然后将结果与增益图相乘以创建最终输出。我们表明,我们的网络有效地学习,以产生高质量的图像相结合的平滑估计的场景的环境外观从无闪光灯的图像,与高频率的闪光灯输入提取的细节。我们的实验表明,在没有闪光灯的情况下,替代捕获和使用闪光灯无闪光灯对基线降噪显着改善。特别是,我们的方法产生的图像都是无噪声的,并包含准确的环境色,没有锐利的阴影或强烈的镜面高光可见的闪光图像。
2021-04-14 cs.CV
Benchmarking Hyperspectral Foundation Models for Hyperspectral Unmixing
LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI,巴黎高等电信学院,巴黎综合理工学院)
本文基准测试了高光谱基础模型在解混任务上的性能,发现它们能达到最先进水平,并比较了特征上采样方法,证明简单方法即可有效解决分辨率损失问题。
2026-10-09 cs.CV
Natural Image Noise Dataset
Université Catholique de Louvain(鲁汶大学)
卷积神经网络一直是解决图像去噪问题的研究热点,但其性能在大多数应用中仍不尽如人意。这些网络使用合成噪声分布进行训练,这些噪声分布不能准确反映图像传感器捕获的噪声。已经引入了一些干净的噪声图像对的数据集,但它们通常用于基准测试或特定应用。我们介绍了自然图像噪声数据集(NIND),这是一个具有不同ISO噪声水平的类单反图像数据集,它足够大,可以在很宽的噪声范围内进行盲去噪的训练模型。我们展示了一个使用NIND训练的去噪模型,并表明它在来自不可见图像的ISO噪声上的性能显着优于BM 3D,即使在推广到来自不同类型相机的图像时也是如此。自然图像噪声数据集发布在维基共享资源上,因此它仍然开放供策展和贡献。我们期望该数据集将被证明对未来的图像去噪应用是有用的。
2019-06-01 cs.CV eess.IV
CheXphoto: 10,000+ Photos and Transformations of Chest X-rays for Benchmarking Deep Learning Robustness
VinBrain
用于胸部X射线判读的深度学习算法的临床部署需要一种可以集成到全球范围内的广泛临床工作流程中的解决方案。一种有吸引力的大规模部署方法是利用智能手机的普及,通过捕获X光照片,使用WhatsApp等消息服务与临床医生共享。然而,将胸部X射线算法应用于胸部X射线照片需要在存在伪影的情况下进行可靠的分类,伪影通常在用于训练机器学习模型的数字X射线中不会遇到。我们介绍CheXphoto,一个智能手机照片数据集和从CheXpert数据集采样的胸部X射线的合成摄影变换。为了生成CheXphoto,我们(1)在不同的设置下自动和手动捕获数字X射线的照片,(2)生成数字X射线的合成转换,使它们看起来像数字X射线和X射线胶片的照片。我们将此数据集作为一种资源发布,用于测试和提高深度学习算法的鲁棒性,以便在智能手机胸部X光照片上进行自动胸部X光解读。
2020-12-11 cs.CV cs.LG eess.IV
A Real Benchmark Swell Noise Dataset for Performing Seismic Data Denoising via Deep Learning
CENPES(森佩斯(巴西石油公司研发中心));Petrobras(巴西石油公司);COPPE(科佩大学工程研究院);Federal University of Rio de Janeiro(里约热内卢联邦大学)
本文提出了一个由合成地震数据与真实噪声混合组成的基准数据集,用于加速地震数据去噪的深度学习新方案开发,并引入了能捕捉微小变化的新评估指标,验证了DL模型去噪的有效性。
2024-10-02 cs.CV cs.LG physics.geo-ph
Seeing is not always believing: Benchmarking Human and Model Perception of AI-Generated Images
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);The University of Hong Kong(香港大学);The University of Sydney(悉尼大学)
该研究构建Fake2M数据集并通过HPBench与MPBench评估人类和检测模型识别AI生成图像的能力,发现人类错误率达38.7%,最佳模型失败率为13%。
2023-09-22 cs.AI cs.CV
The Adversarial AI-Art: Understanding, Generation, Detection, and Benchmarking
The University of Kansas(堪萨斯大学);University of Rochester(罗切斯特大学)
本文针对AI生成图像引发的安全问题,构建了包含14万张图像的ARIA数据集,并通过用户研究、基准测试及ResNet-50分类器,系统评估了对抗场景下AI生成图像的可检测性与可迁移性。
2024-04-22 cs.AI cs.CR cs.CV
Setting-Matched and Semantics-Scaled Benchmarking of One-Step Generative Models Against Multistep Diffusion and Flow Models
Harvard AI and Robotics Lab(哈佛人工智能与机器人实验室)
本文通过ImageNet验证集、ImageNetV2和reLAIONet数据集,评估了八种模型在类条件协议下的性能,发现FID和CFG选择在少步情况下可能误导,引入csFID、psFID等指标以诊断语义对齐的图像生成。
2026-05-07 cs.CV
Real-Time Branch-to-Tool Distance Estimation for Autonomous UAV Pruning: Benchmarking Five DEFOM-Stereo Variants from Simulation to Jetson Deployment
Centre for Data Science;Department of Computer Science
本文通过训练五个DEFOM-Stereo变体,在仿真数据集上实现了实时枝条到工具距离估计,其中DEFOM-PrunePlus在部署精度与速度间取得最佳平衡,而ViT-S作为未来硬件的参考模型。
2026-03-27 cs.CV
CANDID: Correspondence AligNment for Deep-burst Image Denoising
University of Tübingen(图宾根大学)
针对深度连拍图像去噪问题,提出名为CANDID的方法,通过光流对应估计模块对齐帧、差异化预滤波、空间变化滤波核平滑后融合图像,实现了当前最优的去噪效果。
2023-06-16 cs.CV cs.LG
When Does an Image Determine the Answer? Benchmarking Visual Answerability across Charts and Scenes
LG Uplus(LG U+)
该研究提出一个跨图表、场景和照片的视觉可回答性基准,要求模型在证据充分时回答、不足时弃权,并揭示仅评估答案决策会掩盖完整任务失败。
2026-09-29 cs.CV
Moonworks Lunara Aesthetic II: An Image Variation Dataset
Lunara Aesthetic II 是一个用于评估图像生成和编辑系统中上下文一致性的公开数据集,通过保持身份的上下文变换提供监督信号,具有高美学评分和稳定的身份特征。
2026-02-07 cs.CV
A Survey on the Visual Perceptions of Gaussian Noise Filtering on Photography
Elon University(伊隆大学)
统计学家以及机器学习和计算机视觉专家一直在研究通过对不同摄影领域(如文本文档、断层摄影、天文和低光摄影)进行去噪来重建图像。在本文中,我们应用R和Python语言中常见的推理核滤波器,以及Adobe Lightweight的去噪滤波器,并比较它们在去除JPEG图像噪声方面的有效性。我们运行了标准的基准测试来评估每种方法去除噪声的有效性。在此过程中,我们还调查了埃隆大学的学生,了解他们对通过各种过滤方法处理的照片集合中的一张过滤照片的看法。许多科学家认为,噪声过滤器会导致模糊和图像质量损失,因此我们分析了人们是否认为去噪会导致与无噪声图像相比的任何质量损失。个人分配的分数表明去噪照片的图像质量相比,其无噪声的对应物在1至10的规模。比较不同过滤器的调查评分,以评价收到的图像质量评分是否存在显著差异。将基准评分与视觉感知评分进行比较。然后,进行协方差分析检验,以确定调查培训分数是否解释了学生在过滤方法中分配的视觉分数的任何计划外变化。
2020-12-18 cs.CV stat.OT
Vines-DB: An RGB image dataset for multi-species ornamental vine segmentation
Department of Plants, Soils and Climate, Utah State University(植物、土壤与气候系,犹他州立大学);Department of Applied Sciences, Technology and Education, Utah State University(应用科学、科技与教育系,犹他州立大学)
为支持精准园艺和城市生态中的多类实例分割,构建了包含7种观赏藤蔓的RGB图像数据集Vines-DB,通过手动标注和增强得到2307张图像,并划分训练/验证/测试集。
2026-06-18 cs.CV
Soft-Hard Attention U-Net Model and Benchmark Dataset for Multiscale Image Shadow Removal
University of Thessaly(色萨利大学)
提出软-硬注意力U-Net(SHAU)架构和MSRD合成数据集,实现多尺度阴影去除,在基准上PSNR提升25.1%,RMSE降低61.3%。
2024-08-07 cs.CV
Physics-based Noise Modeling for Extreme Low-light Photography
Beijing Institute of Technology(北京理工大学);The University of Tokyo(东京大学);Microsoft Research Asia(微软亚洲研究院)
在极端低光环境下提高能见度是一项具有挑战性的任务。在几乎无光的条件下,现有的图像去噪方法很容易因信噪比过低而失效。本文系统地研究了CMOS光传感器成像流水线中的噪声统计特性,建立了一个全面的噪声模型,该模型能够准确地描述实际噪声结构。我们的新模型考虑了由数码相机电子器件引起的噪声源,这些噪声源在很大程度上被现有方法所忽视,但在黑暗中对原始测量有重大影响。它提供了一种将复杂的噪声结构解耦为具有物理解释的不同统计分布的方法。此外,我们的噪声模型可用于合成基于学习的低光去噪算法的真实训练数据。在这方面,尽管最近深度卷积神经网络已经显示出有希望的结果,但成功在很大程度上取决于大量的噪声干净图像对进行训练,这在实践中非常难以获得。将他们的训练模型推广到新设备的图像也是有问题的。在多个低光去噪数据集上进行的广泛实验-包括这项工作中新收集的一个涵盖各种设备的数据集-表明,用我们提出的噪声形成模型训练的深度神经网络可以达到极高的准确性。结果与配对真实数据的训练相当,有时甚至优于训练,为现实世界的极端低光摄影打开了一扇新的大门。
2021-08-04 cs.CV eess.IV
SUB: Benchmarking CBM Generalization via Synthetic Attribute Substitutions
Technical University of Munich, Helmholtz Munich, Munich Center for Machine Learning (MCML)(慕尼黑技术大学、亥姆霍兹慕尼黑、慕尼黑机器学习中心);LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI、巴黎电信、巴黎理工学院)
针对概念瓶颈模型(CBM)在分布偏移下概念识别可靠性差的问题,研究提出含38400张合成图像的SUB基准及绑定扩散引导(TDG)生成方法,可严格评估CBM等可解释模型的鲁棒性。
2025-07-31 cs.AI cs.CV cs.LG
A Simple Yet Effective Improvement to the Bilateral Filter for Image Denoising
Indian Institute of Technology, Hyderabad(印度理工学院海得拉巴分校);Indian Institute of Science(印度科学学院)
双边滤波器在图像处理、计算机视觉和计算摄影学中具有不同的应用。特别是,这种非线性滤波器是非常有效的去噪与加性高斯噪声损坏的图像。然而,已知滤波器在大噪声水平下表现不佳。在文献中已经提出了滤波器的几种适应性来解决这个缺点,但通常会增加计算成本。在本文中,我们报告了一个简单而有效的修改,提高了双边滤波器的去噪性能,几乎没有额外的成本。我们提供了标准测试图像的视觉和定量结果,这表明这种改进在视觉上和PSNR和SSIM(通常高达5 dB)方面都是显着的。我们还演示了如何建议的过滤可以实现在降低复杂性,适应最近的想法快速双边滤波。
2015-05-25 cs.CV
Rule of Three for Superresolution of Still Images with Applications to Compression and Denoising
DLQS LLC(DLQS有限责任公司)
我们描述了一种新的方法,用于超分辨率的静止图像(在小波域)的基础上重建丢失的细节子带像素在给定的第i级通过规则(Ro3)之间的近似子带的像素的这种水平,和像素的近似和细节子带的(i+1)级。直方图的配置文件表明,Ro3是适当的机制,以恢复丢失的细节子带像素在这些情况下。此外,通过消除细节子带像素(在最终的压缩方案中),我们获得了更大的压缩率。实验结果表明,我们的方法相比,更典型的方法在小波域的去噪和压缩。我们的方法不压缩,但有利于真正的压缩机的行动,在我们的情况下,联合图像专家组(JPEG)和JPEg2000,即Ro3作为催化剂压缩
2014-05-04 cs.CV
MIPI 2024 Challenge on Few-shot RAW Image Denoising: Methods and Results
Nankai University(南开大学);Nanyang Technological University(南洋理工大学);Xiaomi Inc.(小米公司);Samsung Research China - Beijing (SRC-B)(三星中国研究院(北京))
本文介绍MIPI 2024少样本RAW图像去噪赛道的组织情况、参赛方案与评测结果,展示达到SOTA性能的去噪方法。
2024-06-11 cs.CV
NAN: Noise-Aware NeRFs for Burst-Denoising
University of Haifa(海法大学)
由于计算摄影有助于克服手机和小型相机固有的灵敏度问题,因此突发去噪现在比以往任何时候都更加重要。突发去噪的一个主要挑战是处理像素错位,到目前为止,这是用简单运动的相当简单的假设来处理的,或者是在预处理中对齐的能力。这种假设在存在大运动和高噪声水平的情况下是不现实的。我们表明,神经辐射场(NeRFs),最初建议基于物理的新视图渲染,可以作为一个强大的框架,突发去噪。NeRF具有处理噪声的固有能力,因为它们整合了来自多个图像的信息,但它们在这样做时受到限制,主要是因为它们建立在适合于理想成像条件的逐像素操作上。我们的方法称为NAN,利用NeRF中的视图间和空间信息来更好地处理噪声。它在突发去噪方面达到了最先进的效果,在非常高的噪声水平下应对大的移动和遮挡方面尤其成功。随着NeRF加速技术的快速发展,它可以为在具有挑战性的环境中进行去噪提供一个强大的平台。
2022-04-12 cs.CV
AIM 2025 Challenge on Real-World RAW Image Denoising
Sony Research(索尼研究)
本挑战赛旨在通过数据合成推动真实世界RAW图像去噪,建立含五种单反相机低光图像的基准,综合全参考与非参考指标评选,以促进相机无关的稳健模型发展。
2025-10-08 cs.CV
Building Floor Number Estimation from Crowdsourced Street-Level Images: Munich Dataset and Baseline Method
Technical University of Munich(慕尼黑技术大学)
本研究提出端到端深度学习框架,从众包街景图像直接估计建筑楼层数,并发布慕尼黑数据集(超6800张图像),实现81.2%精确准确率与97.9%±1层预测,为三维城市模型补充垂直信息提供可扩展方案。
2025-05-23 cs.CV
Deep Convolutional Denoising of Low-Light Images
Tel-Aviv University(特拉维夫大学);Technion - IIT(以色列理工学院)
泊松分布被用来模拟光子限制成像中的噪声。虽然典型的例子包括相对奇特的传感类型,如光谱成像或天文学,但由于移动相机市场的蓬勃发展,这个问题现在比以往任何时候都与常规摄影有关。受限的形状因子限制了吸收光的量,因此需要计算后处理。在本文中,我们利用深度卷积神经网络的强大框架进行泊松去噪。我们演示了如何通过使用具有特定峰值的图像训练相同的网络,我们的去噪器在视觉上和定量上都大大优于以前的最先进技术。由于灵活和数据驱动,我们的解决方案解决了以前方法中使用的繁重的临时工程,并且速度快了一个数量级。我们进一步表明,通过在正在处理的图像类别上添加合理的先验,实现了性能的另一个显着提升。
2017-01-06 cs.CV
Real Image Denoising with Feature Attention
Data61, CSIRO(澳大利亚联邦科学与工业研究组织Data61);The Australian National University(澳大利亚国立大学)
深度卷积神经网络在包含空间不变噪声(合成噪声)的图像上表现更好;然而,它们的性能在真实噪声照片上受到限制,并且需要多级网络建模。为了提高去噪算法的实用性,本文提出了一种新的单级盲真实图像去噪网络(RIDNet),采用模块化结构。我们在残差结构上使用残差来缓解低频信息的流动,并应用特征注意力来利用通道依赖性。此外,在三个合成和四个真实的噪声数据集对19个国家的最先进的算法的定量指标和视觉质量方面的评价证明了我们的RIDNet的优越性。
2020-03-23 cs.CV cs.LG
Positive2Negative: Breaking the Information-Lossy Barrier in Self-Supervised Single Image Denoising
School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院);School of Artificial Intelligence, Beijing Normal University(北京师范大学人工智能学院);Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院)
针对现有自监督单图像去噪范式依赖信息损失操作导致性能受限的问题,提出Positive2Negative范式,通过RDC和DCS两步法打破信息损失壁垒,实现了自监督单图像去噪的SOTA性能与显著速度提升。
2025-03-24 cs.CV
IDF: Iterative Dynamic Filtering Networks for Generalizable Image Denoising
Department of Computer Science, Hanyang University(翰阳大学计算机科学系);School of Computing and Artificial Intelligence, Southwest Jiaotong University(西南交通大学计算机与人工智能学院)
本文提出迭代动态滤波网络IDF,通过动态生成逐像素自适应卷积核并迭代去噪,以约0.04M参数的紧凑模型在仅训练于单级高斯噪声的情况下实现跨噪声类型和水平的强泛化能力。
2025-08-27 cs.CV
Stimulating Diffusion Model for Image Denoising via Adaptive Embedding and Ensembling
School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院);University of Science and Technology of China(中国科学技术大学);School of Artificial Intelligence, Beijing Normal University(北京师范大学人工智能学院)
提出DMID策略,通过自适应嵌入和集成方法解决扩散模型图像去噪中的输入与内容不一致问题,在失真与感知指标上均达到SOTA。
2024-11-17 cs.CV
Shedding Light: A Benchmark for Evaluating Lighting Understanding in Generative Image Models
Université Laval(拉瓦尔大学);Adobe Research(Adobe研究院);Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
本工作提出一个基准,通过测试生成模型在真实照片中插入物体时保持光照一致性的能力,来评估其光照理解,并定量估计光照方向、颜色和辐射分布以衡量准确性。
2026-09-11 cs.CV
DEAR: Dataset for Evaluating the Aesthetics of Rendering
Color Reproduction and Synthesis Institute(颜色再现与合成研究所);Moscow Independent Research Institute of Artificial Intelligence(莫斯科独立人工智能研究 institute);Computational color photography Laboratory(计算色彩摄影实验室);University of Milano-Bicocca(米兰-比科卡大学)
DEAR是首个系统评估图像渲染美学的数据集,通过众包收集人类偏好,用于发展超越传统IQA的审美评估模型。
2026-01-14 cs.CV
FastSHADE: Fast Self-augmented Hierarchical Asymmetric Denoising for Efficient inference on mobile devices
Fanis London, UK(Fanis伦敦大学)
本文提出FastSHADE,一种轻量级U-Net风格网络,用于移动设备上的实时高质量去噪。通过非对称频率去噪块和空间门控上采样器提升效率与图像质量,实现高效速度-保真度平衡。
2026-04-23 cs.CV
Aesthetic Image Captioning From Weakly-Labelled Photographs
V-SENSE School of Computer Science Statistics Trinity College Dublin(V-SENSE计算机科学与统计学院都柏林大学三一学院)
美学图像描述(AIC)是指为照片生成关键文本反馈的多模态任务。虽然在自然图像描述(NIC)中,深度模型是使用大型策划数据集(如MS-COCO)以端到端的方式训练的,但对于AIC来说,不存在这样的大规模、干净的数据集。为了实现这一目标,我们提出了一个自动清洗策略,创建一个基准AIC数据集,利用图像和嘈杂的评论很容易从摄影网站。我们提出了一种概率性的标题过滤方法来过滤含有噪声的Web数据,并编译了一个大规模的、干净的数据集“AVA-Captions”(230,000幅图像,每幅图像有5个标题)。此外,通过利用美学属性之间的潜在关联,我们提出了一种策略,用于训练基于卷积神经网络(CNN)的视觉特征提取器,AIC框架的第一个组件。该策略是弱监督的,可以有效地用于学习丰富的美学表示,而不需要昂贵的地面实况注释。最后,我们展示了一个彻底的分析,建议的贡献,使用自动指标和主观评价。
2019-08-29 cs.CL cs.CV
Tell Me What You See: Text-Guided Real-World Image Denoising
Tel Aviv University(特拉维夫大学)
针对极低光照下真实图像去噪难题,本文提出将摄影师可提供的文本场景描述作为额外先验,并利用文本引导扩散模型显著提升合成与真实图像的去噪重建性能。
2025-03-16 cs.CV eess.IV
Enhancing and Learning Denoiser without Clean Reference
The Hong Kong Polytechnic University(香港理工大学)
最近的研究基于学习的图像去噪取得了良好的性能在各种降噪任务。这些深度去噪器中的大多数都是在干净参考的监督下训练的,或者是在合成噪声的无监督下训练的。当面对真实照片时,合成噪声的假设导致泛化能力差。为了解决这个问题,我们提出了一种新的深度图像去噪方法,将降噪任务视为噪声转移任务的特殊情况。学习噪声迁移使网络能够通过观察污染样本来获得去噪能力。真实世界去噪基准测试的结果表明,我们提出的方法在去除现实噪声方面取得了令人满意的性能,使其成为实际降噪问题的潜在解决方案。
2021-03-28 cs.CV eess.IV
Efficient Blind-Spot Neural Network Architecture for Image Denoising
CSEM(瑞士电子与微技术中心)
图像去噪是计算摄影中的重要工具。标准的去噪技术以深度神经网络为核心,需要成对的干净和嘈杂的图像进行训练。如果我们没有干净的样本,我们可以使用盲点神经网络架构,它只基于相邻像素来估计像素值。因此,这些网络允许直接在有噪声的图像上进行训练,因为它们通过设计避免了琐碎的解决方案。现在,盲点主要是使用移位卷积或串行化来实现的。我们提出了一种新的全卷积网络架构,该架构使用膨胀来实现盲点属性。我们的网络提高了先前工作的性能,并在已建立的数据集上实现了最先进的结果。
2020-08-25 cs.CV cs.LG eess.IV
A Study of the Limits of Collaborative DCT-Based Image Denoising via Interpretable Neural Networks
Universitat de les Illes Balears(巴利阿里群岛大学)
本研究提出DeepBM3D,将BM3D协作滤波重构为全可微神经网络,结合非局部块分组与DCT域学习维纳滤波,在低中噪声下媲美FFDNet并优于经典方法。
2026-10-23 cs.CV
Pyramid Real Image Denoising Network
Beijing University of Posts and Telecommunications(北京邮电大学);GuangDong TUS-TuWei Technology Co.,Ltd(广东拓思途维科技有限公司)
虽然深度卷积神经网络(CNN)已经显示出对特定噪声建模和去噪的非凡能力,但它们在现实世界的噪声图像上仍然表现不佳。主要原因是现实世界的噪声更加复杂和多样。为了解决盲去噪问题,本文提出了一种新的金字塔真实图像去噪网络(PRIDNet),它包括三个阶段。首先,噪声估计阶段使用信道注意力机制来重新校准输入噪声的信道重要性。其次,在多尺度去噪阶段,利用金字塔池提取多尺度特征。第三,特征融合阶段采用核选择操作自适应地融合多尺度特征。两个数据集上的真实噪声照片的实验表明,我们的方法可以实现竞争力的性能相比,国家的最先进的去噪器在定量测量和视觉感知质量。代码可在https://github.com/491506870/PRIDNet上获得。
2019-10-22 cs.CV cs.LG eess.IV
Deep Nonparametric Convexified Filtering for Computational Photography, Image Synthesis and Adversarial Defense
Zhipu AI(智谱AI)
提出深度非参数凸化滤波(DNCF)框架,通过非参数网络模拟图像形成物理方程,实现计算摄影图像恢复,具有强泛化性、对抗鲁棒性及10倍加速,可实时防御图像分类对抗攻击。
2023-09-14 cs.CV cs.LG eess.IV
Learnability Enhancement for Low-light Raw Denoising: Where Paired Real Data Meets Noise Modeling
Beijing Institute of Technology(北京理工大学);Megvii Technology(旷视科技);Beijing Normal University(北京师范大学)
低光原始去噪是计算摄影中一项重要且有价值的任务,其中使用成对真实数据训练的基于学习的方法是主流。然而,有限的数据量和复杂的噪声分布已经构成了一个可学习的瓶颈配对的真实数据,这限制了基于学习的方法去噪性能。为了解决这个问题,我们提出了一个可学习性增强策略,根据噪声建模来改造成对的真实数据。我们的策略包括两个有效的技术:散粒噪声增强(SNA)和暗阴影校正(DSC)。通过噪声模型解耦,SNA通过增加数据量来提高数据映射的精度,DSC通过降低噪声复杂度来降低数据映射的复杂度。在公共数据集和真实成像场景上的广泛结果共同证明了我们方法的最先进性能。我们的代码可在https://github.com/megvii-research/PMN上获得。
2022-08-18 cs.CV eess.IV
Sparsity Based Poisson Denoising with Dictionary Learning
The Technion - Israel Institute of Technology(以色列理工学院)
泊松去噪问题出现在各种成像应用中,例如弱光摄影、医学成像和显微镜。在高SNR的情况下,存在几种变换,以便将泊松噪声转换为加性i.i.d.高斯噪声,其中许多有效的算法是可用的。然而,在低SNR状态下,这些变换的准确性明显降低,并且需要直接依赖于真实噪声统计的策略。Salmon等人最近的一项工作采取了这一路线,提出了一种基于GMM(高斯混合模型)的基于块的指数图像表示模型,导致了最先进的结果。在本文中,我们建议利用稀疏表示建模的图像补丁,采用相同的指数的想法。我们的方案使用了一个贪婪的追求与自举为基础的停止条件和字典学习的去噪过程。该方案的重建性能在高信噪比下与领先的方法竞争,并在低信噪比的情况下达到最先进的结果。
2014-10-14 cs.CV stat.ML
Poisson2Gaussian: Noise Gaussianization to Enhance Image Denoising
College of AI, Tsinghua University(清华大学人工智能学院);Department of Automation, Tsinghua University(清华大学自动化系);School of Electronic and Information Engineering, Beihang University(北京航空航天大学电子信息工程学院)
提出Poisson2Gaussian (P2G)方法,通过概率密度匹配将复杂真实噪声转化为i.i.d.高斯噪声,并设计无偏去噪框架,无需干净数据或噪声参数,显著提升去噪性能。
2026-06-23 cs.CV
Polarized Color Image Denoising using Pocoformer
偏振彩色摄影在一个快照中提供了视觉纹理和物体表面信息。然而,与常规彩色成像相比,使用定向偏振滤光器阵列导致极低的光子计数和SNR。因此,该特征本质上导致令人不愉快的噪声图像并且破坏偏振分析性能。这对传统的图像处理流水线来说是一个挑战,因为通道中隐含的物理约束过于复杂。为了解决这个问题,我们提出了一种基于学习的方法,同时恢复干净的信号和精确的偏振信息。捕获成对的原始短曝光噪声和长曝光参考图像的真实世界偏振彩色图像数据集以支持基于学习的流水线。此外,我们拥抱Vision Transformer的发展,并提出了一个混合的Transformer模型的偏振彩色图像去噪,即PoCoformer,为更好的恢复性能。大量的实验验证了该方法的有效性,并对影响结果的关键因素进行了分析.
2023-03-02 cs.CV eess.IV
GenSpace: Benchmarking Spatially-Aware Image Generation
Zhejiang University(浙江大学);Sea AI Lab(海思人工智能实验室);The University of Hong Kong(香港大学)
GenSpace基准通过重建三维场景几何来评估图像生成模型的空间感知能力,揭示其在物体视角理解、自我中心-非自我中心变换和度量测量遵循性三方面的核心局限。
2025-06-06 cs.CV
Dual-Camera Joint Deblurring-Denoising
University of Toronto(多伦多大学);Samsung AI Center Toronto(三星人工智能中心多伦多分部);York University(约克大学);Vector Institute(向量研究所)
本文提出一种双摄像头联合去模糊-去噪方法,利用同步短曝光连拍与长曝光图像互补,通过连拍去噪、运动感知去模糊和结果融合,以更少参数在GoPro合成数据及真实双摄数据上取得领先效果。
2023-09-16 cs.CV
SIR-DIFF: Sparse Image Sets Restoration with Multi-View Diffusion Model
University of Michigan(密歇根大学)
本文提出SIR-DIFF多视图扩散模型,利用同场景多张退化图像的互补信息联合恢复清晰视图,在去模糊和超分辨率任务上优于单视图及视频方法,并支持三维一致输出。
2025-03-18 cs.CV