CameraNet: A Two-Stage Framework for Effective Camera ISP Learning
The Hong Kong Polytechnic University(香港理工大学);DJI Co.,Ltd.(大疆创新科技有限公司)
传统的图像信号处理(ISP)流水线由相机上的一组单独的图像处理组件组成,以从传感器原始数据重建高质量的sRGB图像。由于ISP组件的手工制作性质,传统的ISP管道在具有挑战性的场景下具有有限的重建质量。近年来,卷积神经网络(CNN)在解决诸如图像去噪、去马赛克、白平衡和对比度增强等图像处理问题方面表现出了很强的竞争力。然而,CNN模型是否可以同时解决ISP管道内的多个任务仍然是一个问题。我们沿着这条线做了一个很好的尝试,并提出了一个新的框架,我们称之为CameraNet,用于有效和通用的ISP管道学习。CameraNet由两个CNN模块组成,用于解决ISP管道中两组相对不相关的子任务:恢复和增强。为了训练两阶段CameraNet模型,我们指定了两个可以在常见的摄影工作流程中轻松创建的地面实况。CameraNet经过训练,可以通过其两个模块逐步解决恢复和增强子任务。实验表明,所提出的CameraNet在三个基准数据集上实现了一致的令人信服的重建质量,并优于传统的ISP管道。
2019-08-08 cs.CV eess.IV
ParamISP: Learned Forward and Inverse ISPs using Camera Parameters
POSTECH(浦项科技大学);Samsung AI Center Toronto(三星人工智能中心多伦多分部)
针对现有基于学习的ISP方法难以适配相机参数变化的问题,本文提出ParamISP方法,通过ParamNet模块利用EXIF中的相机参数控制ISP网络,实现sRGB与RAW图像的双向高精度转换,可应用于多种图像处理任务。
2024-04-15 cs.CV eess.IV
Rotation Matters: Generalized Monocular 3D Object Detection for Various Camera Systems
DGIST(大邱庆北科学技术院)
针对单目3D目标检测跨相机系统性能下降的问题,本文发现相机朝向变化是关键因素,提出可即插即用的补偿模块校正3D框位置与朝向,无需额外训练即可大幅提升跨系统检测性能。
2023-10-09 cs.CV
Let's Roll: Synthetic Dataset Analysis for Pedestrian Detection Across Different Shutter Types
University of Southern California(南加州大学);Harvard Westlake High School(哈佛西湖高中)
本文利用Unreal Engine 5生成配对的GS与RS合成数据集,研究不同快门机制对ML目标检测的影响,发现粗粒度检测性能一致但细粒度指标差异显著。
2023-09-15 cs.CV
RawGen: Learning Camera Raw Image Generation
Samsung Electronics(三星电子);Yonsei University(延世大学)
RawGen通过扩散模型生成任意目标相机的原始图像,解决大规模原始数据集收集困难的问题,并提升低级视觉任务性能。
2026-03-31 cs.CV
DRL-ISP: Multi-Objective Camera ISP with Deep Reinforcement Learning
KAIST(韩国科学技术院)
在本文中,我们提出了一个多目标相机ISP框架,该框架利用深度强化学习(DRL)和相机ISP工具箱,包括基于网络的ISP工具和传统的ISP工具。所提出的基于DRL的相机ISP框架迭代地从工具箱中选择合适的工具并将其应用于图像,以最大化给定的视觉任务特定的奖励函数。为此,我们实现了总共51个ISP工具,包括曝光校正,色彩和色调校正,白平衡,锐化,去噪等。我们还提出了一个有效的DRL网络架构,可以提取图像的各个方面,并使图像和大量的动作之间的刚性映射关系。我们提出的基于DRL的ISP框架有效地提高了图像质量,根据每个视觉任务,如RAW到RGB图像复原,2D目标检测,和单目深度估计。
2022-07-07 cs.AI cs.CV cs.LG
ISP-Agnostic Image Reconstruction for Under-Display Cameras
KAUST(阿卜杜拉国王科技大学)
近年来,已经提出了显示器下摄像头作为减小移动设备的形状因子同时最大化屏幕面积的方式。不幸的是,将相机放置在屏幕后面会导致严重的图像失真,包括对比度损失、模糊、噪声、颜色偏移、散射伪影和感光度降低。在本文中,我们提出了一种与ISP无关的图像恢复管道,即它可以与任何传统ISP相结合,以产生与使用相同ISP的常规相机外观相匹配的最终图像。这是通过执行RAW到RAW图像恢复的深度学习方法来实现的。为了获得大量具有足够对比度和场景多样性的真实显示器下摄像机训练数据,我们还开发了一种利用HDR监视器的数据捕获方法,以及一种数据增强方法来生成合适的HDR内容。监视器数据补充了真实世界的数据,具有较少的场景多样性,但允许我们实现精细的细节恢复,而不受监视器分辨率的限制。总之,这种方法成功地恢复了颜色和对比度以及图像细节。
2021-11-02 cs.CV eess.IV
Image color correction, enhancement, and editing
York University(约克大学)
本论文提出了图像色彩校正、色彩增强和色彩编辑的方法和途径。首先,我们从相机的图像信号处理器(ISP)的角度研究颜色校正问题。相机的ISP是应用一系列相机内图像处理和颜色操作步骤的硬件,其中许多步骤本质上是非线性的,以将初始传感器图像渲染为其保存在8位标准RGB(sRGB)颜色空间中的最终照片完成表示。由于白平衡是ISP进行色彩校正的主要步骤之一,本文提出了两种不同的ISP白平衡方法。之后,我们将讨论另一种校正和编辑图像颜色的方案,在该方案中,我们提出了一组方法来校正和编辑ISP白平衡不正确的图像的WB设置。然后,我们探讨了另一个因素,有一个显着的影响相机渲染的颜色的质量,其中我们概述了两种不同的方法来纠正相机渲染图像中的曝光误差。最后,我们讨论了捕获后的自动颜色编辑和操作。特别是,我们提出了自动图像渲染方法,以产生不同的现实版本的同一相机渲染的图像与新的颜色。通过广泛的评估,我们证明,我们的方法提供了优越的解决方案相比,现有的替代品,针对颜色校正,颜色增强和颜色编辑。
2021-07-28 cs.CV
Rawformer: Unpaired Raw-to-Raw Translation for Learnable Camera ISPs
University of Würzburg(维尔茨堡大学);York University(约克大学);Google(谷歌公司)
针对可学习ISP需为每款相机收集大规模配对数据集的难题,提出无监督Transformer架构Rawformer实现跨相机无配对raw-to-raw翻译,助力ISP泛化至新相机,性能优于现有最优方法。
2024-07-15 cs.CV cs.LG eess.IV
DarkDiff: Advancing Low-Light Raw Enhancement by Retasking Diffusion Models for Camera ISP
Department of Computer Science, Purdue University(普渡大学计算机科学系);Apple Inc(苹果公司)
本文提出DarkDiff框架,通过将预训练生成式扩散模型重新用作相机ISP来增强低光照raw图像,克服了现有回归模型过度平滑及从头训练扩散模型细节恢复不佳的问题,在三个基准上感知质量优于现有技术。
2025-05-29 cs.CV eess.IV
Replacing Mobile Camera ISP with a Single Deep Learning Model
ETH Zurich(苏黎世联邦理工学院)
随着移动摄影的普及不断增长,现在正在投入大量精力来构建复杂的手工相机ISP解决方案。在这项工作中,我们证明了即使是最复杂的ISP管道也可以用一个端到端的深度学习模型来代替,而无需对特定设备中使用的传感器和光学器件有任何先验知识。为此,我们提出了PyNET,一种新型的金字塔CNN架构,专为细粒度图像复原而设计,隐式学习执行所有ISP步骤,如图像去马赛克,去噪,白平衡,颜色和对比度校正,去噪等。该模型经过训练,可以将直接从移动相机传感器获得的RAW Bayer数据转换为专业高端DSLR相机拍摄的照片,使解决方案独立于任何特定的移动ISP实现。为了在真实数据上验证所提出的方法,我们收集了一个大规模的数据集,其中包括1万个使用华为P20摄像机(12.3 MP Sony Exmor IMX 380传感器)和佳能5D Mark IV DSLR在野外拍摄的全分辨率RAW-RGB图像对。实验表明,所提出的解决方案可以很容易地达到嵌入式P20的ISP管道的水平,与我们的方法不同,它是结合来自两个(RGB + B/W)相机传感器的数据。本文中使用的数据集,预训练模型和代码可在项目网站上获得。
2020-02-13 cs.CV cs.GR eess.IV
UP-Fuse: Uncertainty-guided LiDAR-Camera Fusion for 3D Panoptic Segmentation
UP-Fuse通过不确定性引导的融合框架,提升激光雷达与摄像头在3D全景分割中的鲁棒性和准确性。
2026-07-28 cs.AI cs.CV
ReconfigISP: Reconfigurable Camera Image Processing Pipeline
SenseTime Research(商汤科技研究院);The Chinese University of Hong Kong(香港中文大学);Beihang University(北京航空航天大学);Nanyang Technological University(南洋理工大学);Shanghai AI Laboratory(上海人工智能实验室)
图像信号处理器(ISP)是数码相机中的关键部件,它将传感器信号转换为我们可以感知和理解的图像。现有的ISP设计总是采用固定的架构,例如,几个连续的模块以严格的顺序连接。这种固定的ISP架构对于相机传感器、场景和任务多样化的现实世界应用来说可能是次优的。在这项研究中,我们提出了一种新的可重构ISP(ReconfigISP),其架构和参数可以自动定制特定的数据和任务。特别是,我们实现了几个ISP模块,并通过训练可微分代理来实现每个模块的反向传播,从而使我们能够利用流行的可微分神经架构搜索并有效地搜索最佳ISP架构。采用代理调整机制来保持代理网络在所有情况下的准确性。在不同的传感器、光照条件和效率约束下,对图像恢复和目标检测进行了大量实验,验证了ReconfigISP的有效性。每个任务只需要调优数百个参数。
2021-09-10 cs.CV eess.IV
Adversarial Imaging Pipelines
Algolux(阿尔戈勒克斯);Princeton University(普林斯顿大学)
对抗攻击在理解深度神经网络预测和提高其鲁棒性方面发挥着至关重要的作用。现有的攻击方法旨在通过操纵直接馈送到分类器的RGB图像来欺骗基于卷积神经网络(CNN)的分类器。然而,这些方法通常忽略产生网络输入的相机光学器件和图像处理流水线(ISP)的影响。ISP将RAW测量转换为RGB图像,传统上被认为保留了对抗模式。然而,这些低级管道实际上可以破坏、引入或放大可以欺骗下游检测器的对抗模式。因此,优化的模式在被特定的相机ISP和光学器件变换后对于分类器可能变得对抗,而对于其他相机则不是。在这项工作中,我们研究和开发这样一种攻击,欺骗特定的摄像机ISP,而其他人完好无损,使用相同的下游分类器。我们将相机特定的攻击视为多任务优化问题,依赖于ISP本身的可微近似。我们验证了所提出的方法,使用最近的国家的最先进的汽车硬件ISP,达到92%的愚弄率时,攻击一个特定的ISP。我们证明了物理光学攻击与90%的愚弄率为一个特定的相机镜头。
2021-02-19 cs.CV eess.IV
RAW-Adapter: Adapting Pre-trained Visual Model to Camera RAW Images
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所人工智能项目)
针对现有方法忽略ISP与后续网络交互的问题,提出RAW-Adapter框架,通过输入级和模型级适配器将sRGB预训练视觉模型适配至相机RAW数据,在多数据集上取得SOTA性能。
2024-08-27 cs.CV
Real-Time Scene-Adaptive Tone Mapping for High-Dynamic Range Object Detection
School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);Tianmushan Laboratory, Beihang University(北京航空航天大学天目山实验室);School of Artificial Intelligence, Nanjing University of Information Science and Technology(南京信息工程大学人工智能学院);Department of Automation, Tsinghua University(清华大学自动化系);Point Spread Technology(点扩散科技)
本文提出一种场景自适应实时色调映射方法,通过神经光度校准等技术解决HDR图像适配检测网络的问题,性能优于传统算法,可在NVIDIA Jetson平台实现4K HDR图像实时处理。
2026-09-01 cs.CV
Del-Net: A Single-Stage Network for Mobile Camera ISP
Samsung R&D Institute - Bangalore(三星班加罗尔研发中心)
由智能手机捕获的图像的质量是重要的规范,因为智能手机作为主要捕获设备正变得无处不在。智能手机相机中的传统图像信号处理(ISP)流水线由顺序执行的若干图像处理步骤组成,以从原始传感器数据重建高质量sRGB图像。这些步骤包括去马赛克,去噪,白平衡,伽马校正,色彩增强等,因为它们中的每一个都是使用手工制作的算法顺序执行,从每个处理模块的残留误差积累在最终的重建信号。因此,传统的ISP流水线在捕获图像时跨不同照明条件和相关联的噪声水平的可概括性方面具有有限的重建质量。使用卷积神经网络(CNN)的深度学习方法在解决许多与图像相关的任务中变得流行,例如图像去噪、对比度增强、超分辨率、去模糊等。此外,最近还发布了使用深度学习方法进行RAW到sRGB转换的方法,然而,它们在内存需求和Mult-Add数量方面的巨大复杂性使其不适合移动相机ISP。在本文中,我们提出了DelNet -一个单一的端到端深度学习模型-在智能手机部署的合理复杂性内学习整个ISP管道。Del-Net是一种多尺度架构,它使用空间和通道注意力来捕获颜色等全局特征,以及一系列轻量级修改的剩余注意力块来帮助去噪。为了验证,我们提供的结果表明,提出的Del-Net实现了令人信服的重建质量。
2021-08-03 cs.CV eess.IV
CAMF-Det: Closure-Aware Multimodal Fusion for LiDAR-Camera 3D Object Detection on UAV Platforms
School of Electronics and Information Engineering, Harbin Institute of Technology(哈尔滨工业大学电子与信息工程学院)
针对无人机俯视场景中树冠遮挡导致的多模态信息退化问题,提出基于比尔-朗伯定律的闭合感知融合框架CAMF-Det,通过显式建模双模态遮挡强度并注入检测流程,在自建数据集上实现困难级别mAP_BEV提升9.43%和4.88%。
2026-06-08 cs.CV
Leveraging Motion Estimation for Efficient Bayer-Domain Video Convolutional Networks
本文提出 MEVC 框架,消除 ISP 并将滑动窗口运动估计集成至卷积层,直接在 Bayer 域加速视频视觉任务,在多基准上 FLOPs 减少超 70% 且精度损失极小。
2026-10-12 cs.CV eess.IV
RAW-Adapter: Adapting Pre-trained Visual Model to Camera RAW Images and A Benchmark
RCAST, The University of Tokyo(东京大学RCAST);Nanyang Technological University(南洋理工大学);RIKEN AIP(理化学研究所AIP)
针对现有视觉方法忽略RAW数据与模型层面协同的问题,提出融合输入级可学习ISP与模型级适配器的RAW-Adapter框架,构建含17种RAW损坏的RAW-Bench基准,结合数据增强策略,在多样场景下实现了稳健高效的性能。
2025-03-21 cs.CV
Efficient Visual Computing with Camera RAW Snapshots
Nanjing University(南京大学);University of Leeds(利兹大学);Chongqing University of Technology(重庆理工大学);University of California Riverside(加州大学河滨分校)
本文提出ρ-Vision框架,利用无监督CycleR2R网络生成模拟RAW图像并微调模型,在RAW域直接完成目标检测与图像压缩,无需ISP,实现了更高精度和更低计算开销。
2024-01-25 cs.CV eess.IV
StereoISP: Rethinking Image Signal Processing for Dual Camera Systems
Purdue University(普渡大学)
传统的图像信号处理(ISP)框架被设计成从单个原始测量重构RGB图像。随着多相机系统越来越受欢迎,通过整合来自多个相机的原始测量来探索ISP框架的改进是值得的。这份手稿是一份正在开发的新的ISP框架StereoISP的中期进度报告。它采用来自立体相机对的原始测量,通过利用两个视图之间的视差估计来生成去马赛克、去噪的RGB图像。我们研究StereoISP通过测试从立体数据集合成的原始图像对的性能。我们的初步结果显示,在KITTI 2015上重建的RGB图像的PSNR至少提高了2dB,并使用地面真实稀疏视差图驱动立体数据集。
2022-11-15 cs.CV cs.LG eess.IV
DualDn: Dual-domain Denoising via Differentiable ISP
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学);Zhejiang University(浙江大学)
DualDn提出双域去噪框架,通过可微分ISP连接raw域和sRGB域两个去噪网络,端到端训练后丢弃ISP,实现对未知噪声、ISP参数及流程的强泛化,达到最先进性能并可直接用于真实相机。
2024-11-04 cs.CV eess.IV
Benchmarking RAW and RGB Restoration in Image Signal Processors
University of Würzburg(维尔茨堡大学)
本研究构建覆盖多设备、ISP与退化场景的基准,对比ISP前后的RAW/RGB复原,发现结合ISP变换训练的RGB模型性能最优,建议报告复原位置与ISP感知监督。
2026-09-03 cs.CV
GenISP: Neural ISP for Low-Light Machine Cognition
National Taiwan University(台湾大学);Mobile Drive Technology(智驾科技);Qualcomm Inc.(高通公司)
低光照条件下的目标检测仍然是一个具有挑战性但重要的问题,具有许多实际意义。最近的一些工作表明,在低光条件下,使用原始图像数据的物体检测器比使用传统ISP管道处理的图像数据的检测器更鲁棒。为了提高低光条件下的检测性能,可以微调检测器以使用原始图像数据,或者使用专用的低光神经管道来恢复和增强图像,该管道使用成对的低光和正常光数据进行训练。然而,不同的相机传感器具有不同的光谱灵敏度,并且基于学习的模型使用原始图像处理传感器特定颜色空间中的数据。因此,一旦经过训练,它们就不能保证推广到其他相机传感器。我们建议通过实现一个用于机器认知的最小神经ISP管道(称为GenISP)来改进对看不见的相机传感器的泛化,该管道将颜色空间变换显式地结合到与设备无关的颜色空间中。我们还提出了一个两阶段的颜色处理,由两个图像到参数模块,以缩小尺寸的图像作为输入和回归全局颜色校正参数。此外,我们建议在预先训练的对象检测器的指导下训练我们提出的GenISP,避免对图像的感知质量做出假设,而是优化机器认知的图像表示。在推理阶段,GenISP可以与任何物体检测器配对。我们进行了大量的实验,比较我们的方法与其他低光图像复原和增强方法在一个外在的基于任务的评估和验证,GenISP可以推广到看不见的传感器和对象检测器。最后,我们贡献了一个低光数据集的7K原始图像注释与46 K边界框为未来的低光图像复原和目标检测基于任务的基准…
2022-05-07 cs.CV
Modeling sRGB Camera Noise with Normalizing Flows
York University(约克大学);Vector Institute(向量研究所);Samsung AI Center–Toronto(三星人工智能中心(多伦多))
噪声建模和降噪是低层计算机视觉的基本任务。它们对于依赖于小型传感器的智能手机摄像头尤为重要,这些传感器会显示出视觉上明显的噪声。最近,人们对使用数据驱动的方法通过神经网络来改进相机噪声模型重新产生了兴趣。这些数据驱动的方法在原始传感器图像被相机的图像信号处理器(ISP)处理之前就针对存在于原始传感器图像中的噪声。在RAW-rgb域中建模噪声对于改进和测试相机内去噪算法非常有用;但是,在某些情况下,相机的ISP不应用去噪,或者当RAW-rgb域图像不再可用时需要额外的去噪。在这种情况下,传感器噪声通过ISP传播到以标准RGB(sRGB)编码的最终渲染图像。ISP上的非线性步骤最终导致sRGB域中的噪声分布明显更复杂,并且现有的原始域噪声模型无法捕获sRGB噪声分布。我们提出了一种新的sRGB域噪声模型,该模型基于归一化流,能够学习各种ISO级别下sRGB图像中的复杂噪声分布。我们的归一化流为基础的方法优于其他模型的噪声建模和合成任务的大幅度提高。我们还表明,在用我们的噪声模型合成的噪声图像上训练的图像去噪器的性能优于用来自基线模型的噪声训练的图像去噪器。
2022-06-02 cs.CV eess.IV
AWNet: Attentive Wavelet Network for Image ISP
McMaster University(麦克马斯特大学)
随着过去十年智能手机性能的革命性改进,手机摄影成为大多数智能手机用户最常见的做法之一。然而,由于手机上相机传感器的尺寸有限,拍摄的图像在视觉上仍然与数码单反相机(DSLR)拍摄的图像不同。要缩小这一性能差距,一是重新设计摄像头图像信号处理器(ISP),提高图像质量。由于深度学习的迅速兴起,最近的工作求助于深度卷积神经网络(CNN)来开发一个复杂的数据驱动的ISP,直接将手机捕获的图像映射到单反相机捕获的图像。在本文中,我们介绍了一种新的网络,利用注意力机制和小波变换,被称为AWNet,来解决这个可学习的图像ISP问题。通过添加小波变换,我们提出的方法使我们能够恢复有利的图像细节从RAW信息,并实现更大的感受野,同时保持高效率的计算成本。在我们的方法中采用全局上下文块来学习非局部颜色映射,以生成吸引人的RGB图像。更重要的是,该块消除了在所提供的数据集上发生的图像未对准的影响。实验结果表明,我们的设计在定性和定量测量的进步。该代码是可用的。
2020-09-13 cs.CV eess.IV
DRIFT: Deep Restoration, ISP Fusion, and Tone-mapping
Samsung Research America(三星美国研究院)
本文提出DRIFT方法,通过多帧处理网络和深度学习色调映射实现高效移动相机流水线,生成高质量RGB图像,验证了其在性能和效率上的优势。
2026-04-12 cs.CV eess.IV
LDM-ISP: Enhancing Neural ISP for Low Light with Latent Diffusion Models
The Hong Kong University of Science and Technology(香港科技大学)
针对极弱光下RAW图像增强难题,提出LDM-ISP方法,通过轻量级驯服模块将RAW信息注入预训练潜在扩散模型的UNet中间特征,分解任务为潜在空间低频生成与解码高频维护,实验证明其性能优于强基线。
2025-04-18 cs.CV
Exploit Camera Raw Data for Video Super-Resolution via Hidden Markov Model Inference
McMaster University(麦克马斯特大学);University of Waterloo(滑铁卢大学)
据我们所知,现有的基于深度学习的视频超分辨率(VSR)方法仅使用摄像机系统的图像信号处理器(ISP)生成的视频作为输入。这样的方法是1)由于ISP中的不可逆操作引起的信息损失而固有地次优的,以及2)与真实成像流水线不一致,其中VSR实际上用作ISP的预处理单元。为了解决这个问题,我们提出了一种新的VSR方法,该方法可以直接利用摄像机传感器数据,并伴随着精心构建的原始视频数据集(RawVD)进行训练,验证和测试。该方法由连续深度推理(SDI)模块和重建模块等组成。SDI模块是根据隐马尔可夫模型(HMM)推理的典型分解结果所建议的架构原理设计的;它通过使用可变形卷积重复执行成对特征融合来估计目标高分辨率帧。重建模块由精心设计的基于注意力的残差密集块(ARDB)构建,其目的是1)细化融合特征,2)学习生成空间特定变换所需的颜色信息,以进行准确的颜色校正。大量的实验表明,由于相机原始数据的信息量,网络架构的有效性,以及超分辨率和颜色校正过程的分离,所提出的方法实现了优越的VSR结果相比,国家的最先进的,可以适应任何特定的相机ISP。代码和数据集可在https://github.com/proteus1991/RawVSR上获得。
2021-01-05 cs.CV eess.IV
Learned Smartphone ISP on Mobile GPUs with Deep Learning, Mobile AI & AIM 2022 Challenge: Report
移动相机的作用在过去几年中急剧增加,导致越来越多的研究自动图像质量增强和RAW照片处理。在这项移动人工智能挑战中,目标是开发一个高效的端到端基于人工智能的图像信号处理(ISP)管道,取代可以使用TensorFlow Lite在现代智能手机GPU上运行的标准移动ISP。参与者获得了一个大规模的Fujifilm UltraISP数据集,该数据集由普通移动相机传感器和专业102 MP中画幅Fujifilm GFX 100相机拍摄的数千张配对照片组成。在Snapdragon 8 Gen 1 GPU上对生成模型的运行时进行了评估,该GPU为大多数常见的深度学习操作提供了出色的加速结果。所提出的解决方案与所有最新的移动GPU兼容,能够在不到20-50毫秒的时间内处理全高清照片,同时实现高保真效果。本文提供了在这一挑战中开发的所有模型的详细描述。
2022-11-07 cs.CV eess.IV
UniISP: A Unified ISP Framework for Both Human and Machine Vision
Li Auto Inc.(利自动公司)
本文提出UniISP框架,结合混合注意力模块和监督学习,生成视觉 pleasing 的图像,同时通过特征适配模块提升下游任务性能,实验显示其在多种场景和数据集上表现优异。
2026-05-08 cs.CV
Towards Realistic Low-Light Image Enhancement via ISP Driven Data Modeling
City University of Hong Kong(香港城市大学);Shenzhen MSU-BIT University(深圳北理莫斯科大学);Nanjing University(南京大学);Jiangxi University of Finance and Economics(江西财经大学);National University of Defense Technology(国防科技大学);Sun Yat-sen University(中山大学)
针对低光图像增强模型在实际应用中存在的问题,本文提出ISP驱动的数据合成管线生成配对训练数据,经实验验证该管线训练的vanilla UNet模型在多数据集上的增强效果优于现有方法。
2025-04-16 cs.CV cs.MM
Learned Lightweight Smartphone ISP with Unpaired Data
Faculty of Computer Science Alexandru Ioan Cuza University of Iasi(亚历山德鲁·伊奥安·库扎大学计算机科学系);Computer Vision Lab, CAIDAS & IFI University of Würzburg(弗赖堡大学计算机视觉实验室)
针对学习型智能手机 ISP 依赖像素级配对 RAW-RGB 数据的问题,本文提出多判别器对抗训练的非配对方法,并用轻量级移动骨干网络在两个数据集上验证了高保真成像效果。
2025-05-15 cs.AI cs.CV
Day-to-Night Image Synthesis for Training Nighttime Neural ISPs
Samsung AI Center – Toronto(三星人工智能中心(多伦多));York University(约克大学)
许多旗舰智能手机摄像头现在使用专用的神经图像信号处理器(ISP)将嘈杂的原始传感器图像渲染为最终处理输出。训练夜间模式ISP网络依赖于图像对的大规模数据集:(1)以短曝光和高ISO增益捕获的噪声原始图像;以及(2)通过ISP渲染的以长曝光和低ISO捕获的地面真实低噪声原始图像。捕获这样的图像对是乏味且耗时的,需要仔细设置以确保图像对之间的对准。此外,由于长时间曝光,地面实况图像通常容易出现运动模糊。为了解决这个问题,我们提出了一种方法,从白天的图像合成夜间图像。白天的图像很容易捕捉,噪音很低(即使在智能手机相机上),很少会出现运动模糊。我们概述了一个处理框架,将白天的原始图像转换为具有不同噪声水平的逼真夜间原始图像的外观。我们的程序使我们能够轻松地产生对齐的嘈杂和干净的夜间图像对。我们通过训练神经ISP进行夜间模式渲染来展示我们的合成框架的有效性。此外,我们证明,使用我们的合成夜间图像与少量的实际数据(例如,5%至10%)的性能几乎与仅在真实夜间图像上进行训练的性能相当。我们的数据集和代码可以在https://github.com/SamsungLabs/day-to-night上找到。
2022-06-06 cs.CV eess.IV
ISP Distillation
Tel Aviv University(特拉维夫大学);Technion -- Israel Institute of Technology(以色列理工学院)
针对机器视觉任务中直接用RAW图像训练模型性能下降的问题,提出ISP Distillation方法,通过知识蒸馏让RAW图像模型对齐RGB预训练模型预测,既提升性能又节省ISP计算开销。
2023-05-04 cs.AI cs.CV
A Reference-Free Framework for Evaluating Single-Frame ISP Pipelines
ENS Paris-Saclay(巴黎-萨克兰高等师范学院);DXOMARK(DXOMARK公司);Lingnan University(岭南大学);CFM(CFM机构);Institut Universitaire de France(法国大学研究院)
该研究针对相机 ISP 管道评估难题,提出无参考学习框架,从处理后的 sRGB 图像及其 ISO 元数据估计全参考图像质量指标,经实验验证其可行性,在估计指标值上优于直接度量回归,与全参考排名一致性更高。
2026-07-28 cs.CV eess.IV
Illuminant-Adaptive 3D Lookup Tables for Camera Color Correction
University of Milano-Bicocca(米兰比可卡大学)
针对相机色彩校正难题,提出基于光源自适应三维查找表的C$^2$LUT框架,结合色度感知光源表示与非线性色彩变换,用塔克张量分解表示LUT,引入大规模光源数据集,实验表明相比现有方法有显著改进。
2026-07-15 cs.CV
LW-ISP: A Lightweight Model with ISP and Deep Learning
Xi’an Jiaotong University(西安交通大学);Tsinghua University(清华大学)
基于深度学习(DL)的底层任务方法,在硬件前景、误差积累和成像效果等方面,都比传统相机有很多优势。近期,深度学习替代图像信号处理(ISP)流水线的应用层出不穷;然而,距离真正落地还有很长的路要走。在本文中,我们展示了基于学习的方法,以实现实时高性能处理的ISP管道的可能性。我们提出了LW-ISP,一种新的架构,旨在隐式地学习从RAW数据到RGB图像的图像映射。基于U-Net架构,我们提出了细粒度的注意力模块和一个即插即用的上采样模块,适用于低级别的任务。特别地,我们设计了一种异构蒸馏算法来提取干净图像的隐含特征和重建信息,从而指导学生模型的学习。实验结果表明,LW-ISP算法的峰值信噪比比以前的最佳算法提高了0.38 dB,而模型参数和计算量分别减少了23倍和81倍。推理效率至少提高了15倍。没有花里胡哨,LW-ISP在ISP子任务中取得了相当有竞争力的结果,包括图像去噪和增强。
2022-10-08 cs.CV eess.IV
Safety-Critical Camera Reliability Monitoring for ADAS via Degradation-Aware Uncertainty Pattern Analysis
Georgia Institute of Technology(佐治亚理工学院)
本文提出一种主动摄像头可靠性监控框架,通过退化诱导的不确定性模式分析预估感知风险,引入全局传感器健康指数GSHI,利用风险感知的乘法公式聚合退化严重性,实验显示GSHI在严重性增加时单调下降,且在YOLOv8检测故障前提供积极预警。
2026-05-06 cs.CV
Optimizing Illuminant Estimation in Dual-Exposure HDR Imaging
Google(谷歌公司)
针对双曝光HDR成像,本文提出从长短曝光帧提取双曝光特征DEF,并构建轻量EMLP与ECCC光源估计器,以极少参数达到并部分超越现有大参数方法。
2024-04-07 cs.CV
PPISP: Physically-Plausible Compensation and Control of Photometric Variations in Radiance Field Reconstruction
NVIDIA(英伟达)
本文提出PPISP模块,通过物理基础和可解释的转换分离相机固有和拍摄依赖效应,实现对多视角3D重建中光度不一致的合理补偿与控制,提升重建效果和评估公平性。
2026-04-07 cs.CV cs.GR
Learned Smartphone ISP on Mobile NPUs with Deep Learning, Mobile AI 2021 Challenge: Report
MediaTek(联发科)
随着移动相机的质量开始在现代智能手机中发挥至关重要的作用,现在越来越多的关注用于改善移动照片的各种感知方面的ISP算法。在这项移动人工智能挑战中,目标是开发一个端到端的基于深度学习的图像信号处理(ISP)管道,可以取代传统的手工ISP,并在智能手机NPU上实现近乎实时的性能。为此,参与者提供了一个新的学习ISP数据集,包括使用Sony IMX 586 Quad Bayer移动传感器和专业1.02亿像素中画幅相机捕获的RAW-RGB图像对。所有模型的运行时间都在联发科技1000+平台上进行了评估,该平台配备了能够加速浮点和量化神经网络的专用AI处理单元。所提出的解决方案与上述NPU完全兼容,能够在60-100毫秒内处理全高清照片,同时实现高保真效果。本文提供了在这一挑战中开发的所有模型的详细描述。
2021-05-17 cs.CV cs.LG eess.IV
Merging-ISP: Multi-Exposure High Dynamic Range Image Signal Processing
e.solutions GmbH(e.solutions有限公司);Friedrich-Alexander-Universität (FAU) Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学(FAU))
高动态范围(HDR)成像将具有不同曝光时间的多个图像组合成单个高质量图像。图像信号处理流水线(ISP)是数码相机中执行这些操作的核心组件。它包括在不同曝光时间对原始滤色器阵列(CFA)数据进行去马赛克、曝光对准、转换到HDR域以及曝光合并到HDR图像中。传统上,这样的流水线级联处理这些单独子任务的算法。然而,级联设计遭受误差传播,因为简单地组合多个步骤对于整个成像任务不一定是最佳的。本文提出了一种多曝光HDR图像信号处理流水线(Merging-ISP)来联合解决所有这些子任务。我们的管道由深度神经网络架构建模。因此,它是端到端可训练的,避免了手工制作和潜在复杂算法的使用,并减轻了错误传播。Merging-ISP可以从多个不同曝光的原始CFA图像直接重建动态场景的HDR图像。我们比较合并ISP对几个国家的最先进的级联管道。所提出的方法提供了高感知质量的HDR重建,并且在PSNR方面定量地优于竞争ISP超过1 dB。
2021-10-04 cs.CV eess.IV
Edit-aware RAW Reconstruction
AI Center–Toronto, Samsung Electronics(多伦多人工智能中心,三星电子)
本文提出了一种编辑感知的损失函数,用于提升RAW重建在不同渲染风格和编辑操作下的鲁棒性,通过可微的图像信号处理器模拟真实摄影流程,提升sRGB重建质量。
2026-04-23 cs.CV
Modular Neural Image Signal Processing
Samsung Electronics(三星电子)
本文提出了一种模块化神经图像信号处理框架,通过高模块化设计提升渲染精度和系统灵活性,支持多样化的图像编辑与风格匹配。
2026-03-09 cs.CV
Deep White-Balance Editing
Samsung AI Center (SAIC) – Toronto(三星人工智能中心(SAIC)——多伦多);York University(约克大学)
我们引入了一种深度学习方法来逼真地编辑sRGB图像的白平衡。摄像机捕获传感器图像,这些图像由其集成信号处理器(ISP)渲染为标准RGB(sRGB)颜色空间编码。ISP渲染从白平衡过程开始,该过程用于消除场景照明的色偏。然后,ISP应用一系列非线性颜色操作来增强最终sRGB图像的视觉质量。[3]最近的工作表明,由于ISP的非线性渲染,使用不正确的白平衡渲染的sRGB图像无法轻松校正。[3]中的工作提出了一种基于数万个图像对的k-最近邻(KNN)解决方案。我们建议使用深度神经网络(DNN)架构来解决这个问题,该架构以端到端的方式进行训练,以学习正确的白平衡。我们的DNN将输入图像映射到与室内和室外照明相对应的两个额外的白平衡设置。我们的解决方案不仅在纠正错误的白平衡设置方面比KNN方法更准确,而且还为用户提供了将sRGB图像中的白平衡编辑为其他照明设置的自由。
2020-04-03 cs.CV
Reinforcement Learning of Self Enhancing Camera Image and Signal Processing
University of Texas(得克萨斯大学);Oden Institute of Engineering and Sciences(奥登工程与科学研究所)
提出RSE-RL深度强化学习模型,在潜在子空间中通过变分自编码器聚类和软执行者-评论者代理,递归地进行基于块的空间自适应伪影滤波与图像增强,有效去除异质噪声和伪影。
2022-09-11 cs.CV
Parameter Blending for Multi-Camera Harmonization for Automotive Surround View Systems
NVIDIA(英伟达)
针对汽车环视多相机因独立 AWB 与 GTM 导致拼接缝色彩不连续的问题,提出利用 ISP 元数据统计的 AWB/GTM 参数融合协调算法,在视觉质量和计算成本上优于全局色彩迁移。
2024-06-16 cs.CV
RawVLA: Embodied Neural Image Signal Processor For Robotic Manipulation
UTokyo(东京大学);D-Robotics(地瓜机器人);TohokuU(东北大学);NTU(南洋理工大学);HKUSTGZ(香港科技大学(广州))
针对VLA模型忽略成像流水线的问题,提出RawVLA神经ISP,自适应处理RAW图像以提升操作鲁棒性,并构建RawVLA-Bench基准验证其有效性。
2026-09-30 cs.CV cs.RO
Learning to Control Camera Exposure via Reinforcement Learning
LG AI Research(LG AI研究院);CMU(卡内基梅隆大学);KRAFTON(KRAFTON公司)
本文提出基于深度强化学习的相机曝光控制框架,通过简化训练环境、属性感知奖励、静态到动态课程和域随机化,实现1毫秒内五步快速曝光调整,并在多种视觉任务中表现优越。
2024-04-02 cs.AI cs.CV cs.LG
A Feature-based Approach for the Recognition of Image Quality Degradation in Automotive Applications
b-plus technologies GmbH(b-plus技术有限公司)
摄像头在现代驾驶辅助系统中发挥着至关重要的作用,是自动驾驶传感器技术的重要组成部分。车载摄像机采集的图像质量对视觉感知系统的性能有很大影响。本文提出了一种基于特征的算法来检测某些影响,可以降低图像质量的汽车应用。该算法是基于智能选择的重要功能。由于特征数量较少,即使在小数据集上,该算法也表现良好。不同数据集的实验结果表明,该算法可以检测出附着在相机镜头上的污垢,并对不同类型的图像退化进行分类。
2023-03-13 cs.CV
ISPCloak: Weaponizing ISP for Optimization-Free Physical Camouflage against Deepfake Detectors
Guangdong University of Technology(广东工业大学);Guizhou Provincial Laboratory of Big Data, State Key Laboratory of Public Big Data, Guizhou University(贵州大学大数据省级重点实验室、公共大数据国家重点实验室)
研究针对深度伪造检测器的对抗攻击,提出ISPCloak框架,利用ISP管道,通过投影到RAW域、注入噪声和前向ISP重建等,将真实相机统计先验印在生成图像上,快速生成对抗样本,扰乱检测机制。
2026-07-27 cs.AI cs.CR cs.CV
BSRAW: Improving Blind RAW Image Super-Resolution
Computer Vision Lab, CAIDAS & IFI, University of Würzburg(维尔茨堡大学)
针对RAW域盲超分辨率,提出BSRAW模型及真实退化训练流程,并构建DSLM数据集与基准,有效提升真实场景RAW图像质量。
2023-12-24 cs.CV eess.IV