Calibration based Minimalistic Multi-Exposure Digital Sensor Camera Robust Linear High Dynamic Range Enhancement Technique Demonstration
针对基于数字图像传感器的摄像机，提出了一种标定目标优化方法，用于确定摄像机响应函数（CRF）。该方法采用局部已知目标区域像素输出空间平均和直方图分析进行饱和像素检测。使用所提出的CRF生成方法，其中87 dB高动态范围（HDR）硅CMOS图像传感器相机观察90 dB HDR校准目标，实验产生的是具有有限的40 dB线性CRF区的非线性CRF。接下来，部署78 dB测试目标以测试具有该测量的CRF及其限制的40 dB区的相机。通过采用所提出的最小曝光、无加权、具有2个图像的多次曝光成像方法，证明了测试目标的高度稳健的恢复。此外，78 dB的测试目标恢复与16个单独的DR值补丁保持强大的超过20倍的变化，在测试目标照明照明。相比之下，通过使用具有16个不同曝光时间的16个图像的5个领先的现有技术的多次曝光HDR恢复算法来产生非鲁棒测试目标图像恢复，其中每个连续图像具有以因子2增加的传感器停留时间。所提出的HDR图像恢复方法的进一步验证使用两个附加实验来提供，第一个实验使用与自然室内场景组合的78dB校准目标以形成混合设计目标，第二个实验使用未校准的室内自然场景。所提出的技术适用于具有曝光时间和照明控制的所有基于数字图像传感器的相机。此外，所提出的方法适用于各种传感器技术，光谱波段和成像应用。
2021-01-14 eess.IV physics.optics
Neural Camera Simulators
HKUST（香港科技大学）；SenseTime（商汤科技）
我们提出了一种基于深度神经网络的可控相机模拟器，以在不同的相机设置下合成原始图像数据，包括曝光时间，ISO和光圈。所提出的模拟器包括曝光模块，其利用现代透镜设计的原理来校正亮度水平。它还包含一个使用噪声水平函数的噪声模块和一个具有自适应注意力的光圈模块，以模拟噪声和散焦模糊的副作用。为了便于模拟器模型的学习，我们收集了450个场景的10，000张原始图像的数据集，这些图像具有不同的曝光设置。定量实验和定性比较表明，我们的方法优于相关基线的原始数据合成多相机。此外，相机模拟器支持各种应用，包括大孔径增强、HDR、自动曝光和用于训练局部特征检测器的数据增强。我们的工作代表了利用传统原始传感器功能的优势和数据驱动的深度学习的力量来模拟相机传感器行为的第一次尝试。
2021-08-09 cs.CV eess.IV
Deep Exposure Fusion with Deghosting via Homography Estimation and Attention Learning
National Taiwan University（国立台湾大学）
现代相机具有有限的动态范围，并且通常使用单次曝光产生具有饱和或暗区域的图像。虽然这个问题可以通过拍摄具有不同曝光的多个图像来解决，但是曝光融合方法需要处理由相机运动或移动物体引起的重影伪影和细节丢失。本文提出了一种用于曝光融合的深度网络。为了减少潜在的重影问题，我们的网络只拍摄两张图像，一张曝光不足的图像和一张曝光过度的图像。我们的网络集成了单应性估计来补偿相机运动，注意力机制来纠正剩余的未对准和移动像素，以及对抗性学习来减轻其他剩余的伪影。在手持手机拍摄的真实照片上的实验表明，该方法可以生成高质量的图像，在黑暗和明亮的区域具有真实的细节和生动的色彩还原。
2020-04-20 cs.CV eess.IV
Few-Shot Domain Adaptation for Low Light RAW Image Enhancement
Indian Institute of Science, Bangalore, India（印度科学理工学院（班加罗尔））
由于短曝光时间和有限的照明导致严重的噪声和颜色失真，增强实际的低光原始图像是一项困难的任务。尽管现有的基于卷积神经网络（CNN）的方法取得了成功，但它们的性能不适用于不同的相机域。此外，这样的方法还需要具有针对每个相机域的短曝光和对应的长曝光地面真实原始图像的大数据集，这是冗长的编译。针对这一问题，提出了一种新的Few-Shot领域自适应方法，利用源摄像机已有的标记数据和目标摄像机的少量标记样本，提高极弱光成像中目标域的增强质量。我们的实验表明，与使用大型标记目标相机数据集训练模型相比，仅来自目标相机域的十个或更少的标记样本就足以实现类似或更好的增强性能。为了支持这一方向的研究，我们还提出了一个新的低光原始图像数据集，用尼康相机拍摄，包括短曝光和相应的长曝光地面真实图像。
2023-03-27 cs.CV eess.IV
Capturing Stable HDR Videos Using a Dual-Camera System
School of Automation, Hangzhou Dianzi University（杭州电子科技大学自动化学院）；Hangzhou Dianzi University（杭州电子科技大学）；Lishui Institute of Hangzhou Dianzi University（杭州电子科技大学丽水学院）；Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系）
本文提出了一种双摄像头系统和曝光自适应融合网络，用于解决HDR视频中时间闪烁问题，提升视频重建质量。
2026-02-25 cs.CV eess.IV
Selection of appropriate multispectral camera exposure settings and radiometric calibration methods for applications in phenotyping and precision agriculture
Texas A&M University（德克萨斯农工大学）；Mississippi State University（密西西比州立大学）
本研究比较了固定曝光与自动曝光对多光谱图像辐射精度的影响，确定了使MAPE最小的理想曝光范围，并证明固定曝光能显著提高植被指数对植物氮吸收量的预测精度。
2024-02-28 cs.CV eess.IV
Digital Gimbal: End-to-end Deep Image Stabilization with Learnable Exposure Times
Technion - Israel Institute of Technology（以色列理工学院）
使用致动平衡环的机械图像稳定使得能够捕获长曝光拍摄，而不会由于相机运动而遭受模糊。然而，这些设备通常在物理上笨重且昂贵，限制了它们的广泛使用。在这项工作中，我们建议根据快速不稳定相机的输入来数字仿真机械稳定系统。为了利用长时间曝光时的运动模糊和短时间曝光时的低SNR之间的权衡，我们训练了一个CNN，它通过聚合一系列与未知运动相关的噪声短曝光帧来估计清晰的高SNR图像。我们进一步建议以端到端的方式学习突发的曝光时间，从而平衡帧间的噪声和模糊。我们证明了这种方法的优势，比传统的方法去模糊的一个单一的图像或去噪固定曝光的合成和真实数据的突发。
2021-11-23 cs.CV eess.IV
Snapshot High Dynamic Range Imaging with a Polarization Camera
University of Maryland（马里兰大学）
本文提出在偏振相机前加装线性偏振片，利用偏振方向同时获取四张不同曝光图像，并通过稳健、自校准算法重建 HDR 图像，实验验证了其有效性。
2023-08-16 cs.CV eess.IV
Learn to See Faster: Pushing the Limits of High-Speed Camera with Deep Underexposed Image Denoising
Kobe University（神户大学）
以高采集速率记录高保真视频的能力是研究快速运动现象的核心。快速移动场景成像的困难在于运动模糊和曝光不足噪声之间的权衡：一方面，长曝光时间的记录会受到记录场景中移动引起的运动模糊效果的影响。另一方面，到达相机光电传感器的光量随着曝光时间而减少，使得短曝光记录遭受曝光不足噪声。在本文中，我们建议通过将高速成像的问题视为曝光不足的图像去噪问题来解决这种权衡。我们使用深度学习结合曝光不足图像去噪的最新进展，并使这些方法适应高速成像问题的特殊性。利用具有传感器特定噪声模型的大型外部数据集，我们的方法能够将高速相机的采集速率加快一个数量级，同时保持相似的图像质量。
2022-11-29 cs.CV eess.IV
Automatic exposure selection and fusion for high-dynamic-range photography via smartphones
University of Texas at Dallas（德克萨斯大学达拉斯分校）
高动态范围（HDR）摄影涉及融合在不同曝光设置下拍摄的图像，以补偿数码相机（如智能手机中使用的相机）的低动态范围。本文介绍了一种基于摄像机特征函数自动选择这类图像曝光设置的方法。此外，一个新的融合方法的基础上，介绍了一个最佳配方和加权平均。这两种方法都在智能手机平台上作为HDR应用程序实现，以证明所介绍方法的实用性。与现有的几种方法的比较结果表明，以及引入的解决方案的有效性和计算效率。
2020-04-22 cs.CV eess.IV
E-3DGS: Gaussian Splatting with Exposure and Motion Events
State Key Laboratory of Modern Optical Instrumentation, Zhejiang University（浙江大学现代光学仪器国家重点实验室）；College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息与电子工程学院）；The Chair of Robotics, AI, and Real-Time Systems, Technical University of Munich（慕尼黑工业大学机器人、人工智能与实时系统教席）
本文提出E-3DGS框架，通过硬件透射率调节装置使事件相机同时捕获曝光事件和运动事件，支持三种重建模式，在低光照和过曝光等挑战条件下实现比事件NeRF更快、更高质量且成本更低的三维重建，并发布了EME-3D真实世界数据集。
2025-04-11 cs.CV cs.RO eess.IV
Learning Multi-Scale Photo Exposure Correction
Samsung AI Centre (SAIC)（三星人工智能中心）；York University（约克大学）；Heidelberg University（海德堡大学）
用错误的曝光捕捉照片仍然是基于相机的成像中错误的主要来源。曝光问题被分类为：（i）曝光过度，其中相机曝光太长，导致明亮和褪色的图像区域，或（ii）曝光不足，其中曝光太短，导致暗区域。曝光不足和曝光过度都会大大降低图像的对比度和视觉吸引力。以前的工作主要集中在曝光不足的图像或一般的图像增强。相比之下，我们所提出的方法的目标是在照片中的过度和不足的错误。我们将曝光校正问题表述为两个主要子问题：（i）颜色增强和（ii）细节增强。因此，我们提出了一个由粗到细的深度神经网络（DNN）模型，可以以端到端的方式训练，分别解决每个子问题。我们的解决方案的一个关键方面是一个新的数据集，其中包含超过24，000张图像，展示了迄今为止最广泛的曝光值范围以及相应的适当曝光图像。我们的方法达到了与现有的国家的最先进的方法对曝光不足的图像，并产生显着的改善图像遭受过度曝光的错误。
2021-03-30 cs.CV eess.IV
Sparse Light Field Sampling Improves Casual 3D and 4D Reconstruction
Cornell University（康奈尔大学）；Adobe（奥多比公司）；University of California, Berkeley（加州大学伯克利分校）；Georgia Institute of Technology（佐治亚理工学院）
本文针对消费级多视图相机，提出稀疏视图3DGS与4DGS基线方法，验证多相机稀疏采样可显著提升单帧、少帧及casual视频的三维与四维重建质量，尤其适用于动态场景。
2026-08-24 cs.CV eess.IV
A High Resolution Multi-exposure Stereoscopic Image & Video Database of Natural Scenes
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
近年来，沉浸式显示器（诸如VR耳机、AR眼镜、多视图显示器、自由点电视）已经作为一类新的显示技术出现，与传统显示器相比，提供了更好的视觉体验和观众参与度。随着3D视频和显示技术的发展，高动态范围（HDR）相机和显示器的消费市场正在快速增长。缺乏适当的实验数据是3D HDR视频技术领域中主要研究工作发展的关键障碍。此外，没有足够的真实世界多次曝光实验数据集是HDR成像研究的主要瓶颈，从而限制了观看者的体验质量（QoE）。在本文中，我们介绍了一个多元化的立体多曝光数据集内捕获的印度理工学院马德拉斯，这是家庭对不同的动植物的校园。该数据集使用ZED立体相机捕获，并提供室外位置（如花园，路边景观，节日场地，建筑物）和室内位置（如学术和住宅区）的复杂场景。所提出的数据集适应广泛的深度范围，复杂的深度结构，复杂的物体运动，光照变化，丰富的颜色动态，纹理差异，除了由移动相机和背景运动引入的显着随机性。拟议的数据集向研究界公开提供。此外，详细描述了用于捕获、对准和校准多曝光立体视频和图像的过程。最后，我们讨论了HDR成像，深度估计，一致性色调映射和3D HDR编码方面的进展，挑战，潜在的用例和未来的研究机会。
2022-06-22 cs.CV eess.IV
Array Camera Image Fusion using Physics-Aware Transformers
Duke University（杜克大学）；University of Arizona（亚利桑那大学）
我们展示了一个物理感知的Transformer，用于从具有不同分辨率、颜色空间、焦平面、焦距和曝光的相机进行基于特征的数据融合。我们还展示了一个可扩展的解决方案，合成训练数据生成的Transformer使用开源计算机图形软件。我们展示了不同的光谱响应，瞬时视场和帧速率的阵列上的图像合成。
2022-07-05 cs.CV eess.IV
Deep Snapshot HDR Reconstruction Based on the Polarization Camera
University of Alberta（阿尔伯塔大学）；NUDT（国防科技大学）；Huawei Fields Lab（华为Fields实验室）
片上微偏振器技术的最新发展使得能够以与常规相机相同的操作容易性来获取四个空间对准且时间同步的偏振图像。在本文中，我们研究了这种传感器技术在高动态范围（HDR）成像中的使用。具体而言，观察到自然光可以通过改变偏振滤光器的取向而不同地衰减，我们将偏振相机捕获的多个图像视为在不同曝光时间下捕获的一组图像。在我们的方法中，我们首先研究偏振片的取向，程度和角度的光偏振的偏振图像中的像素的曝光时间之间的关系。随后，我们提出了一个深度快照HDR重建框架，使用偏振图像恢复HDR图像。创建极化HDR数据集来训练和评估我们的方法。我们证明了我们的方法对最先进的HDR重建算法表现良好。
2021-05-12 cs.CV eess.IV
Deep Camera Obscura: An Image Restoration Pipeline for Lensless Pinhole Photography
Arizona State University（亚利桑那州立大学）；SenseBrain Technology（商汤科技（SenseBrain Technology））
无透镜针孔相机可能是最早和最简单的成像系统形式，仅使用针孔大小的光圈代替透镜。它们可以捕捉无限景深，并提供比基于镜头的同行更大的光学失真自由度。然而，针孔系统的固有限制导致由光学衍射引起的模糊的较低锐度和由于小光圈的低光通量引起的较高噪声水平，需要非常长的曝光时间来捕获曝光良好的图像。在本文中，我们探索了一个图像复原管道使用深度学习和针孔系统的领域知识，以提高针孔图像质量，通过联合去噪和去模糊的方法。我们的方法可以为手持摄影提供更实用的曝光时间，并提供更高的图像质量，使其与其他无镜头相机相比更适合日常摄影，同时保持低尺寸和低成本。这开启了针孔相机在更小设备（如智能手机）中使用的潜力。
2021-08-12 cs.CV eess.IV
Parametric Analysis of Smartphone Camera for a Low Cost Particle Image Velocimetry System
本研究的重点是评估智能手机相机的特点，开发一个经济的智能手机为基础的粒子图像测速（PIV）系统。在调查中，使用两款商用智能手机（OnePlus 5 T和iPhone X）摄像头和低强度激光二极管对圆柱体周围的流动进行了可视化。由铝电极的电解（称为气泡图像测速法）产生的氢气泡用作接种介质。OpenPIV是一个开源工具箱，用于处理捕获的图像和获得流场。对这两款智能手机进行了参数分析，包括不同的相机特性，如ISO，曝光补偿和帧速率。将通过实验获得的结果与在相同流动条件下经过验证的计算流体动力学（CFD）研究的结果进行比较，发现结果非常一致，iPhone X的偏差范围为1%至3.5%，OnePlus 5 T的偏差范围为1%至7%。据观察，更高的帧速率导致更高的测量精度。此外，发现-1 EV的曝光补偿和400的ISO产生的结果与CFD值相比误差最小。
2020-09-26 eess.IV physics.ins-det
Noise-Aware Merging of High Dynamic Range Image Stacks without Camera Calibration
University of Cambridge（剑桥大学）
通过对相机噪声分布进行建模，可以从曝光堆栈获得高动态范围场景的辐射率的接近最优的重建。然后使用最大似然估计来估计潜在辐射。但这需要摄像机的良好校准的噪声模型，这在实践中很难获得。我们表明，可比方差的无偏估计，可以得到一个更简单的泊松噪声估计，这不需要的知识，相机特定的噪声参数。我们通过四种不同的相机来证明这一点，从智能手机相机到全画幅无反光镜相机。我们的实验结果是一致的模拟以及真实的图像，并在不同的相机设置。
2020-09-16 cs.CV eess.IV
Learning Spatially Varying Pixel Exposures for Motion Deblurring
Stanford University（斯坦福大学）
在计算摄影中，通过计算去除由相机抖动或捕获图像中的对象运动引入的运动模糊仍然是一项具有挑战性的任务。去模糊方法通常受到图像捕获过程的固定全局曝光时间的限制。后处理算法必须对包含相对较少噪声的较长曝光进行去模糊处理，或者对以增加噪声为代价有意消除模糊机会的短曝光进行去噪处理。我们提出了一种新的方法，利用空间变化的像素曝光的运动去模糊使用下一代焦平面传感器处理器，以及这些曝光和基于机器学习的运动去模糊框架的端到端设计。我们在模拟和物理原型中证明，学习空间变化像素曝光（L-SVPE）可以成功地去模糊场景，同时恢复高频细节。我们的工作说明了焦平面传感器-处理器可以在未来的计算成像中发挥的作用。
2022-04-14 cs.CV eess.IV
Handheld Burst Super-Resolution Meets Multi-Exposure Satellite Imagery
Université Paris-Saclay（巴黎萨克雷大学）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；CNRS（法国国家科学研究中心）；Centre Borelli（博雷利中心）
图像分辨率是基于卫星图像的许多应用的重要标准。在这项工作中，我们采用了最先进的核回归技术，用于智能手机相机突发超分辨率卫星。该技术利用图像的局部结构来优化融合内核，限制最终高分辨率预测中的模糊，对图像进行降噪，并将细节恢复到缩放因子2。我们将这种方法扩展到多次曝光的情况下，从一系列的多次曝光的低分辨率帧的高分辨率和无噪声的预测。在单次曝光和多次曝光场景下的实验表明了该方法的优点。由于融合是无学习的，所提出的方法是确保不幻觉的细节，这是许多遥感应用的关键。
2023-03-10 cs.CV eess.IV
MobileMEF: Fast and Efficient Method for Multi-Exposure Fusion
Motorola Mobility Comércio de Produtos Eletrônicos Ltda（摩托罗拉移动电子产品商业有限公司）；Lenovo Research（联想研究院）
本文提出MobileMEF，一种基于高效编码器-解码器架构的多曝光融合方法，可在中端手机上2秒内处理4K图像，并在质量与计算效率上优于现有技术。
2024-10-01 cs.CV cs.LG eess.IV
Time-Efficient Light-Field Acquisition Using Coded Aperture and Events
Nagoya University（名古屋大学）；Osaka University（大阪大学）
本文提出将编码孔径序列与事件相机结合，在单次曝光内联合图像帧和事件重建光场，并设计了可端到端训练的深度光学算法流程，实验证明其重建精度优于多种单曝光成像方法。
2024-03-12 cs.CV eess.IV
Photosequencing of Motion Blur using Short and Long Exposures
Carnegie Mellon University（卡内基梅隆大学）；Samsung Research America（三星美国研究院）
光测序的目的是将运动模糊的图像转换为清晰的图像序列。这个问题是具有挑战性的，由于内在的模糊性，在时间排序以及恢复丢失的空间纹理，由于模糊。采用计算摄影方法，我们建议捕捉两个短曝光图像，以及原始模糊的长曝光图像，以帮助应对上述挑战。捕获后，我们使用一种新的模糊分解策略，递归地将长曝光图像分割成较小的曝光间隔，恢复锐利的照片序列。我们通过使用机器视觉摄像机捕获各种有趣的运动场景来验证该方法，这些场景被编程为捕获短曝光和长曝光序列。我们的实验结果表明，所提出的方法解决快速和精细的运动比以前的作品。
2019-12-11 cs.CV cs.LG eess.IV
Merging-ISP: Multi-Exposure High Dynamic Range Image Signal Processing
e.solutions GmbH（e.solutions有限公司）；Friedrich-Alexander-Universität (FAU) Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学（FAU））
高动态范围（HDR）成像将具有不同曝光时间的多个图像组合成单个高质量图像。图像信号处理流水线（ISP）是数码相机中执行这些操作的核心组件。它包括在不同曝光时间对原始滤色器阵列（CFA）数据进行去马赛克、曝光对准、转换到HDR域以及曝光合并到HDR图像中。传统上，这样的流水线级联处理这些单独子任务的算法。然而，级联设计遭受误差传播，因为简单地组合多个步骤对于整个成像任务不一定是最佳的。本文提出了一种多曝光HDR图像信号处理流水线（Merging-ISP）来联合解决所有这些子任务。我们的管道由深度神经网络架构建模。因此，它是端到端可训练的，避免了手工制作和潜在复杂算法的使用，并减轻了错误传播。Merging-ISP可以从多个不同曝光的原始CFA图像直接重建动态场景的HDR图像。我们比较合并ISP对几个国家的最先进的级联管道。所提出的方法提供了高感知质量的HDR重建，并且在PSNR方面定量地优于竞争ISP超过1 dB。
2021-10-04 cs.CV eess.IV
Joint Video Multi-Frame Interpolation and Deblurring under Unknown Exposure Time
Harbin Institute of Technology（哈尔滨工业大学）；City University of Hong Kong（香港城市大学）；Peng Cheng Laboratory（鹏城实验室）
由消费类相机捕获的自然视频通常由于动态场景复杂性、镜头和传感器缺陷以及不太理想的曝光设置的组合而遭受低帧率和运动模糊。因此，联合执行视频帧插值和去模糊的计算方法开始出现，其不切实际的假设是曝光时间是已知的和固定的。在这项工作中，我们雄心勃勃的目标是一个更现实和具有挑战性的任务-联合视频多帧插值和去模糊未知曝光时间。为了实现这个目标，我们首先采用了一个变体的监督对比学习，从输入模糊帧构建一个模糊感知表示。然后，我们训练两个U-网的内部运动和运动间的分析，分别适应通过增益调整学习曝光表示。最后，我们建立我们的视频重建网络的曝光和运动表示的渐进式自适应卷积和运动细化。在模拟和真实数据集上的大量实验表明，我们的优化方法在联合视频x8插值和去模糊任务上实现了显着的性能增益。此外，在看似难以置信的x16插值任务上，我们的方法在PSNR方面优于现有方法超过1.5 dB。
2023-03-27 cs.CV eess.IV
Physically Plausible Spectral Reconstruction from RGB Images
University of East Anglia（东英吉利大学）
最近卷积神经网络（CNN）已被用于从RGB图像重建高光谱信息。此外，该谱重建问题（SR）通常可以以良好（低）误差来解决。然而，这些方法在物理上并不合理：也就是说，当恢复的光谱与底层相机灵敏度重新整合时，所得到的预测RGB与实际RGB不相同，有时这种差异可能很大。暴露的变化使问题进一步复杂化。事实上，大多数基于学习的SR模型训练固定的曝光设置，我们表明，这可能会导致在曝光变化时的性能不佳。在本文中，我们展示了如何扩展CNN学习，以便增强物理可扩展性，并减轻因曝光量变化而导致的问题。我们的SR解决方案在不同曝光条件下提高了最先进的光谱恢复性能，同时确保了物理可扩展性（恢复的光谱精确地重新整合到输入RGB）。
2020-01-02 cs.CV eess.IV
GlowGAN: Unsupervised Learning of HDR Images from LDR Images in the Wild
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Universidad de Zaragoza（萨拉戈萨大学）
大多数野外图像都以低动态范围（LDR）形式存储，用作高动态范围（HDR）视觉世界的部分观察。尽管动态范围有限，但这些LDR图像通常以不同的曝光来捕获，隐含地包含关于底层HDR图像分布的信息。受这种直觉的启发，在这项工作中，我们尽我们所知，提出了第一种以完全无监督的方式从野生LDR图像集合中学习HDR图像生成模型的方法。其关键思想是训练生成对抗网络（GAN）来生成HDR图像，当在各种曝光下投影到LDR时，HDR图像与真实LDR图像无法区分。从HDR到LDR的投影是通过相机模型实现的，该相机模型捕获曝光和相机响应函数中的随机性。实验表明，我们的方法GlowGAN可以在许多具有挑战性的情况下合成逼真的HDR图像，例如风景，闪电或窗户，其中以前的监督生成模型会产生过度曝光的图像。我们进一步展示了GlowGAN支持的无监督逆色调映射（ITM）的新应用。我们的ITM方法不需要HDR图像或成对的多次曝光图像进行训练，但它为过度曝光区域重建了比在这些数据上训练的最先进的监督学习模型更合理的信息。
2022-11-23 cs.CV eess.IV
A multiple attributes image quality database for smartphone camera photo quality assessment
智能手机是数码设备市场的超级明星产品，智能手机相机照片（SCP）的质量正在成为消费者购买智能手机时的主要考虑因素之一。如何评价智能手机摄像头的质量和拍摄的照片是亟待解决的问题。为了弥合学术研究成果与行业需求之间的差距，本文建立了一个新的智能手机相机照片质量数据库（SCPQD 2020），其中包括15部智能手机拍摄的120个场景的1800张图像。在主观研究中，分别对影响SCP质量的曝光、颜色、噪声和纹理四个主要因素进行了评价。在我们的数据库上测试和分析了十种流行的无参考（NR）图像质量评估（IQA）算法。实验结果表明，目前的客观模型是不适合的SCP，和质量度量具有较高的相关性与人类的视觉感知是非常必要的。
2020-03-03 cs.MM eess.IV
Deep Camera: A Fully Convolutional Neural Network for Image Signal Processing
ON Semiconductor（安森美半导体）
传统的照相机顺序地执行各种信号处理步骤以从原始拜耳图像重构图像。当在多个阶段中执行这些处理时，来自每个阶段的残余误差在图像中累积并且降低最终重构图像的质量。在本文中，我们提出了一个完全卷积神经网络（CNN）执行缺陷像素校正，去噪，白平衡，曝光校正，去马赛克，颜色变换和伽马编码。据我们所知，这是第一个经过端到端训练的CNN，可以在相机中执行整个图像信号处理管道。使用原始Bayer图像的大型图像数据库训练神经网络。通过大量的实验，我们表明，所提出的基于CNN的图像信号处理系统比顺序执行处理的传统信号处理流水线执行得更好。
2019-08-24 cs.CV eess.IV
Multi-Bracket High Dynamic Range Imaging with Event Cameras
Univ. of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）；Huawei Technologies（华为技术有限公司）
现代高动态范围（HDR）成像流水线对齐并融合在不同曝光时间捕获的多个低动态范围（LDR）图像。虽然这些方法在静态场景中工作良好，但动态场景仍然是一个挑战，因为LDR图像仍然受到饱和度和噪声的影响。在这种情况下，事件相机将是一个有效的补充，由于其较高的时间分辨率和动态范围。在本文中，我们提出了第一个多支架HDR管道结合一个标准的相机与事件相机。我们的研究结果表明，使用事件时，整体鲁棒性更好，在合成数据上PSNR提高了5dB，在真实数据上提高了0.7dB。我们还介绍了一个新的数据集，包含括号内的LDR图像与对齐的事件和HDR地面真相。
2022-04-28 cs.CV eess.IV
Single Image Brightening via Multi-Scale Exposure Fusion with Hybrid Learning
Wuhan University of Science and Technology（武汉科技大学）；Institute for Infocomm Research（资讯通信研究院）
小ISO和小曝光时间通常用于在背光或弱光条件下拍摄图像，这会导致图像具有可忽略的运动模糊和小噪声，但看起来很暗。本文提出了一种单帧图像的亮度化算法。所提出的算法包括一个独特的混合学习框架，以生成两个具有大曝光时间的虚拟图像。虚拟图像首先通过使用相机响应函数（CRF）计算的强度映射函数（IMF）生成，这是一种模型驱动的方法。然后，通过使用数据驱动的方法，即残差卷积神经网络来接近地面实况图像，来增强这两个虚拟图像。模型驱动的方法和数据驱动的一个互补的建议混合学习框架。通过适当定义权值的多尺度曝光融合算法，将原始图像和两幅虚拟图像进行融合，得到最终的增亮图像。实验结果表明，该算法在MEF-SSIM度量方面优于现有算法。
2020-07-12 cs.CV eess.IV
FCNet: A Convolutional Neural Network for Arbitrary-Length Exposure Estimation
Nankai University（南开大学）；Beihang University（北京航空航天大学）；vivo Mobile Communication Co. Ltd.（维沃移动通信有限公司）；Guangdong University of Petrochemical Technology（广东石油化工学院）
本文提出融合校正网络FCNet，通过拉普拉斯金字塔分解实现交替的曝光融合与校正，有效解决了单曝光校正和多曝光融合任务中任意长度曝光不当图像序列的估计问题。
2023-09-07 cs.CV eess.IV
ParamISP: Learned Forward and Inverse ISPs using Camera Parameters
POSTECH（浦项科技大学）；Samsung AI Center Toronto（三星人工智能中心多伦多分部）
针对现有基于学习的ISP方法难以适配相机参数变化的问题，本文提出ParamISP方法，通过ParamNet模块利用EXIF中的相机参数控制ISP网络，实现sRGB与RAW图像的双向高精度转换，可应用于多种图像处理任务。
2024-04-15 cs.CV eess.IV
DRL-ISP: Multi-Objective Camera ISP with Deep Reinforcement Learning
KAIST（韩国科学技术院）
在本文中，我们提出了一个多目标相机ISP框架，该框架利用深度强化学习（DRL）和相机ISP工具箱，包括基于网络的ISP工具和传统的ISP工具。所提出的基于DRL的相机ISP框架迭代地从工具箱中选择合适的工具并将其应用于图像，以最大化给定的视觉任务特定的奖励函数。为此，我们实现了总共51个ISP工具，包括曝光校正，色彩和色调校正，白平衡，锐化，去噪等。我们还提出了一个有效的DRL网络架构，可以提取图像的各个方面，并使图像和大量的动作之间的刚性映射关系。我们提出的基于DRL的ISP框架有效地提高了图像质量，根据每个视觉任务，如RAW到RGB图像复原，2D目标检测，和单目深度估计。
2022-07-07 cs.AI cs.CV cs.LG
