NTIRE 2025 Challenge on RAW Image Restoration and Super-Resolution
本文总结NTIRE 2025 RAW图像恢复与超分辨率挑战赛，聚焦RAW去模糊去噪及2倍超分任务，并展示当前最优方法。
2025-06-04 cs.CV eess.IV
RAW-Domain Degradation Models for Realistic Smartphone Super-Resolution
本文提出通过校准和未处理公开渲染图像生成不同智能手机的RAW域图像对，训练单图像RAW到RGB超分辨率模型，以提升真实场景下的超分辨率性能。
2026-03-12 cs.CV
Unveiling Hidden Details: A RAW Data-Enhanced Paradigm for Real-World Super-Resolution
本文首次提出利用RAW数据中隐藏的细节来增强真实世界图像超分辨率，构建了RealSR-RAW数据集，并设计了通用RAW适配器以高效集成到现有模型中，显著提升细节恢复与多项指标性能。
2024-11-21 cs.CV eess.IV
Exploit Camera Raw Data for Video Super-Resolution via Hidden Markov Model Inference
McMaster University（麦克马斯特大学）；University of Waterloo（滑铁卢大学）
据我们所知，现有的基于深度学习的视频超分辨率（VSR）方法仅使用摄像机系统的图像信号处理器（ISP）生成的视频作为输入。这样的方法是1）由于ISP中的不可逆操作引起的信息损失而固有地次优的，以及2）与真实成像流水线不一致，其中VSR实际上用作ISP的预处理单元。为了解决这个问题，我们提出了一种新的VSR方法，该方法可以直接利用摄像机传感器数据，并伴随着精心构建的原始视频数据集（RawVD）进行训练，验证和测试。该方法由连续深度推理（SDI）模块和重建模块等组成。SDI模块是根据隐马尔可夫模型（HMM）推理的典型分解结果所建议的架构原理设计的;它通过使用可变形卷积重复执行成对特征融合来估计目标高分辨率帧。重建模块由精心设计的基于注意力的残差密集块（ARDB）构建，其目的是1）细化融合特征，2）学习生成空间特定变换所需的颜色信息，以进行准确的颜色校正。大量的实验表明，由于相机原始数据的信息量，网络架构的有效性，以及超分辨率和颜色校正过程的分离，所提出的方法实现了优越的VSR结果相比，国家的最先进的，可以适应任何特定的相机ISP。代码和数据集可在https://github.com/proteus1991/RawVSR上获得。
2021-01-05 cs.CV eess.IV
Towards Low Light Enhancement with RAW Images
Peking University（北京大学）
在本文中，我们做了第一个基准的努力，阐述了使用RAW图像在弱光增强的优势，并开发了一种新的替代路线，以更灵活和实用的方式利用RAW图像。基于对典型图像处理流水线的充分考虑，我们提出了一种新的评价框架--因子化增强模型（FEM），它将RAW图像的属性分解为可测量的因子，并为探索RAW图像的属性如何经验地影响增强性能提供了一种工具。实证基准测试结果表明，元数据中记录的数据的线性度和曝光时间起着最关键的作用，这在各种措施中带来了明显的性能增益。考虑到从基准测试结果中获得的见解，开发了一个RAW引导曝光增强网络（REENet），该网络以仅在训练阶段使用RAW图像的方式，在实际应用中权衡RAW图像的优势和不可访问性。REENet将sRGB图像投影到线性RAW域中，对相应的RAW图像应用约束，以降低建模训练的难度。之后，在测试阶段，我们的REENet不依赖于RAW图像。实验结果不仅证明了REENet的优越性，最先进的sRGB为基础的方法，而且RAW制导和所有组件的有效性。
2021-12-28 cs.CV eess.IV
Supervised Raw Video Denoising with a Benchmark Dataset on Dynamic Scenes
Tianjin University（天津大学）
近年来，用于实际含噪图像去噪的监督学习策略不断涌现，并取得了可喜的成果。相比之下，由于缺乏动态场景的噪声-清洁对，很少研究原始噪声视频的真实噪声去除。动态场景的清晰视频帧不能像静态图像那样使用长曝光快门或平均多张照片来捕获。在本文中，我们解决了这个问题，通过创建运动的可控对象，如玩具，并捕捉每个静态时刻多次生成干净的视频帧。通过这种方式，我们构建了一个包含55组ISO值范围从1600到25600的噪声干净视频的数据集。据我们所知，这是第一个具有噪声-干净对的动态视频数据集。相应地，我们提出了一个原始视频去噪网络（RViDeNet），通过探索视频帧的时间，空间和通道相关性。由于原始视频具有拜耳模式，我们将其打包成四个子序列，即RGBG序列，分别由建议的RViDeNet去噪，最后融合成一个干净的视频。此外，我们的网络不仅输出原始去噪结果，还通过图像信号处理（ISP）模块输出sRGB结果，这使用户能够使用他们最喜欢的ISP生成sRGB结果。实验结果表明，我们的方法优于国家的最先进的视频和原始图像去噪算法在室内和室外视频。
2020-03-31 cs.CV cs.LG eess.IV
Lucas-Kanade Reloaded: End-to-End Super-Resolution from Raw Image Bursts
Inria（法国国家信息与自动化研究所）；DIENS (ENS-PSL, CNRS, Inria)（DIENS（巴黎高等师范学院-PSL，法国国家科学研究中心，法国国家信息与自动化研究所））；Univ. Grenoble Alpes（格勒诺布尔-阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；LJK（LJK（让·库尔坦研究所））；Center for Data Science, New York University（纽约大学数据科学中心）
本演示解决了从多个低分辨率快照中重建高分辨率图像的问题，这些快照是从空间和时间上略有不同的视点捕获的。解决这个问题的关键挑战包括（i）以亚像素精度对齐输入图片，（ii）处理原始（噪声）图像以最大程度地忠实于本地相机数据，以及（iii）设计/学习非常适合该任务的图像先验（正则化器）。我们解决这三个挑战的混合算法的基础上的洞察力从Wronski等人。别名是一个盟友，在这种情况下，可以学习端到端的参数，同时保留经典的方法来反问题的可解释性。我们的方法的有效性在合成和真实图像突发上得到了证明，在几个基准上设定了最新的技术水平，并在智能手机和Prosumer相机捕获的真实原始突发上提供了出色的定性结果。
2021-08-23 cs.CV eess.IV
Improving Raw Image Storage Efficiency by Exploiting Similarity
The University of Sydney（悉尼大学）；CSIRO（联邦科学与工业研究组织）
为了提高时空存储效率，研究人员深入研究了各种技术，包括压缩和重复数据删除。通过我们的评估，我们发现照片标签或局部特征等方法有助于识别原始图像之间基于内容的相似性。然后可以更有效地压缩图像，以更好地节省存储空间。此外，如果通过减少碎片化将图像存储在分布式和大规模环境中，则将类似的原始图像存储在一起能够实现快速的数据分类、搜索和检索。本文通过设计实验和观察实验结果，对压缩性进行了评价。我们发现，在统计的基础上，较高的相似性的照片，更好的压缩结果。该研究为今后大规模存储系统的设计提供了思路。
2016-04-19 cs.CV cs.DC
ERIENet: An Efficient RAW Image Enhancement Network under Low-Light Environment
Beijing Institute of Technology（北京理工大学）
ERIENet通过高效卷积模块和绿色通道引导分支，在低光照环境下实现高效的RAW图像增强，具有更高的效率和速度。
2025-12-17 cs.CV
ELMformer: Efficient Raw Image Restoration with a Locally Multiplicative Transformer
Wuhan University（武汉大学）；Horizon Robotics（地平线机器人）；Hubei Luojia Laboratory（湖北珞珈实验室）
为了获得高质量的原始图像，为下游的图像信号处理（ISP），本文提出了一种高效的局部乘法Transformer称为ELMformer的原始图像复原。ELMformer包含两个核心设计，特别是对于原始属性为单通道的原始图像。第一个设计是双向融合投影（BFP）模块，在这里我们同时考虑了原始图像的颜色特征和单通道的空间结构。第二，我们提出了一个局部乘性自注意（L-MSA）计划，有效地提供信息从本地空间的相关部分。ELMformer可以有效地减少计算量，并在原始图像复原任务中表现良好。通过这两个核心设计的增强，ELMformer实现了最高的性能，并在原始去噪和原始去模糊基准测试中保持了最低的FLOP。大量的实验证明了ELMformer的优越性和泛化能力。在SIDD基准测试中，我们的方法比基于ISP的方法具有更好的去噪性能，这些方法需要大量的额外sRGB训练图像。代码发布于https://github.com/leonmakise/ELMformer。
2022-08-31 cs.CV
CIE XYZ Net: Unprocessing Images for Low-Level Computer Vision Tasks
York University（约克大学）
相机当前允许访问两种图像状态：（i）最小处理的线性原始RGB图像状态（即，原始传感器数据）或（ii）高度处理的非线性图像状态（例如，sRGB）。有许多计算机视觉任务在线性图像状态下工作得最好，例如图像去模糊和图像去雾。不幸的是，绝大多数图像都是以非线性图像状态保存的。正因为如此，已经提出了许多方法来“unprocess”非线性图像回到原始RGB状态。然而，现有的未处理方法具有缺点，因为原始RGB图像是传感器特定的。因此，有必要知道哪台相机产生了sRGB输出，并使用为该传感器量身定制的方法或网络来正确地取消处理它。本文通过利用另一个相机图像状态来解决这一限制，该图像状态不可用作输出，但它在相机管道内可用。具体地，相机在应用非线性照片加工之前应用色度转换步骤以基于CIE XYZ颜色空间将原始RGB图像转换到设备无关空间。利用这种规范图像状态，我们提出了一个深度学习框架CIE XYZ Net，它可以将非线性图像反处理回规范CIE XYZ图像。然后，该图像可以由任何低级计算机视觉运算符处理，并重新渲染回非线性图像。我们展示了CIE XYZ Net在几个低级视觉任务上的实用性，并显示了通过这种处理框架可以获得的显著收益。代码和数据集可在https://github.com/mahmoudnafifi/CIE_XYZ_NET上公开获取。
2020-06-23 cs.CV eess.IV
High Dynamic Range and Super-Resolution from Raw Image Bursts
Inria（法国国家信息与自动化研究所）；DI/ENS (ENS-PSL, CNRS, Inria)（巴黎高等师范学院计算机系（巴黎文理研究大学巴黎高师、法国国家科学研究中心、法国国家信息与自动化研究所））；Université Paris-Saclay（巴黎萨克雷大学）；ENS Paris-Saclay（巴黎-萨克雷高等师范学院）；Centre Borelli（博雷利中心）；Center for Data Science, New York University（纽约大学数据科学中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆茨曼实验室）
由智能手机和中档相机拍摄的照片具有有限的空间分辨率和动态范围，在曝光不足区域具有噪声响应，在饱和区域具有颜色伪影。本文介绍了第一种方法（据我们所知），以重建高分辨率，高动态范围的彩色图像，从原始的摄影连拍拍摄的手持相机与包围曝光。该方法使用物理上精确的图像形成模型，将用于解决相应逆问题的迭代优化算法与用于鲁棒对准的学习图像表示和学习自然图像先验相结合。所提出的算法是快速的，与最先进的基于学习的图像复原方法相比，具有较低的内存需求，并且从合成但真实的数据中学习端到端的特征。大量的实验证明了其出色的性能与超分辨率的因素高达$\times 4$在野外拍摄的手持相机的真实照片，低光条件下，噪音，相机抖动和适度的对象运动的高鲁棒性。
2022-07-29 cs.CV eess.IV
RBSRICNN: Raw Burst Super-Resolution through Iterative Convolutional Neural Network
University of Udine（乌迪内大学）
现代数码相机和智能手机主要依靠图像信号处理（ISP）管道来生成逼真的彩色RGB图像。然而，与DSLR相机相比，由于其物理限制，在许多具有紧凑相机传感器的便携式移动设备中通常获得低质量的图像。低质量图像具有多个劣化，即，由于摄像机运动导致的子像素偏移、由于摄像机滤色器阵列导致的镶嵌图案、由于较小的摄像机传感器导致的低分辨率，以及其余信息被噪声破坏。这种退化限制了当前单图像超分辨率（SISR）方法从单个低分辨率（LR）图像恢复高分辨率（HR）图像细节的性能。在这项工作中，我们提出了一个原始突发超分辨率迭代卷积神经网络（RBSRICNN），它通过一个前向（物理）模型来跟踪整个突发摄影管道。与现有的黑盒数据驱动方法相比，所提出的Burst SR方案通过经典图像正则化、凸优化和深度学习技术解决了这个问题。建议的网络产生的最终输出的迭代细化的中间SR估计。我们证明了我们所提出的方法的有效性，在定量和定性实验中，鲁棒地推广到真正的LR突发输入，只有合成突发数据可用于训练。
2021-11-10 cs.CV cs.LG eess.IV
Robustness via Retrying: Closed-Loop Robotic Manipulation with Self-Supervised Learning
UC Berkeley（加州大学伯克利分校）
预测是行为技能的自监督学习的一个有吸引力的目标，特别是对于自主机器人。然而，有效地利用预测模型进行控制，特别是在原始图像输入的情况下，提出了许多重大挑战。预测应该如何使用？当它们不准确时会发生什么？在本文中，我们通过提出一种仅使用自主收集的经验从原始图像观察中学习机器人技能的方法来解决这些问题。我们表明，即使是一个不完美的模型，如果它可以不断重试，也可以完成复杂的任务，但这需要模型不失去目标的跟踪（例如，感兴趣的对象）。为了使机器人能够不断重试任务，我们设计了一种用于学习图像配准的自监督算法，该算法可以在试验期间跟踪感兴趣的对象。我们证明，这个想法可以与基于视频预测的控制器相结合，使复杂的行为从头开始学习，只使用原始的视觉输入，包括抓取，重新定位对象，和非可伸缩操作。我们的真实世界实验表明，使用160个机器人小时自主收集的未标记数据训练的模型能够成功执行复杂的操作任务，并且在训练过程中看不到各种各样的对象。
2018-10-06 cs.AI cs.CV cs.RO
Efficient RAW Image Deblurring with Adaptive Frequency Modulation
School of Mathematics, Tianjin University（天津大学数学学院）；School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院）
本文提出频域RAW去模糊框架FrENet，通过自适应频率位置调制和频域跳跃连接实现高质量、高效率去模糊，并可扩展至sRGB图像。
2025-09-18 cs.CV eess.IV
IDR: Self-Supervised Image Denoising via Iterative Data Refinement
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
由于缺乏大规模的噪声-干净图像对，制约了监督去噪方法在实际应用中的推广。虽然现有的无监督方法能够在没有真实干净图像的情况下学习图像去噪，但它们要么表现出较差的性能，要么在不切实际的设置下工作（例如，成对的噪声图像）。在本文中，我们提出了一种实用的无监督图像去噪方法，以实现最先进的去噪性能。该方法只需要单个噪声图像和一个噪声模型，在实际的原始图像去噪中很容易获得。它迭代地执行两个步骤：（1）从噪声模型构建具有随机噪声的噪声-噪声数据集;（2）在噪声-噪声数据集上训练模型，并使用训练的模型来细化噪声图像以获得下一轮中使用的目标。我们进一步近似我们的完整的迭代法与更有效的训练，同时保持其原有的高性能的快速算法。对真实世界、合成噪声和相关噪声的实验表明，我们提出的无监督去噪方法比现有的无监督方法具有更优越的性能，并且与监督方法具有竞争力。此外，我们认为现有的去噪数据集质量较低，并且仅包含少量场景。为了评估真实应用中的原始图像去噪性能，我们构建了一个包含500个真实场景的高质量原始图像数据集SenseNoise-500。该数据集可以作为更好地评估原始图像去噪的强大基准。代码和数据集将在https://github.com/zhangyi-3/IDR上发布
2022-03-22 cs.CV
Sparsity-based Color Image Super Resolution via Exploiting Cross Channel Constraints
The Pennsylvania State University（宾夕法尼亚州立大学）
稀疏约束下的单图像超分辨率（SR）是近年来的研究热点。典型的方法涉及经由示例LR块的字典稀疏地表示低分辨率（LR）输入图像中的块，然后使用该表示的系数经由类似的HR字典生成高分辨率（HR）输出。然而，大多数现有的用于超分辨率的稀疏表示方法集中于亮度通道信息，并且不捕获颜色通道之间的交互。在这项工作中，我们扩展基于稀疏的超分辨率到多个颜色通道，考虑到颜色信息。利用RGB颜色带之间的边缘相似性作为交叉通道相关性约束。这些额外的约束导致一个新的优化问题，这是不容易解决的，但是，提出了一个易于处理的解决方案，有效地解决它。此外，为了充分利用颜色通道之间的互补信息，还专门提出了一种字典学习方法来学习鼓励边缘相似性的颜色字典。所提出的方法的优点超过国家的最先进的表现出视觉和定量使用图像质量指标。
2016-10-04 cs.CV
BurstGP: Enhancing Raw Burst Image Super Resolution with Generative Priors
AI Center - Toronto, Samsung Electronics（多伦多AI中心、三星电子）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University Health Network（大学健康网络）；York University（约克大学）
本文提出BurstGP，一种基于扩散模型的burst图像超分辨率方法，利用生成先验解决传统方法在复杂纹理和过度平滑上的不足，通过多帧感知扩散模型和降质感知条件机制提升图像质量。
2026-04-26 cs.CV
Raw Image Reconstruction with Learned Compact Metadata
Nanyang Technological University（南洋理工大学）；Peng Cheng Lab（鹏城实验室）；The Hong Kong Polytechnic University（香港理工大学）
虽然原始图像表现出优于sRGB图像的优点（例如，线性度和细粒度量化级），但是由于大的存储需求，它们没有被普通用户广泛使用。最近的工作提出通过在原始图像像素空间中设计采样掩码来压缩原始图像，导致次优图像表示和冗余元数据。在本文中，我们提出了一个新的框架，学习一个紧凑的表示在潜在的空间作为元数据在一个端到端的方式。此外，我们提出了一种新的sRGB引导的上下文模型与改进的熵估计策略，这导致更好的重建质量，更小的元数据的大小，和更快的速度。我们说明了如何建议的原始图像压缩方案可以自适应地分配更多的位，从全球的角度来看，是重要的图像区域。实验结果表明，该方法在未压缩的sRGB图像和JPEG图像上都能以较小的元数据获得较好的原始图像重建效果。
2023-02-28 cs.CV eess.IV
Toward Efficient Deep Blind RAW Image Restoration
University of Würzburg（维尔茨堡大学）
针对sRGB域退化建模复杂的问题，本研究直接在RAW域进行图像恢复，设计了一条考虑传感器噪声、运动模糊等现实退化的新流水线，训练深度盲恢复模型，成功实现了跨相机的降噪去模糊与细节恢复。
2024-09-26 cs.CV eess.IV
LLV-FSR: Exploiting Large Language-Vision Prior for Face Super-resolution
本文提出LLV-FSR框架，结合大型视觉-语言模型与高阶视觉先验生成多元化线索，以增强特征表示并显著提升人脸超分辨率的重建与感知质量。
2024-11-14 cs.CV
Exploiting Self-Supervised Constraints in Image Super-Resolution
Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院）
本文提出一种即插即用的自监督约束SSC-SR，通过双非对称范式和指数移动平均更新目标模型提升单图像超分辨率稳定性与性能，在多个基准上优于EDSR和SwinIR。
2024-03-30 cs.CV eess.IV
Small or Far Away? Exploiting Deep Super-Resolution and Altitude Data for Aerial Animal Surveillance
University of Bristol（布里斯托大学）
高空飞行的无人机捕捉的图像越来越多地用于评估全球的生物多样性和动物种群动态。然而，尽管有超高分辨率相机，但具有挑战性的采集场景和机载图像中的微小动物识别到目前为止一直是成功应用计算机视觉探测器的限制因素。在本文中，我们解决了这个问题的第一次结合深目标探测器与超分辨率技术和高度数据。特别是，我们表明，集成的整体注意力网络为基础的超分辨率的方法和定制的高度数据开发网络到标准的识别管道可以大大提高在现实世界中的检测效率。我们在两个公共的大型空中捕获动物数据集SAVMAP和AED上评估了该系统。我们发现，所提出的方法可以持续改善消融基线和两个数据集的最先进的性能。此外，我们提供了一个系统的分析动物分辨率和检测性能之间的关系。我们的结论是，超分辨率和高度知识利用技术可以显着提高基准设置，因此，应经常使用时，检测航空图像中的动物精细解决。
2021-11-12 cs.CV
Exploiting Cross-Modal Prediction and Relation Consistency for Semi-Supervised Image Captioning
Nanjing University of Science and Technology（南京理工大学）；Baidu Inc（百度公司）；Rutgers University（罗格斯大学）
图像描述的任务旨在通过自动学习的交叉模态生成器直接从图像生成字幕。为了构建一个性能良好的生成器，现有的方法通常需要大量的描述图像，这需要大量的人工标注。然而，在现实世界的应用中，更普遍的情况是，我们只有有限数量的描述图像和大量的未描述图像。因此，如何有效地将未描述的图像组合到交叉模态生成器的学习中是一个挑战。针对这一问题，本文提出了一种基于跨模态预测和关系一致性（CPRC）的图像描述方法，该方法利用原始图像输入，将生成的句子约束在共同语义空间中。具体而言，考虑到模态间的异质性导致直接使用全局嵌入的监督困难，CPRC转而将原始图像和相应的生成语句都转换到共享语义空间中，并从两个方面对生成语句进行度量：1）预测一致性。CPRC利用对原始图像的预测作为软标签，为生成的句子提取有用的监督，而不是使用传统的伪标签; 2）关系一致性。CPRC开发了一种新的增强图像和相应的生成句子之间的关系一致性，以保留重要的关系知识。结果表明，CPRC从信息性和代表性两个角度对生成的句子进行监督，能够合理利用未描述图像，在半监督场景下学习更有效的生成器。
2021-10-28 cs.AI cs.CV
Learning-based Framework for US Signals Super-resolution
CNR-IMATI（意大利国家研究委员会IMATI研究所）；Esaote S.p.A.（意萨欧特公司）
该研究提出一种基于深度学习的超声图像与视频超分辨率框架，结合视觉插值与学习模型优化，适配多解剖区域与上采样倍率，在多项指标上优于SOTA方法，且支持本地实时预测。
2023-04-17 cs.CV cs.GR eess.IV
W-Net: Two-stage U-Net with misaligned data for raw-to-RGB mapping
Korea University（高丽大学）
最近关于学习原始Bayer图像和RGB图像之间映射的研究随着深度卷积神经网络的发展而取得了进展。一个具有挑战性的数据集，即苏黎世原始到RGB数据集（ZRR），已在AIM 2019原始到RGB映射挑战中发布。在ZRR中，输入的原始和目标RGB图像由两个不同的相机捕获，因此没有完全对齐。此外，没有提供诸如白平衡增益和颜色校正矩阵之类的相机元数据，这使得挑战更加困难。在本文中，我们将探索一种有效的网络结构和损失函数来解决这些问题。我们利用了两阶段的U-网架构，并引入了一个损失函数，是较少的变化对齐和更敏感的颜色差异。此外，我们还证明了使用不同损失函数训练的网络集合可以带来显着的性能提升。我们通过在峰值信噪比和结构相似性方面获得最高分数并在挑战中获得第二好的平均意见分数来证明我们方法的优越性。
2019-11-22 cs.CV eess.IV
Reversed Image Signal Processing and RAW Reconstruction. AIM 2022 Challenge Report
University of Würzburg（维尔茨堡大学）
摄像机捕捉传感器RAW图像，并使用其集成的图像信号处理器（ISP）将其转换为适合人眼的愉快RGB图像。由于RAW域与场景辐照度的线性关系、12位的宽范围信息和传感器设计，许多低级视觉任务在RAW域中操作（例如图像去噪、白平衡）。尽管如此，RAW图像数据集还是很稀缺，而且比已经很大的公共RGB数据集收集起来更昂贵。本文介绍了AIM 2022逆向图像信号处理和RAW重建挑战赛。我们的目标是从相应的RGB中恢复原始传感器图像，而不需要元数据，通过这样做，可以“逆转”ISP转换。所提出的方法和基准为这种低级视觉逆问题建立了最先进的技术，并且生成逼真的原始传感器读数可能有利于其他任务，如去噪和超分辨率。
2022-10-20 cs.CV eess.IV
Optimal Transport Based Unsupervised Restoration Learning Exploiting Degradation Sparsity
School of Information Science and Electronic Engineering, Shanghai Jiao Tong University, China（信息科学与电子工程学院，上海交通大学）；School of Communication Engineering, Hangzhou Dianzi University, Hangzhou, China（通信工程学院，杭州电子科技大学）
提出稀疏感知最优传输（SOT）框架，利用退化在频域的稀疏性先验减少逆映射模糊性，在超分辨率、去雨和去雾任务上显著优于标准OT及现有无监督方法，缩小与监督方法的差距。
2025-09-16 cs.CV eess.IV
Learning an Adaptive Model for Extreme Low-light Raw Image Processing
Harbin Institute of Technology（哈尔滨工业大学）
低光图像遭受严重的噪声和低照度。目前使用真实世界图像训练的深度学习模型具有出色的降噪效果，但必须手动选择比率参数才能完成增强管道。在这项工作中，我们提出了一个自适应的低光原始图像增强网络，以避免参数手工制作，提高图像质量。该方法可以分为两个子模型：亮度预测（BP）和曝光偏移（ES）。前者被设计为通过估计指导曝光时间$t_1$来控制所得到的图像的亮度。后者学习近似曝光移位算子$ES$，将具有真实曝光时间$t_0$的低光图像转换为具有指导曝光时间$t_1$的无噪声图像。此外，结构相似性损失（SSIM）和图像增强向量（IEV）的引入，以提高图像质量，并提出了一个新的校园图像数据集（CID），以克服现有数据集的局限性，并监督所提出的模型的训练。使用该模型，我们可以实现高质量的低光图像增强从一个单一的原始图像。在定量测试中，它表明，所提出的方法具有最低的噪声水平估计（NLE）得分相比，国家的最先进的低光算法，这表明一个优越的去噪性能。实验结果表明，该方法能够根据图像场景的内容自适应地控制图像的全局亮度。最后，简要讨论了其在视频处理中的潜在应用。
2020-04-22 cs.CV eess.IV
Magnitude-image based data-consistent deep learning method for MRI super resolution
Shanghai Starriver Bilingual School（上海星河湾双语学校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
磁共振成像（MRI）在临床上产生高分辨率图像用于诊断是重要的，但其采集时间长的高分辨率图像。基于深度学习的MRI超分辨率方法可以减少扫描时间，而无需复杂的序列编程，但由于训练数据和测试数据之间的差异，可能会产生额外的伪影。数据一致性层可以改善深度学习结果，但需要原始k空间数据。在这项工作中，我们提出了一种基于幅度图像的数据一致性深度学习MRI超分辨率方法，以提高超分辨率图像的质量，而无需原始k空间数据。实验结果表明，与不带数据一致性模块的相同卷积神经网络（CNN）块相比，该方法可以提高超分辨率图像的NRMSE和SSIM。
2022-09-07 cs.CV eess.IV
Handheld Multi-Frame Super-Resolution
Google Research（谷歌研究院）
与DSLR相机相比，智能手机相机具有更小的传感器，这限制了它们的空间分辨率;更小的光圈，这限制了它们的聚光能力;更小的像素，这降低了它们的信噪比。彩色滤光片阵列（CFA）的使用需要去马赛克，这进一步降低了分辨率。在本文中，我们取代了使用传统的去马赛克在单帧和突发摄影管道与多帧超分辨率算法，创建一个完整的RGB图像直接从CFA原始图像的突发。我们利用手持摄影中常见的自然手部震颤来获取具有小偏移的原始帧的突发。然后，这些帧被对齐并合并，以形成在每个像素位置具有红色、绿色和蓝色值的单个图像。这种方法，它不包括显式的去马赛克步骤，既增加图像分辨率，提高信噪比。我们的算法是鲁棒的具有挑战性的场景条件：局部运动，遮挡，或场景变化。它在大规模生产的手机上以每1200万像素RAW输入突发帧100毫秒的速度运行。具体来说，该算法是Super-Res Zoom功能的基础，也是Google旗舰手机上Night Sight模式（无论是否缩放）的默认合并方法。
2021-02-16 cs.CV eess.IV
Multi-BVOC Super-Resolution Exploiting Compounds Inter-Connection
Politecnico di Milano（米兰理工大学）
本文提出利用多种BVOC化合物间的空间关联，构建多图像超分辨率系统，融合不同化合物排放图以提升BVOC排放图分辨率，实验表明聚合不相关化合物效果最佳。
2023-06-22 cs.CV cs.LG eess.IV
Exploiting the ConvLSTM: Human Action Recognition using Raw Depth Video-Based Recurrent Neural Networks
Universidad de Alcalá（阿尔卡拉大学）
与许多其他不同领域一样，深度学习已成为大多数计算机视觉应用的主要方法，如场景理解、对象识别、人机交互或人类动作识别（HAR）。HAR的研究工作主要集中在如何有效地提取和处理视频序列的空间和时间依赖性。在本文中，我们提出并比较，两个神经网络的基础上的卷积长短期记忆单元，即ConvLSTM，在架构和长期学习策略的差异。前者使用视频长度自适应输入数据生成器（\emph{stateless}），而后者探讨了一般循环神经网络的\emph{stateful}能力，但适用于HAR的特定情况。这种有状态的属性允许模型在不损害计算机内存的情况下从先前的帧中积累有区别的模式。在大规模NTU RGB+D数据集上的实验结果表明，与最先进的方法相比，所提出的模型以较低的计算成本实现了具有竞争力的识别精度，并证明了在视频的特定情况下，很少使用的循环神经网络的状态模式显着提高了标准模式获得的准确性。无状态模型的识别准确率为75.26%（CS）和75.45%（CV），平均每个视频的识别时间为0.21 s;有状态模型的识别准确率为80.43%（CS）和79.91%（CV），平均每个视频的识别时间为0.89 s。
2020-06-13 cs.CV
Dark-ISP: Enhancing RAW Image Processing for Low-Light Object Detection
Institute of Science and Technology for Brain-inspired Intelligence, Fudan University（脑启发智能科学与技术研究院，复旦大学）
Dark-ISP提出一种轻量自适应ISP插件，直接处理Bayer RAW图像，通过可微子模块和自增强机制实现端到端低光目标检测，在三个数据集上以最少参数超越现有方法。
2025-09-11 cs.AI cs.CV
MetaISP -- Exploiting Global Scene Structure for Accurate Multi-Device Color Rendition
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
提出MetaISP模型，利用轻量级深度学习和跨协方差注意力机制学习全局场景语义，实现不同设备间色彩与局部对比度特征的精确转换，并利用元数据估计场景光源。
2024-01-06 cs.CV
Semi-Supervised Raw-to-Raw Mapping
York University（约克大学）
相机传感器的原始RGB颜色因不同传感器品牌和型号的光谱灵敏度差异而有所不同。本文主要研究不同传感器原始RGB颜色空间之间的映射。先前的工作使用成对校准来解决这个问题，以实现准确的颜色映射。尽管这种方法很准确，但不太实用，因为它需要：（1）通过两个相机设备捕获图像对，其中每个新场景中放置一个颜色校准对象;（2）颜色校准对象的准确图像对齐或手动注释。本文旨在通过一个更实用的设置来解决原始空间中的颜色映射。具体来说，我们提出了一种半监督raw-to-raw映射方法，该方法在一小组配对图像上训练，同时在每个相机设备捕获的一组未配对图像上训练。通过大量的实验，我们表明，我们的方法取得了更好的结果相比，其他领域自适应的替代品，除了单一的校准解决方案。作为这项工作的一部分，我们已经从两个不同的智能手机摄像头生成了一个新的原始图像数据集。我们的数据集包括用于半监督训练和评估的未配对和配对集。
2021-09-06 cs.CV eess.IV
Learning RAW-to-sRGB Mappings with Inaccurately Aligned Supervision
Harbin Institute of Technology（哈尔滨工业大学）；SenseTime Research（商汤科技研究院）；Pazhou Lab（琶洲实验室）
近年来，学习RAW到sRGB映射引起了越来越多的关注，其中输入的原始图像被训练成模仿由另一相机捕获的目标sRGB图像。然而，严重的颜色不一致性使得生成输入原始和目标sRGB图像的良好对齐的训练对非常具有挑战性。而使用不准确对齐的监督进行学习则容易导致像素偏移并产生模糊的结果。在本文中，我们绕过这样的问题，提出了一个联合学习模型的图像对齐和RAW到sRGB映射。为了减少图像对齐中颜色不一致的影响，我们引入了使用全局颜色映射（GCM）模块来生成给定输入原始图像的初始sRGB图像，其可以保持像素的空间位置不变，并且目标sRGB图像用于引导GCM将颜色转换到它。PWC-Net）被部署以扭曲目标sRGB图像以与GCM输出对齐。为了减轻不准确对准的监督的影响，利用变形的目标sRGB图像来学习RAW到sRGB映射。在训练过程中，GCM模块和光流网络可以分离，从而不会为推理带来额外的计算开销。实验表明，我们的方法在ZRR和SR-RAW数据集上对最先进的方法表现良好。通过我们的联合学习模型，轻量级骨干可以在ZRR数据集上实现更好的定量和定性性能。代码可在https://github.com/cszhilu1998/RAW-to-sRGB上获得。
2021-08-18 cs.CV
FoveaSPAD: Exploiting Depth Priors for Adaptive and Efficient Single-Photon 3D Imaging
University of Florida（佛罗里达大学）；Portland State University（波特兰州立大学）
针对SPAD LiDAR受环境光干扰且原始光子数据量庞大的问题，本文提出利用外部深度先验进行中央凹化引导采集与处理，在仿真和硬件仿真中将内存使用降低1548倍。
2024-12-03 cs.CV eess.IV
Self-Supervised Reversed Image Signal Processing via Reference-Guided Dynamic Parameter Selection
Sony Group Corporation（索尼集团公司）
未经处理的传感器输出（RAW图像）可能会改进低级和高级计算机视觉算法，但缺乏大规模RAW图像数据集是研究的障碍。因此，已经研究了将现有RGB图像转换为RAW图像的逆图像信号处理（ISP）。然而，大多数现有方法需要相机特定的元数据或成对的RGB和RAW图像来模拟转换，并且它们并不总是可用的。此外，在处理不同ISP和恢复全局光照方面存在问题。为了解决这些限制，我们提出了一种自监督的反向ISP方法，不需要元数据和配对的图像。所提出的方法通过基于参考RAW图像动态地选择反向ISP流水线的参数，将RGB图像转换为在与参考RAW图像相同的环境中使用相同的传感器拍摄的RAW类图像。通过从未配对的RGB和RAW图像创建的伪配对数据来训练参数选择。我们表明，所提出的方法能够学习各种反向ISP，其精度与其他最先进的监督方法相当，并将未知的RGB图像从COCO和Flickr1M转换为目标RAW类图像，在像素分布方面更准确。我们还证明了我们生成的RAW图像提高了真实RAW图像目标检测任务的性能。
2023-03-24 cs.CV eess.IV
LinSlot: Exploiting Linear Representation hypothesis for unsupervised attribute discovery from slot based object representation
Yardi School of AI, IIT Delhi（德里印度理工学院亚迪人工智能学院）；Department of Computer Science and Engineering, IIT Delhi（德里印度理工学院计算机科学与工程系）
该研究针对从原始图像学习对象与属性解耦表示的问题，提出融入线性表示假设（LRH）的LinSlot架构，联合发现对象和属性表示，在多数据集上提升了DCI分数，还可用于图像编辑。
2026-10-12 cs.AI cs.CV
C2G-Net: Exploiting Morphological Properties for Image Classification
Center for Biomarker Research in Medicine GmbH（医学标志物研究中心有限公司）；Medical University of Graz（格拉茨医科大学）；Joanneum Research Forschungsgesellschaft mbH（约阿内研究有限公司）
在本文中，我们提出了C2 G-Net，这是一种用于图像分类的管道，它利用了包含大量相似对象（如生物细胞）的图像的形态学特性。C2 G-Net由两个组件组成：（1）Cell 2Grid，一种使用分割识别对象并将其排列在网格上的图像压缩算法，以及（2）DeepLNiNo，一种CNN架构，具有不到10，000个可训练参数，旨在促进模型的可解释性。为了测试C2 G-Net的性能，我们使用多重免疫组织化学图像来预测结肠癌的复发风险。与在原始图像上训练的传统CNN架构相比，C2 G-Net实现了相似的预测精度，而训练时间减少了85%，并且其模型更容易解释。
2020-07-07 cs.CV cs.LG stat.ML
Endo-CLIP: Progressive Self-Supervised Pre-training on Raw Colonoscopy Records
Digital Medical Research Center, School of Basic Medical Sciences, Fudan University, Shanghai, China（上海复旦大学基础医学学院数字医学研究中心）；University College London, London, UK（伦敦大学学院）；Shanghai Key Laboratory of MICCAI, Shanghai, China（上海MICCAI重点实验室）；Endoscopy Center and Endoscopy Research Institute, Zhongshan Hospital, Fudan University, Shanghai, China（复旦大学中山医院内窥镜中心和内窥镜研究所）；Shanghai Collaborative Innovation Center of Endoscopy, Shanghai, China（上海内窥镜协同创新中心）；Shanghai Institute for Advanced Study of Zhejiang University, Shanghai, China（浙江大学上海高级研究院）；Alliance Manchester Business School, The University of Manchester, Manchester, UK（曼彻斯特大学曼彻斯特商业学校）；Data Science Institute, Imperial College London, London, UK（伦敦帝国理工学院数据科学研究院）
针对原始结肠镜图文记录预训练中的背景噪声、术语复杂和多息肉描述歧义问题，提出三阶段自监督框架 Endo-CLIP，并在零样本与少样本检测分类中取得优于现有方法的性能。
2025-05-14 cs.AI cs.CV
UpCycling: Semi-supervised 3D Object Detection without Sharing Raw-level Unlabeled Scenes
Seoul National University（首尔国立大学）；SK Telecom（SK电讯）
半监督学习（SSL）在自动驾驶中受到越来越多的关注，以减少3D标注的巨大负担。在本文中，我们提出了UpCycling，这是一种用于3D目标检测的新SSL框架，具有零附加原始级点云：从未标记的去识别中间特征（即，数据（数据），以保护隐私。由于这些中间特征是由推理管道自然产生的，因此在自动驾驶汽车上不需要额外的计算。然而，产生有效的一致性损失的未标记的特征级场景原来是一个关键的挑战。用于3D目标检测的最新SSL框架在未标记的原始点场景的不同增强之间实施一致性正则化，当应用于中间特征时变得有害。为了解决这个问题，我们引入了一种新的混合伪标签和特征级地面真值采样（F-GT）的组合，它安全地增强了未标记的多类型3D场景特征，并提供了高质量的监督。我们在两个代表性的3D目标检测模型上实现了UpCycling：SECOND-IoU和PV-RCNN。在广泛使用的数据集（Waymo，KITTI和Lyft）上的实验验证了UpCycling优于其他在特征级应用的增强方法。此外，在保护隐私的同时，UpCycling在领域自适应和部分标签场景中利用原始级未标记数据的最新方法中表现得更好或更好。
2023-03-16 cs.CV
Exploiting Data Hierarchy as a New Modality for Contrastive Learning
提出一种利用三元组间隔损失表示数据空间层次的层次对比训练方法，验证了数据集结构作为弱监督学习新模态的有效性。
2024-01-06 cs.AI cs.CV
SpiralDiff: Spiral Diffusion with LoRA for RGB-to-RAW Conversion Across Cameras
School of Electrical and Information Engineering, Tianjin University（天津大学电气与信息工程学院）；State key laboratory of Smart Power Distribution Equipment and System, Tianjin University（天津大学智能电力分配设备与系统国家重点实验室）
SpiralDiff通过信号依赖噪声加权策略和CamLoRA模块，提升跨相机RGB到RAW转换的重建质量及下游任务性能。
2026-03-16 cs.CV
3D Face Modeling From Diverse Raw Scan Data
Michigan State University（密歇根州立大学）
传统的3D人脸模型使用线性子空间从单个数据库的有限扫描中学习人脸的潜在表示。从不同的3D数据库中构建大规模人脸模型的主要障碍在于原始扫描之间缺乏密集的对应关系。为了解决这些问题，本文提出了一个创新的框架，从不同的原始3D扫描数据库中联合学习非线性人脸模型，并在扫描之间建立密集的点对点对应关系。具体来说，通过将输入扫描视为无组织的点云，我们探索使用PointNet架构将点云转换为身份和表情特征表示，解码器网络从中恢复其3D人脸形状。此外，我们提出了一个弱监督学习的方法，不需要对应标签的扫描。我们证明了我们提出的方法的优越的密集对应和表示能力，以及它对单图像三维人脸重建的贡献。
2019-08-13 cs.CV
Brain Segmentation from k-space with End-to-end Recurrent Attention Network
Siemens Healthineers（西门子医疗）；Rutgers University（罗格斯大学）
医学图像分割的任务通常涉及图像重建步骤，以在任何分析之前将采集的原始数据转换为图像。然而，由于重建过程中的噪声，伪影和信息丢失几乎是不可避免的，这损害了分割的最终性能。我们提出了一种新的学习框架，直接从k空间数据进行磁共振脑图像分割。端到端的框架包括一个独特的任务驱动的注意力模块，该模块反复利用中间分割估计，以促进从原始数据中的图像域特征提取，从而紧密地桥接重建和分割任务。此外，为了解决手动标记的挑战，我们引入了一种新的工作流程，通过利用成像模态模拟器和数字幻影生成标记的训练数据进行分割。大量的实验结果表明，该方法优于几个国家的最先进的方法。
2019-07-21 cs.CV
Task-Aware Image Signal Processor for Advanced Visual Perception
University of Electronic Science and Technology of China（电子科学与技术大学）；ByteDance Inc.（字节跳动公司）
提出任务感知图像信号处理框架TA-ISP，通过预测多尺度轻量调制算子生成面向任务的表示，在提升下游视觉感知精度的同时显著降低计算开销与延迟。
2025-09-17 cs.CV
RawGen: Learning Camera Raw Image Generation
Samsung Electronics（三星电子）；Yonsei University（延世大学）
RawGen通过扩散模型生成任意目标相机的原始图像，解决大规模原始数据集收集困难的问题，并提升低级视觉任务性能。
2026-03-31 cs.CV
RDDM: Practicing RAW Domain Diffusion Model for Real-world Image Restoration
Huawei Noah’s Ark Lab（华为诺亚实验室）；Max Planck Institute for Informatics（马克斯·普朗克信息研究所）
RDDM通过在RAW域直接恢复图像，克服了传统sRGB域扩散模型在高保真度与图像生成间的矛盾，提升了真实世界图像恢复的性能。
2026-02-02 cs.AI cs.CV eess.IV
Hand Pose Estimation through Semi-Supervised and Weakly-Supervised Learning
Facebook AI Research（Facebook人工智能研究院）；Université de Lyon（里昂大学）；INSA-Lyon（里昂国立应用科学学院）；CNRS（法国国家科学研究中心）；LIRIS（里昂信息、图像与信息系统实验室）；Awabot SAS（Awabot公司）；University of Guelph（圭尔夫大学）
我们提出了一种基于两种不同输入训练的深度回归器的手部姿势估计方法。原始深度数据与以将手分割成部分的形式的中间表示融合。这种中间表示包含重要的拓扑信息，并为关节位置的推理提供有用的线索。从原始深度到分割图的映射是以半/弱监督的方式从两个不同的数据集学习的：（i）通过渲染管道创建的合成数据集，包括密集标记的地面实况（逐像素分割）;和（ii）具有真实图像的数据集地面实况联合位置可用，但不是密集分割。在真实图像上训练的损失是从逐块恢复过程中产生的，该过程将试验性分割图与合成姿势的大字典对齐。基本前提是，合成数据和真实数据之间的域移位在中间表示中比在原始输入域中更小，其中标签具有几何和拓扑意义。在纽约大学数据集上的实验表明，与直接从深度数据回归关节相比，所提出的训练方法将关节上的误差减少了15.7%。
2017-09-15 cs.AI cs.CV cs.LG
VATT: Transformers for Multimodal Self-Supervised Learning from Raw Video, Audio and Text
Columbia University（哥伦比亚大学）；Google（谷歌）；Cornell University（康奈尔大学）
我们提出了一个框架，学习多模态表示从未标记的数据使用卷积自由Transformer架构。具体来说，我们的视频-音频-文本Transformer（VATT）将原始信号作为输入，并提取多模态表示，这些表示足够丰富，可以使各种下游任务受益。我们使用多模态对比损失从头开始训练VATT端到端，并通过视频动作识别、音频事件分类、图像分类和文本到视频检索等下游任务来评估其性能。此外，我们研究了一个模态不可知的，单骨干Transformer共享三个模态之间的权重。我们证明了无卷积VATT在下游任务中的性能优于最先进的基于ConvNet的架构。特别是，VATT的视觉Transformer在Kinetics-400上达到了82.1%的顶级准确率，在Kinetics-600上达到了83.6%，在Kinetics-700上达到了72.7%，在Moments in Time上达到了41.1%，这些都是新的记录，同时避免了监督式的预训练。转移到图像分类导致ImageNet上的top-1准确率为78.7%，而从头开始训练相同的Transformer的准确率为64.7%，这表明尽管视频和图像之间存在领域差距，但我们的模型具有普遍性。VATT的音频Transformer还在基于波形的音频事件识别方面创造了新纪录，在AudioSet上实现了39.4%的mAP，而无需任何监督的预训练。VATT的源代码是公开的。
2021-12-07 cs.AI cs.CV cs.LG
Exploiting T-norms for Deep Learning in Autonomous Driving
TU Wien（维也纳工业大学）
本文提出内存高效的T-范数损失函数，使自动驾驶事件检测能在有限GPU内存下利用背景知识，并在标注数据稀缺及半监督场景中提升模型性能。
2024-02-17 cs.CV cs.LG
Self-supervised Feature Learning via Exploiting Multi-modal Data for Retinal Disease Diagnosis
Stanford University（斯坦福大学）
从眼底图像中自动诊断各种视网膜疾病对于支持临床决策具有重要意义。然而，由于需要大量人工注释的数据，开发这种自动解决方案具有挑战性。最近，无监督/自监督特征学习技术受到了很多关注，因为它们不需要大量的注释。目前大多数自监督方法都是用单一成像模式进行分析的，目前还没有一种方法利用多模式图像来获得更好的结果。考虑到各种玻璃体视网膜疾病的诊断可以极大地受益于另一种成像模式，例如，FFA，本文提出了一种新的自监督特征学习方法，有效地利用多模态数据的视网膜疾病诊断。为了实现这一点，我们首先合成相应的FFA模态，然后制定一个基于患者特征的softmax嵌入目标。我们的目标学习模态不变特征和患者相似性特征。通过这种机制，神经网络捕获跨不同模态的语义共享信息和患者之间的明显视觉相似性。我们在两个用于视网膜疾病诊断的公共基准数据集上评估了我们的方法。实验结果表明，我们的方法明显优于其他自监督特征学习方法，并与监督基线相当。
2020-07-21 cs.CV
