Multi-Exposure Image Fusion Based on Exposure Compensation
Tokyo Metropolitan University(东京都立大学);Nagaoka University of Technology(长冈技术科学大学)
提出了一种基于曝光补偿的多曝光图像融合方法。多曝光图像融合是指利用不同曝光的照片,产生无色彩饱和区域的图像。然而,在传统作品中,如何确定适当的曝光值并不清楚,而且由于时间限制,很难在拍摄时设置适当的曝光值。在所提出的方法中,基于曝光值和像素值之间的关系来调整输入多重曝光图像的亮度,其中通过假设数字相机具有线性响应函数来获得该关系。还考虑使用局部对比度增强方法来改善输入多曝光图像。补偿后的图像最后通过一种现有的多曝光图像融合方法进行融合。在一些实验中,所提出的方法的有效性进行评估的色调映射图像质量指数,统计自然度,和离散熵,通过比较所提出的与传统的。
2018-06-23 cs.CV
Retinex-MEF: Retinex-based Glare Effects Aware Unsupervised Multi-Exposure Image Fusion
Xi’an Jiaotong University(西安交通大学);ETH Zürich(苏黎世联邦理工学院);Northwestern Polytechnical University(西北工业大学)
针对传统Retinex框架下多曝光图像融合无法充分建模过曝光眩光的问题,提出无监督可控的Retinex-MEF方法,通过共享反射率分解与双向损失缓解眩光,结合可控融合准则实现灵活曝光调整,经多类数据集验证性能优异。
2025-08-01 cs.CV
A Dual Domain Multi-exposure Image Fusion Network based on the Spatial-Frequency Integration
Xidian University(西安电子科技大学);Chongqing University of Posts and Telecommunications(重庆邮电大学)
针对现有多曝光图像融合方法忽略频域全局建模能力的问题,提出空频融合框架MEF-SFI,通过双域路径与融合模块实现高效交互,在PQA-MEF数据集上取得优于现有方法的融合效果。
2023-12-17 cs.CV
A Bio-Inspired Multi-Exposure Fusion Framework for Low-light Image Enhancement
Peking University(北京大学)
低光照图像由于其低可见度而不利于人类观察和计算机视觉算法。虽然已经提出了许多图像增强技术来解决这个问题,现有的方法不可避免地引入对比度不足和过度增强。受人类视觉系统的启发,我们设计了一个用于弱光图像增强的多曝光融合框架。基于该框架,我们提出了一种双曝光融合算法,以提供准确的对比度和亮度增强。具体来说,我们首先设计的权重矩阵的图像融合使用光照估计技术。然后,我们引入我们的相机响应模型来合成多曝光图像。接下来,我们找到最佳曝光比率,使得合成图像在原始图像曝光不足的区域中曝光良好。最后根据权值矩阵对输入图像和合成图像进行融合,得到增强结果。实验表明,我们的方法可以得到更少的对比度和亮度失真的结果相比,几个国家的最先进的方法。
2017-11-02 cs.CV
Learnable Exposure Fusion for Dynamic Scenes
Huawei German Research Center(华为德国研究中心);Technical University of Munich(慕尼黑工业大学)
在本文中,我们专注于动态场景的曝光融合(EF)[ExposFusi2]。任务是融合多个通过包围曝光获得的图像,以创建包含高水平细节的图像。通常,由于硬件限制,这样的图像不可能直接从相机获得,传感器的有限动态范围。这样的任务的一个主要问题是,由于场景运动或相机运动,图像可能不会在空间上对齐。已知图像配准问题所需的对准是不适定的。在这种情况下,要对齐的图像在其强度范围内变化,这使得问题更加困难。为了解决上述问题,我们提出了一个端到端的\emph{Convolutional Neural Network}(CNN)为基础的方法来学习估计曝光融合从$2$和$3$低动态范围(LDR)图像描绘不同的场景内容。据我们所知,在文献中找不到有效和强大的基于CNN的端到端方法来解决此类问题。我们的想法是创建一个数据集与完美对齐的LDR图像,以获得地面实况曝光融合图像。同时,我们获得了具有一些运动的附加LDR图像,其具有与完美对准的LDR图像相同的曝光融合地面实况。这样,我们可以训练具有未对准的LDR输入图像但具有适当的地面实况曝光融合图像的端到端CNN。我们提出了一个具体的CNN架构来解决这个问题。在各种实验中,我们表明,所提出的方法产生优异的结果。
2018-04-04 cs.CV
Variational Approach for Intensity Domain Multi-exposure Image Fusion
Chandigarh Engineering College(昌迪加尔工程学院);Thapar Institute of Engineering & Technology, University(塔帕尔工程技术大学)
最近的创新表明,混合的细节捕获的单个低动态范围(LDR)传感器克服了标准的数码相机的限制,以捕捉细节的高动态范围场景。我们提出了一种方法来产生曝光良好的融合图像,可以直接显示在传统的显示器。其目标是在照明不足和照明明亮的区域保留细节。所提出的方法不需要真正的辐射重建和色调操作步骤。上述目标是通过考虑局部信息测量来实现的,该局部信息测量在输入曝光中选择曝光良好的区域。此外,对比度限制自适应直方图均衡(CLAHE)的引入,以提高输入的多曝光图像的均匀性融合之前。
2022-07-09 cs.CV
TransMEF: A Transformer-Based Multi-Exposure Image Fusion Framework using Self-Supervised Multi-Task Learning
Digital Medical Research Center, School of Basic Medical Science, Fudan University(复旦大学基础医学院数字医学研究中心);Shanghai Key Lab of Medical Image Computing and Computer Assisted Intervention(上海市医学图像计算与计算机辅助干预重点实验室)
在本文中,我们提出了transMEF,一个基于transformer的多曝光图像融合框架,使用自监督多任务学习。该框架基于编码器-解码器网络,该网络可以在大型自然图像数据集上进行训练,并且不需要地面真值融合图像。根据多次曝光图像的特点,设计了三个自监督重建任务,并采用多任务学习的方法同时进行这些任务,通过这个过程,网络可以学习多次曝光图像的特征,并提取更广义的特征。此外,为了弥补在基于CNN的架构中建立远程依赖关系的缺陷,我们设计了一个编码器,该编码器将CNN模块与Transformer模块相结合。这种组合使网络能够同时关注本地和全球信息。我们在最新发布的多曝光图像融合基准数据集上对我们的方法进行了评估,并将其与11种具有竞争力的传统方法和基于深度学习的方法进行了比较,我们的方法在主观和客观评估中均取得了最佳性能。
2021-12-15 cs.CV
LightFuse: Lightweight CNN based Dual-exposure Fusion
Schulich School of Engineering, University of Calgary(卡尔加里大学舒立克工程学院);School of Engineering, Westlake University(西湖大学工程学院)
深度卷积神经网络(DCNN)最近已经辅助高动态范围(HDR)成像并且已经受到很多关注。DCNN生成的HDR图像的质量优于传统的同类产品。然而,DCNN往往是计算密集型和耗电的,因此不能在具有有限功率和硬件资源的各种嵌入式计算平台上实现。嵌入式系统拥有巨大的市场,利用DCNN的强大功能将进一步减少人为干预。为了应对这一挑战,我们提出了Lightweight,这是一种轻量级的基于CNN的极端双曝光图像融合算法,它比传统的DCNN实现了更好的功能,并且可以部署在嵌入式系统中。使用两个子网:GlobalNet(G)和DetailNet(D)。G的目标是学习空间维度上的全局光照信息,而D旨在增强通道维度上的局部细节。G和D都只基于深度卷积(D_Conv)和逐点卷积(P_Conv),以减少所需的参数和计算。实验结果表明,该技术可以生成HDR图像中的极端暴露的区域有足够的细节是清晰的。我们的模型优于其他国家的最先进的方法在峰值信噪比(PSNR)得分为0.9至8.7,同时实现16.7至306.2倍的参数减少。
2022-09-22 cs.CV eess.IV
PAS-MEF: Multi-exposure image fusion based on principal component analysis, adaptive well-exposedness and saliency map
Izmir University of Economics(伊兹密尔经济大学)
高动态范围(HDR)成像能够使自然场景以类似于人类观察者感知的方式永生化。利用常规的低动态范围(LDR)捕获/显示器设备,由于自然场景的巨大动态范围,可能无法在图像中保留重要细节。为了最大限度地减少信息损失,并为LDR屏幕生成高质量的类HDR图像,本研究提出了一种高效的多曝光融合(MEF)方法,该方法具有简单而有效的权重提取方法,该方法依赖于主成分分析,自适应曝光度和显着性图。这些权重图稍后通过引导滤波器进行细化,并且通过采用金字塔分解进行融合。与现有技术的实验比较表明,该方法产生非常强大的统计和视觉效果。
2021-05-25 cs.CV
Multi-Exposure Image Fusion via Distilled 3D LUT Grid with Editable Mode
Fuzhou University(福州大学);Sun Yat-sen University(中山大学)
针对超高分辨率实时多曝光图像融合难题,提出基于师生网络建模不确定性的蒸馏3D LUT网格方法,并引入隐式表示函数实现可编辑模式,在效率与精度上均具竞争力。
2024-12-18 cs.CV
Handheld Burst Super-Resolution Meets Multi-Exposure Satellite Imagery
Université Paris-Saclay(巴黎萨克雷大学);ENS Paris-Saclay(巴黎萨克雷高等师范学院);CNRS(法国国家科学研究中心);Centre Borelli(博雷利中心)
图像分辨率是基于卫星图像的许多应用的重要标准。在这项工作中,我们采用了最先进的核回归技术,用于智能手机相机突发超分辨率卫星。该技术利用图像的局部结构来优化融合内核,限制最终高分辨率预测中的模糊,对图像进行降噪,并将细节恢复到缩放因子2。我们将这种方法扩展到多次曝光的情况下,从一系列的多次曝光的低分辨率帧的高分辨率和无噪声的预测。在单次曝光和多次曝光场景下的实验表明了该方法的优点。由于融合是无学习的,所提出的方法是确保不幻觉的细节,这是许多遥感应用的关键。
2023-03-10 cs.CV eess.IV
Attention-Guided Progressive Neural Texture Fusion for High Dynamic Range Image Restoration
Hong Kong Baptist University(香港浸会大学);Institute of High Performance Computing, A*STAR(新加坡科技研究局高性能计算研究院);vivo Mobile Communication Co. Ltd(维沃移动通信有限公司);City University of Hong Kong(香港城市大学);Nanyang Technological University(南洋理工大学)
通过多次曝光融合的高动态范围(HDR)成像是大多数现代成像平台的重要任务。尽管最近在硬件和算法创新方面取得了进展,但在由饱和度、运动和在多曝光融合期间引入的各种伪影(诸如重影、噪声和模糊)引起的内容关联模糊性方面仍然存在挑战。在这项工作中,我们提出了一个注意力引导的渐进神经纹理融合(APNT融合)HDR恢复模型,旨在解决这些问题在一个框架内。提出了一种有效的双流结构,分别侧重于饱和区域的纹理特征转移和多曝光色调和纹理特征融合。提出了一种神经特征传递机制,该机制基于掩蔽饱和HDR域中的多尺度VGG特征在不同曝光之间建立空间对应关系,以在模糊图像区域上提供有区别的上下文线索。设计了渐进式纹理融合模块,实现了对编码后的双流特征的多尺度渐进式融合。此外,我们还介绍了几种新的注意机制,即,运动注意模块检测并抑制参考图像之间的内容差异;饱和度注意模块便于区分由饱和度引起的未对准和由运动引起的未对准;以及比例注意模块确保不同编码器/解码器比例之间的纹理混合一致性。我们进行了全面的定性和定量评估和消融研究,验证了这些新模块在相同的框架下一致地工作,并优于最先进的方法。
2021-07-13 cs.CV eess.IV
Holistic Dynamic Frequency Transformer for Image Fusion and Exposure Correction
School of Biomedical Engineering and Instrument Science, Zhejiang University(浙江大学生物医学工程与仪器科学学院);School of Software Technology, Dalian University of Technology(大连理工大学软件学院);School of Mechanical Engineering, Dalian University of Technology(大连理工大学机械工程学院)
本文提出整体动态频率 Transformer,利用频率注意力、动态前馈网络与 Laplacian 金字塔统一低光增强、曝光校正和多曝光融合,并在主流基准上达到最先进性能。
2024-08-03 cs.CV
MEFLUT: Unsupervised 1D Lookup Tables for Multi-exposure Image Fusion
Megvii Technology(旷视科技);University of Electronic Science and Technology of China(电子科技大学)
本文提出MEFLUT方法,通过为每个曝光学习一维查找表并结合多维注意力机制,实现高质量、高效的多曝光图像融合,并在多个数据集上超越现有最优方法。
2023-09-21 cs.CV
Temporal Image Fusion
University of Toronto at Scarborough(多伦多大学士嘉堡分校)
本文介绍了时域图像融合。所提出的技术建立在以前的研究曝光融合,并将其扩展到处理现有的传感器和相机技术的有限的时间动态范围。特别地,时间图像融合使得能够在全帧速率视频上呈现长曝光效果,以及从随时间拍摄的同一场景的图像序列生成任意长曝光。我们探讨了时间曝光不足的问题,并展示了如何通过选择性地增强动态结构来解决这个问题。最后,我们表明,使用时间图像融合与内容选择性图像滤波器可以产生一系列惊人的视觉效果在一个给定的输入序列。
2014-03-01 cs.CV cs.GR
Multi-Grained Text-Guided Image Fusion for Multi-Exposure and Multi-Focus Scenarios
Xidian University(西安电子科技大学);Nanyang Technological University(新加坡国立大学);Xi’an University of Technology(西安理工大学)
本文提出MTIF方法,通过多粒度文本描述和跨模态调节模块提升多曝光和多聚焦图像融合性能。
2025-12-23 cs.CV
Self-Supervised Super-Resolution for Multi-Exposure Push-Frame Satellites
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);ENS Paris-Saclay(巴黎萨克雷高等师范学院);Centre Borelli(博雷利中心);Kayrros SAS(凯罗斯公司)
现代地球观测卫星捕捉多曝光的推帧图像,可以通过计算手段进行超分辨率。在这项工作中,我们提出了一个超分辨率的方法,这样的多次曝光序列,一个问题,在文献中很少受到关注。所提出的方法可以处理输入中的信号相关噪声,处理任何长度的序列,并且对曝光时间的不准确性具有鲁棒性。此外,它可以通过自我监督进行端到端的训练,而不需要地面真实高分辨率帧,这使得它特别适合处理真实数据。我们的方法的核心是三个关键贡献:i)用于处理曝光时间中的错误的基本细节分解,ii)用于改进具有不同信噪比的帧的融合的噪声水平感知特征编码和iii)通过时间池算子的置换不变融合策略。我们评估所提出的方法的合成和真实的数据,并表明它优于现有的单次曝光的方法,我们适应了多次曝光的情况下,一个显着的利润率。
2022-05-04 cs.CV eess.IV
Searching a Compact Architecture for Robust Multi-Exposure Image Fusion
Dalian University of Technology(大连理工大学)
本文提出一种基于架构搜索的多重曝光图像融合范式,结合自对齐与细节补全模块解决像素未对齐和低效推理问题,在提升PSNR的同时显著减少推理时间。
2024-08-26 cs.CV
Low-light Image Restoration with Short- and Long-exposure Raw Pairs
Zhejiang University(浙江大学)
使用手持移动设备进行低光成像是一个具有挑战性的问题。受现有模型和训练数据的限制,大多数现有方法不能有效地应用于实际场景。本文提出了一种利用短曝光和长曝光图像互补信息的弱光图像复原方法。我们首先提出了一种新的数据生成方法,通过模拟低光环境下的成像流水线来合成逼真的短曝光和长曝光原始图像。针对微光图像融合中存在的高噪声、运动模糊、色彩失真和错位等问题,设计了一种新的长短曝光融合网络(LSFNet)。LSFNet以短曝光和长曝光的原始图像对作为输入,并输出清晰的RGB图像。使用我们的数据生成方法和所提出的LSFNet,我们可以恢复原始场景的细节和颜色,并有效地提高低光照图像的质量。实验表明,我们的方法可以优于国家的最先进的方法。
2021-02-28 cs.CV eess.IV
NTIRE 2026 The 3rd Restore Any Image Model (RAIM) Challenge: Multi-Exposure Image Fusion in Dynamic Scenes (Track 2)
本文提出NTIRE 2026挑战,针对动态场景中多曝光图像融合的HDR成像难题,提供包含100训练序列和100测试序列的基准数据集,评估PSNR、SSIM、LPIPS等指标及感知质量,最终由114支队伍提交987份方案,提升去噪和细节恢复能力。
2026-04-10 cs.CV
Scene-Segmentation-Based Exposure Compensation for Tone Mapping of High Dynamic Range Scenes
Tokai University(东海大学);Tokyo Metropolitan University(东京都立大学)
针对多曝光融合色调映射中曝光值选择不当的问题,提出基于亮度场景分割并保持亮度关系的曝光补偿及改进融合权重方法,TMQI实验优于三种典型方法。
2024-10-21 cs.CV eess.IV
Deep unfolding Network for Hyperspectral Image Super-Resolution with Automatic Exposure Correction
提出UHSR-AEC深度展开网络,联合低光增强与超分辨率,自动校正曝光,在极端光照下生成高质量高光谱融合图像,性能优于现有基准方法。
2024-03-14 cs.CV eess.IV
Little Strokes Fell Great Oaks: Boosting the Hierarchical Features for Multi-exposure Image Fusion
College of Computer Science and Technology, Zhejiang University of Technology(浙江工业大学计算机科学与技术学院);School of Mechanical Engineering, Dalian University of Technology(大连理工大学机械工程学院)
针对多曝光图像融合中源信息利用不足与色彩去饱和问题,提出 gamma 校正模块、自注意力改进 transformer 块及色彩增强算法,以提升层次特征并兼顾细节与饱和度。
2024-04-10 cs.CV
EPOFusion: Exposure aware Progressive Optimization Method for Infrared and Visible Image Fusion
College of Information Engineering, Zhejiang University of Technology(浙江工业大学信息工程学院);College of Information Science and Technology, Zhejiang Shuren University(浙江树人大学信息科技学院);Department of Electrical and Electronic Engineering, The University of Hong Kong(香港大学电机电子工程系)
本文提出EPOFusion方法,通过引入指导模块和迭代解码器提升曝光区域的融合效果,同时构建首个高质红外引导标注的曝光数据集,实验表明其在视觉保真度和下游任务表现上优于现有方法。
2026-09-17 cs.CV
HDR Imaging with Spatially Varying Signal-to-Noise Ratios
Purdue University(普渡大学)
本文针对低光HDR成像中单次曝光内空间变化噪声与宽动态范围共存的问题,提出SV-HDR融合网络,通过多尺度Transformer框架中的曝光共享模块同时去噪和融合,性能优于现有方法。
2023-04-16 cs.CV eess.IV
Array Camera Image Fusion using Physics-Aware Transformers
Duke University(杜克大学);University of Arizona(亚利桑那大学)
我们展示了一个物理感知的Transformer,用于从具有不同分辨率、颜色空间、焦平面、焦距和曝光的相机进行基于特征的数据融合。我们还展示了一个可扩展的解决方案,合成训练数据生成的Transformer使用开源计算机图形软件。我们展示了不同的光谱响应,瞬时视场和帧速率的阵列上的图像合成。
2022-07-05 cs.CV eess.IV
Ultra-High-Definition Dynamic Multi-Exposure Image Fusion via Infinite Pixel Learning
Sun Yat-sen University(中山大学);Jimei University(集美大学);The State University of New York at Buffalo(纽约州立大学布法罗分校);Fuzhou University(福州大学)
针对超高清晰度动态多曝光图像融合,提出无限像素学习方法,通过序列切分、注意力缓存及其压缩,在单消费级GPU上实现实时高质量融合,并提供新基准验证效果。
2024-12-16 cs.CV
Hybrid-Supervised Dual-Search: Leveraging Automatic Learning for Loss-free Multi-Exposure Image Fusion
School of Software Technology, Dalian University of Technology(大连理工大学软件学院);School of Mechanical Engineering, Dalian University of Technology(大连理工大学机械工程学院);DUT-RU International School of Information Science & Engineering, Dalian University of Technology(大连理工大学盘锦国际信息科学与工程学院)
本文提出HSDS-MEF,一种混合监督双搜索方法,通过双层优化自动设计网络结构和损失函数,解决多曝光图像融合中的颜色失真和曝光伪影问题,在VIF指标上分别提升10.61%和4.38%。
2023-09-03 cs.CV
A Perceptually Optimized and Self-Calibrated Tone Mapping Operator
City University of Hong Kong(香港城市大学);Jiangxi University of Finance and Economics(江西财经大学)
针对HDR摄影的色调映射需求,提出两阶段神经网络TMO,结合人类视觉机制与感知指标优化,通过自校准支持未校准HDR图像,实现更优视觉质量与更快局部处理速度。
2023-08-25 cs.AI cs.CV eess.IV
Anisotropic Diffusion for Details Enhancement in Multi-Exposure Image Fusion
Baddi University of Emerging Sciences and Technology(巴迪新兴科学与技术大学);Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Jaypee University of Information Technology(贾佩信息技术大学)
提出了一种基于纹理特征的多曝光图像融合方法,该方法利用了基于偏微分方程(PDE)的非线性扩散滤波器的边缘保持和区域内平滑特性。对于采集到的多曝光图像序列,我们首先将图像分解为基本层和细节层,分别提取清晰细节和精细细节。利用图像强度的梯度的大小来鼓励均匀区域处的平滑度优于非均匀区域。然后,我们考虑了基层的纹理特征以生成掩模(即,决策掩模),以多分辨率方式引导基本层的融合。最后,得到曝光良好的融合图像,其在所有输入曝光的每个尺度下组合融合的基层和细节层。所提出的算法跳过复杂的高动态范围图像(HDRI)生成和色调映射步骤,以产生细节保留图像,用于在标准动态范围显示器上显示。此外,我们的技术是有效的混合闪光灯/无闪光灯的图像对和多焦点图像,即图像集中在不同的目标。
2013-07-10 cs.CV cs.MM
EMEF: Ensemble Multi-Exposure Image Fusion
School of Informatics, Xiamen University(厦门大学信息学院)
针对多曝光图像融合缺乏真实参考标准、客观评价函数和鲁棒融合策略的问题,提出EMEF集成框架,通过预训练模仿器网络和运行时风格代码优化,融合多种现有方法的优势,在最新基准数据集上取得最优融合效果。
2023-05-22 cs.AI cs.CV
Ranking Infrared-Visible Fusion the Way Humans Do: A Learned Pairwise Preference Measure
针对红外-可见光图像融合缺乏理想参考、成对比较成本高的问题,提出LPIFM模型,利用新偏好语料库训练,可准确复现人类成对判断,性能优于传统度量,还公开了相关数据集与代码。
2026-09-17 cs.AI cs.CV
3D modelling of survey scene from images enhanced with a multi-exposure fusion
City University of Hong Kong(香港城市大学)
在目前的实践中,现场测量由工人使用全站仪进行。该方法具有较高的准确度,但如果需要连续监测,则成本较高。以摄影测量为基础的技术,以相对廉价的数码相机为基础,在许多领域得到了广泛的应用。除了点测量,摄影测量还可以创建场景的三维(3D)模型。精确的三维模型重建依赖于高质量的图像。退化的图像将导致重建的3D模型中的大的误差。在本文中,我们提出了一种方法,可以用来提高图像的可见性,并最终减少三维场景模型的错误。这个想法的灵感来自图像去雾。每个原始图像首先通过伽马校正操作和自适应直方图均衡化被转换成多个曝光图像。通过计算局部二值模式来分析变换后的图像。然后,图像被增强,其中,从由局部图案特征和图像饱和度的函数加权的经变换的图像像素的集合生成的每个像素。性能评估已经在基准图像去雾数据集上进行。已经进行了室外和室内调查实验。我们的分析发现,该方法适用于室外和室内图像中存在的不同类型的退化。当输入摄影测量软件时,增强的图像可以重建具有亚毫米平均误差的3D场景模型。
2021-11-10 cs.CV
Iterative Inference-time Scaling with Adaptive Frequency Steering for Image Super-Resolution
University of Science and Technology of China(中国科学技术大学)
本文提出IAFS框架,通过迭代精炼和频率感知粒子融合,解决图像超分辨率中感知质量与结构保真度的平衡问题,实验表明其在多模型上均优于现有方法。
2026-04-13 cs.CV
Beyond Pixel Fidelity: Minimizing Perceptual Distortion and Color Bias in Night Photography Rendering
Bahçeşehir University Department of Artificial Intelligence Engineering İstanbul, Türkiye(贝勒谢尔大学人工智能工程系伊斯坦布尔)
本文提出pHVI-ISPNet框架,通过改进的HVI颜色空间和四种关键优化方法,提升夜景摄影的视觉质量和颜色一致性,实验证明在CIE2000色差和LPIPS指标上达到新水平。
2026-04-30 cs.CV
Blind Image Quality Assessment via Transformer Predicted Error Map and Perceptual Quality Token
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Lucerne University of Applied Sciences and Arts(卢塞恩应用科学与艺术大学)
提出一种基于Transformer的无参考图像质量评估模型,通过预训练模型生成预测误差图并结合视觉Transformer提取感知质量令牌进行特征融合,在真实和合成图像数据库上均超越现有最先进方法。
2023-05-16 cs.CV eess.IV
Deep Convolutional Sparse Coding Networks for Image Fusion
Xi’an Jiaotong University(西安交通大学)
图像融合在包括数字摄影、计算成像和遥感等许多领域都是一个重要的问题。最近,深度学习已经成为图像融合的重要工具。本文提出了三种深度卷积稀疏编码(CSC)网络,用于三种图像融合任务(即,红外和可见光图像融合、多次曝光图像融合和多模态图像融合)。CSC模型和迭代收缩阈值算法被推广到字典卷积单元。因此,所有超参数都是从数据中学习的。我们广泛的实验和全面的比较揭示了所提出的网络在定量评估和视觉检查方面的优越性。
2020-05-18 cs.CV cs.MM eess.IV
Image Fusion and Re-Modified SPIHT for Fused Image
本文提出了基于离散小波的融合技术,结合感知重要的图像特征。SPIHT(Set Partitioning in Hierarchical Trees)算法是一种有效的融合图像无损和有损编码方法。本文对SPIHT算法作了一些改进。该方法基于中高频子带间小波系数相关性不显著的思想。在RE-MSPIHT算法中,小波系数在SPIHT编码之前根据子带重要性进行缩放,目标是最小化MSE。
2012-02-29 cs.CV
Bridging Human Evaluation to Infrared and Visible Image Fusion
School of Mechanical Engineering, Dalian University of Technology(大连理工大学机械工程学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);School of Software Technology & DUT-RU International School of ISE, Dalian University of Technology(大连理工大学软件学院);College of Information Science and Technology, Dalian Maritime University(大连海事大学信息科学与技术学院)
本文提出了一种反馈强化框架,通过引入大规模人类反馈数据集和领域特定奖励函数,提升红外与可见图像融合的感知质量,使其更符合人类审美。
2026-03-04 cs.CV
Boosting Image Quality Assessment Performance: Unsupervised Score Fusion by Deep Maximum a Posteriori Estimation
University of Waterloo, Canada(加拿大滑铁卢大学);McMaster University, Canada(加拿大麦马斯特大学)
提出一种基于深度最大后验估计的无监督图像质量评估分数融合框架,通过细粒度不确定性估计提高融合预测的准确性并降低不确定性。
2026-05-28 cs.CV eess.IV
TransFuse: A Unified Transformer-based Image Fusion Framework using Self-supervised Learning
Fudan University(复旦大学)
图像融合是一种将多个源图像的信息与互补信息相结合,以提高单个图像的丰富性的技术。现有的端到端图像融合方法由于缺乏针对特定任务的训练数据和相应的地面真值,容易陷入过拟合或繁琐的参数优化过程。两阶段方法通过在大规模自然图像数据集上训练编解码器网络,并利用提取的特征进行融合,避免了对大量特定任务训练数据的需求,但自然图像与不同融合任务之间的领域差距导致了性能的限制。在这项研究中,我们设计了一种新的基于编码器-解码器的图像融合框架,并提出了一种基于破坏-重建的自监督训练方案,以鼓励网络学习特定于任务的特征。具体而言,我们提出了三种破坏-重建自监督辅助任务,分别用于基于像素强度非线性变换、亮度变换和噪声变换的多模态图像融合、多曝光图像融合和多聚焦图像融合。为了鼓励不同的融合任务相互促进,提高训练网络的泛化能力,我们通过随机选择其中一个来整合三个自监督辅助任务,以在模型训练中破坏自然图像。此外,我们设计了一个新的编码器,结合CNN和Transformer进行特征提取,使训练的模型可以利用局部和全局信息。在多模态图像融合、多曝光图像融合和多聚焦图像融合任务上的大量实验表明,该方法在主观和客观评价方面都达到了最先进的性能。该代码将很快公开。
2022-01-19 cs.CV
Visible and Infrared Image Fusion Using Encoder-Decoder Network
Middle East Technical University(中东技术大学)
针对多光谱图像融合提升感知质量的需求,提出仅用卷积、池化层结合无参考损失的编解码融合方法,在多数据集上性能优于SOTA,且可在嵌入式设备实时运行。
2024-12-11 cs.CV cs.LG eess.IV
MSTRIQ: No Reference Image Quality Assessment Based on Swin Transformer with Multi-Stage Fusion
ByteDance Inc(字节跳动公司)
由于图像质量在图像采集、传输、增强等过程中会发生劣化,因此自动测量图像的感知质量是计算机视觉领域的一项重要任务。许多图像质量评估(IQA)算法已经被设计来解决这个问题。然而,由于各种类型的图像失真和缺乏大规模的人类评级数据集,它仍然没有得到解决。在本文中,我们提出了一种基于Swin Transformer [31]的新算法,该算法具有多个阶段的融合特征,它聚合了来自局部和全局特征的信息,以更好地预测质量。为了解决小规模数据集的问题,考虑了图像的相对排名以及回归损失,以同时优化模型。此外,有效的数据增强策略也被用来提高性能。与以往的工作相比,实验进行了两个标准的IQA数据集和挑战数据集。结果证明了我们工作的有效性。所提出的方法在标准数据集上优于其他方法,并在NTIRE 2022感知图像质量评估挑战赛的无参考轨道中排名第二[53]。实验结果表明,该方法在解决各种IQA问题上具有良好的应用前景。
2022-05-23 cs.CV
Perception-Distortion Trade-off in the SR Space Spanned by Flow Models
Koç University(科奇大学);Hacettepe University(哈塞特佩大学)
基于流的生成式超分辨率(SR)模型学习产生一组不同的可行SR解决方案,称为SR空间。SR解的多样性随着潜变量的温度($τ$)而增加,这在样本解之间引入了纹理的随机变化,导致视觉伪影和低保真度。在本文中,我们提出了一个简单但有效的图像集成/融合方法,以获得一个单一的SR图像消除随机伪影,提高保真度,而不会显着损害感知质量。我们实现这一点,受益于一组不同的可行的照片般逼真的解决方案,在SR空间跨越流模型。我们提出了不同的图像集成和融合策略,提供了多条路径,以可控的方式将SR空间中的样本解决方案移动到感知失真平面中更期望的目的地,这取决于手头任务的保真度与感知质量要求。实验结果表明,我们的图像集成/融合策略实现了更有前途的感知失真权衡相比,样本SR图像产生的流模型和adversarially训练模型的定量指标和视觉质量。
2022-09-18 cs.CV cs.LG eess.IV
High Dynamic Range Imaging by Perceptual Logarithmic Exposure Merging
University ”Politehnica” of Bucharest(布加勒斯特理工大学)
在本文中,我们强调了对数型图像处理(LTIP)模型和人类视觉系统(HVS)的Naka-Rushton模型之间的相似性。LTIP是对数图像处理(LIP)的一个衍生,它进一步用多项式函数的比率代替对数函数。基于这种相似性,我们表明,有可能提出一个统一的框架的高动态范围(HDR)成像问题,即执行曝光合并下的LTIP模型是相当于标准的辐照度图融合。由此产生的HDR算法被证明提供高质量的主观和客观评价。
2015-06-03 cs.CV
A residual dense vision transformer for medical image super-resolution with segmentation-based perceptual loss fine-tuning
University of Cambridge(剑桥大学);Imperial College London(帝国理工学院);Royal Brompton Hospital(皇家布朗普顿医院)
超分辨率在医学成像中起着至关重要的作用,因为它提供了一种替代方法来实现高空间分辨率和图像质量,而无需额外的采集成本。在过去的几十年里,深度神经网络的快速发展促进了超分辨率性能,具有新颖的网络架构,损失函数和评估指标。具体来说,Vision Transformers在广泛的计算机视觉任务中占主导地位,但在将其应用于低级医疗图像处理任务时仍然存在挑战。本文提出了一种有效的Vision Transformer与剩余密集连接和局部特征融合,以实现有效的单图像超分辨率(SISR)的医疗模式。此外,我们实现了一个通用的感知损失与手动控制图像质量的改善所需的方面,通过将医学图像分割的先验知识。在四个公共医学图像数据集上与现有方法进行比较,在七种模态中,该方法在六种模态下获得了最好的PSNR分数。该算法仅用SwinIR的38%的参数就能使PSNR平均提高$+0.09$ dB.另一方面,对于SOTA方法,包括CNN和Vision Transformers,基于分割的感知损失平均增加了$+0.14$ dB PSNR。此外,我们还进行了全面的消融研究,以讨论Vision Transformers优于CNN的潜在因素以及网络和损失功能组件的影响。代码将与论文一起发布在GitHub上。
2023-03-03 cs.CV cs.LG eess.IV
Deep Exposure Fusion with Deghosting via Homography Estimation and Attention Learning
National Taiwan University(国立台湾大学)
现代相机具有有限的动态范围,并且通常使用单次曝光产生具有饱和或暗区域的图像。虽然这个问题可以通过拍摄具有不同曝光的多个图像来解决,但是曝光融合方法需要处理由相机运动或移动物体引起的重影伪影和细节丢失。本文提出了一种用于曝光融合的深度网络。为了减少潜在的重影问题,我们的网络只拍摄两张图像,一张曝光不足的图像和一张曝光过度的图像。我们的网络集成了单应性估计来补偿相机运动,注意力机制来纠正剩余的未对准和移动像素,以及对抗性学习来减轻其他剩余的伪影。在手持手机拍摄的真实照片上的实验表明,该方法可以生成高质量的图像,在黑暗和明亮的区域具有真实的细节和生动的色彩还原。
2020-04-20 cs.CV eess.IV
Learning to Observe: Approximating Human Perceptual Thresholds for Detection of Suprathreshold Image Transformations
Birmingham City University(伯明翰城市大学)
计算机视觉中的许多任务通常相对于人类感知进行校准和评估。在本文中,我们提出了直接近似的感知功能,由人类观察员完成视觉检测任务。具体来说,我们提出了一种新的方法来学习检测图像变换可见人类观察者通过近似的感知阈值。要做到这一点,我们进行了一个主观的两个替代强迫选择的研究,估计感知阈值的人类观察员检测图像中的局部曝光偏移。然后,我们利用变换等变表示学习来克服有限的感知数据的问题。然后使用该表示来训练能够检测局部阈上曝光偏移的密集卷积分类器-图像合成中常见的失真。在这种情况下,我们的模型可以近似感知阈值与经验和预测阈值之间的平均误差为0.1148曝光停止。它也可以被训练来检测一系列不同的局部变换。
2020-06-15 cs.CV
Task-driven Image Fusion with Learnable Fusion Loss
Xi’an Jiaotong University(西安交通大学);ETH Zürich(苏黎世联邦理工学院);City University of Hong Kong(香港城市大学);Tsinghua University(清华大学);Northwestern Polytechnical University(西北工业大学)
针对现有多模态图像融合预定义目标与下游任务不匹配的问题,提出带可学习融合损失的TDFusion框架,以元学习方式用任务损失监督损失生成模块,迭代优化适配任务,在多数据集和下游任务中验证了有效性。
2025-03-24 cs.CV
Fast and Efficient Zero-Learning Image Fusion
École polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
提出了一种基于预训练神经网络的实时图像融合方法。我们的方法生成一个单一的图像包含来自多个来源的功能。我们首先将图像分解为表示大尺度强度变化的基本层和包含小尺度变化的细节层。我们使用视觉显著性来融合基础层,并从预训练的神经网络中提取深度特征图来融合细节层。我们进行消融研究,分析我们的方法的参数,如分解过滤器,权重构造方法,网络深度和架构。然后,我们验证了它的有效性和速度热,医疗和多聚焦融合。我们还将其应用于多个图像输入,如多曝光序列。实验结果表明,我们的技术达到了最先进的性能,在视觉质量,客观的评估,和运行时的效率。
2019-05-09 cs.CV
Dual Illumination Estimation for Robust Exposure Correction
Sun Yat-sen University(中山大学);South China University of Technology(华南理工大学)
曝光校正是图像处理和计算摄影的基本任务之一。虽然已经提出了各种方法,但是它们或者不能产生视觉上令人愉悦的结果,或者仅对有限类型的图像(例如,曝光不足的图像)。在本文中,我们提出了一种新的自动曝光校正方法,该方法能够为各种曝光条件(例如,曝光不足、曝光过度以及部分曝光不足和过度)。在我们的方法的核心是建议的双重照明估计,其中我们分别投下和过度曝光校正为平凡的输入图像和反转的输入图像的照明估计。通过执行双重照明估计,我们得到两个中间曝光校正结果的输入图像,与一个固定的曝光不足的区域和另一个恢复曝光过度的区域。然后采用多曝光图像融合技术将两个中间曝光校正图像和输入图像中的视觉上最佳曝光的部分自适应地混合成全局曝光良好的图像。在一些具有挑战性的图像上的实验证明了所提出的方法的有效性及其优于最先进的方法和流行的自动曝光校正工具。
2019-10-30 cs.CV cs.GR
Towards Unified Semantic and Controllable Image Fusion: A Diffusion Transformer Approach
Faculty of Computing, Harbin Institute of Technology(哈尔滨工业大学计算机学院);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Electronic Information School, Wuhan University(武汉大学电子信息学院)
DiTFuse通过融合图像与自然语言指令,实现端到端、语义感知的图像融合,统一了多种融合任务并在多个基准测试中表现出色。
2025-12-08 cs.AI cs.CV
Dual-Exposure Imaging with Events
School of Electronic Information, Wuhan University(武汉大学电子信息学院);School of Artificial Intelligence, Wuhan University(武汉大学人工智能学院)
提出事件辅助的双曝光成像算法E-DEI,利用事件相机的高时间分辨率对齐和融合双曝光图像特征,以消除运动伪影和曝光差异,提升低光图像质量。
2026-05-29 cs.CV
IT-TextFusion: Iterative Text-Image Interaction with Text-Guided Residual Refinement for Degradation-Aware Image Fusion
School of Automation, Southeast University(东南大学自动化学院);Chair of Robotics, Artificial Intelligence and Real-time Systems, Technical University of Munich(慕尼黑工业大学机器人、人工智能与实时系统研究所)
本文提出IT-TextFusion框架,通过多阶段文本条件交互实现退化感知的图像融合,在基准数据集上提升了信息保留与感知质量指标。
2026-09-02 cs.CV