Fast Perceptual Image Enhancement
ETH Zurich(苏黎世联邦理工学院)
今天绝大多数的照片都是通过手机拍摄的。虽然它们的质量正在迅速增长,但由于物理限制和成本限制,手机相机在质量上难以与DSLR相机相比。这促使我们在计算上增强这些图像。我们扩展了Ignatov等人的结果,在那里,他们能够将紧凑型移动相机的图像转换为与DSLR相机拍摄的高分辨率照片质量相当的图像。然而,所采用的神经模型需要大量的计算资源,并且不够轻量级,无法在移动设备上运行。我们建立在以前的工作,并探索不同的网络架构,以提高图像质量和速度。通过一个高效的网络架构,它在较低的空间分辨率下进行大部分处理,我们实现了比基线更高的平均意见得分(MOS),同时在消费级CPU上将计算速度提高了6.3倍。这表明了未来使用手机硬件进行基于神经网络的照片增强的一个有希望的方向。
2018-12-31 cs.CV
AIGS-Net: Compact Illumination Field Modeling via 2D Gaussian Splatting for Fast Low-Light Image Enhancement
College of Mechanical and Vehicle Engineering, Chongqing University(重庆大学机械与车辆工程学院);Department of Electrical and Computer Engineering, Carnegie Mellon University(卡内基梅隆大学电气与计算机工程系);Herbert Wertheim College of Engineering, University of Florida(佛罗里达大学赫伯特·韦特海姆工程学院);School of Mathematics and Statistics, Qingdao University(青岛大学数学与统计学院);National Innovation Center of Intelligent and Connected Vehicles(国家智能网联汽车创新中心);School of Vehicle and Mobility, Tsinghua University(清华大学车辆与运载学院)
提出AIGS-Net,通过输入自适应的2D高斯泼溅光照场和零参数多尺度上下文编码,以约40个可学习参数实现低光图像增强,在LOL和LSRW基准上平衡了增强质量与推理效率。
2026-06-17 cs.CV
Fast Context-Based Low-Light Image Enhancement via Neural Implicit Representations
School of Computation, Information and Technology, Technical University of Munich(慕尼黑工业大学计算、信息与技术学院);Helmholtz AI, Helmholtz Munich - German Research Center for Environmental Health(亥姆霍兹慕尼黑德国环境健康研究中心亥姆霍兹人工智能研究所);School of Biomedical Engineering and Imaging Sciences, King’s College London(伦敦国王学院生物医学工程与影像科学学院)
CoLIE通过将二维坐标映射到照明分量并利用隐式神经函数与引导滤波器,在HSV空间重建增强图像,实现快速、高质量且适应多种场景的低光增强。
2024-07-17 cs.CV
Toward Fast, Flexible, and Robust Low-Light Image Enhancement
Dalian University of Technology(大连理工大学)
现有的弱光图像增强技术大多难以兼顾视觉质量和计算效率,而且在未知的复杂场景下往往失效。在本文中,我们开发了一个新的自校准照明(SCI)学习框架,用于在现实世界的低光场景中快速,灵活和强大的增亮图像。具体来说,我们建立了一个级联的照明学习过程与权重共享来处理这个任务。考虑到级联模式的计算负担,我们构造了自校准模块,该模块实现了各级结果之间的收敛,产生了仅使用单个基本块进行推理的增益(尚未在以前的工作中被利用),这大大降低了计算成本。然后,我们定义了无监督训练损失,以提高模型适应一般场景的能力。此外,我们做了全面的探索,挖掘SCI的固有属性(缺乏现有的作品),包括操作不敏感的适应性(不同的简单操作的设置下获得稳定的性能)和模型无关的通用性(可应用于照明为基础的现有作品,以提高性能)。最后,大量的实验和烧蚀研究充分表明了我们在质量和效率上的优势。在微光人脸检测和夜间语义分割中的应用充分显示了SCI潜在的实用价值。源代码可在https://github.com/vis-opt-group/SCI上获得。
2022-04-21 cs.CV
Striving for Faster and Better: A One-Layer Architecture with Auto Re-parameterization for Low-Light Image Enhancement
School of Software Technology, Dalian University of Technology(大连理工大学软件学院)
本文提出一种单层自动重参数化架构,通过扩大参数空间和分层搜索,实现低光图像增强在视觉质量和计算效率上的双重提升,并在多平台超越现有最快方案。
2025-02-27 cs.CV
Fast Dust Sand Image Enhancement Based on Color Correction and New Membership Function
Informatics Institute for Postgraduate Studies, Iraqi Commission for Computer and Informatics(伊拉克计算机与信息委员会研究生信息学研究所);Al-Khwarizmi College of Engineering, University of Baghdad(巴格达大学阿尔-花剌子密工程学院)
针对沙尘图像可见度低和质量差的问题,提出一种基于颜色校正和新隶属函数的增强模型,通过色偏校正、A-DCP去雾和CLAHE提升对比度与亮度,有效去除红黄色偏并显著提升图像质量。
2023-07-27 cs.CV eess.IV
Overparametrization of HyperNetworks at Fixed FLOP-Count Enables Fast Neural Image Enhancement
Huawei Technologies Zurich Research Center(华为技术苏黎世研究中心)
深度卷积神经网络可以增强小型移动相机传感器拍摄的图像,并擅长去马赛克、去噪和超分辨率等任务。然而,对于在移动设备上的实际使用,这些网络通常需要太多的FLOP,并且减少卷积层的FLOP也会减少其参数计数。这是有问题的,因为最近发现,严重过度参数化的神经网络往往是最好的泛化。在本文中,我们建议使用超网络来打破FLOP与标准卷积参数的固定比率。这使我们能够在苏黎世RAW到DSLR(ZRR)数据集上超过以前最先进的SSIM和MS-SSIM架构,FLOP计数减少> 10倍。在ZRR上,我们进一步观察到在固定的FLOP计数下,在大图像限制下与“双下降”行为一致的泛化曲线。最后,我们证明了相同的技术可以应用到现有的网络(VDN),以减少其计算成本,同时保持保真度的智能手机图像去噪数据集(SIDD)。关键功能的代码在附录中给出。
2021-05-18 cs.CV cs.NE
Analysis of Multiscale Wavelet-based Fractional Gradient-Anisotropic Diffusion Fusion for single hazy and underwater image enhancement
University of Nigeria, Nsukka(尼日利亚大学恩苏卡分校)
本文提出了一种基于多尺度小波变换的单幅图像去雾和水下图像增强方法。该方案是快速和高度本地化,除了全球增强模糊图像。基于PDE的公式实现了额外的多功能性,因为迭代性质允许各种类型的图像具有更大的灵活性。视觉和客观的实验结果表明,所提出的方法竞争有利或超过大多数国家的最先进的方法。
2021-11-10 cs.CV
Lightweight and Fast Real-time Image Enhancement via Decomposition of the Spatial-aware Lookup Tables
IPAI, Seoul National University, Seoul, Korea(IPAI,首尔国立大学,首尔,韩国);LG Electronics, Seoul, Korea(LG电子,首尔,韩国);Department of ECE, INMC, Seoul National University, Seoul, Korea(电子工程系,INMC,首尔国立大学,首尔,韩国)
本文提出一种利用SVD将3D LUT分解为低维LUT线性组合的图像增强方法,并优化空间特征融合的缓存效率,在保持空间感知和性能的同时显著降低参数量与运行时间。
2025-08-22 cs.CV eess.IV
Fractional Multiscale Fusion-based De-hazing
University of Nigeria(尼日利亚大学)
本文提出了一种基于多尺度融合的单幅图像去雾算法,该算法也可用于水下图像增强。此外,该算法被设计为非常快速的操作和最小的运行时间。该方案比现有的去雾和水下图像增强算法的速度更快,并适合数字硬件实现。结果表明,与文献中的其他算法相比,这两类图像的结果大多是一致的,良好的。
2018-08-29 cs.CV
Bayesian Neural Networks for One-to-Many Mapping in Image Enhancement
本文提出贝叶斯增强模型,利用贝叶斯神经网络和确定性神经网络解决图像增强中的一对多映射问题,通过捕捉数据不确定性生成多样化输出。
2025-11-26 cs.CV
Bilevel Fast Scene Adaptation for Low-Light Image Enhancement
Dalian University of Technology(大连理工大学);Xiaomi AI Lab(小米人工智能实验室)
针对低光照增强模型跨场景泛化不足的问题,本文提出双层学习框架,冻结通用编码器并元初始化场景解码器,结合 Retinex 自适应去噪架构,在多数据集上实现快速自适应和有竞争力的增强效果。
2023-06-02 cs.CV
Learning Enriched Features for Fast Image Restoration and Enhancement
Inception Institute of Artificial Intelligence(起源人工智能研究院);Mohammed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);University of California at Merced(加州大学默塞德分校);Google(谷歌);Terminus Group(特斯联集团)
图像恢复的目标是在退化的输入图像中恢复丢失的高质量图像内容。许多应用需要有效的图像恢复,例如,计算摄影、监控、自动驾驶汽车和遥感。近年来,图像恢复取得了重大进展,主要是卷积神经网络(CNN)。广泛使用的基于CNN的方法通常在全分辨率或渐进低分辨率表示上操作。在前一种情况下,空间细节被保留,但上下文信息不能被精确编码。在后一种情况下,生成的输出在语义上是可靠的,但在空间上不太准确。本文提出了一种新的体系结构,其整体目标是通过整个网络保持空间精确的高分辨率表示,并从低分辨率表示中接收互补的上下文信息。我们的方法的核心是包含以下关键元素的多尺度残差块:(a)用于提取多尺度特征的并行多分辨率卷积流,(b)跨多分辨率流的信息交换,(c)用于捕获上下文信息的非局部注意机制,以及(d)基于注意的多尺度特征聚合。我们的方法学习了一组丰富的特征,这些特征结合了来自多个尺度的上下文信息,同时保留了高分辨率的空间细节。在六个真实图像基准数据集上的大量实验表明,我们的方法,命名为MIRNet-v2,实现了各种图像处理任务的最先进的结果,包括散焦去模糊,图像去噪,超分辨率和图像增强。源代码和预训练模型可在https://github.com/swz30/MIRNetv2上获得
2022-04-19 cs.CV eess.IV
BLNet: A Fast Deep Learning Framework for Low-Light Image Enhancement with Noise Removal and Color Restoration
University of Electronic Science and Technology of China(电子科技大学)
在真实世界的低光条件下获得的图像不仅亮度低,而且还遭受许多其他类型的退化,例如颜色偏差,未知噪声,细节丢失和光晕伪影。在本文中,我们提出了一个非常快速的深度学习框架,称为带来亮度(表示为BLNet),它由两个U网组成,具有一系列精心设计的损失函数,以解决所有上述退化。基于Retinex理论,该模型中的分解网络可以将弱光图像分解为反射率和光照,并在分解阶段去除反射率中的噪声。我们提出了一个噪声和颜色偏差控制模块(NCBC模块),它包含一个卷积神经网络和两个损失函数(噪声损失和颜色损失)。该模块仅用于在训练阶段计算损失函数,因此我们的方法在测试阶段非常快。该模块可以对反射率进行平滑处理,达到去除噪声的目的,同时保持图像的细节和边缘信息,控制颜色偏差。我们提出了一个网络,可以训练它来学习弱光和正常光照明之间的映射,并增强在弱光照明下拍摄的图像的亮度。我们训练和评估我们提出的模型在现实世界的低光(LOL)数据集上的性能,我们还测试了我们的模型在其他几个常用的数据集(LIME,DICM和MEF数据集)。我们进行了大量的实验,以证明我们的方法取得了良好的鲁棒性和泛化效果,并优于许多其他国家的最先进的方法定性和定量。我们的方法实现了高速,因为我们使用损失函数,而不是引入额外的去噪和颜色校正。代码和模型可在https://github.com/weixinxu666/BLNet上获得。
2021-06-30 cs.CV eess.IV
Low-Light Video Enhancement with Synthetic Event Guidance
University of Science and Technology of China(中国科学技术大学);Harbin Institute of Technology(哈尔滨工业大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of Macau(澳门大学);Shanghai AI Laboratory(上海人工智能实验室);Huawei Cloud BU(华为云业务部)
低光视频增强(LLVE)是一项重要但具有挑战性的任务,具有许多应用,如摄影和自动驾驶。与单帧图像的弱光增强不同,大多数LLVE方法利用相邻帧的时间信息来恢复目标帧的颜色并去除噪声。然而,这些算法,基于多帧对齐和增强的框架,可能会产生多帧融合伪影时,遇到极低的光或快速运动。在本文中,受事件的低延迟和高动态范围的启发,我们使用来自多帧的合成事件来指导弱光视频的增强和恢复。我们的方法包括三个阶段:1)事件合成和增强,2)事件和图像融合,3)弱光增强。在这个框架中,我们设计了两个新的模块(事件图像融合变换和事件引导的双分支)的第二和第三阶段,分别。大量实验表明,我们的方法在合成和真实LLVE数据集上的性能优于现有的低光视频或单个图像增强方法。
2022-08-23 cs.CV
Fast and Accurate Single Image Super-Resolution via Information Distillation Network
Xidian University(西安电子科技大学)
最近,深度卷积神经网络(CNN)在单图像超分辨率方面取得了显著进展。然而,随着网络深度和宽度的增加,基于CNN的超分辨率方法在实际应用中面临着计算复杂性和内存消耗的挑战。为了解决上述问题,我们提出了一种深度但紧凑的卷积网络,可以从原始低分辨率图像直接重建高分辨率图像。该模型一般由三部分组成,分别是特征提取模块、层叠信息提取模块和重构模块。通过将增强单元和压缩单元组合成一个蒸馏块,可以有效地提取局部长短径特征。具体来说,所提出的增强单元将两种不同类型的特征混合在一起,并且压缩单元为顺序块提取更多有用的信息。此外,由于每层的滤波器数量相对较少,并且使用了组卷积,因此所提出的网络具有快速执行的优点。实验结果表明,该方法优于国家的最先进的方法,特别是在时间性能方面。
2018-03-26 cs.CV
Retinex-inspired Unrolling with Cooperative Prior Architecture Search for Low-light Image Enhancement
Dalian University of Technology(大连理工大学)
微光图像增强在微光视觉领域有着重要的作用。最近的工作已经建立了各种各样的深度学习模型来解决这个任务。然而,这些方法大多依赖于重要的架构工程,并遭受高计算负担。在本文中,我们提出了一种新的方法,命名为Retinex启发展开与建筑搜索(RUAS),在现实世界的场景中,低光图像构建轻量级而有效的增强网络。具体来说,基于Retinex规则,RUAS首先建立模型来表征低光图像的内在曝光不足结构,并展开其优化过程来构建我们的整体传播结构。然后通过设计一种合作的无参考学习策略,从一个紧凑的搜索空间中发现弱光先验结构,RUAS能够获得一个性能最好的图像增强网络,该网络具有速度快,所需计算资源少的特点。大量的实验验证了我们的RUAS框架对最近提出的最先进的方法的优越性。
2020-12-10 cs.CV
The STONE Transform: Multi-Resolution Image Enhancement and Real-Time Compressive Video
压缩感知使得能够从欠采样数据重建高分辨率信号。虽然压缩方法简化了数据采集,但它们需要解决困难的恢复问题以利用所得到的测量结果。本文提出了一种新的传感框架,结合了传统传感和压缩传感的优点。使用所提出的\stone变换,测量可以立即重建在奈奎斯特速率在任何幂的2的分辨率。然后,可以使用压缩方法将相同的数据“增强”到更高的分辨率,该方法利用稀疏性来“击败”奈奎斯特极限。快速直接重建的可用性使压缩测量能够在小型嵌入式设备上处理。我们证明了这一点,通过构建一个实时的【形】压缩视频摄像机。
2013-11-15 cs.CV
Exploring the Effect of Image Enhancement Techniques on COVID-19 Detection using Chest X-rays Images
University of Dhaka(达卡大学);Qatar University(卡塔尔大学);Qatar Foundation(卡塔尔基金会);Universiti Kebangsaan Malaysia(马来西亚国民大学);College of Medicine(医学院);University of Engineering and Technology, Peshawar(白沙瓦工程技术大学)
使用计算机辅助诊断可靠快速地检测冠状病毒病(COVID-19)已成为防止病毒在大流行期间传播以减轻医疗基础设施负担的必要条件。胸部X射线(CXR)成像与其他成像技术相比具有几个优势,因为它便宜,易于获得,快速和便携。本文探讨了各种流行的图像增强技术的效果,并陈述了它们各自对检测性能的影响。我们编制了最大的X射线数据集COVQU-20,由18,479张正常、非COVID肺混浊和COVID-19 CXR图像组成。据我们所知,这是最大的公共COVID阳性数据库。毛玻璃样阴影是COVID-19肺炎患者报告的常见症状,因此使用了3616例COVID-19、6012例非COVID肺阴影和8851例正常胸部X射线图像的混合物来创建此数据集。使用了五种不同的图像增强技术:直方图均衡化、对比度受限自适应直方图均衡化、图像互补、伽马校正和平衡对比度增强技术,以提高COVID-19检测精度。在这项研究中,研究了六种不同的卷积神经网络(CNN)。在从标准和分割的肺部CXR图像中检测COVID-19方面,伽马校正技术优于其他增强技术。CXR图像伽马校正检测COVID-19的准确性、精密度、灵敏度、f1评分和特异性分别为96.29%、96.28%、96.29%、96.28%和96.27%。对分割后的肺部图像,其准确性、精确性、灵敏度、F1评分和特异性分别为95.11%、94.55%、94.56%、94.53%…
2020-11-25 cs.CV cs.LG eess.IV
Wavelet-based Mamba with Fourier Adjustment for Low-light Image Enhancement
School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology(上海理工大学光电信息与计算机工程学院);School of computer science and artificial intelligence, Liaoning Normal University(辽宁师范大学计算机与人工智能学院);College of computer science and technology, Jilin University(吉林大学计算机科学与技术学院);School of Computer, National University of Dense Technology(国防科技大学计算机学院)
提出WalMaFa模型,结合小波域通道级Mamba增强全局亮度与傅里叶调节块细化局部纹理,在低光照图像增强上以更低计算量和更快速度达到SOTA。
2024-10-27 cs.CV eess.IV
Joint Video Enhancement with Deblurring, Super-Resolution, and Frame Interpolation Network
KAIST(韩国科学技术院)
本文提出DSFN网络,通过联合去模糊与超分辨率模块和三帧帧插值模块,从低质量视频直接生成高分辨率、高帧率清晰视频,在公开数据集上以更小网络规模和更快速度超越顺序式方法。
2025-06-04 cs.CV
Deep Parametric 3D Filters for Joint Video Denoising and Illumination Enhancement in Video Super Resolution
The Chinese University of Hong Kong(香港中文大学);SmartMore
尽管最近的方法带来了质量的提高,视频超分辨率(SR)仍然是非常具有挑战性的,特别是对于低光和噪声的视频。目前最好的解决方案是随后采用视频SR、去噪和照明增强的最佳模型,但由于模型之间的不一致性,这样做通常会降低图像质量。本文提出了一种新的参数化表示,称为深度参数化3D滤波器(DP3DF),它结合了局部时空信息,可以在单个编码器和解码器网络中有效地同时进行去噪,照明增强和SR。此外,动态残留帧经由共享骨干与DP3DF联合学习,以进一步提高SR质量。我们进行了广泛的实验,包括大规模的用户研究,以显示我们的方法的有效性。我们的方法在所有具有挑战性的真实数据集上始终超过最先进的方法,具有最高的PSNR和用户评级,但具有非常快的运行时间。
2022-12-01 cs.CV
Seed Optimization with Frozen Generator for Superior Zero-shot Low-light Enhancement
University of Science and Technology of China(中国科学技术大学)
本文提出一种基于冻结预训练生成器的种子优化策略,通过将梯度反传至输入种子而非模型参数,在无需低光照数据集训练的情况下实现快速且高质量的零样本低光照图像增强。
2024-02-15 cs.CV
Contrast Enhancement of Medical X-Ray Image Using Morphological Operators with Optimal Structuring Element
Islamic University of Technology(伊斯兰科技大学);University of South Florida(南佛罗里达大学)
为了指导手术和医疗,X射线图像已被每个现代医疗机构和医院的医生使用。在X射线成像技术的帮助下,医生在骨骼系统领域的评估过程和疾病识别可以更快,更有效地进行,因为它们可以无痛地描绘骨骼结构。本文提出了一种有效的对比度增强技术,使用形态学算子,这将有助于更清楚地显示重要的骨段和软组织。利用顶帽和底帽变换来增强图像,其中计算梯度幅度值以自动选择结构元素(SE)大小。不同的X射线成像数据库上的实验评估表明,我们的方法也产生相对更好的输出对一些现有的图像增强技术的有效性。
2019-05-21 cs.CV eess.IV
EdgeFool: An Adversarial Image Enhancement Filter
Queen Mary University of London(伦敦玛丽女王大学)
对抗性样本是故意干扰的图像,误导分类器。然而,当使用高频空间扰动时,这些图像可以使用去噪算法容易地检测到,或者当扰动很大时,可以被人类注意到。在本文中,我们提出了EdgeFool,一种对抗性图像增强滤波器,它可以学习结构感知的对抗性扰动。EdgeFool生成具有扰动的对抗图像,通过训练具有多任务损失函数的完全卷积神经网络端到端来增强图像细节。该损失函数考虑了图像细节增强和类别误导目标。我们使用两个数据集(ImageNet和Private-Places 365)在三个分类器(ResNet-50,ResNet-18和AlexNet)上评估EdgeFool,并将其与六种对抗方法(DeepFool,SparseFool,Carlini-Wagner,SemanticAdv,Non-targeted和Private Fast Gradient Sign Methods)进行比较。代码可在https://github.com/smartcameras/EdgeFool.git上获得。
2020-03-05 cs.CV cs.LG stat.ML
Neural Enhancement in Content Delivery Systems: The State-of-the-Art and Future Directions
Samsung AI Center(三星人工智能中心);University of Cambridge(剑桥大学)
支持互联网的智能手机和超宽显示器正在改变各种视觉应用程序,从点播电影和360度视频到视频会议和直播。然而,在具有不同能力的设备上在波动的网络条件下稳健地递送视觉内容仍然是一个开放的问题。近年来,深度学习领域在超分辨率和图像增强等任务上的进步,使得从低质量图像生成高质量图像的性能达到了前所未有的水平,我们将这一过程称为神经增强。在本文中,我们调查国家的最先进的内容传输系统,采用神经增强作为实现快速响应时间和高视觉质量的关键组成部分。我们首先介绍神经增强模型的部署挑战。然后,我们将介绍针对不同用例的系统,并分析它们在克服技术挑战方面的设计决策。此外,我们根据深度学习研究的最新见解提出了有希望的方向,以进一步提高这些系统的体验质量。
2020-10-22 cs.CV cs.DC eess.IV
Early Exit or Not: Resource-Efficient Blind Quality Enhancement for Compressed Images
Beihang University(北京航空航天大学)
有损图像压缩被普遍地进行以节省通信带宽,导致不期望的压缩伪像。近年来,人们提出了大量的方法来减少解码端的图像压缩伪影,但是这些方法需要一系列相同的模型来处理不同质量的图像,效率低下,而且耗费资源。此外,在实际应用中,压缩图像的质量未知是很常见的,现有的方法难以选择一个合适的模型进行盲质量增强。在本文中,我们提出了一种资源有效的盲质量增强(RBQE)的压缩图像的方法。具体来说,我们的方法通过动态深度神经网络(DNN)盲目地逐步提高压缩图像的质量,其中嵌入了早期退出策略。然后,我们的方法可以自动决定终止或继续增强,根据评估质量的增强图像。因此,轻微的伪像可以在更简单和更快的过程中被去除,而严重的伪像可以在更精细的过程中被进一步去除。大量的实验表明,我们的RBQE方法实现了最先进的性能在盲质量增强和资源效率。该代码可在https://github.com/RyanXingQL/RBQE上获得。
2020-10-12 cs.CV eess.IV
Fast and Accurate: Video Enhancement using Sparse Depth
University of Rochester(罗切斯特大学);Arm Research(Arm研究院);Rochester Institute of Technology(罗切斯特理工学院)
本文提出了一个通用的框架,以建立快速和准确的视频增强任务,如超分辨率,去模糊和去噪算法。对我们的框架来说,重要的是认识到像素流的准确性,而不是密度,是高质量视频增强所需要的。大多数先前的作品采取相反的方法:他们估计密集(每像素)-但通常不太鲁棒-流,主要使用计算成本高的算法。相反,我们提出了一个轻量级的流量估计算法,它融合了稀疏的点云数据和(甚至稀疏和不太可靠)IMU数据在现代自主智能体估计流量信息。建立在流估计之上,我们展示了一个通用框架,该框架将流以即插即用的方式与不同的任务特定层集成在一起。在我们的框架中构建的算法实现了1.78x - 187.41x的加速比,同时比竞争方法提供了0.42 dB - 6.70 dB的质量改进。
2021-09-15 cs.CV cs.RO
LU2Net: A Lightweight Network for Real-time Underwater Image Enhancement
Shanghai Jiao Tong University(上海交通大学);School of Ocean and Civil Engineering, Shanghai Jiao Tong University(上海交通大学海洋与土木工程学院)
针对水下机器人实时视觉任务的效率需求,提出结合轴向深度可分离卷积与通道注意力的轻量化U型网络LU2Net,在保证增强效果的同时速度达现有SOTA方法的8倍,可实现实时水下视频增强。
2024-06-21 cs.CV eess.IV
Fast Multi-Layer Laplacian Enhancement
Google Inc.(谷歌公司)
介绍了一种新颖、快速、实用的图像增强方法。我们的方法建立在著名的边缘感知内核,如双边和非局部均值的拉普拉斯算子,并扩展这些滤波器的功能,以执行更有效和快速的图像平滑,锐化和色调操作。我们提出了一个近似的拉普拉斯算子,它不需要归一化的内核权重。多个拉普拉斯算子的亲和力权重赋予我们的方法与渐进的细节分解的输入图像从细到粗的尺度。这些图像分量通过结构掩模混合,这避免了输出图像中的噪声/伪影放大或细节损失。所提出的方法对现有图像编辑工具的贡献是:(1)低计算和存储器要求,使其适合于移动终端实现(例如,作为相机流水线中的完成步骤),(2)从细节增强到去噪的一系列滤波应用,仅用几个控制参数,使用户能够应用各种(甚至相反)滤波效果的组合。
2016-06-23 cs.CV
From Promise to Practical Reality: Transforming Diffusion MRI Analysis with Fast Deep Learning Enhancement
Sydney Neuroimaging Analysis Center(悉尼神经影像分析中心)
纤维取向分布(FOD)是一种先进的弥散MRI建模技术,可以代表复杂的白质纤维结构,是后续脑纤维束成像和连接体分析的关键步骤。然而,其可靠性和准确性在很大程度上依赖于MRI采集的质量和随后对每个体素处的FOD的估计。从具有单壳和低角度分辨率采集的广泛可用的临床协议中生成可靠的FOD仍然具有挑战性,但可以通过基于深度学习的增强技术的最新进展来解决。尽管取得了进展,但现有方法主要是在健康受试者身上进行评估的,这已被证明是其临床采用的主要障碍。在这项工作中,我们验证了一个新优化的增强框架,FastFOD-Net,在健康对照和六种神经系统疾病。这种加速的端到端深度学习框架以卓越的性能增强FOD,并为临床使用提供训练/推理效率(与其前身相比,$60\times$更快)。通过迄今为止最全面的临床评估,我们的工作证明了FastFOD-Net在加速临床神经科学研究,增强扩散MRI分析用于疾病分化,提高连接体应用的可解释性以及减少测量误差以降低样本量要求方面的潜力。至关重要的是,这项工作将促进更广泛地采用基于深度学习的扩散MRI增强方法,并建立临床信任。具体而言,FastFOD-Net能够对真实世界的临床扩散MRI数据进行强大的分析,与高质量的研究采集相比。
2025-08-28 cs.CV
ReBotNet: Fast Real-time Video Enhancement
Google(谷歌);ETH Zurich(苏黎世联邦理工学院);Johns Hopkins University(约翰斯·霍普金斯大学)
大多数视频恢复网络速度慢,计算量大,不能用于实时的【形】视频增强。在这项工作中,我们设计了一个有效和快速的框架来执行实时的【形】视频增强的实际用例,如实时视频通话和视频流。我们提出的方法,称为循环瓶颈混合器网络(ReBotNet),采用双分支框架。第一分支通过使用基于ConvNext的编码器沿着空间和时间维度标记输入帧并使用瓶颈混合器处理这些抽象标记来学习时空特征。为了进一步提高时间一致性,第二分支直接对从各个帧中提取的令牌采用混合器。然后,公共解码器合并来自两个分支的特征以预测增强帧。此外,我们提出了一种循环训练方法,利用最后一帧的预测来有效地增强当前帧,同时提高时间一致性。为了评估我们的方法,我们策划了两个新的数据集,模拟真实世界的视频通话和流媒体场景,并在多个数据集上显示了广泛的结果,其中ReBotNet优于现有的方法,具有更低的计算量,更低的内存需求和更快的推理时间。
2023-03-23 cs.CV
FastLLVE: Real-Time Low-Light Video Enhancement with Intensity-Aware Lookup Table
Shanghai Jiao Tong University(上海交通大学);University of Electronic Science and Technology of China(电子科技大学);Alibaba Damo Academy(阿里巴巴达摩院)
本文提出FastLLVE实时低光照视频增强流水线,通过可学习的IA-LUT模块保持帧间亮度一致性并改善低动态范围,在基准上达到SOTA,且能以50+ FPS处理1080p视频。
2023-08-13 cs.CV eess.IV
Adaptive Sparse Convolutional Networks with Global Context Enhancement for Faster Object Detection on Drone Images
Beihang University(北京航空航天大学)
在资源受限的无人机平台上,低延迟的无人机图像目标检测是一项重要但具有挑战性的任务。本文研究了基于稀疏卷积的探测头优化设计,有效地平衡了探测精度和效率。然而,它遭受不足的集成的上下文信息的微小的对象,以及笨拙的控制掩模比例存在的前景具有不同的规模。为了解决上述问题,我们提出了一种新的全局上下文增强自适应稀疏卷积网络(CEASC)。该算法首先开发了一个上下文增强的组归一化(CE-GN)层,将基于稀疏采样特征的统计信息替换为全局上下文特征,然后设计了一种自适应多层掩模策略,在不同尺度下生成最优掩模比率,以实现紧凑的前景覆盖,提高了准确性和效率。在VisDrone和UAVDT两个主要基准上的大量实验结果表明,CEASC在插入典型的最先进的检测框架(例如RetinaNet和GFL V1)时,显着降低了GFLOP并加速了推理过程,具有竞争力的性能。代码可在https://github.com/Cuogeihong/CEASC上获得。
2023-03-25 cs.CV
Fast Window-Based Event Denoising with Spatiotemporal Correlation Enhancement
School of Artificial Intelligence, Xidian University(西安电子科技大学人工智能学院);School of Computer Science, Nankai University(南开大学计算机学院)
针对深度学习事件去噪方法可解释性差且难以实时处理的问题,提出基于窗口的MSDNet去噪网络,通过TW模块和SSFE模块分别处理时空信息,实现复杂场景下的实时高效去噪并提升下游任务性能。
2024-02-14 cs.CV
Leveraging Bitstream Metadata for Fast, Accurate, Generalized Compressed Video Quality Enhancement
NVIDIA(英伟达);University of Maryland, College Park(马里兰大学学院公园分校)
本文提出一种利用视频码流中结构、运动及量化信息的深度学习架构,以单一模型实现多种压缩设置下的快速、准确且通用的压缩视频质量增强。
2023-10-30 cs.CV cs.LG eess.IV
Flexible Piecewise Curves Estimation for Photo Enhancement
Nanyang Technological University(南洋理工大学);Nankai University(南开大学)
本文提出了一种新的图像增强方法-灰度曲线法。与大多数现有的执行图像到图像映射的方法不同,这需要昂贵的逐像素重建,XNUMX Curve采用输入图像并估计全局曲线来调整图像。平差曲线是专门为分段映射而设计的,考虑了非线性平差和可微性。为了应对现实世界图像中具有挑战性和多样性的照明特性,将XNUMX Curve制定为多任务框架,以产生不同的估计和相关的置信度图。这些估计是自适应融合,以提高不同区域的局部增强。得益于图像到曲线的公式化,对于大小为512*512*3的图像,XNUMX Curve只需要一个轻量级的网络(150 K可训练参数),并且它具有快速的推理速度(在单个NVIDIA 2080 Ti GPU上为83 FPS)。该方法在不影响增强质量和丢失原始图像细节的情况下提高了效率。该方法也是吸引人的,因为它不限于成对的训练数据,因此它可以灵活地从不成对的数据中学习丰富的增强风格。大量的实验表明,我们的方法实现了国家的最先进的性能上的照片增强定量和定性。
2020-10-26 cs.CV
Resolution enhancement in scanning electron microscopy using deep learning
University of California, Los Angeles(加州大学洛杉矶分校);California NanoSystems Institute (CNSI)(加州纳米系统研究所);David Geffen School of Medicine(大卫·格芬医学院)
我们报告分辨率增强扫描电子显微镜(SEM)图像使用生成对抗网络。我们通过推断低分辨率SEM图像中未解决的特征,并将其与相同样本的精确配准的高分辨率SEM图像进行比较,来证明这种基于深度学习的超分辨率技术的准确性。通过空间频率分析,我们还报告说,我们的方法生成的图像的频谱与相同视场的更高分辨率SEM图像相匹配。通过使用这种技术,可以更快地拍摄更高分辨率的SEM图像,同时还可以减少电子充电和对样品的损坏。
2019-01-30 cs.CV cs.LG physics.app-ph
A Mixed-Supervision Multilevel GAN Framework for Image Quality Enhancement
Engineering, Indian Institute of Tehnology, Bombay, India
用于图像质量增强的深度神经网络通常需要大量高度策划的训练数据,包括成对的低质量图像及其对应的高质量图像。虽然高质量的图像采集通常是昂贵和耗时的,但中等质量的图像采集速度更快,设备成本更低,而且数量更大。因此,我们提出了一种新的生成对抗网络(GAN),它可以利用多个质量水平的训练数据(例如,高质量和中等质量),以提高性能,同时限制数据管理成本。我们将我们的混合监督GAN应用于(i)超分辨率组织病理学图像和(ii)通过结合超分辨率和手术烟雾去除来增强腹腔镜图像。大型临床和临床前数据集的结果显示了我们的混合监督GAN优于最先进技术的优势。
2021-06-29 cs.CV cs.LG eess.IV
Unsupervised Deep Learning Methods for Biological Image Reconstruction and Enhancement
University of Minnesota(明尼苏达大学)
最近,深度学习方法由于其高性能以及超快的推理时间而成为生物图像重建和增强问题的主要研究前沿。然而,由于难以获得用于监督学习的匹配参考数据,人们对不需要配对参考数据的无监督学习方法越来越感兴趣。特别是,自监督学习和生成模型已成功地用于各种生物成像应用。在本文中,我们概述了这些方法从一个连贯的角度来看,在经典的反问题的背景下,并讨论了它们的应用生物成像,包括电子,荧光和去卷积显微镜,光学衍射断层扫描和功能神经成像。
2021-11-22 cs.CV cs.LG eess.IV
Generative Adversarial Shaders for Real-Time Realism Enhancement
Imagination Technologies(想象力技术公司)
本文提出基于生成着色器的可微端到端对抗训练流水线,在嵌入式和移动 GPU 等资源受限场景下实现快于实时、时间稳定且质量可比神经网络方法的真实感增强。
2023-05-24 cs.CV cs.GR cs.LG