NCST: Neural-based Color Style Transfer for Video Retouching
Sichuan University-Pittsburgh Institute(四川大学匹兹堡学院);Sobey Media Intelligence Laboratory(索贝媒体智能实验室);University of Electronic Science and Technology of China(电子科技大学)
针对现有视频颜色风格迁移神经网络方法过程不透明、用户可控性弱的问题,提出NCST方法,通过训练并微调网络生成可解释的色彩调整参数,实现更高质量的迁移且支持用户手动微调。
2024-11-01 cs.CV cs.NE eess.IV
Deep Preset: Blending and Retouching Photos with Color Style Transfer
Hosei University(法政大学)
没有摄影知识的最终用户希望美化他们的照片,使其具有类似的颜色风格,作为精心修饰的参考。然而,近年来的影像风格转换作品中对风格的定义是不恰当的。他们通常合成不良的结果,由于转移确切的颜色到错误的目的地。在肖像画等敏感案件中,情况更糟。在这项工作中,我们专注于学习低层次的图像变换,特别是颜色偏移的方法,而不是混合上下文功能,然后提出了一种新的方案,训练颜色风格的转移与地面真理。此外,我们提出了一个颜色风格转移命名为深预置。它被设计为1)将表示从具有自然颜色的内容到修饰参考的颜色变换的特征概括,然后将其混合到内容的上下文特征中,2)预测所应用的低级颜色变换方法的超参数(设置或预设),3)使风格内容具有相似的颜色风格作为参考。我们编写了一个强大的照片编辑工具Lightning,使用Flick 2K数据集中的1,200张图像和500个用户生成的带有69个设置的训练样本来生成60万个训练样本。实验结果表明,我们的深度预设优于以前的作品在颜色风格转移定量和定性。
2021-01-02 cs.CV cs.GR cs.LG
InstantRetouch: Efficient and High-Fidelity Instruction-Guided Image Retouching with Bilateral Space
Shanghai AI Laboratory(上海人工智能实验室);CUHK MMLab(香港中文大学多模态实验室);CPII under InnoHK(创新香港下的CPII)
提出一种基于双边空间操作的图像润色方法,通过预测低分辨率双边网格并利用学习引导图切片,结合扩散模型蒸馏和提示对齐损失,实现高效、高保真且遵循指令的图像润色。
2026-06-03 cs.CV
FlowTool: Controlling Tool Parameter in Image Retouching via Flow Matching
Adobe Research(奥多比研究院);KAIST(韩国科学技术院)
FlowTool将基于工具的图像编辑视为流匹配问题,通过条件修正流直接建模工具参数分布,结合视觉-语言模型和扩散Transformer生成编辑计划,在多个基准上性能优异且推理延迟降低至少50倍。
2026-11-17 cs.CV
SemiNFT: Learning to Transfer Presets from Imitation to Appreciation via Hybrid-Sample Reinforcement Learning
vivo Mobile Communication Co. Ltd(vivo移动通信有限公司);Zhejiang University(浙江大学)
SemiNFT通过混合样本强化学习从模仿到欣赏学习,实现更高级的审美理解与色彩润色能力。
2026-02-09 cs.CV
Leveraging Color Naming for Image Enhancement
Universitat Autònoma de Barcelona(巴塞罗那自治大学);Computer Vision Center(计算机视觉中心);Universidad Politécnica de Madrid(马德里理工大学);York University(约克大学)
针对图像增强中深度学习方法的问题,提出NamedCurves+,将颜色命名融入学习框架,通过色调曲线全局调整颜色,结合变压器模块处理局部变化,实验证明其优于现有方法,兼具可解释性与交互性。
2026-07-10 cs.AI cs.CV
Deep Semantics-Aware Photo Adjustment
Yonsei University(延世大学)
自动照片调整是模仿专业摄影师的照片修图风格,自动将照片调整为学习的风格。已经有许多尝试使用低级颜色统计来全局地对色调和颜色调整进行建模。此外,空间变化的照片调整方法进行了研究,利用高层次的功能和语义标签地图。这些方法是语义感知的,因为颜色映射依赖于高级语义上下文。然而,它们的性能仅限于预先计算的手工特征,并且难以反映用户对调整的偏好。在本文中,我们提出了一个深度神经网络,模型的语义感知的照片调整。所提出的网络利用双线性模型,即颜色和上下文特征的乘法相互作用。作为上下文特征,我们提出了语义调整图,它发现了根据场景上下文应用的固有照片修图。所提出的方法是使用场景解析任务的鲁棒损失进行训练的。实验结果表明,该方法在定量和定性上都优于现有方法。所提出的方法还提供了一种方法来修饰的照片,通过自己的喜好,给定制的调整地图。
2017-06-26 cs.CV
Taming Lookup Tables for Efficient Image Retouching
Tsinghua University(清华大学);The University of Hong Kong(香港大学);The University of Tokyo(东京大学);Renmin University of China(中国人民大学)
针对边缘设备图像增强模型推理慢、功耗高的问题,提出纯LUT架构的ICELUT,通过逐点卷积与拆分全连接层训练后转换为LUT,实现了比CNN方案快至少一个数量级的推理速度与接近SOTA的性能。
2024-07-13 cs.AI cs.CV eess.IV
Distort-and-Recover: Color Enhancement using Deep Reinforcement Learning
Lunit Inc.(Lunit公司);Adobe Research(Adobe研究院);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
基于学习的颜色增强方法通常学习从输入图像到修饰图像的映射。大多数现有的方法需要昂贵的输入修饰图像对或产生的结果在一个不可解释的方式。在本文中,我们提出了一种基于深度强化学习(DRL)的颜色增强方法,以显式地模拟人类修图过程的逐步性质。我们将颜色增强过程转换为马尔可夫决策过程,其中动作被定义为全局颜色调整操作。然后,我们训练我们的代理学习最佳的全球增强序列的行动。此外,我们提出了一个“扭曲和恢复”的训练计划,只需要高质量的参考图像的训练,而不是输入和修饰的图像对。给定高质量的参考图像,我们扭曲图像的颜色分布,并形成扭曲的参考图像对进行训练。通过大量的实验,我们表明,我们的方法产生体面的增强效果和我们的DRL方法是更适合的“失真和恢复”的训练计划比以前的监督方法。补充材料和代码可在https://sites.google.com/view/distort-and-recover/上获得
2018-04-16 cs.CV
Hierarchical Vectorization for Portrait Images
Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
为了开发直观易用的人像编辑工具,我们提出了一种新的矢量化方法,可以自动将光栅图像转换为3层分层表示。基础层由一组稀疏扩散曲线(DC)组成,其表征显著的几何特征和低频颜色,并提供用于语义颜色转移和面部表情编辑的手段。中间层将镜面高光和阴影编码为大的可编辑泊松区域(PR),并允许用户通过调整强度和/或改变PR的形状来直接调整照明。顶层包含两种类型的像素大小的PR,用于高频残差和精细细节,如丘疹和色素沉着。我们还训练了一个可以自动生成高频残差的深度生成模型。由于矢量基元的有意义的组织,编辑肖像变得容易和直观。特别是,我们的方法支持颜色转移,面部表情编辑,高光和阴影编辑和自动修饰。由于拉普拉斯算子的线性,我们将alpha混合,线性减淡和线性加深引入矢量编辑,并表明它们在编辑高光和阴影时是有效的。为了定量评估结果,我们通过考虑照明来扩展常用的FLIP度量(测量两个图像之间的差异)。新的度量标准称为照明敏感FLIP或IS-FLIP,可以有效地捕捉颜色转移结果的显著变化,并且比FLIP和其他肖像图像质量度量更符合人类感知。我们在FFHQR数据集上对我们的方法进行了评估,并表明我们的方法对于常见的人像编辑任务是有效的,例如修图,灯光编辑,颜色转移和表情编辑。我们将公开代码和训练模型。
2022-05-24 cs.CV cs.GR
SSH: A Self-Supervised Framework for Image Harmonization
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Adobe Inc.(Adobe公司)
图像协调旨在通过匹配前景和背景图像之间的“外观”(\eg、色调、亮度和对比度)来提高图像合成的质量。然而,为这项任务收集大规模的注释数据集需要复杂的专业修饰。相反,我们提出了一种新的自我监督协调框架(SSH),可以使用“免费”的自然图像进行训练,而无需编辑。我们重新制定的图像协调问题,从表示融合的角度来看,分别处理前景和背景的例子,以解决背景遮挡问题。该框架设计允许双重数据增强方法,其中可以通过使用3D颜色查找表(LUT)裁剪具有扰动的图像来生成不同的[前景、背景、伪GT]三元组。此外,我们建立了一个由专家用户精心创建的真实世界的协调数据集,用于评估和基准测试。我们的研究结果表明,所提出的自我监督的方法优于以前的国家的最先进的方法在参考指标,视觉质量和主题用户研究。代码和数据集可在\url{https://github.com/VITA-Group/SSHarmonization}获得。
2021-08-17 cs.CV
Oneta: Multi-Style Image Enhancement Using Eigentransformation Functions
Korea University(高丽大学);Samsung Electronics(三星电子)
提出首个多风格图像增强算法Oneta,通过两步点算子(TF和CCM)与特征变换函数实现高性能增强,单个网络支持6种任务和30个数据集。
2025-06-30 cs.CV
Image Enhancement Based on Pigment Representation
The Catholic University of Korea(韩国天主教大学);Jeonbuk National University(全北国立大学);Pukyong National University(浦项国立大学)
该研究提出基于颜料表征的图像增强方法,将RGB颜色转换到高维颜料空间经重投影融合后再转回RGB,参数由视觉编码器自适应估计,在多项图像增强任务中性能优于现有最优方法且计算开销低、模型小。
2025-10-03 cs.CV eess.IV
DeshadowMamba: Deshadowing as 1D Sequential Similarity
针对现有去阴影模型结构扭曲、颜色不一致的问题,提出结合CrossGate定向调制与ColorShift正则化的DeshadowMamba模型,适配去阴影需求,在公开基准上实现SOTA性能。
2025-10-28 cs.CV
SepLUT: Separable Image-adaptive Lookup Tables for Real-time Image Enhancement
Shanghai Jiao Tong University(上海交通大学);Alibaba Group(阿里巴巴集团)
图像自适应查找表(LUT)由于其对颜色变换建模的高效性,在实时的【形】图像增强任务中取得了巨大的成功。然而,它们以耦合的方式将完整的变换(包括颜色分量无关和分量相关部分)嵌入到仅单一类型的LUT(1D或3D)中。由于两个因素,该方案提出了提高模型表达能力或效率的两难境地。一方面,1D LUT提供高计算效率,但缺乏颜色分量交互的关键能力。另一方面,3D LUT呈现增强的分量相关变换能力,但是遭受重存储器占用、高训练难度和有限的单元利用。受传统图像信号处理器中分而治之的启发,我们提出了SepLUT(可分离图像自适应查找表)来解决上述局限性。具体来说,我们将单个颜色变换分离成分别实例化为1D和3D LUT的分量独立和分量相关子变换的级联。以此方式,两个子变换的能力可彼此促进,其中3D LUT补充混合色彩分量的能力,且1D LUT重新分布输入色彩以增加3D LUT的单元利用率且因此实现更轻量3D LUT的使用。实验结果表明,该方法在图像修图基准数据集上的处理性能较现有方法有较大提高,并在GPU和CPU上实现实时的【形】处理。
2022-07-18 cs.CV eess.IV
ColorUNet: A convolutional classification approach to colorization
Stanford University(斯坦福大学)
本文解决了彩色灰度图像的挑战。我们采用深度卷积神经网络的方法,并选择采取分类的角度,在有限的一组可能的颜色上工作。与最近的一篇论文类似,我们实现了一个损失和一个预测函数,该函数支持真实、丰富多彩的图像,而不是“真实”的图像。我们表明,一个相当轻量级的架构的灵感来自于U-网,并在合理数量的风景图片上进行了训练,在这个特定的图片子集上取得了令人满意的结果。我们表明,数据增强显着提高了模型的性能和鲁棒性,并提供了预测置信度的可视化分析。我们展示了我们的模型的应用程序,将任务扩展到视频彩色化。我们提出了一种方法来平滑跨帧的颜色预测,而不需要训练一个经常性的网络设计的顺序输入。
2018-11-07 cs.CV
4D LUT: Learnable Context-Aware 4D Lookup Table for Image Enhancement
Microsoft Research Asia(微软亚洲研究院);Xi’an Jiaotong University(西安交通大学);Microsoft Research(微软研究院)
图像增强是通过对照片的色彩和色调进行修饰来提高照片的视觉美感的技术,是专业数码摄影中必不可少的技术。近年来,基于深度学习的图像增强算法取得了良好的性能,并受到越来越多的关注。然而,典型的努力试图为所有像素的颜色变换构造统一的增强器。它忽略不同内容之间的像素差异(例如,天空、海洋等)这对照片来说是重要的,导致不令人满意的结果。在本文中,我们提出了一种新的可学习的上下文感知的4维查找表(4D LUT),它实现了内容相关的增强不同的内容在每个图像通过自适应学习的照片上下文。特别是,我们首先介绍了一个轻量级的上下文编码器和参数编码器学习上下文映射的像素级类别和一组图像自适应系数,分别。然后,通过经由系数对多个基础4D LUT进行积分来生成上下文感知4D LUT。最后,通过四次线性插值将源图像和上下文映射送入融合的上下文感知4D查找表中,得到增强后的图像。与传统的3D LUT相比,RGB到RGB的映射,通常用于相机成像流水线系统或工具,4D LUT,即,RGBC(RGB+Context)映射到RGB,可以更精细地控制每个图像中具有不同内容的像素的颜色变换,即使它们具有相同的RGB值。实验结果表明,我们的方法优于其他国家的最先进的方法在广泛使用的基准测试。
2022-09-05 cs.CV eess.IV
ColorFlow: Retrieval-Augmented Image Sequence Colorization
Tsinghua University(清华大学);ARC Lab, Tencent PCG(腾讯PCG广告实验室)
ColorFlow提出三阶段扩散框架与检索增强着色流程,通过双分支设计和自注意力机制保持角色身份一致性,并在ColorFlow-Bench上超越现有模型,为工业级图像序列着色设立新标准。
2025-05-04 cs.CV
Exploiting Color Name Space for Salient Object Detection
Changzhou Vocational Institute of Mechatronic Technology(常州机电职业技术学院);Nanjing University of Science and Technology(南京理工大学)
在本文中,我们将调查的贡献颜色名称的任务显着目标检测。首先将输入图像转换到由11个概率通道组成的颜色名称空间。通过利用重复性线索,我们通过一组顺序注意图的线性组合获得显着图。为了克服仅使用颜色名称的限制,调用两个全局提示来指导加权显著图的计算。最后,我们将上述两个显着图整合到一个统一的框架中,以生成最终的结果。此外,一个改进的后处理过程中引入有效地抑制图像背景,同时均匀突出的显著对象。实验结果表明,该模型产生更准确的显着性图,并表现出良好的21显着性模型在三个公共数据集的三个评价指标。
2019-12-08 cs.CV
Nighttime Haze Removal with Illumination Correction
去雾对于计算摄影和计算机视觉应用是重要的。然而,现有的去雾方法大多是针对白天的图像设计的,并不能总是在夜间工作。与白天的成像条件不同,夜间雾霾条件下拍摄的图像可能会因人工光源而出现照明不均匀,表现出低亮度/对比度和色彩失真。在本文中,我们提出了一个新的夜间烟雾成像模型,同时考虑到非均匀照明的人工光源和烟雾的散射和衰减的影响。因此,我们提出了一个有效的去雾算法,夜间有雾的图像。该算法包括三个连续的步骤。i)它通过在从原始图像估计照明之后执行伽马校正步骤来增强整体亮度。ii)然后,在估计入射光的颜色特性之后,通过执行颜色校正步骤来实现颜色平衡结果。iii)最后,通过应用暗通道先验并基于先前的照明平衡结果估计逐点环境光来去除雾度效应。实验结果表明,该算法能够实现光照平衡和无雾效果,并具有良好的色彩还原能力。
2016-06-05 cs.CV
X-Ray: A Sequential 3D Representation For Generation
National University of Singapore(新加坡国立大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出X-Ray,一种受X射线扫描启发的3D序列表示,通过光线投射将3D对象表面转换为多帧视频格式,并采用两阶段流程从单张图像生成完整3D对象,在3D生成准确性上达到最先进水平。
2024-06-02 cs.CV
6thGrid-Net: Unified Remote Sensing Image Dehazing Based on Color Restoration and Edge-Preserving
Harbin Institute of Technology(哈尔滨工业大学);Nanjing University of Science and Technology(南京理工大学);National University of Defense Technology(国防科技大学);Shandong Normal University(山东师范大学);Qilu University of Technology(齐鲁工业大学)
本文提出6thGrid-Net,一种高效统一的远程传感图像恢复框架,通过六维融合张量整合3D LUTs的颜色还原能力和双侧网格的空间-亮度细节保留,结合自适应高维采样机制和边缘感知网格平滑约束,实现全局颜色风格化与局部边缘细化,提升去雾效果。
2026-04-27 cs.CV
Deep Imitation Learning of Sequential Fabric Smoothing From an Algorithmic Supervisor
University of California, Berkeley(加利福尼亚大学伯克利分校);Honda Research Institute(本田研究所)
使织物变平和平滑的顺序拉动策略具有从手术到制造到家庭任务(例如铺床和折叠衣服)的应用。由于织物状态和动态的复杂性,我们应用深度模仿学习来学习策略,给定矩形织物样本的颜色(RGB)、深度(D)或组合颜色深度(RGBD)图像,估计拾取点并拉向量来展开织物以最大化覆盖率。为了生成数据,我们开发了一个结构模拟器和一个算法管理器,可以访问完整的状态信息。我们训练政策,在模拟中使用域随机化和数据集聚合(Dagger)的三个层次的困难,在初始随机配置。我们目前的结果比较五个基线政策学习的政策和报告系统的比较RGB与D与RGBD图像作为输入。在模拟中,学习的策略实现了与分析基线相当或更好的性能。在达芬奇研究工具包(dVRK)手术机器人的180个物理实验中,在模拟中训练的RGBD策略根据难度等级达到83%至95%的覆盖率,这表明有效的织物平滑策略可以从算法管理器中学习,深度传感是对颜色的有价值的补充。补充材料可在https://sites.google.com/view/fabric-smoothing上查阅。
2020-03-02 cs.AI cs.CV cs.RO
Color-Encoded Illumination for High-Speed Volumetric Scene Reconstruction
Weizmann Institute of Science(魏茨曼科学研究院)
本文提出一种无需修改相机硬件的高速体素重建方法,通过快速序列彩色照明实现多视角同时捕获,利用动态高斯点扩散技术解码时空信息,实现实时体素场景重建。
2026-04-29 cs.CV
Adaptive color transfer from images to terrain visualizations
Nanjing Normal University(南京师范大学)
地形测绘不仅致力于传达一个景观有多高或多陡,还可以帮助描述我们对一个地方的感受。然而,制作有效的和表现力的分层色调对非专家和专家来说都是具有挑战性的。在本文中,我们提出了一个两步图像到地形的颜色转移方法,可以从任意图像的颜色转移到不同的地形模型。首先,我们提出了一种新的图像颜色组织方法,将离散的,不规则的图像颜色组织成一个连续的,规则的颜色网格,便于一系列的颜色操作,如局部和全局搜索,分类颜色选择和顺序颜色插值。其次,我们量化了一系列关于立面色彩制作的主观问题,如“低,高”的原则,色彩惯例和空中透视。我们还定义了图像和地形可视化与美学质量之间的颜色相似性。然后,我们在数学上制定的图像到地形的颜色转移作为一个双目标优化问题,并提供了一个启发式搜索方法来解决这个问题。最后,我们比较海拔色调从我们的方法与标准的配色方案在四个测试地形。评估结果表明,所提出的方法可以有效地作为标准方案的高度着色,我们的色调是更直观的有利。我们还展示了我们的方法可以将情感从图像转移到地形可视化。
2022-05-30 cs.CL cs.CV
Image segmentation by optimal and hierarchical piecewise constant approximations
St. Petersburg Institute for Informatics and Automation of RAS(俄罗斯科学院圣彼得堡信息学与自动化研究所)
分段常数图像近似的连续数目的段或集群的不连通的像素进行治疗。提出了利用图像逼近的层次序列优化最优逼近序列的方法。多维情况下的彩色和多光谱图像的推广预见。
2013-06-10 cs.CV
Do Protective Perturbations Really Protect Portrait Privacy under Real-world Image Transformations?
Beijing Institute of Technology(北京理工大学)
本文评估了现实世界图像变换对基于像素扰动的主动防御方法的影响,发现其有效性受挑战,并提出净化框架以去除保护性扰动。
2026-08-12 cs.CV
Words as Art Materials: Generating Paintings with Sequential GANs
Istanbul Technical University(伊斯坦布尔理工大学)
使用生成对抗网络将文本描述转换为图像已经成为一个热门的研究领域。近年来,视觉上吸引人的图像已经成功地生成。受这些研究的启发,我们研究了在大方差数据集上生成艺术图像的问题。该数据集包括具有变化的图像,例如形状、颜色和内容。这些形象的变化提供了独创性,这是艺术本质的重要因素。我们工作的一个主要特点是,我们使用关键字作为图像描述,而不是句子。在网络结构上,我们提出了一种序列生成对抗网络模型。这个顺序模型的第一阶段处理单词向量并创建基础图像,而接下来的阶段专注于创建高分辨率的艺术风格图像,而不处理单词向量。为了处理GANs的不稳定性,我们提出了一种混合技术,如Wasserstein损失,光谱归一化和小批量鉴别。最终,我们能够生成具有各种风格的绘画图像。我们使用Fréchet Inception Distance评分评估了我们的结果,并对186名参与者进行了用户研究。
2020-07-08 cs.CV eess.IV
Automatic Photo Adjustment Using Deep Neural Networks
University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院);Adobe Research(奥多比研究院);The University of Hong Kong(香港大学)
照片修饰使摄影师能够通过风格色彩和色调调整来艺术地增强他们的照片,从而唤起戏剧性的视觉印象。然而,这也是一项耗时且具有挑战性的任务,需要超越休闲摄影师能力的高级技能。使用自动算法是人工工作的一种有吸引力的替代方案,但这种算法面临许多障碍。许多摄影风格依赖于微妙的调整,这取决于图像内容,甚至其语义。此外,这些调整通常是空间变化的。由于这些特征,现有的自动算法仍然是有限的,只涵盖这些挑战的一个子集。最近,深度机器学习已经显示出独特的能力,可以解决长期抵制机器算法的难题。这促使我们探索在照片编辑的背景下使用深度学习。在本文中,我们解释了如何制定自动照片调整问题的方式适合这种方法。我们还介绍了一个图像描述符,占局部语义的图像。我们的实验表明,我们的深度学习公式应用这些描述符成功地捕捉复杂的摄影风格。特别是,与以前的技术不同,它可以对依赖于图像语义的局部调整进行建模。我们在几个例子中表明,这产生的结果是定性和定量优于以前的工作。
2015-05-16 cs.CV cs.GR cs.LG
A novel approach for holographic 3D content generation without depth map
Sejong University(世宗大学);Selvers(塞尔弗斯公司);Electronics and Telecommunications Research Institute(电子通信研究院)
针对深度图缺失导致难以生成CGH的问题,提出仅以RGB图像为输入、先估计深度图再依次生成体全息图的深度学习方法,并证明其精度优于竞争模型。
2023-09-26 cs.CV eess.IV
Hand Gesture Recognition of Dumb Person Using one Against All Neural Network
University of Camerino(卡梅里诺大学)
本文提出了一种新的手势识别技术,用于在真实环境中识别哑人手势。该方法首先对包含手势的手部图像进行预处理,然后将RGB彩色图像收敛到L.a.b颜色空间进行手部区域分割。只有很少的统计特征用于分类的分割图像到不同的类。人工神经网络是以一个对所有的顺序方式训练的。当系统得到训练时,它能够以并行的方式识别每个类。所提出的技术的结果是远远优于现有的技术。
2022-01-29 cs.AI cs.CL cs.CV
Deep Camera: A Fully Convolutional Neural Network for Image Signal Processing
ON Semiconductor(安森美半导体)
传统的照相机顺序地执行各种信号处理步骤以从原始拜耳图像重构图像。当在多个阶段中执行这些处理时,来自每个阶段的残余误差在图像中累积并且降低最终重构图像的质量。在本文中,我们提出了一个完全卷积神经网络(CNN)执行缺陷像素校正,去噪,白平衡,曝光校正,去马赛克,颜色变换和伽马编码。据我们所知,这是第一个经过端到端训练的CNN,可以在相机中执行整个图像信号处理管道。使用原始Bayer图像的大型图像数据库训练神经网络。通过大量的实验,我们表明,所提出的基于CNN的图像信号处理系统比顺序执行处理的传统信号处理流水线执行得更好。
2019-08-24 cs.CV eess.IV
Image Captioning with Compositional Neural Module Networks
Carnegie Mellon University(卡内基梅隆大学)
在流畅性是评价中的重要因素的图像描述中,例如,$n$ -gram度量,通常使用顺序模型;然而,顺序模型通常导致过度概括的表达式,其缺乏可能存在于输入图像中的细节。受视觉问答任务中组合神经模块网络想法的启发,我们引入了一个用于图像描述的分层框架,该框架探索了自然语言的组合性和顺序性。我们的算法通过选择性地关注与输入图像中检测到的每个对象的独特方面相对应的不同模块来学习撰写细节丰富的句子,以包括特定的描述,例如计数和颜色。在MSCOCO数据集上的一组实验中,所提出的模型在多个评估指标上优于最先进的模型,更重要的是,呈现了视觉上可解释的结果。此外,子类别$f$的细分-Amazon Mechanical Turk上的SPICE指标和人工评估的分数表明,我们的组合模块网络有效地生成了准确和详细的标题。
2020-07-10 cs.CL cs.CV cs.LG
Rethinking Learning-based Demosaicing, Denoising, and Super-Resolution Pipeline
KAUST(阿卜杜拉国王科技大学);The University of Sydney(悉尼大学);Shanghai AI Laboratory(上海人工智能实验室);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);SenseTime Research(商汤科技研究院);Qing Yuan Research Institute, Shanghai Jiao Tong University(上海交通大学清源研究院)
成像通常是一个混合问题的不完整的颜色采样,噪声退化,有限的分辨率。该混合问题通常通过顺序解决方案来解决,该顺序解决方案在固定且预定义的流水线(任务的执行顺序)中顺序地应用去马赛克(DM)、去噪(DN)和超分辨率(SR),DM $\to$ DN $\to$ SR。关于图像处理的最新工作集中于开发更复杂的架构以实现更高的图像质量。很少有人关注管道的设计,也不清楚管道对图像质量的重要性。在这项工作中,我们全面研究了管道对基于学习的DN,DM和SR的混合问题的影响,包括顺序和联合解决方案。一方面,在顺序解决方案中,我们发现管道对所产生的图像质量具有重要影响。我们建议的流水线DN $\to$ SR $\to$ DM在各种实验设置和基准测试中始终比其他顺序流水线产生更好的性能。另一方面,在联合解决方案中,我们提出了一个端到端的Trinity Pixel Enhancement NETwork(TENet),它可以实现混合问题的最先进性能。我们进一步提出了一种新颖而简单的方法,可以通过使用可拆卸的头提供中间监督,将某个管道集成到给定的端到端网络中。大量的实验表明,一个端到端的网络与建议的管道可以实现只有一个一致的,但微不足道的改善。我们的工作表明,管道的调查是适用于顺序的解决方案,但不是很有必要在端到端的网络。\RR {代码、模型和我们贡献的PixelShift 200数据集可在\url{htt…
2023-03-24 cs.CV eess.IV
Image Classification Using Singular Value Decomposition and Optimization
Harvard University(哈佛大学)
本研究针对特定品种猫狗的图像分类问题,提出结合奇异值分解与序列二次规划构建最优加权模板的方法,以毛色为主要特征,在秩10下达69%准确率,验证了低秩近似捕获主导特征的可行性,也指出资源受限环境下简洁性与性能的权衡。
2024-12-10 cs.CV cs.NA math.NA
NeR-SC: Adapting Neural Video Representation to Screen Content
Management school(管理学院);The University of Sheffield(谢菲尔德大学);Undergraduate School of Artificial Intelligence(人工智能本科学院);Shenzhen Polytechnic University(深圳职业技术大学);School of Artificial Intelligence(人工智能学院);Shenzhen University of Information Technology(深圳信息大学)
提出NeR-SC框架,通过可学习调色板、多门密集融合和嵌入级帧跳过策略,针对屏幕内容视频的离散颜色、强时间冗余等特性进行优化,在低码率下超越H.264/H.265。
2026-05-26 cs.CV cs.MM
Simultaneous segmentation and classification of the retinal arteries and veins from color fundus images
Centro de Investigación CITIC(CITIC研究中心);Universidade da Coruña(拉科鲁尼亚大学);Instituto de Investigación Biomédica de A Coruña (INIBIC)(拉科鲁尼亚生物医学研究所(INIBIC))
视网膜血管系统的研究是许多疾病筛查和诊断的基础阶段。完整的视网膜血管分析需要将视网膜的血管分割并分类为动脉和静脉(A/V)。早期的自动方法在两个连续的阶段中处理这些分割和分类任务。然而,目前,这些任务作为联合语义分割任务来处理,因为分类结果高度依赖于血管分割的有效性。在这方面,我们提出了一种新的方法,同时分割和分类的视网膜A/V眼底图像。特别是,我们提出了一种新的方法,与以前的方法不同,由于一种新的损失,将联合任务分解为三个分割问题,目标动脉,静脉和整个血管树。该配置允许直观地处理血管交叉,并直接提供不同目标血管树的准确分割掩模。所提供的对公共视网膜图像血管树提取(RITE)数据集的消融研究表明,所提出的方法提供了令人满意的性能,特别是在不同结构的分割方面。此外,与现有技术的比较表明,我们的方法在A/V分类方面取得了非常有竞争力的结果,同时显着提高了血管分割。所提出的多分割方法允许检测更多的血管和更好地分割不同的结构,同时实现有竞争力的分类性能。此外,在这些方面,我们的方法优于各种参考作品的方法。此外,与以前的方法相比,所提出的方法允许直接检测血管交叉,以及在这些复杂的位置保持A/V的连续性。
2022-09-20 cs.CV eess.IV