Arbitrary Style Transfer with Structure Enhancement by Combining the Global and Local Loss
University of Macau(澳门大学)
任意风格转移通过仅使用一个训练的网络来生成结合了内容图像的结构和艺术品的艺术风格的艺术图像。该方法中使用的图像表示包括内容结构表示和风格模式表示,风格模式表示通常是预先训练好的分类网络中高层的特征表示。然而,传统的分类网络是为分类而设计的,通常集中在高层特征上,而忽略了其他特征。因此,风格化的图像将风格元素均匀地分布在整个图像中,并使整体图像结构无法识别。为了解决这个问题,我们提出了一种新的任意风格的传输方法与结构增强相结合的全局和局部损失。局部结构细节由Lapstyle表示,全局结构由图像深度控制。实验结果表明,我们的方法可以生成更高质量的图像与令人印象深刻的视觉效果,在几个常见的数据集上,与其他国家的最先进的方法相比。
2022-07-23 cs.CV eess.IV
RainSD: Rain Style Diversification Module for Image Synthesis Enhancement using Feature-Level Style Distribution
Daegu Gyeongbuk Institute of Science and Technology(大邱庆北科学技术院);Korea Automotive Testing and Research Institute(韩国汽车测试研究院)
针对恶劣天气下传感器遮挡威胁自动驾驶感知的问题,提出RainSD模块,基于BDD100K构建带雨条纹遮挡的合成数据集,并全面评估分析了多任务感知网络的性能退化趋势。
2023-12-31 cs.CV
Improving style transfer in dynamic contrast enhanced MRI using a spatio-temporal approach
提出一种结合自编码器、卷积LSTM和自适应卷积的时空方法,以解决DCE-MRI风格迁移中对比增强和运动差异问题,并在两个数据集上优于现有技术。
2023-10-03 cs.CV eess.IV
Face Generation and Editing with StyleGAN: A Survey
Banuba(巴努巴公司)
本综述系统梳理了基于StyleGAN的人脸生成与编辑技术,涵盖从PGGAN到StyleGAN3的演进,并探讨了GAN反演、图像编辑、跨域风格化、人脸修复及Deepfake等核心主题,为深度学习读者提供入门指南。
2023-09-27 cs.CV cs.LG
CONSTANT: Towards High-Quality One-Shot Handwriting Generation with Patch Contrastive Enhancement and Style-Aware Quantization
Viettel Artificial Intelligence and Data Services Center(越南 Viettel 人工智能与数据服务中心);Ho Chi Minh City University of Technology(胡志明市技术大学)
CONSTANT通过补丁对比增强和风格感知量化,实现高质量单次手写生成,有效提升图像细节与风格适应性。
2026-03-08 cs.CV cs.MM
Resolution enhancement in the recovery of underdrawings via style transfer by generative adversarial deep neural networks
University College London(伦敦大学学院);Oxia Palus(Oxia Palus公司);University of Cambridge(剑桥大学)
我们应用生成对抗卷积神经网络的风格转移到艺术绘画的x射线中的底画和重影图像的问题,特别注重提高其空间分辨率。我们建立在针对从语义标签映射合成高分辨率照片级真实图像的相关问题开发的神经架构的基础上。我们的神经架构通过生成器和子网络的层次结构实现了高分辨率,在一系列空间分辨率下工作。这种从粗到精的生成器架构可以在每个空间方向上将有效分辨率增加八倍,或者将像素数量总体增加64倍。我们还表明,即使只是几个例子,人类生成的图像分割可以大大提高-定性和定量-生成的图像。我们展示了我们的方法,如莱昂纳多的康乃馨的麦当娜和他的岩石圣母,其中提出了几个特殊的问题,在风格转移,包括缺乏代表性的作品,从中学习和转移风格信息的画。
2021-01-30 cs.CV eess.IV
Generative Adversarial Networks: An Overview
Imperial College London(帝国理工学院);Victoria University of Wellington(惠灵顿维多利亚大学);University of Montreal(蒙特利尔大学);Cortexica Vision Systems Ltd.(科泰克萨视觉系统有限公司)
生成对抗网络(GANs)提供了一种在没有大量注释的训练数据的情况下学习深度表示的方法。他们通过涉及一对网络的竞争过程获得反向传播信号来实现这一点。可以由GANs学习的表示可以用于各种应用,包括图像合成、语义图像编辑、风格转移、图像超分辨率和分类。本文旨在为信号处理社区提供GANs的概述,尽可能借鉴熟悉的类比和概念。除了确定训练和构建GANs的不同方法外,我们还指出了其理论和应用中存在的挑战。
2017-10-19 cs.CV
Generative AI Model for Artistic Style Transfer Using Convolutional Neural Networks
本文提出一种基于卷积神经网络的生成式AI艺术风格迁移方法,通过分离并操控深度图像表示中的内容与风格,结合损失计算与优化,实现高质量、和谐且通用的风格迁移合成。
2023-10-30 cs.CV cs.HC
SaMam: Style-aware State Space Model for Arbitrary Image Style Transfer
The Shenzhen Campus of Sun Yat-Sen University(中山大学深圳校区);Sun Yat-Sen University(中山大学);Aviation University of Air Force(空军航空大学)
针对现有图像风格迁移骨干网络全局感受野计算复杂度高的问题,提出基于Mamba的风格感知风格迁移框架SaMam,引入局部增强与锯齿扫描解决SSM缺陷,在准确率和效率上均优于SOTA方法。
2025-03-20 cs.CV
Style-Restricted GAN: Multi-Modal Translation with Style Restriction Using Generative Adversarial Networks
Sophia University(上智大学)
使用生成对抗网络(GAN)的不成对图像到图像翻译在多个域之间转换图像是成功的。此外,最近的研究显示了一种使发电机输出多样化的方法。但是,由于生成器对结果的多样化没有限制,因此可能会转换一些意想不到的功能。在本文中,我们提出了风格限制的GAN(SRGAN),以证明控制的编码特征在风格多样化的过程中的重要性。更具体地说,代替KL发散损失,我们采用三种新的损失来限制编码特征的分布:批量KL发散损失,相关性损失和直方图模仿损失。此外,编码器在用于翻译过程之前使用分类任务进行预训练。该研究报告了精确度,召回率,密度和覆盖率的定量和定性结果。所提出的三个损失导致的增强的多样性水平相比,传统的KL损失。特别是,SRGAN被发现是成功的翻译具有更高的多样性,而不改变CelebA人脸数据集中的类无关的功能。总之,通过两个实验证明了编码特征被良好调节的重要性。我们的实现可以在www.example.com上获得。
2021-07-14 cs.CV
Boosting Zero-Shot 3D Style Transfer with 2D Pre-trained Priors
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Pengcheng Laboratory(鹏城实验室)
提出Data-Sufficient StyleGaussian模型,通过集成大规模2D图像数据集预训练的解码器,结合特征高斯溅射与延迟风格化,在数据稀缺条件下实现零样本3D风格迁移的高质量多视图一致渲染。
2026-05-28 cs.CV
Multiscale style transfer based on a Laplacian pyramid for traditional Chinese painting
School of Information Science and Engineering, Yunnan University(云南大学信息科学与工程学院)
本文提出一种基于拉普拉斯金字塔的多尺度风格迁移方法,通过低分辨率整体迁移和高分辨率细节增强两个阶段,有效迁移中国传统绘画的独特图案,解决了现有方法仅用西方油画且忽略多尺度信息的问题。
2025-02-07 cs.CV
InstantStyle-Plus: Style Transfer with Content-Preserving in Text-to-Image Generation
InstantX Team(InstantX团队)
本文提出InstantStyle-Plus,通过解构风格迁移为风格、空间结构和语义内容三要素,结合内容潜在噪声初始化、tile ControlNet和全局语义适配器,在保持原图内容完整性的同时实现高效风格注入。
2024-06-30 cs.CV
Self-supervised Matting-specific Portrait Enhancement and Generation
South China University of Technology(华南理工大学)
我们从一个完全不同的角度来解决不适定的alpha抠图问题。给定一个输入的肖像图像,而不是估计相应的阿尔法蒙版,我们专注于另一端,巧妙地增强这个输入,使阿尔法蒙版可以很容易地估计任何现有的抠图模型。这是通过探索GAN模型的潜在空间来实现的。它表明,可解释的方向,可以找到潜在的空间,它们对应于语义图像转换。我们进一步探讨这个属性在阿尔法抠图。特别地,我们将输入肖像反转为StyleGAN的潜在代码,我们的目的是发现潜在空间中是否存在与参考抠图模型更兼容的增强版本。我们在四个定制的损失下优化了潜在空间中的多尺度潜在向量,确保了肖像的抠像特异性和细微的修改。我们证明,该方法可以改善真实的肖像图像的任意抠图模型,提高了自动阿尔法抠图的性能大幅度提高。此外,我们利用StyleGAN的生成特性,并提出生成增强的肖像数据,可以被视为伪GT。它解决了昂贵的alpha蒙版注释的问题,进一步增强了现有模型的蒙版性能。代码位于~ \url{https://github.com/cnnlstm/StyleGAN_Matting}。
2022-08-13 cs.AI cs.CV
DECOLLAGE: 3D Detailization by Controllable, Localized, and Learned Geometry Enhancement
Simon Fraser University(西蒙菲莎大学);Adobe Research(奥多比研究院);University of Montreal(蒙特利尔大学);Amazon(亚马逊公司)
本文提出DECOLLAGE,通过掩码感知Pyramid GAN与结构损失实现用户可控、局部化的3D几何细节化,可保留粗结构并生成更连贯的高分辨率风格细节。
2024-09-10 cs.CV cs.GR cs.LG
One Style is All you Need to Generate a Video
IBENS, Ecole Normale Supérieure(巴黎高等师范学院IBENS)
本文提出一种基于风格的条件视频生成模型,通过可学习正弦基构建时间生成器,实现动作动态与图像内容的解耦,支持独立操控和跨身份运动迁移,并显著提升视频生成质量。
2023-10-27 cs.AI cs.CV
StarEnhancer: Learning Real-Time and Style-Aware Image Enhancement
Zhejiang University(浙江大学)
图像增强是一个主观的过程,其目标随用户偏好而变化。在本文中,我们提出了一种基于深度学习的图像增强方法,该方法仅使用称为StarEnhancer的单个模型来覆盖多种色调风格。它可以将图像从一种色调风格转换为另一种色调风格,即使该风格是不可见的。通过简单的一次性设置,用户可以自定义模型,使增强的图像更符合他们的审美。为了使该方法更实用,我们提出了一个精心设计的增强器,可以处理超过200 FPS的4K分辨率图像,但在PSNR,SSIM和LPIPS方面超过了同时代的单一风格的图像增强方法。最后,我们提出的增强方法具有良好的交互性,这使得用户可以使用直观的选项来微调增强后的图像。
2021-08-02 cs.CV
Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Jilin University(吉林大学);Kuaishou Technology(快手科技);National Cheng-Kung University(国立成功大学)
在这项工作中,我们解决了具有挑战性的问题,任意图像风格转移使用一种新的风格特征表示学习方法。在图像风格化过程中,风格表示是一个重要的组成部分。现有的基于深度神经网络的方法在诸如内容特征的Gram矩阵的二阶统计量的指导下实现了合理的结果。然而,它们没有充分利用样式信息,这导致了诸如局部失真和样式不一致之类的伪像。为了解决这些问题,我们建议通过分析多种风格之间的相似性和差异并考虑风格分布,直接从图像特征而不是其二阶统计量来学习风格表示。具体来说,我们提出了对比任意风格迁移(CAST),这是一种新的风格表示学习和风格迁移方法通过对比学习。我们的框架包括三个主要组成部分,即,用于风格代码编码的多层风格投影器、用于风格分布的有效学习的域增强模块、以及用于图像风格传递的生成网络。我们进行全面的定性和定量评估,以证明我们的方法取得了显着更好的结果相比,通过国家的最先进的方法。代码和模型可在https://github.com/zyxElsa/CAST_pytorch上获得
2022-05-20 cs.CV cs.GR
Depth-aware Neural Style Transfer using Instance Normalization
The University of Sheffield(谢菲尔德大学)
神经风格迁移(NST)涉及视觉媒体的艺术风格化。它可以被描述为将艺术图像的风格转移到普通照片上的过程。最近,许多研究已经考虑了NST算法的深度保持能力的增强,以解决当输入内容图像包括各种深度的许多对象时发生的不期望的效果。我们的方法使用具有实例归一化层的深度残差卷积网络,该网络利用高级深度预测网络将深度保留作为内容和风格的附加损失函数进行集成。我们展示了有效保留内容图像的深度和全局结构的结果。三个不同的评估过程表明,我们的系统是能够保留的风格化的结果的结构,同时表现出风格捕捉能力和美学品质相媲美或优于国家的最先进的方法。项目页面:https://ioannoue.github.io/depth-aware-nst-using-in.html。
2022-09-23 cs.CV cs.NE
A Unified Arbitrary Style Transfer Framework via Adaptive Contrastive Learning
Institute of Automation, CAS(中国科学院自动化研究所);School of Artificial Intelligence, UCAS(中国科学院大学人工智能学院);Institute Of Computing Technology, CAS(中国科学院计算技术研究所);Peng Cheng Laboratory(鹏城实验室);Kuaishou Technology(快手科技);National Cheng-Kung University(国立成功大学)
本文提出了一种新的风格表示学习和迁移框架--统一对比任意风格迁移(UCAST),它可以适应大多数现有的任意图像风格迁移模型,例如,基于CNN、基于ViT和基于流的方法。作为图像风格转换任务的关键组成部分,一个合适的风格表示是取得令人满意的结果是必不可少的。基于深度神经网络的现有方法通常使用二阶统计来生成输出。然而,这些手工制作的特征计算从一个单一的图像不能充分利用风格信息,这导致工件,如局部失真和风格不一致。为了解决这些问题,我们提出了学习风格表示直接从大量的图像的基础上对比学习,通过考虑特定的风格和整体风格分布之间的关系。具体来说,我们提出了一个自适应的对比学习计划的风格转移,通过引入一个依赖于输入的温度。我们的框架包括三个主要组成部分,即,用于风格表示和风格转移的并行对比学习方案、用于风格分布的有效学习的域增强模块以及用于风格转移的生成网络。我们进行定性和定量评估,以表明我们的方法产生优于通过国家的最先进的方法获得的结果。
2023-03-23 cs.CV cs.GR
Oneta: Multi-Style Image Enhancement Using Eigentransformation Functions
Korea University(高丽大学);Samsung Electronics(三星电子)
提出首个多风格图像增强算法Oneta,通过两步点算子(TF和CCM)与特征变换函数实现高性能增强,单个网络支持6种任务和30个数据集。
2025-06-30 cs.CV
SceneTextStylizer: A Training-Free Scene Text Style Transfer Framework with Diffusion Model
The University of Electro-Communications(电通大学)
本文提出SceneTextStylizer,一种无需训练的扩散模型框架,通过特征注入、区域控制和风格增强模块,实现了场景文本区域灵活且高保真的风格迁移,同时保持文本可读性。
2025-10-13 cs.CV eess.IV
Domain Adaptation for Underwater Image Enhancement via Content and Style Separation
National Taiwan University(国立台湾大学)
水下图像由于光的吸收、折射和散射等原因,会产生偏色、低对比度和模糊等现象,严重影响了目标检测和目标跟踪等高层次应用。目前基于学习的方法在水下图像增强方面表现出了惊人的性能,然而,这些工作大多使用合成对数据进行监督学习,忽略了与真实世界数据的域差距。针对这一问题,本文提出了一种基于内容和风格分离的领域自适应水下图像增强框架。与以往的领域自适应水下图像增强方法不同,该方法以最小化合成图像和真实图像之间的潜在差异为目标,将编码特征分为内容和风格两部分,并区分不同领域的风格特征,真实世界的水下和清洁域,并在潜空间中进行领域自适应和图像增强。通过隐式操作,我们的模型提供了一个用户交互界面,以调整不同的增强水平的连续变化。在多个公开的真实水下基准测试平台上的实验表明,该框架能够实现水下图像的领域自适应增强,在增强质量和数量上均优于现有的各种水下图像增强算法。模型和源代码将在https://github.com/fordevoted/UIESS上提供
2022-06-22 cs.CV
SWAGAN: A Style-based Wavelet-driven Generative Model
Tel-Aviv University(特拉维夫大学)
近年来,生成对抗网络(GANs)的视觉质量取得了相当大的进展。即便如此,这些网络仍然遭受来自频谱偏置架构的高频内容的质量降级,以及类似的不利损失函数。为了解决这个问题,我们提出了一种新型的通用风格和基于Wavelet的GAN(SWAGAN),它在频域中实现渐进生成。SWAGAN在其生成器和嵌入式架构中集成了小波,在每一步都实施了频率感知的潜在表示。这种方法产生增强的视觉质量的生成的图像,并大大提高了计算性能。我们通过将其集成到SyleGAN2框架中来展示我们的方法的优势,并验证小波域中的内容生成会产生具有更真实高频内容的更高质量图像。此外,我们验证了我们的模型的潜在空间保留了允许StyleGAN作为众多编辑任务的基础的质量,并表明我们的频率感知方法也提高了下游视觉质量。
2021-02-11 cs.CV eess.IV
Few-shots Portrait Generation with Style Enhancement and Identity Preservation
Communication University of Zhejiang(浙江传媒学院)
如今,虚拟数字人的广泛应用,促进了数字经济支撑下的数字文化的全面繁荣和发展。AI技术自动生成的个性化人像,既需要自然的艺术风格,也需要人情味。本文提出了一种新颖的StyleIdentityGAN模型,该模型可以同时保证生成的肖像的身份性和艺术性。具体而言,风格增强模块侧重于艺术风格特征的解耦和转移,以提高生成的虚拟人脸图像的艺术性。同时,身份增强模块保留了从输入照片中提取的重要特征。此外,所提出的方法需要少量的参考样式数据。实验证明了StyleIdentityGAN在艺术性和身份效果方面优于最先进的方法,并通过定性,定量和感知用户研究进行了比较。代码已在Github3上发布。
2023-03-01 cs.CV
3D-StyleGAN: A Style-Based Generative Adversarial Network for Generative Modeling of Three-Dimensional Medical Images
Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院);Massachusetts Institute of Technology(麻省理工学院);Univ. Lille(里尔大学);Inserm(法国国家健康与医学研究院);CHU Lille(里尔大学医院)
通过生成对抗网络(GANs)对三维(3D)医学图像进行图像合成具有巨大的潜力,可以扩展到许多医学应用,例如图像增强和疾病进展建模。然而,当前用于3D医学图像合成的GAN技术需要显著改进以易于适应现实世界的医学问题。在本文中,我们扩展了最先进的StyleGAN 2模型,该模型本身适用于二维图像,以实现3D图像合成。除了图像合成之外,我们还通过从原始StyleGAN 2继承的风格向量研究了3D-StyleGAN的可控性和可解释性,这些风格向量非常适合医学应用:(i)潜在空间投影和重建看不见的真实图像,以及(ii)风格混合。我们使用~ 12,000个三维全脑MR T1图像证明了3D-StyleGAN的性能和可行性,尽管它可以应用于任何3D体积图像。此外,我们探索了不同的超参数配置,以研究更大网络的图像合成的潜在改进。代码和预先训练的网络可在线获得:https://github.com/sh4174/3DStyleGAN。
2021-07-20 cs.CV cs.LG eess.IV
Neural Style Transfer: A Review
Microsoft Visual Perception Laboratory(微软视觉感知实验室);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);School of Computing, Informatics, and Decision Systems Engineering, Arizona State University(亚利桑那州立大学计算、信息学与决策系统工程学院);Department of Computer Science, The University of Hong Kong(香港大学计算机科学系)
Gatys等人的开创性工作证明了卷积神经网络(CNN)通过分离和重组图像内容和风格来创建艺术图像的能力。这种使用CNN以不同风格渲染内容图像的过程被称为神经风格转移(NST)。从那时起,NST已成为学术文献和工业应用的热门话题。它正受到越来越多的关注,并提出了各种方法来改进或扩展原始NST算法。在本文中,我们的目的是提供一个全面的概述目前的进展NST。首先,我们提出了一个分类的NST领域的当前算法。然后,我们提出了几种评价方法,并比较不同的NST算法定性和定量。评论的结论与讨论的各种应用NST和开放的问题,为今后的研究。本文讨论的论文列表、相应的代码、预训练模型和更多比较结果可在https://github.com/ycjing/Neural-Style-Transfer-Papers上公开获取。
2018-10-30 cs.CV cs.NE eess.IV
Neural Preset for Color Style Transfer
City University of Hong Kong(香港城市大学);Adobe Research(奥多比研究院)
在本文中,我们提出了一种神经预置技术,以解决现有的颜色风格转移方法的局限性,包括视觉伪影,巨大的内存需求,和缓慢的风格切换速度。我们的方法基于两个核心设计。首先,我们提出了确定性神经颜色映射(DNCM),通过图像自适应颜色映射矩阵对每个像素进行一致的操作,避免伪影,并以较小的内存占用支持高分辨率输入。其次,我们开发了一个两阶段的流水线,将任务分为颜色规范化和风格化,通过提取颜色样式作为模板并在规范化的输入图像上重用它们来实现高效的样式切换。由于成对数据集的不可用性,我们描述了如何通过自监督策略来训练神经预设。通过综合评价,证明了神经预设优于现有方法的各种优势。值得注意的是,Neural Preset可以实时实现稳定的4K颜色风格传输,而不会出现伪影。此外,我们证明了我们的训练模型可以自然地支持多种应用,而无需微调,包括低光图像增强,水下图像校正,图像去雾和图像协调。项目演示页面:https://zhkkke.github.io/NeuralPreset。
2023-03-24 cs.AI cs.CV cs.LG
Modernizing Old Photos Using Multiple References via Photorealistic Style Transfer
Adobe Research(奥多比研究院);Qualcomm(高通公司);ETRI(韩国电子通信研究院);KAIST(韩国科学技术院)
本文提出基于多参考的老照片现代化(MROPM)框架,通过逼真风格迁移和增强生成现代图像,并构建CHD基准,实验证明其在真实老照片上优于基线方法。
2023-04-10 cs.CV cs.GR
Multi-Frame GAN: Image Enhancement for Stereo Visual Odometry in Low Light
Technical University of Munich(慕尼黑工业大学);Artisense
我们提出了多帧GAN(MFGAN)的概念,并证明了其作为低光条件下立体视觉里程计的图像序列增强的潜力。我们的方法基于一个可逆的对抗网络,将明亮照明场景的有益特征转移到光照较差的序列中,而无需昂贵的配对数据集。为了保持平移序列的相干几何线索,我们提出了一种新的网络架构,以及一个新的损失项结合的时间和立体声基于光流估计。我们证明了增强序列提高了最先进的基于特征的直接立体视觉里程计方法在具有挑战性的照明中对合成和真实数据集的性能。我们还表明,MFGAN在视觉里程计方面优于其他最先进的图像增强和风格转移方法。
2019-10-15 cs.CV cs.RO
Style-Decoupled Adaptive Routing Network for Underwater Image Enhancement
State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University(测绘遥感信息工程国家重点实验室,武汉大学);Department of Aeronautical and Aviation Engineering, The Hong Kong Polytechnic University(航空工程系,香港理工大学)
本文提出SDAR-Net,通过解耦降质风格与自适应路由机制,提升水下图像增强效果,实验显示其在PSNR上达到新水平。
2026-04-14 cs.CV
Personalized Image Enhancement Featuring Masked Style Modeling
The University of Tokyo(东京大学);Tokyo Institute of Technology(东京工业大学)
针对个性化图像增强中风格单一的问题,提出掩码风格建模方法与基于Flickr图像和退化模型的训练方案,实现内容感知个性化,性能优于现有方法。
2023-06-15 cs.CV
A Large-scale Film Style Dataset for Learning Multi-frequency Driven Film Enhancement
University of Macau(澳门大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
针对现有图像增强数据集缺乏胶片专属数据、胶片摄影成本高的问题,本文构建了含3类胶片、5000+张高清图的FilmSet数据集,提出基于拉普拉斯金字塔的跨频段风格化FilmNet框架,性能优于现有SOTA。
2023-11-03 cs.CV
Fluorescence Image Histology Pattern Transformation using Image Style Transfer
Arizona State University(亚利桑那州立大学);Barrow Neurological Institute(巴罗神经学研究所);St. Joseph’s Hospital and Medical Center(圣约瑟夫医院和医疗中心)
共聚焦激光显微内镜(CLE)允许在离散视野中进行实时体内术中成像,特别是对于脑肿瘤,而不是用传统的光学显微镜提取组织进行离体检查。与传统的苏木精和伊红(H&E)染色相比,黄绿素钠驱动的CLE成像更具交互性、快速性和便携性。然而,它有几个局限性:CLE图像可能被伪影(运动,红细胞,噪声)污染,神经病理学家主要在彩色染色的组织学切片(如H&E)上接受培训,而CLE图像是灰色的。为了提高CLE的诊断质量,我们使用了胶质瘤肿瘤活检的H&E载玻片的显微照片和图像风格转移,一种用于整合两个图像的内容和风格的神经网络方法。这是通过最小化目标图像与内容(CLE)和风格(H&E)图像的偏差来完成的。由神经外科医生和神经病理学家评估风格转移图像并与传统的H&E组织学进行比较,然后在100对原始图像和转换图像中验证质量增强。测试图像的平均评分显示,与原始CLE形式相比,100张转换后的图像中有84张的伪影更少,关键结构更明显。通过提供比原始CLE图像更可解释并且比H&E载玻片更快速地获取的图像,样式转移方法允许使用CLE技术进行实时细胞级组织检查,其非常类似于H&E染色的常规外观并且可以产生比原始CLE灰度图像更好的诊断识别。
2019-05-15 cs.CV eess.IV
Learning Visual Representation of Underwater Acoustic Imagery Using Transformer-Based Style Transfer Method
Harbin Institute of Technology(哈尔滨工业大学)
水下目标自动识别一直是海洋工程领域的一个具有挑战性的研究课题。尽管深度学习为陆地和空中的目标识别带来了机会,但由于传感器性能和可训练数据的大小,基于深度学习的水下目标识别技术一直滞后。本文提出了一个以基于transformer的风格迁移模型为主体的水声图像视觉表示学习框架。该方法可以用水声图像的视觉特征代替光学图像的低层纹理特征,同时保留原始的高层语义内容。该框架可以充分利用丰富的光学图像数据集生成伪声图像数据集,并将其作为初始样本对水声目标识别模型进行训练。实验选择双频识别声纳(DIDSON)作为水声数据源,并以最常见的海洋生物鱼类作为研究对象。实验结果表明,该方法能够生成高质量、高保真度的伪声样本,达到声数据增强的目的,为水下声光图像域传递研究提供支持。
2022-11-10 cs.CV eess.IV
Wavelet Domain Style Transfer for an Effective Perception-distortion Tradeoff in Single Image Super-Resolution
Imperial College London(帝国理工学院);ETH Zurich(苏黎世联邦理工学院);Beihang University(北京航空航天大学)
在单图像超分辨率(SISR)中,给定低分辨率(LR)图像,人们希望找到它的高分辨率(HR)版本,该版本既准确又逼真。最近,它已被证明存在一个基本的权衡之间的低失真和高的感知质量,和生成对抗网络(GAN)被证明可以有效地接近感知失真(PD)界。在本文中,我们提出了一种新的方法基于小波域风格转移(WDST),它实现了更好的PD权衡比GAN的方法。具体来说,我们建议使用二维平稳小波变换(SWT)分解成低频和高频子带的图像。对于低频子带,我们通过增强网络来提高其客观质量。对于高频子带,我们建议使用WDST来有效地改善其感知质量。利用小波的完美重构特性,可以将这些子带重新组合,得到同时具有高客观和感性质量的图像。各种数据集上的数值结果表明,我们的方法实现了现有的最先进的SISR方法之间的失真和感知质量的最佳权衡。
2019-10-09 cs.CV eess.IV
Unpaired Image Enhancement with Quality-Attention Generative Adversarial Network
City University of Hong Kong(香港城市大学);Meituan-Dianping Group(美团点评集团)
在这项工作中,我们的目标是学习一个不成对的图像增强模型,它可以丰富低质量的图像与用户提供的高质量图像的特点。我们提出了一个质量注意力生成对抗网络(QAGAN)的基础上训练的非配对数据的双向生成对抗网络(GAN)嵌入了一个质量注意力模块(QAM)。所提出的QAGAN的关键新颖性在于为生成器注入QAM,使得它直接从两个域学习域相关的质量注意力。更具体地说,建议的QAM允许生成器有效地选择语义相关的特征,从空间方面和自适应地结合风格相关的属性,从通道方面,分别。因此,在我们提出的QAGAN中,不仅鉴别器,而且生成器可以直接访问这两个域,这大大方便了生成器学习映射函数。大量的实验结果表明,与基于非配对学习的最先进的方法相比,我们提出的方法在客观和主观评价方面都取得了更好的性能。
2020-12-30 cs.CV eess.IV
VQ-Font: Few-Shot Font Generation with Structure-Aware Enhancement and Quantization
Harbin Institute of Technology(哈尔滨工业大学);Nanyang Technological University(南洋理工大学)
针对少样本中文字体生成易出现细节缺失、笔画扭曲的问题,提出基于VQGAN的VQ-Font框架,通过码本精炼token先验与结构感知风格校准提升字形保真度,实验表明其在定量定性指标上均优于现有方法。
2023-08-27 cs.CV
DILIE: Deep Internal Learning for Image Enhancement
Indian Institute of Technology Gandhinagar(甘地讷格尔印度理工学院)
我们考虑一般的深度图像增强问题,其中输入图像被转换为感知上更好看的图像。最近的图像增强方法通过执行风格转移和图像复原来考虑该问题。这些方法主要分为两类:基于训练数据的和独立于训练数据的(深度内部学习方法)。我们在深度内部学习框架中执行图像增强。我们的Deep Internal Learning for Image Enhancement框架增强了内容特征和样式特征,并使用上下文内容丢失来保留增强图像中的图像上下文。我们展示了模糊和噪声图像增强的结果。为了验证结果,我们使用结构相似性和感知误差,这是有效的测量不切实际的变形存在于图像中。我们表明,所提出的框架优于相关国家的最先进的图像增强工程。
2020-12-11 cs.CV
AdSEE: Investigating the Impact of Image Style Editing on Advertisement Attractiveness
University of Alberta(阿尔伯塔大学);Tencent(腾讯)
本文提出AdSEE框架,通过引入StyleGAN语义编辑和遗传广告编辑器优化广告封面图像风格,并利用QQ-AD数据集训练点击率预测器,验证了图像风格编辑能显著提升在线广告的点击率。
2023-09-15 cs.CV cs.IR cs.LG
NILUT: Conditional Neural Implicit 3D Lookup Tables for Image Enhancement
University of Würzburg(维尔茨堡大学);Computer Vision Center (CVC)(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学);York University(约克大学)
提出NILUT,用神经网络参数化隐式连续3D颜色变换,内存高效且可控,能模拟真实3D LUT并隐式混合多种风格,补充现有图像增强方法。
2023-12-24 cs.CV
A Coarse-to-Fine Framework for Learned Color Enhancement with Non-Local Attention
University of Science and Technology of China(中国科学技术大学)
自动色彩增强的目的是自适应地调整照片,以预期的风格和色调。对于该领域的现有学习方法,很难在单个模型中同时考虑全局和谐感知和局部细节。为了解决这个问题,我们提出了一个由粗到细的框架与非局部注意力的颜色增强在本文中。在我们的框架内,我们建议将增强过程分为通道级增强和像素级细化,由两个级联的卷积神经网络(CNN)执行。在通道增强中,我们的模型预测输入图像的RGB通道的全局线性映射,以执行全局样式调整。在逐像素细化中,我们使用残差学习进行局部调整来学习细化映射。此外,我们采用了一个非局部的注意力块,以捕捉长期依赖的全球信息,为后续的细粒度的局部细化。我们在常用的基准上评估我们提出的框架,并进行足够的实验来演示其中的每个技术组件。
2019-07-20 cs.CV
Automatic Image Stylization Using Deep Fully Convolutional Networks
The University of Hong Kong(香港大学)
色彩和色调风格化努力增强独特的主题与艺术色彩和色调的调整。它具有广泛的应用范围,从专业的图像后处理到通过社交网络分享照片。主流的照片增强软件为用户提供预定义的风格,这些风格通常是通过试错过程手工制作的。这样的照片调整工具缺乏对图像内容的语义理解,并且由此产生的全局颜色变换限制了它可以表示的艺术风格的范围。另一方面,文体增强需要对不同的语义区域进行不同的调整。这样的能力使更广泛的视觉风格。在本文中,我们提出了一种用于自动图像风格化的新型深度学习架构,该架构从图像对中学习局部增强风格。我们的深度学习架构是一个端到端的深度全卷积网络,执行语义感知的特征提取以及自动图像调整预测。图像风格化可以通过我们的深度网络进行单次前向传递来有效地完成。在现有图像风格化数据集上的实验证明了我们的深度学习架构的有效性。
2018-11-27 cs.CV
Style-Driven Data Synthesis and Degradation-Aware Enhancement for Ultrasound Image Restoration
National Yang Ming Chiao Tung University(国立阳明交通大学);Ho Chi Minh City University of Technology and Engineering(胡志明市理工大学)
针对手持超声图像复合退化问题,提出两阶段框架:先通过循环一致风格迁移生成像素对齐数据,再用DDG-LoRA微调增强模型,在USenhance2023上FID提升16.7%。
2026-09-29 cs.CV
Advancements and Trends in Ultra-High-Resolution Image Processing: An Overview
Nanjing University of Science and Technology(南京理工大学);Hong Kong Polytechnic University(香港理工大学)
本文综述了超高清图像增强的研究现状,从应用领域和技术两个角度进行梳理,并简要展望了未来发展趋势。
2023-11-30 cs.CV
Style Generator Inversion for Image Enhancement and Animation
School of Computer Science and Engineering(计算机科学与工程学院);Facebook AI Research(脸书人工智能研究院);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
训练高质量图像生成模型的主要动机之一是它们作为图像操作工具的潜在用途。最近,生成对抗网络(GANs)已经能够生成质量卓越的图像。不幸的是,逆向训练的无条件生成器网络作为图像先验并不成功。网络作为生成图像先验的主要要求之一是能够从目标分布中生成每一个可能的图像。对抗性学习通常会经历模式崩溃,这表现在生成器无法生成目标分布的某些模式。通常不满足的另一个要求是可逆性,即,具有在给定所需输出图像的情况下找到有效输入潜码的有效方式。在这项工作中,我们表明,与早期的GANs不同,最近提出的样式生成器很容易反转。我们使用这个重要的观察,提出风格生成器作为通用的图像先验。我们表明,样式生成器优于其他GANs以及深度图像先验作为图像增强任务的先验。由风格生成器生成的潜空间满足线性身份-姿态关系。潜在的空间线性,加上可逆性,使我们能够在没有监督的情况下动画静态面部图像。进行了大量的实验,以支持本文的主要贡献。
2019-06-05 cs.CV cs.LG stat.ML
YOLOv11: An Overview of the Key Architectural Enhancements
Huddersfield University(哈德斯菲尔德大学)
本文分析了YOLOv11的关键架构增强,如C3k2、SPPF和C2PSA组件,并综述其在检测、分割、姿态估计及OBB任务上的性能提升与多规模适用性。
2024-10-23 cs.CV
A Comprehensive Review of Image Enhancement Techniques
University College of Engineering, Punjabi University(旁遮普大学工程学院)
图像增强的主要目的是对图像进行处理,使处理结果比原始图像更适合于特定的应用。数字图像增强技术为提高图像的视觉质量提供了多种选择。这些技术的适当选择在很大程度上受成像方式、手头任务和观察条件的影响。本文将概述基本概念以及图像增强常用的算法。本文重点介绍了图像增强的空间域技术,特别是点处理方法和直方图处理。
2010-03-22 cs.CV
Enhancing rice leaf images: An overview of image denoising techniques
The Assam Kaziranga University(阿萨姆卡齐兰加大学)
本文综述并比较了多种经典图像去噪方法结合CLAHE技术在水稻叶片图像增强中的应用,通过多指标实验验证了其有效性,为农业图像处理提供了方法评估基础。
2025-10-28 cs.CV
Distilling Style from Image Pairs for Global Forward and Inverse Tone Mapping
University of Cambridge(剑桥大学)
许多图像增强或编辑操作(如正向和反向色调映射或颜色分级)没有唯一的解决方案,而是有一系列解决方案,每个解决方案代表不同的风格。尽管如此,现有的基于学习的方法试图学习一个独特的映射,无视这种风格。在这项工作中,我们表明,信息的风格可以从图像对的集合中提取,并编码成一个2或3维向量。这不仅为我们提供了一个有效的表示,而且为编辑图像风格提供了一个可解释的潜在空间。我们将一对图像之间的全局颜色映射表示为自定义归一化流,条件是基于像素颜色的多项式。我们表明,这样的网络在低维空间中对图像风格进行编码时比PCA或VAE更有效,并且可以让我们获得接近40 dB的精度,这比最先进的方法提高了约7-10 dB。
2022-10-04 cs.CV
Self-supervised Domain Adaptation for Breaking the Limits of Low-quality Fundus Image Quality Enhancement
Northeastern University(东北大学);DAMO Academy, Alibaba Group(阿里巴巴达摩院);University of Alberta(阿尔伯塔大学)
针对医疗场景中高质量眼底图像难收集导致增强方法受限的问题,本文提出DASQE方法,通过辅助预训练质量评估网络和风格聚类构建补丁域,设计自监督域自适应任务解耦特征,在仅用低质量图像时于EyeQ和Messidor数据集上获SOTA性能。
2023-01-17 cs.AI cs.CV eess.IV
CFNet: Optimizing Remote Sensing Change Detection through Content-Aware Enhancement
School of Remote Sensing and Information Engineering, Wuhan University(武汉大学遥感信息工程学院);Hubei Luojia Laboratory(湖北珞珈实验室)
本文提出CFNet,以内容感知约束和基于余弦距离的Focuser重加权模块缓解双时相遥感图像风格差异对变化检测的干扰,并在CLCD、LEVIR-CD和SYSU-CD数据集上取得优异性能。
2025-03-11 cs.CV
Controllable Image Enhancement
Seoul National University(首尔大学)
将平面图像编辑成令人惊叹的照片需要技巧和时间。自动图像增强算法通过在没有用户交互的情况下生成高质量图像而吸引了越来越多的兴趣。然而,照片的质量评估是主观的。即使在色调和颜色调整中,自动增强的单张照片也很难适应微妙甚至可变的用户偏好。为了解决这个问题,我们提出了一个半自动的图像增强算法,可以生成高质量的图像,通过控制几个参数具有多种风格。我们首先从高质量的图像中分离出照片修饰技能,并为每个技能建立一个有效的增强系统。具体而言,编码器-解码器框架将修饰技能编码成潜在代码,并将其解码成图像信号处理(ISP)函数的参数。ISP函数计算效率高,仅包含19个参数。尽管我们的方法需要多个推理来获得所需的结果,实验结果表明,所提出的方法在基准数据集上实现了图像质量和模型效率的最先进性能。
2022-06-16 cs.CV
Adversarial Color Enhancement: Generating Unrestricted Adversarial Images by Optimizing a Color Filter
Radboud University(拉德堡德大学)
我们介绍了一种使用滤色器增强图像的方法,以创建对抗效果,从而欺骗神经网络进行错误分类。我们的方法,对抗性颜色增强(ACE),通过优化颜色过滤器通过梯度下降,生成不受限制的对抗性图像。ACE的新颖之处在于它以透明的方式纳入了图像增强的既定做法。实验结果验证了ACE的白盒对抗能力和黑盒可移植性。一系列的例子证明了ACE产生的图像的感知质量。ACE对最近的工作做出了重要贡献,该工作超越了$L_p$的不可感知性,并专注于产生大的可感知扰动但对人眼保持非可疑的无限制对抗性修改。基于过滤器的对手的未来潜力也在两个方向上进行了探索:用常见的增强实践(例如,Instagram的过滤器)对特定的有吸引力的图像风格和适应ACE图像语义。代码可在https://github.com/ZhengyuZhao/ACE上获得。
2020-08-09 cs.CV