Artistic style transfer for videos
University of Freiburg(弗莱堡大学)
在过去,以某种艺术风格手动重新绘制图像需要专业的艺术家和很长的时间。一个人做一个视频序列是超出想象的。如今,计算机提供了新的可能性。我们提出了一种方法,将风格从一个图像(例如,绘画)到整个视频序列。我们利用最新的进展,在静态图像中的风格转移,并提出新的初始化和损失函数适用于视频。这使我们能够生成一致和稳定的风格化视频序列,即使在大运动和强遮挡的情况下。我们表明,所提出的方法明显优于简单的基线定性和定量。
2016-10-19 cs.CV
ArtBank: Artistic Style Transfer with Pre-trained Diffusion Model and Implicit Style Prompt Bank
Zhejiang University(浙江大学)
本文提出 ArtBank 框架,通过可训练的隐式风格提示库 ISPB 挖掘预训练扩散模型知识,并利用 SSAM 加速训练,从而在保持内容结构的同时生成高逼真风格化图像。
2023-12-11 cs.CV
Controllable Artistic Text Style Transfer via Shape-Matching GAN
Institute of Computer Science and Technology, Peking University(北京大学计算机科学技术研究所);Texas A&M University(德克萨斯农工大学);Adobe Research(奥多比研究中心)
艺术文本样式转换是将样式从源图像迁移到目标文本以创建艺术排版的任务。最近的风格转换方法考虑了纹理控制,以提高可用性。然而,在形状变形方面控制风格化程度仍然是一个重要的公开挑战。在本文中,我们提出了第一个文本风格传输网络,允许通过可调参数的关键风格程度的实时控制的广告。我们的主要贡献是一个新的双向形状匹配框架,建立一个有效的字形风格的映射在不同的变形水平,没有配对的地面真理。基于这一思想,我们提出了一个规模可控的模块,使一个单一的网络不断表征风格图像的多尺度形状特征,并将这些特征转移到目标文本。该方法在生成多样化、可控性和高质量的风格化文本方面表现出了其优越性。
2019-08-10 cs.CV
Multimodal Transfer: A Hierarchical Deep Convolutional Neural Network for Fast Artistic Style Transfer
University of California, Santa Barbara(加州大学圣塔芭芭拉分校);Adobe Research(Adobe 研究院)
将艺术风格转移到日常照片中已经成为学术界和工业界非常流行的任务。最近,离线训练已经取代了在线迭代优化,实现了近乎实时的风格化。然而,当这些风格化网络直接应用于高分辨率图像时,局部区域的风格往往与所需的艺术风格不太相似。这是因为转移过程无法捕获小而复杂的纹理并保持艺术品的正确纹理比例。在这里,我们提出了一个多模态卷积神经网络,它考虑到颜色和亮度通道的忠实表示,并进行风格化分层与多个损失的增加规模。与最先进的网络相比,我们的网络还可以通过进行更复杂的离线训练来近乎实时地执行风格迁移。通过使用几种模态在多个尺度上正确处理风格和纹理线索,我们不仅可以传递大尺度的、明显的风格线索,还可以传递微妙的、精致的风格线索。也就是说,我们的计划可以产生的结果,是视觉上令人愉快的,更类似于多种所需的艺术风格的颜色和纹理线索在多个尺度。
2017-04-11 cs.AI cs.CV
Novel Artistic Scene-Centric Datasets for Effective Transfer Learning in Fragrant Spaces
Friedrich-Alexander-Universität Erlangen-Nürnberg(弗里德里希-亚历山大-埃尔朗根-纽伦堡大学)
针对文化遗产中嗅觉场景,提出用弱标注数据微调Places365模型,显著提升芬芳空间与艺术场景分类,并发布ArtPlaces数据集。
2024-07-16 cs.CV
GenText: Unsupervised Artistic Text Generation via Decoupled Font and Texture Manipulation
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
艺术文本自动生成是一个新兴的课题,由于其广泛的应用而受到越来越多的关注。艺术文本可以分为三个组成部分,内容,字体和纹理,分别。现有的艺术文本生成模型通常只关注对上述组件中某一方面的操作,这对于可控的通用艺术文本生成来说是一个次优的解决方案。为了解决这个问题,我们提出了一种新的方法,即GenText,实现一般的艺术文本风格的转移,通过可分离地迁移字体和纹理风格从不同的源图像的目标图像在一个无监督的方式。具体来说,我们目前的工作将三个不同的阶段,风格化,去风格化和字体传输,分别到一个统一的平台,一个强大的编码器网络和两个独立的风格生成器网络,一个用于字体传输,另一个用于风格化和去风格化。去风格化阶段首先提取字体参考图像的字体风格,然后字体转换阶段生成具有期望字体风格的目标内容。最后,风格化阶段相对于参考图像中的纹理样式渲染所得到的字体图像。此外,考虑到配对的艺术文本图像的数据采集的困难,我们的模型是在无监督的设置下设计的,其中所有阶段都可以有效地从未配对的数据进行优化。定性和定量的结果进行艺术文本基准,这表明我们提出的模型的优越性能。带有模型的代码将在未来公开提供。
2022-07-20 cs.CV
Artistic Arbitrary Style Transfer
University of Alberta(阿尔伯塔大学)
任意样式传输是一种用于从两个图像(内容图像和样式图像)生成新图像的技术。新生成的图像是不可见的,是由算法本身生成的。平衡结构和样式组件一直是其他最先进的算法试图解决的主要挑战。尽管做出了所有努力,但在保持一致性的同时应用最初在内容图像结构之上创建的艺术风格仍然是一个重大挑战。在这项工作中,我们通过使用深度学习方法使用卷积神经网络解决了这些问题。我们的实现将首先使用内容图像中预训练的Detectron 2模型从背景中提取前景,然后应用SANet中使用的任意样式传输技术。一旦我们有两个风格的图像,我们将缝合后的风格转移的过程中的完整的最后一块图像的两块。
2022-12-21 cs.CV
Portrait Stylization: Artistic Style Transfer with Auxiliary Networks for Human Face Stylization
University of São Paulo(圣保罗大学);Instituto de Ciências Matemáticas e de Computação(数学与计算机科学研究所)
针对图像风格迁移中 VGG-19 等通用分类器难以保留人脸几何与表情特征的问题,本文引入辅助预训练人脸识别模型的嵌入,引导算法将内容图像的人脸个体特征传播至最终风格化结果。
2023-09-23 cs.CV
Improving the Neural Algorithm of Artistic Style
École normale supérieure de Cachan(卡尚高等师范学院)
在这项工作中,我们研究了改进艺术风格神经算法的不同途径(Leon A。Gatys,Alexander S. Ecker和Matthias Bethge,arXiv:1508.06576)。虽然在传输同质和重复模式时显示出很好的效果,但原始样式表示通常无法捕获更复杂的属性,例如具有单独的前景和背景样式。这导致在执行样式转换时,视觉伪像和不期望的纹理出现在意外区域中。我们使用多种方法来解决这个问题,主要是通过修改样式表示,以便它捕获更多信息并对样式传输结果施加更严格的约束。在我们的实验中,我们主观地评估我们最好的方法,从几乎不明显的风格转移的质量产生显着的改善。
2016-05-15 cs.CV
Artistic Enhancement and Style Transfer of Image Edges using Directional Pseudo-coloring
C3.ai(C3.ai公司)
计算图像的梯度是计算机视觉流水线中的常见步骤。图像梯度量化图像中边缘的幅度和方向,并用于为下游机器学习任务创建特征。通常,图像梯度被表示为灰度图像。本文介绍了方向伪着色,一种方法,颜色的图像梯度在一个深思熟虑的和连贯的方式。通过用图像梯度方向对图像梯度幅值进行伪着色,可以增强图像边缘的视觉质量,实现对原图像的艺术变换。此外,我们提出了一个简单的样式传输管道,它从样式图像中学习颜色映射,然后通过定向伪着色技术将该颜色映射应用于内容图像的边缘。算法和实验的代码可在https://github.com/shouvikmani/edge-colorizer上获得。
2019-06-19 cs.CV
Learning Artistic Signatures: Symmetry Discovery and Style Transfer
The Kemnpner Institute for the Study of Natural and Artificial Intelligence at Harvard University(哈佛大学肯普纳自然与人工智能研究所)
本文将艺术风格定义为支配局部纹理排列的全局对称性,通过学习绘画数据集中的对称性并结合 Lie 生成元与纹理度量,提升艺术家风格相似性建模及可解释风格迁移能力。
2024-12-05 cs.CV
Image Style Transfer: from Artistic to Photorealistic
University of Alberta(阿尔伯塔大学)
深度学习的快速发展极大地促进了真实感风格迁移的发展。本文从艺术风格转换的角度出发,回顾了真实感风格转换的发展历程,以及传统图像处理技术对真实感风格转换的贡献,包括阿尔伯塔大学多媒体实验室的一些工作。在这篇评论中讨论了许多技术。然而,我们的重点是基于VGG的技术,基于白化和着色变换(WCT)的技术,深度学习与传统图像处理技术的结合。
2022-03-12 cs.CV eess.IV
InfoStyler: Disentanglement Information Bottleneck for Artistic Style Transfer
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
提出 InfoStyler,通过信息瓶颈与跨域重构策略实现内容与风格特征的清晰解耦,有效平衡艺术风格迁移中的内容保持与风格丰富度。
2023-07-30 cs.CV
Artistic style transfer for videos and spherical images
University of Freiburg(弗莱堡大学)
以某种艺术风格手动重新绘制图像需要专业艺术家很长时间。单独为视频序列做这件事是超乎想象的。我们提出了两种计算方法,从一个图像(例如,绘画)的风格转移到整个视频序列。在我们的第一种方法中,我们采用Gatys等人基于能量最小化的原始图像风格转移技术来适应视频。我们引入了新的初始化方法和新的损失函数,即使在大运动和强遮挡的情况下,也能生成一致和稳定的风格化视频序列。我们的第二种方法制定视频风格化作为一个学习问题。我们提出了一个深度网络架构和训练程序,使我们能够以一致和稳定的方式,几乎实时的对任意长度的视频进行风格化。我们表明,所提出的方法明显优于简单的基线定性和定量。最后,我们提出了一种方法,以适应这些方法也360度的图像和视频,因为它们出现与最近的虚拟现实硬件。
2018-08-05 cs.CV
Neural Artistic Style and Color Transfer Using Deep Learning
Department of Electrical Engineering and Computer Science(电气工程与计算机科学系);University of North Dakota(北达科他大学)
本文提出一种结合神经艺术风格与色彩迁移的方法,利用深度学习并采用 KL 散度定量评估多种色彩和亮度直方图匹配算法在风格到内容迁移中的表现。
2025-08-12 cs.CV cs.LG
TSSAT: Two-Stage Statistics-Aware Transformation for Artistic Style Transfer
Nanjing University of Science and Technology(南京理工大学);Zhejiang University(浙江大学)
针对现有风格迁移方法忽略绘画过程的问题,提出两阶段统计感知变换(TSSAT)模块,通过先对齐全局统计再交换局部统计模拟人类绘画过程,并引入基于注意力的内容损失和基于图块的风格损失,显著提升了风格化效果。
2023-09-12 cs.CV
ALADIN-NST: Self-supervised disentangled representation learning of artistic style through Neural Style Transfer
University of Surrey(萨里大学);Adobe(奥多比公司)
本文提出 ALADIN-NST,利用 Neural Style Transfer 提供自监督学习信号,以学习与语义内容高度解耦的艺术风格表示,并在解耦指标和下游多模态任务上达到最先进水平。
2023-08-17 cs.CV
Learning Dynamic Style Kernels for Artistic Style Transfer
OPPO US Research Center(OPPO美国研究中心);Meta Reality Lab(Meta现实实验室);South China University of Technology(华南理工大学)
本文提出学习动态风格核实现逐像素风格迁移,通过风格对齐编码和基于内容的门控调制模块兼顾全局与局部交互,在视觉质量和效率上优于现有方法。
2023-04-14 cs.CV
Learning Selfie-Friendly Abstraction from Artistic Style Images
SenseTime Research(商汤科技研究院)
艺术风格的转换可以被认为是一个过程,以产生不同版本的抽象的原始图像。然而,大多数艺术风格转移算子没有针对人脸进行优化,因此在将它们应用于自拍时主要遭受两个不期望的特征。首先,人脸的边缘可能会令人不快地偏离原始图像中的边缘。第二,肤色与原始肤色相差甚远,这通常会导致高质量的自拍。在本文中,我们采取了不同的方法,并制定这个抽象过程作为一个梯度域学习问题。我们的目标是学习一种抽象的类型,它不仅实现了指定的艺术风格,而且还规避了上述两个缺点,因此非常适用于自拍摄影。我们还表明,我们的方法可以直接推广到具有高帧间一致性的视频。我们的方法对非自拍图像也是鲁棒的,并讨论了对各种现实生活场景的推广。我们将公开我们的代码。
2018-05-21 cs.CV
TE141K: Artistic Text Benchmark for Text Effect Transfer
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机技术研究所)
文字效果是视觉元素的组合,如文字的轮廓,颜色和纹理,可以显着提高其艺术性。虽然文本效果在设计行业中被广泛使用,但由于其极端复杂性,它们通常由人类专家创建;这对于普通用户来说是费力且不实用的。近年来,人们在自动文本效果迁移方面做出了一些努力;然而,数据的缺乏限制了迁移模型的能力。为了解决这个问题,我们引入了一个新的文本效果数据集TE 141 K,总共有141,081个文本效果/效果对。我们的数据集由152个专业设计的文字效果呈现在字形上,包括英文字母,中文字符和阿拉伯数字。据我们所知,这是迄今为止最大的文本效果转移数据集。基于此数据集,我们提出了一种称为文本效果转移GAN(TET-GAN)的基线方法,该方法支持在一个模型中转移所有152种样式,并且可以有效地扩展到新样式。最后,我们进行了全面的比较,其中14个风格转移模型的基准。实验结果证明了TET-GAN在定性和定量方面的优越性,并表明我们的数据集是有效的和具有挑战性的。
2020-03-24 cs.CV
Artistic Neural Style Transfer Algorithms with Activation Smoothing
University of California San Diego(加州大学圣地亚哥分校);Tulane University(杜兰大学);California Institute of Technology(加州理工学院);Stevens Institute of Technology(史蒂文斯理工学院)
本文重新实现了多种神经风格迁移(NST)方法,并探索在NST中利用带有激活平滑的ResNet,实验证明平滑变换能显著提升风格化结果的质量。
2024-11-12 cs.CV eess.IV
Exploring the structure of a real-time, arbitrary neural artistic stylization network
Google Brain(谷歌大脑);MILA, Université de Montréal(蒙特利尔大学MILA)
在本文中,我们提出了一种方法,它结合了艺术风格的神经算法的灵活性与快速风格传输网络的速度,允许使用任何内容/风格图像对实时的【形】风格化。我们建立在最近的工作,利用条件实例规范化的多风格的传输网络,学习预测的条件实例规范化参数直接从一个风格的图像。该模型在大约80,000幅绘画的语料库上成功训练,并且能够推广到以前未观察到的绘画。我们证明了学习的嵌入空间是平滑的,包含丰富的结构,并以完全无监督的方式组织与绘画相关的语义信息。
2017-08-24 cs.CV
MuVieCAST: Multi-View Consistent Artistic Style Transfer
Delft University of Technology(代尔夫特理工大学)
本文提出模块化网络 MuVieCAST,通过内容保持、图像变换和多视图一致性模块实现稀疏与密集视图间的一致艺术风格迁移,并在点云融合、网格重建和新视图合成中验证其优势。
2023-12-08 cs.CV
DRB-GAN: A Dynamic ResBlock Generative Adversarial Network for Artistic Style Transfer
OPPO US Research Center, InnoPeak Technology Inc(InnoPeak科技公司OPPO美国研究中心);JD Finance America Corporation(京东金融美国公司);University of Calgary(卡尔加里大学);Ryerson University(瑞尔森大学)
本文提出了一种用于艺术风格转移的动态ResBlock生成对抗网络(DRB-GAN)。样式代码被建模为连接样式编码网络和样式传递网络的Dynamic ResBlocks的共享参数。在样式编码网络中,使用样式类感知的注意力机制来关注样式特征表示以生成样式代码。在风格转换网络中,设计了多个动态ResBlocks来集成风格代码和提取的CNN语义特征,然后将其馈送到空间窗口层实例归一化(SW-LIN)解码器,从而实现具有艺术风格转换的高质量合成图像。此外,设计了风格集合条件训练器,使我们的DRB-GAN模型在训练阶段具有任意风格迁移和集合风格迁移的能力。无论是任意风格传输还是集合风格传输,大量的实验都有力地证明了我们提出的DRB-GAN优于最先进的方法,并在视觉质量和效率方面表现出优越的性能。我们的源代码可以在\color{magenta}{\url{https://github.com/xuwenju123/DRB-GAN}}上找到。
2021-10-02 cs.CV eess.IV
AEANet: Affinity Enhanced Attentional Networks for Arbitrary Style Transfer
Guilin University Of Electronic Technology(桂林电子科技大学)
针对现有风格迁移方法易破坏内容图像纹理的问题,提出AEANet,通过内容与风格亲和力增强注意力模块、混合注意力模块及局部不相似性损失,有效保留内容结构与艺术特征,在任意风格迁移中优于现有最先进方法。
2024-09-24 cs.CV
CtlGAN: Few-shot Artistic Portraits Generation with Contrastive Transfer Learning
Shanghai Jiao Tong University(上海交通大学);Tencent Youtu Lab(腾讯优图实验室)
针对少样本艺术肖像生成易过拟合的问题,提出CtlGAN模型,通过对比迁移学习、跨域三元组损失及双路径训练,在1/10样本设置下实现优于现有方法的高质量生成效果。
2024-03-08 cs.CV cs.GR
Master: Meta Style Transformer for Controllable Zero-Shot and Few-Shot Artistic Style Transfer
Peking University(北京大学);National University of Singapore(新加坡国立大学);Baidu Inc.(百度公司);Tencent AI Lab(腾讯人工智能实验室)
本文提出 Master 风格迁移 Transformer,通过跨层参数共享、内容特征可学习缩放及元学习微调,实现可控零样本与文本引导少样本艺术风格迁移。
2023-04-24 cs.CV
Automatic Image Stylization Using Deep Fully Convolutional Networks
The University of Hong Kong(香港大学)
色彩和色调风格化努力增强独特的主题与艺术色彩和色调的调整。它具有广泛的应用范围,从专业的图像后处理到通过社交网络分享照片。主流的照片增强软件为用户提供预定义的风格,这些风格通常是通过试错过程手工制作的。这样的照片调整工具缺乏对图像内容的语义理解,并且由此产生的全局颜色变换限制了它可以表示的艺术风格的范围。另一方面,文体增强需要对不同的语义区域进行不同的调整。这样的能力使更广泛的视觉风格。在本文中,我们提出了一种用于自动图像风格化的新型深度学习架构,该架构从图像对中学习局部增强风格。我们的深度学习架构是一个端到端的深度全卷积网络,执行语义感知的特征提取以及自动图像调整预测。图像风格化可以通过我们的深度网络进行单次前向传递来有效地完成。在现有图像风格化数据集上的实验证明了我们的深度学习架构的有效性。
2018-11-27 cs.CV
CoARF: Controllable 3D Artistic Style Transfer for Radiance Fields
ETH Zürich(苏黎世联邦理工学院)
本文提出 CoARF 算法,通过分割掩码与标签相关损失函数实现指定对象、组合式及语义感知的可控 3D 场景风格迁移,并引入语义感知最近邻匹配算法提升迁移质量。
2024-04-23 cs.AI cs.CV cs.GR
StyMam: A Mamba-Based Generator for Artistic Style Transfer
School of Information Engineering, Suqian University(信息工程学院,苏庆大学);School of Artificial Intelligence and Computer Science, Jiangnan University(人工智能与计算机科学学院,江南大学);Jiangsu Province Engineering Research Center of Smart Poultry Farming and Intelligent Equipment(江苏省智能养鸡场与智能设备工程研究中心);School of Computer Science, Nanjing University of Posts and Telecommunications(计算机科学学院,南京邮电大学);Institute of Automation, Chinese Academy of Sciences(自动化研究所,中国科学院);School of Internet of Things, Wuxi University of Technology(物联网学院,无锡科技大学)
StyMam通过引入基于Mamba的生成器,结合残差双路径扫描机制和通道加权空间注意力模块,实现了高质量且快速的图像风格迁移。
2026-01-25 cs.CV
Fast Universal Style Transfer for Artistic and Photorealistic Rendering
Peking University(北京大学);Baidu Research(百度研究院);University of Rochester(罗切斯特大学)
通用样式转换是一种图像编辑任务,其使用任意参考图像的视觉样式来渲染输入内容图像,包括艺术风格化和照片真实感风格化两者。给定一对图像作为内容的来源和风格的参考,现有的解决方案通常首先训练自动编码器(AE)以使用深度特征重建图像,然后将预定义的风格转换模块嵌入到AE重建过程中以通过修改深度特征来转换重建图像的风格。虽然现有的方法通常需要多轮耗时的AE重建以获得更好的风格化,但我们的工作旨在在AE之上设计新颖的神经网络架构,以实现快速的风格传输,并且在一次端到端推理中具有更少的伪影和失真。为此,我们提出了两个网络架构名为ArtNet和PhotoNet,以提高艺术和照片逼真的风格化,分别。大量的实验表明,ArtNet生成的图像与最先进的艺术传输算法相比具有更少的伪影和失真,而PhotoNet通过创建清晰的图像来改善真实感风格化结果,忠实地保留输入内容的丰富细节。此外,ArtNet和PhotoNet可以在最先进的算法上实现3倍到100倍的加速,这对于大内容图像来说是一个主要优势。
2019-07-06 cs.CV cs.GR eess.IV
Coarse-to-Fine Structure-Aware Artistic Style Transfer
School of Information Science and Engineering, Yunnan University(云南大学信息科学与工程学院)
针对现有艺术风格迁移方法仅将风格纹理颜色迁移至内容全局结构、局部结构不匹配的问题,提出从粗到细的结构感知方法,通过粗网络重建低分辨率粗风格化特征、精细网络(含SSF模块)合成高分辨率图像,实验验证了其有效性。
2025-02-08 cs.AI cs.CV
ART3D: 3D Gaussian Splatting for Text-Guided Artistic Scenes Generation
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院)
本研究提出结合扩散模型与3D高斯溅射的ART3D框架,通过图像语义迁移、深度一致性模块等技术生成高质量3D艺术场景,在内容与结构一致性指标上优于现有方法,推动AI艺术创作发展。
2024-05-17 cs.CV
Parameterized Brushstroke Style Transfer
Clemson University(克莱姆森大学)
本文提出一种参数化笔触风格迁移方法,通过在笔触领域而非RGB领域表示图像,实现更自然的视觉效果。
2026-03-08 cs.CV cs.GR
Exploring the Neural Algorithm of Artistic Style
École normale supérieure de Cachan(卡尚高等师范学院)
本文探讨了Leon A. Gatys,Alexander S. Ecker and Matthias Bethge(arXiv:1508.06576).我们首先通过几个例子来展示建议样式空间的强大功能。然后,我们改变了不同的超参数和程序属性,这些属性在原始论文中没有讨论,其中包括使用的识别网络,梯度下降的起点以及划分风格和内容层的不同方法。我们还简要比较了一些现有的算法实现和使用的深度学习框架。为了进一步研究风格空间,我们尝试通过最大化一个Gram矩阵$\mathcal{G}_l$中的单个条目来生成合成图像,并观察到一些有趣的结果。接下来,我们尝试模拟从真实绘画中获得的Gram矩阵的稀疏度和强度分布,并生成更复杂的纹理。最后,我们提出了两个新的风格表示建立在网络的功能,并讨论如何可以用来实现本地和潜在的内容感知的风格转移。
2016-03-13 cs.CV
Learning from Multi-domain Artistic Images for Arbitrary Style Transfer
University of Maryland, College Park(马里兰大学帕克分校);Cornell Tech(康奈尔科技校区);Adobe Research(Adobe研究院)
我们提出了一个快速前馈网络的任意风格传输,它可以生成风格化的图像,以前看不见的内容和风格的图像对。除了传统的基于纹理的深度特征和统计的内容和风格表示之外,我们使用对抗网络来规则化风格化图像的生成。我们的对抗网络从大规模多领域艺术图像中学习图像风格的内在属性。对抗训练是具有挑战性的,因为我们的生成器的输入和输出都是不同的多域图像。我们使用了一个条件生成器,它通过改变深层特征的统计数据来风格化内容,以及一个基于粗略样式类别的条件生成器。此外,我们提出了一个掩码模块来空间决定风格化水平,并通过避免模式坍塌来稳定对抗训练。作为一个副作用,我们的训练过的神经网络可以应用于排名和选择代表性的风格化图像。我们定性和定量地评估所提出的方法,并与最近的风格转移方法进行比较。我们在https://github.com/nightldj/behance_release上发布我们的代码和模型。
2019-04-14 cs.CV cs.LG
Neural Style Representations and the Large-Scale Classification of Artistic Style
University of New Hampshire(新罕布什尔大学)
绘画的艺术风格是艺术史学家对艺术作品进行分组和分类的微妙的审美判断。最近引入的“神经风格”算法在将一幅图像或一组图像的感知艺术风格与另一幅图像的感知内容相融合方面取得了实质性成功。鉴于这一点和其他最近的发展,图像分析通过卷积神经网络,我们调查的有效性“神经风格”的表示分类的艺术风格的绘画。
2016-11-16 cs.AI cs.CV cs.IR
NeAT: Neural Artistic Tracing for Beautiful Style Transfer
University of Surrey(萨里大学);Adobe Research(Adobe研究院)
本文提出NeAT,将前馈风格迁移重新定义为图像编辑任务,通过修复“风格光晕”伪影并引入400万图像的BBST-4M数据集,在内容保留、风格匹配、泛化能力和高分辨率快速推理上达到最先进水平。
2023-04-11 cs.CV cs.LG
Drafting and Revision: Laplacian Pyramid Network for Fast High-Quality Artistic Style Transfer
Baidu Inc.(百度公司);Xidian University(西安电子科技大学);Chongqing University of Posts and Telecommunications(重庆邮电大学)
艺术风格迁移的目的是将风格从示例图像迁移到内容图像。目前,基于优化的方法已经取得了很好的风格化质量,但昂贵的时间成本限制了它们的实际应用。同时,前馈方法仍然无法合成复杂的风格,特别是当整体的全球和局部模式存在。受绘制草图和修改细节的常见绘画过程的启发,我们引入了一种新颖的前馈方法,称为Laplacian Pyramid Network(LapStyle)。LapStyle首先通过绘图网络以低分辨率传输全局样式模式。然后通过修正网络对局部细节进行高分辨率修正,修正网络根据草图和拉普拉斯滤波提取的图像纹理生成残留图像。通过堆叠具有多个拉普拉斯金字塔层级的修订网络,可以轻松生成更高分辨率的细节。通过聚合所有金字塔级别的输出来获得最终的风格化图像。我们还引入了一个补丁学习器来更好地学习局部模式。实验表明,我们的方法可以合成高质量的风格化图像在实时的,其中整体风格模式被适当地转移。
2021-04-18 cs.CV eess.IV
Through Van Gogh's Eyes: Global Style Transfer with Diffusion Model
Korea Institute of Science and Technology(韩国科学技术研究院);University of Science and Technology(科技大学);Korea University(高丽大学);Gachon University(嘉泉大学);Kyung Hee University(庆熙大学)
该研究针对现有艺术图像合成方法难以捕捉艺术家全局风格的问题,提出多对一的全局风格迁移范式及对应的全局风格引导、内容对齐引导方法,在WikiArt上验证了其在风格保真度等指标上的优势。
2026-08-14 cs.CV
ARF: Artistic Radiance Fields
Cornell University(康奈尔大学);Adobe Research(奥多比研究院)
提出了一种将任意风格图像的艺术特征转化为三维场景的方法。对于复杂的真实世界场景,以前的方法对点云或网格进行3D风格化对几何重建误差敏感。相反,我们建议styphiles更强大的辐射场表示。我们发现,常用的革兰氏矩阵为基础的损失往往会产生模糊的结果,没有忠实的笔触,并介绍了最近的邻居为基础的损失,是非常有效的捕捉风格的细节,同时保持多视图的一致性。我们还提出了一种新的延迟反向传播方法,使内存密集型辐射场的优化使用风格损失定义的全分辨率渲染图像。我们广泛的评估表明,我们的方法优于基线生成的艺术外观,更接近的风格图像。请查看我们的项目页面以获取视频结果和开源实现:https://www.cs.cornell.edu/projects/arf/。
2022-06-13 cs.CV
HyperNST: Hyper-Networks for Neural Style Transfer
University of Surrey(萨里大学);Adobe Research(Adobe研究院)
我们提出HyperNST;一种神经风格转换(NST)技术,用于图像的艺术风格化,基于超网络和StyleGAN 2架构。我们的贡献是一种新的方法,诱导风格转移参数化的度量空间,预先训练的基于风格的视觉搜索(SBVS)。我们第一次表明,这样的空间可用于驱动NST,使应用程序和插值的SBVS系统的风格。技术贡献是一个超网络,它预测在各种艺术内容(肖像)上预训练的StyleGAN 2的权重更新,使用面部区域的语义图在每个区域的基础上定制风格参数化。我们展示了HyperNST在保留我们的风格化内容的同时保持良好的风格传输性能的同时,在内容保存方面超越了最先进的水平。
2022-08-09 cs.CV
Computational Decomposition of Style for Controllable and Enhanced Style Transfer
Shanghai Jiao Tong University(上海交通大学)
卷积神经网络(CNN)在艺术图像的生成中具有强大的神经风格转换功能。然而,仍然缺乏对艺术风格的感性成分的计算分析。与以往的研究不同,本文基于CNN产生的特征图,系统地研究了文本风格的特征。首先,我们不仅使用基于频谱的方法,包括快速傅立叶变换(FFT),离散余弦变换(DCT),而且还使用潜在变量模型,如主成分分析(PCA),独立成分分析(ICA),计算风格分解成基本元素。然后,风格的分解归纳出各种控制风格元素的方法,这些方法可以作为模块嵌入到最先进的风格转换算法中。这种风格的分解带来了几个好处。它使不同的艺术风格的计算编码,我们的风格基础与类似的风格聚类在一起,因此它有助于混合或干预的风格基础上的风格从一个以上的风格,使复合风格或新的风格可以产生产生风格的图像。实验结果表明,该方法不仅对绘画风格的转换,而且对草图风格的转换,这表明可能的应用在图片到草图的问题。
2018-11-24 cs.CV
Neural Artistic Style Transfer with Conditional Adversaria
University of Moratuwa(莫拉图瓦大学)
神经艺术风格转换(NST)模型可以通过添加著名图像的风格来修改简单图像的外观。即使变换后的图像看起来不完全像各个风格图像的同一艺术家的作品,所生成的图像也是吸引人的。一般来说,经过训练的NST模型专注于一种风格,并且单个图像代表该风格。然而,在新风格下生成图像是一个繁琐的过程,其中包括完整的模型训练。在本文中,我们提出了两种方法,逐步走向风格图像独立的神经风格转移模型。换句话说,训练后的模型可以在任何内容,风格图像输入对下生成语义准确的生成图像。我们的新贡献是一个单向GAN模型,通过模型架构确保了Cyclic一致性。此外,这导致了更小的模型大小和有效的训练和验证阶段。
2023-02-08 cs.AI cs.CV cs.IR
AnyArtisticGlyph: Multilingual Controllable Artistic Glyph Generation
School of Computer Science and Artificial Intelligence, Wuhan University of Technology(武汉理工大学计算机科学与人工智能学院)
本文提出AnyArtisticGlyph扩散模型,通过字体融合嵌入、视觉-文本融合嵌入和粗粒度特征级损失,实现多语言可控的高质量艺术字形生成,性能达到最先进水平。
2025-04-07 cs.CV
Improving Masked Style Transfer using Blended Partial Convolution
East Carolina University(东卡罗来纳大学)
本文提出基于部分卷积的风格迁移网络,精准应用于目标区域,并通过内部混合技术弥补区域选择的不完美,提升视觉和量化效果。
2025-08-07 cs.CV
Neural Style Transfer for Remote Sensing
National Technical University of Athens(雅典国立技术大学);University College London(伦敦大学学院);NCSR Demokritos(德谟克利特国家科学研究中心)
Leon A. Gatys等人,艺术风格的神经算法,已经成为学术文献和工业应用的热门话题。神经风格转移(NST)是一个重要的工具,用于广泛的应用,如艺术风格化的2D图像,用户辅助创建工具和娱乐应用的生产工具。本研究的目的是提出一种方法,从卫星图像创建艺术地图,基于NST算法。该方法包括三个基本步骤:(i)在原始卫星图像上应用语义图像分割,将其内容划分为类别(即土地,水),(ii)对每个类别应用神经风格转移,以及(iii)创建拼贴画,即由前一步骤生成的两个风格化图像的组合组成的艺术图像。
2020-07-31 cs.CV cs.LG eess.IV
Dynamic Neural Style Transfer for Artistic Image Generation using VGG19
Dwarkadas. Jivanlal Sanghvi College of Engineering(德瓦卡达斯·吉万拉尔·桑格维工程学院);Manipal University Jaipur(斋浦尔马尼帕尔大学)
针对神经风格迁移处理慢、风格选择有限且权重不可调的问题,提出基于 VGG19 特征提取的动态风格迁移系统,支持多艺术风格与权重灵活调整,并保持内容完整。
2025-01-16 cs.AI cs.CV cs.LG
Anisotropic Stroke Control for Multiple Artists Style Transfer
Shanghai Jiao Tong University(上海交通大学)
虽然艺术风格迁移已经取得了很大的进展,语义信息通常是难以保持在一个细粒度的局部一致的方式,大多数现有的方法,特别是当多个艺术家的风格,需要在一个单一的模型转移。为了解决这个问题,我们提出了一个中风控制多艺术家风格转移框架。一方面,我们开发了一个多条件的单生成器结构,首先执行多艺术家的风格转移。一方面,我们设计了一个各向异性笔画模块(ASM),实现了非平凡区域和平凡区域之间的风格笔画动态调整。ASM赋予网络自适应的语义一致性能力。另一方面,我们提出了一种新的多尺度投影鉴别器来实现纹理级条件生成。与单尺度条件纹理特征提取方法相比,该方法能够捕捉多尺度纹理线索,有效区分多种艺术风格。大量的实验结果很好地证明了我们的方法的可行性和有效性。我们的框架可以通过一个单一的模型将一张照片转换成不同艺术风格的油画。此外,该方法的结果具有鲜明的艺术风格,并保留了各向异性的语义信息。代码已经在github上提供:https://github.com/neuralchen/ASMAGAN。
2021-06-14 cs.AI cs.CV
Language-Driven Image Style Transfer
UC Santa Barbara(加州大学圣巴巴拉分校);UC Santa Cruz(加州大学圣克鲁兹分校)
尽管有很好的效果,风格转移,这需要提前准备的风格图像,可能会导致缺乏创造力和可访问性。另一方面,遵循人类指令是执行艺术风格转移的最自然的方式,可以显着提高视觉效果应用的可控性。我们引入了一个新的任务,语言驱动的艺术风格转移(LDAST),操纵的内容图像的风格,由文本指导。我们提出了对比语言视觉艺术家(CLVA),学习提取视觉语义的风格指令,并完成LDAST的补丁明智的风格识别。该方法考虑了语言与风格图像或传输结果之间的相关性,以联合嵌入风格指令。CLVA进一步比较内容图像和风格指令的对比对,以提高相互关联性。来自相同内容图像的结果可以保持一致的内容结构。此外,它们应该从包含类似视觉语义的样式指令中呈现类似的样式模式。实验结果表明,我们的CLVA是有效的,并取得了良好的LDAST传输效果。
2022-07-17 cs.CV
Real-time Localized Photorealistic Video Style Transfer
Boston University(波士顿大学);Google Research(谷歌研究院);Google(谷歌)
我们提出了一种新的算法,用于将图像的语义上有意义的局部区域的艺术风格转移到目标视频的局部区域,同时保持其照片真实感。局部区域可以通过使用视频分割算法完全自动地从图像中选择,或者从随意的用户指导(例如涂鸦)中选择。我们的方法基于深度神经网络架构,灵感来自于最近在真实感风格转换方面的工作,是实时的【形】,并且可以在任意输入上工作,而无需在不同艺术风格数据集上进行运行时优化。通过使用嘈杂的语义标签增强我们的视频数据集,并联合优化风格,内容,掩码和时间损失,我们的方法可以处理输入中的各种缺陷,并生成时间上连贯的视频,而不会产生视觉伪影。我们在各种风格的图像和目标视频上演示了我们的方法,包括同时将不同风格转移到多个对象上的能力,以及及时在风格之间平滑过渡的能力。
2020-10-20 cs.CV
Can We Teach Computers to Understand Art? Domain Adaptation for Enhancing Deep Networks Capacity to De-Abstract Art
人类一眼就能理解自然景物;画家和其他视觉艺术家通过他们的抽象表现,将这种能力强调到了极限。在许多视觉识别问题上,计算机视觉解决方案的性能与人类不相上下。在本文中,我们解决了使用卷积神经网络(CNN)识别数字化绘画中的流派(主题)的问题,作为更一般的处理场景的抽象和/或艺术表现的一部分。最初,我们通过从头开始训练CNN来建立最先进的性能。在下一级评估中,我们确定了阻碍CNN识别的方面,例如艺术抽象。此外,我们测试了各种领域自适应方法,可以提高CNN的主题识别能力。评估是在一个有80 000幅带注释的数字化绘画的数据库上进行的,该数据库暂时还增加了艺术照片,无论是原创的还是风格化的,以模仿艺术表现。令人惊讶的是,最有效的领域自适应不是神经风格转移。最后,本文提供了一个基于实验的评估CNN能够达到的抽象水平。
2017-12-11 cs.CV
3D Face Arbitrary Style Transfer
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
三维人脸的风格转换越来越受到人们的关注。然而,以前的方法主要使用艺术面孔的图像进行风格转移,而忽略了任意风格的图像,如抽象画。为了解决这个问题,我们提出了一种新的方法,即人脸引导的双重风格迁移(FDST)。首先,FDST采用3D解耦模块来分离面部几何形状和纹理。在此基础上提出了一种人脸几何风格融合策略。随后,我们设计了一个基于优化的纹理DDSG机制,可以指导风格转移的两个风格图像。除了正常风格的图像输入,DDSG可以利用原始人脸输入作为另一种风格的输入作为人脸先验。通过这种方法,可以获得高质量的人脸任意风格的传输结果。此外,FDST可以应用于许多下游任务,包括区域可控的风格转移,高保真人脸纹理重建,大姿态人脸重建和艺术人脸重建。综合定量和定性的结果表明,我们的方法可以达到相当的性能。所有源代码和预训练的权重将向公众发布。
2023-03-14 cs.CV
Semantically-aware Mask CycleGAN for Translating Artistic Portraits to Photo-realistic Visualizations
Hong Kong University of Science and Technology(香港科技大学)
针对艺术领域图像到图像转换定制方法匮乏的问题,提出语义感知掩码CycleGAN架构,通过向判别器输入语义掩码伪造样本优化生成,实现艺术肖像到照片级真实图像的转换,真实感显著提升且内容损失极小。
2023-06-11 cs.CV