Paint it Black: Generating paintings from text descriptions
Universität des Saarlandes（萨尔大学）
两个不同的任务-从给定的文本提示生成逼真的图片，并将绘画的风格转换为真实的图像，使其看起来好像是由艺术家完成的，已经解决了很多次，并且已经提出了几种方法来完成它们。然而，这两者的交集，即，从给定的字幕生成绘画，是一个相对未开发的领域，几乎没有可用的数据。在本文中，我们探讨了两种不同的策略，并将它们整合在一起。第一种策略是生成真实感图像，然后应用风格转移，第二种策略是在带有标题的真实图像上训练图像生成模型，然后在带有标题的绘画上对其进行微调。这两个模型使用不同的指标进行评估，并进行用户研究，以获得对所产生结果的人类反馈。
2023-02-17 cs.AI cs.CV cs.LG
Stroke-based Neural Painting and Stylization with Dynamically Predicted Painting Region
Shanghai Jiao Tong University（上海交通大学）；Youtu Lab, Tencent（腾讯优图实验室）；Zhejiang University（浙江大学）
针对现有笔触渲染方法统一分块导致的边界伪影问题，提出动态预测绘画区域的组合式神经绘画框架，还引入可微距离变换损失扩展至风格迁移，在两类任务上均优于现有模型。
2023-10-10 cs.CV
Creative Painting with Latent Diffusion Models
NVIDIA（英伟达）
近年来，艺术绘画取得了重大进展。潜空间扩散模型（LDMs）利用自编码器将原始图像与压缩的潜空间连接起来，并以交叉注意增强的U-网作为扩散的主干，实现了稳定且高繁殖力的图像生成。在本文中，我们专注于提高当前LDM的创造性绘画能力在两个方向，文本条件扩展和模型再训练与Wikiart数据集。通过文本条件扩展，用户的输入提示扩展了丰富的上下文知识，更深入地理解和解释提示。维基艺术数据集包含近400年来由1,000多位着名艺术家绘制的80 K着名艺术品，风格和流派丰富。通过再培训，我们能够要求这些艺术家在现代主题上绘制新颖和创造性的绘画。通过与原模型的直接对比，证明了该模型的创造性和艺术性。
2022-09-30 cs.AI cs.CL cs.CV
Fake Generated Painting Detection via Frequency Analysis
Beihang University（北京航空航天大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）
随着深度神经网络的发展，可以通过各种风格转换算法生成数字赝品，为了检测赝品生成的画作，我们在傅立叶频域中分析赝品生成的画作和真实的画作，观察统计差异和伪影。基于我们的观察，我们提出了通过频率分析（FGPD-FA）通过提取三种类型的特征在频域中的假生成的绘画检测。此外，我们也提出一个数位赝品侦测资料库来评估所提出的方法。实验结果表明，该方法在不同的测试条件下的优越性。
2020-06-19 cs.CV
Neural-Polyptych: Content Controllable Painting Recreation for Diverse Genres
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）；Huawei Technologies Ltd.（华为技术有限公司）
本文提出统一框架 Neural-Polyptych，结合手绘草图与原始绘画片段，通过多尺度 GAN 和 Correspondence Attention 模块实现百万像素级、内容可控的多流派绘画再创作。
2024-09-29 cs.CV cs.GR
What Can Style Transfer and Paintings Do For Model Robustness?
Cornell University（康奈尔大学）；Delft University of Technology（代尔夫特理工大学）
提高模型鲁棒性的常用策略是通过数据增强。数据增强鼓励模型学习所需的不变性，例如对水平翻转或颜色变化的不变性。最近的工作表明，任意风格的转移可以被用作数据增强的一种形式，通过从照片创建绘画般的图像来鼓励纹理的不变性。然而，风格化的照片与艺术家创作的绘画并不完全相同。艺术家在绘画中描绘了感知上有意义的线索，以便人类能够识别场景中的显着成分，这一点在风格转换中并没有强制执行。因此，我们研究了风格转移和绘画对模型鲁棒性的影响。首先，我们研究了绘画作为基于风格化的数据增强的风格图像的作用。我们发现，即使没有绘画作为风格图像，风格转移功能也很好。其次，我们表明，从绘画中学习作为一种形式的感知数据增强可以提高模型的鲁棒性。最后，我们研究了从风格化和绘画中学习的不变性，并表明模型从这些不同形式的数据中学习不同的不变性。我们的研究结果提供了风格化如何提高模型鲁棒性的见解，并提供证据表明，艺术家创作的绘画可以成为模型鲁棒性的宝贵数据来源。
2021-05-27 cs.CV
Prose for a Painting
Columbia University（哥伦比亚大学）
绘画的标题往往是干燥和简单化，这促使我们创造性地描述一幅画的风格，西方散文。这是一个困难的问题，因为不存在从绘画到散文的大型监督数据集。我们的解决方案是先用一首中级的英文诗歌来描述这幅画，然后再运用语言风格转换，最后用一首中级的英文散文来描述这幅画。我们通过Likert量表上的人类评估来评估我们的结果，并使用BLEU分数作为散文长度的函数来评估语言风格迁移的质量。我们通过为名画生成散文来展示我们方法的适用性和局限性。我们公开我们的模型和代码。
2019-10-08 cs.CL cs.CV cs.LG
Learning to Generate Poetic Chinese Landscape Painting with Calligraphy
JD AI（京东人工智能研究院）；Central Academy of Fine Arts（中央美术学院）
本文提出Polaca系统，以古典诗歌为输入，通过文本到图像、图像到图像和图像融合三个模块，生成带有书法的诗意中国山水画，实现了从诗歌到完整艺术作品的自动创作。
2023-05-08 cs.CV
Consistency^2: Consistent and Fast 3D Painting with Latent Consistency Models
ETH Zurich（苏黎世联邦理工学院）
针对扩散式3D绘制采样耗时且2D加速技术难以迁移的问题，本文提出LCM的3D适配方法，并在Objaverse上取得更优的定量与定性评价。
2024-06-17 cs.CV cs.GR
Paint2Pix: Interactive Painting based Progressive Image Synthesis and Editing
Adobe Research（奥多比研究院）；Australian National University（澳大利亚国立大学）
通过用户涂鸦进行可控图像合成是计算机视觉界非常感兴趣的话题。在本文中，我们第一次研究的问题，真实感的图像合成从不完整的和原始的人类绘画。特别是，我们提出了一种新的方法paint2pix，它学会预测（和适应）“用户想要画什么”从基本的笔触输入，通过学习映射从流形的不完整的人类绘画到他们的现实渲染。当与最近的作品在自主绘画代理一起使用时，我们表明paint2pix可以从头开始用于渐进式图像合成。在这个过程中，paint2pix允许新手用户逐步合成所需的图像输出，同时只需要一些粗略的用户涂鸦来准确地控制合成过程的轨迹。此外，我们发现，我们的方法也形成了一个令人惊讶的方便的方法，用于真实的图像编辑，并允许用户执行各种自定义细粒度的编辑，通过添加只有几个放置良好的笔触。补充视频和演示可在https://1jsingh.github.io/paint2pix上获得
2022-08-17 cs.AI cs.CV cs.LG
Neural Abstract Style Transfer for Chinese Traditional Painting
Alibaba Group（阿里巴巴集团）；Salesforce Research（赛富时研究院）；NC State University（北卡罗来纳州立大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Winsense Technology Co. Ltd（北京文因互联科技有限公司）
中国画是世界上最古老的艺术品之一。它在东亚和东南亚非常受欢迎，因为它具有美学吸引力。与西方艺术绘画相比，它通常在视觉上更加抽象和无纹理。近年来，基于神经网络的风格转换方法在西方绘画中取得了可喜的成果。在神经风格迁移中保持抽象性仍然是一个具有挑战性的问题。在本文中，我们提出了一种神经抽象风格转移方法，为中国传统绘画。它通过一个新的MXDoG引导的过滤器（扩展高斯差分的修改版本）和三个完全可微的损失项来学习端到端联合保留抽象和其他风格。据我们所知，关于中国传统绘画神经风格迁移的研究工作还很少。为了促进这一方向的研究，我们收集了一个新的数据集与不同的照片逼真的图像和中国传统绘画。在实验中，该方法在中国传统绘画风格的转换上表现出比现有的神经风格转换方法更吸引人的风格化效果。
2018-12-13 cs.CV
PaintCopilot: Modeling Painting as Autonomous Artistic Continuation
MIT Media Lab（MIT媒体实验室）；New York University（纽约大学）
本文提出了一种基于神经网络的绘画助手PaintCopilot，通过建模绘画作为开放性自回归艺术行为，基于不断演变的画布状态和先前笔触历史，无需目标图像即可预测未来笔触，与现有神经绘画方法不同，后者将绘画建模为向预定参考图像的像素重建。
2026-09-15 cs.CV cs.GR cs.HC
Chinese Painting Style Transfer Using Deep Generative Models
本文研究并利用最先进深度生成模型进行传统中国画风格迁移，提出结合多种风格迁移模型的算法，将“工笔”和“水墨”风格应用于现代图像，并通过定性和定量评估验证性能。
2023-10-17 cs.AI cs.CV cs.LG
PaintFlow: A Unified Framework for Interactive Oil Paintings Editing and Generation
Zhangli Hu, Ye Chen, Jiajun Yao, Bingbing Ni（张立虎、陈叶、姚佳君、倪炳炳）
PaintFlow提出了一种统一框架，通过多模态输入实现交互式油画创作与编辑，利用空间对齐、语义增强和自监督风格迁移技术，提升油画生成与编辑的风格一致性与艺术表现力。
2025-12-09 cs.CV
Birth of a Painting: Differentiable Brushstroke Reconstruction
针对现有绘画合成方法缺乏明确笔触结构、无法生成平滑真实阴影的问题，提出可微分笔触重建框架，结合贝塞尔笔触优化、几何条件纹理合成与可微分涂抹算子，实现真实且富有表现力的数字绘画创作。
2025-11-17 cs.CV
End-to-End Chinese Landscape Painting Creation Using Generative Adversarial Networks
Princeton University（普林斯顿大学）
目前基于GAN的艺术生成方法由于依赖于条件输入而产生非原创的艺术品。在这里，我们提出了素描和绘画GAN（SAPGAN），第一个模型，生成中国山水画从端到端，没有条件输入。SAPGAN由两个GANs组成：SketchGAN用于生成边缘映射，PaintGAN用于随后的边缘到绘画转换。我们的模型是在一个新的中国传统山水画数据集上训练的，这个数据集以前从未用于生成研究。一项242人的视觉图灵测试研究显示，SAPGAN绘画被误认为人类艺术品的频率为55%，明显优于基线GANs的绘画。我们的工作为真正的机器原创艺术创作奠定了基础。
2020-11-11 cs.CV cs.LG eess.IV
Eye In-Painting with Exemplar Generative Adversarial Networks
Facebook Inc.（Facebook公司）
本文介绍了一种新的图像修复方法，其中要删除或更改的对象的身份在推理时被保留和解释：示例GANs（ExGANs）。ExGAN是一种有条件的GAN，它利用样本信息来产生高质量的个性化绘画结果。我们建议使用样本信息的形式的参考图像的区域内绘画，或描述该对象的感知代码。与以前的条件GAN公式不同，这些额外的信息可以插入对抗网络中的多个点，从而提高其描述能力。我们表明，ExGANs可以产生照片般逼真的个性化绘画结果，这些结果在感知和语义上都是合理的，通过将它们应用于自然图片中的闭眼到睁眼绘画任务。还引入了一个新的基准数据集，用于未来比较的眼睛修复任务。
2017-12-11 cs.CV cs.LG stat.ML
CCLAP: Controllable Chinese Landscape Painting Generation via Latent Diffusion Model
Beijing Institute of Technology（北京理工大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Institute of Intelligent Computing Technology, Chinese Academy of Sciences（中国科学院智能计算技术研究所）；Tomorrow Advancing Life（好未来）
本文提出基于潜在扩散模型的 CCLAP 方法，通过级联内容生成器与风格聚合器实现文本内容和参考图像风格的可控中国山水画生成，并构建 CLAP 数据集验证其先进性能。
2023-04-22 cs.CV
Loomis Painter: Learning Painting Processes by Reversing Image-to-Video Generation
University of Trento（特伦托大学）；University of Pisa（比萨大学）
Loomis Painter通过统一框架和语义驱动的风格控制机制，实现多媒体绘画过程的复原，提升跨媒体一致性与生成流畅性。
2026-10-22 cs.CV
Multi-Attribute Guided Painting Generation
NLPR, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；School of AI, UCAS（中国科学院大学人工智能学院）；Fosafer（福赛科技）；CASIA-LLVision Joint Lab（中国科学院自动化研究所-联创视界联合实验室）
可控的绘画生成在图像风格化中起着举足轻重的作用。目前，风格迁移的控制方式主要是基于范例的参照或随机的独热矢量引导。很少有工作集中在解耦绘画的内在属性作为控制条件，例如，艺术家，流派和时期。在这种情况下，我们提出了一种新的框架，采用多个属性的绘画控制风格化的结果。采用非对称的循环结构来保持逼真度，结合风格保持和属性回归损失来保持域之间颜色和纹理的唯一区别。几个定性和定量的结果证明了多属性的组合效果，并取得了令人满意的性能。
2020-02-26 cs.CV
Conditional GANs For Painting Generation
The University of Edinburgh（爱丁堡大学）
我们研究了现代生成对抗网络的使用，以使用Painter By Numbers数据集生成油画的新图像。我们实现了谱归一化GAN（SN-GAN）和带梯度惩罚的谱归一化GAN，并将它们的输出与深度卷积GAN进行了比较。根据切片Wasserstein距离度量，在视觉上和定量上，我们确定SN-GAN产生的绘画与我们的训练数据集最具可比性。然后，我们进行了一系列实验，将监督条件作用添加到SN-GAN中，我们认为这是一种新颖的架构，可以生成具有用户指定特征的人脸绘画。
2019-03-06 cs.CV cs.LG stat.ML
Inversion-Based Style Transfer with Diffusion Models
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of AI, UCAS（中国科学院大学人工智能学院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Kuaishou Technology（快手科技）
绘画作品的艺术风格是绘画作品的表现手段，它不仅包括绘画材料、色彩、笔触等，还包括语义元素、对象形状等高级属性。以往任意的实例引导的艺术图像生成方法往往无法控制形状变化或传达元素。预先训练的文本到图像合成扩散概率模型已经取得了显着的质量，但它往往需要大量的文本描述，以准确地描绘特定绘画的属性。我们认为，艺术品的独特性恰恰在于它无法用正常的语言来充分解释。我们的核心思想是直接从一幅画作中学习艺术风格，然后在不提供复杂的文本描述的情况下指导合成。具体来说，我们假设风格是一幅绘画的可学习的文本描述。我们提出了一种基于反转的风格转换方法（InST），该方法可以高效准确地学习图像的关键信息，从而捕捉和转换绘画的艺术风格。我们证明了我们的方法在各种艺术家和风格的许多绘画的质量和效率。代码和型号可在https://github.com/zyxElsa/InST上获得。
2023-03-20 cs.CV cs.GR
Neural Painters: A learned differentiable constraint for generating brushstroke paintings
我们探索神经画家，从一个真正的不可微和非确定性绘画程序学习的笔触生成模型。我们表明，当训练一个代理使用笔触“画”图像时，使用可微分神经画家会导致更快的收敛。我们提出了一种方法，鼓励这个代理人在重建数字时遵循人类的笔画。我们还探讨了使用神经画家作为可微图像参数化。通过直接优化笔触来激活预先训练的卷积网络中的神经元，我们可以直接可视化ImageNet类别并生成每个类别的“理想”绘画。最后，我们提出了一个新的概念，称为内在风格转移。通过最大限度地减少神经风格转移的内容损失，我们允许艺术媒介，在这种情况下，笔触，自然地决定了最终的风格。
2019-04-22 cs.CV cs.LG stat.ML
Recovery of underdrawings and ghost-paintings via style transfer by deep convolutional neural networks: A digital tool for art scholars
University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
我们描述了卷积神经网络风格转移的应用，以提高美术油画中的底画和鬼画的可视化问题。这种底画和隐藏的绘画通常通过X射线或红外技术显示，这些技术产生灰度图像，因此缺乏颜色和完整的风格信息。过去用于推断底画中的颜色的方法是基于幽灵画中颜料的物理X射线荧光光谱成像，因此昂贵，耗时，并且需要大多数保护工作室无法获得的设备。我们的算法方法不需要如此昂贵的物理成像设备。我们的概念验证系统应用于Pablo Picasso和Leonardo的作品，揭示了尊重鬼画中自然分割的颜色和设计。我们相信，计算图像提供了对艺术家和相关作品的洞察力，这是其他方式所无法实现的。我们的研究结果强烈表明，未来的应用程序的基础上更大的语料库的绘画培训将显示配色方案和设计，甚至更接近的艺术家的作品。由于这些原因，我们的方法的改进应该在艺术保护，鉴赏和艺术分析中得到广泛的应用。
2021-01-04 cs.CV
Reviving Ancient Paintings via Poem: A Colorization Framework for Aligning Cultural Semantics
针对古画褪色问题，提出PoemColor框架，通过诗歌绘画投影仪和结构感知语义注意力，将诗歌文化语义与绘画恢复对齐，并构建混合数据集。实验证明该框架显著优于现有方法，能实现可控色彩化，恢复古画历史真实性与诗歌语义。
2026-07-21 cs.CV
Collaborative Neural Painting
University of Trento（特伦托大学）；University of Pisa（比萨大学）；University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
本文提出协作式神经绘画任务，通过参数化笔触序列、Transformer 注意力机制、掩码方案和扩散模型，实现人与机器迭代式协作生成连贯绘画，并引入新数据集与评估协议验证其有效性。
2023-12-04 cs.CV
Robot Synesthesia: A Sound and Emotion Guided AI Painter
The Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
该研究提出机器人联觉方法，将声音、语音（含文本内容与语调情绪）作为机器人绘画的引导输入，集成至FRIDA框架，实验验证了其声音-画作对应性的有效性，拓展了绘画机器人的输入模态。
2025-01-13 cs.CV
Line Artist: A Multiple Style Sketch to Painting Synthesis Scheme
Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）
画一幅美丽的画是许多人从小的梦想。在本文中，我们提出了一种新的方案，线艺术家，合成艺术风格的绘画与写意素描图像，利用深度学习和先进的算法的力量。我们的方案包括三个模型。草图图像提取（SIE）模型被应用于生成训练数据。它包括平滑现实图像和铅笔素描提取。详细图像合成（DIS）模型训练条件生成对抗网络以生成详细的真实世界信息。自适应加权艺术风格转移（AWAST）模型能够使用VGG19网络和PageRank算法将多种风格的图像与内容相结合。然后通过优化迭代生成吸引人的艺术图像。实验在Kaggle Cats数据集和牛津建筑数据集上进行。我们的合成结果被证明是艺术，美丽和强大的。
2018-03-18 cs.CV
AttentionPainter: An Efficient and Adaptive Stroke Predictor for Scene Painting
Shanghai Jiao Tong University（上海交通大学）；East China Normal University（华东师范大学）；Cardiff University（卡迪夫大学）
针对神经绘画推理慢、训练不稳的问题，提出单步 AttentionPainter，通过可扩展笔触预测器、快速笔触堆叠、笔触密度损失及笔触扩散模型实现高效高质量生成。
2024-10-25 cs.CV
A New Chinese Landscape Paintings Generation Model based on Stable Diffusion using DreamBooth
California State University, Long Beach（加州州立大学长滩分校）；Columbia University（哥伦比亚大学）；Northeastern University（东北大学）；No.1 Central Primary School Shanghai Huangpu（上海市黄浦区第一中心小学）；Shanghai Palmim Information Technology Ltd（上海帕米姆信息技术有限公司）
本研究提出结合 Stable Diffusion 与参数高效微调方法生成中国山水画，发现结合 DreamBooth 的 SDM 在 FID 和专家评估上优于其他模型，展现了专用微调在特定领域任务的潜力。
2024-08-22 cs.CV
ArtFacePoints: High-resolution Facial Landmark Detection in Paintings and Prints
FAU Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）
人脸标志点检测是艺术作品相似性分析的重要环节，可以对同一或相似艺术家的肖像进行比较。通过面部标志，不同类型的肖像，如绘画和印刷品，可以使用基于控制点的图像配准自动对齐。我们提出了一种基于深度学习的方法，用于绘画和印刷品的高分辨率图像中的面部标志检测。它将任务划分为用于粗略地标预测的全局网络和用于基于预测的全局地标坐标自动确定的眼睛、鼻子和嘴巴区域中的精确地标细化的多个区域网络。我们创建了一个合成增强的面部地标艺术数据集，包括艺术风格转移和几何地标移位。我们的方法证明了我们的高分辨率艺术品数据集的内部面部标志的准确检测，同时与竞争方法相比，与公共低分辨率艺术品数据集相当。
2022-10-17 cs.CV
Stylized Neural Painting
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；Beihang University（北京航空航天大学）
本文提出了一种图像到绘画的翻译方法，生成生动逼真的绘画艺术作品，风格可控。不同于以往的图像到图像的翻译方法，制定的翻译像素的预测，我们处理这样一个艺术创作过程中的矢量化环境，并产生一个序列的物理意义的笔画参数，可以进一步用于渲染。由于一个典型的矢量渲染是不可区分的，我们设计了一种新的神经渲染器，它模仿矢量渲染器的行为，然后帧的笔画预测作为一个参数搜索过程，最大限度地提高输入和渲染输出之间的相似性。我们探讨了零梯度问题的参数搜索，并提出解决这个问题的最佳运输的角度来看。我们还表明，以前的神经渲染器有一个参数耦合问题，我们重新设计了渲染网络与光栅化网络和着色网络，更好地处理形状和颜色的解纠缠。实验表明，我们的方法生成的绘画具有较高的保真度，在全球的外观和局部纹理。我们的方法也可以与神经风格转移联合优化，进一步从其他图像转移视觉风格。我们的代码和动画结果可在\url{https://jiupinjia.github.io/neuralpainter/}上获得。
2020-11-16 cs.CV
Painting Style-Aware Manga Colorization Based on Generative Adversarial Networks
Tokyo University of Science（东京理科大学）；The University of Tokyo（东京大学）；Mantra Inc.（Mantra公司）
日本漫画（称为manga）传统上以单色格式创作。近年来，除了单色漫画外，还出现了更吸引人的媒介--全彩漫画。不幸的是，彩色漫画需要人工着色，这会产生很高的劳动力成本。虽然最近已经提出了自动着色方法，但大多数方法都是针对插图而设计的，而不是针对漫画。与插图不同，由于漫画是由许多连续的图像组成的，因此绘画风格必须一致。为了实现一致的彩色化，本文提出了一种基于生成对抗网络（GAN）的半自动彩色化方法，该方法从少量的训练数据中学习特定漫画的绘画风格。所提出的方法以一对屏幕色调图像和一个平面彩色图像作为输入，并输出一个彩色图像。实验结果表明，该方法取得了更好的性能比现有的替代品。
2021-07-16 cs.CV eess.IV
Scaling Painting Style Transfer
Institut Denis Poisson（德尼·泊松研究所）；Université de Tours（图尔大学）；CNRS（法国国家科学研究中心）；Institut Universitaire de France (IUF)（法国大学研究院）；Instituto de Ingeniería Eléctrica（电气工程研究所）；Facultad de Ingeniería（工程学院）；Universidad de la República（乌拉圭共和国大学）；City University of Hong Kong（香港城市大学）；Google Research（谷歌研究院）
本文提出一种通过空间局部化VGG网络计算的方法，实现超高分辨率绘画风格迁移，在保持质量的同时，解决了传统NST的计算昂贵和分辨率限制问题。
2024-06-26 cs.CV eess.IV
Paint4Poem: A Dataset for Artistic Visualization of Classical Chinese Poems
University of Amsterdam（阿姆斯特丹大学）；Catholic University of Leuven（鲁汶天主教大学）
本文提出了一个新的课题：中国古典诗歌的艺术形象化，其目标是生成具有一定艺术风格的中国古典诗歌绘画。为此，我们构建了一个名为Paint 4Poem的新数据集。《画为诗》的第一部分由301幅高质量的诗画组成，这些诗画是从中国现代艺术家丰子恺那里手工收集来的。由于其规模小，有效地训练诗到画生成模型带来了挑战，我们介绍了Paint 4Poem的第二部分，其中包括从丰子恺的画作中手动收集的3，648个标题-绘画对和从网络上自动收集的89，204个诗-绘画对。我们希望前者有助于学习画家的绘画风格，因为它包含了大多数绘画作品，而后者有助于学习诗歌和绘画之间的语义关联。进一步，我们从诗歌的多样性、绘画风格以及诗与画之间的语义关联等方面对《画为诗》进行了分析。我们为Paint 4Poem创建了一个标杆：我们训练了两个具有代表性的文本到图像生成模型AttnGAN和PingGAN，并从绘画图像质量、绘画风格相关性和诗歌与绘画之间的语义相关性三个方面对它们的性能进行了评估，结果表明，模型能够生成具有良好图像质量和模仿丰子恺风格的绘画作品，但对诗歌语义的反映有限。该数据集还提出了许多有趣的研究方向，包括transferlearning，少样本学习，低资源数据的文本到图像生成等。（https：//github.com/paint4poem/paint4poem）
2021-09-27 cs.AI cs.CV
Image In painting Applied to Art Completing Escher's Print Gallery
这个扩展的摘要介绍了适合艺术重建的in-painting研究的第一阶段。我们将介绍M.C.印刷厂的Print Gallery平版印刷作为一个用例示例。这件艺术品在其中心呈现出一个空洞，此外，它遵循一个具有挑战性的数学结构，需要通过绘画方法来保留。我们目前的工作和我们未来的研究方向。
2021-09-06 cs.AI cs.CV
Identifying centres of interest in paintings using alignment and edge detection: Case studies on works by Luc Tuymans
Ege University（埃格大学）；Catalan Institut for Advanced Studies (ICREA)（加泰罗尼亚高级研究所（ICREA））；Institute for Evolutionary Biology (UPF-CSIC)（进化生物学研究所（UPF-CSIC））
艺术家从原始图像到绘画的创作过程是什么？我们能用计算机视觉和模式识别的技术来检查这个过程吗？在这里，我们设置了第一个初步步骤，以算法解构艺术家应用于原始图像的一些变换，以建立兴趣中心，这些中心是绘画中承载意义的焦点区域。我们引入了一种比较方法，首先从绘画所基于的原始图像中切出最小片段，然后将绘画与此源对齐，调查微观差异以确定兴趣中心并试图了解它们的作用。在本文中，我们专注于微观差异方面的优势。我们相信，研究艺术家在哪里以及如何在绘画中创造兴趣中心，对策展人，艺术史学家，观众和艺术教育家来说是有价值的，甚至可能帮助艺术家理解和完善自己的艺术方法。
2021-01-04 cs.AI cs.CV
Semantic Segmentation in Art Paintings
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Tel-Aviv University（特拉维夫大学）；Reichman University（赖希曼大学）
语义分割是一项困难的任务，即使在照片上以监督的方式进行训练。在本文中，我们解决了艺术绘画的语义分割问题，这是一个更具挑战性的任务，因为颜色，纹理和形状的多样性要大得多，因为没有地面实况注释可用于分割。我们提出了一种无监督的方法语义分割的绘画使用领域自适应。我们的方法通过在PASCAL VOC 2012数据集上使用风格转移来创建特定艺术风格的伪绘画训练集，然后在PASCAL VOC 2012和真实绘画之间应用域混淆。这两个步骤建立在我们收集的一个新数据集之上，该数据集被称为DRAM（艺术运动中的多样现实主义），由来自四个运动的具象艺术绘画组成，这些绘画在图案、颜色和几何形状上高度多样化。为了分割新的绘画作品，我们提出了一种复合的多领域自适应方法，该方法分别在每个子域上进行训练，并在推理时间内组成它们的解决方案。我们的方法提供了更好的分割结果，不仅对特定的艺术运动的DRAM，但也对其他看不见的。我们比较我们的方法，以替代方法，并显示艺术绘画中的应用语义分割。我们的方法的代码和模型可以在https://github.com/Nadavc220/SemanticSegmentationInArtPaintings上公开获得。
2022-03-07 cs.CV cs.GR cs.LG
Content Masked Loss: Human-Like Brush Stroke Planning in a Reinforcement Learning Painting Agent
Carnegie Mellon University（卡内基梅隆大学）
大多数强化学习绘画代理的目标是最小化目标图像和画布之间的损失。人类画家的艺术性强调目标图像的重要特征，而不是简单地复制它（DiPaola 2007）。在RL绘画模型中使用对抗性或L2损失，尽管其最终输出通常是精细的工作，但产生的笔划序列与人类产生的笔划序列大不相同，因为模型不知道目标图像中的抽象特征。为了在不使用昂贵的人类数据的情况下增加模型的人性化规划，我们引入了一个新的损失函数与模型的奖励函数一起使用：内容掩蔽损失。在机器人绘画的上下文中，内容掩蔽丢失采用目标检测模型来提取特征，这些特征用于将较高权重分配给人类将发现对于识别内容重要的画布区域。基于332名人类评估者的结果表明，由我们的内容掩蔽模型产生的数字绘画在笔划序列中比现有方法更早地显示可检测的主题，而不会影响最终绘画的质量。我们的代码可在https://github.com/pschaldenbrand/ContentMaskedLoss上获得。
2021-02-27 cs.AI cs.CV cs.LG
Intelli-Paint: Towards Developing Human-like Painting Agents
Adobe Research（Adobe 研究院）；Australian National University（澳大利亚国立大学）
精心设计的艺术作品的生成通常是相当耗时的，并且假设人类画家的高度熟练。为了促进人类绘画过程，已经在教导机器如何“像人一样绘画”，然后使用训练的代理作为人类用户的绘画辅助工具方面进行了大量的研究工作。然而，目前在这个方向上的研究往往依赖于一个渐进的基于网格的划分策略，其中代理划分成连续的更精细的网格的整体图像，然后进行并行绘制每个。这不可避免地导致人类用户不容易理解的人工绘画序列。为了解决这个问题，我们提出了一种新的绘画方法，它学习生成输出画布，同时表现出更像人类的绘画风格。拟议的绘制管道Intelli-Paint包括1）渐进分层策略，允许代理首先绘制自然背景场景表示，然后以渐进方式添加每个前景对象。2)我们还介绍了一种新的顺序笔触指导策略，帮助绘画代理转移其注意力在不同的图像区域之间的语义感知的方式。3)最后，我们提出了一种笔触正则化策略，它允许减少所需笔触总数的60-80%，而不会在生成的画布质量上产生任何可感知的差异。通过定量和定性的结果，我们表明，由此产生的代理不仅在输出画布生成效率提高，而且还表现出更自然的绘画风格，这将更好地帮助人类用户通过数字艺术品表达他们的想法。
2021-12-16 cs.AI cs.CV cs.LG
PPJudge: Towards Human-Aligned Assessment of Artistic Painting Process
School of Computer Science and Technology（计算机科学与技术学院）；East China Normal University（东华师范大学）；School of Design（设计学院）
艺术图像评价已成为计算机视觉的一个重要研究领域。近年来，该领域见证了旨在评估绘画美学质量的数据集和方法的激增。然而，大多数现有的方法只关注静态的最终图像，忽视了艺术绘画过程的动态和多阶段性。为了解决这一差距，我们提出了一个新的框架，人类对齐的绘画过程的评估。具体来说，我们介绍了绘画过程评估数据集（PPAD），第一个大规模的数据集，包括真实的和合成的绘画过程图像，由领域专家在八个详细的属性注释。此外，我们提出了PPJudge（绘画过程判断），一个基于转换器的模型增强了时间感知的位置编码和异构混合专家架构，使有效的评估绘画过程。实验结果表明，我们的方法在准确性，鲁棒性和与人类判断的一致性方面优于现有的基线，为计算创造力和艺术教育提供了新的见解。
2025-07-29 cs.CV
PaintBot: A Reinforcement Learning Approach for Natural Media Painting
Univsersity of Maryland（马里兰大学）；ByteDance AI Lab（字节跳动人工智能实验室）；Adobe Research（Adobe研究院）
我们提出了一个新的自动化数字绘画框架，基于绘画代理通过强化学习训练。为了合成图像，智能体选择一系列连续值动作，这些动作表示原始绘画笔划，这些笔划累积在数字画布上。动作选择是由一个给定的参考图像，代理试图复制的动作空间和代理的学习策略的限制。使用近端策略优化强化学习的变体来确定喷涂代理策略。在训练过程中，我们的代理呈现从参考图像集合中采样的补丁。为了加速训练收敛，我们采用了一种课程学习策略，根据参考补丁使用当前策略的挑战性对其进行采样。我们用不同的损失函数进行实验，包括像素和感知损失，这对学习的策略产生了不同的影响。我们证明了我们的绘画代理可以学习一个有效的政策，一个高维连续的动作空间，包括笔的压力，宽度，倾斜和颜色，为各种绘画风格。通过由粗到细的细化过程，我们的代理可以以所需的风格绘制任意复杂的图像。
2019-04-03 cs.CV
Historic Emergence of Diversity in Painting: Heterogeneity in Chromatic Distance in Images and Characterization of Massive Painting Data Set
Korea Advanced Institute of Science and Technology（韩国高等科学技术院）；Samsung SDS（三星SDS）；The Asia Institute（亚洲研究所）；Ministry of Foreign Affairs（外交部）；Asia Pacific Center for Theoretical Physics（亚太理论物理中心）；University of Cambridge（剑桥大学）
绘画是一种艺术形式，长期以来一直是人类创造性表达和交流的主要渠道，它的演变与时代的科学，技术和社会环境相互作用。因此，根据全面的数据了解这一过程可以揭示人类在不断变化的条件下如何行动和创造性地表现出来。然而，目前几乎没有系统的框架来描述绘画过程，这需要强大的统计方法来定义绘画特征和识别人类的创造性发展，以及高质量和足够数量的数据。在这里，我们提出的绘画图像的颜色对比度，标志着在像素间的色彩距离的异质性，可以是一个有用的表示其风格，集成了颜色和几何。从绘画的色彩对比，从一个大规模的，全面的档案179，853高品质的图像跨越几个世纪，我们描绘了绘画的时间演变模式，并提出了一个非凡的扩展在创造性的多样性和个性，来定义现代时代的深入研究。
2018-09-14 cs.CV physics.soc-ph
Scene Depth Estimation from Traditional Oriental Landscape Paintings
Sungkyunkwan University（成均馆大学）；SK Planet Co., Ltd.（SK星球有限公司）
针对东方山水画深度估计难题，提出含两步图像翻译与CLIP匹配的框架，结合预训练深度模型实现深度估计，为首项相关研究，可助力视障人士体验画作。
2024-03-07 cs.CV
Segmentation-Based Parametric Painting
Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（奥多比研究中心）
提出基于分割的参数化绘画方法，通过动态注意力图和批处理优化笔触，实现大规模高保真绘画创作，在美学和功能上优于以往方法。
2023-11-24 cs.CV cs.LG
Insights From A Large-Scale Database of Material Depictions In Paintings
Cornell University（康奈尔大学）；Delft University of Technology（代尔夫特理工大学）
深度学习为强大的识别系统铺平了道路，这些系统通常都是在自然图像上训练和应用的。在本文中，我们研究了这种视觉识别系统和美术中丰富的信息之间的关系。首先，我们发现为自然图像设计的视觉识别系统在绘画上的效果令人惊讶。特别是，我们发现，交互式分割工具可以用来干净地注释多边形段内的绘画，这是一项耗时的手工进行的任务。我们还发现，FasterRCNN是一种专为自然场景中的对象识别而设计的模型，可以快速重新用于检测绘画中的材料。其次，我们证明了从绘画中学习对于用于自然图像的神经网络是有益的。我们发现，在绘画而不是自然图像上进行训练可以提高学习特征的质量，并且我们进一步发现，大量的绘画可以成为评估领域自适应算法的有价值的测试数据来源。我们的实验是基于一个新的大规模注释数据库的材料在绘画中，我们在一个单独的手稿详细说明。
2020-11-24 cs.CV
Pandora: Description of a Painting Database for Art Movement Recognition with Baselines and Perspectives
University “Politehnica” of Bucharest（布加勒斯特理工大学）
为了便于计算机分析的视觉艺术，在绘画的形式，我们引入潘多拉（绘画数据集识别艺术运动）数据库，一个数字化的绘画标记相对于艺术运动的集合。注意到，作为基准的数据库集的评估是大大减少，大多数现有的是有限的变化和图像的数量，我们提出了一种新的大规模数据集的数字绘画。该数据库由来自12个艺术运动的7700多幅图像组成。每一种类型都有从250到近1000张不等的图片。我们研究如何本地和全球的功能和分类系统能够识别的艺术运动。我们的实验结果表明，准确的识别是可以实现的各种categories.To促进计算机分析的视觉艺术，在绘画的形式，我们介绍了潘多拉（绘画数据集识别艺术运动）数据库，一个数字化的绘画标记相对于艺术运动的集合。注意到，作为基准的数据库集的评估是大大减少，大多数现有的是有限的变化和图像的数量，我们提出了一种新的大规模数据集的数字绘画。该数据库由来自12个艺术运动的7700多幅图像组成。每一种类型都有从250到近1000张不等的图片。我们研究如何本地和全球的功能和分类系统能够识别的艺术运动。我们的实验结果表明，准确的识别是可以实现的各种类别的组合。
2016-02-29 cs.CV
Im2Oil: Stroke-Based Oil Painting Rendering with Linearly Controllable Fineness Via Adaptive Sampling
Shanghai Jiao Tong University（上海交通大学）
本文提出了一种新的基于笔划的绘制（SBR）方法，将图像转化为生动的油画。以前的SBR技术通常将油画问题公式化为逐像素近似。与这种技术路线不同，我们将油画创作视为一个自适应采样问题。首先，我们根据输入图像的纹理复杂度计算概率密度图。然后我们使用Voronoi算法采样一组像素作为笔划锚点。接下来，我们搜索并在每个锚点处生成单独的石油冲程。最后，我们将所有的笔画放在画布上，以获得油画。通过调整超参数最大采样概率，可以线性地控制油画的精细度。与现有的最先进的油画技术的比较表明，我们的结果具有更高的保真度和更真实的纹理。用户意见测试表明，人们对我们的油画比其他方法的结果表现出更大的偏好。更多有趣的结果和代码在https://github.com/TZYSJTU/Im2Oil。
2022-09-27 cs.CV cs.LG cs.MM
Every Painting Awakened: A Training-free Framework for Painting-to-Animation Generation
School of Software Engineering, Xi'an Jiaotong University（西安交通大学软件学院）；School of Computer and Information Science, Hefei University of Technology（合肥工业大学计算机与信息学院）；Faculty of Science and Technology, University of Macau（澳门大学科技学院）
本文提出一个免训练的图像到视频合成框架，通过双路径分数蒸馏和混合潜在融合技术，利用预训练模型将静态画作转化为动态动画，在保持原作保真度的同时实现与文本提示的语义对齐。
2025-03-31 cs.CV cs.MM
PTGCF: Printing Texture Guided Color Fusion for Impressionism Oil Painting Style Rendering
Xi’an University of Technology（西安理工大学）；University of Strathclyde（思克莱德大学）
本文提出PTGCF笔触渲染方法，通过融合原始油画的色调特征与代表性颜色实现印象派风格化，实验表明其更适用于方向感均匀的点彩派作品及自然场景。
2022-07-27 cs.CV
Analysis of Interpolation based Image In-painting Approaches
Ankara University（安卡拉大学）
内插和内画是图像内画的基本方法之一，用于消除数字图像中出现的不良部分或增强缺陷部分。本研究的目的是比较文献中用于图像修补的插值算法。采用Cubic、Kriging、Radial based function和高维模型表示方法对文献中常用的标准图像的彩色和灰度格式产生的误差和噪声进行校正，并使用标准图像比较标准，即峰值信噪比（PSNR）、结构相似性（SSIM）和均方误差（MSE）对结果进行比较。根据研究获得的结果，未观察到方法之间的绝对优效性。然而，克里格和径向基函数插值给出了更好的结果，无论是数值数据和视觉评价的图像修复问题与大面积损失。
2021-02-12 cs.CV eess.IV
Paint Transformer: Feed Forward Neural Painting with Stroke Prediction
Baidu Inc.（百度公司）；Nanjing University（南京大学）；Rutgers University（罗格斯大学）
神经绘画是指为给定图像产生一系列笔划并使用神经网络非照片真实地重新创建它的过程。虽然基于强化学习（RL）的代理可以生成一个笔划序列一步一步的任务，它是不容易的训练一个稳定的RL代理。另一方面，笔划优化方法在大的搜索空间中迭代地搜索笔划参数集合;这种低效率显著地限制了它们的流行和实用性。不同于以往的方法，在本文中，我们制定的任务作为一个集预测问题，并提出了一种新的基于变压器的框架，称为油漆Transformer，预测的参数与前馈网络的中风集。通过这种方式，我们的模型可以并行生成一组笔划，并接近实时的获得尺寸为512 * 512的最终绘画。更重要的是，由于没有数据集可用于训练Paint Transformer，我们设计了一个自训练管道，这样它就可以在没有任何现成数据集的情况下进行训练，同时仍然具有出色的泛化能力。实验表明，我们的方法取得了更好的绘画性能比以前的便宜的训练和推理成本。代码和模型可用。
2021-08-11 cs.CV
A domain adaptive deep learning solution for scanpath prediction of paintings
Université d’Orléans（奥尔良大学）；Bournemouth University（伯恩茅斯大学）
文化遗产的理解和保护是社会的一个重要问题，因为它代表了社会特性的一个基本方面。绘画是文化遗产的重要组成部分，也是不断研究的主题。然而，观众对绘画的感知方式与所谓的人类视觉系统（HVS）行为密切相关。本文着重于对一定数量的绘画作品进行观看者在视觉体验过程中的眼动分析。在进一步的细节中，我们介绍了一种新的方法来预测人类的视觉注意力，这会影响人类的几个认知功能，包括对场景的基本理解，然后将其扩展到绘画图像。拟议中的新架构摄取图像并返回扫描路径，这是一系列具有很高吸引观众注意力的点。我们使用FCNN（全卷积神经网络），其中我们利用可微通道选择和Soft-Argmax模块。我们还将可学习的高斯分布纳入网络瓶颈，以模拟自然场景图像中的视觉注意过程偏差。此外，为了减少不同领域（即自然图像，绘画）之间的变化的影响，我们敦促模型使用梯度反转分类器从其他领域学习无监督的一般特征。我们的模型所获得的结果优于现有的国家的最先进的准确性和效率。
2022-09-22 cs.CV
APDDv2: Aesthetics of Paintings and Drawings Dataset with Artist Labeled Scores and Comments
Beijing Electronic Science and Technology Institute（北京电子科技学院）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）；Central Academy of Fine Arts（中央美术学院）；University of Science and Technology of China（中国科学技术大学）；Beijing University of Technology（北京工业大学）
本文提出APDDv2数据集，包含24个艺术类别和10个美学属性，扩展了图像语料库并提升了标注质量，同时提出更新版本ArtCLIP模型，在美学评估准确性和有效性上超越前代。
2024-11-13 cs.CV
