Vectorized Region Based Brush Strokes for Artistic Rendering
TCS Research（塔塔咨询服务研究院）
针对现有笔触绘画系统生成的笔触构图难符艺术原则的问题，提出一种带区域语义引导、可计算笔触参数并建立渲染顺序的图像转绘画方法，实现了高保真、高质量笔触的艺术渲染。
2025-06-11 cs.CV
Stroke-based Neural Painting and Stylization with Dynamically Predicted Painting Region
Shanghai Jiao Tong University（上海交通大学）；Youtu Lab, Tencent（腾讯优图实验室）；Zhejiang University（浙江大学）
针对现有笔触渲染方法统一分块导致的边界伪影问题，提出动态预测绘画区域的组合式神经绘画框架，还引入可微距离变换损失扩展至风格迁移，在两类任务上均优于现有模型。
2023-10-10 cs.CV
Im2Oil: Stroke-Based Oil Painting Rendering with Linearly Controllable Fineness Via Adaptive Sampling
Shanghai Jiao Tong University（上海交通大学）
本文提出了一种新的基于笔划的绘制（SBR）方法，将图像转化为生动的油画。以前的SBR技术通常将油画问题公式化为逐像素近似。与这种技术路线不同，我们将油画创作视为一个自适应采样问题。首先，我们根据输入图像的纹理复杂度计算概率密度图。然后我们使用Voronoi算法采样一组像素作为笔划锚点。接下来，我们搜索并在每个锚点处生成单独的石油冲程。最后，我们将所有的笔画放在画布上，以获得油画。通过调整超参数最大采样概率，可以线性地控制油画的精细度。与现有的最先进的油画技术的比较表明，我们的结果具有更高的保真度和更真实的纹理。用户意见测试表明，人们对我们的油画比其他方法的结果表现出更大的偏好。更多有趣的结果和代码在https://github.com/TZYSJTU/Im2Oil。
2022-09-27 cs.CV cs.LG cs.MM
Colour and Brush Stroke Pattern Recognition in Abstract Art using Modified Deep Convolutional Generative Adversarial Networks
Vellore Institute of Technology（韦洛尔理工学院）
本文提出一种改进的深度卷积生成对抗网络（mDCGAN），通过优化架构和正则化方法解决训练不稳定问题，生成高质量抽象艺术，并利用潜在空间随机游走分析笔触与颜色的向量关系。
2024-12-05 cs.AI cs.CV cs.LG
AttentionPainter: An Efficient and Adaptive Stroke Predictor for Scene Painting
Shanghai Jiao Tong University（上海交通大学）；East China Normal University（华东师范大学）；Cardiff University（卡迪夫大学）
针对神经绘画推理慢、训练不稳的问题，提出单步 AttentionPainter，通过可扩展笔触预测器、快速笔触堆叠、笔触密度损失及笔触扩散模型实现高效高质量生成。
2024-10-25 cs.CV
Data-Efficient Brushstroke Generation with Diffusion Models for Oil Painting
Delft University of Technology（代尔夫特理工大学）；The University of Manchester（曼彻斯特大学）；The Hong Kong University of Science（香港科学大学）
本文提出StrokeDiff模型，通过平滑正则化技术实现基于扩散模型的数据高效笔触生成，用于油画创作。
2026-03-01 cs.CV
Birth of a Painting: Differentiable Brushstroke Reconstruction
针对现有绘画合成方法缺乏明确笔触结构、无法生成平滑真实阴影的问题，提出可微分笔触重建框架，结合贝塞尔笔触优化、几何条件纹理合成与可微分涂抹算子，实现真实且富有表现力的数字绘画创作。
2025-11-17 cs.CV
Intelli-Paint: Towards Developing Human-like Painting Agents
Adobe Research（Adobe 研究院）；Australian National University（澳大利亚国立大学）
精心设计的艺术作品的生成通常是相当耗时的，并且假设人类画家的高度熟练。为了促进人类绘画过程，已经在教导机器如何“像人一样绘画”，然后使用训练的代理作为人类用户的绘画辅助工具方面进行了大量的研究工作。然而，目前在这个方向上的研究往往依赖于一个渐进的基于网格的划分策略，其中代理划分成连续的更精细的网格的整体图像，然后进行并行绘制每个。这不可避免地导致人类用户不容易理解的人工绘画序列。为了解决这个问题，我们提出了一种新的绘画方法，它学习生成输出画布，同时表现出更像人类的绘画风格。拟议的绘制管道Intelli-Paint包括1）渐进分层策略，允许代理首先绘制自然背景场景表示，然后以渐进方式添加每个前景对象。2)我们还介绍了一种新的顺序笔触指导策略，帮助绘画代理转移其注意力在不同的图像区域之间的语义感知的方式。3)最后，我们提出了一种笔触正则化策略，它允许减少所需笔触总数的60-80%，而不会在生成的画布质量上产生任何可感知的差异。通过定量和定性的结果，我们表明，由此产生的代理不仅在输出画布生成效率提高，而且还表现出更自然的绘画风格，这将更好地帮助人类用户通过数字艺术品表达他们的想法。
2021-12-16 cs.AI cs.CV cs.LG
Paint Transformer: Feed Forward Neural Painting with Stroke Prediction
Baidu Inc.（百度公司）；Nanjing University（南京大学）；Rutgers University（罗格斯大学）
神经绘画是指为给定图像产生一系列笔划并使用神经网络非照片真实地重新创建它的过程。虽然基于强化学习（RL）的代理可以生成一个笔划序列一步一步的任务，它是不容易的训练一个稳定的RL代理。另一方面，笔划优化方法在大的搜索空间中迭代地搜索笔划参数集合;这种低效率显著地限制了它们的流行和实用性。不同于以往的方法，在本文中，我们制定的任务作为一个集预测问题，并提出了一种新的基于变压器的框架，称为油漆Transformer，预测的参数与前馈网络的中风集。通过这种方式，我们的模型可以并行生成一组笔划，并接近实时的获得尺寸为512 * 512的最终绘画。更重要的是，由于没有数据集可用于训练Paint Transformer，我们设计了一个自训练管道，这样它就可以在没有任何现成数据集的情况下进行训练，同时仍然具有出色的泛化能力。实验表明，我们的方法取得了更好的绘画性能比以前的便宜的训练和推理成本。代码和模型可用。
2021-08-11 cs.CV
Angel's Girl for Blind Painters: an Efficient Painting Navigation System Validated by Multimodal Evaluation Approach
East China Normal University（华东师范大学）；University of Guelph（圭尔夫大学）；Ryerson University（瑞尔森大学）
对于热爱绘画但不幸有视觉障碍的人来说，拿着画笔创作作品是一件非常困难的事情。这一特殊群体的人们渴望像列奥纳多·达·芬奇那样拿起画笔，进行创作，充分发挥自己的才能。因此，为了最大限度地弥合这一差距，我们提出了一个绘画导航系统，以帮助盲人在绘画和艺术创作。该系统由认知系统和引导系统组成。系统采用基于QR码的画板定位、基于目标检测的画笔导航和灌木实时定位。同时，本文采用了基于语音的人机交互和一种简单高效的位置信息编码规则。此外，我们设计了一个标准，以有效地判断画笔是否达到目标。根据实验结果，从测试者的面部提取的热曲线表明，它是比较好的接受蒙眼甚至盲测试。在提示频率为1s时，喷漆导航系统性能最好，完成度为89%，SD为8.37%，溢出度为347%，SD为162.14%。刷尖轨迹的优良类型占74%，相对移动距离为4.21，SD为2.51。这件作品证明了盲人通过手中的画笔感受世界是可行的。在未来，我们计划在手机上部署天使之眼，使其更加便携。建议的绘画导航系统的演示视频可在：https://doi.org/10.6084/m9.figshare.9760004.v1.
2021-07-27 cs.AI cs.CV cs.MM
Paint2Pix: Interactive Painting based Progressive Image Synthesis and Editing
Adobe Research（奥多比研究院）；Australian National University（澳大利亚国立大学）
通过用户涂鸦进行可控图像合成是计算机视觉界非常感兴趣的话题。在本文中，我们第一次研究的问题，真实感的图像合成从不完整的和原始的人类绘画。特别是，我们提出了一种新的方法paint2pix，它学会预测（和适应）“用户想要画什么”从基本的笔触输入，通过学习映射从流形的不完整的人类绘画到他们的现实渲染。当与最近的作品在自主绘画代理一起使用时，我们表明paint2pix可以从头开始用于渐进式图像合成。在这个过程中，paint2pix允许新手用户逐步合成所需的图像输出，同时只需要一些粗略的用户涂鸦来准确地控制合成过程的轨迹。此外，我们发现，我们的方法也形成了一个令人惊讶的方便的方法，用于真实的图像编辑，并允许用户执行各种自定义细粒度的编辑，通过添加只有几个放置良好的笔触。补充视频和演示可在https://1jsingh.github.io/paint2pix上获得
2022-08-17 cs.AI cs.CV cs.LG
Differentiable Stroke Planning with Dual Parameterization for Efficient and High-Fidelity Painting Creation
Shanghai Jiao Tong University（上海交通大学）
本文提出双参数化方法，结合离散折线与连续贝塞尔控制点，实现高效且高保真的绘画生成，减少笔触数量并提升布局结构一致性。
2026-04-03 cs.CV
ProcessPainter: Learn Painting Process from Sequence Data
National University of Singapore（新加坡国立大学）；ZheJiang University（浙江大学）；Tiamat（提亚马特）；Shanghai Jiao Tong University（上海交通大学）
ProcessPainter是一种文本到视频模型，通过合成数据预训练和LoRA微调，首次从文本提示生成绘画过程，并引入艺术品复制网络支持任意帧输入，实现绘画过程受控生成、图像分解和半成品完成。
2024-07-20 cs.AI cs.CV
Channel Decomposition into Painting Actions
Microsoft（微软）
这项工作提出了一种将深度神经网络的卷积层分解为绘画动作的方法。为了表现得像人类画家一样，这些动作由模拟手部运动、绘画颜色变化、笔划形状和笔划风格的成本驱动。为了帮助规划，应用Mask R-CNN来检测对象区域并决定绘制顺序。所提出的绘画系统引入了各种扩展的艺术风格，根据所选择的参数。进一步的实验进行评估的通道渗透和通道的敏感性上的笔划。
2019-11-12 cs.CV cs.GR cs.LG
Neural Collage Transfer: Artistic Reconstruction via Material Manipulation
Seoul National University（首尔大学）
针对逐像素生成法不符合拼贴逐片实体特性的问题，提出基于强化学习的神经拼贴迁移方法，通过拼贴MDP、基于模型的软演员-评论家算法等实现高质量拼贴生成，效果优于逐像素生成法。
2023-11-03 cs.AI cs.CV
LPaintB: Learning to Paint from Self-Supervision
University of Maryland at College Park（马里兰大学帕克分校）；Adobe Research（奥多比研究院）
提出了一种新的基于强化学习的自然媒体绘制算法。我们的目标是使用画笔笔划再现参考图像，并通过观察对目标进行编码。我们的公式考虑到奖励在动作空间中的分布是稀疏的，从头开始训练强化学习算法可能很困难。我们提出了一种结合自监督学习和强化学习的方法来有效地将负样本转换为正样本，并改变奖励分布。我们证明了我们的绘画代理的好处，以重现参考图像与笔触。训练阶段大约需要一个小时，运行时算法在GTX 1080 GPU上大约需要30秒，再现具有20，000个笔划的1000x800图像。
2019-09-21 cs.AI cs.CV cs.LG
Look, Compare and Draw: Differential Query Transformer for Automatic Oil Painting
School of Software, Xi’an Jiaotong University（西安交通大学软件学院）；School of Computer and Information Science, Hefei University of Technology（合肥工业大学计算机与信息学院）；Jianghuai Advance Technology Center（江淮前沿技术中心）；Anhui Provincial Key Laboratory of Humanoid Robots（安徽省人形机器人重点实验室）；Anhui Provincial Industry Innovation Center of Humanoid Robots（安徽省人形机器人产业创新中心）；Singapore Management University（新加坡管理大学）；Institute of Collaborative Innovation, University of Macau（澳门大学协同创新研究院）
本文提出了一种新的自动油画方法，通过差分图像分析提升笔触的动态和表现力，采用差分查询变换器增强局部细节敏感性，提升油画的真实性和艺术性。
2026-03-29 cs.CV cs.MM
PTGCF: Printing Texture Guided Color Fusion for Impressionism Oil Painting Style Rendering
Xi’an University of Technology（西安理工大学）；University of Strathclyde（思克莱德大学）
本文提出PTGCF笔触渲染方法，通过融合原始油画的色调特征与代表性颜色实现印象派风格化，实验表明其更适用于方向感均匀的点彩派作品及自然场景。
2022-07-27 cs.CV
Emergence of Painting Ability via Recognition-Driven Evolution
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；RIKEN（理化学研究所）；The University of Tokyo（东京大学）；Tianjin Academy of Fine Art（天津美术学院）；Sakana AI
本文提出由笔触与调色板双分支构成、以高层视觉识别准确率驱动优化的类人绘画演化模型，能以极少笔触和颜色生成具审美效果的抽象素描，并可用于优于传统方法的位级图像压缩。
2025-01-09 cs.CV
PaintCopilot: Modeling Painting as Autonomous Artistic Continuation
MIT Media Lab（MIT媒体实验室）；New York University（纽约大学）
本文提出了一种基于神经网络的绘画助手PaintCopilot，通过建模绘画作为开放性自回归艺术行为，基于不断演变的画布状态和先前笔触历史，无需目标图像即可预测未来笔触，与现有神经绘画方法不同，后者将绘画建模为向预定参考图像的像素重建。
2026-09-15 cs.CV cs.GR cs.HC
SE-GAN: Skeleton Enhanced GAN-based Model for Brush Handwriting Font Generation
JD AI（京东人工智能研究院）；Central Academy of Fine Arts（中央美术学院）
以往的字体生成工作主要集中在字体形状稳定、笔画分离清晰的标准印刷体上。毛笔字字体生成涉及整体结构变化和复杂笔画迁移，目前研究较少。为了解决这个问题，我们提出了一种新的基于GAN的图像翻译模型，通过整合骨架信息。我们首先从训练图像中提取骨架，然后设计图像编码器和骨架编码器来提取相应的特征。设计了一个自我关注的精细注意模块，引导模型学习不同领域之间的区别特征。首先利用一个预训练的生成器将生成的图像合成骨架图像，然后判断骨架图像与目标图像的真实性。我们还贡献了一个大规模的画笔手写字体图像数据集，其中包含六种样式和15，000张高分辨率图像。定量和定性的实验结果表明，我们提出的模型的竞争力。
2022-04-22 cs.AI cs.CV
Collaborative Neural Painting
University of Trento（特伦托大学）；University of Pisa（比萨大学）；University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
本文提出协作式神经绘画任务，通过参数化笔触序列、Transformer 注意力机制、掩码方案和扩散模型，实现人与机器迭代式协作生成连贯绘画，并引入新数据集与评估协议验证其有效性。
2023-12-04 cs.CV
Bridging Online and Offline Handwriting via Differentiable Physical Rendering
该研究提出统一在线-离线手写生成框架，通过物理画笔模型与可微渲染模块解决两类手写生成范式的缺陷，经实验验证实现了结构与视觉保真度。
2026-08-05 cs.CV cs.RO
Segmentation-Based Parametric Painting
Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（奥多比研究中心）
提出基于分割的参数化绘画方法，通过动态注意力图和批处理优化笔触，实现大规模高保真绘画创作，在美学和功能上优于以往方法。
2023-11-24 cs.CV cs.LG
MambaPainter: Neural Stroke-Based Rendering in a Single Step
Doshisha University（同志社大学）
针对传统笔画渲染方法逐笔预测导致效率低下的问题，提出MambaPainter，利用选择性状态空间模型在单步推理中预测超100笔序列，并结合分块扩展实现高分辨率图像的高效油画风格转换。
2024-10-16 cs.CV
AnimatePainter: A Self-Supervised Rendering Framework for Reconstructing Painting Process
Fudan University（复旦大学）；Keenon Robotics Co. Ltd（擎朗智能有限公司）
针对现有绘画过程生成方法依赖人工标注数据集、适用数据类型有限的问题，提出自监督框架AnimatePainter，将任务转为视频生成问题，通过深度估计和笔触渲染构建自监督数据集，结合深度融合层模拟人类绘画过程，无需真实绘画数据即可生成逼真作品。
2025-03-21 cs.CV
Learning to Sketch with Deep Q Networks and Demonstrated Strokes
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Adobe Research（奥多比研究院）
涂鸦是人们可以学习和掌握的一种有用和常见的智能技能。在这项工作中，我们提出了一个两阶段的学习框架，通过笔划演示和深度Q学习（SDQ）来教机器在模拟的绘画环境中涂鸦。开发的系统Doodle-SDQ生成一系列笔动作来再现参考绘图，并模仿人类画家的行为。在第一阶段，它通过从艺术家绘画中收集的一组strokeaction对中以监督的方式模仿来学习绘制简单的笔画。在第二阶段，它面临的挑战是在没有地面真实动作的情况下绘制真实的、更复杂的涂鸦;因此，它使用Qlearning进行训练。我们的实验证实，（1）涂鸦可以在没有直接的逐步动作监督的情况下学习，（2）通过监督学习进行带有笔画演示的预训练对提高性能很重要。我们进一步表明，Doodle-SDQ是有效的，在不同的媒体类型，包括素描和水彩画生产合理的图纸。
2018-10-14 cs.CV
Stroke-based Rendering: From Heuristics to Deep Learning
Bielefeld University（比勒费尔德大学）
在过去的几年里，使用深度学习模型的艺术图像制作已经获得了相当大的吸引力。大量的这些模型直接在像素空间中操作并生成光栅图像。然而，这并不是大多数人制作艺术品的方式，例如，通过规划一系列形状和笔画来绘制。深度学习方法的最新发展有助于弥合基于笔划的绘画和像素照片生成之间的差距。通过这次调查，我们的目标是提供一个结构化的介绍和理解常见的挑战和方法，在基于笔划的渲染算法。这些算法从简单的基于规则的算法到笔划优化和深度强化代理，经过训练可以用可区分的矢量图形和神经渲染来绘制图像。
2022-12-30 cs.CV cs.LG
Learning to See via Epiretinal Implant Stimulation in silico with Model-Based Deep Reinforcement Learning
Department of Electrical Engineering and Computer Engineering, Université de Sherbrooke（电气与计算机工程系， Sherbrooke 大学）
本研究提出使用各向同性和各向异性形状，通过深度强化学习在虚拟患者的视网膜上渲染可理解的图像，以提高人工恢复视觉的清晰度。
2026-06-02 cs.CV cs.LG q-bio.NC
Neural 3D Strokes: Creating Stylized 3D Scenes with Vectorized 3D Strokes
Beihang University（北京航空航天大学）；University of Bath（巴斯大学）；Zhongguanchun Laboratory（中关村实验室）
本研究提出Neural 3D Strokes技术，通过可微渲染器和梯度下降优化3D矢量笔触参数，从多视角2D图像生成视角一致的风格化3D场景，还可结合风格损失等拓展应用。
2024-03-12 cs.CV cs.GR
Stylized Neural Painting
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；Beihang University（北京航空航天大学）
本文提出了一种图像到绘画的翻译方法，生成生动逼真的绘画艺术作品，风格可控。不同于以往的图像到图像的翻译方法，制定的翻译像素的预测，我们处理这样一个艺术创作过程中的矢量化环境，并产生一个序列的物理意义的笔画参数，可以进一步用于渲染。由于一个典型的矢量渲染是不可区分的，我们设计了一种新的神经渲染器，它模仿矢量渲染器的行为，然后帧的笔画预测作为一个参数搜索过程，最大限度地提高输入和渲染输出之间的相似性。我们探讨了零梯度问题的参数搜索，并提出解决这个问题的最佳运输的角度来看。我们还表明，以前的神经渲染器有一个参数耦合问题，我们重新设计了渲染网络与光栅化网络和着色网络，更好地处理形状和颜色的解纠缠。实验表明，我们的方法生成的绘画具有较高的保真度，在全球的外观和局部纹理。我们的方法也可以与神经风格转移联合优化，进一步从其他图像转移视觉风格。我们的代码和动画结果可在\url{https://jiupinjia.github.io/neuralpainter/}上获得。
2020-11-16 cs.CV
Can We Change "Stroke Size" to Simplify Flow Matching?
National University of Singapore（新加坡国立大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文研究通过控制笔触大小改变监督目标的粗糙度，以缓解低信噪比下的预测挑战。
2026-10-15 cs.AI cs.CV
Geometric Tight Frame based Stylometry for Art Authentication of van Gogh Paintings
The Chinese University of Hong Kong（香港中文大学）；Peking University（北京大学）
这篇论文是关于鉴定梵高真迹的。认证过程依赖于两个关键步骤：特征提取和离群值检测。本文提出了一种几何紧框架和一些简单的紧框架系数的统计方法来提取绘画的特征。然后，使用前向阶段式秩提升来选择一小组特征以进行更准确的分类，使得梵高的绘画高度集中于某个中心点，而梵高的绘画则作为离群值分散开。数值结果表明，我们的方法可以达到86.08%的分类准确率下留一出交叉验证程序。我们的方法还确定了比其他功能更占主导地位的五个功能。仅使用这五个特征进行分类，我们的方法可以给出88.61%的分类准确率，这是迄今为止文献报道的最高。这五个功能的评估也进行了200个数据集生成的自助抽样与替换。中位数和平均值分别为88.61%和87.77%。我们的研究结果表明，沿着某些方向的紧框架系数的一小部分统计数据可以作为梵高绘画的判别特征。与平均值和标准差相比，查看这些方向系数的尾部分布更重要。它反映了梵高的笔触运动中高度一致的风格，其中许多fortunes在这些特征中表现出更多样化的传播。
2015-01-13 cs.CV cs.LG
Instance Segmentation of Scene Sketches Using Natural Image Priors
Stanford University（斯坦福大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文提出InkLayer方法，通过类别无关微调和深度线索细化，将图像分割模型适配到草图实例分割，并构建InkScenes数据集验证其鲁棒性。
2025-05-06 cs.CV cs.GR
Making Robots Draw A Vivid Portrait In Two Minutes
Peking University（北京大学）；Hangzhou Dianzi University（杭州电子科技大学）
艺术机器人已经取得了重大进展。然而，现有的机器人无法在短时间内制作高质量的肖像。在这项工作中，我们提出了一个绘图机器人，它可以自动将面部图片转换为生动的肖像，然后在平均两分钟内将其绘制在纸上。我们系统的核心是一种基于深度学习的新型人像合成算法。创新地，我们采用了自一致性损失，这使得算法能够生成连续和平滑的笔触。此外，我们提出了一个组件稀疏性约束，以减少在不重要的地区的笔画数。我们还实现了一个局部草图合成算法，以及一些前处理和后处理技术来处理背景和细节。我们的算法产生的肖像成功地捕捉个人特征，通过使用一组稀疏的连续的笔触。最后，肖像被转换成一系列的轨迹和再现的三自由度的机器人手臂。整个肖像画机器人系统命名为AiSketcher。大量的实验表明，AiSketcher可以为各种各样的图片生成相当高质量的草图，包括野外的人脸和任意内容的通用图像。据我们所知，AiSketcher是第一个使用神经风格转移技术的肖像画机器人。AiSketcher参加了许多展览，并在各种情况下表现出色。
2020-07-21 cs.CV cs.RO
Interactive Neural Painting
University of Trento（特伦托大学）；Picsart AI Research (PAIR)（Picsart人工智能研究院（PAIR））；Politecnico di Milano（米兰理工大学）；ETZ；University of Illinois Urbana Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校（UIUC））；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
本文提出首个交互式神经绘画方法I-Paint，基于条件Transformer VAE架构，通过建议笔画辅助用户创作，并引入两个新数据集，实验验证其效果优于现有方法。
2023-07-31 cs.CV
Everyone Can Be Picasso? A Computational Framework into the Myth of Human versus AI Painting
该研究构建了融合神经潜在空间、美学特征与可视化分析的计算框架，系统比较人类与AI绘画差异，发现二者在笔触、锐度及风格演化上存在显著区别，为改进AI艺术提供依据。
2024-02-22 cs.AI cs.CV cs.HC
Attention-aware Multi-stroke Style Transfer
Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）；University College London（伦敦大学学院）
神经风格迁移引起了学术界和工业界的广泛关注。虽然视觉效果和效率得到了显著提高，但现有方法无法协调内容图像和风格化图像之间视觉注意力的空间分布，或者通过不同的笔触呈现不同的细节水平。在本文中，我们通过开发一个注意力感知的多笔画风格迁移模型来解决这些限制。我们首先提出将自注意力机制组装到与风格无关的重建自动编码器框架中，从中可以推导出内容图像的注意力图。通过对内容特征和风格特征进行多尺度的风格交换，我们产生了反映不同笔画模式的多个特征图。进一步提出了一种灵活的融合策略，将注意力图的显著特征，这使得多个笔画模式集成到输出图像的不同空间区域和谐。我们证明了我们的方法的有效性，以及产生可比的风格化图像与多个中风模式对国家的最先进的方法。
2019-01-16 cs.CV
PaintBot: A Reinforcement Learning Approach for Natural Media Painting
Univsersity of Maryland（马里兰大学）；ByteDance AI Lab（字节跳动人工智能实验室）；Adobe Research（Adobe研究院）
我们提出了一个新的自动化数字绘画框架，基于绘画代理通过强化学习训练。为了合成图像，智能体选择一系列连续值动作，这些动作表示原始绘画笔划，这些笔划累积在数字画布上。动作选择是由一个给定的参考图像，代理试图复制的动作空间和代理的学习策略的限制。使用近端策略优化强化学习的变体来确定喷涂代理策略。在训练过程中，我们的代理呈现从参考图像集合中采样的补丁。为了加速训练收敛，我们采用了一种课程学习策略，根据参考补丁使用当前策略的挑战性对其进行采样。我们用不同的损失函数进行实验，包括像素和感知损失，这对学习的策略产生了不同的影响。我们证明了我们的绘画代理可以学习一个有效的政策，一个高维连续的动作空间，包括笔的压力，宽度，倾斜和颜色，为各种绘画风格。通过由粗到细的细化过程，我们的代理可以以所需的风格绘制任意复杂的图像。
2019-04-03 cs.CV
FoolSDEdit: Deceptively Steering Your Edits Towards Targeted Attribute-aware Distribution
Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）；Institute of High Performance Computing (IHPC)（高性能计算研究所）；Centre for Frontier AI Research (CFAR)（前沿人工智能研究中心）
针对SDEdit可能生成违背用户意图图像的安全漏洞，提出TAGA攻击方法，通过联合优化曝光与运动模糊扰动，迫使SDEdit生成指定属性分布，实验验证其有效性。
2024-02-06 cs.CR cs.CV
Inversion-Based Style Transfer with Diffusion Models
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of AI, UCAS（中国科学院大学人工智能学院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Kuaishou Technology（快手科技）
绘画作品的艺术风格是绘画作品的表现手段，它不仅包括绘画材料、色彩、笔触等，还包括语义元素、对象形状等高级属性。以往任意的实例引导的艺术图像生成方法往往无法控制形状变化或传达元素。预先训练的文本到图像合成扩散概率模型已经取得了显着的质量，但它往往需要大量的文本描述，以准确地描绘特定绘画的属性。我们认为，艺术品的独特性恰恰在于它无法用正常的语言来充分解释。我们的核心思想是直接从一幅画作中学习艺术风格，然后在不提供复杂的文本描述的情况下指导合成。具体来说，我们假设风格是一幅绘画的可学习的文本描述。我们提出了一种基于反转的风格转换方法（InST），该方法可以高效准确地学习图像的关键信息，从而捕捉和转换绘画的艺术风格。我们证明了我们的方法在各种艺术家和风格的许多绘画的质量和效率。代码和型号可在https://github.com/zyxElsa/InST上获得。
2023-03-20 cs.CV cs.GR
Sketch & Paint: Stroke-by-Stroke Evolution of Visual Artworks
TCS Research（TCS研究中心）
本文提出一种基于邻近性聚类的笔触提取与排序方法，将像素图像转为矢量曲线以推断艺术品笔触序列，在WikiArt及多类图像上验证了可行性，助力理解艺术创作过程。
2025-02-27 cs.CV
SRAGAN: Saliency Regularized and Attended Generative Adversarial Network for Chinese Ink-wash Painting Style Transfer
Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所）；School of Mathematical Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）
本文提出SRAGAN解决中国水墨画风格迁移中内容细节易被破坏的问题，通过引入显著性检测提出SIOU损失和SANorm正则化内容结构，并设计显著性注意力判别器增强笔触与纹理，实验证明其优于GAN和扩散模型等先进方法。
2025-10-31 cs.CV
Applying Medical Imaging Tractography Techniques to Painterly Rendering of Images
National Heart and Lung Institute, Faculty of Medicine, Imperial College London, UK（国家心肺研究所、医学学院、伦敦帝国学院，英国）
本文探索性地将医学影像中的弥散张量成像和纤维追踪技术跨领域应用于图像绘画风格渲染，利用结构张量和纤维追踪算法模仿人类艺术家放置笔触，并公开了相关代码。
2025-11-01 cs.CV cs.GR
Interactive Style Transfer: All is Your Palette
Nankai University（南开大学）
神经风格转移（NST）可以通过将参考风格转移到内容图像来创建令人印象深刻的艺术作品。目前的图像到图像的NST方法缺乏细粒度的控制，这往往是艺术编辑的需求。为了缓解这一限制，我们提出了一个类似绘画的交互式风格转移（IST）的方法，通过该方法，用户可以交互式地创建一个和谐的风格的图像。我们的IST方法可以作为画笔，从任何地方蘸取样式，然后绘制到目标内容图像的任何区域。为了确定动作范围，我们制定了一个流体模拟算法，该算法将样式作为画笔交互位置周围的颜料，并根据相似性图在样式或内容图像中扩散。我们的IST方法扩展了NST的创造性维度。通过浸渍和绘画，即使使用一种风格的图像也可以产生成千上万的引人注目的作品。演示视频可在补充文件或http://mmcheng.net/ist中找到。
2022-03-25 cs.CV
Scaling Painting Style Transfer
Institut Denis Poisson（德尼·泊松研究所）；Université de Tours（图尔大学）；CNRS（法国国家科学研究中心）；Institut Universitaire de France (IUF)（法国大学研究院）；Instituto de Ingeniería Eléctrica（电气工程研究所）；Facultad de Ingeniería（工程学院）；Universidad de la República（乌拉圭共和国大学）；City University of Hong Kong（香港城市大学）；Google Research（谷歌研究院）
本文提出一种通过空间局部化VGG网络计算的方法，实现超高分辨率绘画风格迁移，在保持质量的同时，解决了传统NST的计算昂贵和分辨率限制问题。
2024-06-26 cs.CV eess.IV
PaCaNet: A Study on CycleGAN with Transfer Learning for Diversifying Fused Chinese Painting and Calligraphy
Nanyang Technological University（南洋理工大学）；Seafog AI（海雾人工智能）；San Diego State University（圣地亚哥州立大学）；Heriot-Watt University（赫瑞瓦特大学）；Kyoto University（京都大学）；Rhode Island School of Design（罗德岛设计学院）；Ocean University of China（中国海洋大学）
受汉字象形文字启发，提出基于CycleGAN的PaCaNet流水线，通过单样本学习、参数冻结和正则化三项创新技术，融合中国画视觉信息与书法笔画特征生成多样化新颖艺术品，为传统艺术保护与复兴提供新方向。
2023-05-21 cs.CV
Generative Photomontage
Carnegie Mellon University（卡内基梅隆大学）；Reichman University（里赫曼大学）
本文提出 Generative Photomontage 框架，让用户从 ControlNet 生成的多张图像中笔刷选择区域，并通过扩散特征空间的图优化分割与特征混合进行和谐合成。
2025-06-09 cs.CV cs.GR
Arbitrary Style Transfer via Multi-Adaptation Network
School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院）；NLPR, Institute of Automation, CAS（中国科学院自动化研究所模式识别国家重点实验室）；CASIA-LLVision Joint Lab（中科院自动化所-亮亮视野联合实验室）；Youtu Lab, Tencent（腾讯优图实验室）
任意样式转换是一个具有重要研究价值和应用前景的课题。在给定内容图像和参考的风格绘画的情况下，期望的风格转移将用风格绘画的色调和生动的笔画图案来呈现内容图像，同时同步地保持详细的内容结构信息。风格转移方法首先学习内容和风格参考的内容和风格表示，然后在这些表示的指导下生成风格化的图像。在本文中，我们提出了多自适应网络，它包括两个自适应（SA）模块和一个协同自适应（CA）模块：SA模块自适应地解开内容和风格表示，即，内容SA模块使用位置方面的自注意来增强内容表示，并且样式SA模块使用通道方面的自注意来增强样式表示; CA模块通过以非局部方式计算解缠的内容和样式特征之间的局部相似性来基于内容表示分布重新布置样式表示的分布。此外，一个新的解纠缠损失函数，使我们的网络，以提取主要的风格模式和准确的内容结构，以适应不同的输入图像，分别。各种定性和定量的实验表明，所提出的多适应网络导致更好的结果比国家的最先进的风格转移方法。
2020-08-16 cs.AI cs.CV
Arbitrary Style Guidance for Enhanced Diffusion-Based Text-to-Image Generation
Baidu Research (USA)（百度研究院（美国））
基于扩散的文本到图像生成模型，如GLIDE和DALLE-2，最近获得了广泛的成功，因为它们在将复杂的文本输入转换为高质量和广泛多样性的图像方面具有卓越的性能。特别是，他们被证明是非常强大的创建各种格式和风格的图形艺术。虽然当前的模型支持指定油画或铅笔画等样式格式，但很难指定颜色分布和笔触等细粒度样式特征，因为它们是基于给定文本输入从条件分布中随机选取的。在这里，我们提出了一种新的风格指导方法，以支持生成图像使用任意风格指导的参考图像。该生成方法不需要单独的样式传递模型来生成期望的样式，同时保持由文本输入控制的所生成的内容中的图像质量。另外，可以在没有风格参考的情况下应用引导方法，表示为自风格引导，以生成更多样化风格的图像。实验结果表明，该方法在各种图像艺术形式、图像内容类型和扩散模型下都具有较好的鲁棒性和有效性。
2022-11-14 cs.CV eess.IV
ArtFusion: Controllable Arbitrary Style Transfer using Dual Conditional Latent Diffusion Models
ArtFusion提出双条件潜在扩散模型，实现可控任意风格迁移，平衡内容与风格，优于现有方法。
2023-06-19 cs.CV
