Recovery of underdrawings and ghost-paintings via style transfer by deep convolutional neural networks: A digital tool for art scholars
University College London(伦敦大学学院);University of Cambridge(剑桥大学)
我们描述了卷积神经网络风格转移的应用,以提高美术油画中的底画和鬼画的可视化问题。这种底画和隐藏的绘画通常通过X射线或红外技术显示,这些技术产生灰度图像,因此缺乏颜色和完整的风格信息。过去用于推断底画中的颜色的方法是基于幽灵画中颜料的物理X射线荧光光谱成像,因此昂贵,耗时,并且需要大多数保护工作室无法获得的设备。我们的算法方法不需要如此昂贵的物理成像设备。我们的概念验证系统应用于Pablo Picasso和Leonardo的作品,揭示了尊重鬼画中自然分割的颜色和设计。我们相信,计算图像提供了对艺术家和相关作品的洞察力,这是其他方式所无法实现的。我们的研究结果强烈表明,未来的应用程序的基础上更大的语料库的绘画培训将显示配色方案和设计,甚至更接近的艺术家的作品。由于这些原因,我们的方法的改进应该在艺术保护,鉴赏和艺术分析中得到广泛的应用。
2021-01-04 cs.CV
Vectorized Region Based Brush Strokes for Artistic Rendering
TCS Research(塔塔咨询服务研究院)
针对现有笔触绘画系统生成的笔触构图难符艺术原则的问题,提出一种带区域语义引导、可计算笔触参数并建立渲染顺序的图像转绘画方法,实现了高保真、高质量笔触的艺术渲染。
2025-06-11 cs.CV
PTGCF: Printing Texture Guided Color Fusion for Impressionism Oil Painting Style Rendering
Xi’an University of Technology(西安理工大学);University of Strathclyde(思克莱德大学)
本文提出PTGCF笔触渲染方法,通过融合原始油画的色调特征与代表性颜色实现印象派风格化,实验表明其更适用于方向感均匀的点彩派作品及自然场景。
2022-07-27 cs.CV
AttentionPainter: An Efficient and Adaptive Stroke Predictor for Scene Painting
Shanghai Jiao Tong University(上海交通大学);East China Normal University(华东师范大学);Cardiff University(卡迪夫大学)
针对神经绘画推理慢、训练不稳的问题,提出单步 AttentionPainter,通过可扩展笔触预测器、快速笔触堆叠、笔触密度损失及笔触扩散模型实现高效高质量生成。
2024-10-25 cs.CV
PaintSeg: Training-free Segmentation via Painting
CMU(卡内基梅隆大学);Microsoft(微软);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
提出 PaintSeg,通过 AMCP 交替进行图像修复与外部修复,在无训练、无监督条件下利用多种提示迭代优化分割掩码,并在多类提示分割任务中超越现有方法。
2023-06-04 cs.CV
A domain adaptive deep learning solution for scanpath prediction of paintings
Université d’Orléans(奥尔良大学);Bournemouth University(伯恩茅斯大学)
文化遗产的理解和保护是社会的一个重要问题,因为它代表了社会特性的一个基本方面。绘画是文化遗产的重要组成部分,也是不断研究的主题。然而,观众对绘画的感知方式与所谓的人类视觉系统(HVS)行为密切相关。本文着重于对一定数量的绘画作品进行观看者在视觉体验过程中的眼动分析。在进一步的细节中,我们介绍了一种新的方法来预测人类的视觉注意力,这会影响人类的几个认知功能,包括对场景的基本理解,然后将其扩展到绘画图像。拟议中的新架构摄取图像并返回扫描路径,这是一系列具有很高吸引观众注意力的点。我们使用FCNN(全卷积神经网络),其中我们利用可微通道选择和Soft-Argmax模块。我们还将可学习的高斯分布纳入网络瓶颈,以模拟自然场景图像中的视觉注意过程偏差。此外,为了减少不同领域(即自然图像,绘画)之间的变化的影响,我们敦促模型使用梯度反转分类器从其他领域学习无监督的一般特征。我们的模型所获得的结果优于现有的国家的最先进的准确性和效率。
2022-09-22 cs.CV
Collaborative Neural Painting
University of Trento(特伦托大学);University of Pisa(比萨大学);University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
本文提出协作式神经绘画任务,通过参数化笔触序列、Transformer 注意力机制、掩码方案和扩散模型,实现人与机器迭代式协作生成连贯绘画,并引入新数据集与评估协议验证其有效性。
2023-12-04 cs.CV
PRevivor: Reviving Ancient Chinese Paintings using Prior-Guided Color Transformers
提出先验引导的颜色Transformer模型PRevivor,将色彩修复分解为亮度增强与色调校正两个子任务,通过双分支查询模块和局部色调先验,有效复兴了色彩退化的中国古代绘画。
2025-11-03 cs.CV
Historic Emergence of Diversity in Painting: Heterogeneity in Chromatic Distance in Images and Characterization of Massive Painting Data Set
Korea Advanced Institute of Science and Technology(韩国高等科学技术院);Samsung SDS(三星SDS);The Asia Institute(亚洲研究所);Ministry of Foreign Affairs(外交部);Asia Pacific Center for Theoretical Physics(亚太理论物理中心);University of Cambridge(剑桥大学)
绘画是一种艺术形式,长期以来一直是人类创造性表达和交流的主要渠道,它的演变与时代的科学,技术和社会环境相互作用。因此,根据全面的数据了解这一过程可以揭示人类在不断变化的条件下如何行动和创造性地表现出来。然而,目前几乎没有系统的框架来描述绘画过程,这需要强大的统计方法来定义绘画特征和识别人类的创造性发展,以及高质量和足够数量的数据。在这里,我们提出的绘画图像的颜色对比度,标志着在像素间的色彩距离的异质性,可以是一个有用的表示其风格,集成了颜色和几何。从绘画的色彩对比,从一个大规模的,全面的档案179,853高品质的图像跨越几个世纪,我们描绘了绘画的时间演变模式,并提出了一个非凡的扩展在创造性的多样性和个性,来定义现代时代的深入研究。
2018-09-14 cs.CV physics.soc-ph
Emergence of Painting Ability via Recognition-Driven Evolution
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);RIKEN(理化学研究所);The University of Tokyo(东京大学);Tianjin Academy of Fine Art(天津美术学院);Sakana AI
本文提出由笔触与调色板双分支构成、以高层视觉识别准确率驱动优化的类人绘画演化模型,能以极少笔触和颜色生成具审美效果的抽象素描,并可用于优于传统方法的位级图像压缩。
2025-01-09 cs.CV
Stylized Neural Painting
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);NetEase Fuxi AI Lab(网易伏羲人工智能实验室);Beihang University(北京航空航天大学)
本文提出了一种图像到绘画的翻译方法,生成生动逼真的绘画艺术作品,风格可控。不同于以往的图像到图像的翻译方法,制定的翻译像素的预测,我们处理这样一个艺术创作过程中的矢量化环境,并产生一个序列的物理意义的笔画参数,可以进一步用于渲染。由于一个典型的矢量渲染是不可区分的,我们设计了一种新的神经渲染器,它模仿矢量渲染器的行为,然后帧的笔画预测作为一个参数搜索过程,最大限度地提高输入和渲染输出之间的相似性。我们探讨了零梯度问题的参数搜索,并提出解决这个问题的最佳运输的角度来看。我们还表明,以前的神经渲染器有一个参数耦合问题,我们重新设计了渲染网络与光栅化网络和着色网络,更好地处理形状和颜色的解纠缠。实验表明,我们的方法生成的绘画具有较高的保真度,在全球的外观和局部纹理。我们的方法也可以与神经风格转移联合优化,进一步从其他图像转移视觉风格。我们的代码和动画结果可在\url{https://jiupinjia.github.io/neuralpainter/}上获得。
2020-11-16 cs.CV
Differentiable Stroke Planning with Dual Parameterization for Efficient and High-Fidelity Painting Creation
Shanghai Jiao Tong University(上海交通大学)
本文提出双参数化方法,结合离散折线与连续贝塞尔控制点,实现高效且高保真的绘画生成,减少笔触数量并提升布局结构一致性。
2026-04-03 cs.CV
SynGallery: A Synthetic Gallery of Real Paintings for Instance-Level Artwork Recognition
Adam Mickiewicz University(亚当·密茨凯维奇大学);ArtiCollect(艺术收藏机构);KAUST(沙特阿卜杜拉国王科技大学);Kiel University(基尔大学)
研究针对实例级艺术品识别难题,提出SynGallery合成图库数据集。从真实绘画目录图像出发,经3D场景渲染生成数据集。实验表明其合成视图训练信号强,能提升识别率,增益主要源于几何视角变化。
2026-08-20 cs.CV
Channel Decomposition into Painting Actions
Microsoft(微软)
这项工作提出了一种将深度神经网络的卷积层分解为绘画动作的方法。为了表现得像人类画家一样,这些动作由模拟手部运动、绘画颜色变化、笔划形状和笔划风格的成本驱动。为了帮助规划,应用Mask R-CNN来检测对象区域并决定绘制顺序。所提出的绘画系统引入了各种扩展的艺术风格,根据所选择的参数。进一步的实验进行评估的通道渗透和通道的敏感性上的笔划。
2019-11-12 cs.CV cs.GR cs.LG
Every Painting Awakened: A Training-free Framework for Painting-to-Animation Generation
School of Software Engineering, Xi'an Jiaotong University(西安交通大学软件学院);School of Computer and Information Science, Hefei University of Technology(合肥工业大学计算机与信息学院);Faculty of Science and Technology, University of Macau(澳门大学科技学院)
本文提出一个免训练的图像到视频合成框架,通过双路径分数蒸馏和混合潜在融合技术,利用预训练模型将静态画作转化为动态动画,在保持原作保真度的同时实现与文本提示的语义对齐。
2025-03-31 cs.CV cs.MM
Restyling Images with the Bangladeshi Paintings Using Neural Style Transfer: A Comprehensive Experiment, Evaluation, and Human Perspective
Shahjalal University of Science and Technology(沙赫贾拉尔科技大学)
在当今世界,神经风格转移(NST)已成为一个趋势术语。NST将两张图片,一张内容图片和一张风格上的参考图片(如著名画家的作品)组合在一起,使输出图像看起来像材料的图像,但以参考图片的形式呈现。然而,没有研究使用孟加拉国画家的艺术品或绘画。孟加拉国绘画有着两千多年的悠久历史,至今仍被孟加拉国画家所实践。本研究在孟加拉国绘画中生成了NST风格化的图像,并分析了人类对NST在孟加拉国绘画中的审美偏好的观点。为了确保我们的研究被接受,我们对60名不同年龄和性别的个体对生成的程式化图像进行了定性的人类评估。我们已经解释了NST如何适用于孟加拉国的绘画,并定性\定量地评估NST算法。我们的研究作为一个先决条件的NST风格化的图像使用孟加拉国的绘画对移动UI/GUI和材料翻译的影响,从人类的角度来看。我们希望这项研究将鼓励新的合作,创造更多的NST相关的研究和扩大孟加拉国艺术品的使用。
2020-12-10 cs.AI cs.CV
End-to-End Chinese Landscape Painting Creation Using Generative Adversarial Networks
Princeton University(普林斯顿大学)
目前基于GAN的艺术生成方法由于依赖于条件输入而产生非原创的艺术品。在这里,我们提出了素描和绘画GAN(SAPGAN),第一个模型,生成中国山水画从端到端,没有条件输入。SAPGAN由两个GANs组成:SketchGAN用于生成边缘映射,PaintGAN用于随后的边缘到绘画转换。我们的模型是在一个新的中国传统山水画数据集上训练的,这个数据集以前从未用于生成研究。一项242人的视觉图灵测试研究显示,SAPGAN绘画被误认为人类艺术品的频率为55%,明显优于基线GANs的绘画。我们的工作为真正的机器原创艺术创作奠定了基础。
2020-11-11 cs.CV cs.LG eess.IV
Eye In-Painting with Exemplar Generative Adversarial Networks
Facebook Inc.(Facebook公司)
本文介绍了一种新的图像修复方法,其中要删除或更改的对象的身份在推理时被保留和解释:示例GANs(ExGANs)。ExGAN是一种有条件的GAN,它利用样本信息来产生高质量的个性化绘画结果。我们建议使用样本信息的形式的参考图像的区域内绘画,或描述该对象的感知代码。与以前的条件GAN公式不同,这些额外的信息可以插入对抗网络中的多个点,从而提高其描述能力。我们表明,ExGANs可以产生照片般逼真的个性化绘画结果,这些结果在感知和语义上都是合理的,通过将它们应用于自然图片中的闭眼到睁眼绘画任务。还引入了一个新的基准数据集,用于未来比较的眼睛修复任务。
2017-12-11 cs.CV cs.LG stat.ML
Neural Painters: A learned differentiable constraint for generating brushstroke paintings
我们探索神经画家,从一个真正的不可微和非确定性绘画程序学习的笔触生成模型。我们表明,当训练一个代理使用笔触“画”图像时,使用可微分神经画家会导致更快的收敛。我们提出了一种方法,鼓励这个代理人在重建数字时遵循人类的笔画。我们还探讨了使用神经画家作为可微图像参数化。通过直接优化笔触来激活预先训练的卷积网络中的神经元,我们可以直接可视化ImageNet类别并生成每个类别的“理想”绘画。最后,我们提出了一个新的概念,称为内在风格转移。通过最大限度地减少神经风格转移的内容损失,我们允许艺术媒介,在这种情况下,笔触,自然地决定了最终的风格。
2019-04-22 cs.CV cs.LG stat.ML
Im2Oil: Stroke-Based Oil Painting Rendering with Linearly Controllable Fineness Via Adaptive Sampling
Shanghai Jiao Tong University(上海交通大学)
本文提出了一种新的基于笔划的绘制(SBR)方法,将图像转化为生动的油画。以前的SBR技术通常将油画问题公式化为逐像素近似。与这种技术路线不同,我们将油画创作视为一个自适应采样问题。首先,我们根据输入图像的纹理复杂度计算概率密度图。然后我们使用Voronoi算法采样一组像素作为笔划锚点。接下来,我们搜索并在每个锚点处生成单独的石油冲程。最后,我们将所有的笔画放在画布上,以获得油画。通过调整超参数最大采样概率,可以线性地控制油画的精细度。与现有的最先进的油画技术的比较表明,我们的结果具有更高的保真度和更真实的纹理。用户意见测试表明,人们对我们的油画比其他方法的结果表现出更大的偏好。更多有趣的结果和代码在https://github.com/TZYSJTU/Im2Oil。
2022-09-27 cs.CV cs.LG cs.MM
MONET -- Virtual Cell Painting of Brightfield Images and Time Lapses Using Reference Consistent Diffusion
MONET通过参考一致扩散模型从明场图像预测细胞成像通道,解决细胞成像的劳动密集和化学固定限制,实现动态细胞研究的虚拟成像技术。
2025-12-12 cs.AI cs.CV
Paint it Black: Generating paintings from text descriptions
Universität des Saarlandes(萨尔大学)
两个不同的任务-从给定的文本提示生成逼真的图片,并将绘画的风格转换为真实的图像,使其看起来好像是由艺术家完成的,已经解决了很多次,并且已经提出了几种方法来完成它们。然而,这两者的交集,即,从给定的字幕生成绘画,是一个相对未开发的领域,几乎没有可用的数据。在本文中,我们探讨了两种不同的策略,并将它们整合在一起。第一种策略是生成真实感图像,然后应用风格转移,第二种策略是在带有标题的真实图像上训练图像生成模型,然后在带有标题的绘画上对其进行微调。这两个模型使用不同的指标进行评估,并进行用户研究,以获得对所产生结果的人类反馈。
2023-02-17 cs.AI cs.CV cs.LG
Semi-supervised Chinese Poem-to-Painting Generation via Cycle-consistent Adversarial Networks
Jiangnan University(江南大学)
针对诗画配对数据稀缺问题,提出基于循环一致对抗网络的半监督双向诗画生成框架,并在新建 CPDD 上以新指标验证其优于现有方法。
2024-10-25 cs.CV cs.MM
Leveraging Computer Vision Application in Visual Arts: A Case Study on the Use of Residual Neural Network to Classify and Analyze Baroque Paintings
Faculty of Arts(艺术学院);Masaryk University(马萨里克大学)
随着大型数字化美术收藏品的不断增加,绘画的自动分析和分类正在成为一个有趣的研究领域。然而,由于领域特异性,隐含的主观性和模糊分离艺术运动的普遍细微差别,使用机器学习技术分析艺术带来了重大挑战。残差网络或其变体是用于图像分类任务的最流行的工具之一,其可以为定义良好的类提取相关特征。在这个案例研究中,我们专注于一个选定的绘画“肖像画家查尔斯布鲁尼”的约翰Kupetzky和所提出的分类器的性能分析的分类。我们发现,在残差网络训练过程中提取的特征可以用于在线艺术收藏搜索系统中的图像检索。
2022-10-27 cs.CV cs.MM
Intelli-Paint: Towards Developing Human-like Painting Agents
Adobe Research(Adobe 研究院);Australian National University(澳大利亚国立大学)
精心设计的艺术作品的生成通常是相当耗时的,并且假设人类画家的高度熟练。为了促进人类绘画过程,已经在教导机器如何“像人一样绘画”,然后使用训练的代理作为人类用户的绘画辅助工具方面进行了大量的研究工作。然而,目前在这个方向上的研究往往依赖于一个渐进的基于网格的划分策略,其中代理划分成连续的更精细的网格的整体图像,然后进行并行绘制每个。这不可避免地导致人类用户不容易理解的人工绘画序列。为了解决这个问题,我们提出了一种新的绘画方法,它学习生成输出画布,同时表现出更像人类的绘画风格。拟议的绘制管道Intelli-Paint包括1)渐进分层策略,允许代理首先绘制自然背景场景表示,然后以渐进方式添加每个前景对象。2)我们还介绍了一种新的顺序笔触指导策略,帮助绘画代理转移其注意力在不同的图像区域之间的语义感知的方式。3)最后,我们提出了一种笔触正则化策略,它允许减少所需笔触总数的60-80%,而不会在生成的画布质量上产生任何可感知的差异。通过定量和定性的结果,我们表明,由此产生的代理不仅在输出画布生成效率提高,而且还表现出更自然的绘画风格,这将更好地帮助人类用户通过数字艺术品表达他们的想法。
2021-12-16 cs.AI cs.CV cs.LG
Content Masked Loss: Human-Like Brush Stroke Planning in a Reinforcement Learning Painting Agent
Carnegie Mellon University(卡内基梅隆大学)
大多数强化学习绘画代理的目标是最小化目标图像和画布之间的损失。人类画家的艺术性强调目标图像的重要特征,而不是简单地复制它(DiPaola 2007)。在RL绘画模型中使用对抗性或L2损失,尽管其最终输出通常是精细的工作,但产生的笔划序列与人类产生的笔划序列大不相同,因为模型不知道目标图像中的抽象特征。为了在不使用昂贵的人类数据的情况下增加模型的人性化规划,我们引入了一个新的损失函数与模型的奖励函数一起使用:内容掩蔽损失。在机器人绘画的上下文中,内容掩蔽丢失采用目标检测模型来提取特征,这些特征用于将较高权重分配给人类将发现对于识别内容重要的画布区域。基于332名人类评估者的结果表明,由我们的内容掩蔽模型产生的数字绘画在笔划序列中比现有方法更早地显示可检测的主题,而不会影响最终绘画的质量。我们的代码可在https://github.com/pschaldenbrand/ContentMaskedLoss上获得。
2021-02-27 cs.AI cs.CV cs.LG
Neural-Polyptych: Content Controllable Painting Recreation for Diverse Genres
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院);Huawei Technologies Ltd.(华为技术有限公司)
本文提出统一框架 Neural-Polyptych,结合手绘草图与原始绘画片段,通过多尺度 GAN 和 Correspondence Attention 模块实现百万像素级、内容可控的多流派绘画再创作。
2024-09-29 cs.CV cs.GR
The Impact of Hole Geometry on Relative Robustness of In-Painting Networks: An Empirical Study
Futurewei, Inc.(Futurewei公司);Santa Clara(圣克拉拉(这里作为城市名,非机构,所以不提取))
图像修复网络使用现有的像素来生成适当的像素,以填充放置在图像部分上的“洞”。2-D in-painting网络的输入通常包括(1)三通道2-D图像,以及(2)用于在该图像中进行补绘的“孔”的附加通道。在本文中,我们研究了一个给定的在绘画神经网络对孔几何分布的变化的鲁棒性。我们观察到,修复网络的鲁棒性取决于在其训练期间呈现给它的孔几何形状的概率分布函数(PDF),即使(在训练和测试中)使用的底层图像数据集没有改变。我们开发了一种实验方法来测试和评估相对鲁棒性的修补网络对四种不同的孔几何PDF。我们研究了一些假设,涉及(1)修补网络对用于其训练的孔分布的自然偏差,(2)底层数据集区分相对鲁棒性的能力,因为孔分布在训练测试(交叉比较)网格中变化,以及(3)孔和图像数据集中边缘的方向分布的影响。我们目前的L1,PSNR和SSIM质量指标的结果,并制定了一个具体的措施,相对在绘画的鲁棒性,用于交叉比较网格的基础上,这些质量指标。(One可以在该相对度量中结合其他质量度量。本文的实验工作是对“填补空白”神经网络的灵敏度、鲁棒性和正则化对孔洞“几何”PDF的更广泛和更深入研究的第一步,并建议在这一领域进行进一步研究。
2020-03-04 cs.CV cs.LG eess.IV
PaintCopilot: Modeling Painting as Autonomous Artistic Continuation
MIT Media Lab(MIT媒体实验室);New York University(纽约大学)
本文提出了一种基于神经网络的绘画助手PaintCopilot,通过建模绘画作为开放性自回归艺术行为,基于不断演变的画布状态和先前笔触历史,无需目标图像即可预测未来笔触,与现有神经绘画方法不同,后者将绘画建模为向预定参考图像的像素重建。
2026-09-15 cs.CV cs.GR cs.HC
Painting Style-Aware Manga Colorization Based on Generative Adversarial Networks
Tokyo University of Science(东京理科大学);The University of Tokyo(东京大学);Mantra Inc.(Mantra公司)
日本漫画(称为manga)传统上以单色格式创作。近年来,除了单色漫画外,还出现了更吸引人的媒介--全彩漫画。不幸的是,彩色漫画需要人工着色,这会产生很高的劳动力成本。虽然最近已经提出了自动着色方法,但大多数方法都是针对插图而设计的,而不是针对漫画。与插图不同,由于漫画是由许多连续的图像组成的,因此绘画风格必须一致。为了实现一致的彩色化,本文提出了一种基于生成对抗网络(GAN)的半自动彩色化方法,该方法从少量的训练数据中学习特定漫画的绘画风格。所提出的方法以一对屏幕色调图像和一个平面彩色图像作为输入,并输出一个彩色图像。实验结果表明,该方法取得了更好的性能比现有的替代品。
2021-07-16 cs.CV eess.IV
Look, Compare and Draw: Differential Query Transformer for Automatic Oil Painting
School of Software, Xi’an Jiaotong University(西安交通大学软件学院);School of Computer and Information Science, Hefei University of Technology(合肥工业大学计算机与信息学院);Jianghuai Advance Technology Center(江淮前沿技术中心);Anhui Provincial Key Laboratory of Humanoid Robots(安徽省人形机器人重点实验室);Anhui Provincial Industry Innovation Center of Humanoid Robots(安徽省人形机器人产业创新中心);Singapore Management University(新加坡管理大学);Institute of Collaborative Innovation, University of Macau(澳门大学协同创新研究院)
本文提出了一种新的自动油画方法,通过差分图像分析提升笔触的动态和表现力,采用差分查询变换器增强局部细节敏感性,提升油画的真实性和艺术性。
2026-03-29 cs.CV cs.MM
Learning to Paint With Model-based Deep Reinforcement Learning
Megvii Inc(旷视科技);Peking University(北京大学)
我们将展示如何教机器像人类画家一样绘画,他们可以使用少量的笔画来创作出奇妙的画作。通过在基于模型的深度强化学习(DRL)中使用神经渲染器,我们的智能体学习确定每个笔画的位置和颜色,并制定长期计划将纹理丰富的图像分解为笔画。实验表明,使用数百个笔划可以实现良好的视觉效果。训练过程不需要人类画家的经验或笔画跟踪数据。该代码可在https://github.com/hzwer/ICCV2019-LearningToPaint上获得。
2019-08-16 cs.AI cs.CV
Mixed X-Ray Image Separation for Artworks with Concealed Designs
University College London(伦敦大学学院);Imperial College London(帝国理工学院);The Hebrew University of Jerusalem(耶路撒冷希伯来大学);National Gallery, London(伦敦国家美术馆);Duke University(杜克大学)
在本文中,我们专注于X射线图像的绘画与隐藏的子表面设计(例如,源自绘画支持的再利用或艺术家对作品的修改),其中包括表面绘画和隐藏特征的贡献。特别是,我们提出了一种基于自监督深度学习的图像分离方法,该方法可以应用于来自此类绘画的X射线图像,将其分离为两个假设的X射线图像。这些重建图像之一与隐藏绘画的X射线图像相关,而第二个仅包含与可见绘画的X射线相关的信息。所提出的分离网络由两部分组成:分析和合成子网络。分析子网络是基于学习耦合迭代收缩阈值算法(LCISTA)设计的算法展开技术,和合成子网络由几个线性映射。学习算法以完全自我监督的方式操作,而不需要包含混合X射线图像和分离的X射线图像两者的样本集。所提出的方法被证明在一个真正的绘画与隐藏的内容,多尼亚伊莎贝尔德Porcel的弗朗西斯科·德·戈雅,以显示其有效性。
2022-01-23 cs.CV eess.IV
Unsupervised Doodling and Painting with Improved SPIRAL
我们研究使用强化学习代理作为图像的生成模型(扩展arXiv:1804.01118)。生成代理控制一个模拟的绘画环境,并与奖励提供了一个同步训练,以评估代理的样本的真实性,无论是无条件的或重建的神经网络进行训练。与以前的工作相比,我们对代理和鉴别器的架构进行了一些改进,这些改进导致了有趣的结果,有时甚至是令人惊讶的结果。我们发现,当受到足够的约束时,生成代理可以学习生成具有一定程度的视觉抽象的图像,尽管只见过真实的照片(没有人类的笔触)。如果有足够的时间与绘画环境,他们可以产生具有相当现实主义的图像。这些结果表明,在适当的情况下,人类绘画的某些方面可以从模拟体现中出现,而不需要外部监督,模仿或社会线索。最后,我们注意到该框架在创造性应用中的潜力。
2019-10-02 cs.CV cs.LG stat.ML