Deep Ensemble Art Style Recognition
School of Electrical and Computer Eng.（电气与计算机工程学院）；National Technical University of Athens（雅典国立技术大学）
本文针对艺术风格识别，比较8种深度网络并提出堆叠集成方法，结合多模型特征与元分类器，在WikiArt上取得68.55%的最先进准确率。
2024-05-19 cs.AI cs.CV
The Cross-Depiction Problem: Computer Vision Algorithms for Recognising Objects in Artwork and in Photographs
University of Bath（巴斯大学）；University of Adelaide（阿德莱德大学）
交叉描绘问题是识别视觉对象，无论它们是否被拍摄，绘画，绘制等，这是一个潜在的重要但研究不足的问题。模仿人类识别各种不同形式物体的非凡能力，可能会推动计算机视觉的基础和应用。在本文中，我们对分类，领域自适应和深度学习方法进行了基准测试;证明了在交叉描述问题中没有一种方法表现得始终如一。鉴于目前对深度学习的兴趣，这些方法表现出与其他方法相同的行为：与其峰值性能相比，它们在非均匀数据库上的性能显着下降，这总是在仅包含照片的数据上。相反，我们发现的方法，具有强大的模型之间的空间关系的部分往往是更强大的，因此得出结论，这些信息是重要的建模对象类，无论外观细节。
2015-05-01 cs.CV
SynGallery: A Synthetic Gallery of Real Paintings for Instance-Level Artwork Recognition
Adam Mickiewicz University（亚当·密茨凯维奇大学）；ArtiCollect（艺术收藏机构）；KAUST（沙特阿卜杜拉国王科技大学）；Kiel University（基尔大学）
研究针对实例级艺术品识别难题，提出SynGallery合成图库数据集。从真实绘画目录图像出发，经3D场景渲染生成数据集。实验表明其合成视图训练信号强，能提升识别率，增益主要源于几何视角变化。
2026-08-20 cs.CV
Dare to Plagiarize? Plagiarized Painting Recognition and Retrieval
University of Macau（澳门大学）
本文研究抄袭画作识别与检索任务，构建了相关数据集，基于DINOv2提出基线方法，并通过度量学习微调模型大幅提升了检索精度，同时探讨了识别准确率与检索精度之间的权衡。
2025-06-29 cs.CV
Synthetic images aid the recognition of human-made art forgeries
University of Liverpool（利物浦大学）；Art Recognition AG（艺术识别公司）；Australian Nuclear Science and Technology Organisation (ANSTO)（澳大利亚核科学技术组织）；Tilburg University（蒂尔堡大学）
本研究探讨了将 Stable Diffusion 和 StyleGAN 生成的合成艺术品加入训练集，以提升对 Vincent van Gogh 等艺术家人工赝品检测性能的方法，并证实该方法同时有助于检测 AI 生成的赝品。
2024-02-15 cs.AI cs.CV
Artistic Domain Generalisation Methods are Limited by their Deep Representations
交叉描绘问题指的是识别视觉对象的任务，而不管它们的特征是什么;无论是照片，绘画，素描，{ \em等}。过去有研究者认为交叉描绘是领域自适应。最近的研究将交叉描绘视为域泛化（DG），其中算法将识别从一组域（如照片和彩色艺术品）扩展到另一组域（如草图）。我们表明，固定的AlexNet的最后一层的随机值提供了一个性能相媲美的最先进的DA和DG算法，在PACS基准测试时。在背景文献的支持下，我们的研究结果使我们得出结论，纹理本身不足以支持泛化;相反，高阶表示，如结构和形状是必要的。
2019-07-29 cs.CV
Synergy of Machine and Deep Learning Models for Multi-Painter Recognition
National Technical University of Athens（雅典国家技术大学）
针对数字化艺术藏品的画家识别需求，本研究结合迁移学习与传统机器学习方法，在WikiArt相关数据集上验证了RegNet提特征+SVM分类的最优性能（最高85%），还构建了含62位艺术家的大型绘画识别新数据集。
2023-04-28 cs.AI cs.CV
FedStyle: Style-Based Federated Learning Crowdsourcing Framework for Art Commissions
School of Design Hunan University（湖南大学设计学院）；College of Computer National University of Defense Technology（国防科技大学计算机学院）
针对艺术委托平台缺乏风格检索且存在作品隐私泄露风险的问题，提出基于风格的联邦学习众包框架FedStyle，通过学习抽象风格表示与服务器对齐并引入对比学习构建风格表示空间，有效缓解数据异构性导致的模型漂移。
2024-04-25 cs.CV cs.LG
ArtBrain: An Explainable end-to-end Toolkit for Classification and Attribution of AI-Generated Art and Style
Nottingham Trent University（诺丁汉特伦特大学）
本文构建AI-ArtBench数据集并提出AttentionConvNeXt模型，用于AI生成艺术的风格分类与来源模型归因，并通过ArtBrain应用和艺术图灵测试验证其优越性能。
2024-12-02 cs.AI cs.CV
Transforming Pixels into a Masterpiece: AI-Powered Art Restoration using a Novel Distributed Denoising CNN (DDCNN)
Indian Institute of Science (IISc)（印度科学学院）
针对传统艺术修复方法的局限，研究构建劣化艺术图像数据集，训练新型分布式去噪CNN（DDCNN）实现多类型多程度畸变去除与细节保留，经实验验证效果优于传统方法与其他去噪CNN，为文化遗产保护与艺术修复发展提供新方案。
2023-10-08 cs.AI cs.CV eess.IV
AI Art Neural Constellation: Revealing the Collective and Contrastive State of AI-Generated and Human Art
KAUST（阿卜杜拉国王科技大学）；Rutgers University（罗格斯大学）；ELLUBA（埃卢巴）
本研究通过构建ArtConstellation数据集和深度CNN分析，对比AI生成艺术与人类艺术，发现AI艺术与现代艺术原则相关，且在CLIP空间中具有分布内和分布外特征，并提出了ArtNeuralConstellation分析框架。
2024-02-04 cs.CV
Museum Exhibit Identification Challenge for Domain Adaptation and Beyond
Data61/CSIRO（数据61/英联邦科学与工业研究组织）；Australian National University（澳大利亚国立大学）；Hubei University of Arts and Science（湖北文理学院）
在本文中，我们探讨了一个开放的艺术品识别问题，并提出了一个新的数据集称为开放博物馆识别挑战（Open MIC）。它包含了在几个博物馆的10个不同展览空间拍摄的展品照片，这些展览空间展示了绘画、钟表、雕塑、玻璃器皿、文物、科学展品、自然历史作品、陶瓷、陶器、工具和土著工艺品。Open MIC的目标是通过提供一个与著名的Office数据集互补的测试平台来刺激领域自适应、自我中心识别和少样本学习方面的研究，该数据集的准确率达到90%。为了形成我们的数据集，我们用手机和可穿戴相机捕获了每件艺术品的许多图像，分别形成源数据和目标数据。为了实现鲁棒的基线，我们建立在最近的方法上，该方法对齐源和目标CNN流的每类散布矩阵[15]。此外，我们利用端到端的Bregman分歧和黎曼度量的这种表示的正定性质。我们提出了基线，如每个展览的培训/评估和涵盖866个展览身份的组合集的培训/评估。由于每个展览都提出了不同的挑战，例如，照明质量、运动模糊、遮挡、杂乱、视点和比例变化、旋转、眩光、透明度、非平面性、剪切，我们将结果分解为w.r.t.这些因素。
2018-02-04 cs.CV
Demographic Influences on Contemporary Art with Unsupervised Style Embeddings
University of Bamberg（班贝格大学）；Osaka University（大阪大学）
计算艺术分析通过其对分类任务的依赖，优先考虑历史数据集，其中艺术品已经通过必要的注释进行了良好的分类。另一方面，今天的艺术作品数量众多，而且很容易通过互联网和社交网络获得，专业和业余艺术家都使用这些网络来展示他们的作品。虽然这种艺术在风格和流派方面尚未分类，不太适合监督分析，但数据源具有新颖的信息，可以帮助以同样新颖的方式构建视觉内容。作为朝着这个方向迈出的第一步，我们介绍了contempArt，这是一个专门针对当代艺术品的多模态数据集。contempArt是一个绘画和素描的集合，一个基于Instagram上的社交联系和其他社会人口统计信息的详细图表网络;所有这些都与442位艺术家在职业生涯开始时有关。我们评估了三种适合生成无监督风格嵌入图像的方法，并将它们与剩余数据相关联。我们发现视觉风格与社会接近度、性别和国籍之间没有联系。
2020-12-01 cs.CV cs.SI
Wavelet subspace decomposition of thermal infrared images for defect detection in artworks
National University of Sciences and Technology（国立科技大学）；Université de Reims Champagne-Ardenne（兰斯香槟-阿登大学）
由于这些材料的敏感性，监测古代艺术品的健康状况需要足够的谨慎。用于识别故障发展的经典技术依赖于声学测试。这些技术是侵入性的，可能导致对材料造成永久性损害，特别是如果定期检查材料。长期以来，对不同材料进行无损检测。在这方面，基于红外测温原理开发了非侵入式系统来识别艺术品中的缺陷。测试原图被加热，不同层的热响应在热红外相机的帮助下被捕获。然而，长时间加热有过热的风险，从而对艺术品造成损坏，另一种方法是使用伪随机二进制序列激励。然而，艺术品中的缺陷无法在捕获的图像上检测到，特别是如果它们的强度较弱。较弱的缺陷被较强的缺陷、艺术品的图案层或不均匀的加热所掩盖。这项工作解决了通过基于小波子空间分解方案的故障检测和定位。所提出的方案，一方面，允许去除背景，而另一方面，去除不期望的高频噪声。结果表明，探测参数与断层的直径和深度成正比。提出了一种选择最优小波基的准则，并给出了小波分解和重构时合适的层数选择。所提出的方法在实验室开发的具有已知故障位置和尺寸以及真实艺术品的测试样本上进行了测试。与以前报道的方法的比较表明，所提出的方法在艺术品中的故障检测的有效性。
2015-08-25 cs.CV
ArtEmis: Affective Language for Visual Art
Stanford University（斯坦福大学）；Ecole Polytechnique, IP Paris（巴黎理工学院）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
我们提出了一个新的大规模数据集和配套的机器学习模型，旨在提供视觉内容，其情感效果和语言解释之间的相互作用的详细了解。与计算机视觉中大多数现有的注释数据集相比，我们专注于视觉艺术作品引发的情感体验，并要求注释者指出他们对给定图像的主导情感，并且至关重要的是，还为他们的情感选择提供了一个有根据的口头解释。正如我们下面所展示的，这导致了一组丰富的信号，用于图像的客观内容和情感影响，与抽象概念（例如，“自由”或“爱”），或超出直接可见的参考，包括视觉明喻和隐喻，或个人经验的主观参考。我们专注于视觉艺术（例如，绘画，艺术照片），因为它是一个最好的例子，创造的图像，以引起情感的反应，从其观众。我们的数据集名为ArtEmis，包含来自人类的439K情感归因和解释，来自WikiArt的81K艺术品。在此基础上，我们训练和演示了一系列的字幕系统能够表达和解释的情绪，从视觉刺激。值得注意的是，这些系统产生的标题往往成功地反映了图像的语义和抽象内容，远远超出了在现有数据集上训练的系统。收集的数据集和开发的方法可在https://artemisdataset.org上获得。
2021-01-19 cs.CL cs.CV
Augmented Reality in Cultural Heritage: A Dual-Model Pipeline for 3D Artwork Reconstruction
Department of Computer Science, Sapienza University（计算机科学系，萨皮恩扎大学）；Department of Mathematics and Computer Science, University of Udine（数学与计算机科学系，乌迪内大学）
本文提出一种面向博物馆的双模型增强现实流水线，结合GLPN与Depth-Anything从单张图像重建艺术品三维模型，显著提升重建精度与视觉真实感。
2025-07-18 cs.CV
fruit-SALAD: A Style Aligned Artwork Dataset to reveal similarity perception in image embeddings
Tallinn University（塔林大学）
针对图像嵌入相似性感知研究缺乏基准数据集的问题，提出风格对齐艺术品数据集框架SALADs及含10,000张图像的fruit-SALAD实例，为模型相似性感知分析提供受控平台，推动量化与可解释性研究。
2024-06-03 cs.AI cs.CC cs.CV
Iconographic Image Captioning for Artworks
Rudjer Boskovic Institute（鲁杰尔·博什科维奇研究所）
图像描述意味着仅基于视觉输入自动生成图像的文本描述。虽然这是近年来广泛讨论的一个研究课题，但在艺术史料领域的贡献并不多。在这种特定的背景下，图像描述的任务面临着各种挑战，如缺乏大规模的图像-文本对的数据集，与描述艺术品相关的含义的复杂性和需要专家级的注释。这项工作旨在通过利用一个新颖的大规模艺术品图像数据集来解决其中的一些挑战，该数据集注释了专为艺术和图像学设计的Iconclass分类系统中的概念。注释被处理成清晰的文本描述，以创建适合于在图像描述任务上训练深度神经网络模型的数据集。受在为自然图像生成字幕方面取得的最先进成果的启发，使用艺术品图像数据集对基于transformer的视觉语言预训练模型进行了微调。使用标准图像描述度量来执行结果的定量评估。所生成的标题和模型的能力，以推广到新的数据的质量进行了探讨，采用该模型上的一个新的集合的绘画和执行之间的关系的分析通常生成的标题和艺术流派。总体结果表明，该模型可以生成与艺术历史背景具有更强相关性的有意义的字幕，特别是与仅在自然图像数据集上训练的模型获得的字幕相比。
2021-02-07 cs.CV
Have Large Vision-Language Models Mastered Art History?
KU Leuven（库勒韦恩大学）；Leiden University（莱顿大学）
本文首次系统评估CLIP、LLaVA和GPT-4o三种大型视觉-语言模型在绘画风格、作者和时期零样本分类上的能力，并与人类艺术史专家对比，揭示其推理与分类模式。
2025-09-10 cs.CV
Weakly Supervised Object Detection in Artworks
LTCI, Telecom ParisTech, Universite Paris-Saclay（巴黎高科电信学院，巴黎-萨克雷大学）；Universite de Bourgogne, UMR CNRS UB 5605（勃艮第大学，法国国家科学研究中心联合研究单位）
我们提出了一种弱监督检测绘画中的对象的方法。在训练时，只需要图像级注释。这与我们的多实例学习方法的效率相结合，使人们能够从全局注释的数据库中动态学习新的类，避免手动标记对象的繁琐任务。我们在几个数据库上表明，删除实例级注释只会产生轻微的性能损失。我们还引入了一个新的数据库，IconArt，我们在上面进行检测实验的类，不能学习的照片，如耶稣儿童或圣塞巴斯蒂安。据我们所知，这些是第一个实验处理自动（在我们的情况下，弱监督）检测绘画中的图像元素。我们相信，这种方法对于帮助艺术史学家探索大型数字数据库大有裨益。
2018-10-05 cs.CV
Controllable Multi-domain Semantic Artwork Synthesis
University of Tsukuba（筑波大学）；Waseda University（早稻田大学）
本文针对语义艺术合成缺少分割数据集的问题，构建 ArtSem 数据集，并提出基于域相关变分编码器与 SSTAN 的多域 GAN 合成模型，实现更高质量且可控的艺术图像生成。
2023-08-19 cs.CV cs.GR
SPGen: Stochastic scanpath generation for paintings using unsupervised domain adaptation
F-Initiatives；Université Sorbonne Paris Nord（巴黎-索邦大学）；IULM University（IULM大学）
SPGen通过无监督域适应和随机噪声采样生成绘画的随机扫视路径，提升对艺术作品视觉注意力的分析能力。
2026-02-25 cs.CV cs.HC
ArtFacePoints: High-resolution Facial Landmark Detection in Paintings and Prints
FAU Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）
人脸标志点检测是艺术作品相似性分析的重要环节，可以对同一或相似艺术家的肖像进行比较。通过面部标志，不同类型的肖像，如绘画和印刷品，可以使用基于控制点的图像配准自动对齐。我们提出了一种基于深度学习的方法，用于绘画和印刷品的高分辨率图像中的面部标志检测。它将任务划分为用于粗略地标预测的全局网络和用于基于预测的全局地标坐标自动确定的眼睛、鼻子和嘴巴区域中的精确地标细化的多个区域网络。我们创建了一个合成增强的面部地标艺术数据集，包括艺术风格转移和几何地标移位。我们的方法证明了我们的高分辨率艺术品数据集的内部面部标志的准确检测，同时与竞争方法相比，与公共低分辨率艺术品数据集相当。
2022-10-17 cs.CV
Multi-Class Zero-Shot Learning for Artistic Material Recognition
零样本学习（Zero-Shot Learning，缩写为ZRL）是迁移学习的一种极端形式，在训练阶段不提供待分类数据的标记示例。相反，CNOL使用关于域的额外信息，并依赖于迁移学习算法来推断关于缺失实例的知识。对于稀疏数据集来说，RNL方法是一种有吸引力的解决方案。在这里，我们概述了一个模型，以确定材料与艺术作品的创作，通过学习之间的关系，英语描述的主题的一块和它的复合材料。在对一系列超参数进行实验后，我们生成了一个模型，该模型能够正确识别来自完全不同的博物馆数据集的作品所使用的材料。该模型对来自泰特美术馆收藏的5,000件艺术品的分类准确率为48.42%，这与用于创建和训练我们模型的Rijksmiths网络不同。
2020-10-26 cs.CV cs.LG
Learning Co-segmentation by Segment Swapping for Retrieval and Discovery
University of California, Berkeley（加州大学伯克利分校）；Facebook AI Research（脸书人工智能研究院）；LIGM (UMR 8049), École des Ponts ParisTech（巴黎桥路大学LIGM实验室（UMR 8049））
这项工作的目标是有效地识别图像中视觉上相似的图案，例如识别雕刻和油画之间复制的艺术品细节，或识别白天对应的夜间照片中可见的部分。缺乏训练数据是该共分割任务的关键挑战。我们提出了一种简单但令人惊讶的有效方法来克服这个困难：我们通过选择图像中的片段并将它们复制粘贴到另一个图像中来生成合成训练对。然后我们学习预测重复的区域掩码。我们发现，这是至关重要的预测的对应关系作为一个辅助任务，并使用泊松混合和风格转移的训练对真实数据的推广。我们使用与我们的联合图像分析任务相关的两种深度架构来分析结果：基于transformer的架构和Sparse Nc-Net，这是一种最近的网络，旨在使用4D卷积来预测粗略的对应关系。我们表明，我们的方法为Brueghel数据集上的艺术品细节检索提供了明显的改进，并在两个地方识别基准Tokyo 247和Tokyo 30 K上实现了具有竞争力的性能。我们还展示了我们的方法的潜力，无监督的图像采集分析，通过引入一个谱图聚类方法，对象发现和展示它的对象发现数据集的\cite{rubinstein2013unsupervised}和Brueghel数据集。我们的代码和数据可在http://imagine.enpc.fr/~shenx/SegSwap/上获得。
2022-03-27 cs.CV
Learning to Synthesize Graphics Programs for Geometric Artworks
School of Computer Science, The University of Sydney（悉尼大学计算机科学学院）
本文提出 Art2Prog 方法，将绘图工具视为可执行程序，通过预测绘图步骤序列实现可理解且分辨率无关的艺术作品复现，弥合像素级结果与实际绘制过程之间的差距。
2024-10-21 cs.AI cs.CV cs.GR
Discovering Visual Patterns in Art Collections with Spatially-consistent Feature Learning
University of California, Berkeley（加利福尼亚大学伯克利分校）；LIGM (UMR 8049), École des Ponts ParisTech（巴黎高科桥路学校LIGM实验室（UMR 8049））
我们在这篇论文中的目标是在大量的艺术品收藏中发现近似重复的模式。这比标准的实例挖掘更难，因为艺术媒介（油画、粉彩、绘画等）的差异以及复制过程中固有的缺陷。关键的技术见解是通过使用自监督学习对特定的艺术收藏进行微调，使标准的深度特征适应这项任务。更具体地，相邻特征匹配之间的空间一致性被用作监督微调信号。适应的特征导致更准确的风格不变匹配，并且可以与基于几何验证的标准发现方法一起使用，以识别数据集中的重复模式。该方法在几个不同的数据集上进行了评估，并显示出令人惊讶的良好的定性发现结果。为了定量评估该方法，我们在Jan Brueghel及其工作室的1587件艺术品的数据集中注释了273个几乎重复的细节。除了艺术品，我们还展示了在Oxford5K照片数据集上的本地化以及在大时滞位置（LTLL）数据集上的历史照片本地化的改进。
2019-03-08 cs.CV
Improving Fairness in Large-Scale Object Recognition by CrowdSourced Demographic Information
Google Research（谷歌研究院）；Waymo Llc（Waymo有限责任公司）
人们对机器学习中的伦理问题的认识越来越多，公平性已经成为一个重要的研究课题。计算机视觉中的大多数公平努力都集中在人类传感应用上，并通过增加特定人口群体的视觉表示来防止人们的身体属性（如种族，肤色或年龄）的歧视。我们认为ML公平性的努力也应该扩展到对象识别。建筑物、艺术品、食物和衣服是定义人类文化的对象的例子。在机器学习数据集中公平地表示这些对象将导致模型更少地偏向于特定文化，更包容不同的传统和价值观。存在许多用于对象识别的研究数据集，但是它们没有仔细考虑应该包括哪些类，或者每个类应该收集多少训练数据。为了解决这个问题，我们提出了一个简单而通用的方法，基于众包的贡献者的人口构成：我们定义公平的相关性分数，估计它们，并将它们分配给每个类。我们展示了其应用的地标识别域，提出了详细的分析和最终更公平的地标排名。我们提出的分析，导致一个更公平的覆盖范围的世界相比，现有的数据集。该评估数据集用于2021年Google Landmark Challenges，这是第一个强调通用对象识别公平性的挑战。
2022-06-02 cs.CV cs.CY cs.LG
Imperceptible Protection against Style Imitation from Diffusion Models
Department of Electrical and Computer Engineering, Inha University（电子与计算机工程系，inha大学）；NAVER WEBTOON AI；KRAFTON
本文提出了一种在不降低保护效果的前提下提升图像保护不可察觉性的方法，通过感知图和难度感知保护机制优化保护强度。
2026-02-05 cs.CV
KnobGen: Controlling the Sophistication of Artwork in Sketch-Based Diffusion Models
The Ohio State University（俄亥俄州立大学）
KnobGen 提出双路径框架，通过粗粒度与细粒度控制器及 knob 推理机制，使草图生成图像能灵活适应不同用户技能水平，兼顾高层语义与细节控制。
2025-04-09 cs.AI cs.CV
Synthetic Art Generation and DeepFake Detection A Study on Jamini Roy Inspired Dataset
本研究通过微调Stable Diffusion 3并结合ControlNet和IPAdapter生成Jamini Roy风格合成艺术，创建新数据集，利用傅里叶域和自相关等方法分析，揭示现有深度伪造检测在高质量文化特定场景下的不足。
2025-03-29 cs.AI cs.CV
Vehicle Attribute Recognition by Appearance: Computer Vision Methods for Vehicle Type, Make and Model Classification
Tampere University（坦佩雷大学）
本文研究了基于外观的车辆属性识别。在文献中，基于图像的目标识别已经在许多用例中得到了广泛的研究，例如面部识别，但在车辆属性识别领域却很少。我们调查了一些算法，确定车辆属性，从粗粒度的水平（车辆类型）到细粒度的水平（车辆制造和模型）。此外，我们讨论了这些任务的两种替代方法，包括直接分类和更灵活的度量学习方法。此外，我们设计了一个模拟现实世界的情况下，车辆属性识别，并提出了两种方法的实验比较。
2020-06-29 cs.CV
ObjectMix: Data Augmentation by Copy-Pasting Objects in Videos for Action Recognition
Nagoya Institute of Technology（名古屋工业大学）
在本文中，我们提出了一个数据增强方法的动作识别使用实例分割。虽然许多数据增强方法已被提出用于图像识别，但其中很少有针对动作识别的。我们提出的方法，ObjectMix，提取每个对象区域从两个视频使用实例分割，并将它们结合起来，以创建新的视频。在UCF 101和HMDB 51两个动作识别数据集上的实验表明了该方法的有效性，并显示了其优于VideoMix的优势。
2022-11-14 cs.CV
