SPGen: Stochastic scanpath generation for paintings using unsupervised domain adaptation
F-Initiatives；Université Sorbonne Paris Nord（巴黎-索邦大学）；IULM University（IULM大学）
SPGen通过无监督域适应和随机噪声采样生成绘画的随机扫视路径，提升对艺术作品视觉注意力的分析能力。
2026-02-25 cs.CV cs.HC
Diffusion Based Augmentation for Captioning and Retrieval in Cultural Heritage
University of Florence（佛罗伦萨大学）；University of Siena（锡耶纳大学）
针对文化遗产领域艺术标注数据不足、与自然图像数据集存在域偏移导致模型性能下降的问题，提出基于生成式视觉-语言模型、以字幕为条件生成艺术品变体的数据增强方法，可提升模型对艺术特征的理解与字幕生成质量。
2023-08-14 cs.CV
Speaking images. A novel framework for the automated self-description of artworks
University of Bologna（博洛尼亚大学）
本文提出一种基于开源大语言模型、人脸检测、语音合成与音频驱动动画的新框架，使数字化艺术品自动生成自我讲解短视频，并探讨其中的文化偏见与教育价值。
2025-05-28 cs.AI cs.CV
KaoKore: A Pre-modern Japanese Art Facial Expression Dataset
Google Brain（谷歌大脑）；NII（日本国立情报学研究所）；University of Cambridge（剑桥大学）；MILA（米拉魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
从对手写数字进行分类到生成文本字符串，机器学习社区长期关注的数据集在其主题方面差异很大。这激发了人们对构建与社会和文化相关的数据集的新兴趣，以便算法研究可以对社会产生更直接和直接的影响。其中一个领域是历史和人文学科，在这些领域，更好的、相关的机器学习模型可以加速各个领域的研究。为此，新发布的基准和模型已被提出用于转录历史日本草书，但对于整个领域使用机器学习的历史日本艺术品仍然在很大程度上是未知的。为了弥合这一差距，在这项工作中，我们提出了一个新的数据集KaoKore，其中包括从前现代日本艺术品中提取的人脸。我们证明了它的价值，作为一个数据集的图像分类，以及一个创造性和艺术的数据集，我们探索使用生成模型。数据集可在https://github.com/rois-codh/kaokore上获得
2020-02-20 cs.CV cs.LG stat.ML
GCNBoost: Artwork Classification by Label Propagation through a Knowledge Graph
Univ. Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；IRISA（法国国家信息与自动化研究所布列塔尼分支）；Osaka University（大阪大学）；Kyoto University（京都大学）
文化文献数字化的兴起提供了大规模的内容，为人工智能系统的发展开辟了道路，以保护，搜索和提供文化遗产。组织这样的文化内容也意味着对它们进行分类，这是现代计算机科学非常熟悉的任务。上下文信息通常是构建这种真实世界数据的关键，我们建议以知识图谱的形式使用它。这样的知识图谱与内容分析相结合，增强了艺术品之间的邻近度的概念，因此它提高了分类任务的性能。在本文中，我们提出了一种新的使用知识图谱，这是建立在注释数据和伪标记数据。通过标签传播，我们通过使用图卷积网络训练模型来提高艺术品分类，依赖于知识图谱的实体之间的关系。在一个转换学习框架下，我们的实验表明，依靠知识图谱建模标记数据和未标记数据之间的关系，可以在绘画数据集和佛像数据集上实现多个分类任务的最新结果。此外，我们展示了处理不平衡数据的困难情况下的最先进的结果，在知识图谱中忽略极低程度的类的限制。
2021-05-25 cs.CV cs.LG
Exploiting CLIP-based Multi-modal Approach for Artwork Classification and Retrieval
本文研究将CLIP多模态模型应用于艺术品分类与检索，在NoisyArt数据集上取得优异的零样本分类结果，并验证了其在艺术品间及描述到艺术品检索中的有效性。
2023-09-21 cs.CV
Raiders of the Lost Art
University College London（伦敦大学学院）；Oxia Palus
神经风格转移，首先由Gatys等人提出。（2015），可用于通过以风格图像的形式渲染内容图像来创建新颖的艺术作品。我们提出了一种重建丢失的艺术品的新方法，通过将神经风格转移应用于艺术品的X射线照片，其中次要内部艺术品位于主要外部下方，从而重建丢失的艺术品。最后，我们反思人工智能艺术展览，并讨论这些技术创新的社会，文化，伦理和哲学影响。
2019-09-10 cs.CV cs.LG stat.ML
Linking Art through Human Poses
Czech Technical University in Prague（捷克技术大学）
我们解决的发现组成转移的艺术作品的基础上，他们的视觉内容。大型艺术收藏品的自动分析是艺术史的重要工具，有助于文化遗产的保护。现代图像检索系统在视觉相似的艺术品上提供了良好的性能，但在更抽象的组成转移的情况下失败。所提出的方法通过图像中描绘的人物的姿势相似性来链接艺术品。从中世纪到现代，人物形象是视觉艺术的一大部分主题，他们独特的姿势往往是艺术家灵感的来源。该方法包括两个步骤-快速姿态匹配和鲁棒的空间验证。我们的实验表明，明确的人体姿态匹配是优于标准的基于内容的图像检索方法的手动注释的艺术作品传输数据集。
2019-07-08 cs.CV
Visual link retrieval and knowledge discovery in painting datasets
University of Bari “Aldo Moro”（阿尔多·莫罗巴里大学）；Exprivia S.p.A.（埃克斯普里亚股份公司）
视觉艺术对我们社会的文化、历史和经济发展具有不可估量的重要性。在视觉艺术中，大多数分析的基石之一是找到不同艺术家和绘画流派的绘画之间的相似关系。为了帮助艺术史学家更好地理解视觉艺术，本文提出了一个框架，视觉链接检索和知识发现的数字绘画数据集。视觉链接检索是通过使用深度卷积神经网络来执行特征提取和完全无监督的最近邻机制来检索数字化绘画之间的链接来实现的。历史知识的发现是通过进行图形分析，使研究艺术家之间的影响成为可能。在一个收藏著名画家作品的数据库上的实验结果表明了该方法的有效性。无监督的策略使得该方法特别有趣，特别是在元数据稀缺、不可用或难以收集的情况下。
2020-10-22 cs.CV
Art2Mus: Artwork-to-Music Generation via Visual Conditioning and Large-Scale Cross-Modal Alignment
University of Bari Aldo Moro（巴里大学阿尔多·莫罗大学）；Catalonia's Telecommunications Technology Centre（加泰罗尼亚电信技术中心）；University of Picardie Jules Verne（皮卡第大学朱利·瓦内大学）
ArtToMus通过直接视觉条件生成音乐，无需图像到文本转换，实现艺术品到音乐的跨模态对齐。
2026-02-19 cs.CV cs.MM cs.SD
XPASS-Vis: A Dataset for Cross-Domain Personalized Image Aesthetic Assessment
Japan Advanced Institute of Science and Technology（日本先端科学技术大学）；Communication Science Laboratories, NTT, Inc.（日本电信电话株式会社通信科学实验室）
提出首个跨领域个性化图像美学评估数据集XPASS-Vis，涵盖艺术、时尚、风景三个领域，通过129名标注者评估6526个刺激，建立跨领域个性化美学偏好迁移的基准模型，发现无监督域适应方法可恢复约60%的监督上限性能。
2026-06-16 cs.CV
Time Travel: A Comprehensive Benchmark to Evaluate LMMs on Historical and Cultural Artifacts
Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；Linköping University（林雪平大学）；Australian National University（澳大利亚国立大学）；Aalto University（阿尔托大学）
针对历史文化文物分析领域LMMs缺乏标准化评估基准的问题，提出覆盖多区域多文化的TimeTravel综合基准，搭建评估框架并验证现有模型能力，助力文化遗产保护与历史研究
2025-02-20 cs.CV cs.LG
Visual Question Answering for Cultural Heritage
Media Integration and Communication Center (MICC)（媒体集成与通信中心（MICC））；University of Florence（佛罗伦萨大学）
技术和文化遗产的成果正变得越来越丰富，特别是随着智能语音导游、虚拟和增强现实以及互动装置的出现。机器学习和计算机视觉是这一持续整合的重要组成部分，实现了用户和博物馆之间的新交互模式。尽管如此，与绘画和雕像互动的最常见方式仍然是拍照。然而，图像本身只能传达艺术品的美学，缺乏充分理解和欣赏艺术品所需的信息。通常，这些额外的知识来自艺术品本身（以及描绘艺术品的图像）和外部知识来源，例如信息表。虽然前者可以通过计算机视觉算法推断，但后者需要更多的结构化数据来将视觉内容与相关信息配对。无论其来源如何，这些信息仍然必须有效地传递给用户。计算机视觉的一个流行的新兴趋势是视觉问答（VQA），其中用户可以通过用自然语言提出问题并接收关于视觉内容的答案来与神经网络交互。我们相信，这将是博物馆参观和个人智能手机上简单图像浏览的智能音频指南的演变。这将把经典的音频指南变成一个智能的个人教练，游客可以通过询问专注于特定兴趣的解释进行互动。优点有两方面：一方面，访问者的认知负担将减少，将信息流限制为用户实际想要听到的内容;另一方面，它提出了与向导交互的最自然的方式，有利于参与。
2020-03-22 cs.CL cs.CV
Evaluating the Usefulness of Unsupervised monitoring in Cultural Heritage Monuments
National Technological University of Athens（雅典国家技术大学）
在本文中，我们审查各种聚类技术的有效性，调查其在文化遗产监测应用程序的适用性。在本文的背景下，我们检测的分解和腐蚀的程度在罗得岛的圣尼古拉斯堡的墙壁上利用高光谱图像。共6种不同的聚类方法进行了评估，在一组14个不同的正射校正高光谱图像。本研究中的实验设置涉及K-means，Spectral，Meanshift，DBSCAN，Birch和Optics算法。对于这些技术中的每一个，我们评估其性能的性能指标，如Calinski-Harabasz，Davies-Bouldin指数和剪影值的使用。在这种方法中，我们通过将它们与一组注释图像进行比较来评估聚类方法的结果，所述注释图像表示关于原始图像的分解和/或腐蚀区域的地面实况。实验结果表明，在给定的数据集上应用的一些聚类技术取得了不错的准确率、精确率、召回率和f1分数。最终，观察到相当准确地检测到了劣化。
2021-07-02 cs.CV cs.LG
ARTeFACT: Benchmarking Segmentation Models on Diverse Analogue Media Damage
University of Glasgow（格拉斯哥大学）；Dotphoton（多光子公司）
本文提出 ARTeFACT 数据集与基准，包含逾 11,000 条跨媒介、15 类损伤标注及文本描述，系统评估多种分割模型并揭示其跨媒介泛化局限。
2024-12-05 cs.CV
DEArt: Dataset of European Art
Barcelona Supercomputing Center（巴塞罗那超级计算中心）
在过去20年中，研究界公开的大型数据集一直是NLP或计算机视觉深度学习算法进步的关键推动因素。这些数据集通常是对齐的图像/手动注释的元数据对，其中图像是日常生活的照片。另一方面，学术和历史内容所涉及的主题不一定为一般读者所欢迎，它们可能并不总是包含大量的数据点，新的数据可能很难或不可能收集，确实存在一些例外，例如科学或健康数据，但文化遗产的情况并非如此。计算机视觉中最好的模型在艺术品上测试时表现不佳，加上CH缺乏广泛注释的数据集，以及艺术品图像描绘的对象和动作不是由照片捕获的事实，表明CH特定的数据集对这个社区非常有价值。我们提出DEArt，在这一点上，主要是一个目标检测和姿态分类数据集，旨在为12世纪和18世纪之间的绘画提供参考。它包含超过15000张图像，约80%的非图标，与识别69个类的所有实例的边界框的手动注释对齐，以及识别类人对象的框的12种可能的姿势。其中，超过50个类别是CH特定的，因此不会出现在其他数据集中;这些反映了虚构的存在，符号实体和其他与艺术相关的类别。我们的研究结果表明，通过迁移学习，文化遗产领域的对象检测器可以达到与通用图像的最新模型相当的精度水平。
2022-11-03 cs.CV
Smelly, dense, and spreaded: The Object Detection for Olfactory References (ODOR) dataset
organization= Pattern Recognition Lab, Friedrich-Alexander-Universität , city= Erlangen , country= Germany；organization= Royal Netherlands Academy of Arts \& Sciences (KNAW) , City= Amsterdam , country= Netherlands
本文提出ODOR数据集，填补艺术品目标检测中细粒度类别和空间分布偏置的空白，提供38,116个标注，涵盖139个类别，支持目标识别与嗅觉感知交叉研究。
2025-07-11 cs.CV
Synthetic Art Generation and DeepFake Detection A Study on Jamini Roy Inspired Dataset
本研究通过微调Stable Diffusion 3并结合ControlNet和IPAdapter生成Jamini Roy风格合成艺术，创建新数据集，利用傅里叶域和自相关等方法分析，揭示现有深度伪造检测在高质量文化特定场景下的不足。
2025-03-29 cs.AI cs.CV
Unsupervised Learning of Artistic Styles with Archetypal Style Analysis
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）
在本文中，我们介绍了一种无监督学习方法，可以从大量的绘画作品中自动发现、总结和操纵艺术风格。我们的方法是基于原型分析，这是一种无监督的学习技术，类似于稀疏编码与几何解释。当应用于一系列艺术品的深层图像表示时，它会学习一个原型风格的字典，可以很容易地可视化。在训练模型之后，新图像的风格由深度视觉特征的局部统计表征，由原型的稀疏凸组合来近似。这使我们能够解释哪些原型风格存在于输入图像中，以及比例如何。最后，我们的方法允许我们操纵潜在原型分解的系数，并实现各种特殊的效果，如风格增强，转移，和多个原型之间的插值。
2018-10-02 cs.CV cs.LG stat.ML
RANSAC-Flow: generic two-stage image alignment
Ecole des Ponts, UPE（巴黎路桥学校（巴黎东大学））；Thales Land and Air Systems（泰雷斯陆空系统公司）；UC Berkeley（加州大学伯克利分校）
本文考虑了两个图像之间的密集对齐的一般问题，无论是两帧视频，两个不同的场景，两幅画描绘类似的内容等，而每个这样的任务通常是解决特定领域的解决方案，我们表明，一个简单的无监督的方法在一系列任务中表现得令人惊讶。我们的主要观点是，参数和非参数对齐方法具有互补的优势。我们提出了一个两阶段的过程：首先，基于特征的参数粗对齐使用一个或多个单应性，其次是非参数精细像素对齐。使用RANSAC对现成的深度特征执行粗对准。通过深度网络以无监督的方式学习精细对齐，该深度网络优化了两个图像之间的标准结构相似性度量（SSIM）以及循环一致性。尽管它的简单性，我们的方法在一系列任务和数据集上显示出有竞争力的结果，包括KITTI上的无监督光流，Hpatches上的密集对应，YFCC 100 M上的双视图几何估计，亚琛昼夜定位，以及第一次，Brughel数据集上的艺术品的精细对齐。我们的代码和数据可在http://imagine.enpc.fr/~shenx/RANSAC-Flow/上获得
2020-07-17 cs.CV
Learning Co-segmentation by Segment Swapping for Retrieval and Discovery
University of California, Berkeley（加州大学伯克利分校）；Facebook AI Research（脸书人工智能研究院）；LIGM (UMR 8049), École des Ponts ParisTech（巴黎桥路大学LIGM实验室（UMR 8049））
这项工作的目标是有效地识别图像中视觉上相似的图案，例如识别雕刻和油画之间复制的艺术品细节，或识别白天对应的夜间照片中可见的部分。缺乏训练数据是该共分割任务的关键挑战。我们提出了一种简单但令人惊讶的有效方法来克服这个困难：我们通过选择图像中的片段并将它们复制粘贴到另一个图像中来生成合成训练对。然后我们学习预测重复的区域掩码。我们发现，这是至关重要的预测的对应关系作为一个辅助任务，并使用泊松混合和风格转移的训练对真实数据的推广。我们使用与我们的联合图像分析任务相关的两种深度架构来分析结果：基于transformer的架构和Sparse Nc-Net，这是一种最近的网络，旨在使用4D卷积来预测粗略的对应关系。我们表明，我们的方法为Brueghel数据集上的艺术品细节检索提供了明显的改进，并在两个地方识别基准Tokyo 247和Tokyo 30 K上实现了具有竞争力的性能。我们还展示了我们的方法的潜力，无监督的图像采集分析，通过引入一个谱图聚类方法，对象发现和展示它的对象发现数据集的\cite{rubinstein2013unsupervised}和Brueghel数据集。我们的代码和数据可在http://imagine.enpc.fr/~shenx/SegSwap/上获得。
2022-03-27 cs.CV
Learning Street View Representations with Spatiotemporal Contrast
Institute of Remote Sensing and Geographic Information System, School of Earth and Space Sciences, Peking University（遥感与地理信息系统研究所，地球与空间科学学院，北京大学）；Department of Civil and Environmental Engineering, The Hong Kong University of Science and Technology（土木与环境工程系，香港科学与技术大学）；SEAI Lab, Department of Geography and the Environment, University of Texas at Austin（SEAI实验室，地理与环境系，德克萨斯大学奥斯汀分校）
本文提出一种基于时空对比学习的街道视图表示学习方法，以提升城市环境相关下游任务的性能。
2025-02-07 cs.AI cs.CV
Sketch Layer Separation in Multi-Spectral Historical Document Images
Friedrich-Alexander-University Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）；Bibliotheca Hertziana - Max-Planck-Institute for Art History（赫兹图书馆-马克斯·普朗克艺术史研究所）
高分辨率成像为探测文化宝藏的物质组成和结构提供了新的前景。尽管有各种各样的分析技术，一个显着的诊断差距仍然存在的范围内，现有的研究能力的书面作品。老大师的画，大多是用各种材料，一步一步地画出来的。这就造成了不同地层的重叠，使下伏地层难以区分。使用成像方法分离分层层可以提供对艺术工作过程的见解，并有助于回答有关对象，其属性或识别forests的问题。用模拟复制品测试了模式识别过程，以实现分离和显示隐藏在墨水下的红色粉笔的能力。与基于RGB传感器的成像相比，多光谱或高光谱技术通过记录材料反射率的特征签名，实现精确的层分离。通过结合使用定义的闪电光谱和图像采集，可以降低检查过程中对艺术品造成损坏的风险。通过保证最大程度的可读性，我们的研究结果表明，该技术可以应用于更广泛的对象，并在未来的文化宝藏的诊断研究协助。
2017-12-10 cs.CV cs.DL
TraitSpaces: Towards Interpretable Visual Creativity for Human-AI Co-Creation
Evam Labs Singapore（新加坡Evam实验室）
本文提出TraitSpaces框架，基于心理学与艺术家访谈定义12项视觉创造力特质，并用SemArt和GPT 4.1标注、CLIP评估其可学习性，以可解释特质空间支持人机共创。
2025-09-29 cs.AI cs.CV cs.HC
Ukiyo-e Analysis and Creativity with Attribute and Geometry Annotation
Google Brain（谷歌大脑）；NII（国立信息学研究所）
浮世绘作为日本前现代艺术的重要流派，与其他艺术研究一样，浮世绘研究的重点也是对象和风格。这种研究得益于机器学习社区对文化重要主题的重新兴趣，导致跨学科的工作，包括图像收集，定量方法和基于机器学习的创造力。然而，他们有几个缺点，它仍然具有挑战性，将这些作品纳入一个全面的看法。为了弥补这一差距，我们提出了一个整体的方法，我们首先提出了一个大规模的浮世绘数据集与连贯的语义标签和几何注释，然后显示其价值在浮世绘的对象的定量研究使用这些标签和注释。我们进一步证明了机器学习方法可以通过浮世绘的软颜色分解来帮助风格研究，并最终通过使用着色来组成草图和颜色来提供对对象和风格的联合洞察。数据集可在https://github.com/rois-codh/arc-ukiyoe-faces上获取
2021-06-04 cs.CV cs.LG
Multimodal Cultural Heritage Architectural Style Classification for Residential Buildings in the UAE Based on CLIP Embeddings and SVM
University of Sharjah（沙迦大学）
针对传统方法依赖图像且缺乏非西方数据的问题，提出基于CLIP的多模态框架融合视觉与文本特征，经UMAP降维、K-Means聚类后训练SVM，在阿联酋住宅建筑八类风格上达到98%准确率，优于现有研究。
2026-09-16 cs.AI cs.CV
Unsupervised crack detection on complex stone masonry surfaces
National Technical University of Athens（雅典国立技术大学）
本文提出一种将石砌体墙面裂缝检测视为无监督异常检测问题的方法，通过修改最先进的CNN架构对RGB图像块进行二分类与定位，在少量训练epoch下达到与复杂方法相当的高准确度。
2023-03-31 cs.CV
EmoArt: A Multidimensional Dataset for Emotion-Aware Artistic Generation
Jilin University（吉林大学）；National Taiwan University（国立台湾大学）
本文提出EmoArt数据集，包含132,664件涵盖56种绘画风格的艺术作品及多维情感标注，并据此系统评估扩散模型的情感对齐图像生成能力，为情感驱动图像合成提供数据与基准。
2025-06-04 cs.CV
Synthetic Craquelure Generation for Unsupervised Painting Restoration
Universitat de Barcelona（巴塞罗那大学）；Institut de Robòtica i Informàtica Industrial（机器人与信息技术研究所）
本文提出一种无标注的合成裂纹生成框架，结合形态检测与学习细化模块，通过各向异性扩散修复实现高质量绘画修复。
2026-02-13 cs.CV cs.LG
A domain adaptive deep learning solution for scanpath prediction of paintings
Université d’Orléans（奥尔良大学）；Bournemouth University（伯恩茅斯大学）
文化遗产的理解和保护是社会的一个重要问题，因为它代表了社会特性的一个基本方面。绘画是文化遗产的重要组成部分，也是不断研究的主题。然而，观众对绘画的感知方式与所谓的人类视觉系统（HVS）行为密切相关。本文着重于对一定数量的绘画作品进行观看者在视觉体验过程中的眼动分析。在进一步的细节中，我们介绍了一种新的方法来预测人类的视觉注意力，这会影响人类的几个认知功能，包括对场景的基本理解，然后将其扩展到绘画图像。拟议中的新架构摄取图像并返回扫描路径，这是一系列具有很高吸引观众注意力的点。我们使用FCNN（全卷积神经网络），其中我们利用可微通道选择和Soft-Argmax模块。我们还将可学习的高斯分布纳入网络瓶颈，以模拟自然场景图像中的视觉注意过程偏差。此外，为了减少不同领域（即自然图像，绘画）之间的变化的影响，我们敦促模型使用梯度反转分类器从其他领域学习无监督的一般特征。我们的模型所获得的结果优于现有的国家的最先进的准确性和效率。
2022-09-22 cs.CV
Adaptation of the super resolution SOTA for Art Restoration in camera capture images
IIIT Hyderabad（印度海得拉巴国际信息技术学院）
本文将基于DM的超分辨率SOTA模型适配并微调为统一的艺术品图像修复模型，通过多数据集训练处理噪声、模糊、划痕和褪色等多种退化。
2023-09-28 cs.CV eess.IV
