Beyond Aesthetics: Cultural Competence in Text-to-Image Models
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院);IIT Bombay(印度理工学院孟买分校);Princeton(普林斯顿大学)
针对文本到图像模型忽视文化能力的问题,提出CUBE基准,从文化意识与多样性两个维度评估,并揭示现有模型的显著差距,以促进全球适应性发展。
2025-01-20 cs.CV
Forensic Analysis of Synthetically Generated Western Blot Images
Politecnico di Milano(米兰理工大学);University Federico II of Naples(那不勒斯费德里科二世大学);University of Notre Dame(圣母大学);University of Campinas(坎皮纳斯大学);Purdue University(普渡大学)
合成内容的广泛传播是一个严重的威胁,需要采取紧急对策。事实上,合成内容的生成并不局限于视频、照片或音频序列等多媒体数据,而是涵盖了一个非常广阔的领域,其中也可以包括生物图像,例如蛋白质印迹和显微图像。在本文中,我们专注于检测合成生成的蛋白质印迹图像。这些图像在生物医学文献中得到了很大程度的研究,并且已经表明它们可以很容易地被伪造,很少有希望通过目视检查或使用标准的法医检测器来发现操纵。为了克服这项任务缺乏公开数据的问题,我们创建了一个新的数据集,包括超过14K的原始蛋白质印迹图像和24K的合成蛋白质印迹图像,这些图像是使用四种不同的最先进的生成方法生成的。我们研究了不同的策略来检测合成蛋白质印迹,探索二元分类方法以及一类检测器。在这两种情况下,我们从未在训练阶段利用合成的蛋白质印迹图像。所获得的结果表明,合成生成的蛋白质印迹图像可以以良好的准确性被发现,即使所利用的检测器没有在这些科学图像的合成版本上进行优化。我们还测试了所开发的检测器对通常在科学图像上进行的后处理操作的鲁棒性,表明我们可以对JPEG压缩具有鲁棒性,并且一些生成模型很容易识别,尽管编辑的应用可能会改变它们留下的伪影。
2022-06-01 cs.AI cs.CV
Speaking images. A novel framework for the automated self-description of artworks
University of Bologna(博洛尼亚大学)
本文提出一种基于开源大语言模型、人脸检测、语音合成与音频驱动动画的新框架,使数字化艺术品自动生成自我讲解短视频,并探讨其中的文化偏见与教育价值。
2025-05-28 cs.AI cs.CV
Hyperspectral Pigment Analysis of Cultural Heritage Artifacts Using the Opaque Form of Kubelka-Munk Theory
Rochester Institute of Technology(罗切斯特理工学院)
Kubelka-Munk(K-M)理论已成功地用于估计光谱图像中现代绘画颜料混合物中的颜料浓度。在这项研究中,单常数K-M理论已被用于分类的绿色颜料在塞尔登地图的中国,中国南海的航海地图可能在17世纪初创建。地图的高光谱数据收集在牛津大学的Bodleian图书馆,可用于估计地图内的色素多样性和空间分布。这项工作旨在评估的效用分析的数据在K/S空间从Kubelka-Munk理论,而不是传统的反射率域。我们估计的数据的维数和提取的反射域中的端元。然后,我们执行线性解混以估计K/S空间中的丰度,并遵循Bai等人(2017),我们在丰度空间中执行分类。最后,由于缺乏地面真值标签,通过计算每个类别的平均谱作为该类别的代表性特征,并计算该类别中所有像素的均方根误差以创建误差的空间表示来估计分类精度。这突出显示了误差的大小和误差中的任何空间模式,指示特定色素是否在该方法中没有很好地建模。
2021-04-11 cs.CV eess.IV
Knowledge-Aware Artifact Image Synthesis with LLM-Enhanced Prompting and Multi-Source Supervision
Peking University(北京大学)
针对现有文本生成图像方法难以捕捉文物领域知识、生成效果不佳的问题,提出结合LLM提取考古知识构建提示、对比式历史知识文本引导、视觉语义约束的扩散模型方法,提升了文物图像生成质量与历史契合度。
2023-12-13 cs.AI cs.CV
Object Classification in Images of Neoclassical Artifacts Using Deep Learning
Universität Passau(帕绍大学)
在本文中,我们报告了我们使用深度学习对数字视觉中的伪影及其特征进行分类的努力,作为Neoclassica框架的一部分。它的构想是为学者提供新的方法来分析和分类文物和美学形式从古典主义时代。该框架既包括作为正式本体的传统知识表示,也包括数据驱动的知识发现,其中文化模式将通过统计分析和机器学习中的算法来识别。我们创建了一种深度学习方法,对照片进行训练,对照片中的物体进行分类。在下一步中,我们将应用不同的深度学习方法。它能够定位图像中的多个对象,并以高精度对它们进行分类。
2017-10-13 cs.CV
Solving Jigsaw Puzzles in the Wild: Human-Guided Reconstruction of Cultural Heritage Fragments
DAIS, Ca’ Foscari University of Venice(威尼斯Ca’ Foscari大学DAIS部门);Department of Historical Studies, University of Milan(米兰大学历史研究系);Zhejiang Normal University(浙江师范大学)
本文提出一种带人工指导的拼图求解框架,用于解决真实世界文化遗产碎片的重建问题,通过自动与交互式方法结合,提升大规模拼合的准确性和效率。
2026-03-06 cs.CV
Dermoscopic Dark Corner Artifacts Removal: Friend or Foe?
Manchester Metropolitan University(曼彻斯特城市大学)
本文研究皮肤镜暗角伪影对深度学习皮肤癌分类的影响,通过标注平衡数据集和实验发现引入合成暗角伪影可提升模型性能,并提出热力图量化新方法。
2023-06-23 cs.CV
Multi-task Learning for Identification of Porcelain in Song and Yuan Dynasties
University of Bologna(博洛尼亚大学)
本文利用深度学习与迁移学习,对宋元瓷器的朝代、釉色、窑口和器型进行多属性自动分类,比较四种CNN并验证预训练可显著提升性能。
2025-03-18 cs.CV cs.LG
ScrollTimes: Tracing the Provenance of Paintings as a Window into History
State Key Lab of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室);Laboratory of Art and Archaeology Image (Zhejiang University), Ministry of Education, China(浙江大学艺术与考古图像教育部重点实验室);HKUST(香港科技大学)
本文针对手卷绘画来源追溯难题,提出融合图像处理与语言模型的三层分析方法,并开发ScrollTimes可视化系统,帮助艺术史学家交互式构建手卷传记以透视历史。
2024-01-17 cs.CV cs.HC
Compensating for Scarce Historical Images in Cross-Domain Cultural Heritage Retrieval Using Synthetic Aging
Nicolaus Copernicus University(尼古拉斯·哥白尼大学);Warsaw University of Technology(华沙理工大学);Clemens(克莱门斯公司);Czestochowa University of Technology(琴斯托霍瓦理工大学)
本研究提出用合成老化图像补充稀缺历史数据,在跨域文化遗产检索中,混合训练在低覆盖率下显著提升R@1,验证了真实与合成数据的互补性。
2026-09-09 cs.CV
Many Dialects, Many Languages, One Cultural Lens: Evaluating Multilingual VLMs for Bengali Culture Understanding Across Historically Linked Languages and Regional Dialects
United International University(国际联合大学);BRAC University(布拉塔克大学);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
提出 BanglaVerse 基准,通过手工标注图像和扩展至多种语言及方言,评估多语言视觉语言模型在孟加拉文化理解中的表现,发现标准孟加拉语评估高估模型能力,方言变化导致性能下降,文化知识缺失是主要瓶颈。
2026-08-28 cs.CL cs.CV
CuRe: Cultural Gaps in the Long Tail of Text-to-Image Systems
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Washington(华盛顿大学)
本文提出 CuRe 文化代表性基准与评分套件,通过属性规范边际效用衡量 T2I 系统的全球南方文化偏差,并在多种模型上验证其与人类判断的相关性。
2025-06-09 cs.CV
Time Travel: A Comprehensive Benchmark to Evaluate LMMs on Historical and Cultural Artifacts
Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);Linköping University(林雪平大学);Australian National University(澳大利亚国立大学);Aalto University(阿尔托大学)
针对历史文化文物分析领域LMMs缺乏标准化评估基准的问题,提出覆盖多区域多文化的TimeTravel综合基准,搭建评估框架并验证现有模型能力,助力文化遗产保护与历史研究
2025-02-20 cs.CV cs.LG
An archaeological Catalog Collection Method Based on Large Vision-Language Models
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);School of Archaeology, Jilin University(吉林大学考古学院)
针对考古图录数据分散且现有视觉-语言模型难以准确检测和匹配的问题,本文提出一种包含文档定位、块理解和块匹配三模块的自动化采集方法,并在陶器图录数据上验证了其有效性。
2024-12-28 cs.AI cs.CV
AmalthAI: An Open-Source Computer Vision Platform for Cultural Heritage
Democritus University of Thrace(德谟克利特色雷斯大学);Athena Research Center(雅典娜研究中心);National and Kapodistrian University of Athens(雅典国立卡波迪斯特里亚大学);University of Warsaw(华沙大学)
AmalthAI是面向文化遗产领域专家的开源计算机视觉平台,通过集成Kubeflow、Katib等工具,支持数据集管理、模型训练与推理,可保障敏感考古数据安全,已在黏土织物印痕数据集上验证其功能。
2026-08-14 cs.CV
FReSCO: Flow Reconstruction and Segmentation for low latency Cardiac Output monitoring using deep artifact suppression and segmentation
University College London(伦敦大学学院);Royal Free London NHS Foundation Trust(伦敦皇家自由 NHS 基金会信托)
目的:心输出量(CO)的实时监测需要实时相位对比MR(PCMR)的低延迟重建和分割,这在以前很难执行。在这里,我们提出了一个深度学习框架,用于“低延迟心输出量监测的血流重建和分割”(FReSCO)。方法:独立训练深度伪影抑制和分割U-Net。屏气螺旋PCMR数据(n=516)使用可变密度螺旋采样模式进行合成欠采样,并进行网格化,以创建用于训练伪影抑制U网的混叠数据。将数据的子集(n=96)分段并用于训练分段U-网。前瞻性采集实时螺旋PCMR,然后在10名健康受试者的休息,运动和恢复期间在扫描仪上使用训练模型(FReSCO)以低延迟进行重建和分割。通过FReSCO获得的CO进行了比较,参考休息CO和休息和运动压缩感知(CS)CO. Results:FReSCO被证明是前瞻性的扫描仪。每搏心率、每搏输出量和心输出量可被可视化,平均潜伏期为622 ms。与静息时参考值(偏倚= -0.21+-0.50 L/min,p=0.246)或运动峰值时CS(偏倚=0.12+-0.48 L/min,p=0.458)相比,未观察到显著差异。结论:FReSCO被成功证明可用于运动期间CO的实时监测,并可为评估对一系列应激源的血流动力学反应提供方便的工具。
2022-03-25 cs.CV
Optimization of Image Processing Algorithms for Character Recognition in Cultural Typewritten Documents
Faculty of Engineering of the University of Porto(波尔图大学工程学院);INESC-TEC(葡萄牙系统与计算机工程研究所)
本文针对打字文化遗产文档的OCR任务,提出基于NSGA-II算法的多目标参数优化方法,通过最小化编辑距离和最大化正确识别词数,发现针对不同文档类型采用特定图像预处理算法能显著提升OCR性能。
2023-11-27 cs.CV cs.DL
Beyond Pixels: Medical Image Quality Assessment with Implicit Neural Representations
Computer Engineering Department, Istanbul Technical University(伊斯坦布尔技术大学计算机工程系);Department of Applied Mathematics, Technical Medical Centre, University of Twente(代尔夫特理工大学应用数学系)
本文提出利用隐式神经表示进行医学图像质量评估,通过深度权重空间网络、图神经网络和关系注意力变换器,在ACDC数据集上以更少参数实现高效伪影检测。
2025-08-07 cs.CV eess.IV
Motion Artifact-Aware Self-Supervised Representation Learning for 3D Brain MRI Motion Artifact Reduction
The University of Chicago(芝加哥大学);Emory University(埃默里大学);Georgia Institute of Technology(佐治亚理工学院);Memorial Sloan Kettering Cancer Center(纪念斯隆凯特琳癌症中心)
提出SSRL-MAR自监督框架,无需配对数据或运动标签,在模拟和活体数据集上实现3D脑部MRI运动伪影去除,性能接近理想监督模型,可提升神经解剖学一致性。
2026-08-12 cs.CV physics.med-ph
The Batch Artifact Scanning Protocol: A new method using computed tomography (CT) to rapidly create three-dimensional models of objects from large collections en masse
University of Minnesota(明尼苏达大学);School of Mathematics, University of Minnesota(明尼苏达大学数学学院);Department of Anthropology, University of Minnesota(明尼苏达大学人类学系)
本文提出批量文物扫描协议,利用医用CT扫描仪高效批量创建3D模型,以每标本不到4分钟的速度完成了2474个骨骼碎片的建模,解决了大型藏品扫描耗时耗力的问题。
2025-01-30 cs.CV
Mask-Conditioned Voxel Diffusion for Joint Geometry and Color Inpainting
本文提出基于掩码的体素扩散方法,用于修复受损3D物体的几何和颜色,通过两阶段框架实现更完整和一致的修复效果。
2026-01-01 cs.CV
Automatic brain tissue segmentation in fetal MRI using convolutional neural networks
University Medical Center Utrecht(乌得勒支大学医学中心);Wilhelmina Children’s Hospital(威廉明娜儿童医院);Utrecht University(乌得勒支大学)
胎儿的磁共振图像使临床医生能够在发育的早期阶段发现大脑异常。胎儿MRI中体积和形态分析的基础是将胎儿脑分割成不同的组织类别。手动分割是繁琐和耗时的,因此自动分割可以大大简化程序。然而,这些扫描中的自动脑组织分割是具有挑战性的,这是由于包括强度不均匀性的伪影,特别是由扫描期间的自发胎动引起的。与估计偏置场以去除强度不均匀性作为分割预处理步骤的方法不同,我们建议使用卷积神经网络进行分割,该卷积神经网络利用具有综合引入的强度不均匀性的图像作为数据增强。该方法首先使用CNN来提取颅内体积。然后,采用另一个具有相同结构的CNN将提取的体积分割成七个脑组织类别:小脑、基底节和丘脑、脑室脑脊液、白质、脑干、皮质灰质和脑外脑脊液。为了使该方法适用于显示强度不均匀性伪影的切片,通过将具有随机偏移和方向的线性梯度的组合应用于没有伪影的图像切片来增强训练数据。
2019-06-11 cs.CV eess.IV
Deep-neural-network based sinogram synthesis for sparse-view CT image reconstruction
Asan Medical Center(峨山医学中心)
最近,已经开发了许多低剂量计算机断层成像(CT)的方法,并将其部署在商业化的CT扫描仪中。降低管电流可能是最积极探索的先进图像重建算法的技术。稀疏数据采样是低剂量CT的另一个可行的选择,稀疏视图CT一直是CT界研究人员的兴趣所在。由于解析图像重建算法会导致严重的图像伪影,已经开发了各种迭代算法用于从稀疏视图采样投影数据重建图像。然而,迭代算法比解析算法需要更长的计算时间,并且图像通常容易出现严重依赖于重建参数的不同类型的图像伪影。插值方法也被用来填补稀疏视图CT的正弦图中的缺失数据,从而为分析图像重建提供综合完整的数据。在这项工作中,我们介绍了一种用于稀疏视图CT的深度神经网络正弦图合成方法,并展示了其优于现有插值方法和迭代图像重建方法的性能。
2018-03-06 cs.CV eess.IV physics.med-ph
Motion Corrected Multishot MRI Reconstruction Using Generative Networks with Sensitivity Encoding
Information Technology University (ITU)-Punjab(旁遮普信息技术大学(ITU));University of Southern Queensland(南昆士兰大学)
多激发磁共振成像(MRI)是一种有前途的成像方式,可以产生高分辨率的图像与相对较少的数据采集时间。多激发MRI的缺点是,它对受试者运动非常敏感,即使扫描过程中的少量运动也会在最终MR图像中产生伪影,可能导致误诊。已经做出了许多努力来解决这个问题;然而,所有这些建议在它们可以校正多少运动和所需的计算时间方面都是有限的。在本文中,我们提出了一种新的基于生成网络的共轭梯度SENSE(CG-SENSE)重建框架,用于多激发MRI中的运动校正。该框架首先采用CG-SENSE重建产生的运动污染的图像,然后生成对抗网络(GAN)被用来纠正运动伪影。所提出的方法已经过严格的评估,对不同程度的运动,拍摄数量和编码轨迹的综合损坏的数据。我们的分析(定量和定性/视觉分析)确定,所提出的方法显着鲁棒性和优于国家的最先进的运动校正技术,也减少了几倍的计算时间。
2020-03-12 cs.CV
DeepJoin: Learning a Joint Occupancy, Signed Distance, and Normal Field Function for Shape Repair
Clarkson University(克拉克森大学)
我们介绍DeepJoin,这是一种使用深度神经网络为断裂形状生成高分辨率修复的自动化方法。执行自动形状修复的现有方法仅在对称对象上操作,需要完整的代理形状,或者使用对于物理修复来说太粗糙的低分辨率体素来预测恢复形状。我们生成一个高分辨率的恢复形状推断相应的完整的形状和断裂面从输入断裂的形状。我们提出了一种新的隐式形状表示断裂形状修复,结合占用函数,符号距离函数,和正常的字段。我们展示了使用我们的方法修复来自ShapeNet的合成断裂对象,来自Google Scanned Objects数据集的3D扫描,来自QP文化遗产数据集的古希腊陶器风格的对象,以及真正的断裂对象。我们在倒角距离和法线一致性方面优于三种基线方法。与使用减影的现有方法和简化不同,DeepJoin简化不表现出表面伪影并且紧密地连接到断裂形状的断裂区域。我们的代码可在https://github.com/Terascale-All-sensing-Research-Studio/DeepJoin上获取。
2022-11-22 cs.CV
Exploiting Semantics in Adversarial Training for Image-Level Domain Adaptation
University of Bologna(博洛尼亚大学)
现代深度学习方法可实现的性能与训练时使用的数据量直接相关。不幸的是,注释过程是出了名的繁琐和昂贵,特别是对于像语义分割这样的像素级任务。最近的工作提出了依靠合成生成的图像来简化训练集的创建。然而,由于众所周知的域偏移问题,在这些类型的数据上训练的模型通常在真实图像上表现不佳。我们通过学习域到域图像转换GAN来缩小真实图像和合成图像之间的差距来解决这个问题。特别是我们的方法,我们引入语义约束的生成过程中,既避免文物和指导合成。为了证明我们的建议的有效性,我们展示了如何从我们的方法适应的合成GTA数据集的图像上训练的语义分割CNN可以提高性能超过16% mIoU相对于在合成图像上训练的相同模型。
2018-10-13 cs.CV
SMPLpix: Neural Avatars from 3D Human Models
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Amazon(亚马逊)
深度生成模型的最新进展使合成生成的人类图像达到了前所未有的真实感水平。然而,这些模型的剩余基本限制之一是灵活控制生成过程的能力,例如~在保持主体身份的同时改变相机和人的姿势。与此同时,像SMPL及其后继者这样的可变形人体模型提供了对姿势和形状的完全控制,但依赖于经典的计算机图形管道进行渲染。这种渲染流水线需要显式网格光栅化,其(a)不具有修复原始3D几何中的伪影或缺乏真实感的潜力,并且(b)直到最近才完全并入深度学习框架中。在这项工作中,我们建议弥合经典的基于几何的渲染和最新的生成网络在像素空间操作之间的差距。我们训练一个网络,直接将一组稀疏的三维网格顶点转换为真实感图像,减轻了对传统光栅化机制的需要。我们训练我们的模型上的大型语料库的人体3D模型和相应的真实照片,并显示出传统的微分渲染器的优点,无论是在照片的真实感和渲染效率的水平。
2020-11-09 cs.CV
Improving Quality Control Of MRI Images Using Synthetic Motion Data
Mass General Brigham(麻省总医院布列根医疗系统);Washington University(华盛顿大学);UCLA(加州大学洛杉矶分校);Orygen;Mt Sinai(西奈山医院);Northwell Health(诺斯韦尔医疗);Yale(耶鲁大学);University of Calgary(卡尔加里大学);Mila(米拉人工智能研究所)
本文针对 MRI 质量控制中数据不平衡和主观评分问题,提出先用合成运动伪影预训练模型再进行迁移学习分类的方法,在提高低质量扫描识别准确率的同时降低了训练成本。
2025-02-13 cs.CV eess.IV
ROI-NeRFs: Hi-Fi Visualization of Objects of Interest within a Scene by NeRFs Composition
Université Paris-Saclay(巴黎-萨克雷大学);CEA(法国原子能和替代能源委员会);Université de Toulouse(图卢兹大学);Toulouse INP – IRIT(图卢兹国立理工学院 - 图卢兹计算机科学、集成与系统研究所)
本文提出 ROI-NeRFs 框架,通过 Scene NeRF 与多个 ROI NeRF 的分解及射线级组合渲染,在大规模文化遗产场景中高效实现多感兴趣对象的高保真可视化。
2025-02-18 cs.CV cs.GR