Answering Regular Path Queries on Workflow Provenance
本文提出了一种新的方法,有效地评估经常路径查询的起源图的工作流,可能包括递归。该方法假设工作流G的执行g使用现有技术被标记有查询不可知的可达性标签。在查询时,给定g,G和规则路径查询R,该方法将R分解成子查询R1,.,Rk对G是安全的。对于每个安全子查询Ri,G被重写,使得使用g中的节点的可达性标签,可以在恒定时间内判定两个节点之间是否存在与Ri匹配的路径。然后,每个安全子查询的结果被组合,可能有一些小的不安全余数,以产生R的答案。该方法的结果在一个算法,显着减少了现有技术的子查询k的数量,通过增加它们的大小和复杂性,并评估每个子查询的时间限制其输入和输出大小。实验结果证明了这种方法的好处。
2014-08-05 cs.DB
Fast Capture of Cell-Level Provenance in Numpy
本文提出一个针对numpy库的细胞级溯源捕获原型系统,通过简单内存优化显著降低标注延迟,以应对API演进、操作多样和大规模数据挑战,支撑数据治理与可复现性。
2025-06-23 cs.DB
OneProvenance: Efficient Extraction of Dynamic Coarse-Grained Provenance from Database Logs [Technical Report]
起源编码连接数据集、其生成工作流和相关联的元数据(例如,谁或何时执行查询)。因此,它有助于广泛的关键治理应用程序(例如,可观察性和审计)。不幸的是,在数据库系统的上下文中,由于数据库工作流的复杂性和庞大的数量,提取粗粒度的出处是一个长期存在的问题。从查询事件日志中提取起源最近被认为是有利的,因为原则上可以为起源应用程序产生有意义的起源图。然而,当前的方法(a)向数据库和起源提取工作流增加了大量开销,并且(b)提取有噪声的起源,省略了查询执行依赖性,并且对于上游应用不够丰富。为了解决这些问题,我们引入OneProvenance:一个高效的查询事件日志出处提取系统。OneProvenance通过以下方式解决了基于日志的提取的独特挑战:(a)通过有效的日志分析识别查询执行依赖关系,(b)通过解释查询依赖关系的新颖事件转换提取起源,以及(c)引入有效的过滤优化。我们全面的实验分析表明,与最先进的基线相比,OneProvenance可以将提取提高约18倍;我们的优化降低了提取噪声,并进一步优化了性能。OneProvenance由Microsoft Purview大规模部署,并积极支持客户来源提取需求(https://bit.ly/3N2JVGF)。
2023-03-03 cs.DB
Provenance and data differencing for workflow reproducibility analysis
科学的基础之一是研究人员必须公布用于实现其结果的方法,以便其他人可以尝试复制它们。这样做的另一个好处是,可以为其他目的采用和调整各种方法。在电子科学领域,服务--通常通过工作流编排,处理数据以生成结果。结果的再现通常不是直接的,因为计算对象可能不可用或者可能自从结果生成以来已经被更新。例如,经常更新服务以修复错误或改进算法。本文从三个方面来解决这些问题。首先,本文引入了一个新的框架来澄清“再现性”的含义范围。其次,它描述了一种新的算法,\PDIFF,它使用的工作流程起源痕迹的比较,以确定是否已复制的实验,主要的创新是,如果不是这种情况下,然后通过图形分析确定的具体点(S)的分歧,帮助任何希望了解这些差异的研究人员。一个关键特性是支持用户定义的语义数据比较运算符。最后,本文介绍了\PDIFF的实现,它利用了电子科学中心平台的力量,在云中制定工作流程。以及自动生成的出处跟踪消费的\PDIFF,该平台支持的存储和重用的旧版本的工作流程,数据和服务,本文展示了如何可以有效地利用这一点,以实现再现和重用。
2014-06-03 cs.DB
Provenance for Lattice QCD workflows
我们提出了一个起源模型的通用工作流程的数值格子量子色动力学(QCD)的计算,这构成了粒子物理研究的重要组成部分。这些计算是在全球最大的超级计算机上进行的,生成和分析的数据在多PetaByte范围内。在格点量子色动力学社区中,一个自定义的元数据标准(QCDml)已经存在,其中包括特定的起源信息,用于工作流的一部分,即所谓的配置生成。在本文中,我们遵循W3C PROV标准,制定了一个起源模型,其中包括生成部分和所谓的测量部分的格点量子色动力学工作流程。我们展示了这个模型的适用性,并展示了如何使用该模型来回答一些与种源相关的研究问题。然而,在格点量子色动力学社区的许多重要的起源问题需要扩展这个起源模型。为此,我们提出了一个多层次的出处的方法,结合前瞻性和回顾性的元素。
2023-03-22 cs.CE cs.DB hep-lat
Research Traceability using Provenance Services for Biomedical Analysis
我们概述了neuGRID项目中正在开发的方法,使用出处管理技术,用于捕获和保存生物医学分析工作流程中出现的规范和执行中的出处数据。在neuGRID项目中,设计并实施了一项出处服务,旨在获取、储存、检索和重建必要的工作流程信息,以便利用户进行用户分析。我们描述的neuGRID出处服务的架构,并讨论如何从欧洲核子研究中心的CRISTAL系统被改编,以解决该项目的要求,然后考虑如何一个通用的方法,出处管理可以出现更通用的应用程序(健康)网格社区。
2014-03-02 cs.DB
Indexing Execution Patterns in Workflow Provenance Graphs through Generalized Trie Structures
Universidad Europea de Madrid(马德里欧洲大学);Expert System(Expert System公司)
在过去的几年里,科学工作流程已经足够成熟,可以用于生产风格。然而,尽管越来越成熟,仍然缺乏搜索,调整和重用工作流的工具,这阻碍了科学界更广泛的采用。事实上,由于机器可读的科学元数据的可用性有限,以及工作流程规范格式和表示的异质性,需要新的方法来利用补充现有方法的替代信息源。在本文中,我们解决这样的局限性,应用统计丰富的广义特里结构,利用工作流执行起源信息,以协助分析,索引和搜索的科学工作流。我们的方法弥合了工作流应该根据其规范和相关元数据做什么的描述与其起源执行跟踪中记录的实际情况之间的差距。在这样做的过程中,我们还证明了所提出的方法优于SPARQL 1.1属性路径查询起源图。
2018-07-19 cs.DB cs.IR cs.LG
Keeping Track of User Steering Actions in Dynamic Workflows
在HPC机器中的长期科学工作流执行中,计算科学家(这项工作中的用户)经常需要微调几个工作流参数。这些调谐通过可以显著提高性能的用户操纵动作来完成(例如,减少执行时间)或改善总体结果。然而,在持续数周的执行中,如果调优没有正确注册,用户可能会失去对已改编内容的跟踪。在这项工作中,我们建立在出处数据管理,以解决跟踪在线参数微调的动态工作流程中由用户引导的问题。我们提出了一个轻量级的解决方案,以捕获和管理出处的指导行动在线可以忽略不计的开销。产生的出处数据库将调优数据与域、XML出处、执行和性能的数据联系起来,并可用于运行时的分析。我们展示了用户如何获得执行的详细视图,提供洞察力来确定何时以及如何进行调整。我们讨论了我们的解决方案在不同领域的适用性,并验证其能力,允许在线捕获和分析的参数微调在石油和天然气行业的一个真正的工作流程。在这个实验中,用户可以确定哪些调整参数会影响仿真精度和性能。观察到的在运行时跟踪用户转向操作的开销小于总执行时间的1%。
2019-05-17 cs.DB
PROV-AGENT: Unified Provenance for Tracking AI Agent Interactions in Agentic Workflows
针对AI智能体工作流中错误传播问题,提出扩展W3C PROV的PROV-AGENT溯源模型,集成智能体元数据,通过开源系统和跨环境评估支持溯源查询与可靠性分析,提升智能体行动透明度与可追溯性。
2025-08-20 cs.DB cs.DC
BioWorkbench: A High-Performance Framework for Managing and Analyzing Bioinformatics Experiments
测序技术的进步导致了生物数据的指数增长,这要求开发大规模的生物信息学实验。由于这些实验是计算和数据密集型的,因此需要高性能计算(HPC)技术,并可以从科学工作流管理系统(SWfMS)和数据库等专业技术中受益。在这项工作中,我们提出了生物信息学,管理和分析生物信息学实验的框架。该框架自动收集出处数据,包括来自工作流执行的性能数据和来自工作流应用程序的科学领域的数据。来源数据可以通过一个网络应用程序进行分析,该应用程序将一组查询抽象到来源数据库,简化了对来源信息的访问。我们使用三个案例研究来评估BioPhase:SwiftPhylo,系统发育树组装工作流程; SwiftGECKO,比较基因组学工作流程;和RASflow,RASopathy分析工作流程。我们分析每个工作流程从计算和科学领域的角度来看,通过使用查询的出处和注释数据库。这些查询中的一些可作为BioPhoneWeb应用程序的预构建功能提供。通过出处数据,我们表明该框架是可扩展的,并实现了高性能,减少了高达98%的案例研究执行时间。我们还展示了机器学习技术的应用如何丰富分析过程。
2018-01-11 cs.DB cs.DC
LLM Agents for Interactive Workflow Provenance: Reference Architecture and Evaluation Methodology
Oak Ridge National Lab.(橡树岭国家实验室);Argonne National Lab.(阿贡国家实验室)
本文提出利用交互式LLM智能体分析工作流溯源数据的参考架构与评估方法,通过元数据驱动设计将自然语言转为结构化查询,并在多个模型和真实化学工作流上验证了模块化设计、提示调优和RAG的有效性。
2025-09-23 cs.AI cs.DB cs.DC
Provenance Views for Module Privacy
科学工作流系统越来越多地存储关于用于产生数据项的模块执行的起源信息,以及在模块执行之间传递的参数设置和中间数据项。但是,工作流的作者/所有者可能希望对其中一些信息保密。特别是,一个模块可能是专有的,用户不应该能够通过查看所有数据输入和输出之间的映射来推断它的行为。我们在本文中解决的问题是:给定一个工作流,抽象建模的关系R,隐私要求Γ和成本与数据。工作流的所有者决定要隐藏哪些数据(属性),并向用户提供视图R ',该视图R'是R在尚未隐藏的属性上的投影。目标是最小化隐藏数据的成本,同时保证各个模块是Γ-私有的。我们称之为"安全视图"问题。我们正式定义问题,研究其复杂性,并提供算法解决方案。
2011-04-04 cs.DB cs.DS
ProvLight: Efficient Workflow Provenance Capture on the Edge-to-Cloud Continuum
针对边缘到云连续体中工作流溯源捕获开销高的问题,提出轻量级工具ProvLight,通过简化模型、压缩分组和轻量协议降本,集成至E2Clab后经大规模测试验证,性能显著优于现有同类系统且已开源。
2023-07-20 cs.DB cs.DC cs.PF
Research Traceability using Provenance Services for Biomedical Analysis
我们概述了neuGRID项目中正在开发的方法,使用出处管理技术,用于捕获和保存生物医学分析工作流程中出现的规范和执行中的出处数据。在neuGRID项目中,设计并实施了一项出处服务,旨在获取、储存、检索和重建必要的工作流程信息,以便利用户进行用户分析。我们描述的neuGRID出处服务的架构,并讨论如何从欧洲核子研究中心的CRISTAL系统被改编,以解决该项目的要求,然后考虑如何一个通用的方法,出处管理可以出现更通用的应用程序(健康)网格社区。
2012-02-24 cs.DB cs.SE
Validation and Inference of Schema-Level Workflow Data-Dependency Annotations
科学工作流系统的一个优点是它们能够收集运行时起源信息作为执行跟踪。跟踪包括作为工作流运行的一部分调用的计算步骤以及每个工作流步骤消耗和产生的相应数据。跟踪捕获的信息用于推断数据项之间的“世系”关系,这可以帮助回答出处查询,以找到在产生特定工作流输出时所涉及的工作流输入。然而,确定沿袭关系需要理解存在于每个工作流步骤的输入和输出之间的依赖模式,并且该信息通常未被指定或通常由工作流系统假定。例如,大多数方法假设所有输出都依赖于所有输入,这可能导致谱系“误报”。在以前的工作中,我们定义了注释,用于指定计算步骤的输入和输出之间的详细依赖关系。这些注释用于定义相应的规则,以便从跟踪中推断细粒度的数据依赖关系。在本文中,我们扩展了我们以前的工作,考虑依赖性注释的工作流规范的影响。特别是,我们提供了一个推理框架,以确保一组依赖性注释的工作流规范是一致的。该框架还可以推断一个完整的一组注释给定的部分注释的工作流。最后,我们描述了使用答案集编程的推理框架的实现。
2018-07-25 cs.DB
Toward Temporal Attribution Analytics in Dataflows
Hong Kong University of Science and Technology(香港科技大学);Hong Kong Generative AI R&D Center(香港生成式人工智能研发中心);University of Ioannina(约阿尼纳大学)
本文提出时间归因作为轻量级数据溯源方法,用于分析系统组件随时间变化的依赖关系,通过状态索引方法提升大规模数据流分析效率。
2026-06-15 cs.DB
Provenance Data in the Machine Learning Lifecycle in Computational Science and Engineering
IBM Research(IBM研究院);Federal Univ. of Rio de Janeiro(里约热内卢联邦大学);Inria(法国国家信息与自动化研究所);LIRMM(蒙彼利埃计算机科学、机器人与微电子实验室);U. Montpellier(蒙彼利埃大学)
机器学习(ML)在许多行业中已经变得至关重要。在计算科学和工程(CSE)中,ML生命周期的复杂性来自于大量的数据、科学家的专业知识、工具和工作流程。如果数据在生命周期中没有被正确跟踪,那么从头开始重新创建ML模型或向利益相关者解释它是如何创建的就变得不可行了。来源跟踪解决方案的主要局限性在于,它们无法处理来源捕获以及在生命周期中的多个工作流中处理的域和ML数据的集成,同时保持来源捕获开销较低。为了解决这个问题,在本文中,我们对CSE中ML生命周期中的来源数据进行了详细的描述;一种新的来源数据表示,称为PROV-ML,建立在W3C PROV和ML Schema之上;以及对一个系统的扩展,该系统从多个工作流跟踪来源,以解决ML和CSE的特征,并允许使用标准词汇表进行来源查询。我们展示了在石油和天然气行业的实际案例中的实际使用,以及使用48个GPU并行进行的评估。
2019-10-21 cs.DB cs.DC cs.LG
Towards Lightweight Data Integration using Multi-workflow Provenance and Data Observability
Oak Ridge National Lab(橡树岭国家实验室)
本文提出MIDA轻量级运行时多工作流集成数据分析方法,通过数据可观测性、适配器和溯源实现无插桩统一数据集成,并在大规模HPC与材料科学深度学习场景中验证其近零开销。
2023-08-17 cs.AI cs.DB cs.DC
Causality and the Semantics of Provenance
起源,或有关数据的来源,派生,保管或历史的信息,最近已经在许多环境中进行了研究,包括数据库,科学工作流程和语义网。许多起源机制已被开发出来,其动机是非正式的概念,如影响,依赖,解释和因果关系。然而,很少有研究这些机制是否正式满足适当的政策,甚至如何正式相关的激励概念,如因果关系。我们认为,这些概念的数学模型,需要证明和比较出处技术。在本文中,我们回顾了因果关系的理论基础上的结构模型,已开发的人工智能,并描述了正在进行的工作,使用因果关系给语义的起源图。
2010-06-08 cs.DB cs.LO
Workflow Provenance in the Lifecycle of Scientific Machine Learning
Inria, Univ. Montpellier, CNRS & LIRMM, France(法国国家信息与自动化研究所,蒙彼利埃大学,法国国家科学研究中心与LIRMM);Federal University of Rio de Janeiro, Brazil(里约热内卢联邦大学);IBM Research(IBM研究院)
机器学习(ML)已经从根本上改变了一些企业。最近,它也深刻地影响了计算科学和工程领域,如地球科学,气候科学和健康科学。在这些领域中,用户需要结合科学数据和ML模型进行全面的数据分析,以满足关键要求,例如可重复性、模型可解释性和实验数据理解。然而,科学机器学习是多学科的,异构的,并受到该领域的物理约束的影响,使这种分析更具挑战性。在这项工作中,我们利用工作流出处技术来构建一个整体视图,以支持科学ML的生命周期。我们的贡献包括:(i)数据分析的生命周期和分类的表征;(ii)构建此视图的设计原则,以及符合W3C PROV的数据表示和参考系统架构;以及(iii)在使用具有393个节点和946个GPU的HPC集群的石油和天然气案例中进行评估后获得的经验教训。实验表明,这些原则使查询能够将领域语义与ML模型集成在一起,同时保持低开销(<1%),高可扩展性,以及在某些工作负载下的查询加速数量级。
2021-08-25 cs.AI cs.DB cs.DC
Ontology-based knowledge graph infrastructure for interoperable atomistic simulation data
本文提出基于本体的知识图谱基础设施,用于整合和表示原子模拟数据,解决异构格式、元数据不全和标准表示不足的问题,通过统一表示实现跨数据集的一致查询与分析。
2026-03-31 cond-mat.mtrl-sci cs.AI cs.DB
DataJoint 2.0: A Computational Substrate for Agentic Scientific Workflows
DataJoint Inc.(DataJoint公司)
DataJoint 2.0通过关系型工作流模型和四项技术创新,提供了一种统一的数据结构、数据和计算转换的科学工作流计算基础。
2026-02-18 cs.AI cs.DB
Using Provenance to support Good Laboratory Practice in Grid Environments
进行实验和记录结果是科学家的日常工作。良好和可追溯的文件使其他科学家能够确认程序和结果,以提高可信度。文件和科学行为受到监管,并被称为“良好实验室规范”。“实验室笔记本用于记录进行实验和处理数据的每一步。最初,这些笔记本是基于纸张的。由于计算机化的研究系统,所获得的数据变得更加精细,从而增加了对具有数据存储、计算功能和可靠的电子文档的电子笔记本的需求。作为一种新的方法,科学数据管理系统(数据库)的可追溯性文件的功能得到了增强。来源记录用于满足可追溯性的要求,该信息可以在以后进行查询以供进一步分析。DataBase对于科学文档还有其他重要的特性:它采用了异构和分布式数据存储的概念。这使得能够访问不同类型的数据存储系统(例如,G.网格数据基础设施、文件服务器)。在本章中,我们将描述一些可用或接近完成的开发的构建块。这些组件旨在组装一个电子实验室笔记本用于网格环境中,同时保持最大的灵活性,使用场景以及最大的兼容性相互重叠。通过使用这样一个系统,出处可以成功地用于跟踪研究数据的准备、执行、评价、解释和存档的科学工作流程。研究结果的可靠性提高,研究过程对远程研究伙伴保持透明。
2011-12-13 cs.CE cs.DB cs.DC