Hierarchical Characteristic Set Merging for Optimizing SPARQL Queries in Heterogeneous RDF
特征集(CS)基于表征其主题节点的属性集来组织RDF三元组。这个概念最近在索引技术中使用,因为它可以捕获RDF数据的隐式模式。虽然大多数基于CS的方法在空间和查询性能方面都有显著的改进,但它们在存在模式异构性的情况下表现不佳,即,当CS的数量变得非常大时,导致高度分区的数据组织。在本文中,我们解决这个问题,通过引入一种新的技术,合并CS的层次结构的基础上。我们的技术采用了一个网格来捕捉CS之间的层次关系,确定密集的CS和合并密集的CS与他们的祖先,从而减少CS的大小以及它们之间的联系。我们实现了我们的算法上的关系骨干,其中每个合并的CS存储在一个关系表中,我们进行了广泛的实验研究,以评估性能和合并的RDF数据集的存储和查询的影响,表明显着的改进。
2018-09-07 cs.DB
SOFOS: Demonstrating the Challenges of Materialized View Selection on Knowledge Graphs
由于知识图谱的激增,对RDF数据的分析查询变得越来越重要。然而,RDF数据库并没有被优化以有效地执行这样的查询,导致长的处理时间。一种众所周知的提高分析查询性能的技术是利用物化视图。虽然在关系数据库中很流行,但是RDF和SPARQL的视图物化还没有过渡到实践中,这是由于RDF图模型的非平凡应用。出于对RDF数据的视图物化替代方案的影响缺乏了解,我们展示了SOFOS,一个实现和比较视图物化的几种成本模型的系统。SOFOS是,据我们所知,第一次尝试适应成本模型,最初在关系数据中研究,通用的RDF设置,并提出新的,分析其缺陷和优点。SOFOS采用RDF数据集和数据中某些方面的分析查询,并比较和评估替代成本模型,显示有关时间,内存消耗和查询特征的统计数据和见解。
2021-03-11 cs.DB
Leveraging Neighborhood Summaries for Efficient RDF Queries on RDBMS
使用结构化信息来总结图结构的RDF数据有助于解决查询性能问题。然而,利用结构化索引需要修改甚至重新设计RDF系统的内部。给定一个RDF数据集,已经批量加载到一个关系RDF系统,我们的目标是提高查询性能,这样的系统。我们通过总结邻域结构并将其编码为三元组来实现,三元组可以与现有实例数据一起管理。在查询时,我们最佳地选择有效的结构模式,并将这些模式添加到现有的查询,以获得更好的查询性能。实证评估表明,我们的方法的有效性。
2020-01-23 cs.DB
S2RDF: RDF Querying with SPARQL on Spark
RDF以其灵活、通用的类图数据模型成为语义数据发布的主流。然而,RDF数据汇集的规模不断增加,使得在一台机器上存储和处理它们变得越来越不可行,从而提高了对分布式方法的需求。我们不构建独立但封闭的分布式RDF存储,而是支持使用现有的基础设施进行大数据处理,例如Hadoop。然而,SPARQL查询性能是一个主要的挑战,因为这些平台不是为地面RDF处理而设计的。因此,现有的基于Hadoop的方法通常倾向于某些查询模式形状,而其他形状的性能显着下降。在本文中,我们描述了一种新的RDF数据的关系分区模式称为ExtVP,使用半连接为基础的预处理,类似于连接索引的概念,在关系数据库,有效地减少查询输入的大小,无论其模式的形状和直径。我们的原型系统S2RDF构建在Spark之上,并使用其关系接口在ExtVP上执行SPARQL查询。我们使用最近的WatDiv测试套件,与最先进的SPARQL on Hadoop方法相比,展示了其卓越的性能。S2RDF在十亿个三元组RDF图上实现了大多数查询的次秒运行时间。
2016-01-27 cs.DB cs.DC
Bridging the Semantic Gap between RDF and SPARQL using Completeness Statements [Extended Version]
RDF数据通常被视为不完整的,遵循开放世界假设。另一方面,基于RDF的标准查询语言SPARQL通常遵循封闭世界假设,假设RDF数据是完整的。这导致了RDF和SPARQL之间的语义鸿沟。在本文中,我们将讨论如何关闭RDF和SPARQL之间的语义差距,在某些答案和可能的答案使用完整性声明。
2014-09-03 cs.DB
View Selection in Semantic Web Databases
我们考虑设置的语义Web数据库,包含显式数据编码的RDF三元组,和隐含的数据,隐含的RDF语义。基于查询的工作量,我们解决的问题,选择一组要物化的数据库中的视图,最大限度地减少组合的查询处理,视图存储和视图维护成本。从现有的关系视图选择方法开始,我们设计了新的算法推荐视图集,并表明它们的规模显着超出现有的关系时,适应RDF上下文。考虑到查询答案中的隐式三元组,我们提出了一种新的RDF查询重构算法和一种创新的方式,将其纳入视图选择,以避免组合爆炸的复杂性的选择过程。我们的技术的兴趣是通过一组实验证明。
2011-10-30 cs.DB
PAPyA: Performance Analysis of Large RDF Graphs Processing Made Easy
规范性性能分析(PPA)已经证明比传统的描述性和诊断性分析更有助于理解大数据(BD)框架的性能。在实践中,当在关系BD系统之上处理大型(RDF)图时,会出现几个设计决策,并且不能自动决定,例如,模式、分区技术和存储格式的选择。PPA,特别是排名功能,有助于实现对性能数据的可操作见解,引导从业者更容易地选择部署BD框架的最佳方式,特别是对于图形处理。然而,实施PPA所需的实验工作量仍然巨大。在本文中,我们提出了PAPyA 1,一个用于实现PPA的库,它允许(1)为关系BD系统的处理管道准备RDF图数据,(2)在用户定义的实验维度的解决方案空间中实现性能的自动排名;(3)允许用户定义的灵活扩展系统来测试和排名方法。我们展示PAPyA的一组实验的基础上SparkSQL框架。PAPyA简化了BD系统处理大型(RDF)图的性能分析。我们提供PAPyA作为MIT许可下的公共开源库,这将是为BD应用设计新的研究规范分析技术的催化剂。
2022-09-14 cs.DB
Views over RDF Datasets: A State-of-the-Art and Open Challenges
RDF数据集的观点已经在几个作品中讨论过,但是在它们的定义和它们应该满足的要求上没有达成共识。在传统的数据管理系统中,视图在数据集成、查询应答、数据安全、查询模块化等不同的应用场景中都被证明是有用的。在这项工作中,我们已经审查了现有的RDF数据集上的视图的工作,并讨论了现有的视图定义机制的应用程序的四种情况下,视图已被证明是有用的传统(关系)数据管理系统。为了给讨论提供一个框架,我们提供了RDF数据集上的视图的定义,这个问题到目前为止还没有达成共识。我们最终选择了三个更接近这个定义的提案,并根据四个选定的目标进行了分析。
2012-11-01 cs.DB
Pleasantly Consuming Linked Data with RDF Data Descriptions
尽管RDF的目的是提供一种开放的、约束最小的信息表示方式,但越来越多的应用程序需要对RDF数据集的结构和值进行保证。在这方面缺少的是将RDF数据与类似于关系数据库的模式或XML中的DTD的质量保证联系起来的机制,特别是在将带有丰富的完整性约束集(如键或基数约束)的遗留数据转换为RDF时。针对这一缺点,我们提出了RDF数据描述语言(RDD),它使得有可能指定实例级的数据约束RDF。使这些约束显式化不仅有助于断言和维护数据质量,而且还为查询引擎开辟了新的优化机会,最重要的是,使用户和系统开发人员更容易制定查询。我们提出的设计目标,语法,和一个正式的,一阶逻辑为基础的RDD语义,并讨论消费关联数据的影响。
2013-12-06 cs.DB
RDF 1.1: Knowledge Representation and Data Integration Language for the Web
资源描述框架(RDF)可以看作是当今知识表示研究领域的一个解决方案。RDF语言具有对称特性,因为三元组中的主语和宾语可以互换使用。此外,RDF语言的规则性和对称性允许机器容易处理的知识表示,并且由于其结构类似于自然语言,因此对于人们来说是合理可读的。RDF为广义知识表示提供了一些有用的特性。由于它的标识符以IRI为基础,它的分布式特性自然会扩展到Web的大小。然而,它的使用往往是隐藏的视图,因此,是一个不太知名的知识表示框架。因此,我们总结了RDF v1.0和v1.1,以扩大其在知识表示社区中的受众。本文回顾了当前从关系数据库映射到RDF以及从XML映射到RDF的方法、工具和应用程序。我们讨论了RDF序列化,包括支持多个图的格式,我们分析了RDF压缩建议。最后,我们给出了RDF 1.1的一个总结性的形式化定义,它为具体化、空节点和蕴涵的建模提供了更多的见解。
2020-01-02 cs.DB
Optimizing Federated Queries Based on the Physical Design of a Data Lake
查询执行计划的优化对于减少查询执行时间是至关重要的。特别是在过去的几十年中,关系数据库的查询优化已经被深入研究。最近,资源描述框架(RDF)在Web上发布数据方面变得流行起来。因此,由不同数据模型(如RDF和关系数据库)组成的联邦得到了发展。这些联盟的一种类型是语义数据湖,其中每个数据源都保存在其原始数据模型中,并使用本体或受控词汇表进行语义注释。然而,在语义数据湖上进行联邦查询处理的最先进的查询引擎通常依赖于为RDF量身定制的优化技术。在本文中,我们提出了查询优化技术的指导下,考虑到数据湖的物理设计。语义分析是在Ontario之上实现的,Ontario是语义数据湖的SPARQL查询引擎。使用特定于源的语法,查询引擎能够通过利用关于关系数据库中的索引和规范化的知识来生成更有效的查询执行计划。我们表明,将数据湖的物理设计考虑在内的算法能够加快查询处理。
2020-03-23 cs.DB
SPARQL over GraphX
RDF数据模型链接来自异构域的数据的能力导致了RDF数据的爆炸式增长。因此,在大型RDF数据上评估SPARQL查询对于语义Web社区至关重要。然而,由于RDF数据的图形特性,在关系数据库和常见的数据并行系统中评估SPARQL查询需要大量的连接,并且效率低下。另一方面,诸如社交网络数据之类的本质上是图的数据集的复杂性已经导致数据库社区开发图-并行处理系统以有效地支持迭代图计算。在这项工作中,我们利用RDF数据的图形表示,并利用GraphX,一个新的图形处理系统的基础上Spark。我们提出了一个子图匹配算法,兼容GraphX编程模型来评估SPARQL查询。一些实验表明,系统的可扩展性,以处理大型数据集。
2017-01-11 cs.DB
Bridging the Technology Gap Between Industry and Semantic Web: Generating Databases and Server Code From RDF
尽管语义网领域取得了巨大的进步,但工业界很少采用语义网技术及其存储和查询概念。相反,通常部署关系数据库(RDB)来存储通过REST接口访问的业务关键型数据。然而,一些企业将极大地受益于语义Web相关的数据集,这些数据集通常用资源描述框架(RDF)表示。为了弥合这一技术差距,我们提出了一种全自动的方法,可以生成合适的RDB模型,并使用REST API来访问它们。在我们的评估中,从不同的RDF数据集生成的数据库进行检查和比较。我们的研究结果表明,数据库充分反映了他们的同行,而API是能够重现相当简单的SPARQL查询。确定了改进的潜力,例如,减少生成的数据库中的数据冗余。
2020-11-16 cs.DB
Efficient Exploration of Interesting Aggregates in RDF Graphs
随着大型开放数据越来越多地以RDF图的形式共享,帮助用户发现图中最有趣的方面的需求也越来越大,如果没有自动工具,这些方面通常很难掌握。我们考虑的问题,自动识别的k个最有趣的聚合查询,可以评估的RDF图,给定一个整数k和用户指定的兴趣函数。我们的问题从关系数据仓库中的分析出发,因为(i)在RDF图中,我们没有给出,但我们必须确定候选聚集的事实,维度和度量;(ii)在RDF数据中面对多值维度时有效评估多个聚集的经典方法。在这项工作中,我们提出了一个可扩展的端到端的框架,使识别和评估有趣的聚合的基础上,一个新的RDF兼容的单程算法,有效地评估格的聚合和一种新的早期停止技术(概率保证),可以修剪不感兴趣的聚合。使用真实图和合成图的实验证明了我们的框架在大的搜索空间中找到有趣的聚合的能力,我们的算法的效率(基于现有算法的类似管道的加速比高达2.9倍),以及随着数据大小和复杂性的增长的可扩展性。
2021-03-31 cs.DB
Estimating the Cardinality of Conjunctive Queries over RDF Data Using Graph Summarisation
估计基数(即,答案的数量)在RDF系统中是特别困难的:对RDF数据的查询是可导航的,因此往往涉及许多连接。我们提出了一个新的,原则性的基数估计技术的基础上图的总结。我们解释一个RDF图的摘要使用可能的世界语义和形式化的估计问题,计算预期的基数在所有RDF图表示的摘要,我们提出了一个封闭形式的公式计算的期望任意查询。我们还讨论了RDF图摘要的方法。最后,我们的经验表明,我们的基数技术是更准确,更一致的,往往由数量级,比最先进的。
2018-02-16 cs.DB
Enabling Fine-grained RDF Data Completeness Assessment
如今,越来越多的RDF数据在语义Web上可用。虽然语义Web通常本质上是不完整的,但在某些主题上,它已经包含了完整的信息,因此,查询可能会返回现实中存在的所有答案。在本文中,我们开发了一种技术来检查查询的完整性的基础上,RDF数据注释的完整性信息,考虑到特定于数据的推理,导致推理问题是$Π^P_2$完整的。然后,我们确定了一个实际相关的片段的完整性信息,适用于众包,以实体为中心的RDF数据源,如维基数据,我们开发了一个索引技术,允许规模的完整性推理维基数据规模的数据源。我们使用维基数据验证我们的框架的适用性,并开发COOL-WD,维基数据的完整性工具,用于注释维基数据的完整性声明和原因的完整性查询答案在维基数据。该工具可在http://cool-wd.inf.unibz.it/上获得。
2016-04-28 cs.DB
RDF-Hunter: Automatically Crowdsourcing the Execution of Queries Against RDF Data Sets
在过去的几年中,大量的RDF数据集已经在Web上可用。然而,由于RDF数据的半结构化性质,缺失值会影响针对此数据提出的查询的答案完整性。为了克服这一限制,我们提出了RDF-Hunter,一种新的混合查询处理方法,它将机器和人类计算结合在一起,对RDF数据执行查询。我们开发了一种新的质量模型和查询引擎,以使RDF-Hunter在飞行中决定查询的哪些部分应该通过传统的技术或人群计算执行。为了评估RDF-Hunter,我们针对DBpedia数据集创建了50个SPARQL查询的集合,使用我们的混合查询引擎执行它们,并分析了从人群中获得的结果的准确性。实验清楚地表明,整个方法是可行的,并产生可靠的查询结果,显着提高自动查询处理响应的完整性。
2015-03-10 cs.DB
VGStore: A Multimodal Extension to SPARQL for Querying RDF Scene Graph
Wangxuan Institute of Computer Technology (WICT), Peking University(北京大学王选计算机研究所);Beijing Institute for General Artificial Intelligence (BIGAI)(北京通用人工智能研究院)
语义Web技术已经成功地为许多RDF模型提供了丰富的数据表示方法。它还具有表示和存储多模态知识库(如多模态场景图)的潜在能力。然而,大多数现有的查询语言,特别是SPARQL,几乎没有探索隐含的多模态关系,如语义相似性,空间关系等,我们首先探讨了这个问题,通过组织一个大规模的场景图数据集,即Visual基因组,在RDF图数据库。基于所提出的RDF存储的多模态场景图,我们扩展了SPARQL查询以回答包含关于颜色、空间等的关系推理的问题。VGStore)展示了定制查询和显示多模态数据的有效性。
2022-09-07 cs.CL cs.DB
Strider-lsa: Massive RDF Stream Reasoning in the Cloud
基于语义标注的数据推理是流处理领域的一个新兴趋势,其目标是对一组连续查询产生合理而完整的答案。它通常是以在数据吞吐量和表达性推理的成本之间找到折衷为代价的。Strider-lsa提出了这样的权衡,并结合了一个可扩展的RDF流处理引擎与一个高效的推理系统。主要的推理任务是基于一个查询重写方法SPARQL,受益于智能编码的RDFS+(RDFS + owl:sameAs)本体元素。Strider-lsa在一家大型国际水管理公司的生产中运行,用于检测传感器流的异常。该系统沿着不同的维度和多个数据集进行评估,以强调其性能。
2017-08-22 cs.DB
Finding Minimum Connected Subgraphs with Ontology Exploration on Large RDF Data
在本文中,我们研究了以下问题:给定一个知识图谱(KG)和一组输入顶点(表示概念或实体)和边标签,我们的目标是找到最小的连通子图包含所有的输入。该问题在基于KG的搜索引擎和自然语言问答系统中起着关键作用,并且它是已知为NP难的Steiner树问题的自然扩展。我们提出了RECON,一个寻找近似答案的系统。RECON的目标是实现具有瞬时响应的高精度(即,亚秒/毫秒延迟),而无需诉诸昂贵的计算资源。此外,当由于概念和实体之间的断开而不存在答案时,RECON基于本体将输入细化为语义相似的输入,并尝试找到关于细化的输入的答案。我们对RECON进行了全面的实验评估。特别是,我们比较它与现有的五种方法找到近似斯坦纳树。我们在四个大型真实和合成KG上的实验表明,RECON的性能显着优于其竞争对手,并且占用的内存要小得多。
2020-10-14 cs.DB
RMLStreamer-SISO: an RDF stream generator from streaming heterogeneous data
流推理查询语言(如CQELS和C-SPARQL)支持RDF流上的查询应答。不幸的是,目前缺乏有效的RDF流生成器来为RDF流推理器提供支持。最先进的RDF流生成器在它们可以处理的流数据的速度和量方面受到限制。为了以可伸缩的方式高效地生成RDF流,我们扩展了RMLStreamer,使其也可以从动态异构数据流生成RDF流。本文介绍了一种可扩展的解决方案,它依赖于一个动态窗口的方法来生成RDF流,具有低延迟和高吞吐量的多个异构数据流。我们的评估表明,我们的解决方案通过实现毫秒级延迟(与最先进的解决方案所需的秒相比)、所有工作负载的恒定内存使用以及约70,000条记录/秒的可持续吞吐量(与最先进的解决方案所需的10,000条记录/秒相比)来超越最先进的解决方案。这打开了对大量数据流的访问,以便与语义Web集成。
2022-10-26 cs.DB
MORTAL: A Tool of Automatically Designing Relational Storage Schemas for Multi-model Data through Reinforcement Learning
考虑到关系数据库在处理安全性、用户认证、查询优化等方面具有强大的能力,若干商业和学术框架重用关系数据库来存储和查询半结构化数据(例如,XML、JSON)或图形数据(例如,RDF,属性图)。然而,这些工作集中于使用RDBMS管理上述数据模型之一。也就是说,它没有利用底层工具来自动生成用于存储多模型数据的关系模式。在这个演示中,我们提出了一种新的基于强化学习的工具,称为MORTAL。具体来说,给定包含不同数据模型的多模型数据和一组查询,它可以自动设计一个关系模式来存储这些数据,同时具有很好的查询性能。为了清楚地说明它,我们围绕着以下模块:基于加载的多模型数据生成初始状态,通过设置参数来影响学习过程,通过提供语义约束来控制生成的关系模式,通过指定查询来提高关系模式的查询性能,以及当用户调整生成的关系模式时显示查询性能和存储消耗的高度交互式界面。
2021-09-01 cs.DB
WaterFowl, a Compact, Self-indexed RDF Store with Inference-enabled Dictionaries
在本文中,我们提出了一种新的方法-称为WaterFowl -用于存储RDF三元组,解决了大数据和语义Web背景下的一些关键问题。我们的原型的架构,主要是基于使用简洁的数据结构,使三元组的表示在一个自我索引,紧凑的方式,而不需要在查询应答时解压缩。此外,它适合于有效地支持RDF和RDFS蕴涵制度感谢本体概念和属性的优化编码,不需要一个完整的推理物化或广泛的查询重写算法。这一办法意味着在数据编制过程的早期就对知识库的术语部分和断言部分加以区分,在将数据存储到我们的结构中之前对数据进行预处理。本文介绍了这个系统的完整架构,并提出了一些初步的结果进行评估,我们的第一个原型。
2014-01-20 cs.DB
Datalog Materialisation in Distributed RDF Stores with Dynamic Data Exchange
几个集中式RDF系统支持数据库推理的预计算和存储所有逻辑上隐含的三元组使用著名的并行算法。大型RDF数据集通常超过集中式RDF系统的容量,常见的解决方案是将数据集分布在无共享服务器的集群中。虽然许多分布式查询应答技术是已知的,但对任意数据库规则的分布式主动评估却不太了解。事实上,大多数分布式RDF存储要么不支持推理,要么只能处理有限的数据库片段。在本文中,我们将Potter等人[12]的分布式查询应答的动态数据交换方法扩展到一个推理算法,该算法可以处理任意规则,同时保留重要的属性,例如推理的不重复性。我们还表明,经验表明,我们的算法规模以及非常大的RDF数据集
2019-06-24 cs.DB cs.DC cs.LO
LiteMat: a scalable, cost-efficient inference encoding scheme for large RDF graphs
链接数据源的数量和链接开放数据图的大小每天都在增长。因此,语义RDF服务越来越多地面临各种“大数据”问题。推理存在时的查询处理就是其中之一。例如,为了完成SPARQL查询的答案集,RDF数据库系统通过耗时的查询重写算法或耗时的数据物化解决方案来评估语义RDFS关系(subPropertyOf,subClassOf)。为了减少内存占用并简化大型数据集的交换,这些系统通常应用字典方法,通过用整数值替换资源标识符(IRI)、空白节点和文字来压缩三倍数据大小。在这篇文章中,我们提出了一个结构化的资源识别方案,使用一个聪明的编码的概念和属性层次结构,有效地评估主要的常见RDFS蕴涵规则,同时最大限度地减少三重物化和查询重写。我们将展示如何通过可扩展的并行算法计算这种编码,并直接在Apache Spark框架上实现。我们的编码方案的效率是强调的合成和现实世界的数据集进行评估。
2015-10-12 cs.DB
Publication and Maintenance of Relational Data in Enterprise Knowledge Graphs (Revised Version)
TechLab, Departamento de Ciências e Tecnologias, Universidade Autónoma de Lisboa(里斯本自治大学科技与技术学院);Departmento de Informatica, Pontifícia Universidade Católica do Rio de Janeiro(里约热内卢天主教大学计算机系);Departamento de Computação, Universidade Federal do Ceará(塞阿拉联邦大学计算系)
本文提出了一种正式框架,用于构建和维护企业知识图谱中关系数据的物质化视图,以提高查询性能和数据可用性。
2026-03-05 cs.DB
Natural Language Aggregate Query over RDF Data
基于RDF数据的自然语言问答受到了广泛的关注。虽然已经有几个研究处理了少量的聚合查询,但它们有许多限制(即,交互式信息、受控问题或查询模板)。到目前为止,还没有自然语言查询机制可以处理RDF数据上的一般聚合查询。因此,我们提出了一个框架称为NLAQ(自然语言聚合查询)。首先,我们提出了一种新的算法来自动理解用户的查询意图,其中主要包括语义关系和聚合。其次,为了在查询意图和RDF数据之间建立更好的桥梁,我们提出了一种扩展的释义词典ED来获得更多的语义关系的候选映射,并引入了一种谓词类型的邻接集PT来过滤语义关系和基本图模式中不合适的候选映射组合。第三,我们为每个聚合类别设计了合适的翻译方案,并有效地区分聚合项是否为数字,这将极大地影响聚合结果。最后,我们在真实数据集上进行了大量的实验(QALD基准和DBpedia),实验结果表明我们的解决方案是有效的。
2017-10-22 cs.DB
On the Evaluation of RDF Distribution Algorithms Implemented over Apache Spark
以有效的方式查询非常大的RDF数据集需要复杂的分发策略。最近提出了几种创新的解决方案,用于优化预定义查询工作负载的数据分布。本文对五种具有代表性和互补性的分布方法进行了深入的分析和实验比较。为了获得公平的实验结果,我们使用Apache Spark作为一个通用的并行计算框架,通过使用Spark API重写相关算法。Spark在容错、高可用性和可扩展性方面提供了保证,这些在此类系统中至关重要。我们不同的实现的目的是突出的基本实现独立的数据准备,负载均衡,数据复制,并在一定程度上查询应答的成本和性能方面的每种方法的特点。所提出的措施是通过测试每个系统上的一个合成和一个现实世界的数据集查询工作负载具有不同的特性和不同的分区约束。
2015-07-08 cs.DB
A Flexible Framework for Defining, Representing and Detecting Changes on the Data Web
Web数据的动态性带来了大量的问题,涉及到识别,计算和管理的不断发展的版本和相关的变化。在本文中,我们考虑RDF数据集的变化识别问题,即,识别并在可能的情况下为RDF数据集的一个版本到另一个版本的更改提供语义的问题。尽管我们的重点是RDF,但我们的方法足够通用,可以涵盖可以用RDF编码的不同数据模型,例如关系模型或多维模型。事实上,我们提出了一个灵活的,可扩展的和数据模型无关的方法来定义的变化,可以捕捉不同的数据模型和应用程序的特点和需求,而正式的强大,由于满足的完整性和明确性的属性。此外,我们提出了一个本体的变化存储检测到的变化,允许自动化处理和分析的变化,跨快照查询(跨越不同的版本),以及涉及的变化和数据的查询。为了检测变化并填充所述本体,我们提出了一种可定制的检测算法,该算法适用于不同的数据模型和需要检测定制的、用户定义的变化的应用。最后,我们为不同的数据模型提供了我们的框架的概念验证应用和评估。
2015-01-12 cs.DB
Prioritized Repairing and Consistent Query Answering in Relational Databases
不一致数据库中的一致查询答案是在每次(最小)修复中获得的答案。通过以所有可能的方式解决所有冲突来获得修复。然而,用户通常能够提供关于应当如何解决冲突的偏好。我们在这里调查的框架首选一致的查询答案,其中用户的喜好是用来缩小一组首选的维修。我们公理化理想的性能首选维修。我们提出了三个不同的家庭的首选维修和研究他们的相互关系。最后,我们调查的复杂性首选修复和计算首选一致的查询答案。
2011-10-07 cs.DB
PHD-Store: An Adaptive SPARQL Engine with Dynamic Partitioning for Distributed RDF Repositories
许多存储库使用通用的RDF模型来发布数据。存储库通常是分布式的并且在地理上是远程的,但是数据是互连的(例如,语义网),并通过SPARQL等语言进行全局查询。由于网络成本和查询的性质,执行时间可能非常高。当前的解决方案试图通过在预处理阶段重新分布所有数据来最小化网络成本,但是存在两个缺点:(i)重新分布是基于可能不会使许多未来查询受益的统计学的;以及(ii)即使对于中等大小的数据集,预处理阶段也非常昂贵。在本文中,我们提出了PHD-Store,一个SPARQL引擎的分布式RDF存储库。我们的系统不假设任何特定的初始数据放置,也不需要验证;因此,它最大限度地减少了启动成本。最初,PHD-Store使用可能较慢的分布式半连接算法来回答查询,但通过增量地重新分配频繁访问的数据来动态地适应查询负载。重分发的方式是,未来的查询可以受益于快速的基于散列的并行执行。我们对合成数据和真实数据的实验验证了PHD-Store可以扩展到非常大的数据集;许多存储库;收敛到与现有方法相当或更好的分区质量;并且执行大型查询负载的速度比我们的竞争对手快1到2个数量级。
2014-05-20 cs.DB
Pneuma-Seeker: Relational Reification of Information Needs for Agentic Data Discovery and Preparation
The University of Chicago(芝加哥大学)
Pneuma-Seeker通过关系重构机制,将AI代理与人类工作对齐,提升数据处理的准确性和可信赖性。
2026-11-01 cs.DB
Priority-Based Conflict Resolution in Inconsistent Relational Databases
我们在这里研究的影响,优先级冲突解决不一致的关系数据库。我们扩展了维修和一致的查询答案的框架。我们提出了一组假设,一个扩展的框架应该满足并考虑两个实例的框架:(本地首选)l-维修和(全球首选)g-维修。我们研究了它们之间的关系和修复的计算复杂性的修复检查和一致的查询答案的每一个概念的影响。
2005-06-14 cs.DB
FedQPL: A Language for Logical Query Plans over Heterogeneous Federations of RDF Data Sources (Extended Version)
RDF数据源的联合在查询无法单独从一个数据源获得的答案和见解时提供了巨大的潜力。规划在这样的联合上执行查询的挑战在于,联合在由联合成员提供的数据访问接口的类型方面可能是异构的。这一挑战在文献中没有得到太多关注。本文提供了一个坚实的正式基础,为未来的方法,旨在解决这一挑战。我们的主要概念的贡献是一个形式语言表示查询执行计划,此外,我们确定了这个语言的片段,可以用来捕捉一个给定的查询的不同部分选择相关的数据源的结果。作为技术贡献,我们表明,这个片段是更有表现力的比现有的源选择方法,这有效地突出了这些方法的固有局限性所支持的。此外,我们表明,源选择问题是NP-难的,在$Σ_2^\mathrm{P}$,我们提供了一套全面的重写规则,可用作查询优化的基础。
2020-10-02 cs.DB
ROSIE: Runtime Optimization of SPARQL Queries Using Incremental Evaluation
关系数据库在资源描述框架(RDF)数据管理中得到了广泛的应用。为了有效地进行SPARQL查询评估,需要重新考虑遗留查询优化器。其中一个重要的问题是如何解决由于基数估计容易出错而导致的查询计划不理想的问题。考虑到RDF数据的无模式特性和SPARQL查询的Join密集特性,在实际评估的查询是昂贵的甚至是不可行的之前确定最佳执行顺序,特别是对于大规模数据的复杂查询。在本文中,我们提出了ROSIE,一个迭代优化框架,迭代地重新优化SPARQL查询计划,根据实际基数来自增量部分查询评估。通过引入一种基于启发式的计划生成方法,以及一种在运行时检测基数估计错误的机制,ROSIE以一种有效的方式缓解了有偏基数传播的问题,从而对复杂的查询评估更具弹性。在真实数据和基准数据上进行的大量实验表明,与最先进的技术相比,ROSIE在复杂查询上的表现一直优于几个数量级。
2016-05-23 cs.DB
Resolution-based Query Answering for Semantic Access to Relational Databases: A Research Note
我们解决的问题,语义查询的关系数据库(RDB)模知识库使用非常有表现力的知识表示形式主义,如完整的一阶逻辑或其各种片段。我们建议使用一阶逻辑(FOL)推理计算示意性的答案演绎查询,这些示意性的答案使用传统的关系DBMS的后续实例化。在这篇研究报告中,我们概述了这种技术的主要思想--使用数据库的抽象和约束子句来获得示意性答案。所提出的方法可以直接用于常规RDB,包括遗留数据库。此外,我们提出它作为一个有效的Web规模的语义搜索技术的潜在基础。
2009-05-03 cs.DB cs.LO
Distributed Semantic Web Data Management in HBase and MySQL Cluster
网络上的各种计算和数据资源正在通过机器可解释的语义描述来增强,以促进更好的搜索、发现和集成。这种相互关联的元数据构成了语义Web,其数量可能会增加Web的规模。语义Web数据的有效管理(使用W3C的资源描述框架(RDF)表示)对于支持新的数据密集型、启用语义的应用程序至关重要。在这项工作中,我们研究和比较两种方法来分布式RDF数据管理基于新兴的云计算技术和传统的关系数据库聚类技术。特别是,我们设计了分布式RDF数据存储和查询方案HBase和MySQL集群和进行实证比较,这些方法的商品机器集群使用的数据集和查询从第三种来源的挑战和利哈伊大学基准。我们的研究揭示了有趣的模式,查询评估,表明我们的算法是有前途的,并表明云计算具有很大的潜力,可扩展的语义Web数据管理。
2011-05-11 cs.DB cs.PF
Ontology-based industrial data management platform
关系存储和noSQL存储是为了快速处理具有稳定结构的大型数据集而开发的,而本体则用于表示有限大小的复杂和动态信息集。在工业应用中,经常需要维护从各种来源合并的大型数据仓库。本体是有用的,表示该数据的结构,但RDF三重存储是不是很适合存储it. We提供了一种方法和一个系统,允许使用的机会,快速存储引擎以及基于本体的数据管理工具,包括SPARQL查询的灵活性。该系统实现了一个多模型的数据抽象层,它允许工作的数据,如果它是位于RDF三元组存储,执行SPARQL查询,它和ap-plies SHACL的约束和规则。
2021-03-09 cs.DB cs.SE
Answering Non-Monotonic Queries in Relational Data Exchange
关系数据交换是根据源数据和目标数据之间的关系规范将关系数据从源模式转换为目标模式的问题。其中一个基本问题是如何回答针对目标数据提出的查询。虽然已经达成共识的确定性语义单调查询,这个问题变得更加困难的非单调查询。在过去的几年中,已经提出了几种非单调查询的语义。本文提出了一种新的非单调查询语义,称为GCWA * 语义。它的灵感来自演绎数据库领域的语义。我们表明,GCWA *-语义符合标准的开放世界语义的单调查询,我们进一步探讨(数据)的复杂性下的GCWA *-语义评估非单调查询。特别是,我们引入了一类模式映射的通用查询可以评估下的GCWA *-语义在多项式时间(数据复杂性)的核心的通用解决方案。
2011-09-01 cs.DB cs.LO
The Table Says Otherwise: Testing LLMs with Counterfactual Relational Data
Purdue University(普渡大学)
提出ContraTable基准,通过配对原始与反事实数据库测试LLM是否基于表格回答,发现模型在复杂推理时易依赖先验知识,强调评估应关注对提供数据的忠实度。
2026-06-23 cs.DB
Fast Search for Dynamic Multi-Relational Graphs
通过处理不断增长的社交媒体或新闻流来应对时间紧迫的事件是一项重大的技术挑战。这些数据源中的许多可以建模为多关系图。对于关系数据库,已经广泛地研究了用于搜索通常在监视应用中出现的罕见事件的连续查询或技术。这项工作致力于回答自然出现的问题:我们如何在动态图上有效地执行连续查询?本文提出了一种精确的子图搜索算法,利用时间特性的代表性查询在线新闻或社交媒体监测。该算法是基于一种新的数据结构称为子图连接树(SJ-Tree),利用底层的多关系图的结构和语义特征。本文最后在几个真实世界的数据集上进行了广泛的实验,证明了这种方法的有效性。
2013-06-11 cs.DB
S2CTrans: Building a bridge from SPARQL to Cypher
本文提出了 S2CTrans 框架,基于图关系代数实现了从 SPARQL 到 Cypher 的翻译,在保持语义一致性的同时,有效提升了使用 SPARQL 查询属性图数据库的互操作性与效率。
2023-04-02 cs.DB
Consistent query answers on numerical databases under aggregate constraints
研究了从违反数值型数据完整性约束的关系数据库中提取一致性信息的问题。特别是,聚合约束定义为线性不等式聚合和查询输入数据被认为是。利用的概念,在属性值水平的一致的更新集的修复,并提供了几个复杂的问题,修复数据和计算一致的查询答案的表征。
2005-05-23 cs.DB
Belnap-Dunn logic and query answering in inconsistent databases with null values
本文提出一阶Belnap-Dunn逻辑扩张BD⊃,F,用于关系数据库理论,在不修复数据库的情况下定义不一致或含空值数据库上查询的一致回答,且各回答概念可判定。
2023-07-01 cs.DB cs.LO
PrivLava: Synthesizing Relational Data with Foreign Keys under Differential Privacy
针对多关系数据合成中的隐私保护与外键相关性建模难题,提出首个在差分隐私下合成带外键关系数据的解决方案 PrivLava,利用图模型和潜在变量捕捉关系间相关性,显著提升了聚合查询准确性。
2023-04-10 cs.DB
Paraconsistent logic and query answering in inconsistent databases
本文提出用亚相容逻辑LPQ$^{\supset,\mathsf{F}}$处理不一致数据库中的查询,无需数据库修复即可定义一致答案,并给出序列演算证明系统以支持证明搜索算法。
2023-03-11 cs.DB cs.LO
GSmart: An Efficient SPARQL Query Engine Using Sparse Matrix Algebra -- Full Version
由于越来越多地使用RDF对数据进行编码,在大型RDF数据集上高效执行SPARQL查询是一个非常有趣的话题。大多数工作都遵循关系或基于图的方法。在本文中,我们提出了一种替代查询引擎,称为gSmart,基于矩阵代数。这种方法可以潜在地更好地利用我们所针对的高性能异构体系结构的计算能力。gSmart包括:(1)基于分组关联边的SPARQL查询评估,其中使用一系列矩阵运算一起评估顶点的所有未评估边,以充分利用查询约束并缩小解空间;(2)图查询规划器,确定查询图中顶点的评估顺序;(3)存储和计算高效的数据结构,包括用于RDF数据的轻量稀疏矩阵(LSpM)存储和用于评估结果的基于树的表示;(4)多级数据划分器,用于将基于事件边的查询评估映射到异构HPC体系结构中并开发多级并行性;以及(5)并行执行器,其使用细粒度处理方案、预修剪技术以及树修剪技术,以降低节点间通信并实现高吞吐量。gSmart在CPU+GPU HPC架构上的评估显示,与单节点机器上现有的SPARQL查询引擎相比,执行时间加速高达46920.00倍。此外,天河一号A超级计算机上的gSmart从2个CPU+GPU节点扩展到16个节点,最大加速比为6.90倍。
2021-06-26 cs.DB cs.DC
ReStore -- Neural Data Completion for Relational Databases
传统的OLAP方法假设所有表的数据都是完整的。然而,如果表不完整且缺少元组,经典方法就会失败,因为SQL聚合查询的结果可能与在完整数据集上计算的结果显着不同。今天,处理缺失数据的唯一方法是手动完成数据集,这不仅需要很高的工作量,而且还需要良好的统计技能来确定数据集何时真正完成。在本文中,我们提出了一种自动化的方法,关系数据完成称为ReStore使用一类新的(神经)模式结构的完成模型,能够合成类似于丢失的元组的数据。正如我们在评估中所显示的那样,与直接使用不完整的数据进行查询回答相比,这有效地帮助将聚合查询的相对错误减少了390%。
2021-05-26 cs.DB
From Questions to Effective Answers: On the Utility of Knowledge-Driven Querying Systems for Life Sciences Data
我们比较了两种不同的方法来查询数据的背景下,生命科学。第一种方法利用传统的数据库来存储数据,并利用直观的基于表单的界面来方便数据的查询。这些接口可以被看作是实现了一组“预先录制”的查询,通常使用的生命科学研究人员,我们研究。第二种方法是基于语义Web技术和知识(模型)驱动。它利用了一个大型的OWL本体和与以前相同的数据集,但作为本体概念的RDF实例相关联。提供了一个直观的界面,允许制定基于RDF三元组的查询。这两种方法正在被一个细胞生物学家团队在日常研究活动中并行使用,目的是逐步用知识驱动的方法取代传统方法。这为我们提供了一个宝贵的机会来比较和定性评估这两种方法。我们描述了知识驱动方法与传统的数据访问方式相比的几个好处,并强调了一些局限性。我们相信,我们的分析不仅明确突出了语义Web技术在我们的上下文中的具体好处和局限性,但也有助于有效的方法,翻译一个问题,在研究人员的头脑到精确的计算查询的意图,从数据中获得有效的答案。虽然研究人员经常假设语义Web技术的好处,我们明确地说明这些在实践中。
2012-10-01 cs.DB cs.IR
DAGE: DAG Query Answering via Relational Combinator with Logical Constraints
University of Stuttgart(斯图加特大学);Bosch Center for Artificial Intelligence(博世人工智能中心);Stanford University(斯坦福大学);University of Southampton(南安普顿大学)
本文提出DAGE方法,通过可训练操作符合并DAG查询中的多条路径,以处理更一般的DAG查询,并引入新基准,实验表明其优于现有方法。
2025-02-12 cs.AI cs.DB
Fast and Simple Relational Processing of Uncertain Data
本文介绍了U-关系,一个简洁的和纯粹的关系表示系统的不确定数据库。U-关系支持属性级的不确定性,使用垂直分区。如果我们考虑通过计算可能答案的操作扩展的正关系代数,则逻辑级别上的查询可以被转换为U-关系表示上的单个关系代数查询并被评估。翻译方案基本上保留了查询的大小,在操作的数量方面,特别是连接的数量。现成的关系数据库管理系统中采用的标准技术对于优化和处理U关系查询是有效的。在我们的实验中,我们表明,查询评估的U-关系规模的大量数据具有高度的不确定性。
2007-07-11 cs.DB cs.PF
General Space-Time Tradeoffs via Relational Queries
本文利用关系代数和连接查询框架统一研究布尔合取查询的时空权衡,提出通用算法恢复并改进多个问题的权衡,否定两个已有下界猜想,并证明星形与路径查询的新条件时空下界。
2023-08-13 cs.DB cs.DS
A Trichotomy in the Complexity of Counting Answers to Conjunctive Queries
合取查询是基本的和大量研究的数据库查询;在关系代数中,它们是选择-项目-连接查询。在这篇文章中,我们研究计数的基本问题,给定一个合取查询和一个关系数据库,查询的答案在数据库上的数量。特别是,我们研究了这个问题的复杂性相对于合取查询集。我们提出了一个分割定理,它基本上表明,这个问题的一组合取查询是易处理的,相当于参数化CLIQUE问题,或硬的参数化计数CLIQUE问题;描述这些情况发生的标准是简单地说,在图论条件。
2015-01-21 cs.CC cs.DB cs.LO
Certain Answers to a SPARQL Query over a Knowledge Base (extended version)
Free University of Bozen-Bolzano(博尔扎诺自由大学)
本体中介查询(OMQA)是一个完善的框架,用于回答RDFS或OWL知识库(KB)上的查询。OMQA最初是为联合查询(UCQ)设计的,并且基于某些答案。最近,OMQA已经扩展到SPARQL查询,但据我们所知,在这个方向上所做的努力(无论是在文献中,或所谓的SPARQL蕴涵制度)是能够捕捉到某些答案UCQ和SPARQL的标准解释在一个普通的图。我们将这些形式化为任何语义都要满足的要求,旨在调和某些答案和SPARQL答案,并定义了三个额外的要求,概括为知识库的SPARQL答案的一些基本属性。然后,我们表明,可以定义一个语义,满足所有要求SPARQL查询与SELECT,UNION和OPTIONAL,和DL与规范模型属性。我们还调查了在这样的语义DL-Lite R KB的查询回答的组合复杂性。特别是,我们表明不同的SPARQL片段,已知的上界查询回答一个普通的图相匹配。
2019-11-21 cs.AI cs.DB