Optimizing Traversal Queries of Sensor Data Using a Rule-Based Reachability Approach
本文提出基于规则的可达性标准,利用链接数据文档中超媒体描述中的逻辑语句剪除不相关数据源,并通过修改Comunica引擎验证可显著减少HTTP请求和查询执行时间而不损失完整性。
2024-08-30 cs.DB
A Stitch in Time Saves Nine -- SPARQL querying of Property Graphs using Gremlin Traversals
知识图谱在过去几年中变得流行,并且经常依赖于资源描述框架(RDF)或属性图(PG)作为底层数据模型。然而,这两种数据模型的查询语言--用于RDF的SPARQL和用于属性图遍历的Gremlin--缺乏互操作性。我们提出Gremlinator,一个小说SPARQL Gremlin翻译。Gremlinator将SPARQL查询转换为Gremlin遍历,以便在图数据库上执行图模式匹配查询。这允许使用W3 C标准化的SPARQL查询语言访问和查询各种各样的图数据管理系统(DMS),并避免新的图查询语言的学习曲线。Gremlin是一种与系统无关的遍历语言,覆盖OLTP图形数据库或OLAP图形处理器,因此使其成为支持互操作性wrt的理想选择。查询Graph DMS。我们提出了一个全面的经验评估Gremlinator,并证明其有效性和适用性,通过执行SPARQL查询上领先的图形存储Neo4J,Sparksee和Apache TinkerGraph和比较的性能与RDF存储Virtuoso,4Store和JenaTDB。我们的评估表明,Gremlin同行的SPARQL查询,特别是对于星形和复杂的查询获得了可观的性能增益。
2018-02-12 cs.DB cs.PF
Traveling with a Map: Reducing the Search Space of Link Traversal Queries Using RDF Shapes
Ghent University – imec(根特大学–imec)
针对去中心化网络中LTQP执行慢、成本高的问题,提出基于RDF形状的剪枝方法,可显著优化数据模型选择性查询的处理效率。
2026-10-09 cs.DB
Index-based, High-dimensional, Cosine Threshold Querying with Optimality Guarantees
给定一个向量数据库,余弦阈值查询返回数据库中与给定阈值θ以上的查询向量具有余弦相似性的所有向量。这些查询在许多应用中自然出现,例如文档检索、图像搜索和质谱分析。本文认为,这种查询的有效评估,提供新的最优性保证,并表现出良好的性能在真实的数据集。我们以Fagin著名的阈值算法(TA)为出发点,该算法可用于回答余弦阈值查询:在预处理期间首先从数据库向量构建倒排索引;在查询时,该算法部分遍历索引以收集一组候选向量,以便稍后验证θ-相似性。然而,直接以原始形式应用TA会错过重要的优化机会。事实上,我们首先表明,一个可以利用的事实,即可以假设向量被规范化,以获得一个改进的,紧停止条件的索引遍历,并有效地计算它递增。然后,我们表明,可以利用数据偏斜度,以获得更好的遍历策略。特别是,我们展示了一种新的遍历策略,利用一个共同的数据偏态条件,在多个领域,包括质谱,文档和图像数据库。我们表明,在偏度假设下,新的遍历策略具有强大的,接近最优的性能保证。本文中开发的技术是相当普遍的,因为它们可以应用于一个大类的相似性函数超越余弦。
2019-01-10 cs.DB
Guided Link-Traversal-Based Query Processing
基于链接的查询处理(LTBQP)是一种通过从一组种子文档开始评估数据Web上的查询的技术,这些种子文档通过以下超链接动态扩展。与静态源集合上的查询评估相比,LTBQP由于所需的网络请求的数量而明显较慢。此外,由于来源是动态选择的,因此人们对结果的相关性和可信度感到关切。为了解决这两个问题,我们提出了引导LTBQP,一种技术,其中有关文档链接结构和内容策略的信息传递到查询处理器。因此,处理器可以通过仅遵循相关链接来修剪文档的搜索树,并且通过限制针对什么种类的内容考虑哪些文档来将结果集限制为期望的结果。在这篇探索性的论文中,我们在高层次上描述了这项技术,并概述了它的一些应用。我们认为,这样的指导可以使LTBQP在分散的环境中,数据分布在不同级别的用户信任的文档中的一个有价值的查询策略。
2020-05-03 cs.DB cs.IR cs.SI
A Prospective Analysis of Security Vulnerabilities within Link Traversal-Based Query Processing (Extended Version)
围绕大数据驱动平台的社会和经济后果增加了对去中心化解决方案的需求。然而,在更加分散的环境中检索和查询数据需要根本不同的方法,其属性尚未得到很好的理解。基于链接遍历的查询处理(LTQP)是一种用于在分散式数据网上进行查询的技术,其中客户端查询引擎通过遍历文档之间的链接来发现数据。由于分散式环境由于其非集中控制的性质而可能不安全,因此需要客户端LTQP查询引擎能够抵抗针对查询引擎的主机或查询发起者的个人数据的安全威胁。因此,我们对LTQP的潜在安全漏洞进行了分析。本文概述了相关领域的安全威胁,并以此作为识别10种LTQP安全威胁的灵感。每一种威胁都有解释,并附有一个例子,提出了一种或多种缓解途径。最后,我们为LTQP查询引擎开发人员和数据发布者提出了几个具体的建议,作为缓解这些问题的第一步。通过这项工作,我们开始填补未知数,以便在分散的环境中进行查询。除了未来在安全方面的工作外,还需要进行更广泛的研究,以发现真正实现权力下放所缺少的组成部分。
2022-10-10 cs.CR cs.DB
Loom: Query-aware Partitioning of Online Graphs
与一般的图处理系统一样,在机器集群上划分数据提高了图数据库管理系统的可伸缩性。然而,这些系统将在执行查询工作负载期间产生额外的网络成本,由于分区间遍历。与工作负载无关的分区算法通常最小化任何边缘跨越分区边界的可能性。然而,这些分区器相对于许多工作负载是次优的,特别是查询,其可能需要更频繁地遍历分区间边缘的特定子集。此外,它们在很大程度上不适合在动态的、不断增长的图形上进行增量操作。我们提出了一个新的图分区算法,织机,操作上的流图更新,并不断分配新的顶点和边缘的分区,考虑到查询工作量的图形模式表达式及其相对频率。首先,我们捕捉最常见的模式,边遍历时发生的查询。然后,我们比较子图,目前自己在图形更新流中递增,对这些常见的模式。最后,我们尝试将每个匹配分配到单个分区,减少频繁遍历的子图中的分区间边缘的数量,并提高平均查询性能。Loom在几个大型测试图上进行了广泛的评估,这些测试图具有现实的查询工作负载和各种图形更新顺序。我们证明,给定的工作量,我们的原型产生分区的质量显着优于现有的流图分割算法茴香和LDG。
2017-11-17 cs.DB
Opportunities for Shape-based Optimization of Link Traversal Queries
本文针对链接遍历查询处理(LTQP)性能不足的问题,提出了一种基于RDF数据形状映射的源选择算法,初步实验表明该方法在真实查询中可将执行时间减少80%、遍历链接数减少97%,为基于形状的查询优化开辟了新机遇。
2024-08-28 cs.DB
A Framework for Federated SPARQL Query Processing over Heterogeneous Linked Data Fragments
链接数据片段(LDFs)是指允许访问和查询Web上的知识图谱的Web接口。这些接口(如SPARQL端点或Triple Pattern Fragment服务器)在它们可以计算的SPARQL表达式和它们提供的元数据方面有所不同。已经提出了客户端查询处理方法,并且这些方法被定制以评估各个接口上的查询。此外,联邦查询处理集中在具有单一类型LDF接口(通常是SPARQL端点)的联邦上。在这项工作中,我们解决的挑战,SPARQL查询处理联邦异构LDF接口。为此,我们形式化的概念联邦的关联数据片段,并提出了一个框架,联邦查询异构联邦不同LDF接口。该框架包括查询分解,查询规划,和适应不同LDF接口的特殊性的物理操作符。此外,我们提出了一种方法,我们的框架的每个组成部分,并评估他们在著名的FedBench基准的实验研究。结果表明,通过设计这些接口感知的方法,利用联邦中的异构接口的能力,实现了性能的大幅改善。
2021-02-26 cs.DB
LDQL: A Query Language for the Web of Linked Data (Extended Version)
链接数据网由大量相互链接的RDF文档组成,形成了一个巨大的分布式语义数据库。有效地查询这种分布式数据源是语义Web领域的一个重要的开放问题。在本文中,我们提出了LDQL,一个声明性的语言来查询Web上的关联数据。LDQL的一个新颖之处在于它分别表示(i)描述预期查询结果的模式,以及(ii)选择用于计算结果的数据源的Web导航路径。我们提出了一个正式的语法和语义,证明等价规则,并研究语言的表达能力。特别是,我们表明,LDQL是严格更有表现力的查询形式主义,以前已经提出了在Web上的关联数据。高表达性允许LDQL定义在Web上完全执行在计算上不可行的查询。我们正式研究这个问题,并提供了一个语法充分条件,以避免这个问题,满足这个条件的查询,确保有一个程序,以有效地评估在Web上的关联数据。
2015-07-19 cs.DB
SPARQL for a Web of Linked Data: Semantics and Computability (Extended Version)
万维网目前正在演变成一个链接数据网,其中内容提供方发布和链接数据,就像他们在过去20年中对超文本所做的那样。虽然声明性查询语言SPARQL实际上是用于从Web查询事先定义的数据集,但不存在用于查询关联数据Web本身的语言。然而,很自然地会问SPARQL是否也适合这样的目的。在本文中,我们正式调查的适用性SPARQL作为一个查询语言在Web上的关联数据。特别是,我们研究了两个查询模型:1)一个完整的Web语义的范围内的查询是一套完整的链接数据在Web上和2)一个家庭的可达性为基础的语义,限制范围的数据,是通过遍历某些数据链路。对于这两种模式,我们讨论的属性,如单调性和可计算性,以及查询的影响,是无限大的,由于数据生成服务器的Web。
2012-04-06 cs.DB
Querying Linked Data: how to ensure user's quality requirements
在分布式、动态的Web框架中,数据质量是一个很大的挑战。链接开放数据(LOD)提供了大量的数据,其质量难以控制。质量本质上是一个使用问题,因此消费者需要指定对其使用有意义的质量规则的方法,以便只获得符合这些规则的数据。我们提出了一个用户端的查询框架,配备了一个检查器的约束和信心水平的数据所产生的LOD提供者的查询评估。我们详细介绍了它的理论基础,我们提供的实验结果表明,检查额外的成本是合理的,并在查询中的约束集成进一步提高了显着。
2021-07-13 cs.DB
Improving the recall of decentralised linked data querying through implicit knowledge
除了抓取、索引和集中查询RDF数据之外,链接数据原则还允许通过取消引用URI来动态处理SPARQL查询。所提出的用于关联数据的链接遍历查询方法具有最新结果和分散(即,客户端)执行,但是在解引用文档中可用的不完整知识上操作,从而影响召回。在本文中,我们研究如何内隐知识-特别是通过owl:sameAs和RDFS推理发现-可以提高在这种情况下的召回。我们从一个大型抓取的实证分析开始,这个抓取包含4 m个关联数据源和1.1 g个四元组:我们(1)通过只考虑可解引用的信息来测量预期召回率,(2)通过考虑rdfs来测量召回率的提高:见以前的建议。我们进一步提出并衡量了额外考虑(3)owl:sameAs链接和(4)应用轻量级RDFS推理(特别是ρDF)的影响,以找到更多的结果,依赖于静态模式信息。我们评估我们的方法在我们的爬行实时查询。
2011-09-01 cs.DB
The Context Model: A Graph Database Model
提出一种以有向无环图为基本结构的图数据库上下文模型,在统一函数代数框架内支持数据管理和分析,并能作为语义层和友好界面处理关系数据。
2024-06-28 cs.DB
Bonsai: Compiling Queries to Pruned Tree Traversals
Stanford University(斯坦福大学);Massachusetts Institute of Technology(麻省理工学院);Adobe Research(Adobe研究院)
本文提出了一种通用的方法,通过符号区间分析和几何谓词规则,自动推导出支持广泛连接谓词的通用单索引和双索引树连接,从而实现高效的查询编译。
2026-06-03 cs.DB cs.PL
Tracking Federated Queries in the Linked Data
联邦查询引擎允许数据使用者通过链接数据(LD)的联邦执行查询。然而,由于联邦查询被分解为可能分布在SPARQL端点之间的数千个子查询,数据提供者不知道联邦查询,他们只知道他们处理的子查询。因此,与仓储方法不同,土地退化数据提供者无法获得二级数据。在本文中,我们提出了FETA(FEderated查询跟踪),查询跟踪算法,推断基本图形模式(BGPs)处理的联邦从数据提供商维护的共享日志。由多个联邦查询引擎生成的上千个子查询的并发执行使得查询跟踪过程具有挑战性和不确定性。与Anapsid的实验表明,FETA是能够提取BGP,即使在最坏的情况下,包含原始查询的BGP。
2015-08-25 cs.DB
Evaluating Learned Query Performance Prediction Models at LinkedIn: Challenges, Opportunities, and Findings
本文评估学习型查询性能预测模型在 LinkedIn 真实 OLAP 查询上的表现,提出多任务学习方法利用操作符级指标,并分析理论性能上限。
2025-04-24 cs.DB
A Query Language for Multi-version Data Web Archives
数据网络是指以关联开放数据的形式发布的大量且快速增长的科学,企业,政府和众包数据,它鼓励在网络上统一表示异构数据项并在它们之间创建链接。开放式链接数据集的日益可用性给数据集的妥善保存和其中不断变化的信息的管理带来了重大的新挑战。在本文中,我们专注于进化和保存相关的挑战,发布和保存不断变化的链接数据随着时间的推移。我们讨论的主要问题,其适当的建模和查询,并提供了一个概念模型和查询语言的建模和检索不断变化的数据以及影响他们的变化。我们详细介绍了查询语言的语法,并展示了它的功能在现实世界中的用例,从生物领域的发展链接数据集。
2016-05-12 cs.DB
Finding a Second Wind: Speeding Up Graph Traversal Queries in RDBMSs Using Column-Oriented Processing
针对 RDBMS 中递归图遍历查询,本文利用列存延迟物化与数据位置设计 Volcano 风格算子,并在 PosDB 中验证,较 PostgreSQL 最高实现 6 倍加速。
2023-08-16 cs.DB cs.PF
Querying Linked Data: An Experimental Evaluation of State-of-the-Art Interfaces
语义网技术的采用,特别是开放数据倡议,促进了网上可访问的数据集和三元组数量的稳步增长。最常见的是,RDF数据上的查询是在SPARQL端点上进行评估的。然而,最近已经提出了诸如TPF之类的替代方案,其目标是将查询处理负载从运行SPARQL端点的服务器转移到发出查询的客户机。虽然这些接口已经对标准基准和测试平台进行了评估,这些基准和测试平台显示了它们在以前的工作中的优势,但对哪些类型的查询利用了不同可用接口的优势的细粒度评估从未完成。在本文中,我们提出了我们深入评估现有的RDF接口的结果。此外,我们还研究了后端对这些接口的性能的影响。使用基于公共SPARQL端点的查询日志的代表性和多样的查询负载,我们对不同的接口和后端进行压力测试,并确定它们的优点和缺点。
2019-12-17 cs.DB
Banyan: A Scoped Dataflow Engine for Graph Query Service
图查询服务(GQS)被广泛用于交互式地回答大规模图数据上的图遍历查询。现有的图形查询引擎主要集中在优化单个查询的延迟。这忽略了GQS带来的重大挑战,包括查询执行期间的细粒度控制和调度,以及从跨用户到查询内的各个级别的性能隔离和负载均衡。为了解决这些控制和调度的挑战,我们提出了一个新的范围内的建模图遍历查询,显式地暴露并发执行和控制的任何子查询的最细粒度。我们实现了Banyan,一个基于GQS的作用域化的Cocklow模型的引擎。Banyan专注于在单台机器上扩展性能,并提供轻松扩展的能力。在多个基准测试上进行的大量实验表明,Banyan在提供性能隔离和负载均衡的同时,将性能提高了三个数量级,超过了最先进的图形查询引擎。
2022-02-25 cs.DB cs.DC
S2CTrans: Building a bridge from SPARQL to Cypher
本文提出了 S2CTrans 框架,基于图关系代数实现了从 SPARQL 到 Cypher 的翻译,在保持语义一致性的同时,有效提升了使用 SPARQL 查询属性图数据库的互操作性与效率。
2023-04-02 cs.DB
Efficient query evaluation techniques over large amount of distributed linked data
随着RDF的广泛应用和链接数据量的快速增长,对大量数据的高效查询成为一个重大挑战。在本文中,我们提出了一个家庭的算法查询大量的链接数据在分布式方式。这些查询评估算法独立于数据的存储方式以及查询评估的特定实现。然后,我们使用MapReduce范式提出了这些算法的分布式实现,并进行实验评估,虽然这些算法可以直接翻译成其他分布式处理框架。我们还研究并提出了多个查询分解方法的基本图模式(SPARQL查询的子类),用于提高分布式查询回答的整体性能。这些分解算法的有效性进行了深入的分析。
2022-09-12 cs.DB cs.DC cs.DS
Tree Databases
LISN Laboratory - University Paris-Saclay, CNRS, INRIA(巴黎萨克雷大学 LISN 实验室);FORTH Institute of Computer Science(FORTH 计算机科学研究所)
本文提出一种以带标签有向树为基础结构的新型树数据库模型,其查询语言与树操作均基于函数代数,可在同一框架内支持数据访问与分析,还能实现继承、关联数据库等功能。
2026-09-28 cs.DB
End-to-end solution for linked open data query logs analytics
ESI(高等信息科学学院)
针对关联开放数据(LOD)查询日志结构复杂、存在质量与来源风险导致挖掘困难的问题,研究明确定义LOD查询日志生态系统,提出端到端挖掘方案,并通过真实日志实验验证了方案有效性。
2024-03-09 cs.CL cs.DB
Query Based Access Control for Linked Data
近年来,我们看到用于发布和消费关联数据的技术取得了重大进展。然而,为了支持下一代的电子商务应用程序上的互连的机器可读数据的适当形式的访问控制需要到位。虽然已经提出了一些访问控制模型和框架,很少有研究已经进行到与授予访问部分数据或所提出的访问控制机制的正确性相关的安全问题。因此,本文的贡献有两个方面:我们提出了一个查询重写算法,可用于部分限制访问SPARQL 1.1查询和更新;我们演示了如何一组标准,这是最初用于验证访问控制策略持有不同的数据库状态,可以通过查询重写来验证访问控制的正确性。
2020-12-31 cs.CR cs.DB
SPARQL query processing with Apache Spark
链接数据源的数量和链接开放数据图的大小每天都在增长。因此,语义RDF服务越来越多地面临各种“大数据”问题。查询处理就是其中之一,需要在可伸缩、高可用和容错的框架上执行,从而有效地解决查询处理问题。需要这些属性的数据管理系统很少从头开始构建,而是在现有集群计算引擎的基础上设计的。在这项工作中,我们考虑使用Apache Spark处理SPARQL查询。我们提出并比较了五种不同的查询处理方法,基于不同的连接执行模型和Spark组件。在真实世界和合成数据集上的详细实验强调,为RDF数据模型定制的两种方法在所有主要查询形状上都优于其他方法,即,星型、雪花型、链式和混合型。
2016-11-03 cs.DB
Fast Approximate Vector Joins via Offline-Online Co-Design
EPFL(洛桑联邦理工学院)
本文提出统一框架提升向量连接效率,通过软协作复用遍历结果、构建合并索引加速图探索,并采用自适应混合搜索策略增强鲁棒性,实验显示在效率-召回率权衡上优于现有方法。
2026-07-24 cs.DB
ADQUEX: Adaptive Processing of Federated Queries over Linked Data based on Tuple Routing
由于关联数据在网络上的分布性,分布式处理联邦查询的方法对用户更有吸引力,并获得了越来越多的繁荣。在联邦查询的分布式处理中,我们需要一些方法和过程来以最优的方式执行查询。大多数现有的方法执行的优化任务的基础上,一些统计信息,而查询处理器没有精确的统计信息,其属性,因为数据源是自治的。当没有精确的统计数据时,错误估计的可能性将大大增加,并可能导致在运行时执行查询的效率低下。现有方法的另一个问题是,在优化阶段,它们假设查询执行的运行时条件是稳定的,而在链接数据上执行联邦查询的环境是动态的和不可预测的。通过考虑这两个问题,有一个很大的潜力,利用联邦查询处理技术的自适应方式。在本文中,提出了一种自适应的方法来处理联邦查询的链接数据,路由的元组的概念的基础上。所提出的方法,命名为ADQUEX,是能够有效地执行查询没有任何先验统计信息。此方法可以在运行时更改查询执行计划,以便生成更少的中间结果。它还可以适应新的情况下,如果不可预测的网络故障发生的执行计划。通过在已知的链接数据集上运行真实查询,对我们的方法进行了广泛的评估,结果非常好,特别是对于复杂的查询。
2015-05-19 cs.DB cs.DC
The Linked Data Benchmark Council (LDBC): Driving competition and collaboration in the graph data management space
本文介绍了LDBC组织及其过去十年的工作,其通过设计涵盖代表性图数据管理问题的标准基准以实现系统性能可比并促进竞争,同时开展图模式与查询语言研究。
2024-08-30 cs.DB
The $\mathbf{P}$-Completeness of Inverted Index Traversal: On the Complexity of Evaluating Boolean Query DAGs
Apple Inc.(苹果公司)
本文证明基于DAG的布尔查询评估问题是$\mathbf{P}$-完备的,并提出一种稀疏感知算法ComputePN,通过正负对偶表示和DAG记忆化,将评估时间严格限制在$O(|Q| \cdot |U_{\mathit{active}}|)$,避免指数爆炸和全量扫描。
2026-08-19 cs.AI cs.CC cs.CL
Tuning the Tail Latency of Distributed Queries Using Replication
在诸如社交网络和知识图谱的应用领域中,以低延迟查询图数据是重要的需求。图形查询在顶点之间执行多跳。当数据被分区并存储在多个服务器上时,在一个服务器上执行的查询通常需要跳到另一个服务器存储的顶点。这种分布式遍历代表了低延迟查询的性能瓶颈。为了减少查询延迟,可以复制远程数据以使分布式遍历变得不必要,但是复制是昂贵的,并且应该最小化。在本文中,我们介绍的问题,找到数据复制方案,满足任意用户定义的查询延迟的限制,以最小的复制成本。我们提出了一种新的工作负载模型来表达数据访问的因果关系,提出了一个家庭的启发式,并介绍了其正确性的非平凡的充分条件。我们对两个有代表性的基准测试的评估表明,我们的算法可以微调查询延迟与数据复制,并可以找到甜蜜点的延迟/复制设计空间。
2022-12-20 cs.DB cs.DC
Relational Learning and Feature Extraction by Querying over Heterogeneous Information Networks
Tulane University(杜兰大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Irvine(加利福尼亚大学尔湾分校);Amazon Research Cambridge(亚马逊剑桥研究院)
许多现实世界的系统需要在异构信息网络上运行,这些网络由许多不同类型的交互组件组成。示例包括对生物信息网络执行数据分析的系统;社交网络;以及处理非结构化数据以将原始文本转换为知识图谱的信息抽取系统。许多以前的作品描述了专门的方法来执行特定类型的分析,挖掘和学习这样的网络。在这项工作中,我们提出了一个统一的框架,包括一个数据模型-一个图与一阶模式以及声明性语言的方式,促进关系和结构化机器学习的构建,查询和操纵这样的网络。特别是,我们提供了一个关系和图遍历查询语言的查询直接用作结构化机器学习模型的关系功能的初始原型。特征提取通过进行声明性图遍历查询来执行。学习和推理模型可以直接对这种关系表示进行操作,并使用新的数据和知识对其进行扩充,这些数据和知识又可以无缝集成到关系结构中,以支持新的预测。我们通过展示自然语言处理和计算生物学领域的任务来展示该系统的能力。
2017-07-25 cs.AI cs.DB
Pleasantly Consuming Linked Data with RDF Data Descriptions
尽管RDF的目的是提供一种开放的、约束最小的信息表示方式,但越来越多的应用程序需要对RDF数据集的结构和值进行保证。在这方面缺少的是将RDF数据与类似于关系数据库的模式或XML中的DTD的质量保证联系起来的机制,特别是在将带有丰富的完整性约束集(如键或基数约束)的遗留数据转换为RDF时。针对这一缺点,我们提出了RDF数据描述语言(RDD),它使得有可能指定实例级的数据约束RDF。使这些约束显式化不仅有助于断言和维护数据质量,而且还为查询引擎开辟了新的优化机会,最重要的是,使用户和系统开发人员更容易制定查询。我们提出的设计目标,语法,和一个正式的,一阶逻辑为基础的RDD语义,并讨论消费关联数据的影响。
2013-12-06 cs.DB
Querying over Federated SPARQL Endpoints ---A State of the Art Survey
在过去的几年里,越来越多的关联数据及其固有的分布式特性引起了整个研究界和从业者对数据搜索的极大关注。受传统分布式数据库研究成果的启发,介绍了在SPARQL端点上管理联邦的不同方法。SPARQL是RDF的标准化查询语言,RDF是链接数据部署中使用的默认数据模型,SPARQL端点是许多链接开放数据(LOD)存储库提供的流行访问机制。在本文中,我们首先概述了联邦框架的基础设施,然后继续与现有的SPARQL联邦框架的比较。最后,我们强调了现有框架的缺点,我们希望这有助于催生新的研究方向。
2013-06-07 cs.DB cs.DC
PathDB: A system for evaluating regular path queries
Universidad de Talca(塔尔卡大学);Millennium Institute for Foundational Research on Data (IMFD)(数据基础研究千年研究所 (IMFD));Universidad de Chile(智利大学);National Center for Artificial Intelligence Research (CENIA)(国家人工智能研究中心 (CENIA))
提出基于封闭路径代数的代数查询引擎PathDB,支持多种路径语义的RPQ,采用操作符逐次执行方式,实验表明比自动机引导的遍历方法快一个数量级以上。
2026-06-23 cs.DB
The SPARQL2XQuery Interoperability Framework. Utilizing Schema Mapping, Schema Transformation and Query Translation to Integrate XML and the Semantic Web
Web of Data是一个开放的环境,由来自不同领域的大量相互链接的大型RDF数据集组成。在这种环境中,组织和公司采用利用语义Web(SW)技术的关联数据实践,以便发布他们的数据并提供SPARQL端点(即,基于SPARQL的搜索服务)。另一方面,当今Web中信息交换的主导标准是XML。SW和XML世界及其开发的基础设施基于不同的数据模型、语义和查询语言。因此,至关重要的是开发互操作性机制,允许Web of Data用户从他们自己的工作环境中使用SPARQL访问XML数据集。期望所有现有的遗留数据(例如,关系、XML等)将转换为软件数据。因此,将遗留数据发布为关联数据并在其上提供SPARQL端点已成为一个主要的研究挑战。在这个方向上,我们引入了SPARQL 2XQuery框架,它创建了一个可互操作的环境,SPARQL查询自动转换为XQuery查询,以便在Web上访问XML数据。SPARQL 2XQuery框架为OWL-RDF/S到XML Schema映射的表达提供了一个映射模型,也为SPARQL到XQuery的转换提供了一种方法。为此,我们的框架支持本体和XML模式之间的手动和自动映射规范。在自动映射规范场景中,SPARQL 2XQuery利用将XML模式转换为OWL本体的XS 2 OWL组件。最后,进行了大量的实验,以评估模式转换,映射生成,查询翻译和查询评估效率,使用真实和合成…
2014-01-02 cs.DB
Publishing Life Science Data as Linked Open Data: the Case Study of miRBase
本文介绍了我们的关联开放数据(LOD)基础设施的基因组和实验数据相关的microRNA生物分子。来自两个著名的microRNA数据库的遗留数据与实验数据和观察,以及关于microRNA实体的变化和版本信息,被融合并导出为LOD。我们的LOD服务器帮助生物学家探索生物实体及其进化,并为应用程序和服务提供SPARQL端点,以查询历史miRNA数据并跟踪变化及其原因和影响。
2012-05-10 cs.DB
Towards Efficient Path Query on Social Network with Hybrid RDF Management
资源描述框架(RDF)模型的可扩展性和灵活性使其非常适合表示在线社交网络(OSN)。OSN中的一个基本操作是查找关系链,例如k-Hop朋友。SPARQL中的属性路径查询可以表示这种类型的操作,但它的实现受到性能问题考虑到不断增长的数据规模和复杂性的OSN.本文提出了一种基于主存/磁盘的混合RDF数据管理框架,有效的属性路径查询.在这个混合框架中,我们实现了一个高效的内存中代数运算符的属性路径查询使用图遍历,并估计成本的操作,以配合现有的成本为基础的优化。在基准数据集和真实数据集上的实验表明,该方法能够在数据负载开销和在线查询性能之间取得较好的折衷。
2014-06-10 cs.DB cs.SI
Distributed Subweb Specifications for Traversing the Web
Ghent University(根特大学);imec(比利时微电子研究中心);IDLab(IDLab实验室);Cambridge University Press(剑桥大学出版社)
基于链接遍历的查询处理(ltqp),其中一个sparql查询是在一个Web文档而不是一个单一的数据集上进行评估,通常被视为一个理论上有趣但不切实际的技术。然而,在数据高度集中化日益受到审查的时代,具有简单的基于文档的界面的分散式数据网络具有吸引力,因为它使数据发布者能够控制其数据和访问权。虽然ltqp允许在这样的网站上评估复杂的查询,但它存在性能问题(由于包含数据的文档数量很大)以及信息质量问题(由于提供此类文档的来源很多)。在现有的ltqp方法中,查找要查询的源的负担完全由数据使用者承担。在本文中,我们认为,要解决这些问题,数据发布者还应该能够建议感兴趣的来源,并引导数据消费者对相关和值得信赖的数据。我们引入了一个理论框架,使这样的指导链接遍历,并研究其属性。通过一个理论实例说明了该方法可以提高查询结果,减少网络请求次数。我们评估我们的建议,实验上的虚拟链接的Web规范,并确实观察到,不仅数据质量,而且查询的效率提高。逻辑程序设计理论与实践(TPLP)
2023-03-27 cs.AI cs.DB
Efficient Query Processing for SPARQL Federations with Replicated Fragments
公共SPARQL端点的低可靠性和可用性阻止了现实世界的应用程序利用这些查询基础结构的所有潜力。服务器上的数据碎片可以提高数据可用性,但会降低性能。复制片段可以在性能和可用性之间提供新的折衷。我们提出FERENCE,查询关联数据,利用客户端数据复制的框架,并执行源选择算法,旨在减少所选择的公共SPARQL端点,执行时间和中间结果的数量。FERENTIAL已在最先进的查询引擎ANAPSID和FedX上实现,并在各种真实数据集上进行了经验评估。
2015-03-10 cs.DB
CubeGraph: Efficient Retrieval-Augmented Generation for Spatial and Temporal Data
University of Leicester(利兹大学)
CubeGraph通过整合向量搜索与任意空间约束,解决传统方法在处理高维向量相似性搜索与时空过滤时的碎片化问题,提升查询性能和扩展性。
2026-04-30 cs.AI cs.DB cs.IR
Selectivity Estimation with Attribute Value Dependencies using Linked Bayesian Networks
关系查询优化器依赖于成本模型来在不同的查询执行计划之间进行选择。已知选择性估计是成本模型的关键输入。在实践中,标准的选择性估计程序容易产生大的误差。这主要是因为它们依赖于所谓的属性值独立性和连接一致性假设。因此,已经提出了多维方法来捕获两个或多个属性之间的依赖关系内和跨关系。然而,这些方法需要大量的计算成本,这使得它们在实践中无法使用。我们提出了一种基于贝叶斯网络的方法,能够捕获交叉关系的属性值的依赖关系,很少的开销。我们的建议是基于这样的假设,即当涉及连接时,属性之间的依赖关系被保留。此外,我们引入了一个参数之间的交易估计精度和计算成本。我们验证了我们的工作,通过比较它与其他相关的方法在一个大的工作量来自JOB和TPC-DS基准。我们的研究结果表明,我们的方法是一个数量级比现有的方法更有效,同时保持高水平的准确性。
2020-09-21 cs.DB
Topic-based Community Search over Spatial-Social Networks (Technical Report)
近年来,社区搜索问题因其在事件组织、好友推荐、电子商务广告等方面的广泛应用而引起了人们的广泛关注。给定查询顶点,社区搜索问题寻找包含查询顶点的稠密子图。在社交网络中,用户具有多个签到位置、影响力分数和简档信息(关键字)。大多数以前的研究,解决CS问题的社交网络通常忽略了这样的信息在一个社区。在本文中,我们提出了一个新的问题,命名为社区搜索空间社会网络(TCS-SSN),检索社区的社会影响力高,旅行时间短,并覆盖某些关键字。为了解决空间社会网络上的TCS-SSN问题,我们设计了有效的剪枝技术来减少问题的搜索空间。我们还提出了一种有效的索引机制,即社会空间索引,以方便社区查询,并通过索引遍历开发了一个高效的查询回答算法。我们验证了我们的剪枝技术,索引机制,查询处理算法的效率和有效性,通过广泛的实验,在各种参数设置下的真实世界和合成数据集。
2021-11-25 cs.DB
Fedra: Query Processing for SPARQL Federations with Divergence
本地SPARQL端点的数据复制和部署提高了公共SPARQL端点的可伸缩性和可用性,使链接数据的消费成为现实。此解决方案需要同步和特定的查询处理策略来利用复制。然而,现有的复制感知技术在SPARQL端点的联邦不考虑数据的动态性。我们提出了Fedra,一种查询从复制中受益的端点联盟的方法。Fedra联邦的参与者可以从多个数据集中复制数据片段,并使用出处和视图描述它们。这些描述使Fedra能够减少所选端点的数量,同时满足用户的分散需求。在真实世界数据集上的实验表明,节省高达三个数量级。
2014-07-10 cs.DB
Kaskade: Graph Views for Efficient Graph Analytics
图形是一种越来越流行的建模现实世界实体及其之间关系的方法,范围从社交网络到数据世系图和生物数据集。这些大型图的遍历通常涉及昂贵的子图遍历和复杂的分析计算。这些真实世界的图通常比一般的顶点和边模型所建议的结构化得多,但是这种洞察力仍然没有被现有的用于图查询优化目的的图引擎所探索。因此,在这项工作中,我们专注于利用图和查询的结构属性,自动派生物化图视图,可以大大加快查询评估。我们提出KASKADE,第一个图查询优化框架,利用物化图视图的查询优化的目的。KASKADE采用了一种新的基于约束的视图枚举技术,挖掘来自查询工作负载和图模式的约束,并在视图枚举过程中注入它们,以显着减少要考虑的视图的搜索空间。此外,它引入了一个图视图大小估计器,以挑选最有益的视图物化给定的查询集,并选择最佳的查询评估计划给定的一组物化视图。我们通过真实世界的图表评估其性能,包括我们在Microsoft维护的出处图表,以实现审计,服务分析和高级系统优化。我们的研究结果表明,KASKADE大大减少了有效的图形大小,并产生显着的性能加速(高达50倍),在某些情况下,否则棘手的查询成为可能。
2019-06-12 cs.DB
Luzzu Quality Metric Language -- A DSL for Linked Data Quality Assessment
链接的开放数据集的数量稳步增长,导致数据消费者对数据集的质量持保留态度。质量评估需要大量的努力和考虑,包括数据质量指标的定义和基于这些定义评估数据集的过程。Luzzu是一个链接数据的质量评估框架,允许插入特定于域的指标。LQML提供了符号、抽象和表达能力,专注于质量度量的表示。它为定义复杂的质量度量提供了表达能力。它与Luzzu的集成使其能够有效地处理和执行,从而以流式方式全面评估超大型数据集。我们还描述了一种新的本体,使重用,共享和查询这样的定义。最后,我们根据符号框架的认知维度评估了所提出的DSL。
2015-04-29 cs.DB
A Context-Based Semantics for SPARQL Property Paths over the Web (Extended Version)
到目前为止,还不存在用于查询Web上的链接数据的标准语言,其中跨分布式数据源的导航是一个关键特性。一个自然的候选者似乎是SPARQL,由于引入了属性路径(PP),它最近已经增强了导航功能。然而,SPARQL的语义限制了通过PP导航到单个RDF图的范围。这种限制限制了PP在Web上的适用性。为了填补这一空白,在本文中,我们提供了正式的基础上评估PP在Web上,从而有助于定义一个查询语言的关联数据。特别是,我们引入了一个查询语义的PP,夫妇在数据级的导航与Web图形上的导航。鉴于这种语义,我们发现,对于一些基于PP的SPARQL查询在Web上的一个完整的评估是不可行的。为了使系统能够识别可以完全评估的查询,我们建立了一个可判定的语法属性,这样的查询。
2015-03-16 cs.DB
Towards an Integrated Graph Algebra for Graph Pattern Matching with Gremlin (Extended Version)
图数据管理(也称为NoSQL)通过在查询表达性和模式灵活性之间进行不同的平衡,在灵活性和可伸缩性方面显示了有益的特性。这种独特的优势导致了一场前所未有的开发新的任务特定图系统、查询语言和数据模型的竞赛,如属性图、键值、宽列、资源描述框架(RDF)等。目前的图查询语言集中在灵活的图模式匹配上图计算框架的目标是提供指令的快速并行(分布式)执行,而图计算框架的目标是提供指令的快速并行(分布式)执行。各种基于图形的数据管理系统的快速增长导致了标准化的缺乏。Gremlin是一种图遍历语言,它提供了一个通用平台来支持任何图计算系统(如OLTP图数据库或OLAP图处理器)。我们提出了一个形式化的图模式匹配Gremlin查询。我们还研究,讨论和巩固现有的各种图代数运算到一个完整的图代数。
2019-09-07 cs.DB
Sapphire: Querying RDF Data Made Simple
链接开放数据(LOD)云中的RDF数据对于许多不同的应用程序都非常有价值。为了释放这些数据的全部价值,用户应该能够对LOD云中的RDF数据集发出复杂的查询。SPARQL可以表达这样复杂的查询,但是构造SPARQL查询对用户来说可能是一个挑战,因为它需要知道被查询的数据集的结构和词汇。在本文中,我们介绍了蓝宝石,一个工具,帮助用户编写语法和语义正确的SPARQL查询,而无需事先了解查询数据集。Sapphire通过根据查询数据提供自动完成建议,以交互方式帮助用户键入查询。在发出查询后,Sapphire会提供更改查询的建议,以更好地满足用户的需求。我们基于性能实验和用户研究对Sapphire进行了评估,并表明它优于竞争方法。
2018-09-13 cs.DB
Evaluating Continuous Basic Graph Patterns over Dynamic Link Data Graphs
针对动态关联数据图上的基本图模式(BGP)查询持续评估问题,提出基于查询分解的内存算法,在多项式复杂度下计算增量应答,部分子类可达常数/线性复杂度,可高效维护任意时刻的完整查询结果。
2025-05-16 cs.DB
LiteMat: a scalable, cost-efficient inference encoding scheme for large RDF graphs
链接数据源的数量和链接开放数据图的大小每天都在增长。因此,语义RDF服务越来越多地面临各种“大数据”问题。推理存在时的查询处理就是其中之一。例如,为了完成SPARQL查询的答案集,RDF数据库系统通过耗时的查询重写算法或耗时的数据物化解决方案来评估语义RDFS关系(subPropertyOf,subClassOf)。为了减少内存占用并简化大型数据集的交换,这些系统通常应用字典方法,通过用整数值替换资源标识符(IRI)、空白节点和文字来压缩三倍数据大小。在这篇文章中,我们提出了一个结构化的资源识别方案,使用一个聪明的编码的概念和属性层次结构,有效地评估主要的常见RDFS蕴涵规则,同时最大限度地减少三重物化和查询重写。我们将展示如何通过可扩展的并行算法计算这种编码,并直接在Apache Spark框架上实现。我们的编码方案的效率是强调的合成和现实世界的数据集进行评估。
2015-10-12 cs.DB
Storage, Indexing, Query Processing, and Benchmarking in Centralized and Distributed RDF Engines: A Survey
语义网和关联数据的最新进展已经改变了传统网络的工作方式。资源描述框架(RDF)格式被广泛采用,用于保存基于网络的数据。这种大规模的采用为各种集中式和分布式RDF处理引擎的开发铺平了道路。这些引擎采用各种机制来实现查询处理引擎的关键组件,例如数据存储、索引、语言支持和查询执行。所有这些组件都控制查询的执行方式,并对查询运行时产生重大影响。例如,以各种方式存储RDF数据会显著影响所需的数据存储空间和查询运行时性能。RDF引擎中使用的索引方法类型对于快速数据查找至关重要。底层查询语言的类型(例如,SPARQL或SQL)是RDF存储解决方案的关键优化组件。最后,涉及不同联接顺序的查询执行会显著影响查询响应时间。本文从存储、索引、语言支持和查询执行等方面对集中式和分布式RDF引擎进行了全面的综述。
2020-09-23 cs.DB
AeonG: An Efficient Built-in Temporal Support in Graph Databases
本文提出内置时序支持的图数据库AeonG,通过混合存储引擎和anchor+delta策略降低历史存储开销,并利用基于anchor的版本检索加速时序查询,在存储消耗和查询延迟上显著优于现有方法。
2024-04-01 cs.DB