Path-based Algebraic Foundations of Graph Query Languages
针对图查询引擎缺乏评估路径查询的代数方法这一局限,提出一种将路径作为一等实体的抽象代数,能表达GQL和SQL/PGQ的核心路径查询片段并支持查询优化,为路径查询评估提供了形式化框架。
2024-10-12 cs.DB
Evaluating Accumulo Performance for a Scalable Cyber Data Processing Pipeline
流式大数据应用程序在创建可扩展的数据流管道方面面临挑战,其中必须收集、存储、查询和分析多个数据流。这些数据源的特征在于它们的数量(就数据集大小而言)、速度(就数据率而言)和种类(就字段和类型而言)。对于许多应用,分布式NoSQL数据库是传统关系数据库管理系统的有效替代品。本文考虑了一个网络态势感知系统,使用Apache Accumulo数据库提供可扩展的数据仓库,实时数据摄取,并响应查询人类用户和分析算法。我们评估Accumulo的摄取的可扩展性作为客户端进程和服务器的数量的函数。我们还描述了一个灵活的数据模型与有效的技术查询规划和查询优化,以提供响应结果。查询性能根据客户端接收初始结果集的延迟进行评估。Accumulo的性能是使用真实的网络数据在多达8个节点的数据库上测量的。
2014-07-21 cs.DB
Query-Specific Pruning of RML Mappings (Extended Version)
Ghent University - imec(根特大学-imec);Linköping University(林雪平大学)
本文定义了SPARQL查询相对于RML映射获得的RDF数据的可满足性,利用该性质对RML映射进行剪枝,以实现部分RDF图材料化,从而提高动态联邦查询环境中生成RDF图的效率。
2026-08-07 cs.DB
Evaluating Continuous Basic Graph Patterns over Dynamic Link Data Graphs
针对动态关联数据图上的基本图模式(BGP)查询持续评估问题,提出基于查询分解的内存算法,在多项式复杂度下计算增量应答,部分子类可达常数/线性复杂度,可高效维护任意时刻的完整查询结果。
2025-05-16 cs.DB
Towards a unified query language for provenance and versioning
组织和团队从各种来源收集和获取数据,例如社交互动,金融交易,传感器数据和基因组测序仪。组织中的不同团队以及团队中的不同数据科学家对提取各种见解感兴趣,这些见解需要以不同的方式组合和协作分析数据集。DataHub是一个旨在为这种场景提供健壮的版本控制和出处管理的系统。为了真正对协作数据科学有用,还需要能够以统一的方式指定对版本和出处信息的查询和分析任务。在本文中,我们提出了一个初步的设计,我们的查询语言,称为VQuel,其目的是支持这种统一的查询这两种类型的信息,以及分析的中间和最终结果。我们还讨论了一些关键的语言设计和实现挑战。
2015-06-16 cs.DB
Complexity of Evaluating GQL Queries
CNRS, LaBRI, Univ. Bordeaux(法国国家科学研究中心,拉布里实验室,波尔多大学);University of Kaiserslautern-Landau and MPI-SWS(凯泽斯劳滕-兰道大学与马克斯·普朗克计算机科学研究所);Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文解决了GQL查询求值复杂度的基础问题,证明其一般数据复杂度为P^NP[log]完全、无限制器时为NL完全,且该结论对无限具体域查询也成立,同时建立了GQL与关系查询语言及二阶逻辑片段的紧密关联。
2025-10-22 cs.DB
Evaluating SQL Understanding in Large Language Models
University of Western Ontario(韦仕敦大学);McMaster Unviersity(麦克马斯特大学);University of British Columbia(不列颠哥伦比亚大学)
本文评估大型语言模型在SQL任务中的理解能力,通过检测语法错误、识别缺失token、预测查询性能等任务,揭示模型在语义理解和连贯性方面的局限。
2024-10-14 cs.DB
Evaluating Learned Spatial Indexes
University of Helsinki(赫尔辛基大学)
通过实验研究学习型索引在空间范围查询中的性能,分析块大小、数据倾斜、选择性等因素的影响,并基于工作负载提出索引选择决策树。
2026-06-18 cs.DB
PolyFrame: A Retargetable Query-based Approach to Scaling DataFrames (Extended Version)
在过去的几年里,数据科学领域一直在快速发展,因为各种企业都采用了统计和机器学习技术来增强他们的决策和应用。将数据分析(可能包括自定义机器学习模型的应用)扩展到大量数据需要利用分布式框架。这可能会给数据分析师带来严重的技术挑战,并降低他们的生产力。AFrame是一个Python数据分析库,作为Apache AsterixDB之上的一层实现,通过整合数据科学家的开发环境并通过大数据管理系统透明地扩展分析操作的评估来解决这些问题。虽然AFrame能够利用数据管理设施(例如,索引和查询优化),并允许用户与非常大量的数据进行交互,初始版本只生成SQL++查询,并只对Apache AsterixDB进行操作。在这项工作中,我们描述了一个新的设计,重新定位AFrame的增量查询形成其他基于查询的数据库系统,以及,使其更灵活的部署对其他数据管理系统与组合查询语言。
2021-02-10 cs.DB
Query shredding: Efficient relational evaluation of queries over nested multisets (extended version)
嵌套关系查询语言已经被广泛地研究,并且是诸如Microsoft的LINQ之类的工业语言集成查询系统的基础。但是,关系数据库本身并不支持查询结果中的嵌套集合。这可能导致主要的性能问题:如果程序员编写的查询产生嵌套的结果,那么这样的系统通常要么失败,要么生成大量的查询。我们提出了一种新的方法来查询切碎,它转换一个查询返回嵌套的数据到一个固定数量的SQL查询。我们的方法,在以前的工作相比,处理多集语义,并生成一个地道的SQL:1999查询直接从嵌套查询的范式。我们提供了一个详细的描述,我们的翻译和目前的实验表明,它提供了可比的或更好的性能比最近的替代方法的一系列例子。
2014-05-02 cs.DB cs.PL
Putting Things into Context: Rich Explanations for Query Answers using Join Graphs (extended version)
在许多数据分析应用程序中,需要解释为什么查询会产生令人惊讶或有趣的结果。解释结果的先前方法直接或间接地使用数据出处(对感兴趣的结果有贡献的输入元组),这受到用于解释答案的相关信息可能不完全包含在出处中的事实的限制。我们提出了一种新的方法来解释查询结果,通过增加出处与数据库中的其他相关表的信息。我们开发了一套优化技术,并通过使用真实数据集的实验和用户研究表明,我们的方法通过有效地导航可能的解释的大搜索空间产生有意义的结果。
2021-03-29 cs.DB
Query Results over Ongoing Databases that Remain Valid as Time Passes By (Extended Version)
持续时间点现在用于声明一个元组从开始点开始是有效的。对于数据库系统,持续时间点具有深远的影响,因为它们随着时间的推移而不断变化。最先进的方法通过将正在进行的时间点实例化到参考时间来处理它们。实例化产生的查询结果仅在所选时间有效,并随着时间的推移而失效。我们提出了一个解决方案,保持正在进行的时间点在查询处理过程中未实例化。我们通过在所有可能的引用时间评估谓词和函数来做到这一点。这使得查询结果独立于特定的引用时间,并产生随着时间的推移仍然有效的结果。作为查询结果,我们提出了正在进行的关系,包括一个参考时间属性。reference time属性的值受到正在进行的属性上的谓词和函数的限制。我们描述和评估一个有效的实现正在进行的数据类型和操作在PostgreSQL。
2020-07-28 cs.DB
A Query Language for Multi-version Data Web Archives
数据网络是指以关联开放数据的形式发布的大量且快速增长的科学,企业,政府和众包数据,它鼓励在网络上统一表示异构数据项并在它们之间创建链接。开放式链接数据集的日益可用性给数据集的妥善保存和其中不断变化的信息的管理带来了重大的新挑战。在本文中,我们专注于进化和保存相关的挑战,发布和保存不断变化的链接数据随着时间的推移。我们讨论的主要问题,其适当的建模和查询,并提供了一个概念模型和查询语言的建模和检索不断变化的数据以及影响他们的变化。我们详细介绍了查询语言的语法,并展示了它的功能在现实世界中的用例,从生物领域的发展链接数据集。
2016-05-12 cs.DB
Verification of Query Completeness over Processes [Extended Version]
数据完整性是数据质量的一个重要方面,反过来又对公司的有效管理产生巨大影响。例如,在公司中计算统计数据和进行审计时,都隐含着强有力的假设,即分析的数据是完整的。在这项工作中,我们有兴趣研究的问题,由业务流程所产生的数据的完整性,自动评估是否可以回答一个给定的数据库查询在一定状态的过程中的完整信息的目的。我们将所谓的质量感知过程形式化,这些过程在现实世界中创建数据,并可能在稍后将其存储在公司的信息系统中。
2013-06-07 cs.DB
Combined Tractability of Query Evaluation via Tree Automata and Cycluits (Extended Version)
我们调查参数化的数据库实例和查询,使查询评估固定参数听话的组合复杂性。我们引入了一个新的数据块与分层否定,内涵集团保护的数据块(ICG-数据块),与线性时间评估的结构有界树宽有界规则大小的程序。这样的程序捕捉特别是合取查询与单纯分解的有界宽度,保护否定片段查询的有界CQ秩,或双向定期路径查询。我们的结果通过编译交替双向自动机,其语义是通过循环起源电路(cycluits),可以追溯评估定义。最后,我们证明了概率查询评估仍然是棘手的组合复杂性下,这种参数化。
2017-01-15 cs.DB
QuaQue: Design and SQL Implementation of Condensed Algebra for Concurrent Versioning of Knowledge Graphs
Universite Claude Bernard Lyon 1, CNRS, INSA Lyon, Université Lumière Lyon 2, Ecole Centrale de Lyon, CPE Lyon, LIRIS, UMR 5205(里昂第一大学、法国国家科学研究中心、里昂国立应用科学学院、里昂第二大学、里昂中央理工学院、里昂化学物理学院、LIRIS实验室、UMR 5205)
本文提出QuaQue,通过将SPARQL查询转化为SQL,利用压缩代数在关系模型中高效处理知识图谱的多版本查询,对比RDF三元组存储验证了其可行性和性能优势。
2026-03-19 cs.DB
OBDA Constraints for Effective Query Answering (Extended Version)
University of Oslo(奥斯陆大学);Free University of Bozen-Bolzano(博尔扎诺自由大学)
在基于本体的数据访问(OBDA)中,用户对位于关系数据库之上的本体提出SPARQL查询。这些查询由OBDA系统即时转换为SQL查询。OBDA中的标准SPARQL到SQL转换技术通常会生成包含冗余连接和联合的SQL查询,即使在进行了大量语义和结构优化之后也是如此。这些冗余对查询应答的性能是有害的,特别是在具有大型企业数据库的复杂工业OBDA场景中。为了解决这个问题,我们引入了两个新的概念OBDA约束,并展示了如何利用它们进行高效的查询回答。我们使用真实世界的数据和查询在大型数据集上进行了一系列广泛的实验,结果表明这些技术极大地提高了查询应答的性能。
2016-05-16 cs.AI cs.DB
LDQL: A Query Language for the Web of Linked Data (Extended Version)
链接数据网由大量相互链接的RDF文档组成,形成了一个巨大的分布式语义数据库。有效地查询这种分布式数据源是语义Web领域的一个重要的开放问题。在本文中,我们提出了LDQL,一个声明性的语言来查询Web上的关联数据。LDQL的一个新颖之处在于它分别表示(i)描述预期查询结果的模式,以及(ii)选择用于计算结果的数据源的Web导航路径。我们提出了一个正式的语法和语义,证明等价规则,并研究语言的表达能力。特别是,我们表明,LDQL是严格更有表现力的查询形式主义,以前已经提出了在Web上的关联数据。高表达性允许LDQL定义在Web上完全执行在计算上不可行的查询。我们正式研究这个问题,并提供了一个语法充分条件,以避免这个问题,满足这个条件的查询,确保有一个程序,以有效地评估在Web上的关联数据。
2015-07-19 cs.DB
A Survey on Visual Query Systems in the Web Era (extended version)
随着越来越多的数据集合在网络上对每个人都可用,非专家用户需要简单的方法来从这些集合中检索数据。一种解决方案是所谓的可视化查询系统(VQS),其中查询被可视化地表示,并且用户不必理解诸如SQL或XQuery之类的查询语言。1996年,Catarci的一篇论文回顾了直到那一年可用的可视化查询系统。在本文中,我们回顾VQS从1997年到现在,并试图确定他们是否已经为非专家用户的解决方案。简单的回答是否定的,因为实际上很少有系统被用于实际环境或作为商业工具。我们还收集了VQS的基本特征,例如用于呈现感兴趣的现实的视觉表示或用于表达查询的视觉表示。
2017-08-01 cs.DB cs.IR
Determining Relevance of Accesses at Runtime (Extended Version)
考虑这样一种情况:使用Web源来回答查询,这些Web源通过要求将某些属性作为服务的输入来限制对后端关系数据的访问。这些访问提供对匹配绑定的属性值集合的查找。它们的不同之处在于是否需要从先前的访问生成参数。先前的工作集中在是否可以使用一组数据源来回答查询的问题上,并且集中在开发静态访问计划(例如,实现查询应答的数据库程序)。我们感兴趣的是动态方面的查询回答问题:给定的部分信息的数据,访问可以提供相关的数据回答一个给定的查询?我们认为即时和长期的概念“相关访问”,并确定查询相关性的复杂性,合取查询和任意的积极查询。在这个过程中,我们涉及到访问限制下的查询包容的动态相关性,并描述了这个问题的复杂性,我们产生了几个复杂的结果,由自己感兴趣的包容。
2011-05-30 cs.DB
Foundations of Traversal Based Query Execution over Linked Data (Extended Version)
最近,在关联数据的Web上执行查询引起了人们的广泛关注。一种特别有趣的方法是基于链接遍历的查询执行,它提出将数据链路的遍历集成到查询结果的构造中。因此,与传统的查询执行范例相比,这种方法并不预先假设一组固定的相关数据源;相反,它可以动态地发现数据,从而使应用程序能够挖掘Web的全部潜力。虽然一些作者研究的可能性,实现基于链接遍历的查询执行的想法,并在这种情况下优化查询执行,没有工作存在,讨论的理论基础的方法一般。我们的论文填补了这一空白。我们引入了一个定义良好的语义查询,可以使用基于链接遍历的方法执行。基于这种语义,我们正式分析这种查询的属性。特别是,我们研究了查询的可计算性以及查询一个潜在的无限的关联数据网络的影响。我们的研究结果表明,查询计算一般不能保证终止,对于任何给定的查询,它是不可判定的执行是否终止。此外,我们定义了一个抽象的执行模型,捕捉到查询执行过程中的链接遍历的集成。在此模型的基础上,我们证明了基于链接遍历的查询执行的可靠性和完备性,并分析了现有的实现方法。
2012-04-20 cs.DB
Query Stability in Monotonic Data-Aware Business Processes [Extended Version]
组织经常根据某些业务流程不断积累数据。如果有人对这些数据提出查询以支持决策,那么了解查询是否稳定是很重要的,也就是说,答案是否会保持不变,或者将来可能会改变,因为业务流程可能会添加更多的数据。我们调查查询的稳定性合取查询。为此,我们定义了一个形式主义,结合了一个明确的表示过程中的控制流与规范的数据是如何读取和插入到数据库中。我们考虑不同的限制的过程模型和系统的状态,如否定的条件,循环执行,读访问写入的数据,存在挂起的过程实例,并启动新的过程实例的可能性。我们确定的方面组合的合取查询的稳定性是可判定的,并提供编码到变量的数据是最佳的最坏情况下的复杂性的问题。
2015-12-21 cs.DB
Bitvector-aware Query Optimization for Decision Support Queries (extended version)
位向量过滤是一种重要的查询处理技术,可以显著降低执行成本,特别是对于具有多个连接的复杂决策支持查询。尽管它有广泛的应用,但是,它对查询优化的影响还没有得到很好的理解。在这项工作中,我们研究了位向量过滤器如何影响查询优化。我们表明,直接将位向量过滤器纳入查询优化可以增加计划的空间复杂度的查询中的关系的数量的指数因子。我们分析的计划与位向量过滤器的星和雪花查询的右深树没有交叉产品的计划空间。令人惊讶的是,通过一些简化的假设,我们证明了,可以从查询中的关系数量中的线性数量的计划中找到具有位向量过滤器的最小成本的计划。这大大降低了这种查询的计划空间复杂度,从指数到线性。基于我们的分析,我们提出了一个算法,占位向量过滤器在查询优化的影响。我们的算法优化了连接顺序的任意决策支持查询选择从一个线性数量的候选计划在查询中的关系的数量。我们实现了我们的算法在Microsoft SQL Server作为一个转换规则。我们对行业标准基准测试和客户工作负载的评估表明,与原始Microsoft SQL Server相比,我们的技术将工作负载的总CPU执行时间减少了22%-64%,单个查询的CPU执行时间减少了两个数量级。
2020-05-07 cs.DB
SPARQL for a Web of Linked Data: Semantics and Computability (Extended Version)
万维网目前正在演变成一个链接数据网,其中内容提供方发布和链接数据,就像他们在过去20年中对超文本所做的那样。虽然声明性查询语言SPARQL实际上是用于从Web查询事先定义的数据集,但不存在用于查询关联数据Web本身的语言。然而,很自然地会问SPARQL是否也适合这样的目的。在本文中,我们正式调查的适用性SPARQL作为一个查询语言在Web上的关联数据。特别是,我们研究了两个查询模型:1)一个完整的Web语义的范围内的查询是一套完整的链接数据在Web上和2)一个家庭的可达性为基础的语义,限制范围的数据,是通过遍历某些数据链路。对于这两种模式,我们讨论的属性,如单调性和可计算性,以及查询的影响,是无限大的,由于数据生成服务器的Web。
2012-04-06 cs.DB
Querying RDF Databases with Sub-CONSTRUCTs
图查询语言在应用于图数据库时主要具有两种查询:受关系数据库启发的那些返回表(如SELECT查询)的查询和那些返回图(如SPARQL中的CONCLECT查询)的查询。后者是本文的研究对象。为此,定义了一种核心图查询语言GrAL,重点关注CONSTRUCT查询。GrAL中的递归是涉及所谓GrAL模式的递归过程的最后一步。通过在图上评估查询,可以得到一个图,而通过在图上评估模式,可以得到一组同时涉及图和表的匹配。CONCLUSION CT查询基于CONCLUSION CT模式,子CONCLUSION CT模式不受模式递归定义的限制。GrAL的语义是基于RDF图,略有修改,其中包括接受孤立的节点。RDF图的这种扩展简化了评估语义的定义,评估语义主要由称为Merge的唯一操作捕获。此外,我们将聚合定义为GrAL表达式的一部分,这导致了聚合的原始本地处理。
2021-09-14 cs.DB
Ontological Queries: Rewriting and Optimization (Extended Version)
本体查询是针对本体而不是直接在数据库上进行评估的。这种查询的评价和优化是数据库研究的一个有趣的新问题。在本文中,我们讨论这个问题的两个重要方面:查询重写和查询优化。查询重写包括将本体查询编译为针对底层关系数据库的等效查询。这里的重点是健全性和完整性。我们回顾以前的结果,并提出了一个新的重写算法,而一般类型的本体约束。特别是,我们展示了如何对本体的合取查询可以编译成一个联盟的合取查询对底层数据库。在这种情况下,本体查询优化试图改进该过程,以便为输入查询产生可能小且成本有效的UCQ重写。我们回顾现有的优化方法,并提出了一种有效的新方法,适用于线性Datalog+/-,一类基于数据的规则,包括著名的描述逻辑的DL-Lite家庭。
2011-12-01 cs.DB cs.LO
CQE in Description Logics Through Instance Indistinguishability (extended version)
Sapienza Università di Roma(罗马大学);Università degli Studi di Bergamo(贝加莫大学)
我们研究隐私保护查询回答描述逻辑(DLs)。具体来说,我们认为的方法的控制查询评估(CQE)的概念的基础上的实例不可分割性。我们推导出数据复杂性的结果查询回答DL-Lite $_{\mathcal{R}}$本体,通过比较与一种替代的,现有的保密CQE的方法。最后,我们确定了CQE的近似查询回答的语义上有根据的概念,并证明了,对于DL-Lite $_{\mathcal{R}}$本体,这种形式的CQE在数据复杂度方面是易处理的,并且是一阶的,即,它总是可简化为对数据实例的一阶查询的评估。
2020-04-24 cs.AI cs.DB
GeoReach: An Efficient Approach for Evaluating Graph Reachability Queries with Spatial Range Predicates
图被广泛用于在许多应用领域中对数据建模。由于启用GPS的设备的广泛使用,许多应用将空间属性分配给图顶点(例如,地理标记的社交媒体)。用户可以发出具有空间范围谓词(abbr. RangeReach)。RangeReach查找输入顶点是否可以到达位于输入空间范围内的任何空间顶点。RangeReach查询的一个例子是:给定一个社交图,查找Alice是否可以到达位于亚利桑那州立大学地理区域内的任何场所。本文提出了GeoReach的一种方法,增加了空间数据感知的图形数据库管理系统(GDBMS)。GeoReach允许高效执行RangeReach查询,但不会对整体系统的可扩展性(以存储大小和初始化/维护时间衡量)造成很大影响。为了实现这一点,GeoReach配备了一个轻量级的数据结构,即SPA-Graph,它通过空间索引目录增强了底层图形数据。当发出RangeReach查询时,系统采用修剪图遍历方法。基于Neo4j内部真实系统实现的实验证明,GEOREACH的查询响应时间比最先进的空间和可达性索引方法提高了两个数量级,存储量减少了四倍。
2016-03-17 cs.DB cs.SI
Finite Open-World Query Answering with Number Restrictions (Extended Version)
开放世界查询应答是指在给定一组事实、约束条件和查询条件的情况下,判断这些事实和约束条件是否隐含查询条件的问题。这相当于对包括事实并满足约束的所有实例进行推理。我们研究有限开放世界查询应答(FQA),它假设底层世界是有限的,因此只考虑有限的完成的实例。FQA的主要已知可判定情况来自以下:一阶逻辑的保护片段,它可以表达引用约束(一个地方的数据指向另一个地方的数据),但不能表达数量限制,如函数依赖;和保护片段有数量限制,但只有两个arity签名。在本文中,我们给出了第一个可判定性结果FQA,结合引用约束和任意签名的数量限制:我们表明,对于一元包含依赖和功能依赖,有限性假设的FQA可以解除到采取有限蕴涵封闭的依赖。我们的结果依赖于新的技术来构建有限的通用模型,这样的约束,任何约束的最大查询大小。
2015-05-15 cs.DB cs.LO
Counting Query Answers over a DL-Lite Knowledge Base (extended version)
Free University of Bozen-Bolzano(博尔扎诺自由大学);Umeå University(于默奥大学);Max-Planck-Institut für Informatik(马克斯·普朗克计算机科学研究所)
计算查询的答案是几乎所有数据库管理系统都支持的操作。在本文中,我们专注于计数的答案在知识库(KB),这可能被视为一个数据库丰富的背景知识有关的域正在考虑。特别是,我们把我们的工作的上下文中的本体介导的查询/基于本体的数据访问(OMQA/OBDA),其中用于本体的语言是DL-Lite家族的成员和数据是一个(通常是虚拟的)一组断言。我们研究了查询回答的数据复杂性,对于包括数量限制的DL-Lite家族的不同成员,以及对于具有不同形状(连接,分支,根)的计数的合取查询的变体。我们通过提供PTIME和coNP下界,以及PTIME和LOGSPACE的上界来改进现有的结果。对于后者的情况下,我们定义了一个新的查询重写技术到一阶逻辑计数。
2020-07-17 cs.AI cs.DB
AeonG: An Efficient Built-in Temporal Support in Graph Databases
本文提出内置时序支持的图数据库AeonG,通过混合存储引擎和anchor+delta策略降低历史存储开销,并利用基于anchor的版本检索加速时序查询,在存储消耗和查询延迟上显著优于现有方法。
2024-04-01 cs.DB
Queries with Guarded Negation (full version)
数据库理论中一个公认的基本观点是否定(也称为互补)往往会使查询难以处理和推理。许多基本问题是可判定的,并承认在联合查询的情况下,实用的算法,但变得困难,甚至不可判定的查询时,允许包含否定。受有限模型理论中最近结果的启发,我们考虑了否定的一种限制形式,即保护否定。我们介绍了一个片段的SQL,称为GN-SQL,以及一个片段的Datasheet与分层否定,称为GN-Datasheet,只允许守卫否定,我们表明,这些查询语言计算良好的行为,在测试查询包容,查询评估,开放世界的查询回答,和有界性。GN-SQL和GN-Datasheet继承了许多众所周知的查询语言和约束语言,例如合取查询的联合、一元数据库和边界保护的tgds。此外,对标准基准测试工作负载的分析表明,在实践中,SQL中否定的大多数用法都是保护性否定。
2012-03-01 cs.DB
A Prospective Analysis of Security Vulnerabilities within Link Traversal-Based Query Processing (Extended Version)
围绕大数据驱动平台的社会和经济后果增加了对去中心化解决方案的需求。然而,在更加分散的环境中检索和查询数据需要根本不同的方法,其属性尚未得到很好的理解。基于链接遍历的查询处理(LTQP)是一种用于在分散式数据网上进行查询的技术,其中客户端查询引擎通过遍历文档之间的链接来发现数据。由于分散式环境由于其非集中控制的性质而可能不安全,因此需要客户端LTQP查询引擎能够抵抗针对查询引擎的主机或查询发起者的个人数据的安全威胁。因此,我们对LTQP的潜在安全漏洞进行了分析。本文概述了相关领域的安全威胁,并以此作为识别10种LTQP安全威胁的灵感。每一种威胁都有解释,并附有一个例子,提出了一种或多种缓解途径。最后,我们为LTQP查询引擎开发人员和数据发布者提出了几个具体的建议,作为缓解这些问题的第一步。通过这项工作,我们开始填补未知数,以便在分散的环境中进行查询。除了未来在安全方面的工作外,还需要进行更广泛的研究,以发现真正实现权力下放所缺少的组成部分。
2022-10-10 cs.CR cs.DB
Learning GraphQL Query Costs (Extended Version)
Rensselaer Polytechnic Institute(伦斯勒理工学院);Inria Paris, École normale supérieure – PSL university(巴黎Inria,巴黎高等师范学校–PSL大学);IBM Research(IBM研究院)
GraphQL是一种用于API的查询语言和用于执行这些查询的运行时,从现有的微服务,REST API,数据库或其他来源获取所请求的数据。它的表现力和灵活性使其成为许多行业的API提供商的有吸引力的候选者,特别是通过Web。在GraphQL中盲目服务客户端查询的一个主要缺点是,查询的成本可能会出乎意料地大,为提供者带来计算和资源过载,为客户端带来API速率限制和基础设施过载。为了减轻这些缺点,有必要在执行查询之前有效地估计查询的成本。估计查询成本具有挑战性,因为GraphQL查询具有嵌套结构,GraphQL API遵循不同的设计约定,并且底层数据源是隐藏的。基于最坏情况静态查询分析的估计成功有限,因为它们往往严重高估了成本。我们提出了一种机器学习的方法来有效和准确地估计查询成本。我们还展示了这种方法的力量,通过测试它的查询响应数据从公开的商业API。我们的框架是有效的,预测查询成本具有很高的准确性,始终优于静态分析的大幅度。
2021-08-26 cs.DB cs.LG cs.PL
Provenance Circuits for Trees and Treelike Instances (Extended Version)
一元二阶逻辑(MSO)中的查询求值在树和类树实例上是容易处理的,即使对于任意实例是困难的。这个易处理性结果已经扩展到与查询评估相关的几个任务,例如计算查询结果[3]或在概率树上执行查询评估[10]。这是计算增强查询输出的更一般问题的两个示例,该问题被称为出处。本文通过描述MSO查询的电路起源表示的线性时间构造,提出了树和树状实例的起源框架。我们展示了这种起源如何与关系实例上的半环起源的通常定义联系起来[20],即使我们使用树自动机以一种不寻常的方式计算它;我们通过一般半环的起源的内在定义来这样做,独立于查询评估的操作细节。我们展示了这种起源的应用程序,以捕获现有的计数和概率结果的树和树状实例,并给出新的后果概率评估。
2015-11-27 cs.DB cs.LO
The $\mathbf{P}$-Completeness of Inverted Index Traversal: On the Complexity of Evaluating Boolean Query DAGs
Apple Inc.(苹果公司)
本文证明基于DAG的布尔查询评估问题是$\mathbf{P}$-完备的,并提出一种稀疏感知算法ComputePN,通过正负对偶表示和DAG记忆化,将评估时间严格限制在$O(|Q| \cdot |U_{\mathit{active}}|)$,避免指数爆炸和全量扫描。
2026-08-19 cs.AI cs.CC cs.CL
FedQPL: A Language for Logical Query Plans over Heterogeneous Federations of RDF Data Sources (Extended Version)
RDF数据源的联合在查询无法单独从一个数据源获得的答案和见解时提供了巨大的潜力。规划在这样的联合上执行查询的挑战在于,联合在由联合成员提供的数据访问接口的类型方面可能是异构的。这一挑战在文献中没有得到太多关注。本文提供了一个坚实的正式基础,为未来的方法,旨在解决这一挑战。我们的主要概念的贡献是一个形式语言表示查询执行计划,此外,我们确定了这个语言的片段,可以用来捕捉一个给定的查询的不同部分选择相关的数据源的结果。作为技术贡献,我们表明,这个片段是更有表现力的比现有的源选择方法,这有效地突出了这些方法的固有局限性所支持的。此外,我们表明,源选择问题是NP-难的,在$Σ_2^\mathrm{P}$,我们提供了一套全面的重写规则,可用作查询优化的基础。
2020-10-02 cs.DB
GSmart: An Efficient SPARQL Query Engine Using Sparse Matrix Algebra -- Full Version
由于越来越多地使用RDF对数据进行编码,在大型RDF数据集上高效执行SPARQL查询是一个非常有趣的话题。大多数工作都遵循关系或基于图的方法。在本文中,我们提出了一种替代查询引擎,称为gSmart,基于矩阵代数。这种方法可以潜在地更好地利用我们所针对的高性能异构体系结构的计算能力。gSmart包括:(1)基于分组关联边的SPARQL查询评估,其中使用一系列矩阵运算一起评估顶点的所有未评估边,以充分利用查询约束并缩小解空间;(2)图查询规划器,确定查询图中顶点的评估顺序;(3)存储和计算高效的数据结构,包括用于RDF数据的轻量稀疏矩阵(LSpM)存储和用于评估结果的基于树的表示;(4)多级数据划分器,用于将基于事件边的查询评估映射到异构HPC体系结构中并开发多级并行性;以及(5)并行执行器,其使用细粒度处理方案、预修剪技术以及树修剪技术,以降低节点间通信并实现高吞吐量。gSmart在CPU+GPU HPC架构上的评估显示,与单节点机器上现有的SPARQL查询引擎相比,执行时间加速高达46920.00倍。此外,天河一号A超级计算机上的gSmart从2个CPU+GPU节点扩展到16个节点,最大加速比为6.90倍。
2021-06-26 cs.DB cs.DC
The Dichotomy of Evaluating Homomorphism-Closed Queries on Probabilistic Graphs
本文针对概率图上的同态封闭查询,证明了无界查询的评估是#P难的,并结合有界查询的已有分类,给出了完整的数据复杂度二分类,涵盖多种查询片段。
2022-01-06 cs.CC cs.DB cs.DS
Safest Nearby Neighbor Queries in Road Networks (Full Version)
传统的路径规划和k近邻查询只考虑距离或行程时间,完全忽略了道路安全。然而,许多旅行者更喜欢避免危险或不愉快的道路状况,例如犯罪率高的道路(例如,抢劫、绑架、骚乱等)和颠簸的道路。为了方便安全出行,我们引入了一种新的查询道路网络称为k最安全的近邻(kSNN)查询。给定查询位置$v_l$、距离约束$d_c$和兴趣点$p_i$,我们将从$v_l$到$p_i$的最安全路径定义为从$v_l$到$p_i$的长度小于$d_c$的所有路径中具有最高路径安全分数的路径。给定查询位置$v_l$、距离约束$d_c$和一组POI P,kSNN查询返回P中具有k个最高路径安全分数的k个POI以及它们各自从查询位置开始的最安全路径。我们开发了两种新的索引结构,称为Ct树和安全评分为基础的沃罗诺伊图(SNVD)。我们提出了两个有效的查询处理算法,每个利用一个建议的索引,有效地细化使用索引的属性的搜索空间。我们对真实数据集的广泛实验研究表明,我们的解决方案平均比基线快一个数量级。
2022-04-27 cs.DB
Scalable Time-Range k-Core Query on Temporal Graphs(Full Version)
具有各种时间约束的时态图上的凝聚子图的查询是近年来的研究热点。在本文中,我们研究了一个新的时间k-核心查询(TCQ)问题:给定一个时间间隔,找到所有不同的k-核心,存在于任何子区间从时间图,这推广了以前的历史k-核心查询。这个问题是具有挑战性的,因为子区间的数量增加平方的时间间隔的跨度。为此,我们提出了一种新的时间核心分解(TCD)算法,递减诱导时间k-核心从以前诱导的,从而减少了“内核内”的冗余计算显着。然后,我们引入了一个直观的概念命名为时间间隔(TTI)的时间k-核心,并设计了一个优化技术与理论保证,利用TTI作为关键,以预测哪些子区间将导致重复的k-核心和修剪子区间完全提前,从而消除“核间”冗余计算。OTCD算法的复杂度不再依赖于查询时间间隔的跨度,而只依赖于最终结果的规模,这意味着OTCD算法具有可扩展性。此外,我们提出了一个紧凑的内存中的数据结构命名为时间边缘列表(TEL)实现OTCD算法有效地在物理层与有限的内存需求。TEL在“时间轴”中组织时间边,并且当新边到达时可以立即更新,因此我们的方法也可以处理动态时间图。我们比较了OTCD算法与增量历史k-core查询在几个真实世界的时态图,并观察到OTCD算法优于它的三个数量级,即使OTCD算法不需要预先计算的索引。
2023-03-18 cs.DB
Distribution-Aware Distributed Database Testing (Extended Version)
East China Normal University(华东师范大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Hunan University(湖南大学)
针对分布式数据库管理系统,提出分布式感知测试方法DAT及工具DistRanger,利用分布信息引导查询变异,在四个生产系统上发现31个新缺陷,优于现有测试工具。
2026-09-17 cs.DB
Nesting Depth of Operators in Graph Database Queries: Expressiveness Vs. Evaluation Complexity
为图结构化数据设计查询语言是一个活跃的研究领域,其中用于查询评估的表达性和高效算法是相互冲突的目标。为了更好地处理动态变化的数据,最近的工作是设计查询语言,它可以比较存储在图数据库中的值,而不需要对查询中的值进行硬编码。其主要思想是允许查询中包含变量,并在计算查询时将变量绑定到值。对于只绑定变量一次的查询语言,查询计算通常是NP完全的。有些查询语言允许在Kleene星型运算符的作用域内进行绑定,而这些运算符本身也可以在绑定的作用域内,等等。我们定义了一种方法来语法控制嵌套深度的迭代绑定,并研究如何影响表现力和效率的查询评估。结果是一个无限的、按语法定义的表达式层次结构。我们证明了相应的语言层次是严格的。给定层次结构中的表达式,我们证明检查较低级别是否存在语言等效表达式是不可判定的。我们证明,评估查询的基础上,在级别i的表达式可以在$Σ_i$在多项式时间层次结构。量化布尔公式的可满足性可以归结为查询评价,我们研究了布尔量词的交替和迭代绑定的嵌套深度之间的关系。
2016-05-05 cs.DB cs.FL cs.LO
Complexity of Consistent Query Answering in Databases under Cardinality-Based and Incremental Repair Semantics (extended version)
数据库D可能与给定的完整性约束集合IC不一致。一致性查询排序(CQA)是从D计算与IC一致的查询答案的问题。一致答案在D的所有修正下都是不变的,即最小偏离D的一致实例。三类修复已被认为是在文献中:那些最小化集理论上的对称差中的元组集;那些最小化属性值的变化,以及那些最小化对称差中的元组集的基数。后一类尚未进行系统的研究。在本文中,我们得到的算法和复杂性理论的结果CQA在这个基数为基础的修复语义。我们在通常的静态设置中这样做,但也在动态框架中,一致的数据库受到一系列更新的影响,这可能使其不一致。我们还建立了比较结果与其他两种修复的动态情况下。
2016-05-23 cs.DB
Expressivity and Complexity of MongoDB (Extended Version)
在过去的十年中,已经提出了大量新颖的数据库体系结构和数据模型。虽然这些新系统中的一些已经流行起来,但它们缺乏适当的形式化,以及对相关查询语言的表达性和计算特性的精确理解。在本文中,我们的目标是填补这一空白,我们这样做,考虑MongoDB,一个广泛采用的文档数据库管理复杂的(树结构)值表示在基于JSON的数据模型,配备了强大的查询机制。我们提供了MongoDB数据模型的形式化,以及MongoDB查询语言的核心片段MQuery。我们研究了MQuery的表达能力,证明了它与嵌套关系代数的等价性。我们进一步研究了它的重要片段的计算复杂性,获得了几个(紧)结合复杂性的界限,其范围从LOGSPACE交替指数时间与多项式数量的交替。因此,我们也得到了嵌套关系代数查询评价的组合复杂性的表征。
2017-04-25 cs.DB
Certain Answers to a SPARQL Query over a Knowledge Base (extended version)
Free University of Bozen-Bolzano(博尔扎诺自由大学)
本体中介查询(OMQA)是一个完善的框架,用于回答RDFS或OWL知识库(KB)上的查询。OMQA最初是为联合查询(UCQ)设计的,并且基于某些答案。最近,OMQA已经扩展到SPARQL查询,但据我们所知,在这个方向上所做的努力(无论是在文献中,或所谓的SPARQL蕴涵制度)是能够捕捉到某些答案UCQ和SPARQL的标准解释在一个普通的图。我们将这些形式化为任何语义都要满足的要求,旨在调和某些答案和SPARQL答案,并定义了三个额外的要求,概括为知识库的SPARQL答案的一些基本属性。然后,我们表明,可以定义一个语义,满足所有要求SPARQL查询与SELECT,UNION和OPTIONAL,和DL与规范模型属性。我们还调查了在这样的语义DL-Lite R KB的查询回答的组合复杂性。特别是,我们表明不同的SPARQL片段,已知的上界查询回答一个普通的图相匹配。
2019-11-21 cs.AI cs.DB
Forecasting the cost of processing multi-join queries via hashing for main-memory databases (Extended version)
数据库管理系统(DBMS)仔细优化复杂的多连接查询,以避免昂贵的磁盘I/O。由于今天的服务器具有数十或数百GB的RAM,许多分析数据库的很大一部分成为内存驻留。即使在针对内存环境进行了仔细调优之后,线性磁盘I/O模型(如PostgreSQL中实现的模型)也可能对查询响应时间进行预测,其速度可能比内存驻留数据的最佳多连接查询计划慢2倍。本文介绍了一个内存I/O成本模型,以确定良好的评估策略,复杂的查询计划与多个基于哈希的等价连接内存驻留数据。使用三个不同的系统(包括Amazon EC2实例)仔细验证了建议的成本模型的准确性,以控制特定于硬件的差异。并行查询评估的先前工作提倡右深和浓密树的多连接查询,由于其更大的并行化和流水线的潜力。一个令人惊讶的发现是,基于磁盘的无共享系统的传统智慧并不直接适用于现代的一切共享存储层次结构。正如我们的模型所证实的那样,随着查询中连接数量的增加,最佳左深查询计划和右深查询计划之间的性能差距可以增长到大约10倍。
2015-07-21 cs.DB
Top-k Querying of Unknown Values under Order Constraints (Extended Version)
许多实际情况下,有必要评估top-k查询的数据项与部分未知的值。本文考虑了一种设置,其中的值是从一个数值域,并给出了一些偏序约束已知和未知的值:在这些约束下,我们假设所有可能的世界是同样可能的。我们的工作是第一个提出一个原则性的计划,以获得在此设置中的未知项目的值分布和期望值,通过从已知的未知值插值计算估计的top-k结果的目标。我们研究了这个一般任务的复杂性,并显示严格的复杂性界限,证明了这个问题是棘手的,但可以跟踪近似。然后,我们考虑的情况下,树形偏序,我们展示了一个建设性的PTIME解决方案。我们还将我们的问题设置与不确定数据上的其他top-k定义进行了比较。
2017-01-10 cs.DB
Walking without a Map: Optimizing Response Times of Traversal-Based Linked Data Queries (Extended Version)
互联网上关联数据的出现引发了对这些数据进行在线声明式查询的研究兴趣。一个特别有趣的方法是基于索引的查询执行,它通过遍历数据链路来获取数据,因此能够利用来自最初未知数据源的最新数据。这种方法的缺点是在查询引擎完成查询执行之前存在延迟。在本文中,我们通过提出一种方法来解决这个问题,以尽快返回尽可能多的结果集元素。这种方法的基础是一种遍历策略,旨在尽可能早地获取结果相关的数据。这种策略的挑战在于,查询引擎并不先验地知道在查询执行期间将发现的数据源中的哪一个包含结果相关数据。我们介绍了16种不同的遍历方法和实验研究它们对响应时间的影响。我们的实验表明,一些方法可以实现显着的改进,在基线上查找URI的先到先得的基础上。此外,我们验证了这些方法的重要性,通过显示,典型的查询优化技术,只专注于构建查询结果的过程中,不能有任何显着的影响,对响应时间的基于查询执行的查询。
2016-07-04 cs.DB
Evaluating Temporal Queries Over Video Feeds
York University(约克大学);University of Toronto(多伦多大学)
计算机视觉和深度学习的最新进展使得从流视频帧中有效提取模式成为可能。因此,可以生成对象及其相关联的类的流以及经由对象跟踪导出的唯一对象标识符,从而在跨帧捕获唯一对象时提供唯一对象。在本文中,我们发起了一项研究的时间查询涉及的对象和他们的共同出现在视频饲料。例如,识别相同的两辆红色汽车和相同的两个人共同出现五分钟的视频片段的查询对于范围从执法到安全和安保的许多应用都是感兴趣的。我们采取的第一步,并定义这样的查询的方式,他们将某些物理方面的视频捕捉,如对象遮挡。我们提出了一个由三层组成的体系结构,即目标检测/跟踪,中间数据生成和查询评估。我们提出了两种技术,MFS和SSG,在中间数据生成层,有效地组织所有检测到的对象,给定的查询,最大限度地减少查询评估过程中必须考虑的对象和帧的数量。我们还介绍了一种算法,称为状态Traffic(ST),处理传入的帧对SSG和有效地修剪对象和帧无关的查询评估,同时保持简洁的查询评估所需的所有状态。我们提出了一个彻底的实验评估的结果,利用真实的和合成数据建立MFS和SSG之间的权衡。我们强调各种参数的利益,在我们的评估和证明,所提出的查询评估方法,再加上所提出的算法是能够有效地评估时间查询视频饲料,实现数量级的性能优势。
2020-03-05 cs.CV cs.DB cs.LG
Semantic Caching for OLAP via LLM-Based Query Canonicalization (Extended Version)
Max Planck Institute for Software Systems(马克斯·普朗克软件研究所)
本文提出基于LLM的查询规范化方法,通过统一的OLAP意图签名提升OLAP缓存命中率,实现82%的高命中率,显著优于传统方法。
2026-02-23 cs.DB
Evaluating Persistent Memory Range Indexes: Part Two [Extended Version]
可扩展持久性内存(PM)为构建直接在内存总线上操作和持久化数据的索引开辟了新的机会,从而可能实现即时恢复、低延迟和高吞吐量。当真正的PM硬件(英特尔Optane DCPMM)首次可用时,以前的工作评估了在Optane之前提出的PM索引。从那时起,基于真实PM的新指标出现了,但目前还不清楚它们如何相互比较,以及与以前的建议相比,还有什么进一步的挑战。本文解决了这些问题,通过分析和实验评估国家的最先进的PM范围指数建立真正的PM。我们发现新的设计继承了过去的技术,并进行了新的改进,但它们并不一定优于Optane时代之前的建议。此外,PM索引通常也非常有竞争力,甚至优于为DRAM定制的索引,突出了对PM和DRAM使用统一设计的潜力。在功能方面,这些索引仍然缺乏对可变长度键和处理NUMA效果的良好支持。根据我们的研究结果,我们提炼出新的设计原则,并强调未来的发展方向。
2022-07-27 cs.DB
To not miss the forest for the trees -- a holistic approach for explaining missing answers over nested data (extended version)
对缺失答案的基于查询的解释确定查询的哪些运算符负责未能返回感兴趣的缺失答案。这种类型的解释已被证明在各种上下文中是有用的,包括调试复杂的分析查询。这种查询在Apache Spark等大数据系统中很常见。我们提出了一种新的方法来产生基于查询的解释。我们的方法是第一个支持嵌套数据并考虑修改数据模式和结构的运算符(例如,嵌套和投影)作为缺失答案的潜在原因。为了有效地计算解释,我们提出了一种启发式算法,采用两种新的技术:(i)推理多个模式的替代查询和(ii)重新验证在每一步是否中间结果可以有助于失踪的答案。使用我们的方法在Spark上的实现,我们证明了它是第一个扩展到大型数据集的方法,并且它经常找到现有技术无法识别的解释。
2021-03-12 cs.DB
Query-Guided Analysis and Mitigation of Data Verification Errors (Extended Version)
Bar-Ilan University(巴伊兰大学)
本文提出MESReduce框架,通过计算最大误差分数和识别高风险元组,有效减少数据验证错误,提升查询结果的可靠性。
2026-08-28 cs.DB