Query shredding: Efficient relational evaluation of queries over nested multisets (extended version)
嵌套关系查询语言已经被广泛地研究,并且是诸如Microsoft的LINQ之类的工业语言集成查询系统的基础。但是,关系数据库本身并不支持查询结果中的嵌套集合。这可能导致主要的性能问题:如果程序员编写的查询产生嵌套的结果,那么这样的系统通常要么失败,要么生成大量的查询。我们提出了一种新的方法来查询切碎,它转换一个查询返回嵌套的数据到一个固定数量的SQL查询。我们的方法,在以前的工作相比,处理多集语义,并生成一个地道的SQL:1999查询直接从嵌套查询的范式。我们提供了一个详细的描述,我们的翻译和目前的实验表明,它提供了可比的或更好的性能比最近的替代方法的一系列例子。
2014-05-02 cs.DB cs.PL
NeuroDB: A Neural Network Framework for Answering Range Aggregate Queries and Beyond
范围聚集查询(RAQs)是许多实际应用中不可或缺的一部分,在这些应用中,通常需要查询的快速和近似答案。最近的工作已经研究了使用机器学习模型来回答RAQ,其中学习数据的模型来回答查询。然而,这样的建模选择未能利用任何查询特定信息。为了捕获这样的信息,我们观察到,可以由查询函数来表示RQ,查询函数是采用查询实例的函数(即,特定的RAQ)作为输入并输出其相应的答案。使用这种表示,我们制定了学习的问题,以近似的查询功能,并提出NeuroDB,查询专用的神经网络框架,有效地回答RAQs。NeuroDB是查询类型不可知的(即,它不对底层查询类型做出任何假设),并且我们关于查询可以由函数表示的观察结果并不特定于RQ。因此,我们研究NeuroDB是否可以用于其他查询类型,通过将其应用于最近邻查询的距离。我们的实验表明,NeuroDB优于国家的最先进的这种查询类型,往往由数量级。此外,使用了与用于RQ相同的神经网络架构,从而揭示了使用通用框架来有效地回答任何查询类型的可能性。
2021-07-10 cs.DB
Puzzling over Subsequence-Query Extensions: Disjunction and Generalised Gaps
本文提出swg-查询的两种扩展(swgg-查询和dswg-查询),分别引入广义间隔约束和析取模式,并刻画了包含关系,将发现算法适配至新查询类。
2023-05-14 cs.DB
Interactive Query Formulation using Point to Point Queries
在具有大型概念模式的数据库中,有效的信息披露是一个重要的问题。特别是制定特设查询是在这种情况下的一个主要问题。解决这个问题的现有方法包括图形查询界面,查询导航,查询的建设。在这篇文章中,我们提出了点到点的查询机制,可以结合现有的机制到一个前所未有的计算机支持的查询制定机制。在点对点查询中,构建了通过信息结构的路径。然后可以使用此路径来制定更复杂的查询。当用户知道某些与其信息需求相关的对象类型,但(尚未)知道它们在概念模式中如何相关时,点对点查询通常很有用。因此,点对点查询机制的一部分是在概念模式中选择对象类型(点)之间的最合适路径。本文讨论了点到点查询机制所涉及的一些语用问题,以及在所选对象类型之间寻找相关路径所涉及的理论问题。
2021-02-03 cs.DB
Querying for Paths in Graphs using Context-Free Path Queries
针对图结构数据的导航查询,诸如常规路径查询和上下文无关路径查询,通常被评估为节点对$(m, n)$的关系,使得存在从$m$到$n$的路径满足查询的条件。虽然这种关系查询语义具有实用价值,我们认为,关系查询语义只能提供有限的洞察力的图数据的结构。为了解决关系查询语义的局限性,我们引入了全路径查询语义和单路径查询语义。根据这些基于路径的查询语义,查询被评估为满足查询条件的所有路径,或者,分别,到一个单一的这样的path.While专注于上下文无关的路径queries,我们提供了一个正式的框架,用于评估图上的查询使用基于路径的查询语义。对于所有路径的查询语义,我们表明,查询的结果可以表示为一个有限的上下文无关文法与节点信息相关的查询结果中派生的每个路径的注释。对于单路径查询语义,我们建议搜索最小长度的路径。我们减少的问题,找到这样一个路径的最小长度找到一个字符串的最小长度在上下文无关的语言,并推导出这样一个字符串,我们提出了一个新的算法。我们的初步研究结果表明,基于路径的查询语义增加了实用价值和查询评价基于路径的查询语义是可行的,即使当查询结果增长非常大。对于单路径查询语义,确定严格的最坏情况下的查询结果的大小上界仍然是未来工作的重点。
2016-01-31 cs.DB cs.DS
Estimating the Cost of Executing Link Traversal based SPARQL Queries
几乎所有领域的越来越多的组织都开始采用语义Web技术,将其数据发布为开放、链接和互操作(RDF)数据集,可通过SPARQL语言和协议进行查询。链接遍历已经成为一种SPARQL查询处理方法,它利用链接数据原则和Web的动态特性,通过在查询评估期间解析在线资源(URI)来动态地发现与回答查询相关的数据。然而,链接遍历查询的执行时间对于某些查询类型可能变得过高,这是由于在查询执行期间需要访问大量资源。在本文中,我们提出并评估基线方法估计的链接遍历查询的评估成本。这样的方法对于即时决定给定查询所遵循的查询执行策略非常有用,从而减少SPARQL端点的负载并提高查询服务的整体可靠性。为了评估所提出的方法的性能,我们创建了(并公开提供)一个由2,425个查询组成的地面实况数据集。
2022-10-17 cs.DB
Tracking Federated Queries in the Linked Data
联邦查询引擎允许数据使用者通过链接数据(LD)的联邦执行查询。然而,由于联邦查询被分解为可能分布在SPARQL端点之间的数千个子查询,数据提供者不知道联邦查询,他们只知道他们处理的子查询。因此,与仓储方法不同,土地退化数据提供者无法获得二级数据。在本文中,我们提出了FETA(FEderated查询跟踪),查询跟踪算法,推断基本图形模式(BGPs)处理的联邦从数据提供商维护的共享日志。由多个联邦查询引擎生成的上千个子查询的并发执行使得查询跟踪过程具有挑战性和不确定性。与Anapsid的实验表明,FETA是能够提取BGP,即使在最坏的情况下,包含原始查询的BGP。
2015-08-25 cs.DB
Sapphire: Querying RDF Data Made Simple
链接开放数据(LOD)云中的RDF数据对于许多不同的应用程序都非常有价值。为了释放这些数据的全部价值,用户应该能够对LOD云中的RDF数据集发出复杂的查询。SPARQL可以表达这样复杂的查询,但是构造SPARQL查询对用户来说可能是一个挑战,因为它需要知道被查询的数据集的结构和词汇。在本文中,我们介绍了蓝宝石,一个工具,帮助用户编写语法和语义正确的SPARQL查询,而无需事先了解查询数据集。Sapphire通过根据查询数据提供自动完成建议,以交互方式帮助用户键入查询。在发出查询后,Sapphire会提供更改查询的建议,以更好地满足用户的需求。我们基于性能实验和用户研究对Sapphire进行了评估,并表明它优于竞争方法。
2018-09-13 cs.DB
Can One Escape Red Chains? Regular Path Queries Determinacy is Undecidable
对于给定的一组查询(它们是某种查询语言中的表达式)$\mathcal{Q}=\{Q_1$、$Q_2, \ldots Q_k\}$和另一个查询$Q_0$,我们说$\mathcal{Q}$确定$Q_0$,如果--非正式地说--对于每个数据库$\mathbb D$,视图$\mathcal{Q}({\mathbb D})$中包含的信息足以计算$Q_0({\mathbb D})$。查询确定性问题(Query Determinacy Problem)是对给定的$\mathcal{Q}$和$Q_0$,判定$\mathcal{Q}$是否确定$Q_0$的问题。在数据库理论中,针对不同的查询语言,研究了这个问题的许多版本。本文解决了[CGLV 02]中的一个问题,证明了图数据库的典范查询语言--正则路径查询的查询确定性问题是不可判定的。
2018-02-05 cs.DB
An Analytical Study of Large SPARQL Query Logs
随着RDF作为关联数据和语义Web的数据模型的采用,来自最终用户的查询规范在SPARQL端点中变得越来越普遍。在本文中,我们进行了深入的分析研究的查询制定的最终用户和收获的大型和最新的查询日志从各种各样的RDF数据源。与以前的研究相反,我们是第一次对大量查询语料库进行评估,跨越了几年,涵盖了许多代表性的SPARQL端点。除了句法结构的查询,表现出已经有趣的结果,在这个广义的语料库,我们钻更深的结构charteristics相关的图和超图表示的查询。我们概述了最常见的形状的查询时,在视觉上显示为伪图,和字符-achts他们的(超)树的宽度。此外,我们通过引入条纹的新概念,即,作为种子查询的后续修改出现的查询序列。我们的研究提供了一些新的见解已经丰富的查询功能的真实SPARQL查询制定的真实用户,并使我们得出一些结论,并指出未来的方向,rections为SPARQL查询评估,查询优化,调优,和基准测试。
2017-08-01 cs.DB
Advancing Fact Attribution for Query Answering: Aggregate Queries and Novel Algorithms
本文提出基于Banzhaf和Shapley值的聚合查询事实归因方法,通过等价贡献分组和血统梯度优化,实现比现有技术快三个数量级的运行时性能。
2025-06-20 cs.DB
A Skyline and ranking query odyssey: a journey from skyline and ranking queries up to f-skyline queries
本文梳理 skyline 查询、排序查询与 f-skyline 查询的原理和差异,说明灵活 skyline 查询如何缓解结果规模与效用函数依赖等局限。
2023-04-25 cs.DB
Bitvector-aware Query Optimization for Decision Support Queries (extended version)
位向量过滤是一种重要的查询处理技术,可以显著降低执行成本,特别是对于具有多个连接的复杂决策支持查询。尽管它有广泛的应用,但是,它对查询优化的影响还没有得到很好的理解。在这项工作中,我们研究了位向量过滤器如何影响查询优化。我们表明,直接将位向量过滤器纳入查询优化可以增加计划的空间复杂度的查询中的关系的数量的指数因子。我们分析的计划与位向量过滤器的星和雪花查询的右深树没有交叉产品的计划空间。令人惊讶的是,通过一些简化的假设,我们证明了,可以从查询中的关系数量中的线性数量的计划中找到具有位向量过滤器的最小成本的计划。这大大降低了这种查询的计划空间复杂度,从指数到线性。基于我们的分析,我们提出了一个算法,占位向量过滤器在查询优化的影响。我们的算法优化了连接顺序的任意决策支持查询选择从一个线性数量的候选计划在查询中的关系的数量。我们实现了我们的算法在Microsoft SQL Server作为一个转换规则。我们对行业标准基准测试和客户工作负载的评估表明,与原始Microsoft SQL Server相比,我们的技术将工作负载的总CPU执行时间减少了22%-64%,单个查询的CPU执行时间减少了两个数量级。
2020-05-07 cs.DB
Heuristics-based Query Reordering for Federated Queries in SPARQL 1.1 and SPARQL-LD
SPARQL 1.1的联邦查询扩展允许执行分布在不同SPARQL端点上的查询。SPARQL-LD是SPARQL 1.1的最新扩展,它可以直接查询任何包含RDF数据的HTTP Web源,如嵌入RDFa,JSON-LD或Microformats的网页,而无需声明命名图。这使得通过一个简洁的查询查询大量的数据源(包括SPARQL端点、在线资源,甚至是返回RDF数据的Web API)成为可能。然而,SPARQL 1.1和SPARQL-LD查询的非最佳公式化可能导致对远程资源的大量调用,这反过来又可能导致极高的查询执行时间。在本文中,我们解决这个问题,并提出了一套查询重新排序的方法,使使用的服务图模式的基础上,他们的限制性,而不需要收集和使用的统计数据从远程源重新排序。这样的查询优化方法是广泛适用的,因为它可以在现有的SPARQL 1.1和SPARQL-LD实现之上被利用。评估结果表明,查询重排序可以大大减少查询执行时间,而一种方法,考虑的数量和类型的未绑定变量和连接实现了最佳的查询计划在88%的情况下。
2018-10-23 cs.DB
The Dichotomy of Conjunctive Queries on Probabilistic Structures
我们表明,对于每一个合取查询,评估它的概率数据库的复杂性是\PTIME或#¶-完成,我们给出了一个算法,用于决定是否一个给定的合取查询是\PTIME或#¶-完成。二分法是概率数据库查询评价的一个基本结果,它给出了合取查询复杂性的一个完整分类。
2007-01-13 cs.DB
Querying Spatial-Temporal-Spectral Data Using a Graphical Query Builder
在结合了空间、时间和光谱方面的数据上构造复杂的查询是一个具有挑战性且容易出错的过程。通用数据库管理系统的查询接口在为用户提供直观支持以有效地和高效地构造查询方面存在不足。为了解决这种情况下,我们开发了GraphicalQueryBuilder,一个工具,它提供了交互式和即时的反馈,在查询建设和可视化表示搜索空间和查询。一项针对10名专业人士的用户研究表明,与Microsoft Access基线相比,用户完成查询的速度平均快40%,准确率高40个百分点。
2022-05-15 cs.DB cs.SE
ROSIE: Runtime Optimization of SPARQL Queries Using Incremental Evaluation
关系数据库在资源描述框架(RDF)数据管理中得到了广泛的应用。为了有效地进行SPARQL查询评估,需要重新考虑遗留查询优化器。其中一个重要的问题是如何解决由于基数估计容易出错而导致的查询计划不理想的问题。考虑到RDF数据的无模式特性和SPARQL查询的Join密集特性,在实际评估的查询是昂贵的甚至是不可行的之前确定最佳执行顺序,特别是对于大规模数据的复杂查询。在本文中,我们提出了ROSIE,一个迭代优化框架,迭代地重新优化SPARQL查询计划,根据实际基数来自增量部分查询评估。通过引入一种基于启发式的计划生成方法,以及一种在运行时检测基数估计错误的机制,ROSIE以一种有效的方式缓解了有偏基数传播的问题,从而对复杂的查询评估更具弹性。在真实数据和基准数据上进行的大量实验表明,与最先进的技术相比,ROSIE在复杂查询上的表现一直优于几个数量级。
2016-05-23 cs.DB
Inverse Queries For Multidimensional Spaces
对于给定的查询对象$q$,传统的空间查询返回满足给定谓词的所有数据库对象,例如查询范围和$k$ -最近邻居。本文定义并研究了{ \em逆}空间查询,给定一个数据库对象子集$Q$和一个查询谓词,它返回所有的对象,这些对象如果用作带有谓词的查询对象,则在其结果中包含$Q$。我们首先展示了一个简单的解决方案,回答任何查询谓词的逆空间查询。然后,我们提出了一个过滤和细化框架,可以用来提高效率。我们将展示如何应用这个框架上的各种反向查询,使用适当的空间修剪策略。特别是,我们提出了解决方案,逆范围查询,逆$k$ -最近邻查询,逆天际线查询。我们的实验表明,我们的框架是显着更有效的比天真的方法。
2011-05-05 cs.DB
GraphQL Live Querying with DynamoDB
我们提出了一种在数据库级别实现GraphQL实时查询的方法。我们在Go中的DynamoDB模拟模拟了分布式键值存储,并实现了实时查询以暴露可能的陷阱。实现实时查询的两个关键组件是存储在实时查询中选择的字段,并确定在每次数据库写入中更新了哪些对象字段。对系统的stream(key,fields)请求包含要包括在实时查询流中的字段,并且在随后的put(key,object)操作中,数据库异步地确定哪些字段被更新,并且如果这些字段与stream()请求重叠,则将新的查询视图推送到流。在讨论了我们的实现之后,我们探讨了使用实时查询的动机,例如简化软件通信,最大限度地减少数据传输,以及实现实时数据,并描述了使用GraphQL和实时查询构建软件的架构。
2020-08-01 cs.DB
Hypertree Decompositions and Tractable Queries
合取查询(CQ)的几个重要的决策问题一般是NP完全的,但变得易于处理,实际上是高度并行化的,如果限制到非循环或近非循环查询。例如,布尔CQ和查询包含的评估。这些问题被证明是易处理的有界树宽和有界循环度的合取查询。到目前为止,近似非循环查询的最一般概念是Chekuri和Rajaraman(1997)引入的有界查询宽度查询的概念。虽然有界查询宽度的CQ是易处理的,但仍不清楚此类查询是否有效地可识别。Chekuri和Rajaraman提出了一个开放问题,即对于每个常数k,是否可以在多项式时间内确定查询是否具有小于或等于k的查询宽度。我们通过证明这个问题是NP-完全的(特别是,对于k=4)来给出否定的答案。为了克服这个困难,我们引入了查询的超树分解的新概念和相应的超树宽度的概念。我们证明:(a)对于每个k,查询宽度由k限定的查询类适当地包含在超树宽度由k限定的查询类中;(b)与查询宽度不同,恒定超树宽度是有效识别的;(c)恒定超树宽度的布尔查询可以被有效地评估。
1998-12-28 cs.AI cs.DB
How Many and What Types of SPARQL Queries can be Answered through Zero-Knowledge Link Traversal?
当前查询Web of Data的实际方法是通过SPARQL协议,其中客户端通过SPARQL端点向服务器发送查询。与HTTP服务器相反,提供和维护一个健壮和可靠的端点需要大量的工作,而不是所有的发布者都愿意或能够做到。另一种查询评估方法是通过链接遍历,其中通过实时的解引用在线Web资源(URI)来回答查询。虽然已经提出了用于这种基于查找的查询评估方法的几种方法,但是不存在对可以在实况Web上直接回答的查询的类型(模式)的分析,而不访问本地或远程端点,并且没有可用数据源的先验知识。在本文中,我们首先提供了一种方法来检查是否可以通过零知识链接遍历(而不访问端点)回答SPARQL查询(SPARQL端点上进行评估),并分析了一个大语料库的真实SPARQL查询日志的频率和分布的可回答和不可回答的查询模式。随后,我们提供了一个算法,用于将应答查询转换为绕过端点的SPARQL-LD查询。我们报告的转换查询的效率的实验结果,并讨论了这种查询评估方法的优点和局限性。
2018-12-13 cs.DB
Approximate Query Processing for Group-By Queries based on Conditional Generative Models
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室)
Group-By查询是一种重要的查询类型,在数据仓库、数据分析和数据可视化中有着广泛的应用。近似查询处理是提高大数据查询效率的有效途径。对group-by查询的回答涉及多个值,这使得难以为所有组提供足够准确的估计。与均匀抽样相比,分层抽样提高了查询的准确性,但对某些特殊查询所选择的样本不能用于其他查询。在线采样在查询时为给定的查询选择样本,但它需要很长的延迟。因此,同时实现准确性和效率是一个挑战。面对这样的挑战,在这项工作中,我们提出了一个基于条件生成模型的样本生成框架。样本生成框架可以在不访问数据的情况下为给定查询生成任意数量的样本。基于轻量级模型的框架可以结合分层抽样和在线聚合来提高分组查询的估计精度。实验结果表明,我们提出的方法是有效的和准确的。
2021-01-08 cs.AI cs.DB
RDF-Hunter: Automatically Crowdsourcing the Execution of Queries Against RDF Data Sets
在过去的几年中,大量的RDF数据集已经在Web上可用。然而,由于RDF数据的半结构化性质,缺失值会影响针对此数据提出的查询的答案完整性。为了克服这一限制,我们提出了RDF-Hunter,一种新的混合查询处理方法,它将机器和人类计算结合在一起,对RDF数据执行查询。我们开发了一种新的质量模型和查询引擎,以使RDF-Hunter在飞行中决定查询的哪些部分应该通过传统的技术或人群计算执行。为了评估RDF-Hunter,我们针对DBpedia数据集创建了50个SPARQL查询的集合,使用我们的混合查询引擎执行它们,并分析了从人群中获得的结果的准确性。实验清楚地表明,整个方法是可行的,并产生可靠的查询结果,显着提高自动查询处理响应的完整性。
2015-03-10 cs.DB
Query Generation based on Generative Adversarial Networks
数据库系统中的许多问题,如基数估计,数据库测试和优化器调优,需要大量的查询负载作为数据。然而,由于用户隐私限制或数据库访问频率较低,通常很难获得用户的大量真实查询。查询生成是解决这一问题的方法之一。现有的查询生成方法,如随机生成和基于模板的生成,没有考虑生成的查询和已有查询之间的关系,甚至生成语义错误的查询。在本文中,我们提出了一个查询生成框架的基础上生成对抗网络(GAN)生成查询负载是类似于给定的查询负载。在我们的框架中,我们使用一个语法解析器将查询转换成一个解析树,并遍历该树以获得与查询对应的产生式规则序列。GAN的生成器以一个固定的分布先验作为输入,输出查询序列; SVM以生成器生成的真实查询和伪查询作为输入,输出梯度来指导生成器学习。此外,我们在生成过程中加入了上下文无关文法和语义规则,保证了生成的查询在语法和语义上都是正确的。我们进行实验,以评估我们的方法在现实世界的数据集,这表明我们的方法可以生成新的查询负载具有类似的分布到一个给定的查询负载,并且生成的查询是语法正确的,没有语义错误。生成的查询负载用于下游任务,结果表明,使用我们的方法训练的模型与扩展的查询负载有显着的改善。
2023-03-26 cs.DB
Supporting Exploratory Queries in Database Centric Web Applications
以数据库为中心的Web应用程序的用户,特别是在电子商务领域,经常求助于探索性的"试错“查询,因为底层数据空间是巨大的和不熟悉的,并且在这个空间中有几个搜索属性的替代方案。例如,寻找便宜的机票通常涉及提出多个查询,改变航班时间,日期和机场位置。从用户和服务器的角度来看,探索性查询都是有问题的。对于数据库服务器,它会导致有效吞吐量的急剧减少,因为在每个连续的查询中重复了许多处理。对于客户端来说,这会导致响应时间显著增加,尤其是在通过无线信道访问服务时。在本文中,我们研究的自动化技术的设计,以尽量减少重复的探索性查询的需要。具体来说,我们提出了SAUNA,服务器端查询松弛算法,给定用户的初始范围查询和所需的基数的答案集,产生一个宽松的查询,预计将包含所需数量的答案。该算法采用了范围查询特定的距离度量,加权产生所需形状的宽松的查询(例如,纵横比保持),并利用多维直方图的查询大小估计。一个详细的性能评估的SAUNA在各种多维数据集表明,其宽松的查询可以显着降低成本与探索性查询处理。
2003-10-17 cs.DB
Towards practical meta-querying
我们描述了一个元查询系统的数据库包含查询,除了普通的数据。在这种数据库的上下文中,元查询是关于查询的查询。表示存储在XML中的查询,并使用标准的XML操作语言SQL作为子语言,我们表明,只需要添加到SQL的一些功能,把它变成一个完全成熟的Meta查询语言。好消息是,这些特性可以直接由可扩展数据库技术支持。
2003-10-13 cs.DB
Consistent Query Answering for Primary Keys on Rooted Tree Queries
本文针对根树查询类研究主键约束下一致性查询回答的数据复杂度,证明每个根树查询的 CERTAINTY(q) 必属 FO、NL-hard∩LFP 或 coNP-complete 三类之一且可在多项式时间内判定,并将分类扩展到具有简单主键的更大查询类。
2023-10-30 cs.DB
Context-based Diversification for Keyword Queries over XML Data
关键字查询使普通用户能够搜索大量的数据,但关键字查询的模糊性使得难以有效地回答关键字查询,特别是对于简短和模糊的关键字查询。为了解决这个具有挑战性的问题,在本文中,我们提出了一种方法,自动多样化的XML关键字搜索的基础上,其在XML数据的不同上下文。给定一个简短而模糊的关键字查询和待搜索的XML数据,我们首先通过一个分类的特征选择模型得到查询的关键字搜索候选。然后,我们设计了一个有效的XML关键字搜索多样化模型来衡量每个候选人的质量。在此基础上,提出了三种有效的算法来评估可能产生的候选查询,这些候选查询代表了不同的搜索意图,从中我们可以找到并返回与给定关键字查询最相关的最高$k$合格的候选查询,同时它们可以覆盖最大数量的不同结果。在真实数据集和人工数据集上的综合评估表明了我们提出的多样化模型的有效性和我们算法的效率。
2013-01-11 cs.DB
Queries with Guarded Negation (full version)
数据库理论中一个公认的基本观点是否定(也称为互补)往往会使查询难以处理和推理。许多基本问题是可判定的,并承认在联合查询的情况下,实用的算法,但变得困难,甚至不可判定的查询时,允许包含否定。受有限模型理论中最近结果的启发,我们考虑了否定的一种限制形式,即保护否定。我们介绍了一个片段的SQL,称为GN-SQL,以及一个片段的Datasheet与分层否定,称为GN-Datasheet,只允许守卫否定,我们表明,这些查询语言计算良好的行为,在测试查询包容,查询评估,开放世界的查询回答,和有界性。GN-SQL和GN-Datasheet继承了许多众所周知的查询语言和约束语言,例如合取查询的联合、一元数据库和边界保护的tgds。此外,对标准基准测试工作负载的分析表明,在实践中,SQL中否定的大多数用法都是保护性否定。
2012-03-01 cs.DB
GraftDB: Dynamic Folding of Concurrent Analytical Queries
The University of Tokyo(东京大学)
提出GraftDB,一种多查询执行引擎,通过状态中心执行和查询嫁接机制动态折叠后续查询到正在运行的执行中,重用已完成工作并共享后续工作,从而减少冗余执行,提高吞吐量并降低响应时间。
2026-06-03 cs.DB
Covers of Query Results
我们引入简洁的无损表示查询结果称为封面。它们是查询结果的子集,对应于这些结果的超图中的最小边覆盖。我们首先研究了连接查询的分数超树分解的覆盖结构。对于任何分解的查询,我们给出了渐近紧的大小范围覆盖的查询结果分解,并表明,这种覆盖可以计算在最坏情况下的最佳时间的对数因子的数据库大小。对于非循环连接查询,我们可以使用查询计划和一个名为cover-join的新运算符组合计算cover。查询结果中的元组可以从其任何覆盖中枚举,具有线性的预计算时间和恒定的延迟。然后,我们概括覆盖连接到功能聚合查询,表达了主机的计算问题,如聚合连接查询,数据库优化,矩阵链乘法,概率图形模型的推理。
2018-01-10 cs.DB
Ontological Queries: Rewriting and Optimization (Extended Version)
本体查询是针对本体而不是直接在数据库上进行评估的。这种查询的评价和优化是数据库研究的一个有趣的新问题。在本文中,我们讨论这个问题的两个重要方面:查询重写和查询优化。查询重写包括将本体查询编译为针对底层关系数据库的等效查询。这里的重点是健全性和完整性。我们回顾以前的结果,并提出了一个新的重写算法,而一般类型的本体约束。特别是,我们展示了如何对本体的合取查询可以编译成一个联盟的合取查询对底层数据库。在这种情况下,本体查询优化试图改进该过程,以便为输入查询产生可能小且成本有效的UCQ重写。我们回顾现有的优化方法,并提出了一种有效的新方法,适用于线性Datalog+/-,一类基于数据的规则,包括著名的描述逻辑的DL-Lite家庭。
2011-12-01 cs.DB cs.LO
Consistent Query Answering for Primary Keys and Conjunctive Queries with Counting
本文研究带计数的一致性查询应答,定义新语法类C_parsimony,证明其恰好包含所有允许简约计数的无自连接合取查询,否定了C_forest的完备性。
2024-02-09 cs.DB
Optimizing Machine Learning Inference Queries with Correlative Proxy Models
我们考虑加速非结构化数据集上的机器学习(ML)推理查询。诸如特征提取器和分类器之类的昂贵操作符被部署为用户定义函数(UDF),这不能被诸如谓词下推之类的经典查询优化技术穿透。最近的优化方案(例如,Probably Predicates(PP)假设查询谓词之间的独立性,为每个谓词离线构建代理模型,并通过将这些廉价的代理模型注入到昂贵的ML UDF的前面来重写新的查询。以这种方式,不满足查询谓词的不太可能的输入被早期过滤以绕过ML UDF。我们表明,在这种情况下,强制执行的独立性假设可能会导致次优的计划。在本文中,我们提出了CORE,这是一种查询优化器,可以更好地利用谓词相关性并加速ML推理查询。我们的解决方案为新查询在线构建代理模型,并利用分支绑定搜索过程来降低构建成本。三个真实世界的文本,图像和视频数据集的结果表明,CORE提高查询吞吐量高达63%相比,PP和高达80%相比,运行的查询,因为它是。
2022-01-02 cs.DB
Leveraging Neighborhood Summaries for Efficient RDF Queries on RDBMS
使用结构化信息来总结图结构的RDF数据有助于解决查询性能问题。然而,利用结构化索引需要修改甚至重新设计RDF系统的内部。给定一个RDF数据集,已经批量加载到一个关系RDF系统,我们的目标是提高查询性能,这样的系统。我们通过总结邻域结构并将其编码为三元组来实现,三元组可以与现有实例数据一起管理。在查询时,我们最佳地选择有效的结构模式,并将这些模式添加到现有的查询,以获得更好的查询性能。实证评估表明,我们的方法的有效性。
2020-01-23 cs.DB
Sprinkling Selections over Join DAGs for Efficient Query Optimization
在查询优化中,基于AND/OR DAG的解决方案可以生成所有可能的连接顺序,并在搜索最佳查询执行策略之前选择放置。但随着连接数和选择条件的增加,生成最优查询计划的空间和时间复杂度呈指数级增长。在本文中,我们使用连接图的关系数据库模式,要么预先计算所有可能的连接顺序,可以被执行,并将其存储为一个连接DAG,或提取连接的查询,以逐步建立一个历史连接DAG的查询时,执行。查询中的选择条件被适当地放置在检索到的连接DAG(或历史连接DAG)中,以生成最优的查询执行策略。我们实验评估我们的查询优化技术TPC-D/H查询集,以显示其有效性与/或DAG查询优化策略。最后,我们说明了我们的技术可以用于有效的多个查询优化和选择的物化视图在数据仓库环境中。
2002-02-21 cs.DB
The Odyssey Approach for Optimizing Federated SPARQL Queries
通过SPARQL端点联合执行查询需要组合来自多个数据源的数据。在这样的场景中优化查询是特别具有挑战性的,这不仅是因为(i)正确回答查询的各种各样的可能的查询执行计划,而且还因为(ii)对关于远程源的模式和实例数据的统计数据的访问是有限的。为了克服这些挑战,大多数联邦查询引擎依赖于算法来减少可能的查询执行计划的空间,或者依赖于动态规划策略来产生最优计划。然而,这些计划可能仍然表现出大量的中间结果或高执行时间,因为成本估算和不准确的成本估算。在本文中,我们提出了奥德赛,一种方法,使用统计数据,允许更准确的成本估计联邦查询,因此使奥德赛产生更好的查询执行计划。我们的实验结果表明,奥德赛产生的查询执行计划,更好的数据传输和执行时间比国家的最先进的优化。我们使用FedBench基准测试的实验显示,平均执行时间至少增加了25倍。
2017-11-02 cs.DB
Journey of Migrating Millions of Queries on The Cloud
Treasure Data每天在云端处理数百万个分布式SQL查询。在这种规模下升级查询引擎服务具有挑战性,因为我们需要将客户的所有生产查询迁移到新版本,同时保持数据处理管道的正确性和性能。为了确保查询引擎的质量,我们利用我们的查询日志来构建客户特定的基准,并在安全的预生产环境中使用真实的客户数据重放这些查询。为了模拟数以百万计的查询,我们需要有效地最小化测试查询集,并更好地报告模拟结果,以主动发现新版本的不兼容更改和性能回归。本文介绍了我们的系统的总体设计,并分享了在云上保持查询引擎服务质量的各种挑战。
2022-05-17 cs.DB
Batch Hop-Constrained s-t Simple Path Query Processing in Large Graphs
本文研究大型图中批处理跳数约束的s-t简单路径查询的高效处理,提出基于HC-s路径查询的两阶段检测与共享计算枚举算法,显著提升了十亿级图上多查询并发处理的效率与可扩展性。
2024-01-09 cs.DB
On the complexity of query containment and computing certain answers in the presence of ACs
我们经常添加算法来扩展查询语言的表达能力,并在使用视图回答查询的框架中研究诸如测试查询包含性和找到某些答案等问题的复杂性。当添加算术比较时,这类问题的复杂性高于没有它们的对应问题的复杂性。已经观察到,如果我们将包含查询中的一些比较限制为封闭或开放半区间比较,则可以实现较低的复杂度。在这里,重点是a)的问题上的合取查询与算术比较(CQAC查询,简称),我们证明了其计算复杂性和b)的问题上的上限计算某些答案,我们发现大类的CQAC查询和意见,这个问题是多项式的。
2020-11-18 cs.DB
Area Queries Based on Voronoi Diagrams
面积查询是一种非常重要的空间查询,广泛应用于各个领域。已经提出了许多方法来实现这种查询,其中最著名的是通过空间索引获得一个粗略的候选集,然后通过几何验证来细化候选集,以获得最终结果。当查询区域的形状为矩形时,该方法具有很高的效率。然而,当查询区域不规则时,候选集通常比最终结果集大得多,这意味着需要进行大量的冗余检测,效率受到很大限制。针对这一问题,提出了一种基于沃罗诺伊图迭代生成候选项的方法,并将其应用于区域查询。实验结果表明,该方法大大减少了区域查询过程中的候选数量,提高了查询效率。
2020-03-28 cs.DB
Efficient Evaluation of Arbitrary Relational Calculus Queries
提出一种将任意关系演算查询转换为安全范围查询并最终映射为SQL的新方法,利用标准数据库管理系统实现高效求值,在时间复杂度和实验表现上均优于现有方法。
2023-12-20 cs.DB cs.LO
Knowledge Rich Natural Language Queries over Structured Biological Databases
关键字、自然语言和NoSQL查询正越来越多地用于从传统和非传统数据库(诸如web、文档、图像、GIS、法律和健康数据库)进行信息检索。虽然由于显而易见的原因,它们的受欢迎程度是不可否认的,但它们的工程设计远非简单。在大多数情况下,将通过结构化数据库模式表达的良好理解的自然语言查询映射到结构化查询语言的语义和意图保持映射仍然是一项困难的任务,并且对驯服复杂性的研究是激烈的。在本文中,我们提出了一个多层次的知识为基础的中间件,以促进这种映射,分离的概念层次的物理层次。我们增加了这些多层次的抽象与概念推理和查询策略引擎动态链接任意自然语言查询定义良好的结构化查询。我们证明了我们的方法的可行性,提出了一个基于数据库的原型系统,称为生物智能,可以计算响应任意自然语言查询在任意数据库的自然语言查询的语法分类。
2017-03-30 cs.DB
Structure-Guided Query Evaluation: Towards Bridging the Gap from Theory to Practice
针对多关系连接查询优化难题,本文通过将SQL查询重写为Yannakakis算法的执行序列,提出结构引导的查询求值方法,证明考虑查询结构能显著提升现代DBMS在复杂场景下的性能。
2023-05-22 cs.DB
Query Embedding on Hyper-relational Knowledge Graphs
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Elsevier(爱思唯尔);LMU Munich(慕尼黑大学);Mila(米拉研究所);McGill University(麦吉尔大学)
多跳逻辑推理是知识图谱(KG)上的表示学习领域中的既定问题。它包含单跳链接预测以及其他更复杂类型的逻辑查询。现有的算法只在经典的,基于三元组的图上操作,而现代KG通常采用超关系建模范式。在这个范例中,类型化的边可能有几个键值对,称为限定符,为事实提供细粒度的上下文。在查询中,此上下文修改关系的含义,并且通常减少答案集。超关系查询经常在现实世界的KG应用程序中观察到,现有的近似查询回答方法不能使用限定符对。在这项工作中,我们弥合了这一差距,并将多跳推理问题扩展到超关系KG,以解决这种新型的复杂查询。基于图神经网络和查询嵌入技术的最新进展,我们研究了如何嵌入和回答超关系合取查询。除此之外,我们提出了一种方法来回答这样的查询,并在我们的实验中证明,限定符提高查询回答不同的查询模式。
2022-09-06 cs.AI cs.DB cs.IR
A Monotone Preservation Result for Boolean Queries Expressed as a Containment of Conjunctive Queries
当查询关系数据库时,结果通常是一个关系。然而,有些查询只需要一个是/否的答案;这样的查询通常被称为布尔查询。在数据库理论中,通常通过测试查询表达式的非空性来表示布尔查询。另一种表示布尔查询的有趣方式是$Q_1 \subseteq Q_2$形式的包含语句,其中$Q_1$和$Q_2$是查询表达式。这里,对于任何输入实例$I$,如果$Q_1(I)$是$Q_2(I)$的子集,则布尔查询结果是$\mathit{true}$,否则是$\mathit{false}$。在本论文中,我们将集中在非空性和包含语句的合取查询。主要目标是研究连接查询包含的单调片段。特别是,我们展示了这个单调片段的保存一样的结果。也就是说,我们表明,在表达能力,单调包含的合取查询是完全等于合取查询下nonempty。
2019-03-01 cs.DB
Probabilistic Voronoi Diagrams for Probabilistic Moving Nearest Neighbor Queries
大量的应用,如基于位置的服务和环境监测的不确定数据库的高效查询处理的需求。提出了一种概率沃罗诺伊图(PVD),用于处理不确定数据的移动最近邻查询,即概率移动最近邻查询(PMNN)。PMNN查询连续地找到移动查询点的最可能最近邻居。为了有效地处理PMNN查询,我们提供了两种技术:预计算方法和增量方法。在预计算方法中,我们开发了一种算法来有效地评估PMNN查询的基础上,为整个数据集的预计算PVD。在增量方法中,我们提出了一个增量的概率安全区域为基础的技术,不需要预先计算整个PVD回答PMNN查询。在这种增量方法中,我们利用已知区域的知识来计算对象是最近邻居的概率的下限。实验结果表明,我们的方法显着优于基于采样的方法的数量级的I/O,查询处理时间和通信开销。
2011-06-29 cs.DB
DAGE: DAG Query Answering via Relational Combinator with Logical Constraints
University of Stuttgart(斯图加特大学);Bosch Center for Artificial Intelligence(博世人工智能中心);Stanford University(斯坦福大学);University of Southampton(南安普顿大学)
本文提出DAGE方法,通过可训练操作符合并DAG查询中的多条路径,以处理更一般的DAG查询,并引入新基准,实验表明其优于现有方法。
2025-02-12 cs.AI cs.DB
Edit Based Grading of SQL Queries
手动给学生的SQL查询评分是一个繁琐且容易出错的过程。测试学生SQL查询正确性的早期工作,例如XData系统,可以用来测试学生查询的正确性。然而,如果学生查询被发现是不正确的,目前没有办法自动分配部分分数。部分标记是重要的,这样小错误比大错误受到的惩罚要少。手动授予部分分数对于学生人数众多的课程,特别是MOOC,是不可扩展的,而且也容易出现人为错误。在本文中,我们讨论的技术,以找到一个最小的成本编辑一个学生查询,将使其正确,这可以帮助分配部分标记,并帮助学生准确地了解他们错了。鉴于目前的形式化方法的局限性,检查等价性,我们的方法是基于找到最近的查询,从一组教师提供的正确的查询,即被发现是基于查询规范化的等价。我们表明,穷举技术是昂贵的,并提出了一个贪婪的启发式方法,以及在现实世界的数据集查询的运行时间和准确性。我们的系统也可以用于学习模式,查询编辑可以建议作为反馈给学生,引导他们对正确的查询。我们的部分评分系统已成功地用于印度理工学院孟买和印度理工学院达瓦德的课程。
2019-12-19 cs.DB
Semantic Indexes for Machine Learning-based Queries over Unstructured Data
非结构化数据(例如,视频或文本)现在通常通过使用计算上昂贵的深度神经网络或人类标记器来查询以产生结构化信息,例如,视频中的对象类型和位置为了加速查询,许多最近的系统(例如,BlazeIt、NoScope、Taxi、SUPG等)训练查询专用代理模型以近似大的目标标记器(即,这些昂贵的神经网络或人类标记器)。这些模型返回代理分数,然后在查询处理算法中使用。不幸的是,代理模型通常必须针对每个查询进行训练,并且需要来自目标标注器的大量注释。在这项工作中,我们开发了一个索引(可训练语义索引,TASTI),同时消除了对每个查询代理的需要,并且比以前的索引更有效地构建。TASTI通过利用给定数据集中记录之间的语义相似性来实现这一点。具体来说,它为每个记录生成嵌入,使得具有接近嵌入的记录具有类似的目标标注器输出。然后,TASTI通过嵌入生成高质量的代理分数,而无需训练每个查询的代理。这些分数可以用于现有的基于代理的查询处理算法(例如,用于聚集、选择等)。我们从理论上分析TASTI,并表明,低嵌入训练误差保证下游查询的准确性,为一个自然类的查询。我们评估TASTI的五个视频,文本和语音数据集,和三种查询类型。我们表明,TASTI的索引可以是10 $\times$更便宜的构造比当前基于代理的方法生成注释,并加快查询高达24 $\times$。
2022-01-06 cs.DB
Processing Regular Path Queries on Arbitrarily Distributed Data
正则路径查询(RPQ)是一种图查询,其中答案是由匹配正则表达式的一系列边连接的节点对。我们研究的技术来处理这种查询的分布式数据图。虽然许多技术假设每个数据元素(节点或边)的位置是已知的,但当分布式系统的组件是自治的时,数据将被任意分布。由于不同的查询处理策略在最坏的情况下是等价的成本,我们隔离查询相关的成本因素,并提出了一种方法来选择策略,使用新的查询成本估计技术。我们评估我们的技术使用有意义的查询生物医学数据。
2015-10-14 cs.DB cs.DC
Datalog Rewritings of Regular Path Queries using Views
我们考虑使用图数据库上的视图进行查询应答,即数据库结构为边标记图。我们主要考虑由正则路径搜索(RPQ)指定的视图和查询。这些查询选择图数据库中的节点对,这些节点通过一条路径连接,该路径的边标签序列属于某种正则语言。我们说一个视图V决定一个查询Q,如果对于所有的图数据库D,视图图像V(D)总是包含足够的信息来回答D上的Q。换句话说,存在从V(D)到Q(D)的定义良好的函数。我们的主要结果表明,当这个函数是单调的,有一个重写的Q作为一个数据库查询的视图实例V(D)。特别地,重写查询可以在大小为V(D)的时间多项式中被评估。此外,这意味着RPQ查询是否可以使用RPQ视图在Datatron中重写是可判定的。
2015-12-20 cs.DB
Computing Local Sensitivities of Counting Queries with Joins
给定数据库实例D的查询Q的局部敏感性,即当元组被添加到D或从D删除时输出Q(D)改变多少,具有许多应用,包括查询分析、离群值检测和差分隐私。然而,它是NP-难找到的局部灵敏度的一个合取查询的查询的大小,即使是非循环查询的类。虽然当查询大小固定时,复杂度是多项式的,但是对于大型数据库和涉及多个连接的查询,朴素算法是不有效的。在本文中,我们提出了一种新的方法来计算局部灵敏度的计数查询,涉及连接操作,通过跟踪和总结元组的灵敏度-最大的变化,一个元组可以导致查询结果时,它被添加或删除。我们给出了算法的敏感性问题,充分的非循环连接查询使用连接树,运行在多项式时间的数据库和查询的大小为一个有趣的子类的查询,我们称之为“双非循环查询”,包括路径查询,并在多项式时间的组合复杂度时,在连接树的最大程度是有界的。我们的算法可以扩展到某些非非循环查询使用广义超树分解。我们评估我们的方法实验,并显示我们的算法的应用程序,以获得更好的结果差分隐私的数量级。
2020-04-09 cs.CR cs.DB
Equivalence of SQL Queries in Presence of Embedded Dependencies
我们考虑的问题,找到等价的最小尺寸的SQL查询中存在嵌入的依赖关系的重构[1]。我们的重点是选择项目连接(SPJ)查询与平等的比较,也被称为安全的合取(CQ)查询,可能与分组和聚合。对于SPJ查询,SQL标准的语义将查询答案视为多集(也称为bags),而所存储的关系可以被视为集合,这被称为用于查询评估的bag-set语义,或者被视为bags,这被称为bag语义。(在集合语义下,查询答案和存储的关系都被视为集合。在上述查询重构问题的背景下,我们开发了一个全面的框架,用于在包和包集语义下存在嵌入式依赖关系的CQ查询的等价性,并做出了一些概念和技术上的贡献。具体来说,我们在包和包集语义下存在任意嵌入依赖集的CQ查询的等价性测试,条件是输入上的集语义(set-chase)下的chase [9]终止。我们还提出了等价性测试的聚合CQ查询存在嵌入式依赖关系。我们使用我们的等价性测试开发健全和完整的(每当集追逐的输入终止)的算法,用于解决的实例的查询重构问题的CQ查询下的每个袋和袋集语义,以及聚合查询的问题的实例。
2009-06-26 cs.DB