Puzzling over Subsequence-Query Extensions: Disjunction and Generalised Gaps
本文提出swg-查询的两种扩展(swgg-查询和dswg-查询),分别引入广义间隔约束和析取模式,并刻画了包含关系,将发现算法适配至新查询类。
2023-05-14 cs.DB
Interactive Query Formulation using Point to Point Queries
在具有大型概念模式的数据库中,有效的信息披露是一个重要的问题。特别是制定特设查询是在这种情况下的一个主要问题。解决这个问题的现有方法包括图形查询界面,查询导航,查询的建设。在这篇文章中,我们提出了点到点的查询机制,可以结合现有的机制到一个前所未有的计算机支持的查询制定机制。在点对点查询中,构建了通过信息结构的路径。然后可以使用此路径来制定更复杂的查询。当用户知道某些与其信息需求相关的对象类型,但(尚未)知道它们在概念模式中如何相关时,点对点查询通常很有用。因此,点对点查询机制的一部分是在概念模式中选择对象类型(点)之间的最合适路径。本文讨论了点到点查询机制所涉及的一些语用问题,以及在所选对象类型之间寻找相关路径所涉及的理论问题。
2021-02-03 cs.DB
Estimating the Cost of Executing Link Traversal based SPARQL Queries
几乎所有领域的越来越多的组织都开始采用语义Web技术,将其数据发布为开放、链接和互操作(RDF)数据集,可通过SPARQL语言和协议进行查询。链接遍历已经成为一种SPARQL查询处理方法,它利用链接数据原则和Web的动态特性,通过在查询评估期间解析在线资源(URI)来动态地发现与回答查询相关的数据。然而,链接遍历查询的执行时间对于某些查询类型可能变得过高,这是由于在查询执行期间需要访问大量资源。在本文中,我们提出并评估基线方法估计的链接遍历查询的评估成本。这样的方法对于即时决定给定查询所遵循的查询执行策略非常有用,从而减少SPARQL端点的负载并提高查询服务的整体可靠性。为了评估所提出的方法的性能,我们创建了(并公开提供)一个由2,425个查询组成的地面实况数据集。
2022-10-17 cs.DB
Tracking Federated Queries in the Linked Data
联邦查询引擎允许数据使用者通过链接数据(LD)的联邦执行查询。然而,由于联邦查询被分解为可能分布在SPARQL端点之间的数千个子查询,数据提供者不知道联邦查询,他们只知道他们处理的子查询。因此,与仓储方法不同,土地退化数据提供者无法获得二级数据。在本文中,我们提出了FETA(FEderated查询跟踪),查询跟踪算法,推断基本图形模式(BGPs)处理的联邦从数据提供商维护的共享日志。由多个联邦查询引擎生成的上千个子查询的并发执行使得查询跟踪过程具有挑战性和不确定性。与Anapsid的实验表明,FETA是能够提取BGP,即使在最坏的情况下,包含原始查询的BGP。
2015-08-25 cs.DB
Sapphire: Querying RDF Data Made Simple
链接开放数据(LOD)云中的RDF数据对于许多不同的应用程序都非常有价值。为了释放这些数据的全部价值,用户应该能够对LOD云中的RDF数据集发出复杂的查询。SPARQL可以表达这样复杂的查询,但是构造SPARQL查询对用户来说可能是一个挑战,因为它需要知道被查询的数据集的结构和词汇。在本文中,我们介绍了蓝宝石,一个工具,帮助用户编写语法和语义正确的SPARQL查询,而无需事先了解查询数据集。Sapphire通过根据查询数据提供自动完成建议,以交互方式帮助用户键入查询。在发出查询后,Sapphire会提供更改查询的建议,以更好地满足用户的需求。我们基于性能实验和用户研究对Sapphire进行了评估,并表明它优于竞争方法。
2018-09-13 cs.DB
Can One Escape Red Chains? Regular Path Queries Determinacy is Undecidable
对于给定的一组查询(它们是某种查询语言中的表达式)$\mathcal{Q}=\{Q_1$、$Q_2, \ldots Q_k\}$和另一个查询$Q_0$,我们说$\mathcal{Q}$确定$Q_0$,如果--非正式地说--对于每个数据库$\mathbb D$,视图$\mathcal{Q}({\mathbb D})$中包含的信息足以计算$Q_0({\mathbb D})$。查询确定性问题(Query Determinacy Problem)是对给定的$\mathcal{Q}$和$Q_0$,判定$\mathcal{Q}$是否确定$Q_0$的问题。在数据库理论中,针对不同的查询语言,研究了这个问题的许多版本。本文解决了[CGLV 02]中的一个问题,证明了图数据库的典范查询语言--正则路径查询的查询确定性问题是不可判定的。
2018-02-05 cs.DB
An Analytical Study of Large SPARQL Query Logs
随着RDF作为关联数据和语义Web的数据模型的采用,来自最终用户的查询规范在SPARQL端点中变得越来越普遍。在本文中,我们进行了深入的分析研究的查询制定的最终用户和收获的大型和最新的查询日志从各种各样的RDF数据源。与以前的研究相反,我们是第一次对大量查询语料库进行评估,跨越了几年,涵盖了许多代表性的SPARQL端点。除了句法结构的查询,表现出已经有趣的结果,在这个广义的语料库,我们钻更深的结构charteristics相关的图和超图表示的查询。我们概述了最常见的形状的查询时,在视觉上显示为伪图,和字符-achts他们的(超)树的宽度。此外,我们通过引入条纹的新概念,即,作为种子查询的后续修改出现的查询序列。我们的研究提供了一些新的见解已经丰富的查询功能的真实SPARQL查询制定的真实用户,并使我们得出一些结论,并指出未来的方向,rections为SPARQL查询评估,查询优化,调优,和基准测试。
2017-08-01 cs.DB
Advancing Fact Attribution for Query Answering: Aggregate Queries and Novel Algorithms
本文提出基于Banzhaf和Shapley值的聚合查询事实归因方法,通过等价贡献分组和血统梯度优化,实现比现有技术快三个数量级的运行时性能。
2025-06-20 cs.DB
A Skyline and ranking query odyssey: a journey from skyline and ranking queries up to f-skyline queries
本文梳理 skyline 查询、排序查询与 f-skyline 查询的原理和差异,说明灵活 skyline 查询如何缓解结果规模与效用函数依赖等局限。
2023-04-25 cs.DB
Heuristics-based Query Reordering for Federated Queries in SPARQL 1.1 and SPARQL-LD
SPARQL 1.1的联邦查询扩展允许执行分布在不同SPARQL端点上的查询。SPARQL-LD是SPARQL 1.1的最新扩展,它可以直接查询任何包含RDF数据的HTTP Web源,如嵌入RDFa,JSON-LD或Microformats的网页,而无需声明命名图。这使得通过一个简洁的查询查询大量的数据源(包括SPARQL端点、在线资源,甚至是返回RDF数据的Web API)成为可能。然而,SPARQL 1.1和SPARQL-LD查询的非最佳公式化可能导致对远程资源的大量调用,这反过来又可能导致极高的查询执行时间。在本文中,我们解决这个问题,并提出了一套查询重新排序的方法,使使用的服务图模式的基础上,他们的限制性,而不需要收集和使用的统计数据从远程源重新排序。这样的查询优化方法是广泛适用的,因为它可以在现有的SPARQL 1.1和SPARQL-LD实现之上被利用。评估结果表明,查询重排序可以大大减少查询执行时间,而一种方法,考虑的数量和类型的未绑定变量和连接实现了最佳的查询计划在88%的情况下。
2018-10-23 cs.DB
The Dichotomy of Conjunctive Queries on Probabilistic Structures
我们表明,对于每一个合取查询,评估它的概率数据库的复杂性是\PTIME或#¶-完成,我们给出了一个算法,用于决定是否一个给定的合取查询是\PTIME或#¶-完成。二分法是概率数据库查询评价的一个基本结果,它给出了合取查询复杂性的一个完整分类。
2007-01-13 cs.DB
ROSIE: Runtime Optimization of SPARQL Queries Using Incremental Evaluation
关系数据库在资源描述框架(RDF)数据管理中得到了广泛的应用。为了有效地进行SPARQL查询评估,需要重新考虑遗留查询优化器。其中一个重要的问题是如何解决由于基数估计容易出错而导致的查询计划不理想的问题。考虑到RDF数据的无模式特性和SPARQL查询的Join密集特性,在实际评估的查询是昂贵的甚至是不可行的之前确定最佳执行顺序,特别是对于大规模数据的复杂查询。在本文中,我们提出了ROSIE,一个迭代优化框架,迭代地重新优化SPARQL查询计划,根据实际基数来自增量部分查询评估。通过引入一种基于启发式的计划生成方法,以及一种在运行时检测基数估计错误的机制,ROSIE以一种有效的方式缓解了有偏基数传播的问题,从而对复杂的查询评估更具弹性。在真实数据和基准数据上进行的大量实验表明,与最先进的技术相比,ROSIE在复杂查询上的表现一直优于几个数量级。
2016-05-23 cs.DB
Inverse Queries For Multidimensional Spaces
对于给定的查询对象$q$,传统的空间查询返回满足给定谓词的所有数据库对象,例如查询范围和$k$ -最近邻居。本文定义并研究了{ \em逆}空间查询,给定一个数据库对象子集$Q$和一个查询谓词,它返回所有的对象,这些对象如果用作带有谓词的查询对象,则在其结果中包含$Q$。我们首先展示了一个简单的解决方案,回答任何查询谓词的逆空间查询。然后,我们提出了一个过滤和细化框架,可以用来提高效率。我们将展示如何应用这个框架上的各种反向查询,使用适当的空间修剪策略。特别是,我们提出了解决方案,逆范围查询,逆$k$ -最近邻查询,逆天际线查询。我们的实验表明,我们的框架是显着更有效的比天真的方法。
2011-05-05 cs.DB
GraphQL Live Querying with DynamoDB
我们提出了一种在数据库级别实现GraphQL实时查询的方法。我们在Go中的DynamoDB模拟模拟了分布式键值存储,并实现了实时查询以暴露可能的陷阱。实现实时查询的两个关键组件是存储在实时查询中选择的字段,并确定在每次数据库写入中更新了哪些对象字段。对系统的stream(key,fields)请求包含要包括在实时查询流中的字段,并且在随后的put(key,object)操作中,数据库异步地确定哪些字段被更新,并且如果这些字段与stream()请求重叠,则将新的查询视图推送到流。在讨论了我们的实现之后,我们探讨了使用实时查询的动机,例如简化软件通信,最大限度地减少数据传输,以及实现实时数据,并描述了使用GraphQL和实时查询构建软件的架构。
2020-08-01 cs.DB
How Many and What Types of SPARQL Queries can be Answered through Zero-Knowledge Link Traversal?
当前查询Web of Data的实际方法是通过SPARQL协议,其中客户端通过SPARQL端点向服务器发送查询。与HTTP服务器相反,提供和维护一个健壮和可靠的端点需要大量的工作,而不是所有的发布者都愿意或能够做到。另一种查询评估方法是通过链接遍历,其中通过实时的解引用在线Web资源(URI)来回答查询。虽然已经提出了用于这种基于查找的查询评估方法的几种方法,但是不存在对可以在实况Web上直接回答的查询的类型(模式)的分析,而不访问本地或远程端点,并且没有可用数据源的先验知识。在本文中,我们首先提供了一种方法来检查是否可以通过零知识链接遍历(而不访问端点)回答SPARQL查询(SPARQL端点上进行评估),并分析了一个大语料库的真实SPARQL查询日志的频率和分布的可回答和不可回答的查询模式。随后,我们提供了一个算法,用于将应答查询转换为绕过端点的SPARQL-LD查询。我们报告的转换查询的效率的实验结果,并讨论了这种查询评估方法的优点和局限性。
2018-12-13 cs.DB
RDF-Hunter: Automatically Crowdsourcing the Execution of Queries Against RDF Data Sets
在过去的几年中,大量的RDF数据集已经在Web上可用。然而,由于RDF数据的半结构化性质,缺失值会影响针对此数据提出的查询的答案完整性。为了克服这一限制,我们提出了RDF-Hunter,一种新的混合查询处理方法,它将机器和人类计算结合在一起,对RDF数据执行查询。我们开发了一种新的质量模型和查询引擎,以使RDF-Hunter在飞行中决定查询的哪些部分应该通过传统的技术或人群计算执行。为了评估RDF-Hunter,我们针对DBpedia数据集创建了50个SPARQL查询的集合,使用我们的混合查询引擎执行它们,并分析了从人群中获得的结果的准确性。实验清楚地表明,整个方法是可行的,并产生可靠的查询结果,显着提高自动查询处理响应的完整性。
2015-03-10 cs.DB
Query Generation based on Generative Adversarial Networks
数据库系统中的许多问题,如基数估计,数据库测试和优化器调优,需要大量的查询负载作为数据。然而,由于用户隐私限制或数据库访问频率较低,通常很难获得用户的大量真实查询。查询生成是解决这一问题的方法之一。现有的查询生成方法,如随机生成和基于模板的生成,没有考虑生成的查询和已有查询之间的关系,甚至生成语义错误的查询。在本文中,我们提出了一个查询生成框架的基础上生成对抗网络(GAN)生成查询负载是类似于给定的查询负载。在我们的框架中,我们使用一个语法解析器将查询转换成一个解析树,并遍历该树以获得与查询对应的产生式规则序列。GAN的生成器以一个固定的分布先验作为输入,输出查询序列; SVM以生成器生成的真实查询和伪查询作为输入,输出梯度来指导生成器学习。此外,我们在生成过程中加入了上下文无关文法和语义规则,保证了生成的查询在语法和语义上都是正确的。我们进行实验,以评估我们的方法在现实世界的数据集,这表明我们的方法可以生成新的查询负载具有类似的分布到一个给定的查询负载,并且生成的查询是语法正确的,没有语义错误。生成的查询负载用于下游任务,结果表明,使用我们的方法训练的模型与扩展的查询负载有显着的改善。
2023-03-26 cs.DB
Supporting Exploratory Queries in Database Centric Web Applications
以数据库为中心的Web应用程序的用户,特别是在电子商务领域,经常求助于探索性的"试错“查询,因为底层数据空间是巨大的和不熟悉的,并且在这个空间中有几个搜索属性的替代方案。例如,寻找便宜的机票通常涉及提出多个查询,改变航班时间,日期和机场位置。从用户和服务器的角度来看,探索性查询都是有问题的。对于数据库服务器,它会导致有效吞吐量的急剧减少,因为在每个连续的查询中重复了许多处理。对于客户端来说,这会导致响应时间显著增加,尤其是在通过无线信道访问服务时。在本文中,我们研究的自动化技术的设计,以尽量减少重复的探索性查询的需要。具体来说,我们提出了SAUNA,服务器端查询松弛算法,给定用户的初始范围查询和所需的基数的答案集,产生一个宽松的查询,预计将包含所需数量的答案。该算法采用了范围查询特定的距离度量,加权产生所需形状的宽松的查询(例如,纵横比保持),并利用多维直方图的查询大小估计。一个详细的性能评估的SAUNA在各种多维数据集表明,其宽松的查询可以显着降低成本与探索性查询处理。
2003-10-17 cs.DB
Towards practical meta-querying
我们描述了一个元查询系统的数据库包含查询,除了普通的数据。在这种数据库的上下文中,元查询是关于查询的查询。表示存储在XML中的查询,并使用标准的XML操作语言SQL作为子语言,我们表明,只需要添加到SQL的一些功能,把它变成一个完全成熟的Meta查询语言。好消息是,这些特性可以直接由可扩展数据库技术支持。
2003-10-13 cs.DB
Consistent Query Answering for Primary Keys on Rooted Tree Queries
本文针对根树查询类研究主键约束下一致性查询回答的数据复杂度,证明每个根树查询的 CERTAINTY(q) 必属 FO、NL-hard∩LFP 或 coNP-complete 三类之一且可在多项式时间内判定,并将分类扩展到具有简单主键的更大查询类。
2023-10-30 cs.DB
Context-based Diversification for Keyword Queries over XML Data
关键字查询使普通用户能够搜索大量的数据,但关键字查询的模糊性使得难以有效地回答关键字查询,特别是对于简短和模糊的关键字查询。为了解决这个具有挑战性的问题,在本文中,我们提出了一种方法,自动多样化的XML关键字搜索的基础上,其在XML数据的不同上下文。给定一个简短而模糊的关键字查询和待搜索的XML数据,我们首先通过一个分类的特征选择模型得到查询的关键字搜索候选。然后,我们设计了一个有效的XML关键字搜索多样化模型来衡量每个候选人的质量。在此基础上,提出了三种有效的算法来评估可能产生的候选查询,这些候选查询代表了不同的搜索意图,从中我们可以找到并返回与给定关键字查询最相关的最高$k$合格的候选查询,同时它们可以覆盖最大数量的不同结果。在真实数据集和人工数据集上的综合评估表明了我们提出的多样化模型的有效性和我们算法的效率。
2013-01-11 cs.DB
Queries with Guarded Negation (full version)
数据库理论中一个公认的基本观点是否定(也称为互补)往往会使查询难以处理和推理。许多基本问题是可判定的,并承认在联合查询的情况下,实用的算法,但变得困难,甚至不可判定的查询时,允许包含否定。受有限模型理论中最近结果的启发,我们考虑了否定的一种限制形式,即保护否定。我们介绍了一个片段的SQL,称为GN-SQL,以及一个片段的Datasheet与分层否定,称为GN-Datasheet,只允许守卫否定,我们表明,这些查询语言计算良好的行为,在测试查询包容,查询评估,开放世界的查询回答,和有界性。GN-SQL和GN-Datasheet继承了许多众所周知的查询语言和约束语言,例如合取查询的联合、一元数据库和边界保护的tgds。此外,对标准基准测试工作负载的分析表明,在实践中,SQL中否定的大多数用法都是保护性否定。
2012-03-01 cs.DB
GraftDB: Dynamic Folding of Concurrent Analytical Queries
The University of Tokyo(东京大学)
提出GraftDB,一种多查询执行引擎,通过状态中心执行和查询嫁接机制动态折叠后续查询到正在运行的执行中,重用已完成工作并共享后续工作,从而减少冗余执行,提高吞吐量并降低响应时间。
2026-06-03 cs.DB
Covers of Query Results
我们引入简洁的无损表示查询结果称为封面。它们是查询结果的子集,对应于这些结果的超图中的最小边覆盖。我们首先研究了连接查询的分数超树分解的覆盖结构。对于任何分解的查询,我们给出了渐近紧的大小范围覆盖的查询结果分解,并表明,这种覆盖可以计算在最坏情况下的最佳时间的对数因子的数据库大小。对于非循环连接查询,我们可以使用查询计划和一个名为cover-join的新运算符组合计算cover。查询结果中的元组可以从其任何覆盖中枚举,具有线性的预计算时间和恒定的延迟。然后,我们概括覆盖连接到功能聚合查询,表达了主机的计算问题,如聚合连接查询,数据库优化,矩阵链乘法,概率图形模型的推理。
2018-01-10 cs.DB
Consistent Query Answering for Primary Keys and Conjunctive Queries with Counting
本文研究带计数的一致性查询应答,定义新语法类C_parsimony,证明其恰好包含所有允许简约计数的无自连接合取查询,否定了C_forest的完备性。
2024-02-09 cs.DB
Optimizing Machine Learning Inference Queries with Correlative Proxy Models
我们考虑加速非结构化数据集上的机器学习(ML)推理查询。诸如特征提取器和分类器之类的昂贵操作符被部署为用户定义函数(UDF),这不能被诸如谓词下推之类的经典查询优化技术穿透。最近的优化方案(例如,Probably Predicates(PP)假设查询谓词之间的独立性,为每个谓词离线构建代理模型,并通过将这些廉价的代理模型注入到昂贵的ML UDF的前面来重写新的查询。以这种方式,不满足查询谓词的不太可能的输入被早期过滤以绕过ML UDF。我们表明,在这种情况下,强制执行的独立性假设可能会导致次优的计划。在本文中,我们提出了CORE,这是一种查询优化器,可以更好地利用谓词相关性并加速ML推理查询。我们的解决方案为新查询在线构建代理模型,并利用分支绑定搜索过程来降低构建成本。三个真实世界的文本,图像和视频数据集的结果表明,CORE提高查询吞吐量高达63%相比,PP和高达80%相比,运行的查询,因为它是。
2022-01-02 cs.DB
Leveraging Neighborhood Summaries for Efficient RDF Queries on RDBMS
使用结构化信息来总结图结构的RDF数据有助于解决查询性能问题。然而,利用结构化索引需要修改甚至重新设计RDF系统的内部。给定一个RDF数据集,已经批量加载到一个关系RDF系统,我们的目标是提高查询性能,这样的系统。我们通过总结邻域结构并将其编码为三元组来实现,三元组可以与现有实例数据一起管理。在查询时,我们最佳地选择有效的结构模式,并将这些模式添加到现有的查询,以获得更好的查询性能。实证评估表明,我们的方法的有效性。
2020-01-23 cs.DB
Sprinkling Selections over Join DAGs for Efficient Query Optimization
在查询优化中,基于AND/OR DAG的解决方案可以生成所有可能的连接顺序,并在搜索最佳查询执行策略之前选择放置。但随着连接数和选择条件的增加,生成最优查询计划的空间和时间复杂度呈指数级增长。在本文中,我们使用连接图的关系数据库模式,要么预先计算所有可能的连接顺序,可以被执行,并将其存储为一个连接DAG,或提取连接的查询,以逐步建立一个历史连接DAG的查询时,执行。查询中的选择条件被适当地放置在检索到的连接DAG(或历史连接DAG)中,以生成最优的查询执行策略。我们实验评估我们的查询优化技术TPC-D/H查询集,以显示其有效性与/或DAG查询优化策略。最后,我们说明了我们的技术可以用于有效的多个查询优化和选择的物化视图在数据仓库环境中。
2002-02-21 cs.DB
The Odyssey Approach for Optimizing Federated SPARQL Queries
通过SPARQL端点联合执行查询需要组合来自多个数据源的数据。在这样的场景中优化查询是特别具有挑战性的,这不仅是因为(i)正确回答查询的各种各样的可能的查询执行计划,而且还因为(ii)对关于远程源的模式和实例数据的统计数据的访问是有限的。为了克服这些挑战,大多数联邦查询引擎依赖于算法来减少可能的查询执行计划的空间,或者依赖于动态规划策略来产生最优计划。然而,这些计划可能仍然表现出大量的中间结果或高执行时间,因为成本估算和不准确的成本估算。在本文中,我们提出了奥德赛,一种方法,使用统计数据,允许更准确的成本估计联邦查询,因此使奥德赛产生更好的查询执行计划。我们的实验结果表明,奥德赛产生的查询执行计划,更好的数据传输和执行时间比国家的最先进的优化。我们使用FedBench基准测试的实验显示,平均执行时间至少增加了25倍。
2017-11-02 cs.DB
Journey of Migrating Millions of Queries on The Cloud
Treasure Data每天在云端处理数百万个分布式SQL查询。在这种规模下升级查询引擎服务具有挑战性,因为我们需要将客户的所有生产查询迁移到新版本,同时保持数据处理管道的正确性和性能。为了确保查询引擎的质量,我们利用我们的查询日志来构建客户特定的基准,并在安全的预生产环境中使用真实的客户数据重放这些查询。为了模拟数以百万计的查询,我们需要有效地最小化测试查询集,并更好地报告模拟结果,以主动发现新版本的不兼容更改和性能回归。本文介绍了我们的系统的总体设计,并分享了在云上保持查询引擎服务质量的各种挑战。
2022-05-17 cs.DB
Batch Hop-Constrained s-t Simple Path Query Processing in Large Graphs
本文研究大型图中批处理跳数约束的s-t简单路径查询的高效处理,提出基于HC-s路径查询的两阶段检测与共享计算枚举算法,显著提升了十亿级图上多查询并发处理的效率与可扩展性。
2024-01-09 cs.DB
On the complexity of query containment and computing certain answers in the presence of ACs
我们经常添加算法来扩展查询语言的表达能力,并在使用视图回答查询的框架中研究诸如测试查询包含性和找到某些答案等问题的复杂性。当添加算术比较时,这类问题的复杂性高于没有它们的对应问题的复杂性。已经观察到,如果我们将包含查询中的一些比较限制为封闭或开放半区间比较,则可以实现较低的复杂度。在这里,重点是a)的问题上的合取查询与算术比较(CQAC查询,简称),我们证明了其计算复杂性和b)的问题上的上限计算某些答案,我们发现大类的CQAC查询和意见,这个问题是多项式的。
2020-11-18 cs.DB
Area Queries Based on Voronoi Diagrams
面积查询是一种非常重要的空间查询,广泛应用于各个领域。已经提出了许多方法来实现这种查询,其中最著名的是通过空间索引获得一个粗略的候选集,然后通过几何验证来细化候选集,以获得最终结果。当查询区域的形状为矩形时,该方法具有很高的效率。然而,当查询区域不规则时,候选集通常比最终结果集大得多,这意味着需要进行大量的冗余检测,效率受到很大限制。针对这一问题,提出了一种基于沃罗诺伊图迭代生成候选项的方法,并将其应用于区域查询。实验结果表明,该方法大大减少了区域查询过程中的候选数量,提高了查询效率。
2020-03-28 cs.DB
Knowledge Rich Natural Language Queries over Structured Biological Databases
关键字、自然语言和NoSQL查询正越来越多地用于从传统和非传统数据库(诸如web、文档、图像、GIS、法律和健康数据库)进行信息检索。虽然由于显而易见的原因,它们的受欢迎程度是不可否认的,但它们的工程设计远非简单。在大多数情况下,将通过结构化数据库模式表达的良好理解的自然语言查询映射到结构化查询语言的语义和意图保持映射仍然是一项困难的任务,并且对驯服复杂性的研究是激烈的。在本文中,我们提出了一个多层次的知识为基础的中间件,以促进这种映射,分离的概念层次的物理层次。我们增加了这些多层次的抽象与概念推理和查询策略引擎动态链接任意自然语言查询定义良好的结构化查询。我们证明了我们的方法的可行性,提出了一个基于数据库的原型系统,称为生物智能,可以计算响应任意自然语言查询在任意数据库的自然语言查询的语法分类。
2017-03-30 cs.DB
Structure-Guided Query Evaluation: Towards Bridging the Gap from Theory to Practice
针对多关系连接查询优化难题,本文通过将SQL查询重写为Yannakakis算法的执行序列,提出结构引导的查询求值方法,证明考虑查询结构能显著提升现代DBMS在复杂场景下的性能。
2023-05-22 cs.DB
A Monotone Preservation Result for Boolean Queries Expressed as a Containment of Conjunctive Queries
当查询关系数据库时,结果通常是一个关系。然而,有些查询只需要一个是/否的答案;这样的查询通常被称为布尔查询。在数据库理论中,通常通过测试查询表达式的非空性来表示布尔查询。另一种表示布尔查询的有趣方式是$Q_1 \subseteq Q_2$形式的包含语句,其中$Q_1$和$Q_2$是查询表达式。这里,对于任何输入实例$I$,如果$Q_1(I)$是$Q_2(I)$的子集,则布尔查询结果是$\mathit{true}$,否则是$\mathit{false}$。在本论文中,我们将集中在非空性和包含语句的合取查询。主要目标是研究连接查询包含的单调片段。特别是,我们展示了这个单调片段的保存一样的结果。也就是说,我们表明,在表达能力,单调包含的合取查询是完全等于合取查询下nonempty。
2019-03-01 cs.DB
Probabilistic Voronoi Diagrams for Probabilistic Moving Nearest Neighbor Queries
大量的应用,如基于位置的服务和环境监测的不确定数据库的高效查询处理的需求。提出了一种概率沃罗诺伊图(PVD),用于处理不确定数据的移动最近邻查询,即概率移动最近邻查询(PMNN)。PMNN查询连续地找到移动查询点的最可能最近邻居。为了有效地处理PMNN查询,我们提供了两种技术:预计算方法和增量方法。在预计算方法中,我们开发了一种算法来有效地评估PMNN查询的基础上,为整个数据集的预计算PVD。在增量方法中,我们提出了一个增量的概率安全区域为基础的技术,不需要预先计算整个PVD回答PMNN查询。在这种增量方法中,我们利用已知区域的知识来计算对象是最近邻居的概率的下限。实验结果表明,我们的方法显着优于基于采样的方法的数量级的I/O,查询处理时间和通信开销。
2011-06-29 cs.DB
Edit Based Grading of SQL Queries
手动给学生的SQL查询评分是一个繁琐且容易出错的过程。测试学生SQL查询正确性的早期工作,例如XData系统,可以用来测试学生查询的正确性。然而,如果学生查询被发现是不正确的,目前没有办法自动分配部分分数。部分标记是重要的,这样小错误比大错误受到的惩罚要少。手动授予部分分数对于学生人数众多的课程,特别是MOOC,是不可扩展的,而且也容易出现人为错误。在本文中,我们讨论的技术,以找到一个最小的成本编辑一个学生查询,将使其正确,这可以帮助分配部分标记,并帮助学生准确地了解他们错了。鉴于目前的形式化方法的局限性,检查等价性,我们的方法是基于找到最近的查询,从一组教师提供的正确的查询,即被发现是基于查询规范化的等价。我们表明,穷举技术是昂贵的,并提出了一个贪婪的启发式方法,以及在现实世界的数据集查询的运行时间和准确性。我们的系统也可以用于学习模式,查询编辑可以建议作为反馈给学生,引导他们对正确的查询。我们的部分评分系统已成功地用于印度理工学院孟买和印度理工学院达瓦德的课程。
2019-12-19 cs.DB
Semantic Indexes for Machine Learning-based Queries over Unstructured Data
非结构化数据(例如,视频或文本)现在通常通过使用计算上昂贵的深度神经网络或人类标记器来查询以产生结构化信息,例如,视频中的对象类型和位置为了加速查询,许多最近的系统(例如,BlazeIt、NoScope、Taxi、SUPG等)训练查询专用代理模型以近似大的目标标记器(即,这些昂贵的神经网络或人类标记器)。这些模型返回代理分数,然后在查询处理算法中使用。不幸的是,代理模型通常必须针对每个查询进行训练,并且需要来自目标标注器的大量注释。在这项工作中,我们开发了一个索引(可训练语义索引,TASTI),同时消除了对每个查询代理的需要,并且比以前的索引更有效地构建。TASTI通过利用给定数据集中记录之间的语义相似性来实现这一点。具体来说,它为每个记录生成嵌入,使得具有接近嵌入的记录具有类似的目标标注器输出。然后,TASTI通过嵌入生成高质量的代理分数,而无需训练每个查询的代理。这些分数可以用于现有的基于代理的查询处理算法(例如,用于聚集、选择等)。我们从理论上分析TASTI,并表明,低嵌入训练误差保证下游查询的准确性,为一个自然类的查询。我们评估TASTI的五个视频,文本和语音数据集,和三种查询类型。我们表明,TASTI的索引可以是10 $\times$更便宜的构造比当前基于代理的方法生成注释,并加快查询高达24 $\times$。
2022-01-06 cs.DB
Datalog Rewritings of Regular Path Queries using Views
我们考虑使用图数据库上的视图进行查询应答,即数据库结构为边标记图。我们主要考虑由正则路径搜索(RPQ)指定的视图和查询。这些查询选择图数据库中的节点对,这些节点通过一条路径连接,该路径的边标签序列属于某种正则语言。我们说一个视图V决定一个查询Q,如果对于所有的图数据库D,视图图像V(D)总是包含足够的信息来回答D上的Q。换句话说,存在从V(D)到Q(D)的定义良好的函数。我们的主要结果表明,当这个函数是单调的,有一个重写的Q作为一个数据库查询的视图实例V(D)。特别地,重写查询可以在大小为V(D)的时间多项式中被评估。此外,这意味着RPQ查询是否可以使用RPQ视图在Datatron中重写是可判定的。
2015-12-20 cs.DB
Equivalence of SQL Queries in Presence of Embedded Dependencies
我们考虑的问题,找到等价的最小尺寸的SQL查询中存在嵌入的依赖关系的重构[1]。我们的重点是选择项目连接(SPJ)查询与平等的比较,也被称为安全的合取(CQ)查询,可能与分组和聚合。对于SPJ查询,SQL标准的语义将查询答案视为多集(也称为bags),而所存储的关系可以被视为集合,这被称为用于查询评估的bag-set语义,或者被视为bags,这被称为bag语义。(在集合语义下,查询答案和存储的关系都被视为集合。在上述查询重构问题的背景下,我们开发了一个全面的框架,用于在包和包集语义下存在嵌入式依赖关系的CQ查询的等价性,并做出了一些概念和技术上的贡献。具体来说,我们在包和包集语义下存在任意嵌入依赖集的CQ查询的等价性测试,条件是输入上的集语义(set-chase)下的chase [9]终止。我们还提出了等价性测试的聚合CQ查询存在嵌入式依赖关系。我们使用我们的等价性测试开发健全和完整的(每当集追逐的输入终止)的算法,用于解决的实例的查询重构问题的CQ查询下的每个袋和袋集语义,以及聚合查询的问题的实例。
2009-06-26 cs.DB
Mining Precision Interfaces From Query Logs
交互式工具通过隐藏底层查询复杂性并为与分析相关的查询部分公开交互式小部件,使数据分析更高效,更易于最终用户访问。然而,创建定制的(即,精确的)接口是非常昂贵的,并且自动化方法是期望的。我们提出了一种语法方法,使用查询分析生成一个量身定制的接口。我们将接口部件建模为修改当前分析查询$q$的函数I(q)-> q',并将接口建模为其部件可以表达的查询集。我们的系统,精度接口,分析输入查询之间的结构变化,从分析,并生成一个输出界面与小部件来表达这些变化。我们在Sloan Digital Sky Survey查询日志上的实验表明,Precision Interfaces可以为简单的意外任务生成有用的接口,我们的优化可以在不到10秒的时间内从多达10,000个查询的日志中生成接口。
2019-04-15 cs.DB
Querying RDF Databases with Sub-CONSTRUCTs
图查询语言在应用于图数据库时主要具有两种查询:受关系数据库启发的那些返回表(如SELECT查询)的查询和那些返回图(如SPARQL中的CONCLECT查询)的查询。后者是本文的研究对象。为此,定义了一种核心图查询语言GrAL,重点关注CONSTRUCT查询。GrAL中的递归是涉及所谓GrAL模式的递归过程的最后一步。通过在图上评估查询,可以得到一个图,而通过在图上评估模式,可以得到一组同时涉及图和表的匹配。CONCLUSION CT查询基于CONCLUSION CT模式,子CONCLUSION CT模式不受模式递归定义的限制。GrAL的语义是基于RDF图,略有修改,其中包括接受孤立的节点。RDF图的这种扩展简化了评估语义的定义,评估语义主要由称为Merge的唯一操作捕获。此外,我们将聚合定义为GrAL表达式的一部分,这导致了聚合的原始本地处理。
2021-09-14 cs.DB
Quantum Computing for Query Containment of Conjunctive Queries
Humboldt-Universität zu Berlin(柏林洪堡大学);Fraunhofer-Institut für Offene Kommunikationssysteme (FOKUS)(弗劳恩霍夫开放通信系统研究所);Universität Passau(帕绍大学)
本文提出利用量子计算解决连接查询的查询包含性问题,通过将问题转化为可由量子硬件求解的优化问题,并在模拟器和量子设备上验证了其有效性。
2026-03-14 cs.DB
NL4ST: A Natural Language Query Tool for Spatio-Temporal Databases
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);The Hong Kong University of Science and Technology(香港科技大学)
NL4ST是一种用于时空数据库的自然语言查询工具,通过三层架构实现自然语言到查询计划的转换,支持非专业人士高效查询时空数据。
2026-01-22 cs.DB
qwLSH: Cache-conscious Indexing for Processing Similarity Search Query Workloads in High-Dimensional Spaces
高维空间中的相似性搜索查询是诸如图像处理、机器学习等许多领域中的一种重要的查询类型。由于精确相似性搜索索引技术在高维空间中遭受众所周知的维数灾难,因此通常使用近似搜索技术来代替。局部敏感散列(LSH)已被证明是一种有效的近似搜索方法,用于解决高维空间中的相似性搜索查询。通常情况下,真实环境中的查询作为查询工作负载的一部分到达。LSH及其变体专门设计用于有效地解决单个查询。它们在执行查询工作负载时有一个主要缺点:在设计索引结构时,它们没有考虑有效利用缓存的重要数据特征。在本文中,我们提出了qwLSH,索引结构,有效地处理相似性搜索查询工作量在高维空间。我们智能地划分一个给定的缓存在处理过程中的查询工作量,通过使用新的成本模型。实验结果表明,给定查询工作量,qwLSH是能够执行速度比现有的技术,由于其独特的成本模型和策略。
2019-07-26 cs.DB
Query-Sequence Optimization on a Reconfigurable Hardware-Accelerated System
数据库查询处理的硬件加速可以在FPGA的帮助下完成。特别是,它们在运行时是部分可重新配置的,这允许硬件在运行时适应各种查询。然而,重新配置本身需要一些时间。由于FPGA的受影响区域在重新配置期间不可用于计算,因此避免某些重新配置可以提高整体性能。本文提出了基于查询序列的优化方法,降低了重配置的影响。即将到来的查询的知识用于(I)当查询仍在运行时推测性地开始重新配置,以及(II)避免将在后续查询中再次使用的可重新配置区域的重复。我们使用校准模型和各种参数值的测量来评估我们的优化。即使使用只有两个查询的序列,也可以获得高达21%的执行时间改进
2020-01-29 cs.DB
Query shredding: Efficient relational evaluation of queries over nested multisets (extended version)
嵌套关系查询语言已经被广泛地研究,并且是诸如Microsoft的LINQ之类的工业语言集成查询系统的基础。但是,关系数据库本身并不支持查询结果中的嵌套集合。这可能导致主要的性能问题:如果程序员编写的查询产生嵌套的结果,那么这样的系统通常要么失败,要么生成大量的查询。我们提出了一种新的方法来查询切碎,它转换一个查询返回嵌套的数据到一个固定数量的SQL查询。我们的方法,在以前的工作相比,处理多集语义,并生成一个地道的SQL:1999查询直接从嵌套查询的范式。我们提供了一个详细的描述,我们的翻译和目前的实验表明,它提供了可比的或更好的性能比最近的替代方法的一系列例子。
2014-05-02 cs.DB cs.PL
80 New Packages to Mine Database Query Logs
DBMS的查询日志是一种功能强大的资源。它支持许多实际应用,包括查询优化和用户体验增强。然而,挖掘SQL查询是一项艰巨的任务。基本问题是查询是符号对象,而不是数字向量。因此,许多流行的统计概念,如平均值,回归,或决策树不适用。大多数作者将自己限制在基于邻域的ad hoc算法或方法,例如k最近邻。我们的目标就是挑战这种局限性。我们引入了操作SQL查询的方法,就好像它们是向量一样,从而打开了整个统计工具箱。我们提出了三个家庭的方法:特征映射,内核方法和贝叶斯模型。第一种技术直接将查询编码为向量。第二个隐式地转换查询。最后一个利用概率图模型作为向量空间的替代。我们介绍了每种解决方案的优点和缺点,强调了它们之间的关系,并为未来的调查提供了理由。
2017-03-25 cs.DB
Understanding Queries by Conditional Instances
理解复杂查询的一种有效方法是观察它如何对数据实例进行操作。然而,特定的数据库实例对于这样的观察并不理想:它们通常包括大量多余的细节,这些细节不仅与理解查询无关,而且还会导致认知过载;并且一个特定的数据库可能不够。给定一个关系查询,是否有可能提供一个简单而通用的“代表性”实例,(1)说明如何满足查询,(2)通过抽象掉不必要的细节,以相同的方式总结所有满足查询的特定实例?此外,是否有可能找到这样的代表性实例的集合,这些代表性实例一起完全表征可以满足查询的所有可能方式?本文采取初步步骤回答这些问题。我们设计这些代表性实例的样子,定义它们代表什么,并形式化它们以“所有可能的方式”满足查询的含义。“我们认为,这个问题是不可判定的一般域关系演算查询,并开发实用的算法来计算最小的收集这样的实例受到其他约束。我们实验评估我们的方法的效率,并显示其有效性,帮助用户调试关系查询,通过用户研究。
2022-02-22 cs.DB
Exqutor: Extended Query Optimizer for Vector-augmented Analytical Queries
Yonsei University(延世大学);Microsoft(微软)
本文提出Exqutor,一种用于向量增强分析查询的查询优化器,通过改进向量搜索的基数估计方法,提升查询性能,实验证明在pgvector、VBASE和DuckDB中性能提升达四量级。
2026-03-29 cs.DB
BlazeIt: Optimizing Declarative Aggregation and Limit Queries for Neural Network-Based Video Analytics
神经网络(NN)的最新进展使得能够以高精度自动查询大量视频数据。虽然这些深度NN可以在视频中生成对象位置和类型的准确注释,但它们的计算成本很高,需要复杂的命令式部署代码来回答查询。以前的工作使用近似过滤来降低视频分析的成本,但不处理两类重要的查询,聚合和限制查询;此外,这些方法仍然需要部署复杂的代码。为了解决大规模查询视频的计算和可用性的挑战,我们介绍了BlazeIt,一个系统,优化查询的时空信息的对象在视频中。BlazeIt通过FrameQL接受查询,FrameQL是用于视频分析的SQL的声明性扩展,可以实现特定于视频的查询优化。我们介绍了两个新的查询优化技术在BlazeIt不支持以前的工作。首先,我们开发了使用NN作为控制变量来快速回答具有误差界的近似聚集查询的方法。其次,我们提出了一种新的搜索算法基数有限的视频查询。通过这些优化,BlazeIt可以在最近的视频处理文献中提供高达83倍的加速。
2019-12-09 cs.DB
Semantics and Multi-Query Optimization Algorithms for the Analyze Operator
University of Ioannina(约阿尼纳大学)
本文提出了一种具有明确语义的ANALYZE运算符,通过多查询优化策略提升分析效率,提出了三种不同优化算法以适应不同场景需求。
2026-02-09 cs.DB
Tractable Conjunctive Queries over Static and Dynamic Relations
本文研究静态与动态关系上的合取查询求值,刻画三类可处理查询,强调静态与动态关系交互对可处理性的关键作用。
2025-03-27 cs.DB