Multi-Attribute Selectivity Estimation Using Deep Learning
University of Texas at Arlington(德克萨斯大学阿灵顿分校);QCRI, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所);University of Toronto(多伦多大学)
选择性估计-估计查询结果大小的问题-是数据库中的一个基本问题。涉及多个相关属性的查询选择性的准确估计尤其具有挑战性。基数估计值不佳可能导致查询优化器选择错误的计划。我们研究了使用基于深度学习的方法进行点和范围查询的可行性,并提出了两种互补的方法。我们的第一种方法将选择性视为无监督的深度密度估计问题。为此,我们成功地引入了神经密度估计技术。其关键思想是将联合分布分解为一组易于处理的条件概率分布,使它们满足自回归特性。我们的第二种方法将选择性估计公式化为一个有监督的深度学习问题,该问题预测给定查询的选择性。我们还介绍并解决了在将深度学习应用于关系数据时出现的一些实际挑战。这些包括查询/数据特征化,将查询工作负载信息纳入深度学习框架,以及可以更新数据和工作负载查询的动态场景。我们的广泛的实验,特别强调查询大量的谓词和/或小的结果大小表明,我们提出的技术提供了快速和准确的选择性估计与最小的空间开销。
2019-06-17 cs.DB cs.LG
Selectivity Estimation for Linear Queries via Online Learning
Duke University(杜克大学)
针对数据库中查询选择性估计问题,受在线学习启发,提出算法框架,以遗憾值衡量学习算法性能,建立基于直方图的线性查询在静态和动态数据库设置下遗憾值的上下界。
2026-07-07 cs.DB cs.LG
A Practical Theory of Generalization in Selectivity Learning
University of Pennsylvania(宾夕法尼亚大学)
本文从理论与实践角度探讨选择性学习的泛化能力,提出基于有符号测度的可学习预测方法,并改进OOF泛化性能。
2025-05-07 cs.DB cs.LG stat.ML
Selectivity Estimation with Attribute Value Dependencies using Linked Bayesian Networks
关系查询优化器依赖于成本模型来在不同的查询执行计划之间进行选择。已知选择性估计是成本模型的关键输入。在实践中,标准的选择性估计程序容易产生大的误差。这主要是因为它们依赖于所谓的属性值独立性和连接一致性假设。因此,已经提出了多维方法来捕获两个或多个属性之间的依赖关系内和跨关系。然而,这些方法需要大量的计算成本,这使得它们在实践中无法使用。我们提出了一种基于贝叶斯网络的方法,能够捕获交叉关系的属性值的依赖关系,很少的开销。我们的建议是基于这样的假设,即当涉及连接时,属性之间的依赖关系被保留。此外,我们引入了一个参数之间的交易估计精度和计算成本。我们验证了我们的工作,通过比较它与其他相关的方法在一个大的工作量来自JOB和TPC-DS基准。我们的研究结果表明,我们的方法是一个数量级比现有的方法更有效,同时保持高水平的准确性。
2020-09-21 cs.DB
Consistent and Flexible Selectivity Estimation for High-Dimensional Data
Shenzhen Institute of Computing Sciences, Shenzhen University(深圳大学深圳计算科学研究院);Osaka University(大阪大学);Nagoya University(名古屋大学);Dongguan University of Technology(东莞理工学院);University of New South Wales(新南威尔士大学)
选择性估计的目的是估计满足选择标准的数据库对象的数量。准确、有效地解决这个问题对于密度估计、离群点检测、查询优化和数据集成等许多应用都是必不可少的。估计问题对于大规模高维数据尤其具有挑战性,这是由于维数灾难、不同查询之间的选择性的大方差以及使估计器一致的需要(即,选择性在阈值中是不减小的)。我们提出了一种新的基于深度学习的模型,该模型学习查询相关的分段线性函数作为选择性估计器,该模型可以灵活地拟合任何距离函数和查询对象的选择性曲线,同时保证输出在阈值内不减。为了提高大型数据集的准确性,我们建议将数据集划分为多个不相交的子集,并在每个子集上构建局部模型。我们在真实数据集上进行了实验,结果表明,该模型在准确性方面始终优于最先进的模型,并且对实际应用非常有用。
2021-05-27 cs.DB cs.LG
The VC-Dimension of Queries and Selectivity Estimation Through Sampling
Brown University(布朗大学)
我们开发了一种基于Vapnik-Chervonenkis维度统计概念的新方法来评估SQL查询的选择性(输出基数)-这是优化大规模数据库和数据挖掘操作执行的关键一步。这项工作的主要理论贡献,这是独立的利益,是一个明确的约束VC维的范围空间定义的所有可能的结果的集合(类)的查询。我们证明了VC维是一个函数的最大数量的布尔运算的选择谓词和选择和连接操作的最大数量的任何个人查询的集合中,但它既不是一个函数的查询的数量在集合中,也不是数据库的大小(元组的数量)。我们利用这一结果,并开发了一种方法,给定一类查询,建立一个简洁的随机样本的数据库,这样,具有很高的概率执行的任何查询类的样本上提供了一个准确的估计的选择性的查询原始的大型数据库。错误概率同时适用于集合中所有查询的选择性估计,因此可以使用相同的样本来评估多个查询的选择性,并且仅在数据库中发生重大更改后才需要刷新样本。通过我们的方法计算的样本表示通常足够小以存储在主存储器中。我们提出了广泛的实验结果,验证了我们的理论分析,并证明了我们的技术相比,复杂的选择性估计技术在PostgreSQL和Microsoft SQL Server的优势。
2011-08-11 cs.DB cs.DS cs.LG
Query Rewriting and Optimization for Ontological Databases
对照由扩展数据库和本体(即,从外延数据库导出新的内涵知识的一组逻辑断言和约束),而不是直接在外延数据库上。这种查询的评价和优化是数据库研究的一个有趣的新问题。在本文中,我们讨论了这个问题的两个重要方面:查询重写和查询优化。查询重写包括将本体查询编译为针对底层扩展数据库的等效一阶查询。我们提出了一种新的查询重写算法,而一般类型的本体约束,这是非常适合于实际的实现。特别是,我们展示了如何对知识库的合取查询,表示使用线性和粘性的存在规则,也就是说,最近推出的Datasheet +/-家庭的本体语言的成员,可以编译成一个联盟的合取查询(UCQ)对底层数据库。在这种情况下,本体查询优化试图改进这种重写过程,以便为输入查询产生可能小且成本有效的UCQ重写。
2014-05-12 cs.DB
Intelligent Database Flexible Querying System by Approximate Query Processing
数据库柔性查询是用户对传统查询的一种替代。形式概念分析(FCA)的使用使人们有可能得到经典数据库管理系统(DBMS)所给出的近似答案。有些应用程序不需要精确的答案。但是,灵活的查询在响应时间方面代价很高。当灵活查询需要计算聚合函数(“Sum”、“Avg”、“Count”、“Var”等)时,该时间更为重要。在本文中,我们提出了一种方法,试图解决这个问题,使用近似查询处理(AQP)。
2012-04-14 cs.DB
DeepSampling: Selectivity Estimation with Predicted Error and Response Time
University of California, Riverside(加州大学河滨分校)
空间数据的快速增长促使研究界寻找有效的处理技术,对大量的数据进行交互式查询。近似查询处理(AQP)是最重要的技术,可以提供实时响应的ad-hoc查询基于随机样本。不幸的是,现有的AQP方法提供了一个答案,没有提供任何准确性度量,由于样本大小,查询参数,数据分布和结果准确性之间的复杂关系。本文提出了DeepSampling,这是一种基于深度学习的模型,可以预测基于样本的AQP算法的准确性,特别是选择性估计,给定样本大小,输入分布和查询参数。该模型也可以被逆转,以测量将产生所需准确度的样本量。DeepSampling是第一个为现有空间数据库提供可靠工具以控制AQP准确性的系统。
2020-08-16 cs.DB cs.LG
Query Optimization Techniques In Graph Databases
图数据库(GDB)是近年来为克服传统数据库在存储和管理类图数据方面的局限性而出现的。如今,它们代表了许多管理类似图形数据的应用程序(如社交网络)的需求。大多数用于优化图数据库查询的技术已被用于传统的数据库、分布式系统和数据库。或者是从图论中得到的启发。然而,它们在图数据库中的重用应该考虑图数据库的主要特征,例如动态结构、高度互连的数据以及有效访问数据关系的能力。本文综述了图数据库中的查询优化技术。特别是,我们专注于他们引入的功能,以改善查询类图数据。
2016-09-07 cs.DB
Mragyati : A System for Keyword-based Searching in Databases
通过许多搜索引擎站点,web已经普及了基于关键字的搜索范例,其中用户可以指定一串关键字并期望检索相关文档,可能根据其与查询的相关性进行排名。由于大量信息存储在数据库中(而不是以HTML文档的形式),因此为数据库提供类似的搜索范例非常重要,用户可以在不知道数据库模式和数据库查询语言(如SQL)的情况下查询数据库。在本文中,我们提出了这样一个数据库搜索系统,它接受一个自由形式的查询作为一个关键字的集合,将其转换为查询数据库上使用的数据库元数据,并提出了一个结构良好的查询结果和可浏览的形式。该系统将关键字映射到数据库模式上并使用相互关系(即,数据语义)来生成有意义的查询结果。我们还描述了我们的原型数据库搜索,称为Mragyati。这里提出的方法是可扩展的,因为它不会构建整个数据库的内存图来搜索用户查询所选对象之间的关系。
2001-10-25 cs.DB
Generating Query Context for Relational Databases
Tursio
针对关系数据库自然语言查询中查询上下文构建耗时且存在冷启动的问题,提出自动生成查询上下文的方法,通过查询流生成数据模型并用加权采样实例化,已在50多个真实数据库上部署。
2026-09-23 cs.DB
Consistent query answers on numerical databases under aggregate constraints
研究了从违反数值型数据完整性约束的关系数据库中提取一致性信息的问题。特别是,聚合约束定义为线性不等式聚合和查询输入数据被认为是。利用的概念,在属性值水平的一致的更新集的修复,并提供了几个复杂的问题,修复数据和计算一致的查询答案的表征。
2005-05-23 cs.DB
Scripting Relational Database Engine Using Transducer
我们允许数据库用户使用过程语言编写并行关系数据库引擎的脚本。过程语言代码作为用户定义的关系查询操作符(称为transducer)执行。Transducer与关系引擎紧密集成,包括查询优化器,查询执行器,并可以像其他查询操作器一样并行执行。使用transducer,我们可以有效地执行在SQL中很难表达的查询。作为例子,我们展示了如何在并行关系数据库中运行时间序列和图形查询等。
2018-05-11 cs.DB
QR2: A Third-party Query Reranking Service Over Web Databases
分级检索模型已迅速成为Web数据库中搜索查询处理的事实上的方式。尽管在设计更好的排名机制方面作出了广泛努力,但在实践中,许多此类数据库未能解决用户的各种偏好,有时甚至是相互矛盾的偏好。在本文中,我们提出了QR2,第三方服务,它只使用Web数据库的公共搜索接口,并使任何用户指定的排名功能的查询的即时处理,无论排名功能是否由数据库支持。
2018-07-13 cs.DB
Pushing the Boundaries of Crowd-enabled Databases with Query-driven Schema Expansion
通过将人类工作者纳入查询执行过程,支持人群的数据库促进了智能的社交功能,例如在查询时完成缺失的数据或执行认知运算符。但是,尽管具有所有的灵活性,支持人群的数据库仍然保持严格的模式。在本文中,我们通过灵活的查询驱动模式扩展来扩展支持人群的数据库,允许在查询时向数据库添加新属性。然而,用于填充缺失值的众包小任务的数量可能通常非常大,并且由此产生的数据质量值得怀疑。我们利用社交网络中的用户生成数据,而不是简单的众包来单独获取所有值:通过利用用户评级,我们建立了感知空间,即,大量用户的意见、印象和感知的高度压缩表示。使用专家众包获得的少量训练样本,我们可以以高质量和低成本自动从感知空间中提取所有缺失的数据。大量的实验表明,我们的方法可以提高性能和质量的人群启用数据库,同时还提供了灵活性,以查询驱动的方式扩展模式。
2012-03-01 cs.DB
Proposing a New Method for Query Processing Adaption in DataBase
结合查询处理优化和Agent技术,提出了一个多Agent系统,该系统具有个性化查询和适应需求变化的特点。该系统采用了一种新的基于用户长期需求建模的算法和遗传算法来收集用户的查询数据。实验结果表明,与经典算法相比,该算法具有更强的自适应能力。
2010-01-20 cs.DB
What Can Database Query Processing Do for Instance-Spanning Constraints?
在过去的十年中,在流程挖掘领域中引入了术语实例跨越约束,指的是跨越一个或多个流程的多个流程实例的约束。在这种情况下,特别相关的是检查流程执行是否符合感兴趣的约束,这在运行时需要适当的监控技术。即使事件数据通常存储在某种数据库中,也缺乏面向数据库的方法来处理(实例跨越)约束的合规性检查和监视。在本文中,我们填补了这一空白,展示了如何完善的技术,从数据库查询处理可以有效地用于此目的。我们建议定义一个实例跨越约束,通过一个合奏的四个数据库查询检索满足,违反,悬而未决的满足,悬而未决的违反情况下的约束。在这种情况下,合规性监控的问题,然后成为增量视图维护,这是在数据库查询处理中发展良好的技术的应用。在本文中,我们认为我们的方法详细,并作为概念的证明,提出了一个实验验证使用DBToaster增量数据库查询引擎。
2022-05-31 cs.DB
Multi-Objective Optimization, different approach to query a database
现在可用的数据集非常丰富和复杂,但我们如何获得我们正在寻找的信息?在本调查中,分析了两种不同的数据集查询方法,并解释了每种类型的算法。具体地,针对Top-K查询分析了TA和NRA,并且针对skyline查询检查了基本块嵌套循环。此外,它解释了优先和灵活的天际线背后的核心思想。最后,基于不同的标准,对每种类型的分析查询的优点和缺点进行了评估。
2022-02-03 cs.DB
Prioritized Repairing and Consistent Query Answering in Relational Databases
不一致数据库中的一致查询答案是在每次(最小)修复中获得的答案。通过以所有可能的方式解决所有冲突来获得修复。然而,用户通常能够提供关于应当如何解决冲突的偏好。我们在这里调查的框架首选一致的查询答案,其中用户的喜好是用来缩小一组首选的维修。我们公理化理想的性能首选维修。我们提出了三个不同的家庭的首选维修和研究他们的相互关系。最后,我们调查的复杂性首选修复和计算首选一致的查询答案。
2011-10-07 cs.DB
Database Theory in Action: Direct Access to Query Answers
UC Santa Cruz(加州大学圣克鲁兹分校)
研究通过实现多种查询和排序方式,探讨数据库系统性能及直接访问与单次访问的关系。
2026-03-20 cs.DB
Bridging the Semantic Gap with SQL Query Logs in Natural Language Interfaces to Databases
构建数据库的自然语言接口(NLIDB)的一个关键挑战是弥合自然语言查询(NLQ)和底层数据之间的语义鸿沟。这个挑战的两个具体表现方式是通过关键字映射和连接路径推理。关键字映射是将原始NLQ中的各个关键字映射到数据库元素(例如关系,属性或值)的任务。这是具有挑战性的,由于在映射用户的心理模型和措辞的模式定义和底层数据库的内容的模糊性。连接路径推断是在最终SQL查询的FROM子句中选择关系和连接条件的过程,并且是困难的,因为NLIDB用户缺乏数据库模式或SQL的知识,因此不能显式地指定构造最终SQL查询所需的中间表和连接。在本文中,我们建议利用数据库的SQL查询日志中的信息来提高现有NLIDBs的性能,以应对这些挑战。我们提出了一个可用于增强现有NLIDB的系统Templar。我们广泛的实验评估表明,我们的方法的有效性,导致高达138%的改善前1的准确性,在现有的NLIDBs利用SQL查询日志信息。
2019-01-31 cs.DB
An Overview of Query Processing on Crowdsourced Databases
众包是一种强大的解决方案,可以为数据库中昂贵和未回答的查询找到正确答案,包括那些不确定和不完整的数据。尝试使用众包来利用人类的能力来使用人类工作者处理这些昂贵的查询,有助于通过利用人群中的可用数据来提供准确的结果。众包数据库系统(CSDB)通过使用具有微小改变的关系数据库的某种变体来将群体的知识与关系数据库相结合。本文综述了CSDB中传统查询和偏好查询在查询处理领域的主要研究。这项工作的重点是突出每种方法的优点和缺点。详细讨论了当前和未来的研究趋势与查询处理领域的CSDB。
2022-04-16 cs.DB
How Can We Shrink the Family of Test Databases? Query Containment with Nulls and Comparisons
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文针对带空值和顺序比较的合取查询,提出缩小测试数据库族的方法,分别通过特殊变量集和规范值分解实现,并证明在局部参数下固定参数可处理,从而提升查询包含判定的实用性。
2026-09-16 cs.DB
Quantifying Causal Effects on Query Answering in Databases
实际因果关系的概念,形式化的Halpern和Pearl,最近已被应用到关系数据库,表征和计算实际原因可能意外的答案单调查询。原因采用数据库元组的形式,并且可以根据其因果责任进行排名,这是其作为查询答案的原因的相关性的数值度量。在这项工作中,我们重新审视这一概念,引入并提出了一种替代措施的因果贡献,因果效应的情况下。该措施概括了实际原因,并可以应用于超越单调查询。我们表明,因果效应提供了直观和预期的结果。
2016-04-25 cs.DB
Query Data With Fuzzy Information In Object-Oriented Databases An Approach Interval Values
提出了一种基于模糊语义的模糊模糊在该方法中,我们考虑对象类的属性值(以及方法)是区间值,并将区间值分别转换为[0,1]中的子区间。证明了在[0,1]中对冲代数中元素的future也是子区间。因此,我们提出了一个算法,允许两个子区间[0,1]的比较,帮助查询数据的要求
2016-10-16 cs.DB
Approximate Query Answering in Inconsistent Databases
用于查询优化的经典算法预先假定数据库中不存在不一致或不确定性,并且仅利用所提供的有效语义知识,例如,完整性约束。然而,数据不一致或不确定性是普通数据库中普遍存在的关键问题:事实上,完全完整性通常是一个不切实际的假设,并且可能以多种方式引入违反完整性约束的行为。在这份报告中,我们提出了一种语义查询优化的方法,与传统的方法不同,它依赖于不一定有效的语义知识,例如,由违反的或软的完整性约束提供,或由应用数据采掘技术引起。查询优化,利用无效的语义知识不能保证原始用户的查询和重写之间的语义等价:因此,我们的方法优化的查询产生近似的答案,可以提供给用户时,快速,但可能是部分的响应是必需的。此外,我们评估的影响,使用无效的语义知识在重写的查询通过计算返回给用户的答案的质量的措施,我们依赖于最近的信念逻辑编程理论来处理可能存在的相关性在重写中使用的语义知识。
2014-05-02 cs.DB
Improved Join Order Optimization for Database Queries using Hybrid Quantum-Classical Approaches for QUBO Problems
Universität zu Lübeck(吕贝克大学);TU Bergakademie(弗莱贝格矿业技术学院)
提出混合方法ECP+SQSS减小QUBO规模,在量子退火、模拟退火、QAOA和VQE上评估,实现最优连接顺序并提升查询优化效率。
2026-06-16 cs.DB
Design Issues of JPQ: a Pattern-based Query Language for Document Databases
文档数据库的应用越来越广泛,但如何实现复杂的文档查询,从文档中获取有用的信息,仍然是一个重要的研究课题。本文描述了一种基于模式的文档数据库查询语言JPQ的设计问题。JPQ使用各种表达模式来提取和构造遵循类似JSON的文档数据模型的文档片段。该方法采用树状抽取模式和一致的模式组合机制,从层次结构的文档中抽取数据元素,并维护元素之间的逻辑关系。基于这些关系,JPQ部署了一种演绎机制来声明性地指定数据转换请求,并考虑了分层数据结构上的数据过滤。我们使用各种例子来展示语言的功能,并展示其表现力和声明性在提出复杂的文档查询。
2015-04-15 cs.DB
NL4ST: A Natural Language Query Tool for Spatio-Temporal Databases
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);The Hong Kong University of Science and Technology(香港科技大学)
NL4ST是一种用于时空数据库的自然语言查询工具,通过三层架构实现自然语言到查询计划的转换,支持非专业人士高效查询时空数据。
2026-01-22 cs.DB
Multi-Dimensional Data Compression and Query Processing in Array Databases
近年来,多维数据在各个领域的生产及其在阵列数据库中的存储急剧增加;这种数据量的快速增长需要在阵列数据库中进行压缩。然而,阵列数据库中使用的现有压缩方案是通用的,而不是专门为数据库设计的。它们可能会降低复杂分析任务的查询性能,从而产生巨大的计算成本。因此,需要考虑阵列数据库工作流的压缩方案。本文提出了一种存储和查询多维数组数据的压缩方案SEACOW。该方案是专门设计的,是有效的基于维和基于值的探索。它考虑了探索查询的数据访问模式,并在压缩数组中嵌入了可用作索引的概要。此外,我们实现了一个阵列存储系统,即MSDB,进行实验。我们评估查询性能的真实科学数据集,并与现有的压缩方案。最后,我们的实验表明,SEACOW提供了较高的压缩率相比,现有的压缩方案,和概要提高分析查询处理性能。
2022-11-11 cs.DB
Compliance in Databases: A Study of Structural Policies and Query Optimization
IIIT Bangalore(印度理工学院班加罗尔分校);Microsoft India(微软印度)
研究探讨结构化政策对查询优化的影响,提出政策语法框架以分析合规政策对数据库系统性能的作用。
2026-04-17 cs.DB
QTrail-DB: A Query Processing Engine for Imperfect Databases with Evolving Qualities
由于各种原因,不完美的数据库在许多应用中非常常见,这些原因包括数据输入错误,传输或集成错误,以及错误的仪器读数,以及导致不正确结果的错误实验设置。不完善数据库的管理和查询处理是一个非常具有挑战性的问题,因为它需要将数据的质量纳入数据库引擎。更具有挑战性的是,这些品质通常不是静态的,可能会随着时间的推移而变化。不幸的是,大多数最先进的技术处理数据质量问题作为一个离线任务,是在完全隔离的查询处理引擎(在DBMS外部执行)。因此,最终用户将接收查询的结果,而不知道结果是否可以信任以进行进一步的分析和决策。在本文中,我们提出了它的“QTrail-DB”系统,从根本上扩展了标准的DBMS,以支持不完善的数据库不断发展的质量。QTrail-DB引入了一种基于“质量跟踪”新概念的新质量模型,该模型可以捕获数据质量随时间的演变。QTrail-DB扩展了关系数据模型,将质量跟踪纳入数据库系统。我们提出了一个新的查询代数,称为“QTrail代数”,它使无缝和透明的传播和查询管道内的数据的质量推导。因此,查询的答案将在元组级别上自动使用质量相关信息进行注释。QTrail-DB传播模型利用了DB起源和世系跟踪文献中深入研究的传播语义,因此不需要开发新的查询优化器。QTrail-DB是在PostgreSQL中开发的,并使用真实世界的数据集进行了实验评估,以证明其效率和实用性。
2023-03-12 cs.DB
Frameworks for Querying Databases Using Natural Language: A Literature Review
自然语言接口(NLI)便于用户提出查询以从数据库检索信息,而不使用诸如结构化查询语言(SQL)的任何人工语言。在包括医疗保健、客户支持和搜索引擎的各种领域中的若干应用需要精心制作具有关于文本的信息的结构化数据。此外,许多问题已经被探索,包括配置的复杂性,密集算法的处理,以及关系数据库的普及,由于将自然语言转换为数据库查询已成为一个次要的研究领域。查询系统和支持语音的界面的新兴趋势使自然语言重新进入数据库查询研究领域。上一次就该主题发布的调查是六年前的2013年。据我们所知,没有最近的研究发现,讨论了结构化和非结构化查询语言的自然语言的翻译框架的当前状态。在本文中,我们回顾了2008年至2018年的47个框架。在47个项目中,有35个与我们的工作密切相关。基于SQL的框架已被分类为统计,符号和连接主义方法。然而,基于NoSQL的框架已经被分类为语义匹配和模式匹配。然后,这些框架进行审查的基础上,他们的支持语言,他们的启发式规则,互操作性的支持,数据集范围和他们的整体性能得分的计划。调查结果表明,70%的自然语言数据库查询工作是针对SQL进行的,NoSQL分别占SPAROL,CYPHER和GREMLIN等语言的15%,10%和5%。还注意到,大多数框架仅支持英语。
2019-09-03 cs.DB
Towards practical meta-querying
我们描述了一个元查询系统的数据库包含查询,除了普通的数据。在这种数据库的上下文中,元查询是关于查询的查询。表示存储在XML中的查询,并使用标准的XML操作语言SQL作为子语言,我们表明,只需要添加到SQL的一些功能,把它变成一个完全成熟的Meta查询语言。好消息是,这些特性可以直接由可扩展数据库技术支持。
2003-10-13 cs.DB
Answer Sets for Consistent Query Answering in Inconsistent Databases
如果一个关系数据库不满足给定的完整性约束集,那么它就是不一致的。然而,其中的大部分数据很可能符合限制条件。在本文中,我们应用逻辑规划的基础上回答集的问题,从一个可能不一致的数据库检索一致的信息。由于一致的信息持续从原始数据库的每一个最小的维修,该方法是基于一个规范的数据库修复使用析取逻辑程序与异常,其答案集语义可以表示和计算的系统,实现稳定的模型语义。这些程序允许我们通过默认值声明持久性,并通过异常来修复更改。我们主要集中在二进制完整性约束的逻辑程序,其中,我们发现在实践中发现的完整性约束。
2002-07-26 cs.DB
Knowledge Rich Natural Language Queries over Structured Biological Databases
关键字、自然语言和NoSQL查询正越来越多地用于从传统和非传统数据库(诸如web、文档、图像、GIS、法律和健康数据库)进行信息检索。虽然由于显而易见的原因,它们的受欢迎程度是不可否认的,但它们的工程设计远非简单。在大多数情况下,将通过结构化数据库模式表达的良好理解的自然语言查询映射到结构化查询语言的语义和意图保持映射仍然是一项困难的任务,并且对驯服复杂性的研究是激烈的。在本文中,我们提出了一个多层次的知识为基础的中间件,以促进这种映射,分离的概念层次的物理层次。我们增加了这些多层次的抽象与概念推理和查询策略引擎动态链接任意自然语言查询定义良好的结构化查询。我们证明了我们的方法的可行性,提出了一个基于数据库的原型系统,称为生物智能,可以计算响应任意自然语言查询在任意数据库的自然语言查询的语法分类。
2017-03-30 cs.DB
Probabilistic Databases with MarkoViews
概率数据库中查询评估的大部分工作都集中在简单的元组独立数据模型上,其中元组是独立的随机事件。在这种情况下,存在几种有效的查询评估技术,如安全计划,基于OBDD的算法,树分解和各种近似算法。然而,复杂的数据分析任务通常需要复杂的相关性,因此查询评估的成本要高得多,或者更具限制性。在本文中,我们提出MVDB作为一个框架,既表示复杂的相关性和高效的查询评估。MVDB通过视图(称为MarkoViews)指定概率关系上的相关性,并声明视图输出的权重。MVDB是一个(非常大的)马尔可夫逻辑网络。我们做了两套贡献。首先,我们表明,MVDB上的查询评估相当于评估一个元组独立的数据库上的联合查询(UCQ)。翻译是精确的(因此允许为元组独立数据库开发的技术被带到MVDB),但它是新颖的,非常不明显(一些结果概率可能是负的!)。这种翻译本身可能不会带来太多的收益,因为当我们试图捕获更多的相关性时,翻译后的查询变得复杂。我们的第二个贡献是提出了一个新的查询评估策略,利用离线编译,以加快在线查询评估。在这里,我们利用和扩展我们以前的工作编译UCQ。我们实验验证我们的技术在一个大型的概率数据库与MarkoViews推断从DBLP数据。
2012-08-01 cs.DB
XRecursive: An Efficient Method to Store and Query XML Documents
将XML文档存储在关系数据库中是一种很有前途的解决方案,因为关系数据库是成熟的,并且可伸缩性很好,并且它们具有以下优点:在关系数据库中,XML数据和结构化数据可以共存,这使得构建涉及这两种数据的应用程序成为可能,而不需要额外的工作。在本文中,我们提出了一个算法模式命名为XRecursive的XML文档转换到关系数据库根据建议的存储结构。给出了在关系数据库中使用该存储结构存储和查询XML文档的步骤和算法。然后,我们报告我们的实验结果在一个真实的数据库中显示我们的方法在一些功能的性能。
2012-03-29 cs.DB
First-order Complete and Computationally Complete Query Languages for Spatio-Temporal Databases
我们解决一个基本的问题,关于时空数据库系统:``究竟是什么时空查询?我们将时空查询定义为也是通用的可计算映射,这意味着查询的结果可能仅在有限程度上依赖于时空数据的实际内部表示。通用性被定义为在保持时空数据的某些特征(例如,共线、距离、速度、加速度等)。这些群体依赖于特定时空数据库应用中相关的概念。这些变换也有一个独特的性质,即它们尊重时间的单调性和单向性。我们调查不同的泛型类相对于时空数据库的约束数据库模型,我们确定的声音和完整的语言的一阶和可计算的查询,在这些泛型类。我们区分由时不变的变换,genericity概念有关的物理量和genericity由时间相关的变换确定的genericity。
2005-03-07 cs.DB
Query Results over Ongoing Databases that Remain Valid as Time Passes By (Extended Version)
持续时间点现在用于声明一个元组从开始点开始是有效的。对于数据库系统,持续时间点具有深远的影响,因为它们随着时间的推移而不断变化。最先进的方法通过将正在进行的时间点实例化到参考时间来处理它们。实例化产生的查询结果仅在所选时间有效,并随着时间的推移而失效。我们提出了一个解决方案,保持正在进行的时间点在查询处理过程中未实例化。我们通过在所有可能的引用时间评估谓词和函数来做到这一点。这使得查询结果独立于特定的引用时间,并产生随着时间的推移仍然有效的结果。作为查询结果,我们提出了正在进行的关系,包括一个参考时间属性。reference time属性的值受到正在进行的属性上的谓词和函数的限制。我们描述和评估一个有效的实现正在进行的数据类型和操作在PostgreSQL。
2020-07-28 cs.DB
Offset-value coding in database query processing
最近的工作展示了偏移值编码如何加速数据库查询执行,不仅是排序,还包括重复删除和分组(聚合),排序流,保序交换(洗牌),合并连接等。它已经在谷歌的纳帕和F1查询系统中节省了数千个CPU,在分组算法和日志结构的合并森林。然而,为了实现有趣的排序的全部好处,查询执行算法不仅必须消耗和利用偏移值代码,而且还必须为管道中的下一个操作符产生偏移值代码。我们的研究一直在寻找产生偏移值代码的方法,而不需要逐个、逐列地比较连续的输出行。这篇简短的论文介绍了一个新的定理,并根据其证明和一个简单的推论,详细描述了保序算法(从过滤器到合并连接,甚至洗牌)如何计算其输出的偏移值代码。这些计算出奇地简单和高效。
2023-02-17 cs.DB
Consistent Query Answering under Spatial Semantic Constraints
一致性查询应答是一种容忍不一致的方法,用于从可能与其完整性约束不一致的数据库中获得语义正确的答案。在这项工作中,我们形式化的概念一致的查询回答空间数据库和空间语义完整性约束。为了做到这一点,我们首先描述冲突的空间数据,接下来,我们定义允许的实例,恢复一致性,同时保持接近原始实例。通过这种方式,我们得到一个修复语义,这是作为一个工具的概念来定义和可能得到一致的查询答案。然后,我们集中在一类空间拒绝约束和空间查询,存在一个有效的策略来计算一致的查询答案。本研究将不一致容限应用于空间资料库,将研究目标由空间资料库的一致性转移至查询回应的一致性。
2011-06-08 cs.DB
NEURON: Query Optimization Meets Natural Language Processing For Augmenting Database Education
关系数据库管理系统(RDBMS)是世界上许多大学的计算机科学课程的一部分。该课程的核心组成部分是关系数据库管理系统中查询优化器的设计和实现。查询优化器的目标是自动识别执行用户提交的声明性SQL查询的最有效执行策略。查询优化过程产生表示查询的执行策略的查询执行计划(QEP)。由于底层查询优化器的复杂性,理解QEP要求学生了解与RDBMS相关的特定于实现的问题。实际上,这是一个不切实际的假设,因为大多数学生都是第一次学习数据库技术。因此,他们通常很难通过仔细阅读QEP来理解DBMS所承担的查询执行策略,从而阻碍了他们的学习过程。在这个演示中,我们提出了一个新的系统,称为神经元,促进自然语言与QEP互动,以提高其理解。NEURON接受SQL查询(可能包括连接、聚合、嵌套等)作为输入,执行它,并生成底层RDBMS部署的执行策略的简化的基于自然语言的描述(文本和语音形式)。此外,它通过基于自然语言的问答框架促进了对与QEP相关的各种特征的理解。我们主张,这样的工具,世界上第一个,可以大大提高学生的学习查询优化的主题。
2018-08-21 cs.DB
Collectively Simplifying Trajectories in a Database: A Query Accuracy Driven Approach
针对现有轨迹简化技术依赖手工误差度量、未充分保障数据可用性的问题,提出查询精度驱动的多智能体强化学习方法,协同集体简化轨迹,在四个真实数据集上性能始终优于基线方案。
2023-12-13 cs.DB
Effective Bug Detection in Graph Database Engines: An LLM-based Approach
针对现有图数据库引擎漏洞检测方法受限于特定查询语言、需大量先验知识的问题,提出基于LLM的DGDB范式,通过ChatGPT生成多语言查询并结合差分测试,在多款主流图数据库中成功检测出多个结果错误类漏洞。
2024-02-01 cs.DB
Mobile Database System: Role of Mobility on the Query Processing
移动通信技术的迅速发展将使移动用户能够随时随地访问信息。无线技术的出现使得在移动环境中实现连续连接成为可能。当查询被指定为连续时,请求移动用户可以获得连续变化的结果。为了向请求移动的用户提供准确和及时的结果,必须密切监视移动对象的位置。本文的目的是讨论在移动环境中的个人和终端的移动性和查询处理的作用有关的问题。
2010-04-10 cs.DB
Oblivious Query Processing
受云安全问题的影响,人们对可以存储和支持对加密数据的查询的数据库系统越来越感兴趣。这种系统的常见架构是使用可信组件,例如用于查询处理的密码协处理器,其用于安全地解密数据并以明文执行计算。可信组件具有有限的内存,因此大部分(输入和中间)数据在不可信的存储中保持加密,并根据“需求”移动到可信组件。“”在这种设置下,即使使用强加密,来自不可信存储的数据访问模式也有可能泄露敏感信息;实际上,所有使用可信组件对加密数据进行查询处理的现有系统都存在此漏洞。在本文中,我们进行了第一次正式的研究安全查询处理,对手有充分的知识的查询(文本),并观察查询执行学习没有关于底层数据库以外的数据库上的查询的结果大小。我们引入了一个更简单的概念,不经意的查询处理,并正式表明,一个查询承认安全的查询处理,当它承认不经意的查询处理。我们提出了一个丰富的数据库查询,涉及选择,连接,分组和聚合的不经意的查询处理算法。对于我们的算法不处理的查询,我们提供了一些初步的证据,设计不经意(因此安全)的算法将很难通过减少两个简单的,研究充分的问题,通常认为是困难的。我们对不经意查询处理的研究也揭示了与数据库连接理论的有趣联系。
2013-12-14 cs.DB
On the Computational Complexity of Consistent Query Answers
我们在这里考虑的问题,获得可靠的,一致的信息,从不一致的数据库-数据库,不必满足给定的完整性约束。我们使用一致查询答案的概念-在数据库的每次(最小)修复中为真的查询答案。我们提供了一个完整的分类的计算复杂性一致的答案一阶查询w.r.t.功能依赖和拒绝约束。我们展示了复杂性如何依赖于所考虑的约束的{\em类型}、它们的{\em数量}和查询的{\em大小}。我们获得了几个新的PTIME的情况下,使用新的算法。
2002-04-05 cs.DB
A MapReduce Approach to NoSQL RDF Databases
近年来,对存储和处理大量数据的需求不断增加,这促使了对分布式存储和查询系统的需求。机器可读的RDF三元组的增长促使工业界和学术界开发新的数据库系统,称为NoSQL,其特征与传统数据库不同。这些系统中的许多系统为了提高水平可伸缩性和数据可用性而牺牲了ACID属性。本文主要研究NoSQL三重存储的开发和评估。TripleStores是数据库管理系统,是语义Web和链接数据等新兴技术的核心。评估跨越了几个基准,包括三重存储评估中最常用的两个基准,柏林SPARQL基准和DBpedia基准,DBpedia基准是一种操作维基百科的RDF表示的查询工作负载。结果表明,该系统所使用的连接算法在决定查询运行时起着至关重要的作用。分布式图数据库在生成MapReduce查询计划之前必须仔细优化查询,因为如果简单地执行查询,大型数据集的网络流量可能会变得令人望而却步。
2016-01-08 cs.DB
What if an SQL Statement Returned a Database?
本文提出用 RESULTDB 关键字扩展 SQL 的 SELECT 子句,使其返回结果数据库而非单表,从而避免连接非规范化,并改善查询性能、结果传输效率及优化器设计。
2023-12-01 cs.DB
Meet Cyrus - The Query by Voice Mobile Assistant for the Tutoring and Formative Assessment of SQL Learners
由于是声明性的,SQL更有可能成为仅次于自然语言编程的概念计算的程序设计语言。我们研究使用SQL作为后端的自然语言数据库编程的可能性。与基于关键字的SQL查询不同,关键字依赖和SQL的表结构约束在我们的方法中明显不那么明显。我们提出了一个移动终端语音查询接口,称为赛勒斯,任意关系数据库。Cyrus支持一个大型的查询类,对于一个入门级的数据库类来说已经足够了。Cyrus也是独立于应用程序的,允许测试数据库自适应,并且不限于特定的关键字或自然语言句子结构。它的协作错误报告更直观,与大多数当代移动和语音系统相比,基于iOS的移动平台也更容易访问。
2018-11-09 cs.DB
Querying RDF Databases with Sub-CONSTRUCTs
图查询语言在应用于图数据库时主要具有两种查询:受关系数据库启发的那些返回表(如SELECT查询)的查询和那些返回图(如SPARQL中的CONCLECT查询)的查询。后者是本文的研究对象。为此,定义了一种核心图查询语言GrAL,重点关注CONSTRUCT查询。GrAL中的递归是涉及所谓GrAL模式的递归过程的最后一步。通过在图上评估查询,可以得到一个图,而通过在图上评估模式,可以得到一组同时涉及图和表的匹配。CONCLUSION CT查询基于CONCLUSION CT模式,子CONCLUSION CT模式不受模式递归定义的限制。GrAL的语义是基于RDF图,略有修改,其中包括接受孤立的节点。RDF图的这种扩展简化了评估语义的定义,评估语义主要由称为Merge的唯一操作捕获。此外,我们将聚合定义为GrAL表达式的一部分,这导致了聚合的原始本地处理。
2021-09-14 cs.DB
Hyperset Approach to Semi-structured Databases and the Experimental Implementation of the Query Language Delta
本文提出了半结构化数据库的超集方法和相关的查询语言Delta的实现的实际建议。这项工作的特点可以作为一个自上而下的方法,半结构化数据库的一部分,从理论到实践。这项工作的主要原始部分包括在半结构化数据库的超集增量查询语言的实施,包括工作的例子查询。事实上,目的是展示这种方法和语言的实际细节。在现有的理论版本的基础上,需要开发一种扩展的、实用的语言版本,以及相应的操作语义。在这里,我们提出了实施的最重要的步骤的详细说明。这种方法的另一个关键问题是证明如何在现实中处理(超)集之间的相等关系的概念,这是通过互模拟关系计算实现的。事实上,这个昂贵的过程,特别是在分布式半结构化数据的情况下,需要一些额外的理论考虑和实际建议,以有效地实现。为此,提出了计算分布式半结构化数据互模拟关系的“局部/全局”策略,并通过实验验证了该策略的有效性。
2009-02-15 cs.DB