Instrumentation and Analysis of Native ML Pipelines via Logical Query Plans
BIFOLD;TU Berlin(柏林工业大学)
本文提出从机器学习流水线代码中提取逻辑查询计划,自动推断语义并进行插桩与重写,以支持数据溯源筛查和假设分析等用例,无需人工标注代码。
2024-07-10 cs.DB cs.LG cs.SE
Wasserstein-Fisher-Rao Embedding: Logical Query Embeddings with Local Comparison and Global Transport
HKUST(香港科技大学);Tsinghua University(清华大学);NVIDIA(英伟达)
本文提出Wasserstein-Fisher-Rao嵌入(WFRE),利用非平衡最优传输理论平衡局部比较与全局传输,实现知识图谱复杂查询的高效嵌入,并在标准及层次数据集上超越现有方法。
2023-05-06 cs.AI cs.DB cs.LG
Relational Diagrams: a pattern-preserving diagrammatic representation of non-disjunctive Relational Queries
通过关系语言的逻辑表达能力来分析关系语言是很容易理解的。关系查询模式的模糊概念还没有得到很好的理解,甚至还没有正式化。什么是查询模式?我们如何在不同的关系语言中推理查询模式,而不管它们的语法和它们的过程性或声明性?在本文中,我们形式化的概念,查询模式的关系原子之间的模式保持映射的变体。这种形式主义使我们能够分析关系查询语言的相对模式表达能力,并创建一个层次结构的语言具有相同的逻辑表达能力,但不同的模式表达能力。在这种分析中,关系演算可以表达比关系代数的基本运算符更多的模式。我们还贡献了一个直观的,完整的,和声音的图形表示安全的关系演算,不仅是关系完整的,但也可以表达所有的逻辑模式的大型和有用的片段的非析取关系演算。在我们所知道的所有关系查询的图形表示中,这是唯一一个关系完整的,可以表示非析取片段中的所有逻辑模式。
2022-03-14 cs.DB cs.LO cs.PL
Towards Eco-friendly Database Management Systems
数据库管理系统(DBMS)在很大程度上忽略了管理查询处理期间消耗的能量的任务。经济和环境因素都要求DBMS密切关注能源消耗。在本文中,我们处理这个问题,考虑能源消耗作为一个一流的性能目标,在DBMS中的查询处理。我们提出了两个具体的技术,可以使用的DBMS直接管理的能源消耗。这两种技术都以能耗换取性能。第一种技术称为PVC,利用现代处理器在较低处理器电压和频率下执行的能力。第二种技术称为QED,使用查询聚合来利用工作负载中查询的常见组件。在一个商业数据库管理系统和MySQL上进行的实验表明,PVC可以使处理器能耗降低49%,而响应时间仅增加3%.在MySQL上,PVC可以减少20%的能耗,而响应时间损失仅为6%。对于简单的选择查询没有谓词重叠,我们表明,量子电动力学可以用来优雅地交易响应时间的能量,减少了54%的平均响应时间增加43%的能源消耗。在本文中,我们还强调了一些研究问题,在新兴领域的节能数据处理。
2009-09-09 cs.DB
Robust Estimation of Resource Consumption for SQL Queries using Statistical Techniques
估计SQL查询的资源消耗的能力对于数据库系统中的许多任务(诸如查询优化期间的准入控制、查询调度和成本计算)是至关重要的。最近的工作已经探索了使用统计技术进行资源估计,以代替在查询优化中使用的手动构建的成本模型。这种技术需要查询中资源使用的训练数据示例,提供了优越的估计精度的承诺,因为它们可以考虑诸如系统的硬件特性或基数估计中的偏差之类的因素。然而,所提出的方法缺乏鲁棒性,因为它们不能很好地推广到不同于训练样本的查询,从而导致显著的估计误差。我们的方法旨在通过将数据库查询处理知识与统计模型相结合来解决这个问题。我们在单个运营商的层面上对资源使用进行建模,每个运营商类型具有不同的模型和功能,并明确地对每个运营商的渐近行为进行建模。这导致显著更好的估计精度和估计任意计划的资源使用的能力,即使它们与训练实例非常不同。我们使用Microsoft SQL Server上的各种大规模现实生活和基准工作负载来验证我们的方法。
2012-08-01 cs.DB
Logical Foundations and Complexity of 4QL, a Query Language with Unrestricted Negation
本文为支持规则头与规则体无限制否定的四值查询语言 4QL 建立逻辑基础,研究良基支持模型、证明计算算法正确,并表明其具有 PTIME 数据复杂性且可捕获 PTIME 查询。
2011-03-18 cs.DB cs.LO
Does query performance optimization lead to energy efficiency? A comparative analysis of energy efficiency of database operations under different workload scenarios
随着在线服务的不断增加以及能源成本的不断增加,能源消耗成为评估数据中心运营的重要成本因素。造成这种情况的一个重要因素是数据库服务器的性能,据认为,数据库服务器是在线服务的骨干。从软件的角度来看,虽然市场上出现了一系列新颖的数据管理技术,例如基于键值的数据库或内存数据库,但经典的关系数据库管理系统(RDBMS)仍然被广泛使用。此外,从硬件的角度来看,大多数数据库服务器仍然使用标准的磁性硬盘驱动器(HDD),而不是固态硬盘(SSD),因为每GB的存储成本较低,忽略了由于高成本可能带来的性能提升。在这项研究中,我们专注于基于软件的数据库服务器的能耗评估,通过运行三个不同的和完整的数据库工作负载,即TCP-H,星型架构基准-SSB以及我们为这项研究推导出的修改后的基准称为W22。我们配置文件之间的最重要的服务器组件的能量分布,并通过使用不同的资源分配,我们评估的能源消耗的一个典型的开源关系数据库管理系统(PostgreSQL)在标准服务器上的性能(测量查询时间)。结果证实了众所周知的事实,即使是完整的工作负载,RDBMS的优化结果,以降低能耗。
2013-03-20 cs.DB
Concept-Oriented Model and Query Language
我们描述了一种新的数据建模方法,称为面向概念的模型(COM),和一种新的面向概念的查询语言(COQL)。该模型基于三个原则:对偶原则假设任何元素都是由一个单位和一个实体组成的一对,包含原则假设任何元素都有一个超元素,序原则假设任何元素都有一些更大的元素在一个偏序集合中。面向概念的查询语言是基于一种新的数据建模结构,称为概念,概念之间的包含关系,概念偏序,其中更大的概念是由它们的字段类型表示。它演示了如何COM和COQL可以用来解决三个一般的数据建模任务:逻辑导航,多维分析和推理。逻辑导航基于投影和反投影两种操作。多维分析使用乘积运算从沿着所选维路径选择的层次概念产生立方体。推理被定义为一个两步的过程,其中输入约束首先使用解投影向下传播,然后使用投影向上传播受约束的结果。
2010-08-02 cs.DB
Adding Logical Operators to Tree Pattern Queries on Graph-Structured Data
随着数据越来越多地被建模为用于表达复杂关系的图,图结构数据上的树模式查询成为现实世界应用中的重要查询类型。大多数实用的查询语言,如XQuery和SPARQL,都支持使用逻辑AND/OR/NOT运算符来定义树模式的结构约束的逻辑表达式。在本文中,(1)我们提出了广义树模式查询(GTPQs),它完全支持结构约束的命题逻辑。(2)本文深入研究了可满足性、包容性和极小化等基本问题,分析了这些问题的计算复杂性和决策过程。(3)我们提出了一个紧凑的图形表示的中间结果和修剪方法,以减少中间结果的大小和连接操作的数量-两个因素,往往损害传统算法的效率,用于评估树模式查询。(4)我们提出了一个有效的算法,用于评估GTPQs使用3跳作为底层的可达性指标。(5)在真实数据集和合成数据集上的实验证明了该算法的有效性和效率,在计算时间上比现有算法快了几倍到几个数量级,即使对于只使用合取操作的传统树模式查询也是如此.
2012-04-16 cs.DB
A Logical Formalization of a Secure XML Database
在本文中,我们首先定义了一个逻辑理论表示的XML数据库支持XML作为查询语言和XUpdate作为修改语言。然后,我们扩展我们的理论与谓词,让我们指定的安全策略保护数据库。安全策略包括处理读和写特权的规则。我们提出公理来推导每个用户被允许看到的数据库视图。我们还提出了公理,以获得新的数据库内容更新后。
2014-05-22 cs.CR cs.DB cs.LO
Fast and Simple Relational Processing of Uncertain Data
本文介绍了U-关系,一个简洁的和纯粹的关系表示系统的不确定数据库。U-关系支持属性级的不确定性,使用垂直分区。如果我们考虑通过计算可能答案的操作扩展的正关系代数,则逻辑级别上的查询可以被转换为U-关系表示上的单个关系代数查询并被评估。翻译方案基本上保留了查询的大小,在操作的数量方面,特别是连接的数量。现成的关系数据库管理系统中采用的标准技术对于优化和处理U关系查询是有效的。在我们的实验中,我们表明,查询评估的U-关系规模的大量数据具有高度的不确定性。
2007-07-11 cs.DB cs.PF
A Set-Theoretic Approach to Detecting Logic Bugs in DBMS Inner Join Optimizations
East China Normal University(华东师范大学);Digital Technologies, Ant Group(蚂蚁集团数字技术);Tsinghua University(清华大学)
提出基于集合论的蜕变测试方法,通过交集运算和三种语义保持变换规则生成等价查询,比较结果发现DBMS优化器逻辑错误,在主流系统中发现29个新问题。
2026-06-26 cs.DB cs.SE
Efficient Enumeration of Recursive Plans in Transformation-based Query Optimizers
本文提出 RLQDAG,通过带注释等价节点、分组重写规则和增量注释维护扩展 LQDAG,以支持递归查询的计划空间高效枚举,并验证其显著性能提升。
2024-04-04 cs.DB
RelJoin: Relative-cost-based Selection of Distributed Join Methods for Query Plan Optimization
RelJoin提出基于相对代价的分布式连接方法选择模型,利用运行时统计精确估计网络与本地计算代价,在SparkSQL中实现,TPC-DS上62/97查询最优,平均查询时间降低21%。
2023-11-24 cs.DB cs.DC
Fedra: Query Processing for SPARQL Federations with Divergence
本地SPARQL端点的数据复制和部署提高了公共SPARQL端点的可伸缩性和可用性,使链接数据的消费成为现实。此解决方案需要同步和特定的查询处理策略来利用复制。然而,现有的复制感知技术在SPARQL端点的联邦不考虑数据的动态性。我们提出了Fedra,一种查询从复制中受益的端点联盟的方法。Fedra联邦的参与者可以从多个数据集中复制数据片段,并使用出处和视图描述它们。这些描述使Fedra能够减少所选端点的数量,同时满足用户的分散需求。在真实世界数据集上的实验表明,节省高达三个数量级。
2014-07-10 cs.DB
Design Issues of JPQ: a Pattern-based Query Language for Document Databases
文档数据库的应用越来越广泛,但如何实现复杂的文档查询,从文档中获取有用的信息,仍然是一个重要的研究课题。本文描述了一种基于模式的文档数据库查询语言JPQ的设计问题。JPQ使用各种表达模式来提取和构造遵循类似JSON的文档数据模型的文档片段。该方法采用树状抽取模式和一致的模式组合机制,从层次结构的文档中抽取数据元素,并维护元素之间的逻辑关系。基于这些关系,JPQ部署了一种演绎机制来声明性地指定数据转换请求,并考虑了分层数据结构上的数据过滤。我们使用各种例子来展示语言的功能,并展示其表现力和声明性在提出复杂的文档查询。
2015-04-15 cs.DB
Query Rewriting and Optimization for Ontological Databases
对照由扩展数据库和本体(即,从外延数据库导出新的内涵知识的一组逻辑断言和约束),而不是直接在外延数据库上。这种查询的评价和优化是数据库研究的一个有趣的新问题。在本文中,我们讨论了这个问题的两个重要方面:查询重写和查询优化。查询重写包括将本体查询编译为针对底层扩展数据库的等效一阶查询。我们提出了一种新的查询重写算法,而一般类型的本体约束,这是非常适合于实际的实现。特别是,我们展示了如何对知识库的合取查询,表示使用线性和粘性的存在规则,也就是说,最近推出的Datasheet +/-家庭的本体语言的成员,可以编译成一个联盟的合取查询(UCQ)对底层数据库。在这种情况下,本体查询优化试图改进这种重写过程,以便为输入查询产生可能小且成本有效的UCQ重写。
2014-05-12 cs.DB
Optimizing Traversal Queries of Sensor Data Using a Rule-Based Reachability Approach
本文提出基于规则的可达性标准,利用链接数据文档中超媒体描述中的逻辑语句剪除不相关数据源,并通过修改Comunica引擎验证可显著减少HTTP请求和查询执行时间而不损失完整性。
2024-08-30 cs.DB
A Logical Temporal Relational Data Model
时间是现实世界应用程序(如数据库系统)中最难处理的方面之一。Codd提出的关系数据库管理系统对时态数据管理的查询语言支持很少。该模型本身既不包含时间的概念,也不包含任何时间语义学理论。人们已经提出了许多关系模型的时态扩展,并且实现了其中的一些扩展。本文简要介绍了时态数据库的研究现状。本文提出了一种在具有最小时态属性的关系数据库模型中处理时变属性的概念模型。
2010-02-08 cs.DB
Intra-Query Runtime Elasticity for Cloud-Native Data Analysis
提出查询内运行时弹性(IQRE)概念,首个引擎Accordion可在不暂停处理下动态调整并行度,结合what-if自动调优,在满足延迟约束下最小化云资源消耗。
2025-02-25 cs.DB
A Visual Query Language for Complex-Value Databases
本文提出了一种用于复值数据库查询的可视化语言VCP。新语言的主要优势在于它是纯视觉化的:(i)它没有变量、量化、连接、模式匹配、正则表达式、递归或任何其他适合逻辑、函数或其他数据库查询语言的结构的概念;(ii)具有非常自然、强大和直观的设计隐喻。主要操作是在模式树中复制和粘贴。我们表明,尽管它的简单性,VCP精确地捕捉复值代数没有幂集,或等价地,单子代数与工会和差异。因此,它的表达能力正是通常被认为在复值数据库中扮演关系代数角色的语言的表达能力。
2006-02-03 cs.DB cs.HC
Loop Restricted Existential Rules and First-order Rewritability for Query Answering
Western Sydney University(西悉尼大学);Tianjin University(天津大学);Huazhong University of Science & Technology(华中科技大学)
在基于本体的数据访问(OBDA)中,传统的数据库被以逻辑断言形式的本体增强,从而产生新的内涵知识。这种逻辑断言的一种强大形式是元组生成依赖(TGD),也称为存在规则,其中Horn规则通过允许存在量词出现在规则头中来扩展。在本文中,我们介绍了一种新的语言称为循环限制(LR)TGD(存在规则),这是TGD与一定的限制嵌入在底层规则集的循环。我们研究这种新语言的复杂性。我们证明了LRTGD下的连接查询应答(CQA)是可判定的.特别地,我们证明了这种语言满足所谓的有界推导深度性质(BDDP),这意味着CQA是一阶的,它的数据复杂度是在AC 0。我们还证明了CQA的组合复杂度是EXPTIME完全的,而语言成员是PSPACE完全的。然后,我们将LR TGD语言扩展到广义循环限制(GLR)TGD语言,并证明了这类TGD仍然是一阶的,并正确地包含了大多数其他一阶的CRTGD类在文献中发现的。
2018-08-02 cs.AI cs.DB cs.LO
Efficient Deep Learning Pipelines for Accurate Cost Estimations Over Large Scale Query Workload
National University of Singapore(新加坡国立大学);GrabTaxi Holdings(GrabTaxi控股公司)
使用深度学习模型来预测SQL查询的资源消耗模式最近已经成为一个热门的研究领域。随着许多公司使用云平台为其数据湖提供动力以满足大规模分析需求,这些模型构成了管理云资源配置的关键部分。虽然这些模型已经证明了有希望的准确性,但在大规模行业工作负载上训练它们是昂贵的。编码技术在大量查询上的空间效率低下,以及用于在不同查询计划中强制形状一致性的过多填充意味着1)更长的模型训练时间和2)需要昂贵的,可扩展的基础设施来支持批量训练。反过来,我们开发了Prestroid,这是一种基于树卷积的数据科学管道,可以准确预测查询跟踪的资源消耗模式,但成本要低得多。我们评估了来自Grab的19K Presto OLAP查询,在超过20PB数据的数据湖上。实验结果表明,我们的流水线在预测准确性方面优于基准测试,有助于对大规模工作负载进行更精确的资源预测,同时还将每批内存占用减少了13.5倍,每时期训练时间减少了3.45倍。我们展示了在Microsoft Azure VM上进行大批量模型训练的直接成本节省高达13.2倍。
2021-03-23 cs.DB cs.LG
Querying Inconsistent Prioritized Data with ORBITS: Algorithms, Implementation, and Experiments
CNRS & University of Bordeaux, France(法国国家科学研究中心与波尔多大学);DI ENS, ENS, CNRS, PSL University & Inria, Paris, France(巴黎高等师范学院(ENS)、法国国家科学研究中心(CNRS)、巴黎-萨克雷大学(PSL University)与国家信息与自动化技术研究院(Inria))
本文研究了在优先级知识库上容忍不一致的查询回答算法,探讨了三种基于最优修复的语义,并提出了针对一般优先级关系的SAT编码,通过不同SAT求解器推理模式计算答案。
2026-04-30 cs.AI cs.DB cs.LO
Path-based Algebraic Foundations of Graph Query Languages
针对图查询引擎缺乏评估路径查询的代数方法这一局限,提出一种将路径作为一等实体的抽象代数,能表达GQL和SQL/PGQ的核心路径查询片段并支持查询优化,为路径查询评估提供了形式化框架。
2024-10-12 cs.DB
Query Driven Visualization of Astronomical Catalogs
由于现有和即将进行的天文调查产生的数据量巨大,结构复杂,天文目录的交互式可视化需要新的技术。目录的创建和公开可以通过数据拉取机制来处理。这可以防止不必要的处理,并通过让用户请求所需的最终产品来促进数据共享。在这项工作中,我们提出了查询驱动的可视化作为一个逻辑的延续数据拉。科学家可以以声明的方式请求目录,并直接从可视化中设置过程参数。这导致了具有高抽象级别的软件之间的深度互操作。简单应用程序消息传递协议的新消息被提出来实现这种抽象。对这些信息的支持在Astro-WISE信息系统和一组演示应用程序中实现。
2011-10-11 astro-ph.IM cs.DB
Data Placement and Replica Selection for Improving Co-location in Distributed Environments
在许多应用领域中,对大规模数据分析的需求不断增加,导致分布式数据管理系统的数量急剧增加,包括并行关系数据库和支持MapReduce等替代框架的系统。因此,对稀缺的数据中心资源(如网络带宽)的竞争日益增加;此外,为计算设备供电的能量需求也急剧增长。正如我们经验表明,通过在大量机器上分散数据来增加执行并行性可以实现减少查询延迟的预期目标,但在大多数情况下,可能会显着增加总资源和能源消耗。然而,对于许多分析工作负载,最小化查询延迟通常并不重要;在这种情况下,我们认为我们应该专注于最小化平均查询跨度,即,通过将经常一起访问的数据项托管在一起,参与处理查询的平均机器数量。在这项工作中,我们利用的事实,大多数分布式环境需要使用复制的容错,我们设计的工作负载驱动的副本选择和放置算法,试图尽量减少平均查询跨度。我们建模的历史查询工作量跟踪一组数据项的超图,并制定和分析的问题,通过绘制连接到几个研究良好的图论概念的副本放置。我们开发了一系列的算法来决定哪些数据项进行复制,以及在哪里放置副本。我们通过展示一系列合成和真实工作负载的结果来展示我们提出的方法的有效性。我们的实验表明,仔细的数据放置和复制可以显着减少平均查询跨度,从而显着减少资源消耗。
2013-02-18 cs.DB cs.DC
Query Preserving Watermarking Schemes for Locally Treelike Databases
数字水印是一种在数字文档中嵌入信息的方法。人们已经对关系数据库和XML文档的水印技术做了大量的研究,其中嵌入信息的过程不应该过多地扭曲查询输出。最近,已经提出了一些技术,以水印的关系结构类保持一阶和一元二阶查询。对于Gaifman图具有有界度的关系结构,水印可以保留一阶查询。我们延长这条线的工作和研究水印方案的其他类别的结构。我们证明,关系结构的Gaifman图属于一类图,具有局部有界树的宽度,是封闭的未成年人,水印方案存在,保持一阶查询。我们使用先前已知的逻辑公式和图的属性,并在它们的基础上进行一些技术工作,使它们在我们的上下文中工作。这构成了理解算法设计和计算学习理论的技术可以适用于水印的程度的第一步的一部分。
2019-09-25 cs.DB cs.LO
Query Evaluation in P2P Systems of Taxonomy-based Sources: Algorithms, Complexity, and Optimizations
在这项研究中,我们解决的问题,回答查询的对等系统的分类为基础的来源。分类法陈述了项的无负DNF公式和项的无负合取之间的包容关系。为了奠定我们研究的基础,我们首先考虑集中的情况下,得出的决策问题和查询评估的复杂性。最后,我们提出了一个算法,是有效的数据的复杂性,是基于超图。更多的表现形式的分类也进行了研究,但导致棘手。然后,我们转移到分布式的情况下,并介绍了一个基于分类的源网络的逻辑模型。在这样的网络上,集中式算法的分布式版本,然后提出的消息传递范式的基础上,并证明其正确性。最后,我们讨论优化问题,并与我们的工作的文献。
2007-09-19 cs.DB cs.DC cs.DS
The $\mathbf{P}$-Completeness of Inverted Index Traversal: On the Complexity of Evaluating Boolean Query DAGs
Apple Inc.(苹果公司)
本文证明基于DAG的布尔查询评估问题是$\mathbf{P}$-完备的,并提出一种稀疏感知算法ComputePN,通过正负对偶表示和DAG记忆化,将评估时间严格限制在$O(|Q| \cdot |U_{\mathit{active}}|)$,避免指数爆炸和全量扫描。
2026-08-19 cs.AI cs.CC cs.CL
$\text{EFO}_{k}$-CQA: Towards Knowledge Graph Complex Query Answering beyond Set Operation
Tsinghua University(清华大学);HKUST(香港科技大学)
针对知识图谱复杂查询,提出涵盖多变量存在性一阶查询($\ ext{EFO}_{k}$)的数据生成、模型训练与评估综合框架,构建了含741种查询类型的数据集,揭示了现有数据集的系统性偏差。
2023-07-15 cs.AI cs.DB cs.LG