An outline of multi objective optimization in databases with focus on flexible skyline queries
在不同的,可以想象的冲突,标准之间进行优化的问题被称为多目标优化,它广泛分布在许多领域。当需要从一个非常大的数据集中获得最佳对象时,这是数据库查询中经常出现的问题。在本文中,我对实现多标准优化的主要方法进行了全面的回顾。从查询和skylines的排序开始,然后进行更高级的方法,本文旨在定义一个清晰的轮廓数据库中的多目标优化。特别是,灵活的天际线范式被认为是彻底讨论,因为它克服了许多与其他方法出现的关键问题。
2022-01-13 cs.DB
Incremental View Maintenance for Deductive Graph Databases Using Generalized Discrimination Networks
现在,当实体之间的关系在数据库查询的范围内时,采用图数据库以避免关系数据库的性能关键的连接操作。图查询用于查询和修改存储在图数据库中的图。图查询采用图模式匹配,其对于子图同构是NP完全的。可以采用图数据库视图,其在针对经常陈述的和复杂的图查询的预先计算的图模式匹配方面保持准备好的答案,以提高查询性能。然而,这样的图形数据库视图必须与存储在图形数据库中的图形保持一致。在本文中,我们描述了如何使用增量图模式匹配技术来维护图形数据库视图。我们提出了一个增量维护算法的图数据库视图,它适用于命令式和声明式指定的图查询。评估表明,我们的维护算法规模时,存储在图数据库中的节点和边的数量增加。此外,我们的评估表明,我们的方法可以优于现有的方法的增量维护图查询结果。
2016-12-06 cs.DB
Scalable Package Queries in Relational Database Systems
传统的数据库查询遵循一个简单的模型:它们定义结果中的每个元组必须满足的约束。该模型在计算上是高效的,因为数据库系统可以单独评估每个元组上的查询条件。然而,许多实际的现实问题需要一个结果元组的集合来共同满足约束,而不是单独满足约束。在本文中,我们提出了包查询,一个新的查询模型,扩展了传统的数据库查询处理复杂的约束和偏好的答案集。我们开发了一个成熟的包查询系统,实现了传统的数据库引擎之上。我们的工作做出了一些贡献。首先,我们设计了PaQL,一个基于SQL的查询语言,支持包查询的声明性规范。我们证明了PaQL是至少作为整数线性规划的表达,因此,评估包查询是一般NP-难。其次,我们提出了一个基本的评估策略,结合数据库和约束优化求解器的能力,以获得解决方案包查询。我们的方法的核心是一组转换规则,将包查询转换为整数线性规划。第三,我们引入了一个离线的数据分区策略,允许查询评估规模大的数据大小。第四,我们介绍SketchRefine,一个可扩展的软件包评估算法,具有很强的近似保证($(1 \pmε)^6$因子近似)。最后,我们提出了广泛的实验在现实世界和基准数据。结果表明,SketchRefine在获得高质量的包结果方面是有效的,并且在大型数据集上实现了比直接使用ILP求解器快一个数量级的运行时性能。
2015-12-16 cs.DB
SQL Queries for Declarative Process Mining on Event Logs of Relational Databases
灵活的业务流程通常可以更容易地使用声明式建模方法而不是过程式建模方法进行建模。流程挖掘旨在自动发现业务流程模型。现有的声明式流程挖掘方法要么遭受现实生活中的事件日志的性能问题,要么将其表达能力限制在一组特定的constaint类型。最近,通过JavaXES引入了一种用于存储事件日志数据的关系数据库体系结构。在本技术报告中,我们介绍了一种挖掘方法,该方法通过使用常规SQL查询日志来直接处理关系事件数据。我们提供了一个SQL查询列表,用于发现一组常用和挖掘的流程约束。
2015-12-03 cs.DB
Accelerating Regular Path Queries over Graph Database with Processing-in-Memory
针对图数据库RPQ的内存墙瓶颈,提出基于PIM的Moctopus系统,采用PIM友好动态分区算法并行处理路径匹配,支持高效批量查询与更新,性能优于传统图数据库。
2024-03-15 cs.DB
From Causes for Database Queries to Repairs and Model-Based Diagnosis and Back
在这项工作中,我们建立和调查数据库中查询答案的因果关系,数据库修复wrt之间的连接。拒绝约束和基于一致性的诊断。前两个是数据库中相对较新的问题,第三个是知识表示中的一个既定主题。我们将展示如何从原因和其他方式获得数据库修复。因果关系问题被表述为诊断问题,诊断提供原因及其责任。关于数据库修复的大量研究可以应用于确定查询答案的实际原因及其责任的新问题。这些连接,这是有趣的本身,使我们能够在过渡后-灵感来自基于一致性的诊断-计算问题的打击集和顶点覆盖超图,获得几个新的算法和复杂性的结果,因果关系在数据库中。
2014-12-14 cs.DB
Using Fuzzy Matching of Queries to optimize Database workloads
有向无环图(DAG)通常用于数据库和大数据计算引擎,如Apache Spark,用于表示查询的执行计划。我们将这样的图称为查询定向非循环图(QDAG)。本文使用相似性哈希来得到指纹,使得指纹体现了QDAG查询的计算需求。由此获得的指纹可以用于基于过去执行的具有类似QDAG的查询来预测查询的运行时行为。我们讨论了两种获得指纹的方法,它们的优点和缺点,以及如何将这两种方法的各个方面结合起来以改进预测。使用混合的方法,我们证明,我们能够预测运行时的QDAG的行为超过80%的准确性。
2022-07-14 cs.DB
Fast Dual Simulation Processing of Graph Database Queries (Supplement)
图数据库查询语言具有表达性强但计算开销大的模式匹配能力。例如,在SPARQL中插入可选查询子句会立即呈现查询求值问题的Pspace完全性。因此,轻量级图模式匹配关系,例如模拟,最近已经被研究为更昂贵的查询机制的有希望的替代方案,例如,计算子图同构。尽管如此,图模式匹配本身缺乏表达查询能力:所有模式都是由通常的连接结构组合在一起的,为了使解决方案对新兴应用程序有用,更复杂的功能是不可避免的。在本文中,我们通过引入一个新的双模拟SPARQL查询操作过程来弥合这一差距。除了支持SPARQL查询的完整语法结构外,它还具有多项式时间模式匹配的功能,可以计算来自数据库的查询结果的过度近似。此外,为了实现与最先进的数据库系统的运行时竞争,我们开发了一种新的算法解决方案,双模拟图模式匹配,基于一个系统的不等式,允许几个优化算法。最后,我们实现了我们的SPARQL查询,包括UNION,AND和OPTIONAL操作符的过程中,不限于精心设计的模式的合理性。我们的合成和真实世界的图形数据的实验,保证了一个明确的增益图数据库系统时,将新的双重模拟技术。在这篇补充论文中,我们详细介绍了第35届IEEE国际数据工程会议(ICDE 2019)论文集中包含的原始论文“图数据库的快速双重模拟处理”的所有证明,实验结果的讨论和复杂性分析,中国澳门。
2018-10-22 cs.DB
LifeRaft: Data-Driven, Batch Processing for the Exploration of Scientific Databases
梳理大量数据的工作负载在科学中越来越重要。这些工作负载由“大海捞针”查询组成,这些查询需要长时间运行且数据密集,因此查询吞吐量限制了性能。为了最大限度地提高数据密集型查询的吞吐量,我们提出了LifeRaft:一个查询处理系统,批量查询重叠的数据需求。LifeRaft不是按照到达顺序来调度查询,而是按照最大化查询之间的数据共享的数据排序来并发地执行查询。这减少了I/O并提高了缓存利用率。但是,这种批处理会使交互式工作负载不足,从而增加查询响应时间。LifeRaft使用受磁盘驱动器中磁头调度启发的技术来解决饥饿问题。根据工作负载饱和度和排队时间,系统自适应地和增量地权衡处理查询的到达顺序和数据驱动的批处理。在天文数据库的SkyQuery联邦中评估LifeRaft,发现查询吞吐量有两倍的提高。
2009-09-09 cs.DB
NL4ST: A Natural Language Query Tool for Spatio-Temporal Databases
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);The Hong Kong University of Science and Technology(香港科技大学)
NL4ST是一种用于时空数据库的自然语言查询工具,通过三层架构实现自然语言到查询计划的转换,支持非专业人士高效查询时空数据。
2026-01-22 cs.DB
How Can We Shrink the Family of Test Databases? Query Containment with Nulls and Comparisons
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文针对带空值和顺序比较的合取查询,提出缩小测试数据库族的方法,分别通过特殊变量集和规范值分解实现,并证明在局部参数下固定参数可处理,从而提升查询包含判定的实用性。
2026-09-16 cs.DB
MTBase: Optimizing Cross-Tenant Database Queries
在过去的十年中,许多业务应用程序已经迁移到云中。特别是,“数据库即服务”模式已成为主流。虽然现有的多租户数据管理系统专注于单租户查询处理,但我们认为现在是时候重新考虑如何跨多租户处理查询,以便我们不仅获得更有价值的见解,而且成本最低。正如我们将在本文中讨论的那样,标准SQL语义不足以以明确的方式处理跨租户查询,这就是为什么现有系统使用其他昂贵的方法,如ETL或数据集成。我们首先提出了MTSQL,一组标准SQL的扩展,它解决了歧义问题。接下来,我们介绍MTBase,一个查询处理中间件,它可以在SQL之上高效地处理MTSQL。正如我们将看到的,有一个规范的、可证明正确的、从MTSQL到SQL的重写算法,但是这可能导致查询执行性能很差,即使是在高性能数据库产品上。我们进一步表明,通过精心设计的优化,可以减少执行时间,从而使单租户查询的差异变得微不足道。
2017-03-13 cs.DB
Tree Databases
LISN Laboratory - University Paris-Saclay, CNRS, INRIA(巴黎萨克雷大学 LISN 实验室);FORTH Institute of Computer Science(FORTH 计算机科学研究所)
本文提出一种以带标签有向树为基础结构的新型树数据库模型,其查询语言与树操作均基于函数代数,可在同一框架内支持数据访问与分析,还能实现继承、关联数据库等功能。
2026-09-28 cs.DB
A Novel Probabilistic Pruning Approach to Speed Up Similarity Queries in Uncertain Databases
针对不确定数据的概率相似性查询,提出了一种新的、有效的概率剪枝准则。我们的方法支持一个通用的不确定性模型,使用连续的概率密度函数来描述对象的(可能相关的)不确定属性。简而言之,要解决的问题是计算由概率控制计数表示的随机变量的PDF:给定多维空间中的不确定数据库对象B,不确定参考对象R和不确定数据库对象的集合D,概率控制计数表示D中比B更接近R的不确定对象的数量。这种支配计数可以用来回答广泛的概率相似性查询。具体来说,我们提出了一种新的几何修剪过滤器,并介绍了一种迭代过滤器细化策略,保守和渐进地估计概率支配计数在一个有效的方式,同时保持正确性,根据可能世界的语义。在实验评估中,我们表明,我们提出的技术允许获得严格的概率界限的概率支配计数迅速,即使是大型的不确定数据库。
2011-05-05 cs.DB
Interactive Browsing and Navigation in Relational Databases
虽然研究人员已经投入了相当大的精力来帮助数据库用户制定查询,许多用户仍然发现它具有挑战性的指定查询,涉及连接表。为了帮助用户构建连接查询,探索关系数据库,我们提出了ETable,一种新的表示数据模型,为用户提供一个表示级的交互式视图。此视图通过允许单元格包含一组实体引用,在单个丰富的表中呈现一对多和多对多关系。用户可以直接与这个丰富的表交互,以增量方式构建复杂的查询,并在概念实体关系级别上导航数据库。在一项用户研究中,参与者使用ETable比使用商业图形查询构建器更快地执行一系列数据库查询任务。对ETable的主观反馈也是积极的。所有参与者都发现ETable更容易学习,有助于探索数据库。
2016-08-21 cs.DB
Making massive probabilistic databases practical
不完整和不精确数据的存在已经将数据库范式从确定性信息转移到概率信息。概率数据库包含可能存在或可能不存在某种概率的元组。因此,可以从概率数据库中观察到的可能的确定性数据库实例的数量随着概率元组的数量呈指数增长。在本文中,我们考虑的问题,回答聚集和非聚集查询的海量概率数据库。我们采用元组独立模型,其中每个元组被分配一个概率值。我们开发了一种方法,利用概率生成函数(PGF)来有效地回答这样的查询。我们的方法为每个元组维护一个多项式。它逐步构建一个主多项式,精确地表达可能的结果值的分布。我们还开发了一种近似方法,发现结果值的分布可以忽略不计的误差。我们的实验表明,我们的方法比最近回答此类查询的系统(包括MayBMS和SPROUT)快了几个数量级。在我们的实验中,我们能够在TPC- H查询上扩展到几TB的数据,而现有的方法只能在相同的查询上运行几GB的数据。
2013-07-02 cs.DB
Supporting Exploratory Queries in Database Centric Web Applications
以数据库为中心的Web应用程序的用户,特别是在电子商务领域,经常求助于探索性的"试错“查询,因为底层数据空间是巨大的和不熟悉的,并且在这个空间中有几个搜索属性的替代方案。例如,寻找便宜的机票通常涉及提出多个查询,改变航班时间,日期和机场位置。从用户和服务器的角度来看,探索性查询都是有问题的。对于数据库服务器,它会导致有效吞吐量的急剧减少,因为在每个连续的查询中重复了许多处理。对于客户端来说,这会导致响应时间显著增加,尤其是在通过无线信道访问服务时。在本文中,我们研究的自动化技术的设计,以尽量减少重复的探索性查询的需要。具体来说,我们提出了SAUNA,服务器端查询松弛算法,给定用户的初始范围查询和所需的基数的答案集,产生一个宽松的查询,预计将包含所需数量的答案。该算法采用了范围查询特定的距离度量,加权产生所需形状的宽松的查询(例如,纵横比保持),并利用多维直方图的查询大小估计。一个详细的性能评估的SAUNA在各种多维数据集表明,其宽松的查询可以显着降低成本与探索性查询处理。
2003-10-17 cs.DB
Database Reformulation with Integrity Constraints (extended abstract)
在本文中,我们研究的问题,以减少评估成本的查询有限的数据库中存在的完整性约束,通过设计和物化的意见。给定一个数据库模式,一组定义在模式上的查询,一组完整性约束和存储限制,找到这个问题的解决方案意味着找到一组满足存储限制的视图,在约束下提供查询的等效重写(这个要求比没有约束的情况下的等效性更弱),并减少评估查询的总成本。这个问题,数据库重构,是重要的许多应用程序,包括数据仓库和查询优化。我们给出了复杂性的结果和算法,数据库重构存在的约束,合取查询,视图,重写和几种类型的约束,包括功能和包含依赖关系。为了获得更好的复杂性结果,我们引入了一个unchase技术,它减少了问题的查询等价的约束条件下等价的情况下,不增加查询大小。
2005-06-08 cs.DB
The Context Model: A Graph Database Model
提出一种以有向无环图为基本结构的图数据库上下文模型,在统一函数代数框架内支持数据管理和分析,并能作为语义层和友好界面处理关系数据。
2024-06-28 cs.DB
Explaining Wrong Queries Using Small Examples
用于测试SQL查询的正确性,例如,在数据库课程中评估学生提交的内容时,标准做法是在一些测试数据库实例上执行有问题的查询,并将其结果与正确查询的结果进行比较。给定两个查询$Q_1$和$Q_2$,如果$Q_1(D)$与$Q_2(D)$不同,我们说数据库实例$D$是一个反例(对于$Q_1$和$Q_2$);这样的反例可以解释为什么$Q_1$和$Q_2$不等价。虽然测试数据库实例可以用作反例,但它可能太大或太复杂,无法阅读和理解不等价性的来源。因此,在本文中,给定一个已知的反例$D$为$Q_1$和$Q_2$,我们的目标是找到最小的反例$D' \subseteq D$其中$Q_1(D') \neq Q_2(D')$。这个问题一般是NP难的。我们给出了一套算法,找到最小的反例为不同类别的查询,一些更听话的比别人。我们还提出了一个有效的基于出处的算法SPJUD查询,使用约束求解器,并将其扩展到更复杂的查询与聚合,分组和嵌套查询。我们进行了大量的实验,表明我们的解决方案的有效性和可扩展性,从本科数据库课程的学生查询和查询TPC-H基准。我们还报告了一个用户研究,从课程中,我们部署我们的工具,以帮助学生与关系代数的作业。
2019-04-09 cs.DB
First-order queries on classes of structures with bounded expansion
本文研究有界扩张数据库类上的一阶查询,给出线性时间评估的新证明,并实现恒定延迟枚举答案及线性时间计数答案。
2020-02-24 cs.DB
HypeR: Hypothetical Reasoning With What-If and How-To Queries Using a Probabilistic Causal Approach
假设分析(为数据库更新提供支持)和方法分析(如何修改数据库以实现目标)为希望检查假设场景而不对数据库进行实际更改的用户提供了见解,从而帮助他们在自己的领域规划战略。通常,此类分析是通过测试现有数据库中的更新对由感兴趣的查询创建的特定视图的影响来完成的。然而,在现实场景中,由于隐含的语义依赖性,对数据库特定部分的更新可能会影响完全不同部分中的元组和属性。为了允许假设推理,同时适应这种依赖关系,我们开发HypeR,一个框架,支持什么,如果和如何查询占概率因果模型捕获的属性之间的概率依赖关系。我们扩展的SQL语法,包括必要的运营商表示这些假设的查询,定义它们的语义,设计有效的算法和优化计算结果使用的概念因果关系和概率数据库,并评估我们的方法的有效性实验。
2022-03-28 cs.DB
Improved Join Order Optimization for Database Queries using Hybrid Quantum-Classical Approaches for QUBO Problems
Universität zu Lübeck(吕贝克大学);TU Bergakademie(弗莱贝格矿业技术学院)
提出混合方法ECP+SQSS减小QUBO规模,在量子退火、模拟退火、QAOA和VQE上评估,实现最优连接顺序并提升查询优化效率。
2026-06-16 cs.DB
The Dichotomy of Conjunctive Queries on Probabilistic Structures
我们表明,对于每一个合取查询,评估它的概率数据库的复杂性是\PTIME或#¶-完成,我们给出了一个算法,用于决定是否一个给定的合取查询是\PTIME或#¶-完成。二分法是概率数据库查询评价的一个基本结果,它给出了合取查询复杂性的一个完整分类。
2007-01-13 cs.DB
Querying RDF Databases with Sub-CONSTRUCTs
图查询语言在应用于图数据库时主要具有两种查询:受关系数据库启发的那些返回表(如SELECT查询)的查询和那些返回图(如SPARQL中的CONCLECT查询)的查询。后者是本文的研究对象。为此,定义了一种核心图查询语言GrAL,重点关注CONSTRUCT查询。GrAL中的递归是涉及所谓GrAL模式的递归过程的最后一步。通过在图上评估查询,可以得到一个图,而通过在图上评估模式,可以得到一组同时涉及图和表的匹配。CONCLUSION CT查询基于CONCLUSION CT模式,子CONCLUSION CT模式不受模式递归定义的限制。GrAL的语义是基于RDF图,略有修改,其中包括接受孤立的节点。RDF图的这种扩展简化了评估语义的定义,评估语义主要由称为Merge的唯一操作捕获。此外,我们将聚合定义为GrAL表达式的一部分,这导致了聚合的原始本地处理。
2021-09-14 cs.DB
Subjective Databases
在线用户不断寻求体验,例如拥有干净房间和热闹酒吧的酒店,或浪漫约会的餐厅。然而,电子商务搜索引擎只支持涉及位置、价格和美食等客观属性的查询,任何经验数据都被降级为文本评论。为了支持经验查询,数据库系统需要对主观数据进行建模,并且除了指定涉及客观属性的谓词之外,还能够处理用户可以用用户选择的词语表达各种主观体验的查询。本文介绍了Opine,一个主观的数据库系统,解决这些挑战。我们介绍了一个主观数据库的数据模型。我们描述了如何Opine翻译主观查询对主观数据库模式,这是通过匹配用户查询短语的基础架构。我们还展示了如何由用户指定的经验条件可以结合起来,结果汇总和排名。我们证明,主观数据库满足用户需求更有效,更准确地比替代技术,通过实验与酒店和餐馆评论的真实数据。
2019-07-24 cs.DB
Transformer-based Ranking Approaches for Keyword Queries over Relational Databases
针对关系关键词搜索中歧义查询下候选连接网络排序不准确的问题,提出基于transformer的排序方法,通过结构线性化和数据增强提升上下文感知评估能力,实验证明其召回率和R@k显著优于原有贝叶斯方法。
2025-03-24 cs.DB
Rel2Graph: Automated Mapping From Relational Databases to a Unified Property Knowledge Graph
本文提出Rel2Graph方法,实现从关系数据库到统一属性知识图的自动化映射,支持SQL到NoSQL查询转换,并在Spider和KaggleDBQA基准上验证了高执行准确率与数据完整性。
2023-10-26 cs.DB
Infinite Probabilistic Databases
本文提出用有限点过程构建无限概率数据库的模型,解决不可数空间下查询语义的定义问题,并证明了关系代数、聚合及 Datalog 查询的可测性。
2022-02-24 cs.DB
Path discovery by Querying the federation of Relational Database and RDF Graph
用于检测路径的查询的类别是重要的,因为它们可以提取输入图的节点上的隐式二元关系。RDF社区使用的大多数路径查询语言,如W3C SPARQL 1.1中的属性路径和nSPARQL中的嵌套正则表达式都是基于正则表达式的。联合查询允许将图模式和关系数据库组合在一起,从而能够在单个查询中对多个异构数据资源进行评估。W3C SPARQL 1.1中的联邦查询目前在不同的SPARQL端点上进行评估。本文提出了一种联邦路径查询语言,作为常规路径查询语言的扩展,以支持RDF图与关系数据库的集成。联邦路径查询语言绝对比嵌套正则表达式和无否定属性路径更具表达力。其额外的表达能力可以用于捕获嵌套的正则路径查询的合取和联合。尽管表达能力的增加,我们也表明,联邦路径查询仍然享有低计算复杂性,可以有效地进行评估。
2016-10-25 cs.DB
Datalog Rewritings of Regular Path Queries using Views
我们考虑使用图数据库上的视图进行查询应答,即数据库结构为边标记图。我们主要考虑由正则路径搜索(RPQ)指定的视图和查询。这些查询选择图数据库中的节点对,这些节点通过一条路径连接,该路径的边标签序列属于某种正则语言。我们说一个视图V决定一个查询Q,如果对于所有的图数据库D,视图图像V(D)总是包含足够的信息来回答D上的Q。换句话说,存在从V(D)到Q(D)的定义良好的函数。我们的主要结果表明,当这个函数是单调的,有一个重写的Q作为一个数据库查询的视图实例V(D)。特别地,重写查询可以在大小为V(D)的时间多项式中被评估。此外,这意味着RPQ查询是否可以使用RPQ视图在Datatron中重写是可判定的。
2015-12-20 cs.DB
TACO: A Benchmark for Open-Domain Text-to-SQL with Ambiguous and Cross-Database Queries
Renmin University, China(中国人民大学);HKUST (GZ) / HKUST(香港科技大学(广州)/ 香港科技大学);Beijing Big Data Centre(北京大数据中心)
提出TACO基准,包含1500个真实和13000个合成示例,覆盖开放域、歧义和跨数据库查询,通过基线TACO-SQL揭示现有方法的局限性。
2026-06-15 cs.DB
Stochastic Package Queries in Probabilistic Databases
我们提供了在不确定性下的决策支持的数据库中的方法。许多重要的决策问题对应于选择一个包(关系数据库中的元组包),该包共同满足一组约束,同时最小化某些总体成本函数;在大多数现实世界的问题中,数据是不确定的。我们提供了指定方法-通过SQL扩展-和处理随机包查询(SPQ),以解决不确定数据的优化问题,就在数据所在的位置。随机规划中的先前工作使用蒙特卡罗方法,其中原始随机优化问题由包含许多场景的大型确定性优化问题来近似,即,不确定数据值的示例实现。然而,对于大型数据库表,需要大量的场景,导致性能低下,并且经常导致求解器软件失败。因此,我们提供了一种新的SummarySearch算法,而不是试图解决一个大的确定性问题,无缝地近似它通过一系列较小的问题定义在精心制作的情况下,加速收敛到一个可行的和接近最优的解决方案的摘要。在我们的原型系统上的实验结果表明,SummarySearch在寻找可行的高质量软件包方面可以比现有方法快几个数量级。
2021-03-11 cs.DB
Probabilistic Top-k Dominating Queries in Distributed Uncertain Databases (Technical Report)
在诸如业务规划和传感器数据监视的许多现实世界应用中,一个重要但具有挑战性的任务是对对象(例如,产品、文档或空间对象),并有效地返回具有最高分数的那些对象。在实际应用中,由于数据源的不可靠性,许多现实世界的对象往往包含噪声,因此是不精确和不确定的。在本文中,我们研究的问题,概率top-k支配(PTD)查询这样的大规模不确定数据在分布式环境中,检索k个不确定对象从分布式不确定数据库(在多个分布式服务器),具有最大的排名分数与高的置信度。为了有效地解决分布式PTD问题,我们提出了一个MapReduce框架,用于处理分布式不确定数据库上的分布式PTD查询。在这个MapReduce框架中,我们设计了有效的修剪策略来过滤分布式环境中的误报,提出了基于成本模型的服务器索引分发机制,并开发了高效的分布式PTD查询处理算法。大量的实验已经证明了我们提出的分布式PTD方法的效率和有效性的真实和合成数据集,通过各种实验设置。
2021-05-12 cs.DB
Optimizing Queries Using a Meta-level Database
图模拟(使用图模式或数据指南)已成功地提出作为一种技术,增加结构的半结构化数据。描述的设计模式(如元类和模式层之间的同态),这是突出的面向对象编程社区,构成了这种图模拟方法的推广。在本文中,我们展示了适用于广泛的数据模型,有一些对象(-身份)的概念,并建议把它变成一个数据模型原语,比如说,继承。我们认为,这样的扩展填补了当代数据管理的实际需要。然后,我们提出了查询优化的代数技术(使用描述和描述查询的概念)。最后,在半结构化的设置,我们讨论了修剪规则的路径查询(嵌套条件)使用描述元数据。在这种情况下,我们的元数据概念通过元级别值扩展了图模式和数据指南,从而提高了查询性能并减少了数据冗余。
2002-05-23 cs.DB
CHASE: A Native Relational Database for Hybrid Queries on Structured and Unstructured Data
本文提出原生关系数据库 CHASE,通过查询语义分析、新物理算子和编译优化支持结构化与非结构化混合查询,较现有系统最高加速 7500 倍。
2025-01-09 cs.DB
BaCon: Efficient Batch Processing of Counting Queries [Full Version]
Duke University(杜克大学);University of Waterloo(滑铁卢大学)
针对数据库系统中计数查询生成大规模训练数据成本高的问题,提出BaCon算法,它结合因式分解数据库思想与工作负载感知域量化策略,在PostgreSQL上实现客户端应用程序,加速2倍至178倍,提升基数估计模型训练和维护的实用性。
2026-07-08 cs.DB
CALL: Context-Aware Low-Latency Retrieval in Disk-Based Vector Databases
本文提出CALL机制,通过上下文感知的查询分组、分组感知预取和延迟感知簇加载来优化基于磁盘的向量数据库缓存行为,将第99百分位尾延迟降低最多33%。
2025-09-23 cs.DB
Can One Escape Red Chains? Regular Path Queries Determinacy is Undecidable
对于给定的一组查询(它们是某种查询语言中的表达式)$\mathcal{Q}=\{Q_1$、$Q_2, \ldots Q_k\}$和另一个查询$Q_0$,我们说$\mathcal{Q}$确定$Q_0$,如果--非正式地说--对于每个数据库$\mathbb D$,视图$\mathcal{Q}({\mathbb D})$中包含的信息足以计算$Q_0({\mathbb D})$。查询确定性问题(Query Determinacy Problem)是对给定的$\mathcal{Q}$和$Q_0$,判定$\mathcal{Q}$是否确定$Q_0$的问题。在数据库理论中,针对不同的查询语言,研究了这个问题的许多版本。本文解决了[CGLV 02]中的一个问题,证明了图数据库的典范查询语言--正则路径查询的查询确定性问题是不可判定的。
2018-02-05 cs.DB
Algorithm for Invalidation of Cached Results of Queries to a Single Table
针对高性能网站后端关系型数据库查询缓存失效不正确的问题,提出一种支持无限TTL和细粒度失效的算法,并在理论和实践中证明了其在并发环境下的正确性。
2023-10-23 cs.DB
DrugDBEmbed : Semantic Queries on Relational Database using Supervised Column Encodings
传统的关系数据库包含大量的潜在语义信息,由于自动提取这些信息的困难,这些信息在很大程度上尚未被开发。最近的工作已经提出了无监督的机器学习方法来提取这样的隐藏信息,通过文本化数据库列,然后将文本标记投影到一个固定维度的语义向量空间。然而,在某些数据库中,任务特定的类标签可能是可用的,无监督的方法无法以原则性的方式杠杆。此外,当在单个标记级别生成嵌入时,则必须通过对任何给定行的该列中存在的标记的向量取平均值来计算多标记文本列的列编码。这种平均方法可能不会产生多标记文本列的最佳语义向量表示,如在自然语言处理域中对段落或文档进行编码时所观察到的。考虑到这些缺点,我们提出了一种监督机器学习方法,使用基于Bi-LSTM的序列编码器直接为DrugBank数据库的多令牌文本列生成列编码,其中包含黄金标准药物相互作用(DDI)标签。我们的文本数据驱动编码方法在某些列的监督DDI预测任务上实现了非常高的准确性,并且我们使用这些监督列编码来模拟和评估关系数据上的Analogy SQL查询,以证明我们技术的有效性。
2020-07-05 cs.DB
Forecasting the cost of processing multi-join queries via hashing for main-memory databases (Extended version)
数据库管理系统(DBMS)仔细优化复杂的多连接查询,以避免昂贵的磁盘I/O。由于今天的服务器具有数十或数百GB的RAM,许多分析数据库的很大一部分成为内存驻留。即使在针对内存环境进行了仔细调优之后,线性磁盘I/O模型(如PostgreSQL中实现的模型)也可能对查询响应时间进行预测,其速度可能比内存驻留数据的最佳多连接查询计划慢2倍。本文介绍了一个内存I/O成本模型,以确定良好的评估策略,复杂的查询计划与多个基于哈希的等价连接内存驻留数据。使用三个不同的系统(包括Amazon EC2实例)仔细验证了建议的成本模型的准确性,以控制特定于硬件的差异。并行查询评估的先前工作提倡右深和浓密树的多连接查询,由于其更大的并行化和流水线的潜力。一个令人惊讶的发现是,基于磁盘的无共享系统的传统智慧并不直接适用于现代的一切共享存储层次结构。正如我们的模型所证实的那样,随着查询中连接数量的增加,最佳左深查询计划和右深查询计划之间的性能差距可以增长到大约10倍。
2015-07-21 cs.DB
Aggregate Queries on Sparse Databases
我们提出了一个代数框架,研究有效的算法查询评估,聚集,枚举,并在更新下,稀疏数据库的维护。我们的框架允许以统一的方式处理这些问题,通过考虑各种半环,这取决于所考虑的问题。作为一个具体的应用,我们提出了一个强大的查询语言扩展一阶逻辑的聚合在多个半环。我们得到一个最佳的算法计算稀疏数据库上的查询的答案。更准确地说,给定一个数据库从一个固定的类与有界的扩展,算法计算在线性时间的数据结构,它允许枚举的一组答案的查询,两个输出之间的恒定延迟。
2019-12-27 cs.DB cs.LO
An Overview of Query Processing on Crowdsourced Databases
众包是一种强大的解决方案,可以为数据库中昂贵和未回答的查询找到正确答案,包括那些不确定和不完整的数据。尝试使用众包来利用人类的能力来使用人类工作者处理这些昂贵的查询,有助于通过利用人群中的可用数据来提供准确的结果。众包数据库系统(CSDB)通过使用具有微小改变的关系数据库的某种变体来将群体的知识与关系数据库相结合。本文综述了CSDB中传统查询和偏好查询在查询处理领域的主要研究。这项工作的重点是突出每种方法的优点和缺点。详细讨论了当前和未来的研究趋势与查询处理领域的CSDB。
2022-04-16 cs.DB
Tractable Circuits in Database Theory
本文综述了数据库理论如何运用知识编译中的易处理电路类来解决查询评估任务,重点探讨了布尔溯源在聚合任务中的应用,以及查询答案的电路表示在枚举任务中的应用。
2024-08-25 cs.DB
GPU-Powered Spatial Database Engine for Commodity Hardware: Extended Version
鉴于空间数据量的大规模增长,非常需要能够有效地评估大型数据集上的空间查询的系统。使用传统的数据库解决方案,这些查询是非常昂贵的。虽然通过强大的集群或具有大内存的服务器可以实现更快的响应时间,但由于成本和复杂性,这些选项对于构成长尾的许多数据科学家和分析师来说是遥不可及的。图形处理单元(GPU)现在甚至在商用台式机和笔记本电脑中也广泛使用,它提供了一种支持高性能计算的经济高效的替代方案,为有效评估空间查询开辟了新的机会。虽然文献中提出的基于GPU的方法在性能上有很大的改进,但它们与特定的GPU硬件相关联,并且只处理固定几何类型的特定查询。在本文中,我们提出了SPADE,GPU驱动的空间数据库引擎,支持丰富的空间查询。我们讨论了在大型数据集上实现高效查询评估以及跨不同GPU硬件的可移植性所面临的挑战,以及如何在SPADE中解决这些问题。我们进行了详细的实验评估,以评估广泛的查询和数据集的系统的有效性,并报告结果表明,SPADE是可扩展的,能够处理大于主内存的数据,其性能在笔记本电脑上是与其他系统,需要集群或大内存服务器。
2022-03-27 cs.DB
Synthesizing Document Database Queries using Collection Abstractions
针对文档数据库查询难写的问题,提出基于输入-输出示例的查询合成方法,通过新型DSL与集合抽象剪枝搜索,在110个基准中成功合成108个。
2024-12-08 cs.DB cs.PL cs.SE
Linear Programs with Conjunctive Database Queries
本文提出语言 LP(CQ) 以刻画变量为合取查询答案的线性规划,并利用小宽度广义超树分解减少变量数量,在保持最优值的同时实现高效求解,展示了其在资源配送、差分隐私和图模式挖掘中的应用。
2024-01-25 cs.DB
80 New Packages to Mine Database Query Logs
DBMS的查询日志是一种功能强大的资源。它支持许多实际应用,包括查询优化和用户体验增强。然而,挖掘SQL查询是一项艰巨的任务。基本问题是查询是符号对象,而不是数字向量。因此,许多流行的统计概念,如平均值,回归,或决策树不适用。大多数作者将自己限制在基于邻域的ad hoc算法或方法,例如k最近邻。我们的目标就是挑战这种局限性。我们引入了操作SQL查询的方法,就好像它们是向量一样,从而打开了整个统计工具箱。我们提出了三个家庭的方法:特征映射,内核方法和贝叶斯模型。第一种技术直接将查询编码为向量。第二个隐式地转换查询。最后一个利用概率图模型作为向量空间的替代。我们介绍了每种解决方案的优点和缺点,强调了它们之间的关系,并为未来的调查提供了理由。
2017-03-25 cs.DB
A Chase-based Approach to Consistent Answers of Analytic Queries in Star Schemas
ETIS Laboratory - ENSEA, CY Cergy Paris University, CNRS(ETIS实验室 - ENSEA,CY塞尔吉巴黎大学,CNRS);LISN Laboratory - University Paris-Saclay, CNRS(LISN实验室 - 巴黎萨克雷大学,CNRS)
本文提出了一种基于追捕的方法,用于在星型模式数据库中计算包含聚合运算符的查询的一致答案,通过独立性条件保证算法效率。
2026-02-04 cs.DB
First-order Complete and Computationally Complete Query Languages for Spatio-Temporal Databases
我们解决一个基本的问题,关于时空数据库系统:``究竟是什么时空查询?我们将时空查询定义为也是通用的可计算映射,这意味着查询的结果可能仅在有限程度上依赖于时空数据的实际内部表示。通用性被定义为在保持时空数据的某些特征(例如,共线、距离、速度、加速度等)。这些群体依赖于特定时空数据库应用中相关的概念。这些变换也有一个独特的性质,即它们尊重时间的单调性和单向性。我们调查不同的泛型类相对于时空数据库的约束数据库模型,我们确定的声音和完整的语言的一阶和可计算的查询,在这些泛型类。我们区分由时不变的变换,genericity概念有关的物理量和genericity由时间相关的变换确定的genericity。
2005-03-07 cs.DB
Consistent Answers of Aggregation Queries using SAT Solvers
数据库修复和查询一致性回答的框架是管理不一致数据库的原则性方法。我们描述了第一个系统,能够计算一致的答案一般聚合查询与(A),(*),SUM(A),MIN(A),MAX(A)运算符,并与或不分组结构。我们的系统使用减少布尔可满足性(SAT)的优化版本,然后利用强大的SAT求解器。我们进行了一系列广泛的实验,合成和真实世界的数据,证明了这种方法的实用性和可扩展性。
2021-11-12 cs.DB
Differentially Private Data Releasing for Smooth Queries with Synthetic Database Output
我们考虑准确地回答平滑查询,同时保持差分隐私。如果查询由定义在$[-1,1]^d$上的函数指定,并且该函数的偏导数直到$K$阶都是有界的,则该查询被称为$K$ -光滑的。针对$K$ -光滑查询类,提出了一种$ε$ -差分私有机制.该算法的主要优点是它输出一个合成数据库。在实际应用中,合成数据库输出很有吸引力。我们的机制达到了$O (n^{-\frac{K}{2d+K}}/ε)$的精度,并在多项式时间内运行。我们还推广的机制,以保持$(ε, δ)$ -差分隐私略有提高的准确性。在基准数据集上的大量实验表明,该机制具有良好的准确性和效率。
2014-01-06 cs.DB stat.ML
Invariance to ordinal transformations in rank-aware databases
我们研究的顺序变换的查询结果在排名感知数据库中的影响,从分数的全序结构与infima作为聚合函数的排名关系得出他们的操作。我们介绍的概念,序数包含和等价的排名关系,并证明了基于infima的代数运算与排名关系是不变的序数变换:应用到原始和转换后的数据产生的结果是等价的分数给出的顺序,这意味着前k结果的查询保持不变。我们发现这个重要的属性是保留在替代查询系统的基础上开发的哥德尔逻辑的背景下的关系演算。我们评论单调查询评价的关系,并表明,结果可以达到替代排名意识的方法。
2016-01-12 cs.DB