Social Choice Methods for Database Aggregation
Imperial College London（伦敦帝国理工学院）；Université d’Evry（埃夫里大学）；University of Toulouse（图卢兹大学）
知识可以用多种方式表示，从一组命题公式到Kripke模型，再到数据库。在本文中，我们研究了来自多个来源的信息的聚合，每个来源提交一个数据库建模为一阶关系结构。在完整性约束的存在下，我们确定类的聚合器，尊重他们在聚合数据库中，提供这些满足所有个人数据库。我们还将一阶查询的答案与每个单独的数据库上获得的查询答案的聚合相一致的一阶查询的语言。这一贡献的目的是从社会选择理论的技术在数据库中的知识表示的应用的第一步。
2019-07-22 cs.AI cs.DB cs.GT
Probabilistic Databases with MarkoViews
概率数据库中查询评估的大部分工作都集中在简单的元组独立数据模型上，其中元组是独立的随机事件。在这种情况下，存在几种有效的查询评估技术，如安全计划，基于OBDD的算法，树分解和各种近似算法。然而，复杂的数据分析任务通常需要复杂的相关性，因此查询评估的成本要高得多，或者更具限制性。在本文中，我们提出MVDB作为一个框架，既表示复杂的相关性和高效的查询评估。MVDB通过视图（称为MarkoViews）指定概率关系上的相关性，并声明视图输出的权重。MVDB是一个（非常大的）马尔可夫逻辑网络。我们做了两套贡献。首先，我们表明，MVDB上的查询评估相当于评估一个元组独立的数据库上的联合查询（UCQ）。翻译是精确的（因此允许为元组独立数据库开发的技术被带到MVDB），但它是新颖的，非常不明显（一些结果概率可能是负的！）。这种翻译本身可能不会带来太多的收益，因为当我们试图捕获更多的相关性时，翻译后的查询变得复杂。我们的第二个贡献是提出了一个新的查询评估策略，利用离线编译，以加快在线查询评估。在这里，我们利用和扩展我们以前的工作编译UCQ。我们实验验证我们的技术在一个大型的概率数据库与MarkoViews推断从DBLP数据。
2012-08-01 cs.DB
Consensus Answers for Queries over Probabilistic Databases
我们解决的问题，找到一个“最好的”确定性查询答案的查询概率数据库。为此，我们提出了共识世界（或共识答案）的概念，这是一个确定性世界（答案），它最小化了到可能世界（答案）的预期距离。这个问题可以看作是一个推广的研究不一致的信息聚合问题（如排名聚合）的概率数据库。我们认为这个问题的各种类型的查询，包括SPJ查询，\Topk查询，分组聚合查询，聚类。对于不同的距离度量，我们得到多项式时间最优或近似算法计算的共识答案（或证明NP-硬度）。我们的大部分结果是一个一般的概率数据库模型，称为{ \em和/XOR树模型}，显着推广以前的概率数据库模型，如x-元组和块独立的不相交模型，是独立的兴趣。
2008-12-10 cs.DB
From Interpretation to Compilation: Compilation-Based Execution of Semantic Operators [Vision]
University of Hawaii at Manoa（夏威夷大学马诺阿分校）
研究语义算子系统执行效率问题，提出基于编译的执行方法，在编译时调用LLM将算子规范转为可执行代码，本地运行减少调用次数，应用于多种算子并集成到系统，初步结果显示减少了执行时间和调用次数，还拓展了LLM在该领域的角色认知。
2026-07-16 cs.DB
Computing Range Consistent Answers to Aggregation Queries via Rewriting
本文研究在违反主键约束的数据库上回答带聚合的连接查询，目标是找出使聚合值最低的修复，并刻画可通过一阶逻辑聚合重写确定该值的查询类。
2024-09-03 cs.DB
Provenance for Aggregate Queries
本文研究了聚合查询的起源信息。起源信息进行了研究，在各种查询语言的上下文中，不允许聚合，最近的工作建议捕捉起源注释不同的数据库元组的元素交换半环和传播的注释通过查询评估。我们发现，聚合查询带来了新的挑战，使这种方法不适用。因此，我们提出了一种新的方法，在那里我们不仅用元组而且用元组内的个体值来标注出处信息，使用出处来描述值计算。我们实现这种方法在一个具体的建设，首先是“简单”的查询，其中聚合运算符是最后一个应用，然后为任意（正）关系代数查询与聚合，后者的查询被证明是更具挑战性的，在这种情况下。最后，我们使用聚合编码查询的差异，并研究这种查询的出处注释数据库的语义。
2011-01-05 cs.DB
Tractable Circuits in Database Theory
本文综述了数据库理论如何运用知识编译中的易处理电路类来解决查询评估任务，重点探讨了布尔溯源在聚合任务中的应用，以及查询答案的电路表示在枚举任务中的应用。
2024-08-25 cs.DB
TensorLog: A Differentiable Deductive Database
Carnegie Mellon University（卡内基梅隆大学）
大型知识库（KBs）在许多任务中都很有用，但目前还不清楚如何将这种知识集成到“深度”基于梯度的学习系统中。为了解决这个问题，我们描述了一个概率演绎数据库，称为TensorLog，其中推理使用可微过程。在TensorLog中，逻辑理论中的每个子句首先被转换为某种类型的因子图。然后，对于因子图的每种类型的查询，执行置信传播（BP）所需的消息传递步骤被“展开”为一个函数，该函数是可微的。我们表明，这些功能可以组成递归进行推理，在非平凡的逻辑理论包含多个相互关联的条款和谓词。TensorLog中的编译和推理都是高效的：编译在理论大小和证明深度方面是线性的，推理在数据库大小和BP中使用的消息传递步骤数量方面是线性的。我们还展示了TensorLog的实验结果，并讨论了它与其他一阶概率逻辑的关系。
2016-07-19 cs.AI cs.DB cs.LG
ZX-DB: A Graph Database for Quantum Circuit Simplification and Rewriting via the ZX-Calculus
针对量子电路编译优化需求，本文提出基于ZX-演算的图数据库系统ZX-DB，将重写规则编码为openCypher查询在Memgraph上执行，相较PyZX最高实现一个数量级的独立重写加速，开辟了数据库支撑量子计算流水线的新方向。
2025-11-17 cs.DB quant-ph
Global Hash Tables Strike Back! An Analysis of Parallel GROUP BY Aggregation
针对分析型数据库的分组聚合计算问题，本文提出定制化共享并发哈希表的全并发聚合策略，实验证明其在morsel驱动系统中性能可匹配或超越分区方法，并给出数据库实现的实用指南。
2025-09-05 cs.DB
Aggregate Queries on Sparse Databases
我们提出了一个代数框架，研究有效的算法查询评估，聚集，枚举，并在更新下，稀疏数据库的维护。我们的框架允许以统一的方式处理这些问题，通过考虑各种半环，这取决于所考虑的问题。作为一个具体的应用，我们提出了一个强大的查询语言扩展一阶逻辑的聚合在多个半环。我们得到一个最佳的算法计算稀疏数据库上的查询的答案。更准确地说，给定一个数据库从一个固定的类与有界的扩展，算法计算在线性时间的数据结构，它允许枚举的一组答案的查询，两个输出之间的恒定延迟。
2019-12-27 cs.DB cs.LO
Hermes: Efficient Global Homomorphic Aggregation over Mutable Packed Ciphertexts
University of Washington（华盛顿大学）；Tacoma School of Engineering and Technology（塔科马工程与技术学院）
Hermes通过引入SIMD-aware打包数据模型和多项式槽掩码技术，实现高效全局聚合和动态元组更新，提升性能与安全性。
2026-04-25 cs.CR cs.DB
A Closer Look at Variance Implementations in Modern Database Systems
方差是抽样聚合查询的一个流行且经常是必要的组成部分。它通常用作次要测量，以确定结果的统计特性，例如其误差。然而，它的计算成本比\texttt{SUM}、\texttt{MEAN}和\texttt{COUNT}等简单的主要度量更高。存在许多计算方差的技术。虽然方差的定义被认为需要对数据进行多次传递，但其他数学表示可以在单次传递中计算值。然而，一些单通道表示可能会遭受严重的精度损失，特别是对于大量的数据点。在本文中，我们研究了各种现实世界的系统中的方差实现，并发现主要的数据库系统，如PostgreSQL 9.4和最有可能的系统X，一个主要的商业使用的闭源数据库，使用的表示是有效的，但遭受浮点精度损失造成的灾难性取消。我们注意到另一种流行的表示，如MySQL和Impala，遭受不分布式，因此不能利用现代并行计算资源的数据库中使用的缺陷。我们回顾了过去五十年来统计和数据库社区中方差计算的文献，并总结了在各种设置中实现方差函数的建议，例如近似查询处理和大规模分布式聚合。
2016-12-23 cs.DB
Query Rewriting and Optimization for Ontological Databases
对照由扩展数据库和本体（即，从外延数据库导出新的内涵知识的一组逻辑断言和约束），而不是直接在外延数据库上。这种查询的评价和优化是数据库研究的一个有趣的新问题。在本文中，我们讨论了这个问题的两个重要方面：查询重写和查询优化。查询重写包括将本体查询编译为针对底层扩展数据库的等效一阶查询。我们提出了一种新的查询重写算法，而一般类型的本体约束，这是非常适合于实际的实现。特别是，我们展示了如何对知识库的合取查询，表示使用线性和粘性的存在规则，也就是说，最近推出的Datasheet +/-家庭的本体语言的成员，可以编译成一个联盟的合取查询（UCQ）对底层数据库。在这种情况下，本体查询优化试图改进这种重写过程，以便为输入查询产生可能小且成本有效的UCQ重写。
2014-05-12 cs.DB
A Taxonomy of Schema Changes for NoSQL Databases
模式演化是数据库管理中的一个重要方面。所提出的模式更改分类法忽略了涉及实体类型之间关系的操作集：聚合和引用，以及模式类型可能存在的结构变化，因为大多数NoSQL系统都是无模式的。实体类型和关系类型之间的区别，这是典型的图模式，也没有考虑到在出版的作品。此外，NoSQL模式演化带来了具有不同数据模型的挑战，并且没有针对它们的标准规范。提出了一种基于U-Schema统一数据模型的NoSQL和关系模式演化的通用方法，该模型包括聚合和引用关系以及结构变化。对于这个数据模型，我们为所有的U-Schema元素引入了一个模式变化的分类法，它是通过创建Orion数据库独立语言来实现的。我们将展示如何使用Orion为一组NoSQL数据库自动生成演化脚本，并通过所获得的性能结果分析每个模式操作的可行性。该分类法已通过Alloy进行了正式验证，并通过两个案例研究展示了Orion的应用。
2022-05-23 cs.DB
Querying RDF Databases with Sub-CONSTRUCTs
图查询语言在应用于图数据库时主要具有两种查询：受关系数据库启发的那些返回表（如SELECT查询）的查询和那些返回图（如SPARQL中的CONCLECT查询）的查询。后者是本文的研究对象。为此，定义了一种核心图查询语言GrAL，重点关注CONSTRUCT查询。GrAL中的递归是涉及所谓GrAL模式的递归过程的最后一步。通过在图上评估查询，可以得到一个图，而通过在图上评估模式，可以得到一组同时涉及图和表的匹配。CONCLUSION CT查询基于CONCLUSION CT模式，子CONCLUSION CT模式不受模式递归定义的限制。GrAL的语义是基于RDF图，略有修改，其中包括接受孤立的节点。RDF图的这种扩展简化了评估语义的定义，评估语义主要由称为Merge的唯一操作捕获。此外，我们将聚合定义为GrAL表达式的一部分，这导致了聚合的原始本地处理。
2021-09-14 cs.DB
DBSP: Automatic Incremental View Maintenance for Rich Query Languages
增量视图维护一直是数据库理论中的一个核心问题。对于受限的数据库语言类，例如关系代数或Datasheet，已经提出了许多解决方案。这些技术并不能自然地推广到更丰富的语言。本文提出了一个解决这个问题的一般方法，分三个步骤：（1）描述了一种简单而富有表现力的描述数据流计算的语言DBSP;（2）给出了任意DBSP程序的增量视图维护问题的通用算法;（3）给出了如何对多种富数据库查询语言建模的方法（包括全关系查询、分组和聚合、单调和非单调递归以及流聚合）。因此，我们获得了有效的增量视图维护技术，所有这些丰富的语言。
2022-03-30 cs.DB
Making Databases Searchable with Deep Context
Tursio
Tursio通过整合大语言模型，构建语义知识图谱，使非专家用户能高效准确地通过自然语言查询数据库。
2026-02-16 cs.DB
Optimal Aggregation Algorithms for Middleware
设D是一个包含N个对象的数据库，其中每个对象有m个字段。对象在m个排序列表中给出（其中第i个列表根据第i个字段排序）。我们的目标是根据单调聚合函数t找到前k个对象，同时最小化对列表的访问。这个问题在几种情况下出现。Fagin（JCSS 1999）特别考虑了它，以聚合多媒体数据库系统中的信息。我们对实例最优性感兴趣，即我们的算法在任何实例上都与任何其他（正确的）算法一样好。我们提供并分析了几个实例优化算法的任务，各种访问成本和模型。
2002-04-22 cs.DB cs.DS
Towards a Standard for JSON Document Databases
本报告形式化MongoDB聚合框架，确定可作行业标准起点的片段，提供语法、语义、与关系语言关联及优化变换。
2025-10-15 cs.DB
WiSer: A Highly Available HTAP DBMS for IoT Applications
在经典的事务性分布式数据库管理系统（DBMS）中，写事务在最终提交之前总是与协调器同步。在强制可串行化的同时，这种模型长期以来一直因不能满足应用程序的可用性需求而受到批评。当进入物联网（IoT）时代时，这个问题变得更加严重，因为越来越多的应用程序需要混合事务和分析处理（HTAP）的能力，其中聚合约束需要作为事务的一部分来执行。当前的系统通过创建托管来解决这个问题，允许偶尔的约束过冲，这通过补偿应用程序逻辑来处理。WiSer DBMS通过将数据库提交分为两个步骤来实现与可用性的一致性。首先，一个PROMISE步骤，它对应于人类习惯的承诺，并且在不与协调器对话的情况下运行。第二，SERIALIZE步骤，通过共识过程，以可序列化的顺序固定事务的位置。我们通过一种新颖的数据表示来实现这种拆分，该数据表示将读集嵌入到事务增量中，并将序列化序列号嵌入到表行中。WiSer不进行分片（所有节点都可以运行修改整个数据库的事务），但强制执行聚合约束。读写冲突和聚合约束冲突都在序列化数据中延迟解决。WiSer还将节点加入和离开作为数据库表，从而简化了正确性和故障处理。我们提出了WiSer的设计以及实验表明这种方法有希望。
2019-08-06 cs.DB
Reproducible Floating-Point Aggregation in RDBMSs
如果对同一输入重复运行相同的查询，则期望工业级数据库系统产生相同的结果。然而，现代系统中的非确定性的众多来源使得难以实现可重复的结果。如果涉及到浮点数，则尤其如此，因为运算的顺序会影响最终结果。作为用更适合机器学习和科学应用的数据表示来扩展数据库引擎的更大努力的一部分，在本文中，我们探讨了在浮点格式上使关系GroupBy位可再现的问题，即，确保运算符的任何执行产生相同的结果直到每一位。为此，我们首先提出了一种数字数据类型，它可以用作其他数字格式的直接替代，并且与标准浮点格式不同，它是关联的。我们使用这种数据类型来使最先进的GroupBy运算符可再现，但是与使用传统数据库编号格式的相同运算符相比，这种方法会导致4倍到12倍的速度减慢。因此，我们将探讨如何修改现有的GroupBy算法，使其位再现和高效。通过对批次使用向量化求和并仔细平衡批次大小，缓存占用和预处理成本，我们能够将由于可重复性导致的速度降低到隔离聚合的1.9倍到2.4倍之间，即使在MonetDB中的聚合密集型查询中，端到端查询性能也只有2.7%。因此，我们提供了一个坚实的基础，直接在关系引擎中支持更多的可重复操作。本文件是目前正在印刷的一篇文章的扩展版本，用于ICDE'18会议记录，标题相同，作者相同。主要增加的是更多的实现细节和实验。
2018-02-27 cs.DB
Memory-Efficient Group-by Aggregates over Multi-Way Joins
关系数据库中的聚合计算一直使用标准的一元聚合和二元连接运算符来完成。这些实现了经典的模型，每次计算两个关系之间的连接，具体化中间结果，然后继续进行基于排序或基于哈希的聚合计算以获得最终结果。然而，这种方法在低选择性连接的情况下可能是非常次优的，并且通常最终生成大量的中间结果，即使所涉及的关系以及最终结果集本身非常小。此外，许多计算的中间结果可能永远不会成为最终结果的一部分。在本文中，我们提出了一种新的聚合查询处理技术，利用图数据结构对有效地回答聚合查询连接，而不物化中间连接结果。我们将此技术包装在一个名为JOIN-AGG的多路复合数据库操作符中，该操作符结合了Join和Aggregation。我们提供了一个通用的框架，用于执行聚合查询任意非循环连接，涉及任何数量的组的属性从任何关系。我们还对真实世界和合成数据集进行了全面的实验评估。我们的实验表明，我们的运营商可以实现数量级较低的查询时间和内存需求相比，传统的方法，即使在数据库系统之外实现。
2019-06-17 cs.DB
Learning Models over Relational Data: A Brief Tutorial
本教程概述了在关系数据库上学习模型的最新技术，并利用数据库研究的最新发展提出了第一原理方法。学习分类和回归模型的输入是由关系数据库上的特征提取查询定义的训练数据集。学习关系数据的主流方法是将训练数据集具体化，将其从数据库中导出，然后使用统计包学习。这种方法可能是昂贵的，因为它需要训练数据集的具体化。另一种方法是通过将学习任务的数据密集型组件转换为特征提取查询上的一批聚合，并通过直接在输入数据库上计算该批聚合，将机器学习问题转换为数据库问题。本教程重点介绍了数据库理论和系统社区开发的各种技术，以提高学习任务的性能。它们依赖于关系数据和特征提取查询的结构属性，包括代数（半环）、组合（超树宽度）、统计（采样）或几何（距离）结构。它们还依赖于分解计算、代码专门化、查询编译和并行化。
2019-11-15 cs.DB
Querying Incomplete Numerical Data: Between Certain and Possible Answers
具有聚合和算术运算的数据库，以及不完整的数据，在现实世界的数据库中很常见，但我们对它们应该如何交互缺乏很好的理解。一方面，基于SQL的系统为数字空值提供了专门的规则，另一方面，理论研究主要集中在某些和可能的答案的标准概念上。然而，在存在数值属性和聚合的情况下，这些答案通常是没有意义的，返回的要么太少，要么太多。我们的目标是定义一个原则性的框架，数据库与数值空和回答查询的算术和聚合。为了实现这个目标，我们假设数值属性中的缺失值由与标记空值相关的概率分布给出。这就产生了一个概率包数据库模型，其中元组不一定是独立的，因为空值可以重复。我们提供了一个通用的组合框架查询回答，然后集中在类似于标准SQL的算术和聚合查询。我们表明，这些查询是可衡量的，他们的输出有一个有限的表示。此外，由于经典形式的答案在数值设置中提供的信息很少，我们研究输出元组中的数值属于特定区间的概率。即使他们的精确计算是棘手的，我们表现出有效的近似算法来计算这样的概率。
2022-11-01 cs.DB
Automatic Generation of a Hybrid Query Execution Engine
对快速数据处理的需求不断增长，需要新的方法来高效执行查询。即时查询编译技术已被证明可以显著提高一组分析任务的性能。在这项工作中，我们研究了将这种方法添加到现有数据库解决方案中的可能性及其提供的好处。为此，我们创建了一组自动化工具来创建一个运行时代码生成引擎，并将这样的引擎集成到SQLite中，SQLite是世界上最流行的关系数据库之一，用于各种各样的环境。在涉及大量操作的查询的微基准测试中观察到高达1.7倍的加速。
2018-08-16 cs.DB
Recursive Mechanism: Towards Node Differential Privacy and Unrestricted Joins [Full Version, Draft 0.1]
现有的差分隐私研究主要考虑数据集上的聚合，其中每个条目对应于要保护的特定参与者。在许多情况下，用户可能会对敏感数据库提出关系代数查询，并希望对查询结果进行差异化私有聚合。但是，当查询包含不受限制的联接操作时，没有已知的工作能够释放这种聚合。这严重限制了现有的差分隐私技术的应用，因为许多数据分析任务需要无限制的连接。一个例子是图上的子图计数。现有的差分隐私子图计数方法只解决边差分隐私问题，并且受到非常简单的子图的影响。在此之前，任何非平凡的图统计数据是否可以在节点差分隐私下以合理的精度发布仍然是一个悬而未决的问题。在本文中，我们提出了一种新的差分私有机制，释放一个近似的线性统计的结果，一些积极的关系代数计算敏感数据库。我们的机制支持无限制的连接。近似答案的误差界大致与查询的\emph{empirical sensitivity}成比例-这是一个新概念，用于测量当参与者从敏感数据库中撤回其数据时查询答案的最大可能变化。对于子图计数，我们的机制提供了第一个解决方案，以实现节点差分隐私，任何类型的子图。
2013-04-17 cs.DB
Global Benchmark Database
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；HIIT, University of Helsinki（赫尔辛基大学HIIT）
本文提出全球基准数据库，提供基准实例和元数据的管理工具，支持实证研究中的数据驱动编译、领域分析及求解器选择。
2026-01-14 cs.AI cs.DB
Invariance to ordinal transformations in rank-aware databases
我们研究的顺序变换的查询结果在排名感知数据库中的影响，从分数的全序结构与infima作为聚合函数的排名关系得出他们的操作。我们介绍的概念，序数包含和等价的排名关系，并证明了基于infima的代数运算与排名关系是不变的序数变换：应用到原始和转换后的数据产生的结果是等价的分数给出的顺序，这意味着前k结果的查询保持不变。我们发现这个重要的属性是保留在替代查询系统的基础上开发的哥德尔逻辑的背景下的关系演算。我们评论单调查询评价的关系，并表明，结果可以达到替代排名意识的方法。
2016-01-12 cs.DB
Tursio for Credit Unions: Structured Data Search with Automated Context Graphs
Tursio
Tursio 通过自动上下文图技术，实现信用社等受监管行业结构化数据的自然语言查询与高效搜索。
2026-03-11 cs.DB
Revisiting Aggregation for Data Intensive Applications: A Performance Study
从关系数据库的早期开始，聚合就一直是一个重要的操作。当今的大数据应用程序在处理聚合查询时带来了进一步的挑战，需要自适应聚合算法，这些算法可以处理相对于潜在有限内存预算的大量数据（特别是在多用户设置中）。尽管它的重要性，聚合算法的设计和评估并没有得到同样的关注，其他基本运营商，如加入，在文献中收到。因此，当考虑在新的并行大数据处理平台（AsterixDB）中实现哪种聚合算法时，我们面临着缺乏“现成”的答案，我们可以简单地阅读，然后基于先前的性能研究实现。在本文中，我们重新审视了在大数据平台中使用的高效局部聚合算法的工程。我们讨论了几个候选算法的显着实现细节，并提出了深入的实验性能研究，以指导未来的大数据引擎开发人员。我们表明，大数据平台的聚合运算符的有效实现是不平凡的，应该考虑许多因素，包括内存使用，溢出策略，I/O和CPU成本。此外，我们引入精确的成本模型，可以帮助选择一个合适的算法的基础上输入参数，包括内存预算，分组键基数和数据倾斜。
2013-10-31 cs.DB
Efficient sorting, duplicate removal, grouping, and aggregation
数据库查询处理需要用于重复删除、分组和聚合的算法。存在三种算法：到目前为止，流内聚合是最有效的，但是需要已排序的输入;基于排序的聚合依赖于外部归并排序;而散列聚合依赖于存储器内的哈希表加上对临时存储的散列分区。基于成本的查询优化根据几个因素选择要使用的算法，这些因素包括输入的排序顺序、输入和输出大小以及对排序输出的需求。例如，基于散列的聚合对于小于可用存储器的输出是理想的（例如，TPC-H查询1），而当聚合输入和输出都很大并且输出需要被排序以用于诸如合并联接的后续操作时，对整个输入进行排序并在排序之后进行聚合是优选的。不幸的是，在查询优化期间，合理选择所需的大小信息通常不准确或不可用，从而导致次优算法选择。作为回应，本文介绍了一种新的算法，基于排序的重复删除，分组和聚合。新算法的性能始终至少与传统的基于散列和基于排序的算法一样好。它可以作为系统中唯一的未排序输入的聚合算法，从而防止错误的算法选择。此外，新算法产生排序输出，可以加快后续操作。Google的F1 Query在生产工作负载中使用新算法，每天聚合PB级的数据。
2022-09-24 cs.DB
Raqlet: Cross-Paradigm Compilation for Recursive Queries
Raqlet是一个源到源编译框架，通过中间表示将Cypher、SQL/PGQ等递归查询跨关系、图和演绎范式翻译，提供统一语义基础，支持静态分析和性能优化。
2025-08-06 cs.DB cs.PL
Algorithm Support for Graph Databases, Done Right
Eindhoven University of Technology（埃因霍温理工大学）；Delft University of Technology（代尔夫特理工大学）
GraphAlg是一种用于图数据库的领域特定语言，通过编译为关系代数，实现高效的图算法处理与查询整合。
2026-01-10 cs.DB
Offset-value coding in database query processing
最近的工作展示了偏移值编码如何加速数据库查询执行，不仅是排序，还包括重复删除和分组（聚合），排序流，保序交换（洗牌），合并连接等。它已经在谷歌的纳帕和F1查询系统中节省了数千个CPU，在分组算法和日志结构的合并森林。然而，为了实现有趣的排序的全部好处，查询执行算法不仅必须消耗和利用偏移值代码，而且还必须为管道中的下一个操作符产生偏移值代码。我们的研究一直在寻找产生偏移值代码的方法，而不需要逐个、逐列地比较连续的输出行。这篇简短的论文介绍了一个新的定理，并根据其证明和一个简单的推论，详细描述了保序算法（从过滤器到合并连接，甚至洗牌）如何计算其输出的偏移值代码。这些计算出奇地简单和高效。
2023-02-17 cs.DB
Connecting Knowledge Compilation Classes and Width Parameters
知识编译领域通过研究如何将许多任务编译成布尔电路类来建立它们的易处理性，这些布尔电路类遵守一些要求，例如结构性、可分解性和确定性。然而，在其他设置中，例如数据库上的内涵查询评估，我们获得满足某些宽度界限的布尔电路，例如，它们具有有界的树宽或路径宽度。在这项工作中，我们给出了一个系统的图片，许多电路类的知识编译中考虑，并显示它们如何可以系统地连接到宽度的措施，通过上限和下限。我们的上界表明，有界树宽电路可以建设性地转换为d-SDNNF，在时间上线性的电路大小和单指数的树宽;和有界路径宽度电路可以类似地转换为uOBDDs。我们展示了将单调DNF或CNF公式编译为结构化目标的匹配下界，假设arity（子句的大小）和degree（每个变量的出现次数）上有一个恒定的界：任何d-SDNNF（分别为，SDNNF）对于这样的DNF（相应地，CNF）在其树宽上必须具有指数大小，并且这同样适用于uOBDD（相应地，n-OBDDs）。与大多数以前的工作，我们的界限适用于任何公式的这个类，而不仅仅是一个精心挑选的家庭。因此，我们表明，路径宽度和树宽度分别表征编译单调DNF到uOBDD和d-SDNNF的效率，其中编译在相应的宽度参数中是单指数的。我们还表明，我们对CNF的下限扩展到非结构化编译目标，树宽的指数下限（分别为，路径宽度），当将常数和度的单调CNF编译为DNNF时（分别，nFBDD）。
2019-07-20 cs.DB cs.DS
Solving a Special Case of the Intensional vs Extensional Conjecture in Probabilistic Databases
本文研究了元组独立数据库上的合取并（UCQ）的精确概率推理问题。对于这一问题，目前有两种办法并存。在可拓方法中，查询评估是通过利用查询的结构来执行的，并且在很大程度上依赖于包含-排除原则的使用。在内涵的方法，首先建立一个表示的血统的查询在一个易于处理的形式主义的知识汇编。然后，所选择的形式主义应该确保可以使用简单的不相交性和独立性假设有效地计算概率，而不需要执行包含-排除。长期以来，外延方法被认为比内涵方法更强大，原因是对于某些查询，使用包含-排除似乎不可避免。在本文中，我们介绍了一种新的技术来构建世系表示为确定性可分解的电路在多项式时间。我们证明，这种技术适用于一类UCQ已被证明分离的两种方法的复杂性。在本质上，我们表明，依赖于包含-排除公式可以避免使用否定。这个结果带来了希望，证明内涵方法可以处理所有易处理的UCQ。
2020-03-16 cs.DB
The Universal NFT Vector Database: A Scaleable Vector Database for NFT Similarity Matching
不可替代令牌（NFT）是一种数字资产，代表对特定数字项目（如艺术，音乐或房地产）的所有权证明。由于NFT的不可替代性，重复的代币不应具有相同的价值。然而，随着新区块链的激增和大量NFT的创建，大量的NFT数据正在生成，而没有跟踪相似性的方法。这使得人们能够通过改变一个像素或一个字节的数据来创建几乎相同的NFT。尽管NFT之间存在相似性，但每个NFT都被分配了一个完全不同的令牌ID。为了解决NFT重复问题，我们开发了一个模块化的，易于扩展的，硬件无关的，以云为中心的NFT处理系统，将NFT表示为向量。我们根据以太坊征求意见721（ERC-721）令牌标准建立了一个包含NFT向量表示的数据库，以启动从各种区块链聚合NFT数据的过程。最后，我们开发了一个NFT可视化仪表板应用程序，具有用户友好的图形用户界面（GUI），以提供非技术用户访问聚合的NFT数据。通用NFT向量数据库是基于相似性的NFT数据聚合的链下框架，它提供了一种有组织的方式来查询和分析以前通过链上解决方案不可用的NFT数据。
2023-03-23 cs.DB
Combining Heterogeneous Classifiers for Relational Databases
大多数企业数据分布在多个关系数据库中，并具有专家设计的模式。对这样的数据使用传统的单表机器学习技术不仅会导致转换为“平面”形式（mega-join）的计算损失，甚至会丢失关系中存在的人类指定的语义信息。在本文中，我们提出了一个实用的，两个阶段的层次元分类算法的关系数据库与语义分而治之的方法。我们提出了一个递归的，预测聚合技术在异构分类应用于个人数据库表。该算法在三个不同的数据集上进行了评估，即TPCH，PKDD和UCI基准，并显示出相当大的减少分类时间，而没有任何损失的预测精度。
2012-03-12 cs.DB cs.LG
RAG Deserves an Index: Why Ingest-Time Compilation Beats Query-Time Interpretation
Endgame Labs, Inc.（终局实验室公司）；Asia AI Institute（亚洲人工智能研究院）；Musashino University（武藏野大学）；Faculty of Data Science, Musashino University（武藏野大学数据科学学院）；AIx, Inc.（AIx公司）
该研究提出摄入时语义编译（ISC）范式，将语料编译为可查询数据库对象，实验显示其检索效果优于传统RAG方法，增量更新成本更低，为RAG提供了索引化解决方案。
2026-08-24 cs.AI cs.DB cs.IR
Aggregate Analytic Window Query over Spatial Data
分析窗口查询是关系数据库中一种常用的查询。它通过一个滑动窗口回答数据的聚合。例如，获取股票每天的平均价格。但是，空间数据库中不支持此功能。由于空间数据不是一维空间，没有直接的方法将原有的分析窗口查询扩展到空间数据库。但是这些查询是有用的和有意义的。例如，为了找到以每个POI的固定半径作为中心的圆中的所有POI的平均访问次数。本文定义了空间数据的聚集分析窗口查询，并提出了网格索引和树索引的算法。并对算法的复杂度进行了分析，证明了算法的有效性和实用性.
2023-03-06 cs.DB
CHASE: A Native Relational Database for Hybrid Queries on Structured and Unstructured Data
本文提出原生关系数据库 CHASE，通过查询语义分析、新物理算子和编译优化支持结构化与非结构化混合查询，较现有系统最高加速 7500 倍。
2025-01-09 cs.DB
Snapshot Semantics for Temporal Multiset Relations (Extended Version)
快照语义被广泛用于评估时态数据上的查询：时态关系被视为快照关系的序列，并且查询在每个快照处被评估。在这项工作中，我们证明了目前的方法快照语义的时间戳的多集关系受到两个错误关于快照聚合和包的差异。我们介绍了一种新的时态数据模型的基础上K-关系，克服了这些缺陷，并证明它正确编码快照语义。此外，我们提出了一个有效的实现我们的模型作为一个数据库中间件，并通过实验证明，我们的方法是有竞争力的本地实现，并显着优于这样的实现查询，涉及聚合。
2019-02-13 cs.DB
Obscure: Information-Theoretically Secure, Oblivious, and Verifiable Aggregation Queries on Secret-Shared Outsourced Data -- Full Version
尽管密码学取得了令人兴奋的进展，但外包数据的安全和高效查询处理仍然是一个公开的挑战。我们开发了一个通信效率和信息理论上的安全系统，题为模糊的聚合查询与合取或析取谓词，使用秘密共享。模糊是强安全的（即，无论对手的计算能力如何都是安全的），并防止网络以及（对抗）服务器学习用户的查询、结果或数据库。此外，Obscure还提供了额外的安全功能，例如隐藏访问模式（即，隐藏满足查询的元组的身份）和隐藏查询模式（即，隐藏哪两个查询是相同的）。此外，Obscure不需要在查询执行之前/期间/之后存储秘密共享数据的任何两个服务器之间的任何通信。此外，我们的技术处理由单个或多个数据库所有者外包的秘密共享数据，以及允许可能不是数据库所有者的用户对秘密共享数据执行查询。我们进一步开发了（非强制性的）隐私保护结果验证算法，用于检测恶意行为，并通过实验验证了Obscure在大型数据集上的效率，而之前的秘密共享或多方计算系统的方法还没有扩展到这种规模。
2020-04-27 cs.CR cs.DB cs.IR
Ontological Queries: Rewriting and Optimization (Extended Version)
本体查询是针对本体而不是直接在数据库上进行评估的。这种查询的评价和优化是数据库研究的一个有趣的新问题。在本文中，我们讨论这个问题的两个重要方面：查询重写和查询优化。查询重写包括将本体查询编译为针对底层关系数据库的等效查询。这里的重点是健全性和完整性。我们回顾以前的结果，并提出了一个新的重写算法，而一般类型的本体约束。特别是，我们展示了如何对本体的合取查询可以编译成一个联盟的合取查询对底层数据库。在这种情况下，本体查询优化试图改进该过程，以便为输入查询产生可能小且成本有效的UCQ重写。我们回顾现有的优化方法，并提出了一种有效的新方法，适用于线性Datalog+/-，一类基于数据的规则，包括著名的描述逻辑的DL-Lite家庭。
2011-12-01 cs.DB cs.LO
Neural Databases
University of Cambridge（剑桥大学）；Facebook AI（脸书人工智能研究院）
近年来，神经网络在解决长期存在的人工智能问题方面表现出了令人印象深刻的性能提升，特别是在回答来自自然语言文本的查询方面。这些进步提出了一个问题，即它们是否可以扩展到我们可以放松数据库管理的基本假设的程度，即我们的数据表示为预定义模式的字段。本文提出了回答这个问题的第一步。我们描述了NeuralDB，一个数据库系统，没有预定义的模式，在其中的更新和查询是在自然语言。我们开发的查询处理技术，建立在最先进的自然语言处理方法提供的原语。首先，我们展示了在核心，最近的NLP Transformers，由预先训练的语言模型驱动，可以回答选择项目连接查询，如果他们被赋予确切的相关事实集。但是，它们不能扩展到重要的数据库，也不能执行聚合查询。基于这些发现，我们描述了一个并行运行多个Neural SPJ操作符的NeuralDB架构，每个操作符都有一组数据库语句，可以生成查询的一个答案。如果需要，这些运算符的结果被馈送到聚合运算符。我们描述了一种算法，该算法学习如何创建要馈送到每个神经SPJ运算符中的适当事实集。重要的是，该算法可以通过Neural SPJ算子本身进行训练。我们通过实验验证了NeuralDB及其组件的准确性，表明我们可以以非常高的准确性回答数千个句子的查询。
2020-10-14 cs.CL cs.DB cs.LG
Direct Access for Answers to Conjunctive Queries with Aggregation
Technion – Israel Institute of Technology（以色列理工学院）；Inria, LIRMM, University of Montpellier, CNRS（法国国家信息与自动化研究所，拉格朗日数学与计算实验室，蒙彼利埃大学，法国国家科学研究中心）
研究了带有分组和聚合的联接查询的细粒度复杂性，提出在对数线性时间内构造数据结构，实现按字典序快速访问答案，并分析了聚合函数对查询复杂性的影响。
2026-04-19 cs.DB cs.DS cs.LO
Enthuse: Efficient Adaptable High-throughput Streaming Aggregation Engines
University of Southampton（南安普顿大学）；Imperial College London（帝国理工学院）
Enthuse是一种高效可适应的高吞吐量流聚合引擎，通过优化滑动窗口聚合实现高达476倍的加速，同时在资源消耗少的情况下提供更高的性能和功能。
2025-12-31 cs.AR cs.DB
vChain: Enabling Verifiable Boolean Range Queries over Blockchain Databases
由于加密货币和去中心化应用程序的蓬勃发展，区块链最近受到了关注。对于查询存储在区块链数据库中的数据的需求越来越多。为了确保查询的完整性，用户可以维护整个区块链数据库并在本地查询数据。然而，这种方法如果不是不可行的话，也是不经济的，因为区块链的数据量巨大，维护成本相当高。在本文中，我们迈出了研究区块链数据库上可验证查询处理问题的第一步。我们提出了一个新的框架，称为vChain，它降低了用户的存储和计算成本，并采用可验证的查询来保证结果的完整性。为了支持可验证的布尔范围查询，我们提出了一个基于累加器的认证数据结构，使动态聚合任意查询属性。进一步开发了两个新的索引来聚合块内和块间的数据记录，以实现高效的查询验证。我们还提出了一个倒排前缀树结构，以加速处理大量的订阅查询同时进行。安全性分析和实证研究验证了所提出的技术的鲁棒性和实用性。
2018-12-06 cs.CR cs.DB
Database Reasoning Over Text
University of Cambridge（剑桥大学）；Facebook AI（脸书人工智能）；Sapienza University, Rome（罗马萨皮恩扎大学）；University College London（伦敦大学学院）
神经模型在回答来自自然语言文本的查询方面表现出令人印象深刻的性能提升。然而，现有的作品无法支持数据库查询，如“列出/计数所有女运动员谁出生在20世纪”，这需要推理的相关事实集的操作，如加入，过滤和聚合。我们表明，虽然国家的最先进的Transformer模型表现非常好的小型数据库，他们表现出的局限性，在处理嘈杂的数据，数值运算，查询聚合的事实。我们提出了一个模块化的体系结构，以回答这些数据库风格的查询多个跨度从文本和聚合这些规模。我们使用WikiNLDB，一个新的数据集探索这样的查询的架构进行评估。我们的架构可以扩展到包含数千个事实的数据库，而当代模型则受到可以编码多少事实的限制。在小型数据库的直接比较中，我们的方法将整体答案准确率从85%提高到90%。在更大的数据库上，我们的方法保持了它的准确性，而Transformer基线不能对上下文进行编码。
2021-06-02 cs.AI cs.CL cs.DB
A machine-compiled macroevolutionary history of Phanerozoic life
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Stanford University（斯坦福大学）
宏观进化理论的许多方面和我们对生物对全球环境变化的反应的理解都来自于基于文献的古生物学数据汇编。然而，现有的人工汇编数据库不完整，难以评估和加强。在这里，我们开发和验证的机器阅读系统，PaleoDeepDive，自动定位和提取数据的异构文本，表格和数字出版物的质量。PaleoDeepDive在复杂的数据提取和推理任务中对人类进行模拟，并生成一致的合成宏观进化结果。与传统数据库不同，PaleoDeepDive生成的概率数据库会随着信息的增加而系统地改进。我们还表明，该系统可以很容易地容纳复杂的数据类型，如生物插图和相关的文字描述中的形态数据。我们对科学数据整合和综合的机器阅读方法使许多目前尚未确定的问题变得触手可及，并以可能激发全新探究模式的方式实现。
2014-07-19 cs.CL cs.DB cs.LG
Scalable Probabilistic Databases with Factor Graphs and MCMC
University of Massachusetts（马萨诸塞大学）
概率数据库在不确定数据的管理和理解中起着至关重要的作用。然而，将概率纳入不完整数据库的语义中带来了许多挑战，迫使系统牺牲建模能力，可扩展性，或限制它们关闭的关系代数公式的类别。我们提出了一种替代方法，其中底层的关系数据库总是代表一个单一的世界，和一个外部因素图编码的分布在可能的世界，马尔可夫链蒙特卡罗（MCMC）推理，然后使用恢复这种不确定性所需的保真度水平。我们的方法可以有效地评估任意查询的概率数据库与任意依赖关系表示的图形模型的结构，在推理过程中发生变化。MCMC采样通过假设{ \em修改}到可能的世界而不是从头开始生成整个世界来提供效率。然后，在世界发生变化的部分上运行查询，避免了在每个采样世界上运行完整查询的繁重成本。这项工作的一个重要创新是MCMC采样和物化视图维护技术之间的连接：我们发现经验，使用视图维护技术是几个数量级的速度比天真地查询每个采样的世界。我们还展示了我们的系统的能力，回答关系查询与聚合，并通过使用并行化展示了额外的可扩展性。
2010-05-11 cs.AI cs.DB
Snel: SQL Native Execution for LLVM
Snel是一个关系数据库引擎，具有查询的即时（JIT）编译和列式数据表示。Snel旨在通过利用LLVM编译器基础设施进行快速在线分析。它还具有自定义的特殊方法，如解析直方图作为SQL语言的扩展。Snel是指“SQL Native Execution for LLVM”。与传统的数据库引擎不同，它不提供客户端-服务器接口。相反，它将其接口公开为SQLite的扩展，用于从命令行进行简单的交互式使用并嵌入应用程序中。由于Snel表是只读的，因此它不提供事务或更新等功能。这使得查询非常快，因为它们没有表锁定或确保一致性的开销。Snel的核心是一个可供客户端应用程序使用的动态库。它有一个SQLite扩展，可以与传统的SQL环境进行无缝集成，并可以从命令行进行简单的交互式使用。
2020-03-04 cs.CY cs.DB
UQE: A Query Engine for Unstructured Databases
Google DeepMind（谷歌DeepMind）；Google Cloud（谷歌云）；University of Alberta（阿尔伯塔大学）；Georgia Institute of Technology（佐治亚理工学院）
提出通用查询引擎UQE，利用LLMs和SQL方言UQL直接对图像、对话等非结构化数据进行高效查询与分析。
2024-11-17 cs.AI cs.DB cs.LG
