Monitoring the Top-m Aggregation in a Sliding Window of Spatial Queries
在本文中,我们提出并研究了流查询中空间对象的top-m秩聚合问题,其中,给定一组对象O,一个空间查询流(kNN或范围),目标是报告m个具有最高聚合秩的对象。对象的秩w.r.t.基于单个查询与查询位置的距离来计算单个查询,并且根据所有单个排名排序来计算聚合排名。这一基本问题的解决方案可用于监测空间对象的流行程度,这反过来又可为空间数据提供新的分析工具。我们的工作从三个不同的领域:排名聚合,连续查询和空间数据库的灵感。据我们所知,没有事先的工作,认为所有三个问题域在一个单一的上下文中。我们的问题是从经典的排名聚合问题的方式,空间对象的排名是依赖于流查询的位置是不知道的先验,是从连续的空间查询的问题,因为新的查询位置可以到达任何区域,但不移动不同。为了解决这个问题,我们展示了如何对任何看不见的查询的对象的秩进行上界和下界。然后,我们提出了一个近似的解决方案,以持续监测的top-m对象有效地,为此,我们设计了一个倒序文件(IRF)索引,以保证解决方案的误差界。特别是,我们提出了安全排名的概念,以确定当前的结果是否仍然有效或不当新的查询到达,并提出了验证对象的概念,以限制对象的数量来更新的前m个结果。我们还提出了一个精确的解决方案的应用程序中的近似解决方案是不够的。最后,我们进行了大量的实验来验证我们的解决方案的效率和有效性。
2016-10-21 cs.DB
Moment-Based Quantile Sketches for Efficient High Cardinality Aggregation Queries
交互式分析越来越多地涉及查询高基数数据集的子群体的分位数。Druid和Spark等数据处理引擎使用可合并的汇总来估计分位数,但汇总合并时间可能是聚合过程中的瓶颈。我们展示了一个紧凑和高效的可合并的分位数草图可以支持聚合工作负载。这种数据结构,我们称之为矩草图,通过仅跟踪一组汇总统计数据(特别是样本矩),以小的内存占用(200字节)和计算效率(50 ns)进行合并。我们演示了如何使用矩方法和最大熵原理来有效和实际地估计分位数,并展示了如何使用级联进一步提高阈值谓词的查询时间。对真实世界数据集的实证评估表明,矩草图可以实现小于1%的错误,合并开销比可比摘要少15倍,MacroBase引擎中的最终查询时间最多可缩短7倍,Druid引擎最多可缩短60倍。
2018-07-13 cs.DB
Conjunctive Queries with Negation and Aggregation: A Linear Time Characterization
该研究刻画了带否定合取查询的线性时间求值复杂度,提出对应常数延迟枚举算法,扩展到带否定的函数聚合查询后分析了逆阿克曼函数的影响,并给出合取查询差运算的应用。
2023-10-09 cs.DB cs.LO
Database Aggregation
知识可以以多种方式复杂地表示,从一组命题公式到Kripke模型,再到数据库。在本文中,我们研究了来自多个来源的信息的聚合,每个来源提交一个数据库建模为一阶关系结构。在存在的完整性约束,我们确定类的聚合器,尊重它在聚合数据库中,提供所有个人数据库满足it.We还将语言的一阶查询上的查询答案的聚合数据库上的聚合一致的答案,以查询每个单独的数据库上获得。这一贡献的目的是从理性选择理论的技术在数据库中的知识表示的应用的第一步。
2018-02-23 cs.DB
Consensus Answers for Queries over Probabilistic Databases
我们解决的问题,找到一个“最好的”确定性查询答案的查询概率数据库。为此,我们提出了共识世界(或共识答案)的概念,这是一个确定性世界(答案),它最小化了到可能世界(答案)的预期距离。这个问题可以看作是一个推广的研究不一致的信息聚合问题(如排名聚合)的概率数据库。我们认为这个问题的各种类型的查询,包括SPJ查询,\Topk查询,分组聚合查询,聚类。对于不同的距离度量,我们得到多项式时间最优或近似算法计算的共识答案(或证明NP-硬度)。我们的大部分结果是一个一般的概率数据库模型,称为{ \em和/XOR树模型},显着推广以前的概率数据库模型,如x-元组和块独立的不相交模型,是独立的兴趣。
2008-12-10 cs.DB
Aggregation Languages for Moving Object and Places of Interest Data
我们解决聚集查询GIS数据和移动对象数据,其中非空间数据存储在一个数据仓库。我们提出了一个形式化的数据模型和查询语言来表达复杂的聚集查询。接下来,我们研究压缩的轨迹数据,产生的移动对象,使用停止和移动的概念。我们表明,停止和移动是可表达的,在我们的查询语言,我们认为这种语言的一个片段,由正则表达式来谈论时间顺序的停止和移动的序列。该片段可用于有效地表达轨迹数据上的数据采掘和模式匹配任务。
2007-08-20 cs.DB
Equivalences Among Aggregate Queries with Negation
查询等价性研究的析取聚合查询否定子目标,常量和比较。给出了聚集函数count、max、sum、prod、toptwo和parity的等价性的充分刻画。一个相关的问题是,对于一个给定的自然数N,确定两个给定的查询是否在所有具有最多N个常数的数据库上是等价的。我们称这个问题为有界等价。给出了有界等价可判定性的一个完整刻画。特别是,它表明,这个问题是可判定的所有上述聚合函数以及计数不同和平均。对于准线性查询(即,查询,其中出现积极的谓词是不重复的),它表明,等价性可以决定在多项式时间的聚集函数计数,最大值,总和,奇偶校验,生产,前两个和平均。如果满足一些附加条件,则对于count distinct也有类似的结果。结果表达在抽象的聚合函数的特性,并使用新的证明技术。最后,上面的结果也意味着等价,在袋集语义下,是可判定的非聚集查询与否定。
2002-10-30 cs.DB cs.LO
Accelerating Aggregation Queries on Unstructured Streams of Data
本文提出 InQuest 系统,通过低成本代理模型、采样和有限高精度预言机调用,在多模态非结构化数据流上实时估计聚合查询,并提供误差收敛保证与显著性能提升。
2023-08-17 cs.DB
Approximate Aggregate Queries Under Additive Inequalities
Relational AI;University of California, Merced(加州大学默塞德分校);Carnegie Mellon University(卡内基梅隆大学);University of Pittsburgh(匹兹堡大学)
我们考虑的问题,评估某些类型的功能聚集查询的关系数据的加法不等式。这样的聚合查询,具有少量的加法不等式,在许多应用中,特别是在学习应用中自然/常见地出现。我们给出了一个相对完整的分类的计算复杂性这样的问题。我们首先证明了这个问题是NP-困难的,即使在一个加法不等式的情况下。因此,我们转向近似查询。我们的主要结果是一个有效的算法近似,任意小的相对误差,许多自然的聚集查询与一个加法不等式。我们给出的自然查询,可以有效地解决使用该算法的例子。相比之下,我们表明,两个加法不等式的情况是完全不同的,通过显示,它是NP-难的简单的聚合查询,两个加法不等式,任何有界的相对误差进行评估。
2020-04-30 cs.DB cs.DS cs.LG
Aggregation in Probabilistic Databases via Knowledge Compilation
在基于半环和半模代数结构的概率数据表示系统上,提出了一种基于聚集的正关系代数查询的查询评价技术。我们的评估技术的核心是一个程序,编译半模和半环表达式到所谓的分解树,其中的概率分布的计算可以在时间线性的产品中的概率分布的大小表示其节点。我们利用查询易处理性和多项式时间分解树之间的联系,给出了具有聚集的易处理查询的语法特征。该技术的原型被纳入概率数据库引擎SPROUT。我们报告自定义数据集和TPC-H数据的性能实验。
2012-01-31 cs.DB
Direct Access for Answers to Conjunctive Queries with Aggregation
Technion – Israel Institute of Technology(以色列理工学院);Inria, LIRMM, University of Montpellier, CNRS(法国国家信息与自动化研究所,拉格朗日数学与计算实验室,蒙彼利埃大学,法国国家科学研究中心)
研究了带有分组和聚合的联接查询的细粒度复杂性,提出在对数线性时间内构造数据结构,实现按字典序快速访问答案,并分析了聚合函数对查询复杂性的影响。
2026-04-19 cs.DB cs.DS cs.LO
Answering Conjunctive Queries with Aggregations under Updates
Nanyang Technological University(南洋理工大学);University of Waterloo(滑铁卢大学)
研究在更新情况下带聚合的合取查询,任意更新下维护难度与布尔半环相当,仅插入更新时边界变化,新类强连接出现。通过适配CROWN框架给出上下界,得到查询和半环参数化二分法,明确聚合增加的难度。
2026-09-15 cs.DB
Medians and Beyond: New Aggregation Techniques for Sensor Networks
无线传感器网络提供了廉价的跨越和监测大地理区域的潜力。然而,传感器具有显著的功率限制(电池寿命),使得通信非常昂贵。在基于传感器的信息系统的背景下的另一个重要问题是,单独的传感器读数本质上是不可靠的。为了解决这两个方面,TinyDB和Cougar等传感器数据库系统支持网络内数据聚合,以降低通信成本并提高可靠性。然而,现有的数据聚合技术仅限于相对简单的查询类型,例如SUM、MAX、AVG和MIN/MAX。在本文中,我们提出了一个数据聚合方案,显着扩展类的查询,可以回答使用传感器网络。这些查询包括(近似)分位数,如中位数,最常见的数据值,如共识值,数据分布的直方图,以及范围查询。在我们的计划中,每个传感器聚合它从其他传感器收到的数据到一个固定的(用户指定的)大小的消息。我们提供严格的理论保证的近似质量的查询的消息大小。我们评估我们的聚合方案的性能,通过模拟,并证明其准确性,可扩展性和低资源利用率的高度可变的输入数据集。
2004-08-17 cs.DB cs.DC cs.DS
Combining Aggregation and Sampling (Nearly) Optimally for Approximate Query Processing
基于样本的近似查询处理(AQP)有许多缺陷,如无法回答非常有选择性的查询和不可靠的置信区间时,样本量很小。最近的研究提出了一种有趣的解决方案,将物化的,预先计算的聚合物与采样相结合,以获得准确和更可靠的AQP。我们在这项工作中详细探索了这个解决方案,并提出了一个AQP物理设计,称为PASS,或预计算辅助分层采样。PASS构建一个部分聚合树,覆盖数据集的不同分区。该树的叶节点形成分层样本的层。其谓词与分区(或分区的并集)对齐的聚合查询用深度优先搜索精确地回答,并且任何部分重叠用分层样本近似。我们提出了一种算法,用于最佳地划分到这样的数据结构与各种实用的近似技术的数据。
2021-03-29 cs.DB
A Novel Approach to Translate Structural Aggregation Queries to MapReduce Code
提出将SciDB中AQL表达的数组结构化聚合查询翻译为MapReduce作业的系统,生成代码性能比手写高10.84倍。
2025-02-01 cs.DB cs.DC
Efficient Approximation of Certain and Possible Answers for Ranking and Window Queries over Uncertain Data (Extended version)
针对不确定数据上排名类查询现有方法孤立处理、数据模型不兼容的问题,提出支持排名、top-k和窗口查询结果欠/过近似的高效方法,在PostgreSQL实现并经多数据集验证性能与准确性更优。
2023-05-03 cs.DB
Sharon: Shared Online Event Sequence Aggregation
流媒体系统评估大量的事件序列聚合查询的工作负载。最先进的方法遭受长时间的延迟所造成的不共享类似的查询的中间结果,并通过构建事件序列之前,他们的聚集。为了克服这些限制,我们的共享在线事件序列聚合(沙龙)的方法共享多个查询之间的中间聚合,同时避免昂贵的事件序列的建设。我们的Sharon优化器面临两个挑战。第一,分享决定并不总是有益的。第二,共享决策可能会排除其他共享机会。为了指导我们的Sharon优化器,我们将共享候选项、它们的好处以及候选项之间的冲突压缩编码到Sharon图中。基于图,我们映射我们的问题找到一个最佳的共享计划的最大重量独立集(MWIS)的问题。然后,我们使用MWIS问题的贪心算法的保证权重来修剪我们的共享计划查找器的搜索,而不牺牲其最优性。沙龙优化器显示,以产生共享计划,实现高达18倍的速度相比,国家的最先进的方法。
2020-10-06 cs.DB cs.PF
VeriTS: Verifiable Model-Enhanced Time-Series Queries on Blockchain Systems
College of Computer Science;Technology Zhejiang University Hangzhou, China;Technology Wuhan University of Science;School of Software Engineering Xi'an Jiaotong University Xi'an, China;Technology College Dalian Maritime University Dalian, China;School of Computer Science \& School of Software Nanjing University of Information Science \& Technology Nanjing, China;Department of Informatics University of Oslo Oslo, Norway
提出首个区块链可验证时间序列查询框架VeriTS,通过认证聚合区间树实现高效可验证查询,验证效率与证明大小较单记录证明大幅优化。
2026-08-31 cs.DB
Querying Incomplete Numerical Data: Between Certain and Possible Answers
具有聚合和算术运算的数据库,以及不完整的数据,在现实世界的数据库中很常见,但我们对它们应该如何交互缺乏很好的理解。一方面,基于SQL的系统为数字空值提供了专门的规则,另一方面,理论研究主要集中在某些和可能的答案的标准概念上。然而,在存在数值属性和聚合的情况下,这些答案通常是没有意义的,返回的要么太少,要么太多。我们的目标是定义一个原则性的框架,数据库与数值空和回答查询的算术和聚合。为了实现这个目标,我们假设数值属性中的缺失值由与标记空值相关的概率分布给出。这就产生了一个概率包数据库模型,其中元组不一定是独立的,因为空值可以重复。我们提供了一个通用的组合框架查询回答,然后集中在类似于标准SQL的算术和聚合查询。我们表明,这些查询是可衡量的,他们的输出有一个有限的表示。此外,由于经典形式的答案在数值设置中提供的信息很少,我们研究输出元组中的数值属于特定区间的概率。即使他们的精确计算是棘手的,我们表现出有效的近似算法来计算这样的概率。
2022-11-01 cs.DB
Querying RDF Databases with Sub-CONSTRUCTs
图查询语言在应用于图数据库时主要具有两种查询:受关系数据库启发的那些返回表(如SELECT查询)的查询和那些返回图(如SPARQL中的CONCLECT查询)的查询。后者是本文的研究对象。为此,定义了一种核心图查询语言GrAL,重点关注CONSTRUCT查询。GrAL中的递归是涉及所谓GrAL模式的递归过程的最后一步。通过在图上评估查询,可以得到一个图,而通过在图上评估模式,可以得到一组同时涉及图和表的匹配。CONCLUSION CT查询基于CONCLUSION CT模式,子CONCLUSION CT模式不受模式递归定义的限制。GrAL的语义是基于RDF图,略有修改,其中包括接受孤立的节点。RDF图的这种扩展简化了评估语义的定义,评估语义主要由称为Merge的唯一操作捕获。此外,我们将聚合定义为GrAL表达式的一部分,这导致了聚合的原始本地处理。
2021-09-14 cs.DB
Aggregate Queries on Sparse Databases
我们提出了一个代数框架,研究有效的算法查询评估,聚集,枚举,并在更新下,稀疏数据库的维护。我们的框架允许以统一的方式处理这些问题,通过考虑各种半环,这取决于所考虑的问题。作为一个具体的应用,我们提出了一个强大的查询语言扩展一阶逻辑的聚合在多个半环。我们得到一个最佳的算法计算稀疏数据库上的查询的答案。更准确地说,给定一个数据库从一个固定的类与有界的扩展,算法计算在线性时间的数据结构,它允许枚举的一组答案的查询,两个输出之间的恒定延迟。
2019-12-27 cs.DB cs.LO
Aggregation and Ordering in Factorised Databases
数据分析的一种常见方法涉及理解和操作数据的简洁表示。在早期的工作中,我们提出了一个简洁的表示系统的关系数据称为因子分解数据库和报告的主内存查询引擎FDB选择项目连接查询这样的数据库。在本文中,我们扩展FDB,以支持更大类的实际查询的聚集和排序。这需要新的优化和评估技术。我们展示了如何因式分解加上部分聚合可以有效地减少查询评估所需的操作数量。我们还展示了如何factorisations查询结果可以支持枚举元组在所需的顺序,有效地列出他们从unfactorised,排序的结果。我们通过实验观察到,FDB可以超过现成的关系引擎的数量级。
2013-07-01 cs.DB cs.DS
Prolog as a Querying Language for MongoDB
今天的数据库系统已经证明能够支持需要大量数据处理的AI应用程序。为此,这些系统采用了强大的查询语言,远远超出了单纯的数据检索,并提供了先进的设施,以及数据处理。在SQL的情况下,该语言甚至在该语言的某些实现中被证明是图灵完备的。在NoSQL数据库领域,目前广泛采用的是MongoDB数据库。MongoDB数据库中的XML表示为聚合管道中的顺序阶段,其中每个阶段定义输入数据的转换,并将转换后的数据传递到下一阶段。但是对于更复杂的计算问题,聚合查询往往变得相当大,缺乏组织成可重用的片段,因此难以调试和维护。我们提出了一个新的数据库查询语言称为Mongolog的Prolog语言的语法的一个子集,我们定义其操作语义通过翻译成聚合管道。为此,我们利用和扩展的MQuery语言的形式框架,其特征在于聚合框架集理论上。
2021-10-04 cs.DB
Obscure: Information-Theoretically Secure, Oblivious, and Verifiable Aggregation Queries on Secret-Shared Outsourced Data -- Full Version
尽管密码学取得了令人兴奋的进展,但外包数据的安全和高效查询处理仍然是一个公开的挑战。我们开发了一个通信效率和信息理论上的安全系统,题为模糊的聚合查询与合取或析取谓词,使用秘密共享。模糊是强安全的(即,无论对手的计算能力如何都是安全的),并防止网络以及(对抗)服务器学习用户的查询、结果或数据库。此外,Obscure还提供了额外的安全功能,例如隐藏访问模式(即,隐藏满足查询的元组的身份)和隐藏查询模式(即,隐藏哪两个查询是相同的)。此外,Obscure不需要在查询执行之前/期间/之后存储秘密共享数据的任何两个服务器之间的任何通信。此外,我们的技术处理由单个或多个数据库所有者外包的秘密共享数据,以及允许可能不是数据库所有者的用户对秘密共享数据执行查询。我们进一步开发了(非强制性的)隐私保护结果验证算法,用于检测恶意行为,并通过实验验证了Obscure在大型数据集上的效率,而之前的秘密共享或多方计算系统的方法还没有扩展到这种规模。
2020-04-27 cs.CR cs.DB cs.IR
Corrigendum to "Counting Database Repairs that Satisfy Conjunctive Queries with Self-Joins"
[Maslowski and Wijsen,ICDT,2014]中的辅助引理7是错误的。该引理用于(且仅用于)同一篇论文的定理3的证明。在本勘误中,我们对后一个定理提供了一个新的证明。
2019-03-29 cs.DB
On Efficient Approximate Aggregate Nearest Neighbor Queries over Learned Representations
The University of Hong Kong(香港大学);CNRS, Univ. Grenoble Alpes(法国国家科学研究中心,格勒诺布尔阿尔卑斯大学);The University of British Columbia(不列颠哥伦比亚大学)
本文提出SPRinT框架,通过结合高质量和低成本表示,高效近似聚合最近邻查询,实现低误差和低计算成本。
2026-01-05 cs.DB cs.DS cs.IR
Proof: Accelerating Approximate Aggregation Queries with Expensive Predicates
Stanford University(斯坦福大学);University of Chicago(芝加哥大学)
给定一个数据集$\mathcal{D}$,我们感兴趣的是计算匹配谓词的$\mathcal{D}$子集的均值。ABae利用分层抽样和代理模型,在给定抽样预算$N$的情况下有效地计算此统计量。在本文中,我们从理论上分析了ABae,并证明了估计的MSE以$O(N_1^{-1} + N_2^{-1} + N_1^{1/2}N_2^{-3/2})$的速率衰减,其中$N=K \cdot N_1+N_2$(对于某个整数常数$K$)和$K \cdot N_1$和$N_2$分别表示ABae阶段1和阶段2中使用的样本数。因此,如果将总样本预算$N$的一个恒定部分分配给每个阶段,则我们将获得$O(N^{-1})$的均方误差,该均方误差与最佳分层抽样算法的均方误差率相匹配,前提是已知每层的等同阳性率和标准差。
2021-07-28 cs.DB cs.LG math.ST
To Share, or not to Share Online Event Trend Aggregation Over Bursty Event Streams
复杂事件处理(CEP)系统在严格的时间约束下不断评估大量的模式查询工作量。具有Kleene模式的事件趋势聚合查询通常用于检索关于事件流中的最近趋势的汇总见解。由于重复计算或不必要的趋势构造,最先进的方法受到限制。现有的共享方法是由静态选择,因此刚性的共享计划,往往是次优流波动。在这项工作中,我们提出了一个新的框架哈姆雷特是第一个克服这些限制。哈姆雷特引入了两个关键的创新。首先,Hamlet在运行时间根据当前流的属性自适应地决定是否共享计算,以获得最大的共享效益。其次,Hamlet配备了一个高效的共享趋势聚合策略,避免了趋势构建。我们对真实数据集和合成数据集的实验研究表明,与最先进的方法相比,Hamlet始终将查询延迟降低了五个数量级。
2021-03-03 cs.DB cs.PF
Enthuse: Efficient Adaptable High-throughput Streaming Aggregation Engines
University of Southampton(南安普顿大学);Imperial College London(帝国理工学院)
Enthuse是一种高效可适应的高吞吐量流聚合引擎,通过优化滑动窗口聚合实现高达476倍的加速,同时在资源消耗少的情况下提供更高的性能和功能。
2025-12-31 cs.AR cs.DB
Memory-Efficient Group-by Aggregates over Multi-Way Joins
关系数据库中的聚合计算一直使用标准的一元聚合和二元连接运算符来完成。这些实现了经典的模型,每次计算两个关系之间的连接,具体化中间结果,然后继续进行基于排序或基于哈希的聚合计算以获得最终结果。然而,这种方法在低选择性连接的情况下可能是非常次优的,并且通常最终生成大量的中间结果,即使所涉及的关系以及最终结果集本身非常小。此外,许多计算的中间结果可能永远不会成为最终结果的一部分。在本文中,我们提出了一种新的聚合查询处理技术,利用图数据结构对有效地回答聚合查询连接,而不物化中间连接结果。我们将此技术包装在一个名为JOIN-AGG的多路复合数据库操作符中,该操作符结合了Join和Aggregation。我们提供了一个通用的框架,用于执行聚合查询任意非循环连接,涉及任何数量的组的属性从任何关系。我们还对真实世界和合成数据集进行了全面的实验评估。我们的实验表明,我们的运营商可以实现数量级较低的查询时间和内存需求相比,传统的方法,即使在数据库系统之外实现。
2019-06-17 cs.DB
Explaining Wrong Queries Using Small Examples
用于测试SQL查询的正确性,例如,在数据库课程中评估学生提交的内容时,标准做法是在一些测试数据库实例上执行有问题的查询,并将其结果与正确查询的结果进行比较。给定两个查询$Q_1$和$Q_2$,如果$Q_1(D)$与$Q_2(D)$不同,我们说数据库实例$D$是一个反例(对于$Q_1$和$Q_2$);这样的反例可以解释为什么$Q_1$和$Q_2$不等价。虽然测试数据库实例可以用作反例,但它可能太大或太复杂,无法阅读和理解不等价性的来源。因此,在本文中,给定一个已知的反例$D$为$Q_1$和$Q_2$,我们的目标是找到最小的反例$D' \subseteq D$其中$Q_1(D') \neq Q_2(D')$。这个问题一般是NP难的。我们给出了一套算法,找到最小的反例为不同类别的查询,一些更听话的比别人。我们还提出了一个有效的基于出处的算法SPJUD查询,使用约束求解器,并将其扩展到更复杂的查询与聚合,分组和嵌套查询。我们进行了大量的实验,表明我们的解决方案的有效性和可扩展性,从本科数据库课程的学生查询和查询TPC-H基准。我们还报告了一个用户研究,从课程中,我们部署我们的工具,以帮助学生与关系代数的作业。
2019-04-09 cs.DB
Invariance to ordinal transformations in rank-aware databases
我们研究的顺序变换的查询结果在排名感知数据库中的影响,从分数的全序结构与infima作为聚合函数的排名关系得出他们的操作。我们介绍的概念,序数包含和等价的排名关系,并证明了基于infima的代数运算与排名关系是不变的序数变换:应用到原始和转换后的数据产生的结果是等价的分数给出的顺序,这意味着前k结果的查询保持不变。我们发现这个重要的属性是保留在替代查询系统的基础上开发的哥德尔逻辑的背景下的关系演算。我们评论单调查询评价的关系,并表明,结果可以达到替代排名意识的方法。
2016-01-12 cs.DB
A Chase-based Approach to Consistent Answers of Analytic Queries in Star Schemas
ETIS Laboratory - ENSEA, CY Cergy Paris University, CNRS(ETIS实验室 - ENSEA,CY塞尔吉巴黎大学,CNRS);LISN Laboratory - University Paris-Saclay, CNRS(LISN实验室 - 巴黎萨克雷大学,CNRS)
本文提出了一种基于追捕的方法,用于在星型模式数据库中计算包含聚合运算符的查询的一致答案,通过独立性条件保证算法效率。
2026-02-04 cs.DB
Tractable Circuits in Database Theory
本文综述了数据库理论如何运用知识编译中的易处理电路类来解决查询评估任务,重点探讨了布尔溯源在聚合任务中的应用,以及查询答案的电路表示在枚举任务中的应用。
2024-08-25 cs.DB
On the Limitations of Provenance for Queries With Difference
数据库转换结果的注释对于各种应用程序都非常有效。直到最近,这方面的大多数工作都集中在积极的查询语言。起源半环是一种特殊的方法,被证明是有效的,这些语言,它被证明是当传播的起源与半环,相应的查询语言的预期等价公理得到满足。已经有几次尝试来扩展框架,以考虑具有差异的关系代数查询。我们在这里表明,这些建议不能满足一些预期的等价公理(特别是持有查询“标准”集和袋数据库)。有趣的是,我们证明了这不是这些特定尝试的陷阱,而是对于某些半环,每一次这样的尝试都注定不能满足这些公理。最后,我们展示了特定的半环,对于这些半环,支持差的扩展是(不)可能的。
2011-05-11 cs.DB
Efficient Uncertainty Tracking for Complex Queries with Attribute-level Bounds (extended version)
某些答案是处理许多实际数据管理任务中出现的不确定性的原则性方法。不幸的是,这种方法是昂贵的,可能会排除有用的(如果不确定)答案。之前的工作介绍了不确定性注释数据库(UA-DB),它结合了某些答案的欠近似和过近似。UA-DB将基于不完全K关系的某些答案的可靠性与经典确定性数据库系统的性能相结合。然而,UA-DB仅支持有限类别的查询,并且不支持属性级别的不确定性,这可能导致某些答案的不准确的欠近似。在本文中,我们介绍了属性注释的不确定数据库(AU-DBs),扩展了UA-DB模型与属性级注释,记录所有可能的世界的属性值的界限。这使得不完整的数据库更精确的近似。此外,我们扩展UA-DB编码一个紧凑的过度近似的可能的答案,这是必要的,以支持非单调查询,包括聚合和设置差异。我们证明了AU-DBs的查询处理保留了某些和可能的答案的界限,并研究了压缩中间结果以保持效率的算法。通过对可能的答案进行紧凑编码,我们的方法还为处理缺失数据提供了坚实的基础。使用以准确性换取性能的优化,我们的方法可以扩展到复杂的查询和大型数据集,并产生准确的结果。此外,它显着优于不确定的数据管理的替代方法。
2021-02-23 cs.DB
ORQ: Complex Analytics on Private Data with Strong Security Guarantees
Boston University(波士顿大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出ORQ系统,利用安全多方计算实现私有数据协作分析,通过消除二次方安全连接成本、设计通用不透明算子和数据并行向量化引擎,显著降低MPC执行时间并支持更大规模数据集。
2026-06-24 cs.CR cs.DB
vChain: Enabling Verifiable Boolean Range Queries over Blockchain Databases
由于加密货币和去中心化应用程序的蓬勃发展,区块链最近受到了关注。对于查询存储在区块链数据库中的数据的需求越来越多。为了确保查询的完整性,用户可以维护整个区块链数据库并在本地查询数据。然而,这种方法如果不是不可行的话,也是不经济的,因为区块链的数据量巨大,维护成本相当高。在本文中,我们迈出了研究区块链数据库上可验证查询处理问题的第一步。我们提出了一个新的框架,称为vChain,它降低了用户的存储和计算成本,并采用可验证的查询来保证结果的完整性。为了支持可验证的布尔范围查询,我们提出了一个基于累加器的认证数据结构,使动态聚合任意查询属性。进一步开发了两个新的索引来聚合块内和块间的数据记录,以实现高效的查询验证。我们还提出了一个倒排前缀树结构,以加速处理大量的订阅查询同时进行。安全性分析和实证研究验证了所提出的技术的鲁棒性和实用性。
2018-12-06 cs.CR cs.DB
Social Choice Methods for Database Aggregation
Imperial College London(伦敦帝国理工学院);Université d’Evry(埃夫里大学);University of Toulouse(图卢兹大学)
知识可以用多种方式表示,从一组命题公式到Kripke模型,再到数据库。在本文中,我们研究了来自多个来源的信息的聚合,每个来源提交一个数据库建模为一阶关系结构。在完整性约束的存在下,我们确定类的聚合器,尊重他们在聚合数据库中,提供这些满足所有个人数据库。我们还将一阶查询的答案与每个单独的数据库上获得的查询答案的聚合相一致的一阶查询的语言。这一贡献的目的是从社会选择理论的技术在数据库中的知识表示的应用的第一步。
2019-07-22 cs.AI cs.DB cs.GT
Neural Databases
University of Cambridge(剑桥大学);Facebook AI(脸书人工智能研究院)
近年来,神经网络在解决长期存在的人工智能问题方面表现出了令人印象深刻的性能提升,特别是在回答来自自然语言文本的查询方面。这些进步提出了一个问题,即它们是否可以扩展到我们可以放松数据库管理的基本假设的程度,即我们的数据表示为预定义模式的字段。本文提出了回答这个问题的第一步。我们描述了NeuralDB,一个数据库系统,没有预定义的模式,在其中的更新和查询是在自然语言。我们开发的查询处理技术,建立在最先进的自然语言处理方法提供的原语。首先,我们展示了在核心,最近的NLP Transformers,由预先训练的语言模型驱动,可以回答选择项目连接查询,如果他们被赋予确切的相关事实集。但是,它们不能扩展到重要的数据库,也不能执行聚合查询。基于这些发现,我们描述了一个并行运行多个Neural SPJ操作符的NeuralDB架构,每个操作符都有一组数据库语句,可以生成查询的一个答案。如果需要,这些运算符的结果被馈送到聚合运算符。我们描述了一种算法,该算法学习如何创建要馈送到每个神经SPJ运算符中的适当事实集。重要的是,该算法可以通过Neural SPJ算子本身进行训练。我们通过实验验证了NeuralDB及其组件的准确性,表明我们可以以非常高的准确性回答数千个句子的查询。
2020-10-14 cs.CL cs.DB cs.LG
Hermes: Efficient Global Homomorphic Aggregation over Mutable Packed Ciphertexts
University of Washington(华盛顿大学);Tacoma School of Engineering and Technology(塔科马工程与技术学院)
Hermes通过引入SIMD-aware打包数据模型和多项式槽掩码技术,实现高效全局聚合和动态元组更新,提升性能与安全性。
2026-04-25 cs.CR cs.DB
Random Sampling for Group-By Queries
随机抽样方法由于其以较小的近似误差为代价,可以显著减少资源占用和响应时间,因此被广泛应用于大型数据库的近似查询处理中。我们考虑随机抽样回答无处不在的类组的查询,第一组数据根据一个或多个属性,然后通过谓词过滤后,在每个组内聚合。分组查询的挑战在于,抽样方法不能专注于优化单个答案的质量(例如所选数据的平均值),但必须同时优化一组答案的质量(每组一个)。我们提出了CVOPT,查询和数据驱动的采样框架的一组查询。为了评估样本的质量,CVOPT基于不同答案的变异系数(CV)的范数(例如$\ell_2$或$\ell_\infty$)定义度量,并构造可证明优化度量的分层样本。CVOPT可以处理数据的分组查询,其中组具有非常不同的统计特征,如频率,均值或方差。CVOPT联合优化多个聚合和多个group-by子句,并提供了一种对特定组或聚合进行优先级排序的方法。当查询工作负载的部分信息已知时,可以对它进行调优,例如在数据仓库中,查询被安排为定期运行。我们的实验结果表明,CVOPT优于当前国家的最先进的样本质量和估计精度的组由查询。在两个真实数据集上的一组查询上,在相同的空间预算下,CVOPT产生的相对误差比竞争方法小5倍。
2019-09-12 cs.DB cs.DS
Database Reasoning Over Text
University of Cambridge(剑桥大学);Facebook AI(脸书人工智能);Sapienza University, Rome(罗马萨皮恩扎大学);University College London(伦敦大学学院)
神经模型在回答来自自然语言文本的查询方面表现出令人印象深刻的性能提升。然而,现有的作品无法支持数据库查询,如“列出/计数所有女运动员谁出生在20世纪”,这需要推理的相关事实集的操作,如加入,过滤和聚合。我们表明,虽然国家的最先进的Transformer模型表现非常好的小型数据库,他们表现出的局限性,在处理嘈杂的数据,数值运算,查询聚合的事实。我们提出了一个模块化的体系结构,以回答这些数据库风格的查询多个跨度从文本和聚合这些规模。我们使用WikiNLDB,一个新的数据集探索这样的查询的架构进行评估。我们的架构可以扩展到包含数千个事实的数据库,而当代模型则受到可以编码多少事实的限制。在小型数据库的直接比较中,我们的方法将整体答案准确率从85%提高到90%。在更大的数据库上,我们的方法保持了它的准确性,而Transformer基线不能对上下文进行编码。
2021-06-02 cs.AI cs.CL cs.DB