LocationSpark: In-memory Distributed Spatial Query Processing and Optimization
由于空间数据应用的普遍性以及这些应用产生和处理的大量空间数据，迫切需要可伸缩的空间查询处理。在本文中，我们提出了空间查询处理和优化的新技术，在内存和分布式设置，以解决可扩展性。更具体地说，我们引入了新的技术来处理查询偏斜，这在实践中是常见的，并相应地优化通信成本。我们提出了一个分布式查询调度器，使用一个新的成本模型来优化空间查询处理的成本。调度程序生成查询执行计划，以最大限度地减少查询倾斜的影响。查询调度器采用基于位图过滤器的新的空间索引技术，将查询转发到适当的本地节点。每个本地计算节点负责基于该节点中的索引和空间查询的性质来优化和选择其最佳本地查询执行计划。所有提出的空间查询处理和优化技术都在Spark（一个基于内存的分布式计算系统）中原型化。实验研究是基于真实的数据集，并表明，分布式空间查询处理可以提高到一个数量级，超过现有的内存和分布式空间系统。
2019-07-16 cs.DB
Intelligent Database Flexible Querying System by Approximate Query Processing
数据库柔性查询是用户对传统查询的一种替代。形式概念分析（FCA）的使用使人们有可能得到经典数据库管理系统（DBMS）所给出的近似答案。有些应用程序不需要精确的答案。但是，灵活的查询在响应时间方面代价很高。当灵活查询需要计算聚合函数（“Sum”、“Avg”、“Count”、“Var”等）时，该时间更为重要。在本文中，我们提出了一种方法，试图解决这个问题，使用近似查询处理（AQP）。
2012-04-14 cs.DB
Multi-Resource Parallel Query Scheduling and Optimization
调度查询执行计划在无共享并行系统中是特别复杂的问题，其中每个站点由本地时间共享（例如，CPU或磁盘）和空间共享（例如，存储器）资源，并通过消息传递与远程站点通信。并行查询调度的早期工作采用（a）并行任务调度的一维模型，有效地忽略了资源共享的潜在好处，或（b）全局可访问的资源单元的模型，这是只适用于共享内存架构，因为他们不能捕捉系统资源的亲和力网站。在本文中，我们开发了一种通用的方法，捕捉调度分布式，多维资源单位的所有形式的并行内部和跨查询和操作符的全部复杂性。我们提出了一个基于层次的列表调度启发式算法的独立查询任务（即，物理操作符流水线），其对于给定程度的分区并行性（具有取决于每个站点的时间共享和空间共享资源的数量以及克隆的粒度的最坏情况性能比）而言可证明是接近最优的。我们还提出了扩展来处理逻辑运算符中的阻塞约束（例如，散列连接）流水线和丛式查询计划以及在线任务到达（例如，在动态或多查询执行环境中）。我们的调度算法上实现的一个详细的仿真模型的实验验证了其有效性相比，现有的方法在现实的设置。基于我们的分析和实验结果，我们重新审视了开放的问题，设计高效的并行查询优化的成本模型，并提出了一个解决方案，捕获所有重要参数的并行执行。
2014-03-30 cs.DB
Proposing a New Method for Query Processing Adaption in DataBase
结合查询处理优化和Agent技术，提出了一个多Agent系统，该系统具有个性化查询和适应需求变化的特点。该系统采用了一种新的基于用户长期需求建模的算法和遗传算法来收集用户的查询数据。实验结果表明，与经典算法相比，该算法具有更强的自适应能力。
2010-01-20 cs.DB
gSMat: A Scalable Sparse Matrix-based Join for SPARQL Query Processing
资源描述框架（RDF）已被广泛用于表示Web上的信息，而SPARQL是操作RDF数据的标准查询语言。给定一个SPARQL查询，往往存在多个连接，这是查询处理效率的瓶颈。此外，真实的RDF数据集往往表现出较强的数据稀疏性，这表明即使资源总数很大，一个资源往往只与少数资源相关。在本文中，我们提出了一个稀疏矩阵为基础的（SM为基础的）SPARQL查询处理方法在RDF数据集，同时考虑到连接优化和数据稀疏性。首先，我们提出了一个基于SM的RDF数据存储，以提高存储效率，其中只存储有效的边缘，然后在存储上引入一个基于谓词的哈希索引。其次，我们开发了一个可扩展的SM为SPARQL查询处理的连接算法。最后，我们通过累加所有中间结果来分析总体开销，并设计了一个查询计划生成算法。此外，我们扩展了我们的SM为基础的连接算法在GPU上的并行SPARQL查询处理。我们已经评估了我们的方法相比，国家的最先进的RDF引擎在基准RDF数据集和实验结果表明，我们的建议可以显着提高SPARQL查询处理具有高可扩展性。
2018-07-20 cs.DB
MorphStore: Analytical Query Engine with a Holistic Compression-Enabled Processing Model
在本文中，我们提出了MorphStore，一个开源的内存中的列式分析查询引擎与一个新的整体压缩启用处理模型。基本上，使用轻量级整数压缩算法的压缩已经在现有的内存列存储数据库系统中发挥了重要作用，但主要是针对基本数据。具体地，在查询处理期间，这些系统仅保持数据被压缩，直到操作员不能直接处理压缩数据，于是数据被解压缩，但不被重新压缩。因此，在查询处理期间压缩的全部潜力没有被利用。为了克服这一点，我们开发了一种新的压缩启用处理模型，如本文所述。正如我们将要展示的那样，对所有基础数据和所有中间数据连续使用压缩对于减少总体内存占用以及提高查询性能是非常有益的。
2020-04-20 cs.DB
Approximate Query Processing via Tuple Bubbles
我们提出了一种通用的方法来轻量级的，近似的查询处理，通过创建紧凑，但可调的精确表示大量的原始元组，杜撰的气泡。查询处理不是处理元组的表，而是对气泡进行操作，但在概念上保留了传统的查询处理范例。我们相信这是一种自然可行的方法，可以在分解的云环境或资源有限的情况下对大型数据进行近似查询处理。气泡在封闭元组的紧凑性以及统计数据的粒度和实例化方式方面是可调的。为了提高准确性，我们提出了第一个工作解决方案，通过贝叶斯网络，每个表，或沿外键连接表示气泡。为了支持这种方法的可行性，我们报告了一个实验评估，考虑到最先进的竞争对手，我们在评估估计精度，执行时间和所需的磁盘空间时显示出明显的优势。
2022-12-20 cs.DB
DeepSPACE: Approximate Geospatial Query Processing with Deep Learning
可用地理空间数据的数量以前所未有的速度增长。这导致对处理能力和存储的需求不断增加，以便及时提供数据分析。同时，许多地理空间处理本质上是可视化和探索性的，因此具有有限的精度要求。我们提出了DeepSPACE，一个基于深度学习的近似地理空间查询处理引擎，它将适度的硬件要求与回答灵活聚合查询的能力相结合，同时将所需的状态保持在几百KiB。
2019-06-14 cs.DB
A Framework for Federated SPARQL Query Processing over Heterogeneous Linked Data Fragments
链接数据片段（LDFs）是指允许访问和查询Web上的知识图谱的Web接口。这些接口（如SPARQL端点或Triple Pattern Fragment服务器）在它们可以计算的SPARQL表达式和它们提供的元数据方面有所不同。已经提出了客户端查询处理方法，并且这些方法被定制以评估各个接口上的查询。此外，联邦查询处理集中在具有单一类型LDF接口（通常是SPARQL端点）的联邦上。在这项工作中，我们解决的挑战，SPARQL查询处理联邦异构LDF接口。为此，我们形式化的概念联邦的关联数据片段，并提出了一个框架，联邦查询异构联邦不同LDF接口。该框架包括查询分解，查询规划，和适应不同LDF接口的特殊性的物理操作符。此外，我们提出了一种方法，我们的框架的每个组成部分，并评估他们在著名的FedBench基准的实验研究。结果表明，通过设计这些接口感知的方法，利用联邦中的异构接口的能力，实现了性能的大幅改善。
2021-02-26 cs.DB
Worst-Case Optimal Algorithms for Parallel Query Processing
本文研究了在$p$服务器上并行计算大型数据库上的合取查询问题的通信复杂性。与以前的工作，在通信上的上限和下限被指定为特定的数据结构（无论是数据没有歪斜，或数据与特定类型的歪斜），在这项工作中，我们专注于最坏情况下的通信成本分析。目标是找到最坏情况下的最优并行算法，类似于[18]中针对顺序算法的工作。我们首先表明，对于一个单一的回合，我们可以获得一个最佳的最坏情况下的算法。当所有关系的大小都等于$M$时，合取查询$q$的最优负载为$O(M/p^{1/ψ^*})$，其中$ψ^*$是一个新的与查询相关的量，称为边拟填充数，它不同于查询超图的边填充数和边覆盖数.对于多轮，我们提出的算法是最佳的几类查询。最后，我们展示了一个令人惊讶的连接到外部存储器模型，它允许我们翻译并行算法到外部存储器算法。这种技术使我们能够恢复（在一个多对数因子）的I/O计算连接查询的复杂性的几个最近的结果，并获得其他类别的查询的最佳算法。
2016-04-07 cs.DB
Storage, Indexing, Query Processing, and Benchmarking in Centralized and Distributed RDF Engines: A Survey
语义网和关联数据的最新进展已经改变了传统网络的工作方式。资源描述框架（RDF）格式被广泛采用，用于保存基于网络的数据。这种大规模的采用为各种集中式和分布式RDF处理引擎的开发铺平了道路。这些引擎采用各种机制来实现查询处理引擎的关键组件，例如数据存储、索引、语言支持和查询执行。所有这些组件都控制查询的执行方式，并对查询运行时产生重大影响。例如，以各种方式存储RDF数据会显著影响所需的数据存储空间和查询运行时性能。RDF引擎中使用的索引方法类型对于快速数据查找至关重要。底层查询语言的类型（例如，SPARQL或SQL）是RDF存储解决方案的关键优化组件。最后，涉及不同联接顺序的查询执行会显著影响查询响应时间。本文从存储、索引、语言支持和查询执行等方面对集中式和分布式RDF引擎进行了全面的综述。
2020-09-23 cs.DB
SPARQL query processing with Apache Spark
链接数据源的数量和链接开放数据图的大小每天都在增长。因此，语义RDF服务越来越多地面临各种“大数据”问题。查询处理就是其中之一，需要在可伸缩、高可用和容错的框架上执行，从而有效地解决查询处理问题。需要这些属性的数据管理系统很少从头开始构建，而是在现有集群计算引擎的基础上设计的。在这项工作中，我们考虑使用Apache Spark处理SPARQL查询。我们提出并比较了五种不同的查询处理方法，基于不同的连接执行模型和Spark组件。在真实世界和合成数据集上的详细实验强调，为RDF数据模型定制的两种方法在所有主要查询形状上都优于其他方法，即，星型、雪花型、链式和混合型。
2016-11-03 cs.DB
Distributed Query Processing Plans generation using Teacher Learner Based Optimization
随着数据库的日益普及，数据源的数量和数据量在近几年都在快速增长。操作数据在分散数据源上的分布对处理用户查询提出了挑战。在这样的数据库系统中，查询所需的数据库关系可以存储在多个站点。这导致用户查询的可能等价物或替代物的数量呈指数级增长。虽然在一个大的搜索空间中穷尽所有可能的查询计划在计算上是不合理的，但是在分布式数据库系统中产生最优查询计划的策略是必需的。具有最具成本效益的查询处理选项的查询计划是必要的，并且必须为给定的查询生成。本文试图产生这样的最佳查询计划，使用无参数的优化技术基于教学的优化（TLBO）。TLBO算法在求解多目标无约束和有约束基准优化问题时，均取得了较好的效果。实验比较了基于TLBO的最优查询计划生成算法和基于多目标遗传算法的分布式查询计划生成算法，结果表明，对于更大的关系数，基于TLBO的算法能够生成质量相对更好的TopK查询计划。
2016-02-14 cs.DB
Shrinkwrap: Differentially-Private Query Processing in Private Data Federations
私有数据联合是一组自治数据库，它们共享统一的查询接口，提供对其成员敏感数据联合的SQL查询的原位评估。由于隐私问题，这些系统没有一个可信的数据收集器，可以看到他们的所有数据，他们的成员数据库无法了解其他引擎的个人记录。联邦目前通过使用安全多方计算评估查询遗忘来实现这一目标。这通过穷举填充来隐藏每个查询运算符的中间结果基数。对于此类运算符的级联，这种填充累积会导致每个运算符的输出大小爆炸，并导致查询性能的成比例损失。因此，现有的私有数据联合不能很好地扩展到大型数据集上的复杂SQL查询。我们引入Shrinkwrap，一个私有数据联合，为数据所有者提供其他人持有的数据的差异化私有视图，以提高他们在不经意的查询处理上的性能。Shrinkwrap使用计算差分隐私来最小化中间查询结果的填充，与不经意查询处理相比，性能提高高达35倍。当查询需要不同的私有输出时，Shrinkwrap提供了结果准确性和查询评估性能之间的权衡。
2018-10-03 cs.DB
Code Generation Techniques for Raw Data Processing
目前研究的动机是设计一种算法，可以加快查询的处理。重要的特性是为特定的查询动态生成代码。我们提出的代码生成技术，适用于原始文件的查询处理。其思想是使用给定的查询定制查询程序，并生成特定于机器和查询的源代码。生成的代码由GCC、Clang或任何其他C/C++编译器编译，编译后的文件动态链接到主程序以进行进一步处理。代码生成降低了一般化查询处理的成本。它还避免了在实现高性能的常规解释的开销。数据库管理系统（DBMS）在大数据的许多方面都表现出色，例如存储，索引和分析。DBMS通常格式化整个数据并将其加载到其存储层中。它们增加了数据查询时间，这是将数据转换为特定模式并将其持久化在磁盘中所花费的成本时间。理想情况下，DBMS应该适应输入数据，并提取与给定查询相关联的一个/一些列，而不是整个数据。因此，原始文件上的查询引擎可以减少常规常规操作的成本，并避免一些不必要的过程，如完全扫描，标记化和配对整个数据。在目前的研究中，我们介绍了我们的代码生成方法，在原位处理的原始文件，这是基于模板的方法和炒作的方法。该方法最大限度地减少了数据查询的时间，并实现了高性能的查询处理。我们的工作有一些好处：减少分支和指令，展开循环，消除不必要的数据类型检查和优化二进制代码与本地机器上的编译器。
2017-12-09 cs.DB
PIQUE: Progressive Integrated QUery Operator with Pay-As-You-Go Enrichment
今天的文本、图像、视频和传感器数据形式的大数据需要丰富（即，用标签注释）。数据富集（取决于应用，其可以是编译代码、声明性查询或昂贵的机器学习和/或信号处理技术）通常不能在数据摄取时作为预处理步骤整体执行。在摄取之后作为单独的离线步骤来丰富数据，使得在摄取和丰富之间的时间段内数据不可用于分析。为了弥补这一差距，本文探讨了一种新的方法，支持渐进式数据丰富查询处理过程中，以支持交互式探索性分析。我们的方法是基于集成一个名为PIQUE的操作符，以支持在查询处理过程中优先执行的丰富功能。使用PIQUE操作符的查询处理在查询处理期间回答质量提高的速率方面显著优于基线。
2019-10-18 cs.DB
Fast Parallel Hypertree Decompositions in Logarithmic Recursion Depth
数据汇集的现代趋势正在使当前主流的数据库查询处理技术达到其极限。因此，各种新的方法，有效的查询处理正在积极研究。一种这样的方法是基于超树分解（HD），这已被证明具有很大的潜力，更有效地处理复杂的查询，并具有更强的理论保证。然而，使用HD进行查询执行依赖于计算查询结构的分解的困难任务，其指导查询的高效执行。从理论结果，我们知道，纯粹的顺序方法的性能是固有的限制，但问题是容易并行化。在本文中，我们提出了第一个算法计算超树分解，非常适合并行化。所提出的算法log-k-decomp只需要对数数量的递归级别，并允许高度并行修剪的搜索空间的限制平衡分隔符。我们提供了详细的实验评估HyperBench基准，并证明我们的方法是非常有效的，特别是对于复杂的查询。
2022-04-12 cs.DB
High Throughput Shortest Distance Query Processing on Large Dynamic Road Networks
针对大型动态道路网络的高吞吐量最短路径查询，本文提出PSP、PMHL及PostMHL索引与跨边界优化，实验显示吞吐量最高提升2个数量级。
2025-02-17 cs.DB
qwLSH: Cache-conscious Indexing for Processing Similarity Search Query Workloads in High-Dimensional Spaces
高维空间中的相似性搜索查询是诸如图像处理、机器学习等许多领域中的一种重要的查询类型。由于精确相似性搜索索引技术在高维空间中遭受众所周知的维数灾难，因此通常使用近似搜索技术来代替。局部敏感散列（LSH）已被证明是一种有效的近似搜索方法，用于解决高维空间中的相似性搜索查询。通常情况下，真实环境中的查询作为查询工作负载的一部分到达。LSH及其变体专门设计用于有效地解决单个查询。它们在执行查询工作负载时有一个主要缺点：在设计索引结构时，它们没有考虑有效利用缓存的重要数据特征。在本文中，我们提出了qwLSH，索引结构，有效地处理相似性搜索查询工作量在高维空间。我们智能地划分一个给定的缓存在处理过程中的查询工作量，通过使用新的成本模型。实验结果表明，给定查询工作量，qwLSH是能够执行速度比现有的技术，由于其独特的成本模型和策略。
2019-07-26 cs.DB
Efficient Query Processing for SPARQL Federations with Replicated Fragments
公共SPARQL端点的低可靠性和可用性阻止了现实世界的应用程序利用这些查询基础结构的所有潜力。服务器上的数据碎片可以提高数据可用性，但会降低性能。复制片段可以在性能和可用性之间提供新的折衷。我们提出FERENCE，查询关联数据，利用客户端数据复制的框架，并执行源选择算法，旨在减少所选择的公共SPARQL端点，执行时间和中间结果的数量。FERENTIAL已在最先进的查询引擎ANAPSID和FedX上实现，并在各种真实数据集上进行了经验评估。
2015-03-10 cs.DB
Fedra: Query Processing for SPARQL Federations with Divergence
本地SPARQL端点的数据复制和部署提高了公共SPARQL端点的可伸缩性和可用性，使链接数据的消费成为现实。此解决方案需要同步和特定的查询处理策略来利用复制。然而，现有的复制感知技术在SPARQL端点的联邦不考虑数据的动态性。我们提出了Fedra，一种查询从复制中受益的端点联盟的方法。Fedra联邦的参与者可以从多个数据集中复制数据片段，并使用出处和视图描述它们。这些描述使Fedra能够减少所选端点的数量，同时满足用户的分散需求。在真实世界数据集上的实验表明，节省高达三个数量级。
2014-07-10 cs.DB
Mobile Database System: Role of Mobility on the Query Processing
移动通信技术的迅速发展将使移动用户能够随时随地访问信息。无线技术的出现使得在移动环境中实现连续连接成为可能。当查询被指定为连续时，请求移动用户可以获得连续变化的结果。为了向请求移动的用户提供准确和及时的结果，必须密切监视移动对象的位置。本文的目的是讨论在移动环境中的个人和终端的移动性和查询处理的作用有关的问题。
2010-04-10 cs.DB
Scripting Relational Database Engine Using Transducer
我们允许数据库用户使用过程语言编写并行关系数据库引擎的脚本。过程语言代码作为用户定义的关系查询操作符（称为transducer）执行。Transducer与关系引擎紧密集成，包括查询优化器，查询执行器，并可以像其他查询操作器一样并行执行。使用transducer，我们可以有效地执行在SQL中很难表达的查询。作为例子，我们展示了如何在并行关系数据库中运行时间序列和图形查询等。
2018-05-11 cs.DB
Effective Spatial Data Partitioning for Scalable Query Processing
最近，基于MapReduce的空间查询系统已经成为大规模空间数据处理和分析的一种具有成本效益和可扩展性的解决方案。基于MapReduce的系统通过划分数据并在这些分区上并行运行查询任务来实现巨大的可伸缩性。因此，有效的数据划分对于任务并行化、负载均衡至关重要，并直接影响系统性能。然而，空间数据划分的几个陷阱使这项任务特别具有挑战性。首先，数据倾斜在空间应用中非常常见。为了实现最佳查询性能，需要减少数据倾斜。其次，空间分区方法生成跨越多个分区的边界对象，并增加额外的查询处理开销。因此，需要最小化边界对象。第三，空间划分算法的高计算复杂性与大量数据相结合，需要一种有效的方法来划分，以实现整体快速查询响应。在本文中，我们提供了一个系统的评估多个空间分区方法与一组不同的分区策略，并研究其对MapReduce的空间查询的性能的影响。我们还研究了基于采样的分区方法及其对查询的影响，并提出了几种基于MapReduce的高性能空间分区方法。我们的工作的主要目标是提供一个全面的指导，最佳的空间数据分区，以支持可扩展的和快速的空间数据处理的大规模并行数据处理框架，如MapReduce。在这项工作中开发的算法是开源的，可以很容易地集成到不同的高性能空间数据处理系统。
2015-09-03 cs.DB
Workload-Driven Vertical Partitioning for Effective Query Processing over Raw Data
传统的数据库没有配备足够的功能来处理“大数据”的数量和种类。严格的模式定义和数据加载即使对于最基本的查询会话也是先决条件。原始数据处理已经被提出作为一种模式按需替代，提供即时访问数据。当加载是一个选项时，它完全由当前运行的查询驱动，导致查询工作负载的性能不佳。在本文中，我们研究的问题，工作负载驱动的原始数据处理部分加载。我们将加载建模为完全复制的二进制垂直分区。我们提供了一个线性混合整数规划优化配方，我们证明是NP-难的。我们设计了一个两阶段的启发式，在很短的时间内接近最优解。我们扩展的优化配方和启发式流水线的原始数据处理，场景中的数据访问和提取同时执行。我们提供了三个案例研究，在真正的数据格式，确认模型的准确性时，实现在一个国家的最先进的流水线操作的原始数据处理。
2015-05-09 cs.DB
Parallel Query Processing with Heterogeneous Machines
本文研究异构机器上并行计算合取查询的问题，在单轮通信模型下针对同基数关系数据库给出一般成本函数的最优上下界，并为不同基数关系数据库中的笛卡尔积、连接、星型查询和三角形查询提供了匹配的上下界。
2025-03-10 cs.DB
Cohort Query Processing
现代互联网应用程序通常会产生大量的用户活动记录。数据分析师对队列分析感兴趣，或者在这些大型活动记录表中发现不寻常的用户行为趋势。在传统的数据库系统中，队列分析查询既难以指定，又难以评估。我们建议扩展数据库系统，以支持队列分析。我们通过使用三个新的操作符扩展SQL来做到这一点。我们设计了三种不同的评估方案队列查询处理。其中两个采用非侵入性方法。第三种方法采用基于列的评估方案，并针对队列查询处理进行了专门的优化。我们的实验结果证实了我们所提出的列式数据库系统的性能优势，与两个非侵入性的方法，实现队列查询上的常规关系数据库。
2016-05-04 cs.DB
Scheduling of Intermittent Query Processing
针对流处理中带截止时间约束的查询效率低下问题，提出利用更宽窗口的间歇式批处理调度方案，并在 Apache Spark 上实现，性能较 Spark streaming 提升数个数量级。
2024-09-20 cs.DB
Incremental Techniques for Large-Scale Dynamic Query Processing
来自不同学科的许多应用程序现在都需要实时的分析快速发展的大数据。多年来，已经提出了用于增量式处理查询的各种方法。传统方法依赖于在流式传输更新时更新查询的结果，而不是重新计算这些查询，因此，期望更高的执行性能。然而，它们对于高频率更新的大型数据库表现不佳。因此，在文献中已经提出了新的算法和方法来解决这些挑战，例如，通过降低处理更新的复杂性。此外，这些算法中的许多现在都利用了分布式流媒体平台，如Spark Streaming和Flink。在本教程中，我们简要讨论增量查询处理的传统方法，然后概述由于处理大数据流而引入的新挑战。然后，我们详细讨论了最近提出的算法，解决这些挑战。我们强调的特点和算法分析的各种建议的方法，并讨论未来的研究方向。
2019-02-01 cs.DB
Scalable Relational Query Processing on Big Matrix Data
大规模机器学习方法的使用在从商业智能到自动驾驶汽车的许多应用中变得无处不在。这些方法需要由各种类型的操作组成的复杂计算流水线，用于预处理或后处理数据集的关系运算，以及用于核心模型计算的矩阵运算。许多现有的系统专注于有效地处理仅矩阵操作，并假设关系运算符的输入已经预先计算并具体化为中间矩阵。然而，在机器学习流水线中，对关系运算符的输入可能是复杂的，并且可能涉及矩阵运算符的各种组合。因此，实现直接对大矩阵数据进行操作的可扩展且高效的关系查询处理器至关重要。本文提出了新的高效和可扩展的关系查询处理技术的大矩阵数据在内存中的分布式集群。所提出的技术利用代数变换规则重写查询执行计划到一个具有较低的计算成本。分布式查询计划优化器利用合并函数的稀疏诱导属性以及Bloom连接策略来有效地评估连接操作的各种风格。此外，优化的分区方案的输入矩阵的开发，以促进性能的连接操作的成本模型的基础上，最大限度地减少通信overhead.The建议的关系查询处理技术的Apache Spark中的原型。真实和合成数据上的实验表明，所提出的技术实现了两个数量级的性能改善，在广泛的应用范围内的最先进的系统。
2021-11-09 cs.DB
An Overview of Query Processing on Crowdsourced Databases
众包是一种强大的解决方案，可以为数据库中昂贵和未回答的查询找到正确答案，包括那些不确定和不完整的数据。尝试使用众包来利用人类的能力来使用人类工作者处理这些昂贵的查询，有助于通过利用人群中的可用数据来提供准确的结果。众包数据库系统（CSDB）通过使用具有微小改变的关系数据库的某种变体来将群体的知识与关系数据库相结合。本文综述了CSDB中传统查询和偏好查询在查询处理领域的主要研究。这项工作的重点是突出每种方法的优点和缺点。详细讨论了当前和未来的研究趋势与查询处理领域的CSDB。
2022-04-16 cs.DB
Scalable Ontological Query Processing over Semantically Integrated Life Science Datasets using MapReduce
为了满足从全面角度看待生命科学数据的要求，采用了语义网技术，以标准化地表示数据和数据之间的联系。这导致了数据仓库，如UniProt，Bio2RDF和Chem2Bio2RDF，它们使用本体集成了不同种类的生物和化学数据。不幸的是，在本体集成的集合上处理查询的能力仍然是一个挑战，特别是当数据很大时。原因是除了处理图结构数据的传统挑战外，完整的查询回答还需要推理来解释隐含表示的事实。由于前向链接等传统推理技术难以扩展，并且每次更新数据时都需要重复，因此最近的重点是可以通过查询重写使用数据库技术支持的推理。然而，由于大多数生物医学本体相对于其他领域本体的丰富性，由查询重写技术产生的查询通常比现有的查询优化技术能够应付的更复杂。当使用新兴的云数据处理平台进行大数据处理时尤其如此，因为它们引入了一些额外的开销。在本文中，我们提出了一种使用MapReduce处理大数据上的复杂查询的方法，并对现有的真实数据集和基准查询进行了评估。
2016-02-02 cs.DB
A MovingObject Index for Efficient Query Processing with Peer-Wise Location Privacy
随着基于位置的服务的使用越来越多，位置隐私越来越受到用户，工业界和研究界的关注。虽然相当大的努力已经投入到发明技术，防止服务提供商知道用户的确切位置，相对较少的注意已经支付给所谓的同行明智的隐私-保护用户的位置从未经授权的同行用户。本文确定了一个重要的效率问题，在现有的同行隐私的方法，简单地应用过滤步骤，以确定位于查询范围内的用户，但不想透露自己的位置查询同行。为了解决这个问题，我们提出了一种新的，隐私政策启用索引称为PEB树，无缝集成位置接近和政策兼容性。我们提出了高效的算法，使用PEB树处理隐私感知范围和kNN查询。大量的实验表明，PEB树，使高效的查询处理。
2011-09-30 cs.DB
XML Query Processing and Query Languges: A Survey
今天的数据库与不同领域和应用程序之间的互操作性有关。这就导致了数据库中数据可移植性的重要性。XML格式符合需求，并且越来越多地用于为不同领域和目的的应用程序提供服务。然而，有效地查询XML文档仍然是一个具有挑战性的问题。本文讨论了XML的查询处理问题，并回顾了各种作者提出的查询XML数据库的解决方案。
2010-10-06 cs.DB cs.DS
JanusAQP: Efficient Partition Tree Maintenance for Dynamic Approximate Query Processing
动态数据库上的近似查询处理，即，在插入/删除下，其应用范围从高频交易到物联网分析。我们提出了JanusAQP，一个新的动态AQP系统，它支持SUM，AUG，AVG，MIN和MAX查询下的插入和删除的数据集。JanusAQP将静态分区树概要（数据集的分层聚合）扩展到动态设置中。本文贡献了新的方法：（1）有效的初始化的数据摘要在传入数据的存在下，（2）维护的数据摘要下插入/删除，和（3）重新优化的分区，以减少近似误差。JanusAQP仅使用10%的存储成本就将最先进的基线误差降低了60%以上。JanusAQP可以在单个节点设置中每秒处理超过100 K的更新，并将查询延迟保持在毫秒级。
2022-07-26 cs.DB
INSQ: An Influential Neighbor Set Based Moving kNN Query Processing System
我们重新访问移动k最近邻（MkNN）查询，它计算一个人的k最近邻集，并在移动时维护它。现有的MkNN算法大多是基于安全区域的，由于计算小的安全区域具有高的重新计算频率或计算较大的安全区域但每次计算的成本较高，因此缺乏效率。在这个演示中，我们展示了一个名为INSQ的系统，该系统采用了一种称为影响邻居集（INS）算法的新算法来处理二维欧氏空间和道路网络中的MkNN查询。该算法使用一个小的安全保护对象的集合，而不是安全区域。只要当前k个最近邻比安全防护对象更接近查询对象，则当前k个最近邻保持有效并且不需要重新计算。同时，安全防范对象所限定的区域为最大可能安全区域。这意味着重新计算的频率也被最小化，因此，INS算法实现了高的整体查询处理效率。
2021-01-12 cs.DB
What Can Database Query Processing Do for Instance-Spanning Constraints?
在过去的十年中，在流程挖掘领域中引入了术语实例跨越约束，指的是跨越一个或多个流程的多个流程实例的约束。在这种情况下，特别相关的是检查流程执行是否符合感兴趣的约束，这在运行时需要适当的监控技术。即使事件数据通常存储在某种数据库中，也缺乏面向数据库的方法来处理（实例跨越）约束的合规性检查和监视。在本文中，我们填补了这一空白，展示了如何完善的技术，从数据库查询处理可以有效地用于此目的。我们建议定义一个实例跨越约束，通过一个合奏的四个数据库查询检索满足，违反，悬而未决的满足，悬而未决的违反情况下的约束。在这种情况下，合规性监控的问题，然后成为增量视图维护，这是在数据库查询处理中发展良好的技术的应用。在本文中，我们认为我们的方法详细，并作为概念的证明，提出了一个实验验证使用DBToaster增量数据库查询引擎。
2022-05-31 cs.DB
Enabling Incremental Query Re-Optimization
随着声明式查询处理技术的范围扩展到Web、数据流、网络路由器和云平台，人们越来越需要自适应查询处理技术，这些技术可以在出现故障或意外性能变化时重新规划。数据分布或计算节点上的状态更新可能会对应该运行哪个查询计划的选择产生重大影响。理想情况下，新的系统架构将能够基于成本做出关于重新分配工作、迁移数据等的决策，并在实时状态信息可用时快速做出反应。现有的基于成本的查询优化器本质上不是增量的，并且必须在每次状态或成本更新时“从头开始”运行。因此，它们通常导致只能缓慢地对更新做出反应的自适应方案。一个悬而未决的问题是，是否有可能在流式或重复查询执行环境中构建用于自适应查询处理的基于成本的重新优化架构，例如，通过在给定新成本信息的情况下递增地更新优化器状态。我们表明，这可以实现有益的，特别是流处理工作负载。我们的技术建立在最近提出的方法，制定查询计划枚举作为一组递归的数据库查询，我们开发了各种新的优化方法，以确保有效的修剪在静态和增量的情况下。我们实现我们的解决方案在现有的研究查询处理系统，并表明，它有效地支持基于成本的初始优化以及频繁的自适应性。
2014-09-22 cs.DB
Serverless Query Processing with Flexible Performance SLAs and Prices
本文探讨了serverless查询处理中灵活性能SLA与价格的问题，提出开源原型PixelsDB，通过专门架构支持三个服务级别，在近真实工作负载下将资源成本降低65.5%且不违反时间保证。
2024-12-23 cs.DB
Compression and In-Situ Query Processing for Fine-Grained Array Lineage
本文提出DSLog存储系统及ProvRC压缩算法，用于高效存储和查询细粒度数组血统，实现最高2000倍存储压缩和20倍查询加速。
2024-05-27 cs.DB
Q-Graph: Preserving Query Locality in Multi-Query Graph Processing
正在兴起的以用户为中心的图形应用（诸如路线规划和个性化社会网络分析）已经引发了现代图形处理系统中的范式向多查询分析的转变，即，在共享图上并行处理多个图查询。这些应用程序在查询热点（如热门城市地区）周围生成动态数量的本地化查询。然而，现有的图形处理系统还没有针对这些属性进行定制：用于图形分区和同步管理的方法忽略了查询局部性和动态性，这导致了高查询延迟。为此，我们提出了系统Q-图的多查询图分析，认为查询局部性的三个层次上。(i)查询感知的图划分算法Q-cut最大化查询局部性，以减少通信开销。(ii)用于同步管理的方法，称为混合屏障同步，允许仅跨越分区的子集的本地查询的充分利用。(iii)这两种方法在运行时适应不断变化的查询工作负载，以保持和利用局部性。我们的实验表明，Q-cut减少平均查询延迟高达57%的静态查询无关的分区算法相比。
2018-05-30 cs.DB cs.DC
Offset-value coding in database query processing
最近的工作展示了偏移值编码如何加速数据库查询执行，不仅是排序，还包括重复删除和分组（聚合），排序流，保序交换（洗牌），合并连接等。它已经在谷歌的纳帕和F1查询系统中节省了数千个CPU，在分组算法和日志结构的合并森林。然而，为了实现有趣的排序的全部好处，查询执行算法不仅必须消耗和利用偏移值代码，而且还必须为管道中的下一个操作符产生偏移值代码。我们的研究一直在寻找产生偏移值代码的方法，而不需要逐个、逐列地比较连续的输出行。这篇简短的论文介绍了一个新的定理，并根据其证明和一个简单的推论，详细描述了保序算法（从过滤器到合并连接，甚至洗牌）如何计算其输出的偏移值代码。这些计算出奇地简单和高效。
2023-02-17 cs.DB
Batch Hop-Constrained s-t Simple Path Query Processing in Large Graphs
本文研究大型图中批处理跳数约束的s-t简单路径查询的高效处理，提出基于HC-s路径查询的两阶段检测与共享计算枚举算法，显著提升了十亿级图上多查询并发处理的效率与可扩展性。
2024-01-09 cs.DB
Query Density-Driven Partitioning for Spatiotemporal Load Balancing on Processing-in-Memory Systems
The University of Tokyo（东京大学）；The University of Electro-Communications（电气通信大学）
针对存算一体系统中PIM-tree牺牲空间局部性导致范围聚合查询处理受阻的问题，提出查询密度驱动分区方案及B⁺-Forest，实现时空负载均衡与高效范围聚合查询，性能优于对比方案。
2026-08-03 cs.DB
Parallel-Correctness and Containment for Conjunctive Queries with Union and Negation
单轮多路连接算法首先在许多服务器上重新洗牌数据，然后以并行和无通信的方式评估手头的查询。一个关键的问题是，一个给定的分配策略的洗牌是足够的计算一个给定的查询，也被称为并行正确性。本文扩展了并行正确性及其组成部分，并行可靠性和并行完整性的复杂性的研究，工会的合取查询和不否定。作为一个副产品，它示出的合取查询与否定的包含问题是coNEXPTIME完全的。
2015-12-19 cs.DB
Combining Aggregation and Sampling (Nearly) Optimally for Approximate Query Processing
基于样本的近似查询处理（AQP）有许多缺陷，如无法回答非常有选择性的查询和不可靠的置信区间时，样本量很小。最近的研究提出了一种有趣的解决方案，将物化的，预先计算的聚合物与采样相结合，以获得准确和更可靠的AQP。我们在这项工作中详细探索了这个解决方案，并提出了一个AQP物理设计，称为PASS，或预计算辅助分层采样。PASS构建一个部分聚合树，覆盖数据集的不同分区。该树的叶节点形成分层样本的层。其谓词与分区（或分区的并集）对齐的聚合查询用深度优先搜索精确地回答，并且任何部分重叠用分层样本近似。我们提出了一种算法，用于最佳地划分到这样的数据结构与各种实用的近似技术的数据。
2021-03-29 cs.DB
Cost Models for Big Data Query Processing: Learning, Retrofitting, and Our Findings
大数据查询处理在现代云计算中无处不在，系统使用基于成本的查询优化器负责挑选物理查询执行计划和运行这些计划所需的资源。因此，一个好的成本模式类似于更好的资源效率和更低的运营成本。不幸的是，微软的生产工作负载表明，为大数据系统建模的成本非常复杂。在这项工作中，我们研究了两个关键问题：（i）我们是否可以学习大数据系统的准确成本模型，以及（ii）我们是否可以将学习的模型集成到查询优化器中。为了回答这些问题，我们做出了三个核心贡献。首先，我们利用工作负载模式来学习大量的单个成本模型，并将它们结合起来，以实现长期的高准确性和覆盖率。其次，我们提出了扩展级联框架，以挑选最佳的资源，即容器的数量，在查询规划。第三，我们将学习到的成本模型集成到微软SCOPE的级联式查询优化器中。我们评估由此产生的系统，Cleo，在生产环境中使用生产和TPC-H工作负载。我们的研究结果表明，学习成本模型的准确性提高了2到3个数量级，与实际运行时间的相关性提高了20倍，大部分（70%）的计划更改导致延迟和资源使用的大幅改善。
2020-02-27 cs.DB
MultiCategory: Multi-model Query Processing Meets Category Theory and Functional Programming
数据的多样性是大数据时代的重要问题之一。数据自然地以不同的格式和模型组织，包括结构化数据、半结构化数据和非结构化数据。先前的研究设想了一种方法，抽象多模型数据与模式类别和实例类别，通过使用范畴理论。在本文中，我们展示了一个系统，称为MultiCategory，它处理多模型查询的基础上的范畴理论和函数式编程。本演示围绕四个主要场景来展示一个有形的系统。首先，我们将展示如何通过加载不同的数据模型（包括关系数据、XML数据、键值数据和图形数据）来构建模式类别和实例类别。其次，我们展示了一些使用函数式程序设计语言Haskell进行查询处理的示例。第三，我们演示了同一输入查询的不同数据模型的灵活输出。第四，为了更好地理解查询背后的类别理论结构，我们提供了各种图形钩子来探索和可视化查询作为关于模式类别的图形，以及Haskell的查询处理过程。
2021-08-30 cs.DB
Elastic Scheduling of Intermittent Query Processing in a Cluster Environment
U R Rao Satellite Centre, ISRO（乌尔·拉卫星中心，印度空间研究组织）；IIT Bombay（孟买印度理工学院）
本文提出了一种在弹性并行环境中处理元组批处理的调度方案，以满足截止时间并最小化成本，同时处理多个并发查询、新查询的到来和输入速率变化。
2026-07-21 cs.DB
A Survey of Skyline Query Processing
生活在信息时代，几乎每个人都可以获得大量的信息和选择，以满足他们的需求。在许多情况下，可用的信息量和变化率可能会隐藏最佳和真正想要的解决方案。这表明需要有一种机制，突出在各种可能的情况中选择最佳方案。在此基础上提出了Skyline查询，它是一种决策支持机制，通过识别数据集特征的最优组合来检索数据集的物有所值选项。本文调查了国家的最先进的天际线查询处理技术，提出了解决类似问题的初始算法的许多变化和特定于应用程序的方法，开发，以提供一个有效的解决方案，在每种情况下。在每一节中，概述了分类法以及每个算法的关键方面及其与以前研究的关系。
2017-04-06 cs.DB
ML-AQP: Query-Driven Approximate Query Processing based on Machine Learning
随着越来越多的组织依赖于数据驱动的决策，大规模分析变得越来越重要。然而，分析师往往被困在等待一个确切的结果。因此，组织转向拥有有效分析大量数据的基础设施的云提供商。但是，随着成本的增加，组织必须优化其使用。有一个便宜的替代品，提供速度和效率将有很长的路要走。具体来说，我们提供了一种解决方案，可以为聚合查询提供近似答案，依赖于机器学习（ML），它能够与云系统一起工作。我们开发的轻量级ML主导的系统可以存储在分析师的本地机器上或部署为服务，以立即回答分析查询，具有较低的响应时间和货币/计算成本和能源足迹。为了实现这一目标，我们利用先前回答的查询所获得的知识，并构建ML模型，可以以高效且廉价的方式估计新查询的结果。我们的系统的能力是通过使用真实和合成数据集/工作负载以及众所周知的基准进行广泛的评估来证明的。
2020-03-14 cs.DB
Diversification on Big Data in Query Processing
近年来，在大数据领域，一些流行的应用，如网络搜索引擎和推荐系统，面临着在查询处理期间使结果多样化的问题。从这个意义上说，提出处理大数据的方法以增加结果集的多样性是重要和必要的。在本文中，我们首先定义了一个集合的多样性和一个元素的能力，以提高集合的整体多样性。基于这些定义，我们提出了一个多元化的框架，具有良好的绩效和效率方面。同时，该框架在成功概率上也有理论保证.其次，我们设计实现算法的数值和字符串数据的基础上，这个框架。第三，分别针对数值数据和字符串数据，在真实数据上进行了大量的实验来验证我们提出的框架的性能，并在合成数据上进行了可伸缩性实验。
2018-08-02 cs.DB
LifeRaft: Data-Driven, Batch Processing for the Exploration of Scientific Databases
梳理大量数据的工作负载在科学中越来越重要。这些工作负载由“大海捞针”查询组成，这些查询需要长时间运行且数据密集，因此查询吞吐量限制了性能。为了最大限度地提高数据密集型查询的吞吐量，我们提出了LifeRaft：一个查询处理系统，批量查询重叠的数据需求。LifeRaft不是按照到达顺序来调度查询，而是按照最大化查询之间的数据共享的数据排序来并发地执行查询。这减少了I/O并提高了缓存利用率。但是，这种批处理会使交互式工作负载不足，从而增加查询响应时间。LifeRaft使用受磁盘驱动器中磁头调度启发的技术来解决饥饿问题。根据工作负载饱和度和排队时间，系统自适应地和增量地权衡处理查询的到达顺序和数据驱动的批处理。在天文数据库的SkyQuery联邦中评估LifeRaft，发现查询吞吐量有两倍的提高。
2009-09-09 cs.DB
Efficient Data Ingestion and Query Processing for LSM-Based Storage Systems
近年来，日志结构化合并（Log Structured Merge，LSM）树因其优越的写入性能而被NoSQL和NewSQL系统广泛采用。尽管它的流行，但是，大多数现有的工作都集中在基于LSM的键值存储，只有一个主要的LSM树索引;辅助结构，这是关键的支持ad-hoc查询，得到了较少的关注。在本文中，我们专注于高效的数据摄取和查询处理的通用基于LSM的存储系统。我们首先提出并评估了一系列的优化，有效的批量点查找，显着提高基于LSM的二级索引的适用范围。然后，我们提出了几个新的和有效的维护策略基于LSM的存储系统。最后，我们已经实施和实验评估的Apache AsterixDB系统的上下文中提出的技术，我们在这里提出的结果。
2019-01-07 cs.DB
