Oblivious Query Processing
受云安全问题的影响，人们对可以存储和支持对加密数据的查询的数据库系统越来越感兴趣。这种系统的常见架构是使用可信组件，例如用于查询处理的密码协处理器，其用于安全地解密数据并以明文执行计算。可信组件具有有限的内存，因此大部分（输入和中间）数据在不可信的存储中保持加密，并根据“需求”移动到可信组件。“”在这种设置下，即使使用强加密，来自不可信存储的数据访问模式也有可能泄露敏感信息;实际上，所有使用可信组件对加密数据进行查询处理的现有系统都存在此漏洞。在本文中，我们进行了第一次正式的研究安全查询处理，对手有充分的知识的查询（文本），并观察查询执行学习没有关于底层数据库以外的数据库上的查询的结果大小。我们引入了一个更简单的概念，不经意的查询处理，并正式表明，一个查询承认安全的查询处理，当它承认不经意的查询处理。我们提出了一个丰富的数据库查询，涉及选择，连接，分组和聚合的不经意的查询处理算法。对于我们的算法不处理的查询，我们提供了一些初步的证据，设计不经意（因此安全）的算法将很难通过减少两个简单的，研究充分的问题，通常认为是困难的。我们对不经意查询处理的研究也揭示了与数据库连接理论的有趣联系。
2013-12-14 cs.DB
Distributed Inference and Query Processing for RFID Tracking and Monitoring
在本文中，我们提出了一个可扩展的，分布式流处理系统的RFID跟踪和监控的设计。由于RFID数据缺乏包容性和位置信息，这是关键的查询处理，我们建议在一个单一的体系结构，推理作为一种使能机制，高层次的查询处理流查询处理的位置和包容推理相结合。我们进一步考虑在大型分布式环境中实例化这样一个系统的挑战，以及分布式推理和查询处理的设计技术。我们的实验结果，使用真实世界的数据和大型合成的痕迹，证明了我们提出的技术的准确性，效率和可扩展性。
2011-03-22 cs.DB
Adaptive Distributed Top-k Query Processing
ADiT是一种自适应方法，用于处理对等网络上的分布式top- $k$查询，优化系统负载和查询响应时间。该方法考虑对等网络的大小、搜索对象的量$k$、连接的对等体的网络能力（即，传输速率）、存储在每个对等体上的对象的量、以及对等体在处理本地top- $k$查询时的速度。在各种场景的广泛实验中，我们可以证明ADiT优于最先进的分布式查询处理技术。
2016-06-06 cs.DB
XML Query Processing and Query Languges: A Survey
今天的数据库与不同领域和应用程序之间的互操作性有关。这就导致了数据库中数据可移植性的重要性。XML格式符合需求，并且越来越多地用于为不同领域和目的的应用程序提供服务。然而，有效地查询XML文档仍然是一个具有挑战性的问题。本文讨论了XML的查询处理问题，并回顾了各种作者提出的查询XML数据库的解决方案。
2010-10-06 cs.DB cs.DS
Metadata Challenge for Query Processing Over Heterogeneous Wireless Sensor Network
无线传感器网络成为我们生活中不可或缺的一部分。这些网络由于其灵活性和功能性，可用于监控各个域中的数据。无线传感器网络中的查询处理和优化是一个非常具有挑战性的任务，因为它们的能量和内存的限制。在本文中，首先，我们的重点是审查不同的方法，有显着影响的发展无线传感器网络的查询处理技术。最后，我们的目的是说明现有的方法在流行的查询处理引擎与未来的研究挑战，在查询优化。
2011-09-03 cs.DB
LocationSpark: In-memory Distributed Spatial Query Processing and Optimization
由于空间数据应用的普遍性以及这些应用产生和处理的大量空间数据，迫切需要可伸缩的空间查询处理。在本文中，我们提出了空间查询处理和优化的新技术，在内存和分布式设置，以解决可扩展性。更具体地说，我们引入了新的技术来处理查询偏斜，这在实践中是常见的，并相应地优化通信成本。我们提出了一个分布式查询调度器，使用一个新的成本模型来优化空间查询处理的成本。调度程序生成查询执行计划，以最大限度地减少查询倾斜的影响。查询调度器采用基于位图过滤器的新的空间索引技术，将查询转发到适当的本地节点。每个本地计算节点负责基于该节点中的索引和空间查询的性质来优化和选择其最佳本地查询执行计划。所有提出的空间查询处理和优化技术都在Spark（一个基于内存的分布式计算系统）中原型化。实验研究是基于真实的数据集，并表明，分布式空间查询处理可以提高到一个数量级，超过现有的内存和分布式空间系统。
2019-07-16 cs.DB
Intelligent Database Flexible Querying System by Approximate Query Processing
数据库柔性查询是用户对传统查询的一种替代。形式概念分析（FCA）的使用使人们有可能得到经典数据库管理系统（DBMS）所给出的近似答案。有些应用程序不需要精确的答案。但是，灵活的查询在响应时间方面代价很高。当灵活查询需要计算聚合函数（“Sum”、“Avg”、“Count”、“Var”等）时，该时间更为重要。在本文中，我们提出了一种方法，试图解决这个问题，使用近似查询处理（AQP）。
2012-04-14 cs.DB
High-Speed Query Processing over High-Speed Networks
现代数据库集群需要两个级别的网络：在小型服务器中连接CPU和NUMA区域，在大型服务器中连接多个服务器。这两种类型的网络之间的巨大性能差距曾经降低了分布式查询处理的速度，以至于机器集群的性能实际上比单个众核服务器更差。集群的主存容量增加仍然是这种横向扩展的唯一好处。InfiniBand等高速互连的经济可行性大大缩小了这一性能差距。然而，当分布式查询引擎保持不变时，仅凭InfiniBand的更高网络带宽并不能像预期的那样提高查询性能。分布式查询处理的可扩展性受到TCP开销、由于不协调的通信而引起的交换机争用以及由于经典交换操作符模型的可扩展性而导致的负载不平衡的损害。本文提出了一个分布式查询引擎，解决这些问题的蓝图，从整体上考虑这两个层次的网络。它由两部分组成：第一，混合并行性，区分本地和分布式并行性，以便在核心数量和服务器数量方面都具有更好的可扩展性。第二，一种新型的通信多路复用器，专为分析数据库工作负载量身定制，使用远程直接内存访问（RDMA）和低延迟网络调度进行高速通信，几乎没有CPU开销。使用TPC-H基准测试的HyperPer数据库系统内的广泛评估表明，我们的整体方法确实能够在高速网络上进行高速查询处理。
2015-11-02 cs.DB cs.DC
Query Complexity Based Optimal Processing of Raw Data
本文的目的是找到一种有效的方法来处理大型数据集具有不同类型的工作负载查询，以最小的复制。这项工作首先确定最适合给定的数据处理工具的查询的复杂性。本文提出了查询复杂度感知的分区技术QCA与轻量级的查询识别和分区算法。已经研究了不同的复制方法，以涵盖不同应用程序工作负载的更多用例。该技术使用被称为斯隆数字巡天SDSS的科学数据集进行演示。结果显示，与原始数据集相比，仅使用6.7%的加载格式数据集，工作负载执行时间WET减少了94.6%。与最先进的工作负载感知WA技术相比，QCA技术还将多节点复制减少了5.8倍。与WA相比，使用QCA建议的分区的多节点和多核执行工作负载减少了42.66%和25.46%的WET。
2022-05-12 cs.DB cs.DC
Proposing a New Method for Query Processing Adaption in DataBase
结合查询处理优化和Agent技术，提出了一个多Agent系统，该系统具有个性化查询和适应需求变化的特点。该系统采用了一种新的基于用户长期需求建模的算法和遗传算法来收集用户的查询数据。实验结果表明，与经典算法相比，该算法具有更强的自适应能力。
2010-01-20 cs.DB
CheetahGIS: Architecting a Scalable and Efficient Streaming Spatial Query Processing System
Southern University of Science and Technology（南方科技大学）；Wuhan University（武汉大学）
针对现有系统处理大量移动对象和实时空间查询的局限性，本研究基于Apache Flink Stateful Functions构建CheetahGIS系统，通过模块化架构、优化方法和通用范式提升性能，并验证了其处理三种流查询的通用性。
2025-11-12 cs.DB cs.DC
gSMat: A Scalable Sparse Matrix-based Join for SPARQL Query Processing
资源描述框架（RDF）已被广泛用于表示Web上的信息，而SPARQL是操作RDF数据的标准查询语言。给定一个SPARQL查询，往往存在多个连接，这是查询处理效率的瓶颈。此外，真实的RDF数据集往往表现出较强的数据稀疏性，这表明即使资源总数很大，一个资源往往只与少数资源相关。在本文中，我们提出了一个稀疏矩阵为基础的（SM为基础的）SPARQL查询处理方法在RDF数据集，同时考虑到连接优化和数据稀疏性。首先，我们提出了一个基于SM的RDF数据存储，以提高存储效率，其中只存储有效的边缘，然后在存储上引入一个基于谓词的哈希索引。其次，我们开发了一个可扩展的SM为SPARQL查询处理的连接算法。最后，我们通过累加所有中间结果来分析总体开销，并设计了一个查询计划生成算法。此外，我们扩展了我们的SM为基础的连接算法在GPU上的并行SPARQL查询处理。我们已经评估了我们的方法相比，国家的最先进的RDF引擎在基准RDF数据集和实验结果表明，我们的建议可以显着提高SPARQL查询处理具有高可扩展性。
2018-07-20 cs.DB
MorphStore: Analytical Query Engine with a Holistic Compression-Enabled Processing Model
在本文中，我们提出了MorphStore，一个开源的内存中的列式分析查询引擎与一个新的整体压缩启用处理模型。基本上，使用轻量级整数压缩算法的压缩已经在现有的内存列存储数据库系统中发挥了重要作用，但主要是针对基本数据。具体地，在查询处理期间，这些系统仅保持数据被压缩，直到操作员不能直接处理压缩数据，于是数据被解压缩，但不被重新压缩。因此，在查询处理期间压缩的全部潜力没有被利用。为了克服这一点，我们开发了一种新的压缩启用处理模型，如本文所述。正如我们将要展示的那样，对所有基础数据和所有中间数据连续使用压缩对于减少总体内存占用以及提高查询性能是非常有益的。
2020-04-20 cs.DB
Approximate Query Processing via Tuple Bubbles
我们提出了一种通用的方法来轻量级的，近似的查询处理，通过创建紧凑，但可调的精确表示大量的原始元组，杜撰的气泡。查询处理不是处理元组的表，而是对气泡进行操作，但在概念上保留了传统的查询处理范例。我们相信这是一种自然可行的方法，可以在分解的云环境或资源有限的情况下对大型数据进行近似查询处理。气泡在封闭元组的紧凑性以及统计数据的粒度和实例化方式方面是可调的。为了提高准确性，我们提出了第一个工作解决方案，通过贝叶斯网络，每个表，或沿外键连接表示气泡。为了支持这种方法的可行性，我们报告了一个实验评估，考虑到最先进的竞争对手，我们在评估估计精度，执行时间和所需的磁盘空间时显示出明显的优势。
2022-12-20 cs.DB
DeepSPACE: Approximate Geospatial Query Processing with Deep Learning
可用地理空间数据的数量以前所未有的速度增长。这导致对处理能力和存储的需求不断增加，以便及时提供数据分析。同时，许多地理空间处理本质上是可视化和探索性的，因此具有有限的精度要求。我们提出了DeepSPACE，一个基于深度学习的近似地理空间查询处理引擎，它将适度的硬件要求与回答灵活聚合查询的能力相结合，同时将所需的状态保持在几百KiB。
2019-06-14 cs.DB
A Framework for Federated SPARQL Query Processing over Heterogeneous Linked Data Fragments
链接数据片段（LDFs）是指允许访问和查询Web上的知识图谱的Web接口。这些接口（如SPARQL端点或Triple Pattern Fragment服务器）在它们可以计算的SPARQL表达式和它们提供的元数据方面有所不同。已经提出了客户端查询处理方法，并且这些方法被定制以评估各个接口上的查询。此外，联邦查询处理集中在具有单一类型LDF接口（通常是SPARQL端点）的联邦上。在这项工作中，我们解决的挑战，SPARQL查询处理联邦异构LDF接口。为此，我们形式化的概念联邦的关联数据片段，并提出了一个框架，联邦查询异构联邦不同LDF接口。该框架包括查询分解，查询规划，和适应不同LDF接口的特殊性的物理操作符。此外，我们提出了一种方法，我们的框架的每个组成部分，并评估他们在著名的FedBench基准的实验研究。结果表明，通过设计这些接口感知的方法，利用联邦中的异构接口的能力，实现了性能的大幅改善。
2021-02-26 cs.DB
Processing Regular Path Queries on Arbitrarily Distributed Data
正则路径查询（RPQ）是一种图查询，其中答案是由匹配正则表达式的一系列边连接的节点对。我们研究的技术来处理这种查询的分布式数据图。虽然许多技术假设每个数据元素（节点或边）的位置是已知的，但当分布式系统的组件是自治的时，数据将被任意分布。由于不同的查询处理策略在最坏的情况下是等价的成本，我们隔离查询相关的成本因素，并提出了一种方法来选择策略，使用新的查询成本估计技术。我们评估我们的技术使用有意义的查询生物医学数据。
2015-10-14 cs.DB cs.DC
State-of-the-Art on Query & Transaction Processing Acceleration
现代图形处理单元（GPU）提供的巨大处理能力和内存带宽使其成为数据密集型应用程序的平台。数据库社区将GPU视为数据处理的有效协处理器。在过去的几年里，有许多方法可以在数据库系统的不同级别上使用GPU。在本内部技术报告中，基于[1]和其他一些研究论文，我们确定了LIP6中GPU加速数据库管理系统的可能研究领域。我们描述了一些关键属性，GPU感知数据库架构的典型挑战，并确定主要的开放挑战。
2019-06-27 cs.DB cs.DC cs.PF
Elastic Processing of Analytical Query Workloads on IaaS Clouds
许多现代应用程序需要对大量数据进行分析查询。这样的查询需要连接和大量的聚合，通常包括用户定义函数（UDF）。处理这些特定类型查询的最有效方法是使用树执行计划。在这项工作中，我们开发了一个引擎的分析查询处理和一套专门的技术，共同利用这种计划的树形式。该引擎在弹性IaaS云基础设施中执行这些树计划，并根据在滑动时间窗口内监控的查询工作负载分配和释放相关资源，从而动态适应。该引擎根据与传入查询相关的服务级别协议（SLA）提供收费服务;其云资源管理旨在消除使用这些资源的成本后最大化利润。我们已经完全实现了我们的算法在Exareme的处理系统。我们提出了一个广泛的评估，表明我们的方法是非常有效的（表现出快速的响应时间），弹性（成功地调整它使用的云资源作为引擎不断适应查询工作负载的变化），和有利可图的（非常接近SLA为基础的收入和基于云的费用之间的最大差异）。
2015-01-06 cs.DB cs.DC
Technical Report: Parallel Distance Threshold Query Processing for Spatiotemporal Trajectory Databases on the GPU
处理移动对象的轨迹出现在许多应用领域，并已解决了从业者在时空数据库和地理信息系统社区。在这项工作中，我们专注于一个轨迹相似性搜索，距离阈值查询，它发现在给定的距离d内的搜索轨迹在一个时间间隔内的所有轨迹。我们展示了一个多线程实现的性能，其特点是使用一个R-树索引，并具有很高的并行效率（78%-90%）。我们介绍了一个GPGPU的实现，它避免了使用索引树，而是具有GPU友好的索引方法。我们比较多线程和GPU实现的性能，并表明，可以使用后者获得的加速比。我们提出了两类算法，SetSplit和GreedySetSplit，以创建高效的查询批次，减少内存压力和GPU上的计算成本。然而，我们发现使用固定大小的批次在实践中是足够有效的。我们开发了一个经验的性能模型，我们的GPGPU实现，可用于预测的响应时间的距离阈值查询。这个模型可以用来选择一个好的查询批量大小。
2014-09-13 cs.DB cs.DC
Storage, Indexing, Query Processing, and Benchmarking in Centralized and Distributed RDF Engines: A Survey
语义网和关联数据的最新进展已经改变了传统网络的工作方式。资源描述框架（RDF）格式被广泛采用，用于保存基于网络的数据。这种大规模的采用为各种集中式和分布式RDF处理引擎的开发铺平了道路。这些引擎采用各种机制来实现查询处理引擎的关键组件，例如数据存储、索引、语言支持和查询执行。所有这些组件都控制查询的执行方式，并对查询运行时产生重大影响。例如，以各种方式存储RDF数据会显著影响所需的数据存储空间和查询运行时性能。RDF引擎中使用的索引方法类型对于快速数据查找至关重要。底层查询语言的类型（例如，SPARQL或SQL）是RDF存储解决方案的关键优化组件。最后，涉及不同联接顺序的查询执行会显著影响查询响应时间。本文从存储、索引、语言支持和查询执行等方面对集中式和分布式RDF引擎进行了全面的综述。
2020-09-23 cs.DB
Guided Link-Traversal-Based Query Processing
基于链接的查询处理（LTBQP）是一种通过从一组种子文档开始评估数据Web上的查询的技术，这些种子文档通过以下超链接动态扩展。与静态源集合上的查询评估相比，LTBQP由于所需的网络请求的数量而明显较慢。此外，由于来源是动态选择的，因此人们对结果的相关性和可信度感到关切。为了解决这两个问题，我们提出了引导LTBQP，一种技术，其中有关文档链接结构和内容策略的信息传递到查询处理器。因此，处理器可以通过仅遵循相关链接来修剪文档的搜索树，并且通过限制针对什么种类的内容考虑哪些文档来将结果集限制为期望的结果。在这篇探索性的论文中，我们在高层次上描述了这项技术，并概述了它的一些应用。我们认为，这样的指导可以使LTBQP在分散的环境中，数据分布在不同级别的用户信任的文档中的一个有价值的查询策略。
2020-05-03 cs.DB cs.IR cs.SI
SPARQL query processing with Apache Spark
链接数据源的数量和链接开放数据图的大小每天都在增长。因此，语义RDF服务越来越多地面临各种“大数据”问题。查询处理就是其中之一，需要在可伸缩、高可用和容错的框架上执行，从而有效地解决查询处理问题。需要这些属性的数据管理系统很少从头开始构建，而是在现有集群计算引擎的基础上设计的。在这项工作中，我们考虑使用Apache Spark处理SPARQL查询。我们提出并比较了五种不同的查询处理方法，基于不同的连接执行模型和Spark组件。在真实世界和合成数据集上的详细实验强调，为RDF数据模型定制的两种方法在所有主要查询形状上都优于其他方法，即，星型、雪花型、链式和混合型。
2016-11-03 cs.DB
Distributed Query Processing Plans generation using Teacher Learner Based Optimization
随着数据库的日益普及，数据源的数量和数据量在近几年都在快速增长。操作数据在分散数据源上的分布对处理用户查询提出了挑战。在这样的数据库系统中，查询所需的数据库关系可以存储在多个站点。这导致用户查询的可能等价物或替代物的数量呈指数级增长。虽然在一个大的搜索空间中穷尽所有可能的查询计划在计算上是不合理的，但是在分布式数据库系统中产生最优查询计划的策略是必需的。具有最具成本效益的查询处理选项的查询计划是必要的，并且必须为给定的查询生成。本文试图产生这样的最佳查询计划，使用无参数的优化技术基于教学的优化（TLBO）。TLBO算法在求解多目标无约束和有约束基准优化问题时，均取得了较好的效果。实验比较了基于TLBO的最优查询计划生成算法和基于多目标遗传算法的分布式查询计划生成算法，结果表明，对于更大的关系数，基于TLBO的算法能够生成质量相对更好的TopK查询计划。
2016-02-14 cs.DB
Shrinkwrap: Differentially-Private Query Processing in Private Data Federations
私有数据联合是一组自治数据库，它们共享统一的查询接口，提供对其成员敏感数据联合的SQL查询的原位评估。由于隐私问题，这些系统没有一个可信的数据收集器，可以看到他们的所有数据，他们的成员数据库无法了解其他引擎的个人记录。联邦目前通过使用安全多方计算评估查询遗忘来实现这一目标。这通过穷举填充来隐藏每个查询运算符的中间结果基数。对于此类运算符的级联，这种填充累积会导致每个运算符的输出大小爆炸，并导致查询性能的成比例损失。因此，现有的私有数据联合不能很好地扩展到大型数据集上的复杂SQL查询。我们引入Shrinkwrap，一个私有数据联合，为数据所有者提供其他人持有的数据的差异化私有视图，以提高他们在不经意的查询处理上的性能。Shrinkwrap使用计算差分隐私来最小化中间查询结果的填充，与不经意查询处理相比，性能提高高达35倍。当查询需要不同的私有输出时，Shrinkwrap提供了结果准确性和查询评估性能之间的权衡。
2018-10-03 cs.DB
Towards a Natural Language Query Processing System
解决非技术数据库终端用户和具有正式查询语言知识的用户之间的信息检索差距一直是数据管理和分析研究的一个有趣领域。使用自然语言接口从数据库中查询信息，为最终用户和使用正式查询语言的系统之间的通信挑战提供了机会。以前的研究工作主要集中在开发关系数据库的结构化查询接口。然而，文本、图像和视频等非结构化大数据的发展暴露了传统结构化查询接口的局限性。虽然现有的网络搜索工具证明了自然语言查询的普及性和可用性，但它们返回完整的文档和网页，而不是集中的查询响应，并且不适用于数据库系统。本文报告了我们对后端关系数据库的自然语言查询接口的设计和开发的研究。该研究的新颖之处在于将图数据库定义为中间层，以存储将自然语言查询转换为可以在后端数据库上执行的结构化查询语言所需的必要元数据。我们使用餐厅数据集实现并评估了我们的方法。一些示例查询的翻译结果产生了90%的准确率。
2020-09-25 cs.AI cs.DB cs.IR
Code Generation Techniques for Raw Data Processing
目前研究的动机是设计一种算法，可以加快查询的处理。重要的特性是为特定的查询动态生成代码。我们提出的代码生成技术，适用于原始文件的查询处理。其思想是使用给定的查询定制查询程序，并生成特定于机器和查询的源代码。生成的代码由GCC、Clang或任何其他C/C++编译器编译，编译后的文件动态链接到主程序以进行进一步处理。代码生成降低了一般化查询处理的成本。它还避免了在实现高性能的常规解释的开销。数据库管理系统（DBMS）在大数据的许多方面都表现出色，例如存储，索引和分析。DBMS通常格式化整个数据并将其加载到其存储层中。它们增加了数据查询时间，这是将数据转换为特定模式并将其持久化在磁盘中所花费的成本时间。理想情况下，DBMS应该适应输入数据，并提取与给定查询相关联的一个/一些列，而不是整个数据。因此，原始文件上的查询引擎可以减少常规常规操作的成本，并避免一些不必要的过程，如完全扫描，标记化和配对整个数据。在目前的研究中，我们介绍了我们的代码生成方法，在原位处理的原始文件，这是基于模板的方法和炒作的方法。该方法最大限度地减少了数据查询的时间，并实现了高性能的查询处理。我们的工作有一些好处：减少分支和指令，展开循环，消除不必要的数据类型检查和优化二进制代码与本地机器上的编译器。
2017-12-09 cs.DB
PIQUE: Progressive Integrated QUery Operator with Pay-As-You-Go Enrichment
今天的文本、图像、视频和传感器数据形式的大数据需要丰富（即，用标签注释）。数据富集（取决于应用，其可以是编译代码、声明性查询或昂贵的机器学习和/或信号处理技术）通常不能在数据摄取时作为预处理步骤整体执行。在摄取之后作为单独的离线步骤来丰富数据，使得在摄取和丰富之间的时间段内数据不可用于分析。为了弥补这一差距，本文探讨了一种新的方法，支持渐进式数据丰富查询处理过程中，以支持交互式探索性分析。我们的方法是基于集成一个名为PIQUE的操作符，以支持在查询处理过程中优先执行的丰富功能。使用PIQUE操作符的查询处理在查询处理期间回答质量提高的速率方面显著优于基线。
2019-10-18 cs.DB
ADQUEX: Adaptive Processing of Federated Queries over Linked Data based on Tuple Routing
由于关联数据在网络上的分布性，分布式处理联邦查询的方法对用户更有吸引力，并获得了越来越多的繁荣。在联邦查询的分布式处理中，我们需要一些方法和过程来以最优的方式执行查询。大多数现有的方法执行的优化任务的基础上，一些统计信息，而查询处理器没有精确的统计信息，其属性，因为数据源是自治的。当没有精确的统计数据时，错误估计的可能性将大大增加，并可能导致在运行时执行查询的效率低下。现有方法的另一个问题是，在优化阶段，它们假设查询执行的运行时条件是稳定的，而在链接数据上执行联邦查询的环境是动态的和不可预测的。通过考虑这两个问题，有一个很大的潜力，利用联邦查询处理技术的自适应方式。在本文中，提出了一种自适应的方法来处理联邦查询的链接数据，路由的元组的概念的基础上。所提出的方法，命名为ADQUEX，是能够有效地执行查询没有任何先验统计信息。此方法可以在运行时更改查询执行计划，以便生成更少的中间结果。它还可以适应新的情况下，如果不可预测的网络故障发生的执行计划。通过在已知的链接数据集上运行真实查询，对我们的方法进行了广泛的评估，结果非常好，特别是对于复杂的查询。
2015-05-19 cs.DB cs.DC
LAQP: Learning-based Approximate Query Processing
Department of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）
由于数据量的快速增长，对大数据的查询是一项具有挑战性的任务。近似查询处理（AQP）是满足快速响应要求的一种方法。在本文中，我们提出了一种基于学习的AQP方法称为LAQP。LAQP建立一个从历史查询中学习的误差模型，以预测每个新查询的基于采样的估计误差。它结合了基于采样的AQP、预先计算的聚合和学习误差模型，以小的离线样本提供高精度的查询估计。实验结果表明，我们的LAQP优于基于采样的AQP，基于预聚合的AQP和最新的基于学习的AQP方法。
2020-03-05 cs.DB cs.LG
GraphMatch: Subgraph Query Processing on FPGAs
本文提出GraphMatch，首个基于最坏情况最优连接、专为FPGA设计的通用子图查询处理加速器，通过AllCompare集合交集方法实现高效子图嵌入查询，相比GraphFlow和RapidMatch分别加速2.68倍和5.16倍。
2024-02-27 cs.AR cs.DB
High Throughput Shortest Distance Query Processing on Large Dynamic Road Networks
针对大型动态道路网络的高吞吐量最短路径查询，本文提出PSP、PMHL及PostMHL索引与跨边界优化，实验显示吞吐量最高提升2个数量级。
2025-02-17 cs.DB
qwLSH: Cache-conscious Indexing for Processing Similarity Search Query Workloads in High-Dimensional Spaces
高维空间中的相似性搜索查询是诸如图像处理、机器学习等许多领域中的一种重要的查询类型。由于精确相似性搜索索引技术在高维空间中遭受众所周知的维数灾难，因此通常使用近似搜索技术来代替。局部敏感散列（LSH）已被证明是一种有效的近似搜索方法，用于解决高维空间中的相似性搜索查询。通常情况下，真实环境中的查询作为查询工作负载的一部分到达。LSH及其变体专门设计用于有效地解决单个查询。它们在执行查询工作负载时有一个主要缺点：在设计索引结构时，它们没有考虑有效利用缓存的重要数据特征。在本文中，我们提出了qwLSH，索引结构，有效地处理相似性搜索查询工作量在高维空间。我们智能地划分一个给定的缓存在处理过程中的查询工作量，通过使用新的成本模型。实验结果表明，给定查询工作量，qwLSH是能够执行速度比现有的技术，由于其独特的成本模型和策略。
2019-07-26 cs.DB
Hydro: Adaptive Query Processing of ML Queries
Georgia Institute of Technology（佐治亚理工学院）
本文提出Hydro，一个利用自适应查询处理（AQP）的ML中心DBMS，通过动态监控UDF统计信息、优化谓词评估顺序和资源分配，解决了ML查询中UDF性能瓶颈和数据依赖的计划优化问题，实现高达11.52倍加速。
2024-03-22 cs.DB cs.LG
Efficient Query Processing for SPARQL Federations with Replicated Fragments
公共SPARQL端点的低可靠性和可用性阻止了现实世界的应用程序利用这些查询基础结构的所有潜力。服务器上的数据碎片可以提高数据可用性，但会降低性能。复制片段可以在性能和可用性之间提供新的折衷。我们提出FERENCE，查询关联数据，利用客户端数据复制的框架，并执行源选择算法，旨在减少所选择的公共SPARQL端点，执行时间和中间结果的数量。FERENTIAL已在最先进的查询引擎ANAPSID和FedX上实现，并在各种真实数据集上进行了经验评估。
2015-03-10 cs.DB
Fedra: Query Processing for SPARQL Federations with Divergence
本地SPARQL端点的数据复制和部署提高了公共SPARQL端点的可伸缩性和可用性，使链接数据的消费成为现实。此解决方案需要同步和特定的查询处理策略来利用复制。然而，现有的复制感知技术在SPARQL端点的联邦不考虑数据的动态性。我们提出了Fedra，一种查询从复制中受益的端点联盟的方法。Fedra联邦的参与者可以从多个数据集中复制数据片段，并使用出处和视图描述它们。这些描述使Fedra能够减少所选端点的数量，同时满足用户的分散需求。在真实世界数据集上的实验表明，节省高达三个数量级。
2014-07-10 cs.DB
Mobile Database System: Role of Mobility on the Query Processing
移动通信技术的迅速发展将使移动用户能够随时随地访问信息。无线技术的出现使得在移动环境中实现连续连接成为可能。当查询被指定为连续时，请求移动用户可以获得连续变化的结果。为了向请求移动的用户提供准确和及时的结果，必须密切监视移动对象的位置。本文的目的是讨论在移动环境中的个人和终端的移动性和查询处理的作用有关的问题。
2010-04-10 cs.DB
Effective Spatial Data Partitioning for Scalable Query Processing
最近，基于MapReduce的空间查询系统已经成为大规模空间数据处理和分析的一种具有成本效益和可扩展性的解决方案。基于MapReduce的系统通过划分数据并在这些分区上并行运行查询任务来实现巨大的可伸缩性。因此，有效的数据划分对于任务并行化、负载均衡至关重要，并直接影响系统性能。然而，空间数据划分的几个陷阱使这项任务特别具有挑战性。首先，数据倾斜在空间应用中非常常见。为了实现最佳查询性能，需要减少数据倾斜。其次，空间分区方法生成跨越多个分区的边界对象，并增加额外的查询处理开销。因此，需要最小化边界对象。第三，空间划分算法的高计算复杂性与大量数据相结合，需要一种有效的方法来划分，以实现整体快速查询响应。在本文中，我们提供了一个系统的评估多个空间分区方法与一组不同的分区策略，并研究其对MapReduce的空间查询的性能的影响。我们还研究了基于采样的分区方法及其对查询的影响，并提出了几种基于MapReduce的高性能空间分区方法。我们的工作的主要目标是提供一个全面的指导，最佳的空间数据分区，以支持可扩展的和快速的空间数据处理的大规模并行数据处理框架，如MapReduce。在这项工作中开发的算法是开源的，可以很容易地集成到不同的高性能空间数据处理系统。
2015-09-03 cs.DB
Sensitivity estimation for differentially private query processing
针对含连接操作的复杂查询敏感度难以计算的问题，本文提出基于采样和草图的高效敏感度估计方法，在保证准确性的同时显著降低计算开销。
2023-04-19 cs.CR cs.DB
Workload-Driven Vertical Partitioning for Effective Query Processing over Raw Data
传统的数据库没有配备足够的功能来处理“大数据”的数量和种类。严格的模式定义和数据加载即使对于最基本的查询会话也是先决条件。原始数据处理已经被提出作为一种模式按需替代，提供即时访问数据。当加载是一个选项时，它完全由当前运行的查询驱动，导致查询工作负载的性能不佳。在本文中，我们研究的问题，工作负载驱动的原始数据处理部分加载。我们将加载建模为完全复制的二进制垂直分区。我们提供了一个线性混合整数规划优化配方，我们证明是NP-难的。我们设计了一个两阶段的启发式，在很短的时间内接近最优解。我们扩展的优化配方和启发式流水线的原始数据处理，场景中的数据访问和提取同时执行。我们提供了三个案例研究，在真正的数据格式，确认模型的准确性时，实现在一个国家的最先进的流水线操作的原始数据处理。
2015-05-09 cs.DB
Resource Utilization Monitoring for Raw Data Query Processing
科学实验、模拟和现代应用程序会产生大量数据。数据以原始格式存储，以避免传统数据库管理系统的高加载时间。研究人员提出了许多技术来提高原始数据的查询执行时间，并减少传统系统的数据加载时间。所有提出的技术的核心是通过只处理所需的数据或减少对数据的操作来有效地利用资源。将处理后的数据缓存在主存或磁盘中可以解决这个问题，避免数据的重复处理。但是，需要考虑主内存空间、存储IO速度和磁盘上的额外存储空间要求等资源的限制，以便为云或内部部署提供可靠且可扩展的解决方案。本文提出了改进的原始数据查询处理框架，通过整合资源监控模块。这些实验是使用斯隆数字巡天（SDSS）的科学数据集进行的。对监控资源的分析表明，抽样查询的资源利用率最低。PostgresRAW可以比PostgreSQL更快地回答简单的0-JOIN查询。而一个或多个JOIN复杂查询需要使用PostgreSQL来回答，以减少工作负载执行时间（WET）。结果部分讨论简单、复杂和抽样类型查询的资源需求。查询类型和资源利用模式的结果分析有助于为原始引擎和DBMS提出查询复杂性感知（QCA）和资源利用感知（RUA）数据分区技术，以减少成本或数据到结果的时间。
2022-12-21 cs.DB cs.DC cs.PF
Cohort Query Processing
现代互联网应用程序通常会产生大量的用户活动记录。数据分析师对队列分析感兴趣，或者在这些大型活动记录表中发现不寻常的用户行为趋势。在传统的数据库系统中，队列分析查询既难以指定，又难以评估。我们建议扩展数据库系统，以支持队列分析。我们通过使用三个新的操作符扩展SQL来做到这一点。我们设计了三种不同的评估方案队列查询处理。其中两个采用非侵入性方法。第三种方法采用基于列的评估方案，并针对队列查询处理进行了专门的优化。我们的实验结果证实了我们所提出的列式数据库系统的性能优势，与两个非侵入性的方法，实现队列查询上的常规关系数据库。
2016-05-04 cs.DB
Scheduling of Intermittent Query Processing
针对流处理中带截止时间约束的查询效率低下问题，提出利用更宽窗口的间歇式批处理调度方案，并在 Apache Spark 上实现，性能较 Spark streaming 提升数个数量级。
2024-09-20 cs.DB
Secure Query Processing with Linear Complexity
提出首个在MPC下具线性复杂度的连接协议LINQ，支持free-connex查询，实验证明其大幅优于现有技术，使安全查询处理更趋实用。
2024-04-23 cs.CR cs.DB
Incremental Techniques for Large-Scale Dynamic Query Processing
来自不同学科的许多应用程序现在都需要实时的分析快速发展的大数据。多年来，已经提出了用于增量式处理查询的各种方法。传统方法依赖于在流式传输更新时更新查询的结果，而不是重新计算这些查询，因此，期望更高的执行性能。然而，它们对于高频率更新的大型数据库表现不佳。因此，在文献中已经提出了新的算法和方法来解决这些挑战，例如，通过降低处理更新的复杂性。此外，这些算法中的许多现在都利用了分布式流媒体平台，如Spark Streaming和Flink。在本教程中，我们简要讨论增量查询处理的传统方法，然后概述由于处理大数据流而引入的新挑战。然后，我们详细讨论了最近提出的算法，解决这些挑战。我们强调的特点和算法分析的各种建议的方法，并讨论未来的研究方向。
2019-02-01 cs.DB
Query processing in distributed, taxonomy-based information sources
我们解决的问题，回答查询的分布式信息系统，存储对象索引的条款组织在一个分类。该分类法由项的无负DNF公式和项的无负合取之间的包含关系组成。在本文的第一部分中，我们考虑集中式的情况下，推导出一个基于超图的算法，是有效的数据复杂度。在本文的第二部分中，我们考虑分布式的情况下，提出了实现集中式算法的替代方法。这些方法源于两个基本标准：直接与查询重写评估，以及集中与分布式数据或分类法分配。这些标准的组合允许覆盖广泛的架构，从客户端-服务器到对等网络。我们通过在具有O（10^4）个节点的网络上进行模拟来评估各种架构的性能，并得出最终结果。最后对相关文献进行了广泛的回顾。
2011-09-12 cs.DB cs.DC
Trade-offs Computing Minimum Hub Cover toward Optimized Graph Query Processing
随着图形查询处理技术的成熟，优化的需求越来越迫切。索引是通过基于成本的优化实现高效查询处理策略的关键因素之一。由于明显缺乏一个通用的表示模型，很难集中精力开发访问结构、评估查询成本的指标和选择替代方案。在这种情况下，最近的兴趣覆盖为基础的图匹配似乎是一个很有前途的研究方向。在本文中，我们的目标是正式引入一个新的图形表示模型，称为最小枢纽覆盖，并证明这种表示提供了有趣的战略优势，有利于建设的候选图从图片段，并有助于利用索引的新方式进行查询优化。然而，类似于其他覆盖问题，最小枢纽覆盖是NP难的，因此是一个自然的候选优化。我们声称，计算最小枢纽覆盖导致图查询处理的成本大幅降低。我们提出了一个基于整数规划的最小枢纽覆盖的计算特征，以证实我们的主张，并调查其计算成本的各种图形类型。
2013-11-08 cs.DB cs.DS
A Survey on Efficient Processing of Similarity Queries over Neural Embeddings
相似性查询是基于某种相似性度量的一类查询。与大多基于值相等的传统数据库查询不同，相似性查询旨在根据一些相似性度量来找到与给定数据对象“足够相似”的目标，例如，为了度量数据对象之间的相似性，传统的方法通常工作在低级别或语法特征上（例如，图像的基本视觉特征或文本的词袋特征），这使得它们难以计算对象之间的语义相似性。因此，为了从语义上测量数据相似性，应用了神经嵌入。嵌入技术通过将原始数据对象表示为向量（所谓的“嵌入”或“神经嵌入”，因为它们主要由神经网络模型生成）来工作，该向量暴露原始数据的隐藏语义，基于该语义，嵌入确实在捕获数据相似性方面表现出突出的有效性，使其成为最先进的相似性查询处理研究中最广泛使用和研究的技术之一。但是基于嵌入的相似性查询处理的效率仍然存在许多挑战，这些挑战没有像有效性那样得到充分的研究。在这个调查中，我们首先提供了一个概述的“相似性查询”和“相似性查询处理”的问题。然后，我们讨论了最近在嵌入（或更一般地说，高维数据）之上设计索引和操作符以进行高效相似性查询处理的方法。最后，我们研究了在选定的应用领域的相似性查询，包括实体解析和信息检索的具体解决方案，使用和不使用嵌入。通过比较这些解决方案，我们展示了神经嵌入如何使这些应用受益。
2022-04-17 cs.DB cs.IR
QCATS: Query Context-Aware Transformer Slicing for Efficient Predictive Query Processing
Zhejiang University（浙江大学）；Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新区（滨江）区块链与数据安全研究院）
提出QCATS框架，利用查询上下文感知的Transformer切片实现数据库内高效稀疏推理，通过查询级路由和系统优化，在保持精度的同时降低延迟达4.42倍。
2026-10-08 cs.AI cs.DB
Scalable Relational Query Processing on Big Matrix Data
大规模机器学习方法的使用在从商业智能到自动驾驶汽车的许多应用中变得无处不在。这些方法需要由各种类型的操作组成的复杂计算流水线，用于预处理或后处理数据集的关系运算，以及用于核心模型计算的矩阵运算。许多现有的系统专注于有效地处理仅矩阵操作，并假设关系运算符的输入已经预先计算并具体化为中间矩阵。然而，在机器学习流水线中，对关系运算符的输入可能是复杂的，并且可能涉及矩阵运算符的各种组合。因此，实现直接对大矩阵数据进行操作的可扩展且高效的关系查询处理器至关重要。本文提出了新的高效和可扩展的关系查询处理技术的大矩阵数据在内存中的分布式集群。所提出的技术利用代数变换规则重写查询执行计划到一个具有较低的计算成本。分布式查询计划优化器利用合并函数的稀疏诱导属性以及Bloom连接策略来有效地评估连接操作的各种风格。此外，优化的分区方案的输入矩阵的开发，以促进性能的连接操作的成本模型的基础上，最大限度地减少通信overhead.The建议的关系查询处理技术的Apache Spark中的原型。真实和合成数据上的实验表明，所提出的技术实现了两个数量级的性能改善，在广泛的应用范围内的最先进的系统。
2021-11-09 cs.DB
SymphonyDB: A Polyglot Model for Knowledge Graph Query Processing
释放知识图谱（KG）的全部潜力以实现或增强各种语义和其他应用需要数据管理系统（DMS）来有效地存储和处理KG的内容。然而，KG数据集的大小和种类的增加以及KG查询的日益多样性对当前一代DMS提出了效率挑战，以至于代表性DMS的性能往往在不同查询类型之间显著变化，并且没有单一平台主导性能。我们提出了我们的可扩展的原型，SymphonyDB，作为一种方法来解决这个问题的基础上的查询处理的多语言模型的一部分，由一个统一的访问层支持的多数据库系统，可以分析/翻译个人查询只是在时间和匹配每个可能的最佳性能DMS之间Virtuoso，Blazegraph，RDF-3X，MongoDB作为代表DMS，包括在我们的原型在这个时候。我们的实验结果与原型在著名的KG基准数据集和查询点的效率和一致性，其性能在不同的查询类型和数据集。
2022-09-11 cs.DB cs.DC cs.PF
Odyssey: An End-to-End System for Pareto-Optimal Serverless Query Processing
The University of Edinburgh（爱丁堡大学）
针对现有无服务器数据分析依赖预设或人工构建查询计划、计划空间大且成本性能差异显著的问题，提出集成查询规划、成本模型与执行引擎的Odyssey系统，通过剪枝启发式与新型搜索算法生成帕累托最优计划，实验证明其成本与延迟预测准确，性能优于AWS Athena。
2025-10-29 cs.DB cs.DC
On the Impact of Memory Allocation on High-Performance Query Processing
有些令人惊讶的是，分析查询引擎的行为受到所使用的动态内存分配器的严重影响。内存分配器高度影响性能、可伸缩性、内存效率和对其他进程的内存公平性。在这项工作中，我们提供了第一个全面的实验分析内存分配的影响，高性能查询引擎。我们测试五个国家的最先进的动态内存分配器，并讨论他们的长处和短处在我们的DBMS。正确的分配器可以在4插槽Intel Xeon服务器上将TPC-DS（SF 100）的性能提高2.7倍。
2019-05-03 cs.DB cs.PF
An Overview of Query Processing on Crowdsourced Databases
众包是一种强大的解决方案，可以为数据库中昂贵和未回答的查询找到正确答案，包括那些不确定和不完整的数据。尝试使用众包来利用人类的能力来使用人类工作者处理这些昂贵的查询，有助于通过利用人群中的可用数据来提供准确的结果。众包数据库系统（CSDB）通过使用具有微小改变的关系数据库的某种变体来将群体的知识与关系数据库相结合。本文综述了CSDB中传统查询和偏好查询在查询处理领域的主要研究。这项工作的重点是突出每种方法的优点和缺点。详细讨论了当前和未来的研究趋势与查询处理领域的CSDB。
2022-04-16 cs.DB
