Federating and querying heterogeneous and distributed Web APIs and triple stores
当今的国际公司，如作物保护行业的领先公司巴斯夫，生产和消费越来越多的数据，这些数据通常是分散的，可以通过Web API访问。此外，巴斯夫感兴趣的部分专有和公共数据存储在三重存储中，并可通过SPARQL查询语言访问。在不修改或复制原始数据源的情况下，同质化数据访问模式和数据的底层语义成为实现数据集成和互操作性的重要要求。在这项工作中，我们提出了一个联邦数据集成架构内的工业设置，依赖于基于本体的数据访问方法。我们在查询响应时间方面的性能评估表明，大多数查询可以在1秒内得到回答。
2022-06-03 cs.DB
FedQPL: A Language for Logical Query Plans over Heterogeneous Federations of RDF Data Sources (Extended Version)
RDF数据源的联合在查询无法单独从一个数据源获得的答案和见解时提供了巨大的潜力。规划在这样的联合上执行查询的挑战在于，联合在由联合成员提供的数据访问接口的类型方面可能是异构的。这一挑战在文献中没有得到太多关注。本文提供了一个坚实的正式基础，为未来的方法，旨在解决这一挑战。我们的主要概念的贡献是一个形式语言表示查询执行计划，此外，我们确定了这个语言的片段，可以用来捕捉一个给定的查询的不同部分选择相关的数据源的结果。作为技术贡献，我们表明，这个片段是更有表现力的比现有的源选择方法，这有效地突出了这些方法的固有局限性所支持的。此外，我们表明，源选择问题是NP-难的，在$Σ_2^\mathrm{P}$，我们提供了一套全面的重写规则，可用作查询优化的基础。
2020-10-02 cs.DB
Multi-Resource Parallel Query Scheduling and Optimization
调度查询执行计划在无共享并行系统中是特别复杂的问题，其中每个站点由本地时间共享（例如，CPU或磁盘）和空间共享（例如，存储器）资源，并通过消息传递与远程站点通信。并行查询调度的早期工作采用（a）并行任务调度的一维模型，有效地忽略了资源共享的潜在好处，或（b）全局可访问的资源单元的模型，这是只适用于共享内存架构，因为他们不能捕捉系统资源的亲和力网站。在本文中，我们开发了一种通用的方法，捕捉调度分布式，多维资源单位的所有形式的并行内部和跨查询和操作符的全部复杂性。我们提出了一个基于层次的列表调度启发式算法的独立查询任务（即，物理操作符流水线），其对于给定程度的分区并行性（具有取决于每个站点的时间共享和空间共享资源的数量以及克隆的粒度的最坏情况性能比）而言可证明是接近最优的。我们还提出了扩展来处理逻辑运算符中的阻塞约束（例如，散列连接）流水线和丛式查询计划以及在线任务到达（例如，在动态或多查询执行环境中）。我们的调度算法上实现的一个详细的仿真模型的实验验证了其有效性相比，现有的方法在现实的设置。基于我们的分析和实验结果，我们重新审视了开放的问题，设计高效的并行查询优化的成本模型，并提出了一个解决方案，捕获所有重要参数的并行执行。
2014-03-30 cs.DB
Worst-Case Optimal Algorithms for Parallel Query Processing
本文研究了在$p$服务器上并行计算大型数据库上的合取查询问题的通信复杂性。与以前的工作，在通信上的上限和下限被指定为特定的数据结构（无论是数据没有歪斜，或数据与特定类型的歪斜），在这项工作中，我们专注于最坏情况下的通信成本分析。目标是找到最坏情况下的最优并行算法，类似于[18]中针对顺序算法的工作。我们首先表明，对于一个单一的回合，我们可以获得一个最佳的最坏情况下的算法。当所有关系的大小都等于$M$时，合取查询$q$的最优负载为$O(M/p^{1/ψ^*})$，其中$ψ^*$是一个新的与查询相关的量，称为边拟填充数，它不同于查询超图的边填充数和边覆盖数.对于多轮，我们提出的算法是最佳的几类查询。最后，我们展示了一个令人惊讶的连接到外部存储器模型，它允许我们翻译并行算法到外部存储器算法。这种技术使我们能够恢复（在一个多对数因子）的I/O计算连接查询的复杂性的几个最近的结果，并获得其他类别的查询的最佳算法。
2016-04-07 cs.DB
Fast Parallel Hypertree Decompositions in Logarithmic Recursion Depth
数据汇集的现代趋势正在使当前主流的数据库查询处理技术达到其极限。因此，各种新的方法，有效的查询处理正在积极研究。一种这样的方法是基于超树分解（HD），这已被证明具有很大的潜力，更有效地处理复杂的查询，并具有更强的理论保证。然而，使用HD进行查询执行依赖于计算查询结构的分解的困难任务，其指导查询的高效执行。从理论结果，我们知道，纯粹的顺序方法的性能是固有的限制，但问题是容易并行化。在本文中，我们提出了第一个算法计算超树分解，非常适合并行化。所提出的算法log-k-decomp只需要对数数量的递归级别，并允许高度并行修剪的搜索空间的限制平衡分隔符。我们提供了详细的实验评估HyperBench基准，并证明我们的方法是非常有效的，特别是对于复杂的查询。
2022-04-12 cs.DB
Scripting Relational Database Engine Using Transducer
我们允许数据库用户使用过程语言编写并行关系数据库引擎的脚本。过程语言代码作为用户定义的关系查询操作符（称为transducer）执行。Transducer与关系引擎紧密集成，包括查询优化器，查询执行器，并可以像其他查询操作器一样并行执行。使用transducer，我们可以有效地执行在SQL中很难表达的查询。作为例子，我们展示了如何在并行关系数据库中运行时间序列和图形查询等。
2018-05-11 cs.DB
HepToX: Heterogeneous Peer to Peer XML Databases
我们研究了一组异构的XML数据库，这些数据库维护相似和相关的信息，通过对等覆盖网络交换数据。在这种情况下，中介的全局模式是不现实的。然而，用户/应用程序希望通过一个对等体使用其模式来查询数据库。我们最近开发了一个P2P异构XML数据库系统HepToX。一个关键的想法是，每当一个对等点进入系统，它建立了一个熟人与少数对等数据库，可能与不同的模式。对等管理员使用箭头和框的非正式且直观的符号来提供本地模式与熟人模式之间的对应关系。我们开发了一种新的算法，推断出一组精确的映射规则之间的模式，从这些视觉注释。我们钉下这样的映射规则的查询翻译的语义，并提出了一种新的查询翻译算法的一个简单的，但富有表现力的片段的XQuery，采用在任何方向的映射规则。我们证明了翻译算法是正确的。最后，我们证明了我们的想法和算法的实用性和可扩展性，一组详细的实验上的Emulab，一个大规模的P2P网络仿真测试床。
2005-06-01 cs.DB
A Polystore Architecture Using Knowledge Graphs to Support Queries on Heterogeneous Data Stores
本研究提出一种基于知识图谱的多存储架构，通过全局概念模式与元模型映射，支持对异构数据存储的集成查询，相比关系型多数据库系统，查询复杂度降低两倍，处理时间增加不超过30%。
2024-03-16 cs.DB
Parallel-Correctness and Containment for Conjunctive Queries with Union and Negation
单轮多路连接算法首先在许多服务器上重新洗牌数据，然后以并行和无通信的方式评估手头的查询。一个关键的问题是，一个给定的分配策略的洗牌是足够的计算一个给定的查询，也被称为并行正确性。本文扩展了并行正确性及其组成部分，并行可靠性和并行完整性的复杂性的研究，工会的合取查询和不否定。作为一个副产品，它示出的合取查询与否定的包含问题是coNEXPTIME完全的。
2015-12-19 cs.DB
Beyond Single-Modal Analytics: A Framework for Integrating Heterogeneous LLM-Based Query Systems for Multi-Modal Data
University of Hawaii at Manoa（夏威夷大学曼纳oa分校）；University of Florida（佛罗里达大学）
本文提出Meta Engine，一种整合异构LLM查询系统的框架，通过统一的语义查询引擎提升多模态数据处理性能。
2026-03-02 cs.AI cs.DB
cSELENE: Privacy Preserving Query Retrieval System on Heterogeneous Cloud Data
虽然在其他地方的协作团队中工作，但有时联合（巨大）数据来自异构云供应商。它不仅涉及数据隐私问题，而且还涉及如何以快速安全的方式直接从云中查询这些联邦数据。以前的解决方案提供了公共云和可信私有云之间的混合云。另一个以前的解决方案在MapReduce框架上使用加密。但挑战在于我们正在处理异构云。在本文中，我们提出了一种新的技术与隐私关注的查询。由于我们考虑了执行时间，我们的基本思想是通过划分联邦数据库来使用数据采掘模型，以减少搜索和查询时间。使用数据库的模型意味着我们只使用数据库的摘要或非常特征的模式。建模是保护隐私的第一阶段，因为通过建模，数据被符号化。我们在数据库上实现加密以保护隐私第二阶段。我们的系统名为“cSELENE”（代表“cloud SELENE”），旨在处理异构云上的联合数据：AWS，Microsoft Azure和Google Cloud Platform with MapReduce技术。本文讨论了分布式云环境下的隐私保护系统和威胁模型、联邦数据格式、并行编程（GPU编程和共享/内存系统）、数据采掘模型的并行安全算法、云基础设施/架构以及cSELENE系统的UIX设计。其他问题，如增量方法和云架构系统的安全设计（虚拟机跨平台设计）仍然是开放的讨论。实验结果表明了该高性能计算方案的有效性和实用性。
2018-05-02 cs.DB cs.IR
Generating Custom Code for Efficient Query Execution on Heterogeneous Processors
处理器制造商构建越来越专用的处理器，以减轻电源墙的影响，从而提高性能。目前，数据库引擎是为每个处理器手动优化的：这是一个成本高昂且容易出错的过程。在本文中，我们提出的概念，使数据库引擎自动执行每处理器优化。我们的核心思想是创建生成代码的变体，并为每个处理器学习快速变体。我们通过修改并行化策略、专门化数据结构和应用不同的代码转换来创建变体。我们的实验结果表明，变体的性能可能会偏离两个数量级。因此，我们需要为每个处理器生成自定义代码，以实现峰值性能。我们表明，我们的方法为多核CPU，GPU和MIC找到了一个快速的自定义变体。
2017-09-03 cs.DB cs.DC
Feasible Plan Generation with Ambiguity-Boundedness in Cross-Model Query Processing
University of California San Diego（加州大学圣地亚哥分校）
本文提出了一种在跨模型查询处理中具有模糊性界限的可行计划生成方法，通过引入可行性约束来检测局部不一致，并引入了具有多项式界限的紧凑结构Packed Plan Forest（PPF），以高效地编码所有可行的中间逻辑计划（ILPs）并提前剪枝不可行的计划。
2026-05-18 cs.DB
Scheduling of Graph Queries: Controlling Intra- and Inter-query Parallelism for a High System Throughput
在社会、商业或交通网络、生物学和其他自然科学中使用的大量数据通常以基于图的数据集进行管理，这些数据集分别由数千到数十亿和数万亿的顶点和边组成。利用这些数据的典型应用程序可以交互地或作为批处理作业同时执行一个或几个复杂查询或许多小查询。此外，图形处理本质上是复杂的，因为数据集可以有很大的不同（无标度与常数度），算法表现出不同的行为（计算强度，局部或全局，基于推或拉）。这项工作是关注多查询执行自动控制的并行化程度，总体目标包括高系统利用率，低同步成本，高效的并发执行。基本概念有三个方面：（1）采样用于确定图形统计，（2）并行化约束来自算法和系统属性，以及（3）基于前两个方面生成合适的工作包。我们使用不同的算法对合成和真实世界的数据集，多达16个并发会话（查询）的建议的概念进行评估。结果表明，尽管这些各种配置的鲁棒性能，特别是，性能总是接近或甚至稍微领先于手动优化的实现的性能。此外，类似的性能手动优化的极端配置下的实现，这需要一个完整的并行化（几个大查询）或完整的顺序执行（许多小查询），表明所提出的概念表现出特别低的开销。
2021-10-20 cs.DB
Graph-based keyword search in heterogeneous data sources
数据新闻（Data Journalism）是调查性新闻的一个领域，它关注数字数据，将其视为一等公民。随着人类活动的趋势，留下了强烈的数字痕迹，数据新闻变得越来越重要。然而，随着数据源的数量和多样性的增加，查询应答需要考虑结构不同甚至完全没有结构的异构数据模型。我们与法国领先的报纸《世界报》合作的启发，我们设计了一种新颖的查询算法，通过关键字搜索利用这种异构语料库。我们将底层数据建模为图形，并且给定一组搜索项，我们的算法在图形中包含的异构数据集内和跨异构数据集之间建立链接。我们从结构化和非结构化数据中的关键字搜索的先前工作中汲取灵感，我们扩展了数据异构性维度，这使得关键字搜索问题在计算上更加困难。我们实现我们的算法，我们使用合成和真实世界的数据集来评估其性能。
2021-05-05 cs.DB
Large-Scale Query and XMatch, Entering the Parallel Zone
当前和未来的天文调查正在产生数百万和数十亿物体的目录。为了数据采掘和互相关而在线访问这样的大数据集通常是高度期望的，因为不可行。提供这些能力对于虚拟天文台框架正变得至关重要。在本文中，我们提出了各种性能测试，显示如何使用关系数据库管理系统（RDBMS）和分区算法的分区和并行计算，我们可以方便大规模的查询和交叉匹配。
2007-01-26 cs.CE cs.DB
RMLStreamer-SISO: an RDF stream generator from streaming heterogeneous data
流推理查询语言（如CQELS和C-SPARQL）支持RDF流上的查询应答。不幸的是，目前缺乏有效的RDF流生成器来为RDF流推理器提供支持。最先进的RDF流生成器在它们可以处理的流数据的速度和量方面受到限制。为了以可伸缩的方式高效地生成RDF流，我们扩展了RMLStreamer，使其也可以从动态异构数据流生成RDF流。本文介绍了一种可扩展的解决方案，它依赖于一个动态窗口的方法来生成RDF流，具有低延迟和高吞吐量的多个异构数据流。我们的评估表明，我们的解决方案通过实现毫秒级延迟（与最先进的解决方案所需的秒相比）、所有工作负载的恒定内存使用以及约70，000条记录/秒的可持续吞吐量（与最先进的解决方案所需的10，000条记录/秒相比）来超越最先进的解决方案。这打开了对大量数据流的访问，以便与语义Web集成。
2022-10-26 cs.DB
Conception et Evaluation de XQuery dans une architecture de médiation "Tout-XML"
XML已经成为表示和交换数据的主要语言，不仅在Web上，而且在企业中也是如此。XQuery正在成为XML的标准查询语言。因此，需要工具在XML查询和异构数据源之间进行调解，以集成XML中的数据。本文介绍了XMedia中介，一个独特的工具，集成和查询不同的异构信息作为统一的XML视图。它描述了中介器的体系结构，并重点介绍了该组件中实现的独特的分布式查询处理技术。查询计算基于原始的XML代数，只是简单地扩展了经典的操作符来处理树元素的元组。此外，我们提出了一套性能评估的关系基准，从而导致讨论可能的性能增强。
2008-06-30 cs.DB
Reducing the Cross-Model Tax: Query Optimization over Multi-Model Data
Charles University（查理大学）
本文针对跨异构数据模型查询的高开销问题，提出感知映射与能力的优化方法并在 MM-quecat 中实现，可大幅降低查询延迟、消除内存不足故障并缩短规划时间，提升多模型查询处理的效率与鲁棒性。
2026-09-07 cs.DB
Communication Steps for Parallel Query Processing
我们考虑的问题，计算一个关系查询$q$上的大型输入数据库的大小$n$，使用大量的$p$的服务器。计算是按轮执行的，每个服务器只能接收$O(n/p^{1-\varepsilon})$位数据，其中$\varepsilon \in [0,1]$是控制复制的参数。我们研究了计算$q$需要多少全局通信步骤。我们在两种情况下建立下限和上限。对于一个单一的一轮通信，我们给出了最强的可能的模型，任意位可以交换的下界，我们表明，任何算法都需要$\varepsilon \geq 1-1/τ^*$，其中$τ^*$是分数顶点覆盖的超图的$q$。我们还给出了一个算法，匹配的下限为特定类别的数据库。对于多轮通信，我们提出了一个模型中的元组的路由决策是基于元组的下限。我们表明，类树查询轮数和空间指数$\varepsilon$之间存在一个折衷。多轮的下限是同类中的第一个。我们的结果也意味着传递闭包不能在O（1）轮的通信中计算。
2013-06-25 cs.DB
Skew in Parallel Query Processing
我们研究的问题，计算一个合取查询q并行，使用p的服务器，在一个大型数据库。我们考虑一轮通信的算法，并研究通信的复杂性。我们特别感兴趣的情况下，数据是偏斜的，这是一个重大挑战，可扩展的并行查询处理。在两种情况下，我们建立了查询的分数边包装和通信量之间的紧密联系。首先，在数据库上的唯一统计数据是输入关系的基数，并且数据是无偏的情况下，我们提供了以查询q的分数边包装表示的匹配上界和下界（最多为多对数p因子）。其次，在关系倾斜并且重量级人物及其频率已知的情况下，我们提供了用通过将查询专门化为重量级人物而获得的剩余查询的包装来表示的上界和下界（最多为多log p因子）。我们所有的下限都以最强的形式表示，即具有无限计算能力的处理器之间需要通信的位数。我们的结果推广了统一数据库（其中每个关系都是匹配的）[4]上的一些先前结果，以及MapReduce模型的其他下界[1]。
2014-01-09 cs.DB cs.DS
Effective Spatial Data Partitioning for Scalable Query Processing
最近，基于MapReduce的空间查询系统已经成为大规模空间数据处理和分析的一种具有成本效益和可扩展性的解决方案。基于MapReduce的系统通过划分数据并在这些分区上并行运行查询任务来实现巨大的可伸缩性。因此，有效的数据划分对于任务并行化、负载均衡至关重要，并直接影响系统性能。然而，空间数据划分的几个陷阱使这项任务特别具有挑战性。首先，数据倾斜在空间应用中非常常见。为了实现最佳查询性能，需要减少数据倾斜。其次，空间分区方法生成跨越多个分区的边界对象，并增加额外的查询处理开销。因此，需要最小化边界对象。第三，空间划分算法的高计算复杂性与大量数据相结合，需要一种有效的方法来划分，以实现整体快速查询响应。在本文中，我们提供了一个系统的评估多个空间分区方法与一组不同的分区策略，并研究其对MapReduce的空间查询的性能的影响。我们还研究了基于采样的分区方法及其对查询的影响，并提出了几种基于MapReduce的高性能空间分区方法。我们的工作的主要目标是提供一个全面的指导，最佳的空间数据分区，以支持可扩展的和快速的空间数据处理的大规模并行数据处理框架，如MapReduce。在这项工作中开发的算法是开源的，可以很容易地集成到不同的高性能空间数据处理系统。
2015-09-03 cs.DB
Technical Report: Parallel Distance Threshold Query Processing for Spatiotemporal Trajectory Databases on the GPU
处理移动对象的轨迹出现在许多应用领域，并已解决了从业者在时空数据库和地理信息系统社区。在这项工作中，我们专注于一个轨迹相似性搜索，距离阈值查询，它发现在给定的距离d内的搜索轨迹在一个时间间隔内的所有轨迹。我们展示了一个多线程实现的性能，其特点是使用一个R-树索引，并具有很高的并行效率（78%-90%）。我们介绍了一个GPGPU的实现，它避免了使用索引树，而是具有GPU友好的索引方法。我们比较多线程和GPU实现的性能，并表明，可以使用后者获得的加速比。我们提出了两类算法，SetSplit和GreedySetSplit，以创建高效的查询批次，减少内存压力和GPU上的计算成本。然而，我们发现使用固定大小的批次在实践中是足够有效的。我们开发了一个经验的性能模型，我们的GPGPU实现，可用于预测的响应时间的距离阈值查询。这个模型可以用来选择一个好的查询批量大小。
2014-09-13 cs.DB cs.DC
Constraint-based Query Distribution Framework for an Integrated Global Schema
分布式异构数据源需要使用全局模式进行统一查询。对全局模式的查询被重新制定，以便它可以在本地数据源上执行。全局架构和映射中的约束用于源选择、查询优化以及查询分区和复制的数据源。所提供的系统都是基于XML的，它以XML形式提出查询，转换并将本地结果集成到XML文档中。贡献包括在我们现有的全球模式，有助于在源选择和查询优化，和查询分布式异构数据源的全球查询分布框架的约束的使用。
2010-04-13 cs.DB cs.DC cs.IR
Batch Query Processing and Optimization for Agentic Workflows
National University of Singapore（新加坡国立大学）
Halo通过统一查询优化与异构LLM服务，提升代理工作流在批量推理和在线服务中的效率，实现3.6倍速度提升和2.6倍吞吐量改进。
2026-01-19 cs.DB cs.DC
PI : a Parallel in-memory skip list based Index
由于数据访问的粗粒度和锁存器的大量使用，B树家族中的索引对于内存中的数据库并不高效，特别是在当今的多核架构的上下文中。在本文中，我们提出了PI，一个并行的内存中的跳表为基础的索引，本身自然的并行和并发的环境，特别是与非均匀的内存访问。在PI中，传入的查询被收集，并在多个线程之间分开分布以进行处理，以避免使用锁存器。对于每个查询，PI以广度优先搜索（BFS）的方式遍历索引，以找到具有匹配键的列表节点，利用SIMD处理来加速搜索过程。为了使查询处理是无锁存的，PI采用了一个轻量级的通信协议，使线程之间重新分配查询工作负载，这样每个列表节点，将被修改为查询处理的结果将被访问的正是一个线程。我们进行了大量的实验，结果表明，PI可以达到三倍的速度为Mastree，一个国家的最先进的B树为基础的索引。
2016-01-02 cs.DB cs.DC
Flare: Native Compilation for Heterogeneous Workloads in Apache Spark
现代数据分析需要结合关系、过程和映射-归约风格的功能处理，这一点得到了广泛的认可。像Spark这样的最先进的系统已经添加了SQL前端和关系查询优化，这保证了表达能力和性能的提高。但是这些扩展在从现代硬件平台中提取高性能方面有多好呢？虽然Spark已经取得了令人印象深刻的进步，但我们表明，对于关系型工作负载，与同类最佳查询引擎相比，仍然存在显着差距。当走出关系世界时，如果必须将大部分计算视为用户定义函数（UDF），那么查询优化技术将无效。我们介绍Flare：Spark的一个新后端，使性能更接近最好的SQL引擎，而不会放弃Spark的额外表现力。我们展示了TPC-H等关系工作负载以及结合关系和迭代函数处理的一系列机器学习内核的数量级加速。Flare通过（1）编译为本机代码，（2）替换Spark运行时系统的部分，以及（3）将优化和代码生成的范围扩展到大型UDF类来实现这些结果。
2017-03-23 cs.DB cs.DC cs.PF
