Revisiting Reuse in Main Memory Database Systems
重用数据库中的中间体来加速分析查询处理已经在过去进行了研究。现有的解决方案通常需要将各个运算符的中间结果具体化为临时表，以便在后续查询中重用。然而，这些方法基本上不适合在现代主存数据库中使用。原因是现代主存DBMS通常受到内存总线带宽的限制，因此查询执行被大量优化以将元组保持在CPU缓存和寄存器中。为此，将额外的物化操作添加到查询计划中不仅会向内存总线添加额外的流量，而且更重要的是会阻止重要的缓存和寄存器局部性机会，从而导致高性能损失。在本文中，我们研究了一种新的重用模型的中间，缓存内部物理数据结构物化查询处理（由于管道断路器）和外部化，使他们成为可重用的即将到来的操作。我们重点讨论哈希表，这是主存数据库中最常用的内部数据结构，用于执行连接和聚合操作。当查询到达时，我们的重用感知优化器会对哈希表的重用机会进行推理，并采用成本模型，该模型将哈希表统计信息以及缓存层次结构中的CPU和数据移动成本考虑在内。基于我们的HashStash原型的实验结果证明了$2\times$在典型分析工作负载中的性能提升，并且没有额外的开销用于实现中间体。
2016-08-19 cs.DB
Revisiting Semiring Provenance for Datalog
数据起源包括在查询评估过程中记录Meta信息，以丰富查询结果的信任级别，可能性，评估成本等。半环起源的框架从注释数据的特定类型的Meta信息中抽象出来。虽然半环起源的定义对于合取查询的联合是没有争议的，但对于Datasheet来说，情况就不那么清楚了。实际上，原始定义可能包括无限的计算，并且与注释数据上的Datasheet语义的其他建议不一致。在这项工作中，我们提出并研究了几种起源语义，基于不同的方法来定义经典的Datastrophic语义。我们研究这些语义之间的关系，并引入属性，使我们能够分析和比较它们。
2022-05-05 cs.DB cs.LO
From Custom-Fit to Portable: Bridging the Gap Between Synthesized and Engineered GPU Query Execution
EURECOM
本文针对GPU分析中合成与工程化的争论，提出SHADB框架回答合成GPU代码效果等三个问题，展示合成代码优势，分解性能差距并分类优化，将可推广优化集成到SYCLDB引擎，缩小与合成代码差距并保持相关特性。
2026-07-09 cs.DB
Revisiting Runtime Dynamic Optimization for Join Queries in Big Data Management Systems
查询优化对于大型数据管理系统来说仍然是一个悬而未决的问题。传统的优化器是基于成本的，并使用中间结果基数的统计估计来分配成本并选择最佳方案。然而，这样的估计往往会变得不太准确，因为过滤条件所造成的未检测到的相关性多个谓词本地到一个单一的数据集，谓词与查询参数，或谓词涉及用户定义的功能（UDF）。因此，传统的查询优化器往往会忽略或错误计算这些设置，从而导致次优的执行计划。考虑到当今的数据量，次优计划很快就会变得非常低效。在这项工作中，我们重新审视了运行时动态优化的旧思想，并将其应用于一个无共享的分布式数据库系统AsterixDB。优化分阶段运行（重新优化点），首先执行单个数据集本地的所有谓词。从每个阶段创建的中间结果用于重新优化剩余的查询。这种重新优化方法避免了不准确的中间结果基数估计，从而导致更好的执行计划。虽然它引入了实现这些中间结果的开销，但我们的实验表明，这种开销相对较小，并且考虑到优化的好处，这是可以接受的代价。事实上，我们的实验评估表明，与当前默认的AsterixDB计划以及基于静态成本的优化（即基于初始数据集统计数据）和其他最先进的方法相比，运行时动态优化可以产生更好的执行计划。
2020-10-05 cs.DB
State-of-the-Art on Query & Transaction Processing Acceleration
现代图形处理单元（GPU）提供的巨大处理能力和内存带宽使其成为数据密集型应用程序的平台。数据库社区将GPU视为数据处理的有效协处理器。在过去的几年里，有许多方法可以在数据库系统的不同级别上使用GPU。在本内部技术报告中，基于[1]和其他一些研究论文，我们确定了LIP6中GPU加速数据库管理系统的可能研究领域。我们描述了一些关键属性，GPU感知数据库架构的典型挑战，并确定主要的开放挑战。
2019-06-27 cs.DB cs.DC cs.PF
Revisiting compact RDF stores based on k2-trees
我们提出了一种新的紧凑表示，有效地存储和查询大型RDF数据集在主存中。我们的建议，称为BMatrix，是基于k2树，一个数据结构设计来表示二进制矩阵的压缩方式，并旨在改善以前的国家的最先进的替代品的结果，特别是在数据集具有相对大量的谓词。我们介绍我们的技术，以及一些改进的基本k2树，可以应用到我们的解决方案，以提高压缩。在旗舰RDF数据集DBPedia上的实验结果表明，我们的建议比现有的替代方案实现了更好的压缩，同时产生了有竞争力的查询时间，特别是在最频繁的三元组模式和未绑定谓词的查询中，我们优于现有的解决方案。
2020-02-26 cs.DB cs.DS
FROG: Efficient Range-Filtering Approximate Nearest Neighbor Search on GPUs
Xidian University（西安电子科技大学）；The Chinese University of Hong Kong（香港中文大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Xi’an University of Posts and Telecommunications（西安邮电大学）
FROG是面向GPU的RFANNS索引，采用全局顶点中心设计，经六组实验验证，其混合选择性查询吞吐量及索引构建速度均大幅优于CPU与现有GPU基准。
2026-08-18 cs.DB cs.IR
GPU-based Commonsense Paradigms Reasoning for Real-Time Query Answering and Multimodal Analysis
我们利用常识知识库来解决实时的形态多峰分析问题.特别地，我们关注多模态情感分析的问题，其包括不同模态的同时分析，例如，语音和视频，用于情感和极性检测。我们的方法利用现代GPU的大规模并行处理能力来提高不同模态的特征提取的性能。此外，为了从多模态源中提取重要的文本特征，我们基于常识知识生成特定于领域的图，并应用基于GPU的图遍历进行快速特征检测。然后，强大的ELM分类器被应用于建立基于所提取的特征的情感分析模型。我们在YouTube数据集上进行了实验，并达到了78%的准确率，优于所有以前的系统。在处理速度方面，我们的方法显示了几个数量级的改进相比，基于CPU的同行的特征提取。
2018-07-14 cs.DB cs.PF
Chimera: Efficient Multi-Vector Retrieval via GPU-CPU Co-Processing
Wuhan University（武汉大学）
Chimera是一种GPU-CPU协同处理的多向量检索系统，通过在GPU存量化码、CPU存高精度数据消除数据传输瓶颈，在相同召回率下QPS较现有方法最高提升16.0倍。
2026-08-28 cs.DB
Eiger: An Efficient Library for GPU-based Data Analytics
ETH Zurich（苏黎世联邦理工学院）；NVIDIA（英伟达）；Stanford University（斯坦福大学）
研究针对GPU数据分析，因GPU内查询处理成瓶颈，cuDF有局限。核心方法是Eiger库通过运行时工作负载适应性提升单GPU查询处理。主要贡献是提供多实现变体等，用轻量级统计优化，性能比cuDF大幅提升。
2026-07-07 cs.DB
RTCUDB: Building Databases with RT Processors
针对现有基于CUDA核心的GPU数据库查询引擎性能受内存带宽限制的问题，提出首个利用GPU光线追踪核心的查询引擎RTCUDB，通过将查询转换为三维光线追踪任务优化访存，性能较现有最优GPU方案最高提升18.3倍。
2024-12-13 cs.DB
DataKernelBench: Can LLMs Optimize Database Queries on GPUs?
IBM Research（IBM研究院）；TU Wien（维也纳技术大学）
本文提出DataKernelBench基准，评估LLM在GPU上优化数据库查询内核的能力，实验显示最强模型配置在TPC-H数据集上实现2.11倍加速，工作负载上下文对性能影响大于硬件上下文。
2026-10-16 cs.AI cs.CL cs.DB
Cuckoo-GPU: Accelerating Cuckoo Filters on Modern GPUs
Johannes Gutenberg University Mainz（约翰内斯·古腾堡美因茨大学）
本文提出Cuckoo-GPU，一种高性能GPU上的Cuckoo过滤器库，通过随机访问模式充分利用全局内存带宽，实现比现有动态AMQ结构更高的吞吐量，且在性能上超越CPU实现。
2026-03-16 cs.DB cs.DC
ZipFlow: a Compiler-based Framework to Unleash Compressed Data Movement for Modern GPUs
KAIST（韩国科学技术院）；Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Gray Systems Lab（微软灰系统实验室）；Microsoft Research（微软研究院）
ZipFlow是一种基于编译器的框架，通过优化压缩数据传输提升GPU加速数据处理的性能。
2026-02-09 cs.AR cs.DB cs.DC
A GPU-friendly Geometric Data Model and Algebra for Spatial Queries: Extended Version
低成本传感器的可用性导致了空间数据量的空前增长。然而，即使是在大型数据集上评估简单的空间查询所需的时间也极大地阻碍了我们交互式地探索这些数据集并提取可操作见解的能力。图形处理单元（GPU）越来越多地被用于加速空间查询。然而，现有的基于GPU的解决方案有两个重要的缺点：它们通常与它们所针对的特定查询类型紧密耦合，使得它们难以适应其他查询;并且由于它们的设计基于基于CPU的方法，因此很难有效地利用GPU提供的所有好处。作为GPU空间查询处理主流的第一步，我们提出了一个新的模型，表示空间数据的几何对象，并定义了一个代数组成的GPU友好的组合运算符，这些对象上操作。我们证明了所提出的代数的表达能力，制定标准的空间查询代数表达式。我们还提出了一个概念验证的原型，支持运营商的子集，并表明它是至少两个数量级的速度比基于CPU的实现。这种性能提升是通过使用独立的Nvidia移动GPU和商用笔记本电脑中常见的功能较弱的集成GPU来实现的。
2020-04-07 cs.DB
Revisiting Filtered ANN Benchmarks: A Hardness-Controlled Benchmark Generator for Realistic Evaluation
Seoul National University（首尔大学）
提出α-Hardness查询级难度度量，基于过取因子建模条件执行链，并设计HCBGen生成器控制难度分布，揭示现有基准测试在困难查询下的鲁棒性差距。
2026-06-15 cs.DB
Exact Selectivity Computation for Modern In-Memory Database Query Optimization
经过几十年的研究和工业发展，选择性估计仍然是查询优化中的一个关键任务。优化器在生成执行计划时依赖于准确的选择性。他们保持了大范围的统计概要，有效地估计选择性。尽管如此，小的错误-指数传播-可能导致严重的次优计划--特别是对于复杂的谓词。用于现代计算架构的数据库系统依赖于由大规模多线程并行性和向量化指令支持的大量内存中处理。但是，它们与传统的基于磁盘的数据库保持相同的查询优化概要方法。我们介绍了一种新的查询优化范例内存和GPU加速的数据库的基础上\textit{exact selectivity computation (ESC)}。ESC的核心思想是在查询优化过程中通过查询精确计算选择性。为了使该过程高效，我们提出了几个针对ESC应用的表和谓词的选择和物化的优化。我们在MapD开源数据库系统中实现了ESC。在TPC-H和SSB基准测试上的实验表明，ESC在GPU上运行时记录恒定且小于30毫秒的开销，并生成改进的查询执行计划，速度快32倍。
2019-01-06 cs.DB
Novel Selectivity Estimation Strategy for Modern DBMS
选择性估计是查询优化中的一个重要问题，但当谓词复杂时，很难准确估计选择性。而不是现有的数据库概要和统计数据对这种情况没有帮助，我们引入了一种新的方法来计算精确的选择性，在优化阶段运行聚合查询。通过添加额外的查询执行调用，可以实现精确的选择性，而不会对内存中和GPU加速的数据库产生显著的开销。在MapD数据库系统中实现了一个基于新的选择性估计策略的选择下推扩展。我们的方法在GPU上运行时，在任何情况下都会记录恒定且小于30毫秒的开销。新的策略成功地产生更好的查询执行计划，导致性能提高了4.8倍，从TPC-H基准SF-50查询和7.3倍，从星型模式基准SF-80查询。
2018-06-21 cs.DB
A Study of the Fundamental Performance Characteristics of GPUs and CPUs for Database Analytics (Extended Version)
基于GPU的数据库系统最近有很多令人兴奋的工作。以前的工作声称，这些系统在分析工作负载（如决策支持和商业智能应用程序中的工作负载）上的性能比基于CPU的数据库系统好几个数量级。硬件专家会怀疑这些说法。考虑到数据库操作符是内存带宽限制的一般概念，人们会期望最大增益大致等于GPU的内存带宽与CPU的内存带宽之比。在本文中，我们采用了一种基于模型的方法来理解在GPU上运行查询与在CPU上运行查询的性能增益何时以及为什么会因带宽比（在现代硬件上大约是16倍）而有所不同。我们提出了水晶，一个库的并行例程，可以结合在一起，以最小的物化开销在GPU上运行完整的SQL查询。我们实现了各个查询运算符，以表明虽然选择、投影和排序的加速比接近带宽比，但由于硬件功能的差异，连接实现的加速比较小。有趣的是，我们在一个流行的分析工作负载上显示，在GPU上运行的完整查询性能增益超过了带宽比，尽管单个运算符的加速比小于带宽比，这是由于CPU上的向量化链式运算符的限制，导致GPU在基准测试中的加速比为CPU的25倍。
2020-03-02 cs.DB
Theseus: A Distributed and Scalable GPU-Accelerated Query Processing Platform Optimized for Efficient Data Movement
Theseus 是一个生产级分布式 GPU 加速查询引擎，通过异步控制与页锁定内存优化数据移动，在 TPC-H 上比 Photon 快 4 倍，仅用 2 节点即可处理 100 TB 规模查询。
2025-08-07 cs.DB cs.DC
GPU-RMQ: Accelerating Range Minimum Queries on Modern GPUs
Johannes Gutenberg University（约翰内斯·古腾堡大学）；Aperio Space Technologies（Aperio航天技术公司）
本文提出GPU-RMQ，通过层次化方法加速范围最小查询，降低内存占用并提升查询吞吐量，尤其在大规模数组上表现优异。
2026-04-02 cs.DB cs.DC cs.DS
Efficient $(α,β)$-core Computation and On-the-fly Query at Billion Scale with GPUs
Great Bay University（大湾区大学）；Alibaba Group（阿里巴巴集团）；Shanghai Jiao Tong University（上海交通大学）；University of New South Wales（新南威尔士大学）；Wuhan University of Technology（武汉科技大学）
提出基于GPU的无索引剥离算法GCC和GCC+，以及连通性感知算法GFQ，实现大规模二分图上的(α,β)-核高效计算与在线查询。
2026-06-05 cs.DB
Batch Query Processing and Optimization for Agentic Workflows
National University of Singapore（新加坡国立大学）
Halo通过统一查询优化与异构LLM服务，提升代理工作流在批量推理和在线服务中的效率，实现3.6倍速度提升和2.6倍吞吐量改进。
2026-01-19 cs.DB cs.DC
Approximate Similarity Search for Online Multimedia Services on Distributed CPU-GPU Platforms
高维空间中的相似性搜索是各种数据库应用中的关键操作。最近，已经有越来越多的兴趣在相似性搜索的在线基于内容的多媒体服务。然而，这些服务带来了新的挑战，因为必须对大量数据进行索引/搜索，而且需要尽量缩短最终用户观察到的响应时间。此外，这些用户与系统动态交互，导致查询请求率波动，需要搜索算法进行调整，以便更好地利用下划线硬件来减少响应时间。为了解决这些挑战，我们引入hypercurves，一个灵活的框架，回答近似k-最近邻（kNN）查询非常大的多媒体数据库，针对在线基于内容的多媒体服务。Hypercurves在混合CPU-GPU环境中执行，并且能够协同使用这些设备来支持大规模的查询请求速率。为了在请求率变化时保持最佳的响应时间，它采用了一种新型的动态调度器来在CPU和GPU之间划分工作。使用多媒体描述符的大型数据库对Hypercurves进行了全面评估。与单CPU核心版本相比，其协同CPU-GPU执行实现了高达30倍的性能提升。与最佳静态CPU-GPU任务分区配置相比，动态工作分区机制将观察到的查询响应时间减少了约50%。此外，Hypercurves在分布式（多节点）执行中实现了超线性可扩展性，同时保持了与其顺序版本的高度等价性--这要归功于概率等价性的证明，这支持了其积极的并行化设计。
2012-09-03 cs.DB cs.DC cs.MM
TCUDB: Accelerating Database with Tensor Processors
近年来，新型硬件加速器的出现推动了机器学习的巨大增长。这些加速器在处理大容量矩阵运算符方面提供了无与伦比的性能提升，特别是矩阵乘法，这是神经网络训练和推理的核心组件。在这项工作中，我们探索了使用NVIDIA的Tensor Core Units（TCU）加速数据库系统的机会。我们提出了TCUDB，TCU加速查询引擎处理一组查询运算符，包括自然连接和分组聚合TCU内的矩阵运算符。矩阵乘法在过去被认为是低效的;然而，在传统的基于GPU的数据库中，这种策略在很大程度上仍未被探索，这些数据库主要依赖于向量或标量处理。我们展示了TCUDB在一系列实际应用中的显着性能增益，包括实体匹配，图形查询处理和基于矩阵的数据分析。与基于GPU的基准查询引擎相比，TCUDB实现了高达288倍的加速。
2021-12-14 cs.DB
CORAL: Cross-modal Vector Retrieval via Incremental Graph Construction at Scale
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）
CORAL是一种GPU加速的图基跨模态向量索引，通过分层内存管理、覆盖感知自适应剪枝等技术，在十亿级规模下实现了更高吞吐量、更短构建时间及动态更新下的鲁棒性。
2026-10-09 cs.DB
Efficiently Processing Joins and Grouped Aggregations on GPUs
针对GPU数据库算子受随机访问影响、分组算子加速不足及评估工作负载有限等问题，提出GFTR技术减少随机访问，优化分组实现并提出新分组算法，实现显著加速并提供查询优化启发式方法。
2025-02-12 cs.DB
Share the Tensor Tea: How Databases can Leverage the Machine Learning Ecosystem
Microsoft（微软）；University of Washington（华盛顿大学）
我们演示了张量查询处理器（TQP）：一个查询处理器，自动编译成张量程序的关系运算符。通过利用PyTorch等张量运行时，TQP能够：（1）与ML工具集成（例如，Pandas用于数据摄取，Tensorboard用于可视化）;（2）针对不同的硬件（例如，CPU、GPU）和软件（例如，浏览器）后端;以及（3）端到端加速包含关系和ML运算符的查询。TQP足够通用，可以支持TPC-H基准测试，它提供的性能可以与专用CPU和GPU查询处理器相媲美，甚至更好。
2022-09-10 cs.DB cs.LG
Revisiting Page Migration for Main-Memory Database Systems
针对主存数据库在NUMA等现代架构下的页面迁移问题，提出自定义系统调用move_pages2，支持部分迁移和配置旋钮，实验表明查询吞吐量提升2.3倍，迁移页面数提升2.6倍。
2025-05-26 cs.DB
Accelerating Presto with GPUs
IBM Research Europe（IBM欧洲研究院）；IBM Data & AI（IBM数据与人工智能）；NVIDIA（英伟达）
本文扩展Presto以支持GPU，通过高效数据传输和跨算子数据交换，实现高达6倍的成本/性能提升。
2026-06-24 cs.DB
Vortex: Overcoming Memory Capacity Limitations in GPU-Accelerated Large-Scale Data Analytics
针对GPU内存容量有限及PCIe通信瓶颈问题，提出Vortex框架，通过优化IO原语利用多GPU系统所有PCIe链路为单目标GPU提供IO支持，分离内核开发与IO调度，延迟物化技术提升性能5.7倍，性价比提升2.5倍。
2025-02-13 cs.DB cs.DC
gSMat: A Scalable Sparse Matrix-based Join for SPARQL Query Processing
资源描述框架（RDF）已被广泛用于表示Web上的信息，而SPARQL是操作RDF数据的标准查询语言。给定一个SPARQL查询，往往存在多个连接，这是查询处理效率的瓶颈。此外，真实的RDF数据集往往表现出较强的数据稀疏性，这表明即使资源总数很大，一个资源往往只与少数资源相关。在本文中，我们提出了一个稀疏矩阵为基础的（SM为基础的）SPARQL查询处理方法在RDF数据集，同时考虑到连接优化和数据稀疏性。首先，我们提出了一个基于SM的RDF数据存储，以提高存储效率，其中只存储有效的边缘，然后在存储上引入一个基于谓词的哈希索引。其次，我们开发了一个可扩展的SM为SPARQL查询处理的连接算法。最后，我们通过累加所有中间结果来分析总体开销，并设计了一个查询计划生成算法。此外，我们扩展了我们的SM为基础的连接算法在GPU上的并行SPARQL查询处理。我们已经评估了我们的方法相比，国家的最先进的RDF引擎在基准RDF数据集和实验结果表明，我们的建议可以显着提高SPARQL查询处理具有高可扩展性。
2018-07-20 cs.DB
GPU-Powered Spatial Database Engine for Commodity Hardware: Extended Version
鉴于空间数据量的大规模增长，非常需要能够有效地评估大型数据集上的空间查询的系统。使用传统的数据库解决方案，这些查询是非常昂贵的。虽然通过强大的集群或具有大内存的服务器可以实现更快的响应时间，但由于成本和复杂性，这些选项对于构成长尾的许多数据科学家和分析师来说是遥不可及的。图形处理单元（GPU）现在甚至在商用台式机和笔记本电脑中也广泛使用，它提供了一种支持高性能计算的经济高效的替代方案，为有效评估空间查询开辟了新的机会。虽然文献中提出的基于GPU的方法在性能上有很大的改进，但它们与特定的GPU硬件相关联，并且只处理固定几何类型的特定查询。在本文中，我们提出了SPADE，GPU驱动的空间数据库引擎，支持丰富的空间查询。我们讨论了在大型数据集上实现高效查询评估以及跨不同GPU硬件的可移植性所面临的挑战，以及如何在SPADE中解决这些问题。我们进行了详细的实验评估，以评估广泛的查询和数据集的系统的有效性，并报告结果表明，SPADE是可扩展的，能够处理大于主内存的数据，其性能在笔记本电脑上是与其他系统，需要集群或大内存服务器。
2022-03-27 cs.DB
QCATS: Query Context-Aware Transformer Slicing for Efficient Predictive Query Processing
Zhejiang University（浙江大学）；Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新区（滨江）区块链与数据安全研究院）
提出QCATS框架，利用查询上下文感知的Transformer切片实现数据库内高效稀疏推理，通过查询级路由和系统优化，在保持精度的同时降低延迟达4.42倍。
2026-10-08 cs.AI cs.DB
RTIndeX: Exploiting Hardware-Accelerated GPU Raytracing for Database Indexing
本文提出 RX，将数据库点查与范围查重构为 GPU 光线追踪相交测试，借助 NVIDIA RTX 专用核心实现索引，并从十四个维度验证其竞争力。
2023-09-27 cs.DB cs.GR
Generating Custom Code for Efficient Query Execution on Heterogeneous Processors
处理器制造商构建越来越专用的处理器，以减轻电源墙的影响，从而提高性能。目前，数据库引擎是为每个处理器手动优化的：这是一个成本高昂且容易出错的过程。在本文中，我们提出的概念，使数据库引擎自动执行每处理器优化。我们的核心思想是创建生成代码的变体，并为每个处理器学习快速变体。我们通过修改并行化策略、专门化数据结构和应用不同的代码转换来创建变体。我们的实验结果表明，变体的性能可能会偏离两个数量级。因此，我们需要为每个处理器生成自定义代码，以实现峰值性能。我们表明，我们的方法为多核CPU，GPU和MIC找到了一个快速的自定义变体。
2017-09-03 cs.DB cs.DC
