D4M: Bringing Associative Arrays to Database Engines
收集和分析大量数据的能力在科学界是一个日益严重的问题。数据和用户之间的差距越来越大，需要创新的工具来解决大数据量，速度和多样性所面临的挑战。存在许多工具，允许用户存储，查询和索引这些大量的数据。每个存储或数据库引擎都有处理复杂数据的承诺。希望使用这些系统的科学家和工程师通常很快就会发现，没有一种技术可以为信息的复杂性提供灵丹妙药。然而，当使用多种技术时，在设计存储和数据库引擎之间的信息移动以支持端到端应用程序方面存在很大的麻烦，同时与学习每种底层技术的细微差别相关的学习曲线也很陡峭。在本文中，我们提出了动态分布式维度数据模型（D4 M）作为统一数据库和存储引擎操作的潜在工具。以前关于D4 M的文章展示了D4 M与流行的NoSQL Accumulo数据库交互的能力。然而最近，D4 M现在在各种后端存储或数据库引擎上运行，同时通过使用关联数组向最终用户提供联邦外观。为了展示D4 M如何支持新数据库，我们描述了构建D4 M-SciDB连接器的过程，并介绍了该连接的性能。
2015-08-28 cs.DB
GDsmith: Detecting Bugs in Graph Database Engines
图形数据库引擎在大数据时代脱颖而出，因为它们能够高效地建模和处理链接数据。有一个测试图形数据库引擎的强烈需求。然而，随机测试作为自动化测试生成的最实用方法，在检测图数据库引擎中的错误时面临着语义有效性、非空结果和行为多样性的挑战。为了应对这些挑战，在本文中，我们提出了GDsmith，第一个黑盒方法测试图数据库引擎。它通过骨架的生成和补全来确保每个随机生成的Cypher查询满足语义需求。GDsmith包括我们的技术，通过利用三种类型的结构突变策略来增加生成返回非空结果的Cypher查询的概率。GDsmith还包括我们的技术，通过在生成新查询时根据其先前的频率选择属性键来提高所生成的Cypher查询的行为多样性。我们的评估结果表明，GDsmith是有效和高效的自动查询生成，并大大优于基线。GDsmith成功地在三个流行的开源图形数据库引擎的发布版本上检测到27个以前未知的错误，并从开发人员那里获得了积极的反馈。
2022-06-17 cs.DB cs.SE
Aggregation and Ordering in Factorised Databases
数据分析的一种常见方法涉及理解和操作数据的简洁表示。在早期的工作中，我们提出了一个简洁的表示系统的关系数据称为因子分解数据库和报告的主内存查询引擎FDB选择项目连接查询这样的数据库。在本文中，我们扩展FDB，以支持更大类的实际查询的聚集和排序。这需要新的优化和评估技术。我们展示了如何因式分解加上部分聚合可以有效地减少查询评估所需的操作数量。我们还展示了如何factorisations查询结果可以支持枚举元组在所需的顺序，有效地列出他们从unfactorised，排序的结果。我们通过实验观察到，FDB可以超过现成的关系引擎的数量级。
2013-07-01 cs.DB cs.DS
First-Class Functions for First-Order Database Engines
我们描述查询去功能化，使现成的一阶数据库引擎处理查询的第一类功能。对一级函数的支持的特点是能够将函数视为常规数据项，这些数据项可以在查询运行时构造，传递给其他（高阶）函数或从其他（高阶）函数返回，分配给变量，并存储在持久数据结构中。查询去功能化是一种非侵入性的方法，它将以功能为中心的查询转换为以数据为中心的操作，由常见的查询处理器实现。在XQuery和PL/SQL数据库系统上的实验表明，一阶数据库引擎能够忠实有效地支持表达性的“函数即数据”范式。
2013-08-01 cs.DB cs.PL
Bespoke OLAP: Synthesizing Workload-Specific One-size-fits-one Database Engines
Technical University of Darmstadt（达姆施塔特工业大学）；Microsoft Gray-Systems-Lab（微软格雷系统实验室）；DFKI（德国人工智能研究中心）
Bespoke OLAP通过自动化合成流程，生成针对特定工作负载的高性能数据库引擎，实现比通用系统高多个数量级的性能提升。
2026-07-24 cs.DB
Towards a Holistic Integration of Spreadsheets with Databases: A Scalable Storage Engine for Presentational Data Management
电子表格软件是交互式临时数据管理的首选工具，已被数十亿用户采用。然而，与数据库系统不同，电子表格是不可伸缩的。另一方面，数据库系统虽然具有高度可伸缩性，但不支持作为第一级原语的交互性。我们正在开发DataSpread，将电子表格作为前端接口与数据库作为后端接口进行整体集成，为电子表格提供可扩展性，并与数据库进行交互，我们将这种集成称为表示数据管理（PDM）。在本文中，我们朝着这个愿景迈出了第一步：开发一个存储引擎的PDM，研究如何灵活地表示数据库中的电子表格数据，以及如何支持和维护访问的位置。我们首先进行了广泛的调查，电子表格的使用，以激励我们的功能需求的存储引擎的PDM。我们开发了一套自然的机制，灵活地表示电子表格数据，并证明，确定最佳的表示是NP难的，但是，我们开发了一种有效的方法来确定最佳的表示从一个重要的和直观的子类表示。我们扩展我们的机制，位置访问机制，不遭受级联更新问题，导致恒定的时间访问和修改性能。我们在典型的电子表格和电子表格操作的工作负载上对这些表示进行了评估，存储减少了20%，公式评估时间减少了50%。
2017-10-06 cs.DB
Rank Based Clustering For Document Retrieval From Biomedical Databases
如今，搜索引擎被广泛用于从世界各地的各种资源中提取信息。其中，大多数检索位于生物医学领域，用于从各种生物医学数据库中检索相关文献。目前的搜索引擎缺乏对文档的聚类和对文档相关性的表征。为了克服这些缺陷，基于文本的搜索引擎已被开发用于从Medline和PubMed生物医学数据库中检索文档。该搜索引擎引入了基于聚类的网页排序概念，自动表示聚类基础上的相关性。除此之外，图树构造用于表示联网在一起的文档的相关性水平。基于搜索引擎的生物医学文档的这种高级功能整合发现在基于相关性的审查相关文档中提供更好的结果。
2009-12-11 cs.DB cs.IR
Juggling Functions Inside a Database
我们定义和研究的功能聚合查询（FAQ）的问题，它捕获了广泛的领域，包括关系数据库，逻辑，矩阵和张量计算，概率图形模型，约束满足，和信号处理的共同计算任务。简单地说，FAQ是一种从输入函数数据库中定义新函数的声明性方式。我们提出了“InsideOut”，一个动态规划算法，评估的FAQ。该算法将输入查询重写为一组查询到计算的FAQ子查询。每个子查询，然后使用最坏情况下的最佳关系连接算法进行评估。在过去的几年里，设计算法来优化经典的多路连接问题的主题已经取得了令人兴奋的发展。我们的框架将数据库理论中的这些新思想与大量的应用领域以一种连贯的方式紧密联系在一起，潜在地表明，一个好的数据库引擎可以同时是通用约束求解器、关系数据存储、图形模型推理引擎和矩阵/张量计算处理器。InsideOut算法非常简单，这将在本文中描述。然而，尽管解决了一个非常普遍的问题，它的运行时间要么是一样好，或改进后的最知名的算法的应用程序，FAQ专门。这些推论包括图形模型推理、矩阵/张量运算、关系连接和逻辑中的计算任务。更好的是，InsideOut可以在任何数据库引擎中使用，因为它基本上是重写查询的原则性方法。事实上，它已经是LogicBlox数据库引擎的一部分，帮助有效地回答传统的数据库查询，图形模型推理查询，并在数据库本身内部训练一大类机器学习模型。
2017-03-09 cs.DB cs.DS cs.LO
Document Selection in a Distributed Search Engine Architecture
分布式搜索引擎体系结构（DSEA）托管许多独立的特定主题的搜索引擎，并选择数据库的子集在体系结构内进行搜索。这种方法的目的是通过仅查询可用总数据的子集来减少执行搜索所需的空间量。为了跨多个数据库操作数据，最有效的方法是识别一个较小的数据库子集，这些数据库最有可能返回特定感兴趣的数据，然后可以更详细地检查这些数据。选择索引最常用作选择最适用的数据库的方法，因为它捕获关于每个数据库及其索引文件的广泛信息。使用这种类型的数据库可以让研究人员更快地找到信息，不仅成本更低，而且还可以最大限度地减少偏见的可能性。本文研究了在分布式搜索引擎体系结构的框架和范围内选择的不同数据库的有效性。研究的目的是提高分布式信息检索的质量。
2016-03-31 cs.DB cs.IR
Empowering In-Memory Relational Database Engines with Native Graph Processing
过多的图和关系数据在各个领域中产生了许多有趣的图-关系查询，例如，在生物网络中找到满足关系谓词的相关蛋白质。RDBMS的成熟促使学术界和工业界致力于利用RDBMS进行图形处理，其中效率已被证明适用于重要的图形查询。然而，这些努力都没有在RDBMS内部原生地处理图，这是特别具有挑战性的，因为关系模型和图模型之间的阻抗不匹配。在本文中，我们建议将图视为关系引擎中的一等公民，以便在RDBMS中本地执行对图的操作。我们在VoltDB（一个开源的内存中关系数据库）中实现了我们的方法，并将此实现命名为GRFusion。GRFusion的SQL和查询引擎被授权以声明方式定义图形并执行由图形和关系运算符形成的跨数据模型查询计划，从而在查询时加速w.r.t.最先进的方法。
2017-10-12 cs.DB
QTrail-DB: A Query Processing Engine for Imperfect Databases with Evolving Qualities
由于各种原因，不完美的数据库在许多应用中非常常见，这些原因包括数据输入错误，传输或集成错误，以及错误的仪器读数，以及导致不正确结果的错误实验设置。不完善数据库的管理和查询处理是一个非常具有挑战性的问题，因为它需要将数据的质量纳入数据库引擎。更具有挑战性的是，这些品质通常不是静态的，可能会随着时间的推移而变化。不幸的是，大多数最先进的技术处理数据质量问题作为一个离线任务，是在完全隔离的查询处理引擎（在DBMS外部执行）。因此，最终用户将接收查询的结果，而不知道结果是否可以信任以进行进一步的分析和决策。在本文中，我们提出了它的“QTrail-DB”系统，从根本上扩展了标准的DBMS，以支持不完善的数据库不断发展的质量。QTrail-DB引入了一种基于“质量跟踪”新概念的新质量模型，该模型可以捕获数据质量随时间的演变。QTrail-DB扩展了关系数据模型，将质量跟踪纳入数据库系统。我们提出了一个新的查询代数，称为“QTrail代数”，它使无缝和透明的传播和查询管道内的数据的质量推导。因此，查询的答案将在元组级别上自动使用质量相关信息进行注释。QTrail-DB传播模型利用了DB起源和世系跟踪文献中深入研究的传播语义，因此不需要开发新的查询优化器。QTrail-DB是在PostgreSQL中开发的，并使用真实世界的数据集进行了实验评估，以证明其效率和实用性。
2023-03-12 cs.DB
An Empirical Analysis of Just-in-Time Compilation in Modern Databases
本文针对数据库JIT编译技术，对比基于LLVM的PostgreSQL与基于WASM的Mutable两种架构，通过全面实验探究不同JIT方案的性能表现与技术特点。
2023-11-09 cs.DB
How to use Persistent Memory in your Database
持久性或非易失性存储器（PMEM或NVM）最近已经在具有不同目的和目标的若干配置下商业上可用。尽管关注的主题，我们不知道一个全面的实证分析现有的关系数据库引擎在不同的PMEM配置。这样的研究对于理解各种硬件配置的性能影响以及不同的数据库引擎如何从中受益非常重要。为此，我们分析了常见工作负载（TPC-C和TPC-H）下的三种不同引擎（PostgreSQL、MySQL和SQLServer），以及英特尔Optane NVM设备支持的所有可能的PMEM配置（PMEM作为AppDirect模式下的持久性内存，PMEM作为Memory模式下的易失性内存）。我们的结果描绘了一幅复杂的画面，由于涉及的因素很多，并不总是直观的。根据我们的研究结果，我们提供了关于不同引擎如何使用PMEM以及哪些配置和查询性能最佳的见解。我们的研究结果表明，使用PMEM作为持久存储通常会加快查询执行，但有一些警告，因为I/O路径没有完全优化。此外，在存储器模式下使用PMEM并不提供任何性能优势，尽管易失性存储器容量更大。通过对引擎和参数的广泛介绍，我们为在数据库中利用PMEM和调整关系引擎以利用这项新技术提供了一个重要的起点。
2021-12-01 cs.DB
ARACDE: Retrofitting Databases with ABAC using External Authorization Engines
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）；Rutgers University（罗格斯大学）
该研究提出ARCADE架构，通过外部化授权解析至可验证策略引擎，为MySQL、PostgreSQL添加ABAC层，实现低开销的数据库访问控制改造，性能损失极小。
2026-10-13 cs.CR cs.DB
A Layered Aggregate Engine for Analytics Workloads
本文介绍了LMFAO（分层多功能聚集优化），一个在内存中的优化和执行引擎，对输入数据库的批量聚集。这项工作的主要动机源于这样的观察，即对于数据库上的各种分析，它们的数据密集型任务可以通过输入数据库关系的连接分解为分组聚合。我们将LMFAO的多功能性和竞争力用于一些广泛使用的分析：学习岭线性回归，分类树，回归树和使用Chow-Liu树的贝叶斯网络结构;以及用于数据仓库探索的数据立方体。LMFAO由几层逻辑和代码优化组成，这些优化系统地利用了计算共享、并行性和代码专门化。我们进行了两种性能基准测试。在四个数据集的实验中，LMFAO的表现优于几个数量级，一方面，商业数据库系统和MonetDB用于计算批量聚合，另一方面，TensorFlow，Scikit，R和AC/DC用于在数据库上学习各种模型。
2019-06-20 cs.DB
Farview: Disaggregated Memory with Operator Off-loading for Database Engines
云部署将存储与计算分离，为存储层和计算层提供更大的灵活性。在本文中，我们探索分解，采取进一步的措施，并将其应用于内存（DRAM）。非聚合内存使用网络附加DRAM作为将内存与CPU解耦的一种方式。在数据库的上下文中，这样的设计在使较大的存储器容量可用作较小处理节点的集合的中央池方面提供了显著的优点。为了探索这些可能性，我们实现了Farview，这是一种用于数据库的分解内存解决方案，作为具有操作员卸载功能的远程缓冲区缓存运行。Farview被实现为一个基于FPGA的智能NIC，使DRAM可作为一个分散的，网络连接的存储器模块，能够执行数据处理线速率的数据流到/从分散的存储器。Farview支持使用选择、投影、聚合、正则表达式匹配和加密等操作符进行查询卸载。在本文中，我们专注于分析查询，并证明了可行性的想法，通过广泛的实验评估Farview在不同的工作负载。Farview在所有工作负载上都能与本地缓冲区缓存解决方案竞争，并且在许多情况下都优于它，这证明了智能分散内存可以成为部署在云环境中的数据库的可行替代方案。
2021-06-13 cs.DB
Detecting Optimization Bugs in Database Engines via Non-Optimizing Reference Engine Construction
数据库管理系统（DBMS）被广泛使用。为了有效地访问数据，他们应用了复杂的优化。不正确的优化可能会导致逻辑错误，从而导致查询计算出不正确的结果集。我们提出了非优化引用引擎构造（NoREC），一种全自动的方法来检测DBMS中的优化错误。从概念上讲，这种方法旨在通过优化和非优化版本的DBMS来评估查询，然后检测它们返回的结果集中的差异，这将表明DBMS中存在错误。获得DBMS的非优化版本是具有挑战性的，因为DBMS通常对优化提供有限的控制。我们的核心见解是，一个给定的，潜在的随机生成的优化查询可以重写为一个DBMS不能优化。评估该未优化的查询有效地对应于执行原始查询的非优化引用引擎。我们在四个广泛使用的DBMS上进行了广泛的测试活动，即PostgreSQL，MariaDB，SQLite和CockroachDB。我们在这些系统的最新版本中发现了159个以前未知的错误，其中141个已经被开发人员修复。其中，51个是优化错误，其余的是错误和崩溃错误。我们的研究结果表明，NoREC是有效的，通用的，需要很少的实施工作，这使得该技术在实践中广泛适用。
2020-07-16 cs.DB cs.SE
The Duck's Brain: Training and Inference of Neural Networks in Modern Database Engines
University of Bamberg（班贝格大学）；TUM（慕尼黑工业大学）
本文提出在SQL中通过关系表示训练神经网络，克服关系模型障碍，并比较数组类型与关系表示的性能，证明现代数据库适用于矩阵运算。
2023-12-28 cs.DB cs.LG
GPU-Powered Spatial Database Engine for Commodity Hardware: Extended Version
鉴于空间数据量的大规模增长，非常需要能够有效地评估大型数据集上的空间查询的系统。使用传统的数据库解决方案，这些查询是非常昂贵的。虽然通过强大的集群或具有大内存的服务器可以实现更快的响应时间，但由于成本和复杂性，这些选项对于构成长尾的许多数据科学家和分析师来说是遥不可及的。图形处理单元（GPU）现在甚至在商用台式机和笔记本电脑中也广泛使用，它提供了一种支持高性能计算的经济高效的替代方案，为有效评估空间查询开辟了新的机会。虽然文献中提出的基于GPU的方法在性能上有很大的改进，但它们与特定的GPU硬件相关联，并且只处理固定几何类型的特定查询。在本文中，我们提出了SPADE，GPU驱动的空间数据库引擎，支持丰富的空间查询。我们讨论了在大型数据集上实现高效查询评估以及跨不同GPU硬件的可移植性所面临的挑战，以及如何在SPADE中解决这些问题。我们进行了详细的实验评估，以评估广泛的查询和数据集的系统的有效性，并报告结果表明，SPADE是可扩展的，能够处理大于主内存的数据，其性能在笔记本电脑上是与其他系统，需要集群或大内存服务器。
2022-03-27 cs.DB
Natural Language Query Engine for Relational Databases using Generative AI
IBM France（IBM法国公司）
针对非技术用户因缺乏SQL知识难以查询关系数据库的问题，提出基于生成式AI的自然语言查询引擎，可自动将自然语言查询转译为语法语义正确的SQL并生成自然语言响应，实现数据访问普惠化并提升效率。
2024-09-23 cs.AI cs.DB cs.LG
Analyzing Performance Characteristics of PostgreSQL and MariaDB on NVMeVirt
本文通过研究数据库引擎内部机制，重点分析MVCC实现差异，揭示了MariaDB和PostgreSQL在NVMeVirt不同存储带宽下表现出不同性能特征的原因。
2024-11-15 cs.AR cs.DB
MillenniumDB: A Persistent, Open-Source, Graph Database
在这篇系统论文中，我们介绍了Millennium DB：一种新颖的图形数据库引擎，它是模块化的，持久的和开源的。数据模型是基于图的，我们称之为域图，它提供了一个简单的抽象，在此基础上可以支持各种流行的图模型。引擎本身是建立在关系数据管理中久经考验的技术、最坏情况下最优连接的最先进算法以及用于评估路径查询的特定于图的算法的组合之上。在本文中，我们提出了主要的设计原则，基础上的千禧数据库，描述了抽象的图模型和查询语义支持，具体的数据模型和查询语法实现，以及存储，索引，查询规划和查询评估技术使用。我们对来自Wikidata知识图谱的真实数据和查询进行了评估，我们发现它的性能优于其他支持类似查询功能的流行持久图数据库引擎（包括企业和开源替代品）。
2021-11-02 cs.DB
Automatic Storage Structure Selection for hybrid Workload
Harbin Institute of Technology（哈尔滨工业大学）
在数据库系统的使用中，存储引擎和数据模型的设计直接影响数据库执行查询时的性能。因此，数据库的使用者需要根据遇到的工作量来选择存储引擎和设计数据模型。然而，在混合工作负载中，数据库的查询集是动态变化的，其最优存储结构的设计也在变化。基于此，提出了一种基于学习代价的存储结构自动选择系统，用于在混合负载下动态选择数据库的最优存储结构。在该系统中，我们引入了一种机器学习方法来建立存储引擎的成本模型，以及一种面向列的数据布局生成算法。实验结果表明，该系统能够根据当前的工作负载选择存储引擎和数据模型的最优组合，大大提高了默认存储结构的性能。系统设计为兼容不同的存储引擎，便于实际应用。
2020-08-15 cs.DB cs.LG
SciTS: A Benchmark for Time-Series Databases in Scientific Experiments and Industrial Internet of Things
时间序列数据在工业物联网（IIoT）和大规模科学实验中的使用越来越多。管理时间序列数据需要一个存储引擎，它可以跟上不断增长的数据量，同时提供可接受的查询延迟。虽然传统的ACID数据库更倾向于一致性而不是性能，但已经开发了许多具有新颖存储引擎的时间序列数据库，以提供更好的摄取性能和更低的查询延迟。为了了解时间序列数据库的独特设计如何影响其性能，我们设计了SciTS，这是一个高度可扩展和可参数化的时间序列数据基准。该基准测试研究了时间序列数据库的数据摄取能力，特别是当它们的规模越来越大时。并从科学实验用例出发，研究了5个实用查询的语义。我们使用SciTS来评估4个不同存储引擎的4个数据库的性能：ClickHouse，InfluxDB，TimescaleDB和PostgreSQL。
2022-06-08 astro-ph.IM cs.DB cs.PF
Automatic Generation of a Hybrid Query Execution Engine
对快速数据处理的需求不断增长，需要新的方法来高效执行查询。即时查询编译技术已被证明可以显著提高一组分析任务的性能。在这项工作中，我们研究了将这种方法添加到现有数据库解决方案中的可能性及其提供的好处。为此，我们创建了一组自动化工具来创建一个运行时代码生成引擎，并将这样的引擎集成到SQLite中，SQLite是世界上最流行的关系数据库之一，用于各种各样的环境。在涉及大量操作的查询的微基准测试中观察到高达1.7倍的加速。
2018-08-16 cs.DB
Skeena: Efficient and Consistent Cross-Engine Transactions
数据库系统正变得越来越多引擎。特别地，主存储器数据库引擎可以与传统的以存储为中心的引擎在系统中共存以支持各种应用。希望允许应用程序使用跨引擎事务访问两个引擎中的数据。但是现有的系统要么只为单引擎访问设计，要么通过将跨引擎事务限制在特定的隔离级别和表操作来施加许多限制。其结果是在正确性、性能和可编程性方面的跨引擎支持不足。本文介绍了Skeena，一种跨引擎事务的整体方法。我们提出了一个轻量级的快照跟踪结构和原子提交协议，以有效地确保正确性和支持各种隔离级别。评估结果表明，Skeena保持了单引擎事务的高性能，并支持跨引擎事务，通过明智地将表放置在不同的引擎中，可以将吞吐量提高高达30倍。
2022-06-09 cs.DB
NSHEDB: Noise-Sensitive Homomorphic Encrypted Database Query Engine
UC Riverside（加州大学河滨分校）；Meta
NSHEDB通过字级分层同态加密和噪声感知查询计划器，实现了高效安全的同态加密数据库查询，显著提升性能并减少存储需求。
2026-02-27 cs.CR cs.DB
Knowledge Rich Natural Language Queries over Structured Biological Databases
关键字、自然语言和NoSQL查询正越来越多地用于从传统和非传统数据库（诸如web、文档、图像、GIS、法律和健康数据库）进行信息检索。虽然由于显而易见的原因，它们的受欢迎程度是不可否认的，但它们的工程设计远非简单。在大多数情况下，将通过结构化数据库模式表达的良好理解的自然语言查询映射到结构化查询语言的语义和意图保持映射仍然是一项困难的任务，并且对驯服复杂性的研究是激烈的。在本文中，我们提出了一个多层次的知识为基础的中间件，以促进这种映射，分离的概念层次的物理层次。我们增加了这些多层次的抽象与概念推理和查询策略引擎动态链接任意自然语言查询定义良好的结构化查询。我们证明了我们的方法的可行性，提出了一个基于数据库的原型系统，称为生物智能，可以计算响应任意自然语言查询在任意数据库的自然语言查询的语法分类。
2017-03-30 cs.DB
M2: An Analytic System with Specialized Storage Engines for Multi-Model Workloads
M2提出集成存储引擎的多模型分析系统，通过多阶段哈希连接实现跨模型查询，性能提升最高达188倍。
2025-08-05 cs.DB
Six Dimensions of Benchmarking Time-Series Databases
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出时序数据库基准测试框架SciTSv2，从六个维度评估四款不同存储引擎的TSDB，揭示单轴基准掩盖的架构行为，为架构师提供性能诊断与存储引擎选择依据。
2026-08-04 cs.DB
Relational Playground: Teaching the Duality of Relational Algebra and SQL
针对学生在SQL与关系代数之间缺乏联系理解的问题，开发了Relational Playground工具，帮助数据库学生探索两者之间的对应关系。
2023-06-23 cs.DB
Fast Factorized Learning: Powered by In-Memory Database Systems
Technical University of Munich（慕尼黑技术大学）；University of Bamberg（巴姆贝格大学）
本文提出利用内存数据库系统实现分解学习，通过预计算共因子显著提升线性回归训练效率，相比传统磁盘数据库系统提升100倍。
2025-12-10 cs.DB cs.LG
Testing Database Engines via Pivoted Query Synthesis
关系数据库被广泛使用。它们由数据库管理系统（DBMS）管理，DBMS允许使用称为结构化查询语言（SQL）的特定于域的语言插入、修改和查询数据。流行的数据库管理系统已经被模糊器广泛测试，它已经成功地发现了崩溃错误。然而，查找逻辑错误的方法，例如当DBMS计算出不正确的结果集时，仍然大多没有解决。差分测试是一种有效的技术，通过比较这些系统的输出来测试支持公共语言的系统。然而，这种技术对于DBMS是无效的，因为每个DBMS通常都支持自己的SQL方言。为此，我们设计了一种新的和一般的方法，我们称之为枢轴查询合成。这种方法的核心思想是自动生成查询，我们确保它们获取特定的随机选择的行，称为pivot行。如果DBMS无法获取数据透视行，可能的原因是DBMS中存在错误。我们在三个广泛使用的成熟DBMS上测试了我们的方法，即SQLite，MySQL和PostgreSQL。在这些DBMS中，我们总共报告了123个错误，其中99个已经修复或验证，表明该方法是非常有效和通用的。我们希望我们的方法的广泛适用性和简单性将使许多DBMS的鲁棒性的改善。
2020-01-13 cs.DB cs.SE
TCUDB: Accelerating Database with Tensor Processors
近年来，新型硬件加速器的出现推动了机器学习的巨大增长。这些加速器在处理大容量矩阵运算符方面提供了无与伦比的性能提升，特别是矩阵乘法，这是神经网络训练和推理的核心组件。在这项工作中，我们探索了使用NVIDIA的Tensor Core Units（TCU）加速数据库系统的机会。我们提出了TCUDB，TCU加速查询引擎处理一组查询运算符，包括自然连接和分组聚合TCU内的矩阵运算符。矩阵乘法在过去被认为是低效的;然而，在传统的基于GPU的数据库中，这种策略在很大程度上仍未被探索，这些数据库主要依赖于向量或标量处理。我们展示了TCUDB在一系列实际应用中的显着性能增益，包括实体匹配，图形查询处理和基于矩阵的数据分析。与基于GPU的基准查询引擎相比，TCUDB实现了高达288倍的加速。
2021-12-14 cs.DB
AeonG: An Efficient Built-in Temporal Support in Graph Databases
本文提出内置时序支持的图数据库AeonG，通过混合存储引擎和anchor+delta策略降低历史存储开销，并利用基于anchor的版本检索加速时序查询，在存储消耗和查询延迟上显著优于现有方法。
2024-04-01 cs.DB
Breaking Database Lock-in: Agentic Regeneration of High Performance Storage Readers for Database Bypass
Cornell University（康奈尔大学）
研究分析工作负载面临的数据访问瓶颈问题，提出Jailbreak方法，利用大语言模型辅助代码合成绕过数据库引擎直接读取存储文件，在PostgreSQL和MySQL上评估，性能显著提升，证明该方法可打破数据库系统数据锁定。
2026-07-09 cs.AI cs.DB
Towards Transaction as a Service
本文提出将事务处理从云原生数据库中解耦为独立服务（TaaS），构建执行-事务-存储三层架构，以实现独立扩展、升级，并增强AP引擎的ACID能力、支持多主分布式与多模型事务，提升性能。
2023-11-14 cs.DB
IDEBench: A Benchmark for Interactive Data Exploration
分析数据库系统的现有基准，如TPC-DS和TPC-H，是为静态报告场景设计的。这些基准测试的主要指标是在合成数据库上运行单个SQL查询的性能。在本文中，我们认为，这样的基准是不适合评估数据库的工作负载源自交互式数据探索（IDE）系统，其中大多数查询是临时的，而不是基于预定义的报告，并逐步建立。作为一个主要的贡献，我们提出了一个新的基准称为IDEBench，可用于评估IDE工作负载的数据库系统的性能。与传统的分析数据库系统基准测试相反，我们的目标是提供更有意义的工作负载和数据集，可用于对IDE查询引擎进行基准测试，特别关注捕获查询性能和结果质量之间的权衡的指标。作为第二个贡献，本文评估和讨论了选定的IDE查询引擎使用我们的基准测试的性能结果。该研究包括两个商业系统，以及两个研究原型（IDEA，approximateDB/XDB）和一个传统的分析数据库系统（MonetDB）。
2018-04-07 cs.DB
JetStream: Generating Query Accelerators for Existing Database Systems
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
JetStream是扩展现有DBMS的查询专用加速器生成系统，经TPC-H等测试，其生成的有状态加速器对DuckDB等实现数百倍加速，还可泛化到新工作负载，能支持动态工作负载。
2026-08-25 cs.DB
Graph Neural Networks on Graph Databases
University of Oxford（牛津大学）；Neo4j（Neo4j公司）
针对大型数据集上训练图神经网络的挑战，本文提出直接利用图数据库的查询引擎进行采样和最小化内存检索来训练GNN，实验证明该方法在单机和分布式训练中均具资源优势，为扩展GNN和图数据库应用开辟了新途径。
2024-11-18 cs.DB cs.LG
UQE: A Query Engine for Unstructured Databases
Google DeepMind（谷歌DeepMind）；Google Cloud（谷歌云）；University of Alberta（阿尔伯塔大学）；Georgia Institute of Technology（佐治亚理工学院）
提出通用查询引擎UQE，利用LLMs和SQL方言UQL直接对图像、对话等非结构化数据进行高效查询与分析。
2024-11-17 cs.AI cs.DB cs.LG
Graph Memory for LLM Agents: At What Cost? A Comparative Evaluation of Query, Ingest, and Update Performance Across Graph Database Engines
Corvic AI Research（Corvic人工智能研究院）；UT Austin（德克萨斯大学奥斯汀分校）
本文构建生物医学属性图基准，比较八种图数据库引擎在查询、摄取和更新上的性能，发现无绝对最快系统，且批量摄取成本差异主导总拥有成本。
2026-09-22 cs.AI cs.DB
RapidEarth: A Search-by-Classification Engine for Large-Scale Geospatial Imagery
本文提出 RapidEarth 搜索引擎，通过协同设计多维索引与决策分支，将模型推理转化为范围查询，实现秒级大规模卫星影像按分类检索。
2023-09-29 cs.DB
VerdictDB: Universalizing Approximate Query Processing
尽管在学术界进行了25年的研究，但近似查询处理（AQP）几乎没有工业应用。这种缓慢采用的主要原因之一是传统供应商不愿意对其遗留代码库进行彻底更改，以及较新供应商（例如，SQL-on-Hadoop产品），并实现标准功能。此外，现有的几个AQP引擎都与特定的平台绑定，要求用户完全放弃现有的数据库-考虑到AQP技术的起步阶段，这是一个不切实际的期望。因此，我们认为需要一个通用的解决方案：一个与数据库无关的近似引擎，它将扩大这一新兴技术在各种平台上的影响力。我们的建议，称为VerdictDB，使用中间件架构，不需要更改后端数据库，因此，可以与所有现成的引擎。VerdictDB在驱动程序级别上运行，拦截发送到数据库的分析查询，并将其重写为另一个查询，如果由任何标准的关系引擎执行，将产生足够的信息来计算近似答案。VerdictDB使用返回的结果集来计算近似答案和错误估计，然后将其传递给用户或应用程序。然而，缺乏对查询执行层的访问在通用性、正确性和效率方面引入了重大挑战。本文展示了VerdictDB如何克服这些挑战，并为各种现有引擎（如Impala，Spark SQL和Amazon Redshift）提供高达171 $\times$的加速（平均18.45 $\times$），同时产生小于2.6%的相对误差。VerdictDB在Apache许可证下开源。
2018-11-08 cs.DB
A1: A Distributed In-Memory Graph Database
A1是一个内存中的分布式数据库，Bing搜索引擎使用它来支持对结构化数据的复杂查询。A1的关键推动因素是在商品硬件中提供廉价的DRAM和高速RDMA（远程直接内存访问）网络。A1使用FaRM作为其底层存储层，并在其上构建图形抽象和查询引擎。内存存储和RDMA访问的结合需要重新思考如何在大型分布式系统中分配，组织和查询数据。单个A1集群可以存储数百亿个顶点和边，并支持每秒3.5亿个顶点读取的吞吐量，端到端查询延迟为个位数毫秒。本文描述了A1数据模型、RDMA优化的数据结构和查询执行。
2020-04-12 cs.DB cs.DC
Logica-TGD: Transforming Graph Databases Logically
针对图转换的时序处理与可扩展性挑战，提出基于开源逻辑编程语言Logica在并行数据库上实现图转换的方法，提升了性能并支持时变图，验证了其在多种图查询与转换任务中的便捷性。
2025-03-01 cs.DB
DBTuneSuite: An Extendible Experimental Suite to Test the Time Performance of Multi-layer Tuning Options on Database Management Systems
New York University（纽约大学）
DBTuneSuite 通过实验评估不同数据库系统在多种查询负载和调优选项下的性能表现，为数据库系统优化提供实用参考。
2026-01-27 cs.DB
ZX-DB: A Graph Database for Quantum Circuit Simplification and Rewriting via the ZX-Calculus
Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）
针对量子电路编译优化需求，本文提出基于ZX-演算的图数据库系统ZX-DB，将重写规则编码为openCypher查询在Memgraph上执行，相较PyZX最高实现一个数量级的独立重写加速，开辟了数据库支撑量子计算流水线的新方向。
2025-11-17 cs.DB quant-ph
VisualNeo: Bridging the Gap between Visual Query Interfaces and Graph Query Engines
Hong Kong Univ. of Sci. & Tech.（香港科技大学）
VisualNeo基于Neo4j构建新型可视化查询系统，实现高效子图查询，继承先进VQI特性并集成数据库管理模块，提升图查询全栈操作体验。
2026-04-28 cs.DB cs.SE
SIMD-ified R-tree Query Processing and Optimization
本文研究空间数据库中R树索引的SIMD向量化，提出范围选择与空间连接的向量化算法及两种存储布局，引入优化后延迟提升高达9倍。
2023-09-29 cs.DB
RTCUDB: Building Databases with RT Processors
针对现有基于CUDA核心的GPU数据库查询引擎性能受内存带宽限制的问题，提出首个利用GPU光线追踪核心的查询引擎RTCUDB，通过将查询转换为三维光线追踪任务优化访存，性能较现有最优GPU方案最高提升18.3倍。
2024-12-13 cs.DB
SkyQuery: An Implementation of a Parallel Probabilistic Join Engine for Cross-Identification of Multiple Astronomical Databases
多波长天文学研究需要根据球坐标和其他性质，对多个星表中的相同天体的探测进行交叉识别。由于大数据量和球面几何，对称的N路关联的天文探测是一个计算密集型的问题，即使复杂的索引方案被用来排除明显错误的候选人。遗留的天文目录已经包含了超过一亿个物体的探测，而正在进行的和未来的调查将产生数十亿个物体的目录，每个物体在不同的时间有多个探测。位置测量的变化的统计误差、移动和延伸的对象以及其他物理特性使得有必要使用能够包括各种先验的数学上正确的、适当的贝叶斯概率算法来执行交叉识别。有一次，这些大目录的成对交叉识别对于许多天文场景是不够的。因此，一个新的系统是必要的，可以交叉识别多个目录的需求，有效和可靠的。在本文中，我们提出了我们的解决方案的基础上集群的商品服务器和普通的关系数据库。交叉识别问题是在基于SQL的语言中制定的，但扩展了特殊的子句。这些特殊的查询在空间上按坐标范围划分，并编译成普通SQL查询的复杂工作流。然后，使用托管相同数据集的相同镜像的服务器集群在并行框架中执行工作流。
2012-06-21 astro-ph.IM cs.DB cs.DC
Efficient sorting, duplicate removal, grouping, and aggregation
数据库查询处理需要用于重复删除、分组和聚合的算法。存在三种算法：到目前为止，流内聚合是最有效的，但是需要已排序的输入;基于排序的聚合依赖于外部归并排序;而散列聚合依赖于存储器内的哈希表加上对临时存储的散列分区。基于成本的查询优化根据几个因素选择要使用的算法，这些因素包括输入的排序顺序、输入和输出大小以及对排序输出的需求。例如，基于散列的聚合对于小于可用存储器的输出是理想的（例如，TPC-H查询1），而当聚合输入和输出都很大并且输出需要被排序以用于诸如合并联接的后续操作时，对整个输入进行排序并在排序之后进行聚合是优选的。不幸的是，在查询优化期间，合理选择所需的大小信息通常不准确或不可用，从而导致次优算法选择。作为回应，本文介绍了一种新的算法，基于排序的重复删除，分组和聚合。新算法的性能始终至少与传统的基于散列和基于排序的算法一样好。它可以作为系统中唯一的未排序输入的聚合算法，从而防止错误的算法选择。此外，新算法产生排序输出，可以加快后续操作。Google的F1 Query在生产工作负载中使用新算法，每天聚合PB级的数据。
2022-09-24 cs.DB
Finding Logic Bugs in Spatial Database Engines via Affine Equivalent Inputs
本文提出几何感知SQL生成器和仿射等价输入（AEI）验证方法，并实现为Spatter工具，在四个主流空间数据库中发现34个未知逻辑错误，其中30个已确认、18个已修复。
2024-10-17 cs.DB cs.PL cs.SE
