Technical Report: Parallel Distance Threshold Query Processing for Spatiotemporal Trajectory Databases on the GPU
处理移动对象的轨迹出现在许多应用领域，并已解决了从业者在时空数据库和地理信息系统社区。在这项工作中，我们专注于一个轨迹相似性搜索，距离阈值查询，它发现在给定的距离d内的搜索轨迹在一个时间间隔内的所有轨迹。我们展示了一个多线程实现的性能，其特点是使用一个R-树索引，并具有很高的并行效率（78%-90%）。我们介绍了一个GPGPU的实现，它避免了使用索引树，而是具有GPU友好的索引方法。我们比较多线程和GPU实现的性能，并表明，可以使用后者获得的加速比。我们提出了两类算法，SetSplit和GreedySetSplit，以创建高效的查询批次，减少内存压力和GPU上的计算成本。然而，我们发现使用固定大小的批次在实践中是足够有效的。我们开发了一个经验的性能模型，我们的GPGPU实现，可用于预测的响应时间的距离阈值查询。这个模型可以用来选择一个好的查询批量大小。
2014-09-13 cs.DB cs.DC
Bounding the Fragmentation of B-Trees Subject to Batched Insertions
Stony Brook University（石溪大学）；RelationalAI（关系人工智能）；New York University（纽约大学）；Cornell Tech（康奈尔科技）；Max Planck Institute for Informatics（马克斯·普朗克计算机科学研究所）；University of Michigan（密歇根大学）
本文研究了批量插入对B树碎片化的影响，提出了一种推广Yao分析的方法，以严格处理此类工作负载，并为不同场景提供了有效的空间利用率策略。
2026-03-12 cs.DB cs.DS
Extending the SDSS Batch Query System to the National Virtual Observatory Grid
斯隆数字巡天科学数据库接近2 TB。虽然绝大多数查询通常在几秒或几分钟内执行，但这种交互式执行时间可能会因一小部分需要几小时或几天运行的查询而不成比例地增加;因为它们需要对最大的表进行非索引扫描，或者因为它们请求非常大的结果集。针对这一点，我们添加了一个多队列作业提交和跟踪系统。通过网络传输查询的非常大的结果集是另一个严重的问题。统计数据表明，这种数据传输大部分是不必要的;用户更愿意将结果存储在本地，以便进一步交叉匹配和过滤。为了允许本地分析，我们实现了一个系统，在门户网站上为用户提供他们自己的个人数据库（MyDB）。用户可以将数据传输到他们的MyDB，然后在将其提取到自己的机器之前进行进一步分析。我们打算将MyDB和异步查询思想扩展到多个NVO节点。这意味着以分布式方式开发若干功能，这些功能已在SDSS批量查询系统（CasJobs）的单个节点上得到演示。异步查询的泛化需要某种形式的MyDB存储以及每个节点上的工作流跟踪服务和节点之间的协调策略。
2004-03-12 cs.DB
Accelerating Regular Path Queries over Graph Database with Processing-in-Memory
针对图数据库RPQ的内存墙瓶颈，提出基于PIM的Moctopus系统，采用PIM友好动态分区算法并行处理路径匹配，支持高效批量查询与更新，性能优于传统图数据库。
2024-03-15 cs.DB
Managing Periodically Updated Data in Relational Databases: A Stochastic Modeling Approach
信息管理的最新趋势涉及在网络环境中将数据周期性地转录到辅助设备上，并且这些转录的适当调度对于有效的数据管理至关重要。为了协助调度过程中，我们有兴趣在建模的关系和它的副本，称为过时的数据之间的一致性随着时间的推移减少。建模是基于随机过程领域的技术，并提供了几个随机模型的内容演变的基础关系的数据库，参考完整性约束考虑。这些模型足够通用，可以适应数据库中的大多数常见场景，包括批量插入和使用内存和不使用内存的生命周期。作为我们的方法的适用性的初始“概念证明”，我们通过实验验证了我们的模型框架的插入部分与真实的数据源。我们还讨论了一组转录协议，利用所提出的随机模型。
2001-06-11 cs.DB
Wally: Batched Private Nearest Neighbor Search at Scale
Apple Inc.（苹果公司）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
Wally通过批量处理和加密技术实现大规模隐私保护下的高效最近邻搜索，显著提升吞吐量和降低通信成本。
2026-07-10 cs.CR cs.DB
GlassDB: An Efficient Verifiable Ledger Database System Through Transparency
可验证的分类账数据库保护数据历史不受恶意篡改。现有的系统，如区块链和证书透明性，都是基于透明日志的--这是一个简单的抽象，允许用户验证由不受信任的服务器维护的日志是仅附加的。它们公开了一个简单的键值接口。另一方面，从透明度日志建立一个实用的数据库仍然是一个挑战。在本文中，我们从三个维度探索了可验证分类账数据库的设计空间：抽象、威胁模型和性能。我们调查现有的系统，并确定其两个局限性，即缺乏交易支持和效率低下。然后，我们提出了GlassDB，一个分布式数据库，解决这些限制下的实际威胁模型。GlassDB继承了透明日志的可验证性，但支持事务并提供高性能。它扩展了一个类似于分类账的键值存储，并提供了一个数据结构来进行有效的证明，并为事务添加了一个并发控制机制。GlassDB在更新核心数据结构时将独立于并发事务的操作批处理。此外，我们通过扩展YCSB和TPC-C基准，设计了一个新的基准来评估可验证的分类账数据库。使用这个基准测试，我们将GlassDB与四个基线进行比较：三个可验证数据库的重新实现版本，以及由透明度日志支持的可验证地图。实验结果表明，GlassDB是一个高效的，事务性的，可验证的账本数据库。
2023-02-20 cs.DB
Batch is back: CasJobs, serving multi-TB data on the Web
斯隆数字巡天（SDSS）科学数据库描述了超过1.4亿个物体，大小超过1.5 TB。SDSS目录存档服务器（CAS）通过SkyServer网站提供了对SDSS数据的几个级别的查询接口。大多数查询在几秒或几分钟内执行。但是，有些查询可能需要数小时或数天的时间，因为它们需要对最大的表进行非索引扫描，或者因为它们请求非常大的结果集，或者因为它们表示非常复杂的数据聚合。这些“怪物查询”不仅花费很长时间，还影响其他所有人的响应时间-其中一个或多个查询可能会阻塞整个系统。为了改善这一问题，我们开发了一个多服务器多队列批量作业提交和跟踪系统的CAS称为CasJobs。通过网络传输查询的非常大的结果集是另一个严重的问题。统计数据表明，这种数据传输大部分是不必要的;用户更愿意将结果存储在本地，以便允许进一步的连接和过滤。为了允许本地分析，开发了一个系统，在服务器端为用户提供他们自己的个人数据库（MyDB）。用户可以将数据传输到他们的MyDB，然后在将其提取到自己的机器之前进行进一步分析。MyDB表还提供了一种与协作者共享查询结果的方便方法，而无需下载它们。CasJobs是使用SOAP XML Web服务构建的，自2004年5月以来一直在运行。
2005-02-17 cs.DB cs.DC
SharedDB: Killing One Thousand Queries With One Stone
传统的数据库系统是围绕一次查询模型构建的。这种方法试图以最大努力的方式优化性能。不幸的是，对于许多现代应用程序来说，尽力而为还不够好。这些应用需要在高负载情况下保证响应时间。本文介绍了一种新的数据库架构的设计，该架构基于并行查询和共享计算，可能有数百个并发查询和更新。使用TPC-W基准测试的性能实验表明，我们的实现SharedDB的性能在各种动态工作负载中确实很强大。
2012-03-01 cs.DB
WiSeDB: A Learning-based Workload Management Advisor for Cloud Databases
云数据库的数据库管理必须以满足应用程序性能目标的方式处理资源配置，查询放置和查询调度任务，同时最大限度地降低使用云资源的成本。现有的解决方案孤立地处理这三个挑战，并且只考虑特定类型的性能目标。在本文中，我们介绍了WiSeDB，一个基于学习的框架，用于生成定制的应用程序定义的性能指标和工作负载特性的整体工作负载管理解决方案。我们的方法依赖于监督学习训练成本效益的决策树模型，用于指导查询放置，调度和资源配置决策。应用程序可以将这些模型用于传入工作负载的批处理和在线调度。我们的系统的一个独特功能是，它可以调整其离线模型，以更严格/更宽松的性能目标，最小的重新训练。这使我们能够提出替代的工作负载管理策略，解决云服务的典型性能与成本权衡。实验结果表明，我们的方法具有非常低的训练开销，同时为各种性能目标和工作负载特性提供低成本的策略。
2016-04-30 cs.DB
Six Dimensions of Benchmarking Time-Series Databases
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出时序数据库基准测试框架SciTSv2，从六个维度评估四款不同存储引擎的TSDB，揭示单轴基准掩盖的架构行为，为架构师提供性能诊断与存储引擎选择依据。
2026-08-04 cs.DB
Evaluating Accumulo Performance for a Scalable Cyber Data Processing Pipeline
流式大数据应用程序在创建可扩展的数据流管道方面面临挑战，其中必须收集、存储、查询和分析多个数据流。这些数据源的特征在于它们的数量（就数据集大小而言）、速度（就数据率而言）和种类（就字段和类型而言）。对于许多应用，分布式NoSQL数据库是传统关系数据库管理系统的有效替代品。本文考虑了一个网络态势感知系统，使用Apache Accumulo数据库提供可扩展的数据仓库，实时数据摄取，并响应查询人类用户和分析算法。我们评估Accumulo的摄取的可扩展性作为客户端进程和服务器的数量的函数。我们还描述了一个灵活的数据模型与有效的技术查询规划和查询优化，以提供响应结果。查询性能根据客户端接收初始结果集的延迟进行评估。Accumulo的性能是使用真实的网络数据在多达8个节点的数据库上测量的。
2014-07-21 cs.DB
Optimization techniques for SQL+ML queries: A performance analysis of real-time feature computation in OpenMLDB
本研究在OpenMLDB上优化SQL+ML查询，通过查询计划优化、缓存、并行处理和资源管理，实现约12,500 QPS和低于1毫秒延迟，性能显著优于SparkSQL、ClickHouse、PostgreSQL和MySQL，验证了其在实时特征计算场景中的优势。
2025-09-19 cs.DB
Parallel Batch-Dynamic $k$d-Trees
$k$ d树被广泛应用于并行数据库中以支持高效的邻域/相似性查询。因此，支持并行更新$k$ d树是一个重要的操作。在本文中，我们提出了BDL树，一个并行，批量动态实现的$k$ D树，允许高效的并行$k$ -NN查询动态变化的点集。BDL-树由一组日志结构的$k$ d-树组成，它可以用来以多对数深度并行地有效地插入或删除批量点。具体地说，给定一个具有$n$点的BDL树，每批$B$更新都需要$O(B\log^2{(n+B)})$分摊工作和$O(\log(n+B)\log\log{(n+B)})$深度（并行时间）。我们提供了BDL树的优化多核实现。我们的优化包括并行缓存无关的$k$ d树构造和并行布隆过滤器构造。我们的实验在一个36核机器上使用各种合成和真实世界的数据集的双向超线程表明，我们的实现BDL树实现了一个自我相对加速高达$34.8\times$（平均$28.4\times$）的批量插入，高达$35.5\times$（平均$27.2\times$）的批量删除，和高达$46.1\times$（平均$40.0\times$）的$k$ -最近邻查询。此外，它实现了高达1450万次更新/秒的批并行更新和670万次查询/秒的$k$ -NN查询的吞吐量。我们比较两个基线$k$ d树的实现，并证明BDL树实现批量更新的两个基线选项之间的良好权衡。
2021-12-12 cs.DB cs.DS
Towards Selecting the Informative Alternative Relational Query Plans for Database Education
Xidian University（西安电子科技大学）；Nanyang Technological University（南洋理工大学）
本文提出信息性计划选择问题（TIPS），旨在为数据库教育提供信息量大的替代查询计划，通过近似算法和实验验证其有效性。
2026-03-10 cs.DB
Query-Driven Sampling for Collective Entity Resolution
概率数据库在不确定数据的处理和管理中发挥着突出的作用。最近，许多数据库研究工作已经将概率模型集成到数据库中以支持诸如信息抽取和标记的任务。许多这些努力是基于批量面向推理，抑制了实时工作流。一个重要的任务是实体解析（ER）。ER是确定数据库中对应于同一真实世界实体的记录（提及）的过程。传统的成对ER方法可能会导致不一致和低精度，由于本地化的决定。领先的ER系统通过使用概率图模型和马尔可夫链蒙特卡罗（MCMC）推理来集体解析所有记录来解决这个问题。然而，对于大型数据集，这是一个非常昂贵的过程。一个关键的观察结果是，这种详尽的ER过程导致了巨大的前期成本，这在实践中是浪费的，因为大多数用户只对一小部分实体感兴趣。在本文中，我们提倡按需付费的实体解析开发了一些查询驱动的集体ER技术。我们介绍了两类涉及ER操作符的SQL查询-选择驱动的ER和连接驱动的ER。我们实现新的MCMC大都会黑斯廷斯算法的变化，以产生有偏见的样本和基于选择性的调度算法，以支持两类ER查询。最后，我们表明，查询驱动的ER算法可以收敛，并在几分钟内返回结果，从包含7100万次提及的新闻通讯数据集的提取填充的数据库。
2015-08-13 cs.DB
Towards Effective Orchestration of AI x DB Workloads
National University of Singapore（新加坡国立大学）；Beijing Institute of Technology（北京理工大学）；Renmin University of China（中国人民大学）；Zhejiang University（浙江大学）
本文研究了AI与数据库工作负载的有效编排问题，探讨了联合数据管理和查询处理的挑战，提出了查询优化、执行调度和分布式执行等关键问题，并展示了初步设计和结果。
2026-09-23 cs.AI cs.DB
The Case for Instance-Optimized LLMs in OLAP Databases
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
本文提出IOLM-DB系统，通过为每个查询生成轻量级专用模型替代通用LLM，结合量化、稀疏化和剪枝技术，在保持准确性的同时将模型占用减少76%、吞吐量提升3.31倍，使LLM在大规模OLAP分析中切实可行。
2025-07-07 cs.DB cs.LG
A Hybrid ICT-Solution for Smart Meter Data Analytics
智能电表在全球范围内的使用越来越多。智能电表是能够以细粒度时间间隔测量能耗的先进电表，例如，每15分钟一班。智能电表数据通常与分析中的社会经济数据捆绑在一起，例如电表地理位置，天气状况和用户信息，这使得数据集非常庞大，分析复杂。数据采掘和新兴的云计算技术使得收集、处理和分析所谓的大数据成为可能。本文提出了一种创新的ICT解决方案，以简化智能电表数据分析。所提出的解决方案提供了一个信息集成管道，用于从智能电表中获取数据，一个可扩展的平台，用于处理和挖掘大数据集，以及一个门户网站，用于可视化分析结果。实现的系统具有一个混合架构，使用Spark或Hive进行大数据处理，并使用机器学习工具包MADlib在PostgreSQL数据库中进行数据库内数据分析。本文评估了所提出的ICT解决方案的关键技术，结果表明使用该系统进行批量和在线分析的有效性和效率。
2016-06-18 cs.DB
Enzyme: Incremental View Maintenance for Data Engineering
Databricks, Inc.（Databricks公司）；Google, Inc.（谷歌公司）
本文提出Enzyme，一种用于数据工程的增量视图维护引擎，通过自动化刷新策略减少计算成本，提升大规模生产管道的效率。
2026-04-30 cs.DB
QCATS: Query Context-Aware Transformer Slicing for Efficient Predictive Query Processing
Zhejiang University（浙江大学）；Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新区（滨江）区块链与数据安全研究院）
提出QCATS框架，利用查询上下文感知的Transformer切片实现数据库内高效稀疏推理，通过查询级路由和系统优化，在保持精度的同时降低延迟达4.42倍。
2026-10-08 cs.AI cs.DB
SonicDB S6: A Storage-Efficient Verkle Trie for High-Throughput Blockchains
Sonic Labs
本文提出SonicDB S6，一种用于Sonic区块链的生产级Rust Verkle树数据库，通过非分支特性实现存储优化，减少存储占用并提高吞吐量。
2026-05-18 cs.DB
Apache Hive: From MapReduce to Enterprise-grade Big Data Warehousing
Apache Hive是一个用于分析大数据工作负载的开源关系数据库系统。在本文中，我们描述了从批处理工具到完全成熟的企业数据仓库系统的旅程中的关键创新。我们提出了一种混合架构，将传统的MPP技术与最近的大数据和云概念相结合，以实现当今分析应用程序所需的规模和性能。我们通过沿着四个主轴详细介绍增强功能来探索系统：事务、优化器、运行时和联邦。然后，我们提供实验结果来演示系统在典型工作负载下的性能，最后看看社区路线图。
2019-03-26 cs.DB
Machine Unlearning in Learned Databases: An Experimental Analysis
本文首次系统实验分析学习型数据库中机器遗忘的影响，评估多种遗忘算法在选择性估计、近似查询处理、数据生成及数据分类等任务上的效果、效率与批量删除敏感性，并探索与插入处理算法结合以实现数据库全面可更新性。
2023-11-28 cs.DB
Implementing Semantic Join Operators Efficiently
Cornell University（康奈尔大学）
本文提出一种受块嵌套循环连接启发的语义连接算法，通过批量整合行对并优化批次大小，显著降低LLM调用成本，优于现有实现。
2025-10-09 cs.DB cs.LG
Dynamic Indexability: The Query-Update Tradeoff for One-Dimensional Range Queries
B树是一种基本的二级索引结构，广泛用于回答一维范围报告查询。给定一组$N$键，可以在$O(\log_B \nm + \frac{K}{B})$ I/O中回答范围查询，其中$B$是磁盘块大小，$K$是输出大小，$M$是主存缓冲区的大小。当插入或删除键时，如果我们要求立即将结果更改提交到磁盘，则B树将在$O(\log_B N)$ I/O中更新。否则，可以使用内存缓冲区来缓冲最近的更新，并且可以将更改批量写入磁盘，这显著降低了摊销更新成本。一种系统的级联更新方法是使用对数方法，结合分数级联，产生一个动态B树，支持$O(\frac{1}{B}\log\nm)$ I/O中的插入和$O(\log\nm + \frac{K}{B})$ I/O中的查询。这样的边界也被数据库文献中的几个已知的动态B树变体所匹配。本文证明了对于任何具有查询代价$O(q+\frac{K}{B})$和摊销插入代价$O(u/B)$的动态一维范围查询索引结构，如果$q=O(\log B)$，则折衷方案$q\cdot \log(u/q) = Ω(\log B)$必须成立.对于最合理的参数值，我们有$\nm = B^{O(1)}$，在这种情况下，我们的查询插入折衷意味着上面提到的边界已经是最优的。我们的下界在{ \em可索引性模型}的动态版本中成立，这是独立的利益。
2008-11-26 cs.DB cs.DS
A Hierarchical Approach to exploiting Multiple Datasets from TalkBank
University of Pittsburgh（匹兹堡大学）
本文提出一种分层搜索流水线框架，克服TalkBank API局限，实现高效数据选择与整合，并适用于其他开放科学平台。
2023-06-21 cs.CL cs.DB
FastER: On-Demand Entity Resolution in Property Graphs
针对按需实体解析场景，提出基于图差分依赖和渐进式调度的FastER框架，显著提升效率与实时性。
2025-10-08 cs.DB
SEMA-SQL: Beyond Traditional Relational Querying with Large Language Models
Alibaba Group（阿里巴巴集团）；University of Michigan（密歇根大学）
SEMA-SQL通过结合关系操作与LLM语义推理，自动回答自然语言问题，提升查询能力。
2026-05-14 cs.DB
