LakeVilla: A Modular and Non-Invasive Toolbox for Lakehouse Transactions
Technical University of Munich（慕尼黑工业大学）；SAP SE（SAP公司）
LakeVilla是一个模块化、非侵入式工具箱，为Apache Iceberg和Delta Lake等开放表格式提供恢复、复杂事务和隔离，性能影响极小。
2025-10-17 cs.DB
Unbundling Transaction Services in the Cloud
DBMS引擎的传统体系结构将恢复、并发控制和访问方法代码紧密地绑定在记录的存储引擎中。我们提出了一种不同的方法，其中存储引擎被分解为两层（每一层可能有多个异构实例）。事务组件（TC）只在逻辑层工作：它知道事务及其“逻辑”并发控制和撤销/重做恢复，但它不知道页面布局、B树等。它支持面向记录的接口，提供原子操作，但它不知道事务。提供原子记录操作本身可能涉及DC本地并发控制和恢复，这可以使用系统事务来实现。TC和DC中机制的相互作用导致多级重做（与集成引擎中重做的重复历史范例不同）。这种系统架构的重构可以允许更容易地部署特定于应用程序的物理结构，并且还可以有助于利用多核硬件。特别有前途的是它在云数据库部署中实现灵活事务的潜力。我们描述了必要的原则，分拆恢复，并讨论实施问题。
2009-09-09 cs.DB cs.DC
Greenplum: A Hybrid Database for Transactional and Analytical Workloads
企业数据仓库解决方案支持实时在线事务处理（OLTP）查询以及长时间运行的在线分析处理（OLAP）工作负载的需求正在增长。Greenplum数据库传统上被称为OLAP数据仓库系统，处理OLTP工作负载的能力有限。在本文中，我们将Greenplum扩展为一个混合系统，以同时为OLTP和OLAP工作负载提供服务。我们在这里所面临的挑战是在保持ACID属性的同时以最小的性能开销实现这一目标。在这项工作中，我们确定了工程和性能瓶颈，如表现不佳的限制性锁定和两阶段提交协议。接下来，我们解决事务查询和分析查询之间的资源争用问题。我们提出了一个全局死锁检测器，以增加查询处理的并发性。当保证更新数据的事务只驻留在一个段上时，我们引入了单阶段提交来加速查询处理。我们的资源组模型引入了将OLAP和OLTP工作负载分离到更合适的查询处理模式的功能。TPC-B和CH-benCHmark基准测试表明，我们的方法在不牺牲OLAP性能的情况下提高OLTP性能的有效性。
2021-05-14 cs.DB
Extending Polaris to Support Transactions
本文扩展云原生分布式框架 Polaris，在只读分析处理基础上利用不可变数据文件和 SQL Server 事务机制，为 Microsoft Fabric 的 T-SQL 提供快照隔离下的通用事务支持。
2024-01-20 cs.DB
Compacting Transactional Data in Hybrid OLTP & OLAP Databases
不断增长的主存容量促进了将整个数据库保存在主存中的数据库管理系统。这些内存系统带来的巨大性能改进使得在线事务处理（OLTP）和在线分析处理（OLAP）这两个领域的重新结合成为可能：一类新兴的混合OLTP和OLAP数据库系统允许直接对事务数据进行分析查询。通过为OLAP提供事务数据的任意当前快照，这些系统实现了实时商业智能。尽管单个商用服务器中的内存大小为几TB，但RAM仍然是一种宝贵的资源：由于空闲内存可以用于查询处理中的中间结果，因此内存量在很大程度上决定了查询性能。因此，我们建议压缩内存驻留数据库。压缩包括两个任务：首先，将可变的工作集与不可变的“冻结”数据分离。其次，压缩不可变数据并优化它，以实现高效、内存消耗友好的快照。我们的方法重新组织和压缩事务数据在线，但几乎没有影响关键任务的OLTP吞吐量。这是通过减轻OLTP线程的所有额外处理负担并异步执行这些任务来实现的。
2012-08-01 cs.DB
An Effective Clustering Approach to Web Query Log Anonymization
Web查询日志数据包含对研究有用的信息;然而，此类数据的发布可以重新识别发出查询的搜索引擎用户。这些隐私问题远远超出了删除姓名和地址等明确识别信息的范围，因为非识别个人数据可以与公开信息相结合，以确定个人。在这项工作中，我们的Web查询日志建模为非结构化的交易数据，并提出了一种新的交易匿名技术的基础上聚类和泛化技术，以实现k-匿名隐私。我们对AOL查询日志数据进行了广泛的实验。我们的研究结果表明，这种方法导致更高的数据效用相比，最先进的交易匿名化方法。
2010-12-03 cs.CR cs.DB
Measuring Economic Resilience to Natural Disasters with Big Economic Transaction Data
这项研究探讨了分析银行卡支付和ATM取现的潜力，以绘制和量化人们如何受到自然灾害的影响并从中恢复。我们的方法将受灾社区的经济恢复时间定义为银行卡支付和ATM取现次数恢复到基线活动水平所需的时间。对于2014年9月15日至17日袭击墨西哥南下加利福尼亚州（BCS）的飓风奥迪尔，我们测量并绘制了不同地点社区的经济恢复时间，从2天到40天不等。我们发现，在拥有银行账户的个人中，收入水平越低，经济活动恢复正常水平所需的时间就越短。还检测并量化了恢复时间的性别差异。此外，我们的方法通过量化飓风袭击前食品或汽油的支出增长来评估社区如何为灾难做好准备。我们认为，这种方法在以高时空分辨率衡量灾害的经济影响以及了解人口如何反弹和适应方面开辟了一个新的领域。
2016-09-28 cs.DB
State-of-the-Art on Query & Transaction Processing Acceleration
现代图形处理单元（GPU）提供的巨大处理能力和内存带宽使其成为数据密集型应用程序的平台。数据库社区将GPU视为数据处理的有效协处理器。在过去的几年里，有许多方法可以在数据库系统的不同级别上使用GPU。在本内部技术报告中，基于[1]和其他一些研究论文，我们确定了LIP6中GPU加速数据库管理系统的可能研究领域。我们描述了一些关键属性，GPU感知数据库架构的典型挑战，并确定主要的开放挑战。
2019-06-27 cs.DB cs.DC cs.PF
Implementing Performance Competitive Logical Recovery
新的硬件平台，例如云、多核等，已经导致了对数据库系统架构的重新考虑。我们的Deuteronomy项目将事务功能与数据管理功能分离，从而能够灵活地响应新平台的开发。然而，这种分离要求对恢复进行逻辑描述。在本文中，我们扩展目前的恢复方法，在这个逻辑设置。虽然这在原则上很简单，但性能是一个问题。我们将展示ARIES风格的恢复优化如何用于日志中未捕获页面信息的逻辑恢复。在并排使用一个共同的日志性能实验中，我们比较逻辑恢复与最先进的ARIES风格的恢复实现，并显示逻辑重做性能可以竞争。
2011-05-21 cs.DB
Queues Are Databases
面向消息的中间件（Message-Oriented-Middleware，缩写为MMS）已经成为一个小产业。作为对纯客户机-服务器事务处理的一种改进，IBM提供了排队事务处理。这一注释提出了四点：嵌入式事务处理不如直接事务处理通用。嵌入式系统建立在直接系统之上。你不能在排队系统上建立一个直接系统。很难在排队系统上构建直接的、会话式的或分布式的事务。数据库是具有有趣的并发控制的有趣的数据库。最好将这些机制构建到标准数据库系统中，以便其他应用程序可以使用这些有趣的功能。队列系统需要DBMS功能。企业需要安全、配置、性能监视、恢复和重组实用程序。数据库系统已经具有这些特性。一个全功能的数据库系统复制了这些数据库功能。队列管理器是简单的TP监视器，管理由队列驱动的服务器池。随着数据库系统向TP-lite系统的发展，它们包含了许多服务器池功能。
2007-01-25 cs.DB
One-Hop Sub-Query Result Caches for Graph Database Systems
本文面向图数据库读取事务提出一跳子查询结果缓存，通过键值缓存、异步事务填充及读写事务失效更新减少存储访问，并在生产电商负载中显著降低尾延迟。
2024-12-06 cs.DB cs.PF
JetStream: Generating Verified Query Accelerators for Existing Database Systems
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
JetStream是一种为现有DBMS生成查询特定加速器的方法，可在TPC-H测试中实现对DuckDB的315倍几何平均读取加速，经验证的加速器达93倍，更新流下仍保持120倍加速。
2026-11-05 cs.DB
LogBase: A Scalable Log-structured Database System in the Cloud
许多应用，例如金融交易（例如，股票交易）在性质上是重写的。近年来，Web应用程序中从读到写的转变也在加速。在大多数存储系统中，预写日志记录是提供恢复能力同时提高性能的常用方法。然而，日志和应用程序数据的分离会导致在写入繁重的环境中观察到的写入开销，并因此对系统中的写入吞吐量和恢复时间产生不利影响。在本文中，我们介绍了LogBase -一个可扩展的日志结构的数据库系统，采用日志存储消除写瓶颈，并支持快速的系统恢复。LogBase被设计为动态部署在商品集群上，以利用云环境的弹性伸缩特性。LogBase提供了内存中的多版本索引，以支持对日志中维护的数据的有效访问。LogBase还支持跨多个记录绑定读写操作的事务。我们实现了所提出的系统，并将其与HBase和基于磁盘的日志结构的面向记录的系统RAMCloud建模。实验结果表明，LogBase能够提供持续的写吞吐量，高效的数据访问出缓存，有效的系统恢复。
2012-06-30 cs.DB
A survey on data and transaction management in mobile databases
移动数据库的普及日益增加，因为人们需要的信息，即使在移动中的快速变化的世界。这种数据库技术允许员工使用移动设备连接到他们的公司网络，存储所需的数据，在断开连接的模式下工作，并重新连接到网络以与公司数据库同步。在这种情况下，数据被移动到更接近应用程序的位置，以提高性能和自主性。这就引出了移动数据库研究中的许多有趣的问题，移动数据库已经成为众多研究者的一片沃土。本文对2000年以来移动数据库中的数据和事务管理进行了调查。该调查的重点是对移动数据库和移动事务模型中使用的各种类型的体系结构的完整研究。它还解决了数据管理问题，即复制和缓存策略以及事务管理功能，如并发控制和提交协议、同步、查询处理、恢复和安全。它还提供移动数据库中的研究方向。
2012-11-23 cs.DB
PROTECT-DB: Protecting Data using Replicated State Machines: Efficient Corruption Detection & Recovery
CSE Department, IIT Bombay（印度理工学院孟买分校计算机科学与工程系）
本文提出基于BFT复制状态机的PROTECT-DB系统，利用PostgreSQL扩展实现高效数据损坏检测与恢复，通过共享日志区块链实现事务的确定性执行，并展示其性能优势。
2026-11-08 cs.CR cs.DB
Instant restore after a media failure
介质故障通常会使数据库系统在几个小时内不可用，直到恢复完成，特别是在具有大型设备和高事务量的应用程序中。以前的工作引入了一种称为单通道恢复的技术，该技术增加了恢复带宽，从而大大减少了修复时间。即时恢复更进一步，因为它允许对正在进行恢复的设备上的任何数据进行读/写访问-即使是尚未恢复的数据-通过按需恢复单个数据段。因此，恢复过程主要由应用程序的需求指导，并且观察到的平均修复时间从几个小时有效地减少到几秒钟。本文介绍了即时恢复的实现和评估。该技术是增量实现的系统从传统的ARIES设计日志和恢复。实验表明，在媒体故障后感知的事务延迟可以减少到小于一秒，并且该技术对正常处理的开销是最小的。净效果是使用简单和低开销的软件技术向系统添加了几个“9”的可用性。
2017-02-26 cs.DB
Probabilistic Models for Query Approximation with Large Sparse Binary Datasets
Nokia Research Center（诺基亚研究中心）
具有数百万条记录和数千个属性的大型稀疏二进制事务数据集出现在各个领域：客户购买产品，用户访问网页和包含单词的文档只是三个典型的例子。实时查询选择性估计（估计满足给定谓词的数据中的行数的问题）是此类数据库的重要实际问题。我们研究了概率模型在这个问题上的应用。特别地，我们研究了基于频繁集和最大熵的马尔可夫随机场（MRF）方法，并将其与独立模型和Chow-Liu树模型进行了比较。我们发现，MRF模型提供了更准确的概率估计比其他方法，但更昂贵的计算和内存的角度来看。为了减轻计算的要求，我们展示了如何可以应用桶消除和团树的方法来利用结构的模型和查询。我们提供了两个大的真实世界的交易数据集上的实验结果。
2013-01-16 cs.AI cs.DB
Towards a unified query language for provenance and versioning
组织和团队从各种来源收集和获取数据，例如社交互动，金融交易，传感器数据和基因组测序仪。组织中的不同团队以及团队中的不同数据科学家对提取各种见解感兴趣，这些见解需要以不同的方式组合和协作分析数据集。DataHub是一个旨在为这种场景提供健壮的版本控制和出处管理的系统。为了真正对协作数据科学有用，还需要能够以统一的方式指定对版本和出处信息的查询和分析任务。在本文中，我们提出了一个初步的设计，我们的查询语言，称为VQuel，其目的是支持这种统一的查询这两种类型的信息，以及分析的中间和最终结果。我们还讨论了一些关键的语言设计和实现挑战。
2015-06-16 cs.DB
Poseidon: A OneGraph Engine
本文介绍了 Neptune Analytics 服务背后的 Poseidon 引擎，支持通过 openCypher 语言实现 OneGraph 互操作，结合事务处理与新型图索引技术，支持从简单事务到全图分析的广泛动态图工作负载。
2025-10-13 cs.DB
PETGraphDB: A Property Evolution Temporal Graph Data Management System
School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）
PETGraphDB是一种专为属性演化时间图设计的数据管理系统，通过高效的存储和锁定机制，显著提升存储效率和查询性能。
2025-12-05 cs.DB
RCC: Speculative Write Versioning with Redo Logs
Seoul National University（首尔大学）；Korea University（高丽大学）
研究现代OLTP引擎写写冲突并发受限问题，提出RCC利用重做日志解决冲突，通过创建推测写版本实现事务流水线化及懒更新，还有提交时死锁检测和列级RCC等技术，在数据库上实现后性能显著提升。
2026-07-23 cs.DB
Odysseus/DFS: Integration of DBMS and Distributed File System for Transaction Processing of Big Data
关系数据库管理系统（RDBMS）由于支持O/S文件系统中不存在的SQL、模式、索引和事务等各种高级功能而得到广泛使用。但是，最近大数据技术的出现促进了牺牲DBMS功能以有效管理大规模数据的新系统的开发。这些所谓的NoSQL系统使用分布式文件系统，支持可伸缩性和可靠性。它们通过将数据存储到大量低成本商品硬件中来支持系统的可扩展性，并通过将数据存储在副本中来支持可靠性。然而，它们有一个缺点，即它们不能充分支持高级DBMS功能。在本文中，我们提出了一个体系结构的DBMS，使用DFS作为存储。通过这种新的体系结构，DBMS能够支持DFS的可扩展性和可靠性以及DBMS的高级功能。因此，DBMS可以利用DFS提供的几乎无限的存储空间，使其适用于大数据分析。作为DBMS体系结构的一部分，我们提出了Meta DFS文件的概念，它允许DBMS使用DFS作为存储，以及一个有效的事务管理方法，包括恢复和并发控制。我们在Odysseus/DFS中实现了这种体系结构，Odysseus关系数据库管理系统的集成，已经在KAIST开发了24年多，与DFS。我们对事务处理的实验表明，由于Odysseus/DFS的高级功能，它优于Hbase，这是一个代表性的开源NoSQL系统。我们还表明，与具有本地存储的RDBMS相比，Odysseus/DFS的性能相当或略有下降，表明Odysseus/DFS通过使用DFS作为存储来…
2014-06-02 cs.DB
Flash-based Extended Cache for Higher Throughput and Faster Recovery
考虑到磁盘和闪存驱动器之间的当前价格差距，对于处理大规模数据的应用，使用闪存驱动器来补充磁盘驱动器而不是替换它们在经济上将是更明智的。本文介绍了FaCE，这是一种新的低开销的缓存策略，使用闪存作为DRAM缓冲区的扩展。FaCE旨在提高事务吞吐量，并缩短系统故障的恢复时间。为了实现这一目标，我们提出了两个新的算法，闪存缓存管理，即多版本FIFO替换和组第二次机会。FaCE的一个显著结果是，使用小型闪存驱动器作为缓存设备可以提供比使用大型闪存驱动器存储整个数据库表更高的吞吐量。这是可能的，因为闪存写入优化以及通过FaCE缓存方法获得的磁盘访问减少。此外，FaCE利用闪存的非易失性，通过扩展持久数据库的范围以包括存储在闪存缓存中的数据页面来完全支持数据库恢复。我们已经在PostgreSQL开源数据库服务器上实现了FaCE，并在TPC-C基准测试中证明了其有效性。
2012-08-01 cs.DB
DGCC:A New Dependency Graph based Concurrency Control Protocol for Multicore Database Systems
多核CPU和大存储器越来越成为现代计算机系统中的标准。然而，目前的数据库管理系统（DBMS）在利用这种系统的并行性方面通常是无效的。特别是，争用可能导致性能的急剧下降。本文提出了一种新的并发控制协议DGCC（DepartmentGraph based并发控制），它将并发控制与执行分离。DGCC在执行批处理事务之前为它们构建依赖关系图。使用这些图，在执行之前解决同一批事务中的争用。因此，事务的执行不需要处理争用，同时保持与序列化执行完全等效。这更好地利用了多核硬件，并实现了更高级别的并行性。为了促进DGCC，我们还提出了一种系统架构，该架构不具有某些集中控制组件，从而产生更好的可扩展性，并支持更有效的恢复机制。我们广泛的实验研究表明，DGCC实现高达四倍的吞吐量相比，国家的最先进的并发控制协议的高争用工作负载。
2015-03-12 cs.DB
VeriTS: Verifiable Model-Enhanced Time-Series Queries on Blockchain Systems
College of Computer Science；Technology Zhejiang University Hangzhou, China；Technology Wuhan University of Science；School of Software Engineering Xi'an Jiaotong University Xi'an, China；Technology College Dalian Maritime University Dalian, China；School of Computer Science \& School of Software Nanjing University of Information Science \& Technology Nanjing, China；Department of Informatics University of Oslo Oslo, Norway
提出首个区块链可验证时间序列查询框架VeriTS，通过认证聚合区间树实现高效可验证查询，验证效率与证明大小较单记录证明大幅优化。
2026-08-31 cs.DB
GrASP: A Generalizable Address-based Semantic Prefetcher for Scalable Transactional and Analytical Workloads
University of Melbourne（墨尔本大学）
提出基于学习的预取器GrASP，通过逻辑块地址增量建模和LSTM多标签分类，泛化到比训练集大250倍的数据集，平均达91.4%命中率并显著降低I/O与执行延迟。
2025-10-13 cs.DB cs.LG
OLxPBench: Real-time, Semantically Consistent, and Domain-specific are Essential in Benchmarking, Designing, and Implementing HTAP Systems
随着对新数据的实时的【形】分析变得越来越迫切，越来越多的组织部署混合事务处理/分析处理（HTAP）系统来支持对最近由在线事务处理生成的数据的实时的【形】查询。本文认为，实时的【形】查询，语义一致的模式，和特定领域的工作负载是必不可少的基准测试，设计和实现HTAP系统。然而，大多数最先进和最实用的基准都忽略了这些关键因素。因此，它们是不可否认的，在最坏的情况下，在基准测试，设计和实施HTAP系统时会产生误导。本文介绍了OLxPBench，一个复合HTAP基准套件。OLxPBench建议：（1）对混合事务进行抽象，在联机事务之间执行实时的【形】查询，以模拟广泛观察到的行为模式--在咨询实时的【形】分析的同时做出快速决策：（2）语义一致的模式来表达OLTP和OLAP模式之间的关系;（3）结合特定领域和通用基准来表征具有不同资源需求的不同应用场景。我们的评估证明了OLxPBench的三个设计决策，并指出了两个主流的分布式HTAP DBMS的瓶颈。国际开放基准委员会（BenchCouncil）在https://www.benchcouncil.org/olxpbench/上建立了OLxPBench主页。其源代码可从https://github.com/BenchCouncil/olxpbench.git获得。
2022-04-05 cs.DB
Heterogeneous Replica for Query on Cassandra
Cassandra是一种流行的结构化存储系统，具有高性能、可扩展性和高可用性，通常用于存储具有某些可排序属性的数据。在部署和配置Cassandra时，设计一个合适的列族模式以加速目标查询是很重要的。然而，一个模式只适用于一部分查询，并留下高延迟的其他查询。在本文中，我们提出了一种新的副本机制，称为异构副本，大大减少查询延迟，同时确保高的写吞吐量和数据恢复。通过这种副本机制，不同的副本具有相同的数据集，但在磁盘上具有不同的序列化。通过在Cassandra上实现异构副本机制，我们证明了在TPC-H数据集上Cassandra的读性能可以提高两个数量级。
2018-10-02 cs.DB
A Blockchain Database Application Platform
区块链是一种分散的链接数据结构，其特点是其固有的数据修改阻力，但它在搜索查询方面存在缺陷，主要是由于其劣质的数据格式。分布式数据库也是一种分散的数据结构，其特征在于快速的查询处理和精心设计的数据格式化，但遭受数据可靠性。在本次演示中，我们展示了一个通过将区块链与数据库集成开发的区块链数据库应用平台，即我们展示了一个系统，该系统具有区块链的去中心化，分布式和可听化特征以及分布式数据库的快速查询处理和精心设计的数据结构。该系统具有防篡改、一致和具有成本效益的多活动数据库以及有效和可靠的数据级灾难恢复备份。该系统在实践中被证明是一个多活动数据库，以及数据级灾难恢复备份功能。
2019-01-10 cs.DB
Ranking Large Temporal Data
尽管排序是数据库系统中的一个重要操作（被提升为一等公民），但直到最近才对时态数据进行排序。然而，只有即时top-k查询时态数据进行了研究，其中对象与k最高分数在查询时间实例t被检索。即时top-k定义显然具有局限性（对离群值敏感，难以选择有意义的查询时间t）。一个更灵活和通用的排名操作是基于查询区间内的得分聚合来对对象进行排名，我们称之为时态数据上的聚合top-k查询。例如，返回10/01/2010至10/07/2010期间平均气温最高的前10个气象站;查找2011年2月5日至2月7日期间总成交量最大的前20只股票。这项工作提出了一个全面的研究，这个问题的设计精确和近似的方法（近似质量保证）。对每种方法的构建成本、索引大小、更新成本和查询成本进行了理论分析。在大型真实数据集上的大量实验清楚地表明了我们的方法与基线方法相比的效率，有效性和可扩展性。
2012-08-01 cs.DB
ChainifyDB: How to Blockchainify any Data Management System
今天的许可区块链系统以独立的方式出现，并要求用户将另一个成熟的事务处理系统集成到他们已经复杂的数据管理环境中。这似乎很奇怪，因为区块链和传统DBMS共享其处理堆栈的大部分。因此，与其完全取代现有的数据系统，我们主张在其上添加一个区块链层来简单地将其“链化”。不幸的是，这个任务远比听起来更具挑战性：由于我们希望构建在异构的事务处理系统上，这些系统可能会有不同的行为，我们不能依赖每个组织以相同的方式确定性地执行每个事务。此外，由于这些系统已经充满了数据，并被顶级应用程序使用，我们也不能指望每个组织都能抵御本地数据的篡改。因此，在本文中，我们将放弃这些假设，并引入一个强大的处理模型，首先避免它们：所谓的区块链共识（WLC）模型允许我们创建一个高度灵活的许可区块链层，即ChainifyDB，它（a）以防弹数据库技术为中心，（b）比现有的许可系统提供更强的保证，（c）提供复杂的恢复机制，（d）吞吐量比许可的区块链系统Fabric高出高达6倍，（e）可以轻松集成到现有的异构数据库环境中。
2019-12-10 cs.DB
Machine-Checked Dual-Write Recovery from a Commit Log
本文在 Isabelle/HOL 中构建经机器验证的理论，针对崩溃后交付恢复的双写边界问题，明确了信息边界、风险与 fencing 措施，为恰好一次恢复声明提供了测试方法。
2026-09-14 cs.DB cs.DC cs.LO
HTAP Databases: A Survey
本文全面综述了HTAP数据库，按四种存储架构对最先进的系统进行分类，回顾了混合工作负载处理等关键技术，并探讨了现有基准测试及未来的研究挑战与机遇。
2024-04-24 cs.DB
Storing Multi-model Data in RDBMSs based on Reinforcement Learning
如何统一管理各种数据是数据库领域的一个重要研究课题。为了解决这个问题，研究人员提出了多模型数据库，以支持在一个统一的平台上使用一个统一的查询语言的多个数据模型。然而，由于关系数据库在当前市场中占主导地位，因此用其他数据库替换它们是昂贵的。此外，由于关系数据库管理系统的理论和技术已经提高了几十年，这是很难用几年的时间来开发一个多模型数据库，可以与现有的关系数据库管理系统在处理安全性，查询优化，事务管理等。在本文中，我们重新考虑使用关系数据库存储和查询多模型数据。不幸的是，多模型数据结构的复杂性和平面关系表的简单性之间的不匹配使得这一点很困难。针对这一挑战，我们利用强化学习（RL）的方法来学习一个关系模式，通过与关系数据库管理系统的交互。本文提出了一种改进的Q学习算法\textit{Double Q-tables}，以降低Q表的维数，提高学习效率。实验结果表明，我们的方法可以学习一个关系模式优于现有的多模型存储模式的查询时间和空间消耗。
2021-09-01 cs.DB
JetStream: Generating Query Accelerators for Existing Database Systems
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
JetStream是扩展现有DBMS的查询专用加速器生成系统，经TPC-H等测试，其生成的有状态加速器对DuckDB等实现数百倍加速，还可泛化到新工作负载，能支持动态工作负载。
2026-08-25 cs.DB
Future Robotics Database Management System along with Cloud TPS
Thiagarajar School of management（蒂亚加拉贾管理学院）；Sastra University（萨斯特拉大学）
本文讨论机器人技术中的存储管理问题。在我们的建议中，我们打破了创造人形的主要问题之一。.数据库问题是机器人模式设计中的一个复杂问题，在我们的建议中，我们提出了一个新的概念，称为NOSQL数据库，用于有效的数据检索，使人形机器人将获得大量的思维能力，在搜索每个项目使用链指令。对于机器人中的查询事务，我们需要一个有效的一致性事务，因此通过使用最新的技术CloudTPS，它保证了完整的ACID属性，以便机器人可以使用多项事务进行查询，通过这个我们在数据检索中获得数据一致性。此外，我们还引入了map reduce概念，它可以将作业拆分到各个工作者，以便以并行的方式处理数据。
2011-12-09 cs.DB cs.RO
A Comparative Analysis of Materialized Views Selection and Concurrency Control Mechanisms in NoSQL Databases
不断增长的资源需求要求关系数据库能够扩展。虽然关系数据库非常适合垂直扩展，但专用硬件可能很昂贵。相反，新兴的NewSQL和NoSQL数据存储旨在水平扩展。NewSQL数据库提供ACID事务支持;但是，连接仅限于分区键，导致查询表达能力受限。另一方面，NoSQL数据库被设计为在商用硬件上线性扩展;然而，它们受到连接性能缓慢的限制。因此，我们考虑是否可以在确保ACID语义且不会大幅牺牲写性能、磁盘利用率和查询表达能力的情况下提高NoSQL连接性能。本文介绍了协同系统，利用模式和工作负载驱动的机制，以确定物化视图和一个专门的并发控制系统上的NoSQL数据库，使可扩展的数据管理与熟悉的关系公约。Synergy以轻微的写入性能下降和更高的磁盘利用率换取更快的连接性能（与标准NoSQL数据库相比）和更好的查询表现力（与NewSQL数据库相比）。使用TPC-W基准测试的实验结果表明，对于一个数据库填充1M客户，协同系统表现出最大的性能提高80.5%相比，其他评估系统。
2017-10-04 cs.DB
A Storage Advisor for Hybrid-Store Databases
借助SAP HANA数据库，SAP提供了一个高性能的内存混合存储数据库。混合存储数据库--即支持面向行和面向列的数据管理的数据库--正变得越来越突出。虽然列式管理提供了分析大量数据的高性能功能，但面向行的存储可以更有效地处理事务点查询以及插入和更新。为了同时有效地利用这两种存储，出现了一个新的问题，即是面向行还是面向列存储给定的数据。我们使用存储顾问工具来解决这个问题，该工具支持数据库管理员做出这一决定。我们提出的存储顾问建议基于数据和查询特征的最佳存储;其核心是一个成本模型，用于估计和比较不同存储的查询执行时间。除了按表决策之外，我们的工具还考虑对数据进行水平和垂直分区并管理不同存储上的分区。我们评估了存储顾问在SAP HANA数据库中的使用情况;我们展示了建议的质量以及将数据存储在最佳存储中对于提高查询性能的好处。
2012-08-21 cs.DB
Consistent Checkpointing in Distributed Databases: Towards a Formal Approach
无论是为了审计还是为了恢复，数据检查点都是分布式数据库系统的一个重要问题。实际上，事务在数据对象管理器采取的数据检查点上建立依赖关系。因此，给定任意一组数据检查点（至少包括来自数据管理器的单个数据检查点，最多包括来自每个数据管理器的数据检查点），一个重要的问题是：“这些数据检查点可以是同一个一致的全局检查点的成员吗？”''.本文通过给出一个适合于数据库系统的充要条件来回答这个问题。此外，为了证明该条件的有效性，从该条件中推导出了两个{ \em非侵入式}数据检查点协议。还值得注意的是，本文通过展示"对应关系“，在数据对象/事务模型和过程/消息传递模型之间建立了一座桥梁。
1999-10-22 cs.DB cs.DC
Towards Approximate Query Enumeration with Sublinear Preprocessing Time
本文的目的是提供非常有效的算法近似查询枚举稀疏数据库，性能和准确性的保证。本文提出了一种新的有界度关系数据库类的近似查询枚举模型。我们首先证明了在有界度的数据库上，任何局部一阶可定义查询在经过一个常数时间的预处理阶段后，都可以近似地以常数延迟被枚举。我们扩展这一点，表明在有界树的宽度和有界度的数据库，每一个查询，是在一阶逻辑表达可以枚举近似恒定延迟后，一个次线性（更准确地说，多对数）时间预处理阶段。Durand和Grandjean（ACM Transactions on Computational Logic 2007）证明了在有限度数据库上的一阶查询的精确枚举可以在线性时间预处理阶段之后以恒定延迟完成。因此，我们在预处理阶段实现了显著的加速。由于次线性运行时间不允许读取整个输入数据库，即使是一次，牺牲一些准确性是不可避免的，我们的速度。然而，我们的枚举算法有保证：以高概率，（1）只有元组被枚举是查询的答案或“接近”是查询的答案，（2）如果元组的比例是查询的答案是足够大的，那么所有的答案将被枚举。在这里，“接近度”的概念是输入数据库中的元组编辑距离。对于本地一阶查询，只枚举实际答案，加强了（1）。此外，（2）中所要求的“接近度”和比例都是可控的。我们结合的方法，从属性测试的有界度图的逻辑和查询枚举，我们相信可以激发进一步的研究。
2021-01-15 cs.DB cs.LO
On the effects of logical database design on database size, query complexity, query performance, and energy consumption
本研究基于IMDb数据集与PostgreSQL开展实证分析，探究数据库规范化对规模、查询复杂度、性能与能耗的影响，发现1NF到2NF优化收益显著，2NF到4NF收益甚微且增加存储需求。
2025-01-13 cs.DB cs.PF
Query Performance Explanation through Large Language Model for HTAP Systems
Duke University（杜克大学）；ByteDance, Inc（字节跳动公司）
针对 HTAP 系统中跨 OLAP/OLTP 引擎查询计划性能差异难以解释的问题，提出基于 RAG、tree-CNN 检索与 LLM 生成的性能解释框架。
2024-12-02 cs.CL cs.DB cs.LG
Multi-dimensional Data Quick Query for Blockchain-based Federated Learning
针对区块链联邦学习中多维元数据查询耗时、参与者选择困难的问题，提出MerkleRB-Tree并结合MBR、布隆过滤器与跳表思想提升块内及跨块查询效率。
2023-09-27 cs.CR cs.DB cs.DS
A Distributed Path Query Engine for Temporal Property Graphs
属性图是链接数据的一种常见形式，路径查询用于遍历和探索它们以进行企业事务和挖掘。时态属性图是最近的一个变体，其中时间是要查询的第一类实体，并且它们的属性和结构随时间而变化。这些在社交、电信、交通和流行病网络中可见。然而，当前的图数据库和查询引擎对图实体之间的时间关系的支持有限，不支持时变实体和/或不能在分布式资源上扩展。我们通过扩展属性图上的线性路径查询模型来解决这个差距，以包括直观的时态谓词和时态图上的聚合运算符。我们设计了一个分布式的执行模型，这些时间路径查询使用的时间间隔为中心的计算模型，并开发了一种新的成本模型，选择一个有效的执行计划，从几个。我们进行详细的实验，我们的花岗岩分布式查询引擎使用静态和动态的时间属性图大到52 M顶点，218 M边和325 M的属性，和1600查询的工作量，来自LDBC基准。我们通常在商品集群上提供亚秒级的查询延迟，与行业领先的Neo4J共享内存图数据库和JanusGraph / Spark分布式图查询引擎相比，其速度快149 - 1140倍。Granite还可以完成所有图表的100%查询，而基线系统仅完成32-92%的工作负载。此外，我们的成本模型在90%的情况下选择了在最佳执行时间的10%以内的查询计划。尽管图处理的不规则性，我们表现出弱的伸缩效率>= 60%的8个节点和>= 40%的16个节点，对于大多数查询工作负载。
2020-06-14 cs.DB cs.DC
From DB-nets to Coloured Petri Nets with Priorities (Extended Version)
最近引入的DB-nets的形式主义带来了一种新的概念方法来建模复杂的动态系统，该系统同样考虑了过程和数据维度，考虑了本地数据以及持久的事务数据。DB-nets将Petri网的有色变体与名称创建和管理（我们称之为nu-CPN）以及关系数据库相结合。这两个组件的集成是通过为网络配备特殊的“视图”位置来实现的，这些位置可以查询数据库并将得到的答案暴露给网络，允许转换以更新数据库内容的操作，以及在交易失败的情况下捕获补偿的特殊弧。在这项工作中，我们研究这个复杂的模型是否可以编码回nu-CPNs。特别是，我们表明，有意义的DB-网的片段，其中数据库查询表示使用工会的合取查询不等式可以忠实地编码到$ν$ -CPNs的过渡优先级。这使我们能够直接利用最先进的技术，如CPN工具来模拟和分析这类相关的DB网。
2019-03-29 cs.DB cs.LO
Benchmarking Apache Arrow Flight -- A wire-speed protocol for data transfer, querying and microservices
在不同的大数据框架和/或数据仓库/存储系统之间移动结构化数据通常会导致显著的开销。大多数情况下，访问数据所花费的总时间的80%以上都是在序列化/反序列化步骤中花费的。列式数据格式在分析数据库和事务数据库中越来越流行。Apache Arrow是一种统一的列式内存数据格式，它承诺提供高效的数据存储、访问、操作和传输。此外，通过引入构建在gRPC之上的Arrow Flight通信功能，Arrow可以通过TCP网络实现高性能数据传输。Arrow Flight允许以平台和语言独立的方式通过网络进行并行Arrow RecordBatch传输，并基于开源标准提供高性能，并行性和安全性。在本文中，我们汇集了一些最近实现的Arrow Flight用例及其基准测试结果。这些用例包括批量Arrow数据传输，查询子系统和Flight作为微服务集成到不同的框架中，以显示该协议的吞吐量和可扩展性结果。我们表明，飞行是能够实现高达6000 MB/s和4800 MB/s的吞吐量分别为DoGet（）和DoPut（）操作。在Mellanox ConnectX-3或Connect-IB互连节点上，Flight可以利用高达95%的总可用带宽。Flight是可扩展的，可以有效地使用多达一半的可用系统核心进行双向通信。对于像Dremio这样的查询系统，Flight比ODBC和turbodbc协议快一个数量级。与turbodb…
2022-04-08 cs.DB cs.DC cs.NI
Predictive Query Language: A Domain-Specific Language for Predictive Modeling on Relational Databases
Kumo.ai, Stanford University（Kumo.ai，斯坦福大学）
PQL是一种用于关系数据库预测建模的声明式语言，通过单个查询自动计算训练标签，支持多种机器学习任务，已在金融欺诈、推荐系统等领域应用。
2026-07-27 cs.AI cs.DB cs.LG
