C5: Cloned Concurrency Control that Always Keeps Up
通常部署异步复制的主备份数据库以提高可用性并卸载只读事务。为了应用从主服务器复制的写入并服务只读事务,备份服务器实现克隆的并发控制协议。该协议确保只读事务始终返回主服务器上先前存在的状态的快照。这迫使备份精确地复制由主服务器的并发控制产生的提交顺序。现有的克隆并发控制协议通过限制备份的并行性来保证这一点。因此,主服务器的并发控制执行某些工作负载时的并行性要高于这些协议。在本文中,我们证明了这种并行差距导致无限的复制滞后,写入可以采取任意长的时间复制到备份,并导致灾难性的故障,在生产系统。然后,我们设计C5,第一个克隆并发协议,提供有限的复制滞后。我们实现了两个版本的C5:我们的评估MyRocks,一个广泛部署的数据库,证明C5提供了有限的复制滞后。我们在最近的内存数据库Cicada中的评估表明,C5甚至可以跟上最快的初选。
2022-07-06 cs.DB
Rethinking serializable multiversion concurrency control
多版本数据库系统有可能显著增加事务处理中的并发量,因为它们可以避免读写冲突。不幸的是,并发性的增加通常是以事务可串行化性为代价的。如果数据库用户请求完全可串行化,则现代多版本系统显著地约束冲突事务之间的读写并发,并且在其设计中采用昂贵的同步模式。在主存多核环境中,这些额外的约束是如此繁重,以至于多版本系统的性能往往明显优于单版本系统。我们提出了Bohm,一个新的并发控制协议的主存多版本数据库系统。Bohm保证了可串行化的执行,同时确保读永远不会阻塞写。此外,Bohm不需要读来执行任何簿记,从而避免了通过竞争写入共享内存来跟踪读的开销。这导致在多核设置中具有出色的可扩展性和性能。Bohm具有上述所有特性,但不执行基于验证的并发控制。相反,它是悲观的,因此在存在争用的情况下不倾向于过度中止。实验评估表明,Bohm在高争用和低争用设置下都表现良好,并且尽管保持了完整的可串行化保证,但仍能够显着优于最先进的多版本系统。
2015-12-03 cs.DB
Shirakami: A Hybrid Concurrency Control Protocol for Tsurugi Relational Database System
Keio University(庆应义塾大学);NAUTILUS Technologies, Inc(NAUTILUS科技有限公司);Cybozu Labs, Inc(Cybozu实验室有限公司)
Shirakami结合长读写事务的多版本视图可串行化和短事务的Silo,实现稳定性能,实验显示其比PostgreSQL快7.9倍,比Shirakami-OCC吞吐量高680倍。
2026-07-03 cs.DB
Modeling Concurrency Control as a Learnable Function
National University of Singapore(新加坡国立大学);Deakin University(迪肯大学);Renmin University of China 2(中国人民大学);Singapore University of Technology and Design(新加坡科技设计大学);Zhejiang University(浙江大学)
NeurCC是一种基于学习的并发控制算法,通过高效查找表实现高吞吐量,优于现有算法。
2026-03-10 cs.DB
SQL Access Patterns for Optimistic Concurrency Control
针对多数关系数据库仅支持锁机制、难以直接使用 OCC 的问题,本文提出 RVV 准则与 SQL 访问模式,以在低冲突、不可靠通信场景下避免丢失更新。
2023-08-17 cs.DB
Epoch-based Optimistic Concurrency Control in Geo-replicated Databases
University of Toronto(多伦多大学);Keio University(庆应义塾大学);Concordia University(康考迪亚大学)
本文提出 Minerva 系统,通过 epoch 基异步复制协议和冲突图算法,实现高并发可扩展的地理复制数据库,提升吞吐量和性能。
2026-03-16 cs.DB cs.DC
Concurrency Control as a Service
Northeastern University(东北大学);Huawei Tec. Co., Ltd(华为技术有限公司);Tsinghua University(清华大学)
本文提出并发控制作为服务(CCaaS),通过解耦并发控制与数据库,构建执行-并发控制-存储三层架构,提升弹性、资源利用率和开发敏捷性,采用分片多写OCC算法和异步日志推送机制降低网络开销和延迟。
2026-03-14 cs.DB
High-concurrency Custom-build Relational Database System's design and SQL parser design based on Turing-complete automata
数据库系统是软件项目中不可缺少的一部分。它在数据组织和存储中起着重要作用。它的性能和效率直接关系到软件的性能。现在我们有很多通用的关系数据库系统可以在我们的项目中使用,比如SQL Server、MySQL、Oracle等,不可否认的是,在大多数情况下,我们都可以轻松的使用这些数据库系统来完成我们的项目,但是考虑到通用性,通用的数据库系统往往不能发挥极致的速度,完全适应我们的项目。在极少数项目中,我们需要设计一个完全适应我们项目的数据库系统,并具有高效率和并发性。因此,考虑一个可行的数据库系统设计方案是非常重要的(这里我们只考虑关系数据库系统)。同时,对于数据库系统来说,SQL解释和执行模块是必要的。根据形式语言和自动机的理论,该模块的实现可以用自动机来完成。在实验中,我们做了以下几个方面的工作:1)设计了一个小型的关系数据库,并利用该数据库完成了一个高并发的学生选课系统。2)我们设计了一个通用的自动机模块,它可以完成从解析到执行的操作。采用了策略模型和事件驱动的设计方案,并对一般自动机进行了改进,如在自动机中加入了类似记忆的结构,使其更好地存储上下文。所有这些使得自动机模型可以应用于各种场合,而不仅仅是SQL语句的解析和执行。
2020-08-11 cs.DB cs.SE
When Private Blockchain Meets Deterministic Database
私有区块链作为一种复制的交易系统,与分布式数据库有许多共同点。然而,私有区块链和确定性数据库之间的亲密关系从未被研究过。从本质上讲,私有区块链和确定性数据库都通过确定性来确保副本的一致性。在本文中,我们提出了一个全面的分析,以揭示私有区块链和确定性数据库之间的联系。虽然私有区块链最近开始追求确定性交易执行,但确定性数据库已经研究确定性并发控制协议近十年了。这促使我们提出Harmony,一种为区块链设计的新型确定性并发控制协议。我们使用Harmony构建了一个新的关系型区块链,即HarmonyBC,它具有低中止率,热点弹性和块间并行性,所有这些对于面向磁盘的区块链都特别重要。在Smallbank、YCSB和TPC-C上的实证结果表明,HarmonyBC的吞吐量比最先进的私有区块链高出2.0倍至3.5倍。
2022-11-28 cs.DB
Instance-Independent View Serializability for Semistructured Databases
半结构化数据库需要定制的并发控制机制,因为关系模型的传统解决方案已被证明是不够的。这样的机制需要充分利用半结构化数据的层次结构,例如,允许并发更新XML文档的子树,甚至是XML文档中的单个元素。我们提出了一种并发控制的方法,这是文件无关的意义上说,两个时间表的半结构化事务被认为是等同的,如果他们是等价的所有可能的文件。我们证明了它是在多项式时间判定是否两个给定的时间表在这个框架是等价的。这也解决了半结构化计划的视图串行化的多项式在时间表的大小和指数的事务的数量。
2005-05-26 cs.DB
Heterogeneous Data Access Model for Concurrency Control and Methods to Deal with High Data Contention
本文针对OLTP高数据争用环境,提出异构数据访问模型和预测公式以建模锁争用导致的颠簸,并回顾了降低锁冲突的并发控制方法。
2024-04-02 cs.DB cs.PF
The Impact of Timestamp Granularity in Optimistic Concurrency Control
乐观并发控制(OCC)能够充分利用并行硬件的优势,为非竞争事务提供优异的性能,在高性能内存数据库和事务系统中得到广泛应用。但在高争用级别,OCC容易受到频繁中止的影响,导致工作浪费和性能下降。争用管理器、混合乐观/悲观并发控制算法和新颖的受乐观启发的并发控制算法(如TicToc)旨在解决这个问题,但是这些机制有时引入它们自己的高开销。我们表明,在现实世界的基准测试,传统的OCC可以通过简单地添加细粒度的版本时间戳(使用不同的时间戳为每个记录的不相交的组件)优于这些替代机制。通过细粒度的时间戳,OCC在128个核心的TPC-C中获得了1.14倍的TicToc吞吐量(以前的工作报告TicToc在80个超线程时的吞吐量比OCC高1.8倍)。我们的研究表明,时间戳粒度有更大的影响比以前认为的事务处理系统的性能,不应该被忽视,在推动更快的并发控制计划。
2018-11-12 cs.DB
Polyjuice: High-Performance Transactions via Learned Concurrency Control
并发控制算法是内存数据库性能的关键决定因素。现有的算法被设计为对于某些工作负载很好地工作。例如,乐观并发控制(OCC)在低争用情况下优于两阶段锁定(2 PL),而在高争用情况下则相反。为了适应不同的工作负载,以前的工作混合或使用手动见解或简单的算法在几个已知的算法之间切换。我们提出了一个基于学习的框架,而不是明确优化并发控制通过离线训练,以最大限度地提高性能。我们的方法不是在少量已知算法中进行选择,而是在细粒度操作的“策略空间”中进行搜索,从而产生新的算法,该算法可以通过专门针对给定的工作负载来超越现有算法。我们基于我们的学习框架构建Polyjuice,并对几种现有算法进行评估。在TPC-C和TPC-E的不同配置下,Polyjuice可以获得比现有最佳算法高15%到56%的吞吐量。
2021-06-15 cs.DB
The Case for Single-Version Concurrency Control in the Cloud
Technische Universität München(慕尼黑工业大学);Microsoft Research(微软研究院)
本文挑战云环境中MVCC的主导地位,提出SVCC更适合云事务处理,通过分析MVCC局限性论证其优势,并以SVCC为蓝图勾勒下一代DBMS的研究路线图。
2026-10-15 cs.DB
Lazy State Determination: More concurrency for contending linearizable transactions
事务系统中的并发控制算法限制并发以提供强语义,这导致在高争用下性能不佳。因此,许多事务系统避开强语义以实现可接受的性能。我们表明,通过利用与事务程序相关联的语义信息来增加并发性,可以在保持线性化的同时显着提高性能。为此,我们引入了懒惰的状态确定API,可以轻松地将应用程序事务的语义暴露给数据库,并提出了新的乐观和悲观的并发控制算法,利用这些信息来安全地增加并发争用的存在。我们的评估表明,我们的方法可以实现高达5倍以上的吞吐量与1.5c比标准技术在流行的TPC-C基准测试的延迟。
2020-07-19 cs.DB cs.DC cs.PF
Concurrency Protocol Aiming at High Performance of Execution and Replay for Smart Contracts
虽然可编程智能合约的出现使得区块链系统可以轻松地涵盖更广泛的行业领域,但如何高效地执行智能合约成为当今的一大挑战。由于Byzantine节点的存在,智能合约的执行机制与数据库系统中的执行机制有很大的不同,使得现有成功的并发控制协议不能直接应用于数据库系统中。此外,尽管智能合约执行遵循两阶段风格,即矿工节点在第一阶段执行一批智能合约,验证者在第二阶段重放它们,但现有的并行解决方案只关注第一阶段的优化,而不包括第二阶段。在本文中,我们提出了一个新的有效的并发控制计划,这是第一个做优化的两个阶段。具体来说,(i)在第一阶段,我们给出了一个基于{ \em队列}特性的OCC(乐观并发控制)协议的变体,以提高矿工的并发执行效率,并为验证器生成具有高并行度的调度日志。此外,设计了一种图划分算法,将原始调度日志划分为小块,进一步降低通信成本;(ii)在第二阶段,我们给出了一个确定性OCC协议,可以在多核验证器上有效地重放所有智能合约,其中所有核都可以独立重放智能合约。理论分析和大量的实验结果表明,该方案优于国家的最先进的解决方案显着。
2019-05-17 cs.DB cs.DC
Semantic Conformance of Concurrency Control Protocols under Mixed Isolation Levels
Nanjing University(南京大学);Hunan University(湖南大学);Texas A&M University(德克萨斯农工大学);Renmin University of China(中国人民大学)
研究混合隔离级别下并发控制协议的语义一致性问题,通过开发形式语义框架\ourframework来解决,建立了结合两个和三个隔离级别的并发控制协议的语义一致性,证明了该框架的适用性。
2026-07-21 cs.DB cs.DC
Decentralizing MVCC by Leveraging Visibility
多版本并发控制(MVCC)是数据库系统中广泛采用的一种并发控制机制,它通常利用时间戳来解决事务之间的冲突。然而,时间戳的集中分配是并行事务管理的潜在瓶颈。随着当今计算平台的并行度的快速增长,这个瓶颈变得越来越明显。本文介绍了基于可见性的并发控制(ViCC),一系列的CC机制,允许事务自主确定其时间戳,而不依赖于集中协调。因此,ViCC可以很好地扩展,使其适用于各种多核和MPP平台。进行了大量的实验,以证明其优于现有的方法。
2018-06-05 cs.DB
Pushing the Limit: Verified Performance-Optimal Causally-Consistent Database Transactions
本文提出Eiger-PORT+并发控制协议,实现强因果一致性TCCv,证明其性能最优读事务,驳斥开放猜想,并首次演绎验证复杂协议,性能优于现有方法。
2025-01-23 cs.DB cs.DC cs.FL
Coo: Rethink Data Anomalies In Databases
事务处理技术有三个重要内容:数据异常、隔离级别和并发控制算法。并发控制算法用于消除不同隔离级别的部分或全部数据异常,以确保数据一致性。当前ANSI标准中的隔离级别是通过禁止某些类型的数据异常来定义的。然而,ANSI标准中数据异常的定义是有争议的。一方面,这些定义缺乏数学形式化,导致解释不明确。另一方面,这些定义是以个案的方式进行的,并导致即使是高级DBA也无法准确了解数据异常的情况,因为缺乏对其性质的充分理解。虽然现有文献中修订的定义提出了各种数学形式化来纠正前一个论点,但如何解决后一个论点仍然是一个悬而未决的问题。在本文中,我们提出了一个通用的框架,称为Coo的能力,系统地定义数据异常。在这个框架下,我们表明,现有的报告数据异常只是一小部分。虽然我们从理论上证明了Coo是完全的数学形式化数据异常,我们采用了一种新的方法来分类无限的数据异常。此外,我们还使用该框架定义了新的隔离级别,定量描述了主流并发控制算法的并发率和回滚率。这些工作表明,ACID的C和I可以根据所有数据异常进行定量分析。
2021-11-01 cs.DB
Tracking State Footprints: How Agents Can Transact
Ververica GmbH(Ververica有限公司);Delft University of Technology(代尔夫特理工大学)
本文提出将多智能体系统协调视为数据管理问题,通过状态足迹描述智能体读写,并倡导类似数据库的事务保证与语义冲突解决,以实现智能体事务处理。
2026-10-05 cs.DB
Scheduling Space Expander: An Extension of Concurrency Control for Data Ingestion Queries
随着传感设备和物联网/电信应用的不断发展,数据库系统需要处理频繁更新传感器数据的数据摄取查询。然而,随着数据摄取查询速率的增加,现有的协议已经表现出性能下降,因为并发更新需要获取锁来更新最新版本。为了减少数据摄取查询对系统的负载,我们重点研究了版本顺序的理论,我们可以通过使用数据项的版本顺序来测试一个写是旧的和不必要的版本。在本文中,我们提出了一种新的协议扩展方法,调度空间扩展器(SSE)。SSE向传统协议添加了另一个控制流,以省略对数据摄取查询的更新。它生成一个擦除版本顺序,该顺序假定事务处理过时的不必要的版本。SSE还可以有效且独立于传统协议地测试该版本顺序的正确性。此外,我们提出了一个优化的SSE称为基于历元的SSE(ESSE),测试和维护擦除版本的顺序比SSE更有效。我们扩展了两个国家的最先进的1VCC和MVCC协议,筒仓和MVTO与ESSE。实验结果表明,在144核机器上的TATP基准测试中,Silo和MVTO的扩展将性能提高了2.7倍和2.5倍,并且扩展实现了与TPC-C基准测试的原始协议相当的性能。
2023-01-25 cs.DB
TXSQL: Lock Optimizations Towards High Contented Workloads (Extended Version)
本文针对高竞争数据库负载中的锁竞争问题,提出 TXSQL 的锁管理优化,包括轻量级锁管理、免拷贝活动事务列表、队列锁和热点感知组锁机制,相比现有方法和系统分别实现最高 6.5 倍和 22.3 倍的性能提升。
2025-04-09 cs.DB
Aurora DSQL: Scalable, Multi-Region OLTP
Amazon Web Services(亚马逊云科技)
研究旨在设计多区域在线事务处理的无服务器SQL数据库极光DSQL。其核心方法是基于分解架构,分离相关服务,采用特定并发控制技术。主要贡献是可弹性扩展,能在故障时保证强一致性、ACID事务及持续可用性,还能降低跨区域延迟。
2026-07-17 cs.DB
Distributed Transactions for Google App Engine: Optimistic Distributed Transactions built upon Local Multi-Version Concurrency Control
大规模可扩展的Web应用程序在计算中遇到了“性能”和“正确性”之间的基本张力:性能通常通过使用大型分布式机器来解决,其中程序是多线程和可中断的,而正确性则需要确定性地维护数据不变式。解决这个问题的一个方法是“transactions”(交易)。一些分布式系统,如Google App Engine [http://code.google.com/appengine/docs/]提供事务语义,但仅用于访问数据库的一组预定义本地区域之一的函数:“本地事务”(LT)[http://code.google.com/appengine/docs/python/datastore/transactions.html]。为了解决这个问题,我们给出了一个“分布式事务”(DT)算法,该算法为在机器上分布的任何对象集上操作的函数提供事务语义。我们的算法是在一个“乐观”[http://en.wikipedia.org/wiki/Optimistic_concurrency_control]风格。我们假设本地事务具有顺序[时间-]一致性[http://en.wikipedia.org/wiki/Sequential_consistency]。
2011-06-15 cs.DB cs.DC cs.DS
On Predictive Modeling for Optimizing Transaction Execution in Parallel OLTP Systems
一类新的并行数据库管理系统(DBMS)的设计是为了利用可分区的工作负载的联机事务处理(OLTP)应用程序。这些系统中的事务被优化为在无共享集群中的单个节点上执行完成,而不需要与其他节点协调或使用昂贵的并发控制措施。但是,有些OLTP应用程序不能分区,因此它们的所有事务都不能以这种方式在单个分区中执行。这些分布式事务访问未存储在其本地分区中的数据,因此需要更重的并发控制协议。当事务的执行属性(例如它可能需要访问的分区数量或它是否会中止)事先不知道时,就会出现进一步的困难。如果为DBMS提供有关事务的附加信息,它可以减轻这些性能问题。因此,在本文中,我们提出了一个马尔可夫模型为基础的方法来自动选择DBMS可以使用的优化,即(1)更有效的并发控制计划,(2)智能调度,(3)减少撤消日志记录,(4)推测执行。为了评估我们的技术,我们实现了我们的模型,并将它们集成到一个并行的,主存OLTP DBMS,以表明我们可以提高不同工作负载的应用程序的性能。
2011-10-30 cs.DB
When View- and Conflict-Robustness Coincide for Multiversion Concurrency Control
本文研究了多版本并发控制中的视图鲁棒性问题,为隔离级别提供了使冲突鲁棒性与视图鲁棒性一致的充分条件,并证明在RC、SI和SSI下判定视图可串行化仍是NP完全的。
2024-03-26 cs.DB
Greenplum: A Hybrid Database for Transactional and Analytical Workloads
企业数据仓库解决方案支持实时在线事务处理(OLTP)查询以及长时间运行的在线分析处理(OLAP)工作负载的需求正在增长。Greenplum数据库传统上被称为OLAP数据仓库系统,处理OLTP工作负载的能力有限。在本文中,我们将Greenplum扩展为一个混合系统,以同时为OLTP和OLAP工作负载提供服务。我们在这里所面临的挑战是在保持ACID属性的同时以最小的性能开销实现这一目标。在这项工作中,我们确定了工程和性能瓶颈,如表现不佳的限制性锁定和两阶段提交协议。接下来,我们解决事务查询和分析查询之间的资源争用问题。我们提出了一个全局死锁检测器,以增加查询处理的并发性。当保证更新数据的事务只驻留在一个段上时,我们引入了单阶段提交来加速查询处理。我们的资源组模型引入了将OLAP和OLTP工作负载分离到更合适的查询处理模式的功能。TPC-B和CH-benCHmark基准测试表明,我们的方法在不牺牲OLAP性能的情况下提高OLTP性能的有效性。
2021-05-14 cs.DB
Two-sided RDMA Striking Back for Disaggregated Memory Databases
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对分离式内存数据库中单面RDMA的局限,提出结合轻量级缓存与高效批处理优化的Lotus,在YCSB基准中吞吐量提升8.2倍、p999延迟降低42.9倍。
2026-08-07 cs.DB
Unbundling Transaction Services in the Cloud
DBMS引擎的传统体系结构将恢复、并发控制和访问方法代码紧密地绑定在记录的存储引擎中。我们提出了一种不同的方法,其中存储引擎被分解为两层(每一层可能有多个异构实例)。事务组件(TC)只在逻辑层工作:它知道事务及其“逻辑”并发控制和撤销/重做恢复,但它不知道页面布局、B树等。它支持面向记录的接口,提供原子操作,但它不知道事务。提供原子记录操作本身可能涉及DC本地并发控制和恢复,这可以使用系统事务来实现。TC和DC中机制的相互作用导致多级重做(与集成引擎中重做的重复历史范例不同)。这种系统架构的重构可以允许更容易地部署特定于应用程序的物理结构,并且还可以有助于利用多核硬件。特别有前途的是它在云数据库部署中实现灵活事务的潜力。我们描述了必要的原则,分拆恢复,并讨论实施问题。
2009-09-09 cs.DB cs.DC
Detecting Robustness against MVRC for Transaction Programs with Predicate Reads
事务健壮性问题围绕着确定对于给定的工作负载,比Serializable低的隔离级别是否足以保证可串行化。本文提出了一种新的表征对隔离级别(多版本)读提交的鲁棒性。它支持具有控制结构(循环和条件)的事务程序,以及插入、删除和谓词读取--触发幻影问题的场景,在这种情况下,幻影问题很难分析。该特征是图论的,与数据库研究人员和工程师熟悉的并发控制文献中的先前决策机制没有什么不同。我们的实验表明,我们的表征推动了允许识别越来越复杂的工作负载比以前更强大的前沿。
2023-02-17 cs.DB
VerIso: Verifiable Isolation Guarantees for Database Transactions
本文提出在 Isabelle/HOL 中构建的验证框架 VerIso,可形式化验证数据库事务的隔离保证,并通过验证严格两阶段锁协议及发现 TAPIR 协议违反原子可见性的反例展示其有效性。
2025-03-08 cs.DB cs.DC cs.LO
Version Control System for Data with MatrixOne
MatrixOrigin
本文提出基于MatrixOne的数据库数据版本控制方案,支持大规模数据集的克隆、分支、差异比较、合并与回退操作,实现高效的数据版本管理与工程化流程。
2026-04-05 cs.DB
Systematic definition and classification of data anomalies in DBMS (English Version)
数据异常没有统一的定义,是指可能违反数据库一致性的特定数据操作方式。已知的数据异常包括Dirty Write、Dirty Read、Non-repeatable Read、Phantom、Read Skew和Write Skew等。为了提高并发控制算法的效率,数据异常也被用来定义隔离级别,因为弱隔离级别可以提高事务处理系统的效率。本文系统地研究了数据异常和相应的隔离级别。我们报告了22个新的数据异常,其他论文没有报道,所有的数据异常被奇迹般地分类。在对数据异常进行分类的基础上,提出了两种不同粒度的隔离级别体系,揭示了基于数据异常定义隔离级别的规律,使得对数据异常和隔离级别的认知更加简洁。
2021-10-27 cs.DB
EEMARQ: Efficient Lock-Free Range Queries with Memory Reclamation
多版本并发控制(MVCC)是数据库系统和并发数据结构中实现线性范围查询的一种常用机制。核心思想是保留以前版本的节点来服务范围查询,同时仍然提供原子读取和更新。现有的并发数据结构实现,支持线性范围查询,要么是缓慢的,使用锁,或依赖于阻塞回收方案。我们提出EEMARQ,第一个计划,使用MVCC与无锁内存回收获得一个完全无锁的数据结构,支持线性插入,删除,包含和范围查询。评估表明,EEMARQ在大多数工作负载上都优于现有解决方案,具有更低的空间开销,同时提供完全的锁自由。
2022-10-31 cs.DB cs.DC