Exploiting Locality in Lease-Based Replicated Transactional Memory via Task Migration
我们提出了Lilac-TM,第一个本地感知的分布式软件传输内存(DSTM)的实现。Lilac-TM是一个完全分散的基于租赁的复制DSTM。它采用了一种新颖的自优化租赁循环方案,该方案基于动态确定是否将事务迁移到拥有其验证所需的租赁的节点,或者要求发起事务的节点获取这些租赁的思想。我们的实验评估表明,Lilac-TM为分布式工作负载提供了显着的性能增益,表现出数据本地性,而通常不会产生非数据本地工作负载的开销。
2013-08-09 cs.DB cs.DC
The End of a Myth: Distributed Transactions Can Scale
普遍的看法是分布式事务不能扩展。但是,如果使用下一代网络和重新设计的分布式数据库可以使分布式事务具有可伸缩性,那会怎样呢?开发人员将不再需要担心共同分区方案来实现良好的性能。应用程序开发将变得更加容易,因为数据放置将不再决定应用程序的可伸缩性。硬件配置将得到简化,因为系统管理员在添加更多机器时可以预期线性横向扩展,而不是一些复杂的次线性功能,这是高度特定于应用程序的。在本文中,我们提出了我们的新的可扩展的数据库系统NAM-DB的设计,并显示非常常见的快照隔离保证分布式事务确实可以使用下一代的RDMA启用的网络技术,没有任何固有的瓶颈扩展。我们对TPC-C基准测试的实验表明,我们的系统线性扩展至56台机器上每秒超过650万个新订单(总计1450万个)分布式交易。
2016-11-21 cs.DB
GeoTP: Latency-aware Geo-Distributed Transaction Processing in Database Middlewares (Extended Version)
针对地理分布式数据库中间件因高网络延迟和长锁竞争导致的事务性能下降问题,本文提出GeoTP,通过去中心化准备、延迟感知调度及启发式优化减少往返与锁等待,并在ShardingSphere和ScalarDB上验证,最高获得17.7倍性能提升。
2024-12-05 cs.DB
Chiller: Contention-centric Transaction Execution and Data Partitioning for Modern Networks
在基于TCP/IP的高开销网络上的分布式事务通常被认为是非常昂贵的,因此不惜一切代价避免。为此,几乎所有现有分区方案的主要目标都是最小化跨分区事务的数量。然而,随着新一代快速的支持RDMA的网络,这种假设不再有效。事实上,最近的工作表明,即使大多数事务是跨分区的,分布式数据库也可以扩展。在本文中,我们首先提出的情况下,真正的可扩展的事务处理在现代的RDMA启用数据库的瓶颈是数据争用,并优化数据争用导致不同的分区布局比优化的分布式事务的数量。然后,我们提出了冷却器,一种新的方法来进行数据分区和事务执行,其目的是尽量减少本地和分布式事务的数据争用。最后,我们评估冷却器使用各种工作负载,并表明我们的分区和执行策略优于传统的分区技术,试图避免分布式事务,高达2倍。
2020-04-16 cs.DB
Knock Out 2PC with Practicality Intact: a High-performance and General Distributed Transaction Protocol (Technical Report)
两阶段提交(Two-phase-commit,2 PC)已被广泛应用于分布式事务处理,但它也会引入两轮网络通信和对事务的关键路线的两次持久日志写入,从而危及吞吐量。尽管有各种消除2 PC的提议,例如确定性数据库和访问本地化,但2 PC仍然是事实标准,因为替代方案通常缺乏通用性(例如,基于查询结果需要没有分支的工作负载)。在本文中,我们提出了Primo,一个分布式事务协议,支持一组更一般的工作负载,而无需2 PC。Primo的特点是无写冲突的并发控制,保证一旦事务进入提交阶段,没有并发冲突(例如,死锁)将在安装写集时发生-因此准备阶段不再需要考虑来自任何分区的任何潜在冲突。此外,Primo还使用异步组提交进一步优化了事务路径。这样,持久性延迟也从事务的关键路线中去除。Primo的实验结果令人鼓舞--在YCSB和TPC-C中,Primo的吞吐量比包括Sundial和COCO在内的最先进的通用协议高出1.42倍至8.25倍,同时具有与COCO相似的延迟,COCO也采用了组提交。
2023-03-01 cs.DB
Ira: Efficient Transaction Replay for Distributed Systems
Visa Research(Visa 研究院)
Ira通过在事务批次中传输紧凑的提示来加速备份回放,利用主节点已执行事务的知识优化回放效率,提升了Ethereum区块执行的缓存管理。
2026-08-05 cs.DB cs.DC
ParBlockchain: Leveraging Transaction Parallelism in Permissioned Blockchain Systems
许多现有的区块链不能充分解决分布式系统应用程序的所有特征,并且受到严重的架构限制,导致性能和机密性问题。虽然最近的许可区块链系统试图克服这些限制,但它们的重点主要是无争用的工作负载,即,没有冲突的交易。在本文中,我们介绍了OXII,这是一种新的许可区块链范式,用于支持并发执行的分布式应用程序。OXII专为具有(不同程度)争用的工作负载而设计。然后,我们介绍了ParBlockchain,一个专门在OXII范式中设计的许可区块链。使用一系列基准测试对ParBlockchain进行的评估表明,它在任何竞争程度的工作负载中的性能都优于最先进的许可区块链系统。
2019-02-04 cs.DB cs.DC
DIMSpan - Transactional Frequent Subgraph Mining with Distributed In-Memory Dataflow Systems
transmitting频繁子图挖掘是在图的集合中识别频繁子图。这个研究问题具有广泛的适用性,并且越来越需要比单机解决方案更高的可扩展性,以满足大数据用例的需求。我们介绍了DIMSpan,一种高级的频繁子图挖掘方法,它利用了Apache Spark或Apache Flink等分布式内存中可扩展系统提供的功能。它确定了频繁子图的完整集合,从任意的字符串标记的有向多重图,因为它们出现在社会,商业和知识网络。DIMSpan针对运行时和最小网络流量进行了优化,但具有内存感知能力。对大型图集合的广泛性能评估显示了DIMSpan的可扩展性及其修剪和优化技术的有效性。
2017-03-06 cs.DB
Distributed transactional reads: the strong, the quick, the fresh \& the impossible
本文研究了在分布式存储系统中提供事务一致性读的成本和权衡。我们确定了以下维度:读一致性,读延迟(延迟)和数据新鲜度。我们证明了它们之间存在三方权衡,可以总结如下:(i)不可能同时确保保序(例如,因果一致)或原子读取、最小延迟和最大新鲜度;因此,仅在弱隔离模式下才可能在没有延迟的情况下读取最新鲜的数据;(ii)为了确保以最小延迟进行原子或保序读取,必须从过去读取数据(iii)然而,保序最小延迟读取可以比原子更新鲜;(iv)以最大新鲜度读取原子或次序保持数据可能无限期地阻塞读取或写入。我们的不可能性结果独立于数据库的其他特征,如更新语义(完全有序或不)或数据模型(结构化或非结构化)。在这些结果的指导下,我们修改了现有的协议,以确保最小的延迟读取(以新鲜度为代价)下原子的可见性和因果一致的语义。我们的实验评估支持的理论结果。
2018-10-03 cs.DB cs.DC
Fast Commitment for Geo-Distributed Transactions via Decentralized Co-coordinators
针对地理分布式事务提交延迟高的问题,提出去中心化两阶段提交协议D2PC,通过并行协同协调器与绕过领导者回复,降低43%延迟并提升吞吐量至2.43倍。
2023-12-02 cs.DB
K2: On Optimizing Distributed Transactions in a Multi-region Data Store with TrueTime Clocks (Extended Version)
本文提出多区域数据存储K2,通过增强TrueTime时钟语义,在时间戳生成、并发控制和可见性控制三方面优化分布式事务,相比Spanner等协议实现了更高吞吐量和更低可见性延迟。
2025-04-02 cs.DB
Tiga: Accelerating Geo-Distributed Transactions with Synchronized Clocks [Technical Report]
本研究提出面向地理复制事务数据库的Tiga设计,通过同步时钟主动分配未来时间戳合并并发控制与共识,多数场景1次广域往返即可提交事务,性能显著优于现有方案且已开源。
2025-09-06 cs.DB cs.DC cs.NI
Democratizing Scalable Cloud Applications: Transactional Stateful Functions on Streaming Dataflows
本论文提出Stateflow和Styx,通过事务性状态函数模型和分布式流引擎,解决云应用开发中的可编程性、高性能事务和弹性问题,实现更普及的云应用开发。
2025-12-19 cs.DB cs.DC
FLAC: A Robust Failure-Aware Atomic Commit Protocol for Distributed Transactions
National University of Singapore(新加坡国立大学);Beijing Institute of Technology(北京理工大学);Zhejiang University(浙江大学)
在分布式事务处理中,原子提交协议(ACP)被用来保证数据库的一致性。随着商用计算节点和网络的使用,诸如系统崩溃和网络分区之类的故障是常见的。因此,重要的是ACP动态地适应操作条件以提高效率,同时确保数据库的一致性。现有的ACP通常假设稳定的操作条件,因此,它们要么不可推广到不同的环境,要么在实践中很慢。在本文中,我们提出了一种新颖而实用的ACP,称为故障感知原子提交(FLAC)。本质上,FLAC包括三个协议,它们是专门为三种不同的环境设计的:(i)没有故障发生,(ii)参与节点可能崩溃,但没有延迟连接,或(iii)崩溃的节点和延迟连接都可能发生。它将这些环境建模为无故障、崩溃故障和网络故障鲁棒性级别。在其操作期间,FLAC可以监控是否发生任何故障,并使用鲁棒性级别状态机动态切换以操作最合适的协议,该状态机的参数通过强化学习进行微调。因此,它提高了响应时间和吞吐量,并有效地处理分布在Internet上可能发生崩溃和网络故障的节点。我们在一个基于GooglePercolator的分布式事务键值存储系统中实现了FLAC,并通过实际工作负载的微观基准测试和宏观基准测试对其性能进行了评估。结果表明,与现有的ACP相比,FLAC实现了高达2.22倍的吞吐量提高和2.82倍的延迟加速。
2023-03-02 cs.AI cs.DB cs.DC
Highly Available Transactions: Virtues and Limitations (Extended Version)
为了最小化网络延迟并在服务器故障和网络分区期间保持在线,许多现代分布式数据存储系统避开事务功能,事务功能为多个数据项上的多个操作的组提供强语义保证。在这项工作中,我们考虑的问题,提供高可用性事务(HAT):事务保证不遭受系统分区期间的不可用性或招致高网络延迟。我们介绍了一个高可用性系统的分类,并分析现有的ACID隔离和分布式数据一致性保证,以确定哪些可以和不可以在HAT系统中实现。这统一了关于弱事务隔离、副本一致性和高可用系统的文献。我们分析和实验量化HAT的可用性和性能优势-通常是两到三个数量级的广域网-并讨论其必要的语义妥协。
2013-10-07 cs.DB
Consistent Checkpointing in Distributed Databases: Towards a Formal Approach
无论是为了审计还是为了恢复,数据检查点都是分布式数据库系统的一个重要问题。实际上,事务在数据对象管理器采取的数据检查点上建立依赖关系。因此,给定任意一组数据检查点(至少包括来自数据管理器的单个数据检查点,最多包括来自每个数据管理器的数据检查点),一个重要的问题是:“这些数据检查点可以是同一个一致的全局检查点的成员吗?”''.本文通过给出一个适合于数据库系统的充要条件来回答这个问题。此外,为了证明该条件的有效性,从该条件中推导出了两个{ \em非侵入式}数据检查点协议。还值得注意的是,本文通过展示"对应关系“,在数据对象/事务模型和过程/消息传递模型之间建立了一座桥梁。
1999-10-22 cs.DB cs.DC
Extending Polaris to Support Transactions
本文扩展云原生分布式框架 Polaris,在只读分析处理基础上利用不可变数据文件和 SQL Server 事务机制,为 Microsoft Fabric 的 T-SQL 提供快照隔离下的通用事务支持。
2024-01-20 cs.DB
Adaptive Logging for Distributed In-memory Databases
一种新类型的日志,命令日志,正在被用来取代传统的数据日志(例如,ARIES日志)中的数据。命令日志只跟踪正在执行的事务,而不是记录元组是如何更新的,从而有效地减少了日志的大小并提高了性能。另一方面,命令日志记录增加了恢复的成本,因为在最后一个检查点之后的日志中的所有事务都必须在失败的情况下完全重做。在本文中,我们首先扩展的命令日志记录技术的分布式环境中,所有的节点可以并行执行恢复。然后,我们提出了一个自适应的日志记录方法相结合的数据记录和命令记录。数据日志记录与命令日志记录的百分比成为事务处理和恢复性能之间的优化,以适应不同的OLTP应用程序。我们的实验研究比较了我们提出的自适应日志记录,ARIES风格的数据记录和命令日志记录的H-Store顶部的性能。结果表明,自适应日志记录可以实现10倍的恢复提升,并且事务吞吐量与命令日志记录相当。
2015-04-27 cs.DB
Minuet: A Scalable Distributed Multiversion B-Tree
传统上,数据管理系统被设计为支持长时间运行的分析查询或短时间的事务,但越来越多的应用程序需要两者。例如,在线游戏、社交移动应用和电子商务网站不仅需要维护运行状态,还需要快速分析数据,以做出预测和建议,从而改善用户体验。在本文中,我们提出了Minuet,一个分布式的,主存B树,支持事务和写时复制快照的原位分析。Minuet使用主存存储来实现低延迟的事务操作以及分析查询,而不会影响事务性能。除了支持快照上的只读分析查询外,Minuet还支持可写克隆,以便用户可以创建数据的分支版本。此功能可能非常有用,例如支持复杂的“假设”分析或促进广域复制。我们的实验表明,Minuet优于商业主存数据库在许多方面。它可以扩展到数百个内核和TB的内存,每秒可以处理数十万个B树操作,同时执行长时间运行的扫描。
2012-05-30 cs.DB
Transactional Properties of Permissioned Blockchains
传统的分布式事务处理(TP)系统(如复制数据库)由于所需的相互信任水平而难以广泛应用于企业集成场景。具有讽刺意味的是,公共区块链承诺解决协作过程中的相互信任问题,但却存在可扩展性、概率交易终结性和缺乏数据保密性等问题。为了解决这些问题,引入了许可区块链作为一种替代方法,结合了两个世界的优点并避免了它们的缺点。然而,没有足够的分析来强调他们在TP方面的实际能力。在本文中,我们确定了一组合适的TP标准来分析许可区块链,并将其应用于这些系统中的一组突出系统。最后,我们比较所得到的性质,并提供一般性的结论。
2019-08-28 cs.DB cs.DC
Odysseus/DFS: Integration of DBMS and Distributed File System for Transaction Processing of Big Data
关系数据库管理系统(RDBMS)由于支持O/S文件系统中不存在的SQL、模式、索引和事务等各种高级功能而得到广泛使用。但是,最近大数据技术的出现促进了牺牲DBMS功能以有效管理大规模数据的新系统的开发。这些所谓的NoSQL系统使用分布式文件系统,支持可伸缩性和可靠性。它们通过将数据存储到大量低成本商品硬件中来支持系统的可扩展性,并通过将数据存储在副本中来支持可靠性。然而,它们有一个缺点,即它们不能充分支持高级DBMS功能。在本文中,我们提出了一个体系结构的DBMS,使用DFS作为存储。通过这种新的体系结构,DBMS能够支持DFS的可扩展性和可靠性以及DBMS的高级功能。因此,DBMS可以利用DFS提供的几乎无限的存储空间,使其适用于大数据分析。作为DBMS体系结构的一部分,我们提出了Meta DFS文件的概念,它允许DBMS使用DFS作为存储,以及一个有效的事务管理方法,包括恢复和并发控制。我们在Odysseus/DFS中实现了这种体系结构,Odysseus关系数据库管理系统的集成,已经在KAIST开发了24年多,与DFS。我们对事务处理的实验表明,由于Odysseus/DFS的高级功能,它优于Hbase,这是一个代表性的开源NoSQL系统。我们还表明,与具有本地存储的RDBMS相比,Odysseus/DFS的性能相当或略有下降,表明Odysseus/DFS通过使用DFS作为存储来…
2014-06-02 cs.DB
Transactions Make Debugging Easy
我们提出了TROD,一种新型的面向事务的框架,用于调试现代分布式Web应用程序和在线服务。我们的关键见解是,如果应用程序将所有状态存储在数据库中,并且仅以事务方式访问状态,则TROD可以使用轻量级的始终在线跟踪来跟踪应用程序状态更改和数据来源的历史,然后利用捕获的跟踪和事务日志忠实地重放甚至追溯任何过去事件的修改代码。我们演示了如何TROD可以简化生产应用程序中的编程和调试,列出几个研究挑战和方向,并鼓励数据库和系统社区彻底重新思考人们开发和调试应用程序的方式之间的协同作用。
2022-12-29 cs.DB cs.DC cs.SE
Scaling Out Acid Applications with Operation Partitioning
具有无法由单个服务器提供服务的高工作负载的OLTP应用程序需要横向扩展到多个服务器。通常,向外扩展需要将应用程序状态的不同分区分配给每个服务器。但是,数据分区与ACID事务的强一致性保证(许多OLTP应用程序的基本构建块)不一致。我们越是将数据扩展和分散到多个服务器上,访问不同服务器上数据的分布式事务就越频繁。对于大量的服务器,分布式事务的高成本使得向外扩展无效甚至有害。在本文中,我们提出了操作分区,一种新的范式来扩展OLTP应用程序,需要ACID保证。操作分区通过静态分析对应用程序的操作进行分区,从而间接地跨服务器对数据进行分区。这种操作划分产生了用于分布式协调的无锁传送带协议,该协议可以扩展在未修改的数据库管理系统上运行的未修改的应用程序。我们在一个名为Elia的系统中实现了该协议,并使用它扩展了两个应用程序,TPC-W和RUBiS。我们的实验表明,Elia可以将最大吞吐量提高4.2倍,并将延迟降低58.6倍,同时提供更强的隔离保证(可串行化而不是读取提交)。
2018-04-05 cs.DB cs.DC
GaussDB-Global: A Geographically Distributed Database System
本文提出 GaussDB-Global,通过同步时钟的可切换事务管理及异步副本强一致读取,降低跨地域 OLTP 延迟,实验显示读取吞吐量最高提升 14 倍、TPC-C 提升 50%。
2025-01-09 cs.DB
Affinity-based XML Fragmentation
在本文中,我们解决了高度分布式数据库的碎片问题。在这样的环境中,合适的分段策略可以通过最小化分布式事务来提供可伸缩性和可用性。我们提出了一种XML碎片的方法,作为输入的应用程序的预期工作量和存储阈值,并产生作为输出的XML碎片模式。我们的工作负载感知方法旨在通过将相关数据打包到一小部分片段中来最大限度地减少分布式事务的执行。我们目前的实验比较替代碎片模式,表明我们的技术产生的一个提供了更细粒度的结果和更好的系统吞吐量。
2013-04-24 cs.DB
Nebula Graph: An open source distributed graph database
本文介绍了Nebula Graph的最新工作,Nebula Graph是一个开源的、分布式的、可扩展的、原生的图形数据库。我们提出了一个系统设计的权衡和星云图内部的全面概述,包括图形数据模型,分区策略,二级索引,优化器规则,存储端事务,图形查询语言,可观察性,图形处理框架和可视化工具包。此外,还建立了三组大规模图b
2022-06-15 cs.DB
Access Control for Distributed Ledgers in the Internet of Things: A Networking Approach
在物联网(IoT)领域,设备需要一个平台来无缝地进行交易,而无需可信的中介。尽管分布式账本技术(DLT)可以提供这样一个平台,但比特币等区块链的设计并没有考虑到物联网网络,因此通常不适合此类应用:它们提供的交易吞吐量和确认时间很差,对有限的计算和存储资源造成压力,并且需要高昂的交易费用。在这项工作中,我们考虑了一类基于有向无环图而不是区块链的物联网友好DLT,并且在工作量证明(PoW)的位置上使用信誉系统。然而,如果没有PoW,这些DLT的实现需要一个访问控制算法来管理节点向账本添加新交易的速度。我们的访问控制问题的模型,并提出了一个算法,是公平的,有效的和安全的。我们的算法代表了DLT的一种新的设计范式,其中网络概念首次应用于DLT设置。例如,我们的算法使用分布式速率设置,这是类似的性质,在互联网中使用的传输控制。然而,我们的解决方案具有新颖的适应性,以应对DLT的对抗性环境,在这种环境中,没有一个代理可以信任。我们的算法保证了资源的利用率,一致性,公平性和对攻击者的弹性。所有这些都是有效实现的,并且考虑到物联网设备的限制。我们进行了大量的模拟来验证这些说法。
2021-07-14 cs.DB cs.NI
Transactional Cloud Applications: Status Quo, Challenges, and Opportunities
本教程概述事务型云应用迁移至云端的现状、数据管理挑战及研究机遇,强调数据库社区需关注此领域。
2025-04-23 cs.DB cs.SE