Efficient State-based CRDTs by Delta-Mutation
CRDT是分布式数据类型,它使分布式对象的最终一致性成为可能,并且是非自组织的。具体地,基于状态的CRDT通过传播可能很大的完整状态并将其合并到其他副本来确保收敛;而基于操作的CRDT传播操作(即,小的状态),假设恰好一次可靠的传播层。我们引入了Delta State无冗余复制数据库(δ-CRDT),它可以实现两全其美:具有增量性质的小消息,如基于操作的CRDT,通过不可靠的通信渠道传播,如传统的基于状态的CRDT。这是通过定义δ-mutator来返回一个delta状态来实现的,通常具有比完整状态小得多的大小,它连接到本地和远程状态。我们介绍了δ-CRDT框架,并通过建立与当前基于状态的CRDT的对应关系来解释它。此外,我们提出了一个反熵算法,确保因果一致性,我们介绍了两个δ-CRDT规格的知名复制数据库。
2015-03-03 cs.DB cs.DC cs.DS
Real Differences between OT and CRDT under a General Transformation Framework for Consistency Maintenance in Co-Editors
OT(操作转换)是在20世纪80年代末为支持实时协同编辑器而发明的,并已发展成为当今工作协同编辑器中使用的核心技术,并被主要工业产品采用。CRDT(可交换复制数据类型)在2006年左右首次提出,名为WOOT(WithOut Operational Transformation)。后续的CRDT变体通常被标记为“后OT”技术,能够使并发操作在协同编辑器中原生地可交换。最重要的是,CRDT解决方案广泛声称优于OT解决方案,并经常将OT描述为一种不正确,复杂和低效的技术。然而,十多年后,OT仍然是构建绝大多数共同编辑器的选择,而CRDT很少在工作共同编辑器中找到。现实和CRDT的优势之间的矛盾一直是共同编辑社区中许多混乱和争论的根源。绝大多数的共同编辑不幸地选择了错误和低劣的OT,或者那些CRDT的说法是错误的?OT和CRDT对于共同编辑者的真正区别是什么?在现实世界中,OT和CRDT之间的选择背后的关键因素和潜在原因是什么?为了实事求是,我们着手对具有代表性的OT和CRDT解决方案以及基于它们的工作共同编辑进行全面和批判性的审查。从这项工作中,我们取得了关于OT和CRDT的重要发现,并揭示了事实和证据,驳斥了CRDT对OT的所有说法。我们在一系列的三篇文章中报告了我们的发现,目前的文章是这个系列的第一篇。我们希望这项工作的发现有助于消除围绕OT和CRDT的常见误解和困惑,并加速现实世界…
2020-06-10 cs.DC cs.HC cs.SE
Observable atomic consistency for CvRDTs
分布式系统的开发要求开发人员在一致性、可用性和分区容差之间取得平衡。在最终一致的系统中,为了减少并发控制,广泛使用了无冗余复制数据类型(CRDT)。然而,由于缺乏一致的非单调操作,CRDT的使用可能是困难的。在本文中,我们提出了一个新的一致性协议,可观察原子一致性协议(OACP)。OACP支持强一致性的原则性放松,以提高特定场景中的性能。OACP结合了可合并数据类型(具体而言,是聚合复制数据类型)和可靠的全顺序广播的优点,以提供随需应变的强一致性。通过提供可观察的原子一致性,OACP避免了相关协议的异常。我们提供了一个分布式的,基于Akka的OACP集群实现,Akka是一个广泛使用的基于角色的中间件。我们的实验评估表明,OACP可以减少副本之间的协调相比,其他协议提供原子的一致性,在几个基准。我们的研究结果还表明,OACP通过可合并的数据类型获得可用性,并提供可接受的延迟,以实现强一致性。
2018-06-18 cs.DC
Decoupling Trust in Byzantine CRDTs: Fine-grained Post-Compromise Handling without Breaking Causality
University of Applied Sciences and Arts of Southern Switzerland(南方瑞士应用科学与艺术大学)
提出将身份信任与内容信任解耦的细粒度信任模型,通过确定性重建在保留已接受更新的同时,基于身份和更新语义选择性包含或排除更新,实现拜占庭CRDT系统中的因果一致性与鲁棒后妥协处理。
2026-07-02 cs.DC cs.DS
A Dual-CRDT Architecture for Decentralized Trust Governance and Evolution
University of Applied Sciences and Arts of Southern Switzerland(南瑞士应用科学与艺术大学)
本文针对拜占庭容错CRDT系统,引入双CRDT架构,由信任CRDT存储治理信息、数据CRDT据其重建,基于确定性重建和拜占庭信任过滤,允许信任关系和治理规则通过更新演化,提供递归治理模型,已实现原型进行初步探索。
2026-08-05 cs.CR cs.DC
Collabs: A Flexible and Performant CRDT Collaboration Framework
Collabs是一个基于CRDT的协作框架,允许程序员灵活实现和组合CRDTs,支持应用特定优化,同时保持强最终一致性,并在富文本编辑器中支持超过100个同时用户,性能优于现有框架。
2023-10-14 cs.DC cs.DS
On Conflict-Free Replicated Data Types and Equivocation in Byzantine Setups
本文研究了无冗余复制数据类型(CRDTs)的模糊容限特性。我们表明,CRDTs的子类是模棱两可的宽容,从而可以应付任何数量的拜占庭故障:没有模棱两可的检测,预防或补救,他们仍然履行强最终一致性(SEC)。我们还推测,只有一个基于操作的CRDT设计支持非交换操作,满足SEC在拜占庭环境中的任何数量的故障。
2021-10-08 cs.DC cs.DS
A Datalog Framework for Conflict-Free Replicated Data Types
RPTU University Kaiserslautern-Landau(凯泽斯劳滕-兰道理工大学);ENSIIE, Inria Paris, IRIF, SAMOVAR (Télécom SudParis)(欧洲信息与工业系统高等学院、巴黎国家信息与自动化研究所、IRIF、SAMOVAR(南方电信学院))
提出一个声明式框架,使用Datalog对无冲突复制数据类型(CRDT)及其组合进行建模、推理和自动化分析,并通过协作图编辑案例验证了正确性和可扩展性。
2026-06-08 cs.DB cs.DC cs.LO
MET: Model Checking-Driven Explorative Testing of CRDT Designs and Implementations
互联网规模的分布式系统通常在多个地理位置复制数据,以提供低延迟和高可用性。无副本的复制数据类型(CRDT)是一个框架,它提供了一种原则性的方法来维护数据副本之间的最终一致性。众所周知,CRDT很难正确设计和实现。微妙的深层错误在于复杂而乏味的处理所有可能的冲突数据更新情况。我们认为,CRDT的设计应该正式指定和模型检查,以发现深层的错误。还需要对执行情况进行系统测试。一方面,测试需要继承模型检验的穷举性,保证测试的覆盖率;另一方面,预期测试将发现设计级验证无法检测到的编码错误。针对上述挑战,本文提出了模型检验驱动的探索性测试框架.在设计层面,MET使用TLA+来指定和模型检查CRDT设计。在实现级别,MET进行模型检验驱动的探索性测试,从这个意义上说,测试用例是自动生成的模型检验痕迹。系统执行被控制为确定性地进行,遵循模型检验跟踪。探索性测试系统地控制和置换所有不确定的消息重新排序。我们在CRDTs的实际开发中应用MET。发现了CRDT设计和实现中的缺陷,对于传统测试技术无法发现的缺陷,MET大大降低了修复缺陷的成本。此外,MET可以以合理的成本发现现有技术无法发现的细微的深层错误。我们进一步讨论MET如何为我们提供足够的信心,我们的CRDT设计和实现的正确性。
2022-04-29 cs.DC cs.SE
Early Detection for Multiversion Concurrency Control Conflicts in Hyperledger Fabric
Hyperledger Fabric是一个流行的许可区块链系统,其特点是高度模块化和可扩展的系统,用于部署许可区块链,预计将对广泛的行业产生重大影响。与比特币和以太坊等传统区块链系统不同,Hyperledger Fabric使用EOV模型进行事务处理:提交的交易由认可对等体执行,由订购服务订购和批量处理,并由验证对等体验证。由于这种EOV工作流,出现了一个有据可查的问题,即多版本并发控制冲突。当两个交易试图同时写入和读取账本中的相同密钥时,就会发生这种情况。解决这个问题的现有解决方案包括消除块以支持流式传输事务,在排序阶段修复冲突,以及使用CRDT(无冲突复制数据)技术自动合并冲突事务。在本文中,我们提出了一种新的解决方案,称为早期检测MVCC冲突。我们的解决方案在事务执行的早期阶段检测冲突事务,而不是在验证阶段中止之前处理它们。我们的解决方案的优点是,它检测冲突,尽可能减少冲突的事务在网络上的开销,从而减少端到端的事务延迟和系统的有效吞吐量的增加。我们已经在Hyperledger Fabric中成功实施了我们的解决方案。我们提出了三种不同的实现,实现早期检测。我们的结果表明,我们的解决方案都比基准Fabric性能更好,我们最好的解决方案SyncMap将有效吞吐量提高了23%,并将延迟降低了80%。
2023-01-15 cs.DC
A Composable CRDT Layer for Byzantine-Resilient Deterministic Reconstruction
University of Applied Sciences and Arts of Southern Switzerland(南方瑞士应用科学与艺术大学)
提出Melda,一种非侵入式增量状态CRDT,通过确定性状态重建实现拜占庭容错,确保即使存在任意更新注入也能收敛。
2026-07-01 cs.CR cs.DC
Conflict-Aware Replicated Data Types
我们引入了可感知复制数据类型(CARD)。CARD比无冗余的复制数据类型(CRDT)更有表现力,因为它们支持可能相互冲突的操作。引入冲突操作通常带来在至少一些执行中阻塞操作的需要,导致编程和关于正确性的推理的困难,以及实现中的潜在低效率。CARD的突出方面是,它们允许与CRDT相比的编程和推理,同时允许冲突的算法推理,以便仅在必要时阻止操作。关键思想是要有一种语言,允许将每个操作与一个称为{ \em consistency guard}的两状态谓词相关联,该谓词将正在执行操作的副本的状态与全局状态(从不计算)相关联。一致性防护装置有三个优点。首先,开发操作的程序员只需要选择一个一致性保护,说明操作将依赖于什么。特别是,他们不需要考虑操作与其他操作的冲突。这允许纯粹的{ \em模块化推理}。其次,我们表明,一致性保护允许降低复杂性的推理需要证明不变量,持有卡操作执行。原因是一致性保护允许将关于操作之间的并发性的推理减少为纯粹的{ \em顺序推理}。第三,操作之间的冲突可以通过检查一个操作的效果是否保持另一个操作的一致性保护来算法地推断。
2018-09-26 cs.DC
Pure Operation-Based Replicated Data Types
为服务于世界各地的客户而设计的分布式系统通常利用地理复制来实现低延迟和高可用性。无冗余复制的数据类型(CRDT)允许设计可预测的多主机复制,并支持允许暂时发散的副本的最终一致性。CRDT有两种类型:基于状态的,其中状态在本地改变并被运送和合并到其他副本中;基于操作的,其中操作在本地发出并可靠地因果广播到所有其他副本。然而,基于操作的CRDT的标准定义是非常广泛的,甚至允许发送完整的状态,从而强加存储和传播开销,以及模糊与基于状态的CRDT的区别。我们引入了纯基于操作的CRDT,它只能向其他副本发送操作,与基于状态的CRDT有明显的区别。具有可交换操作的数据类型可以使用标准可靠因果传递被平凡地实现为纯基于操作的CRDT;而具有非可交换操作的数据类型使用PO-Log(操作的部分有序日志)并利用扩展API来实现,即,一个标记的因果稳定广播(TCSB),它在传递时提供额外的因果关系信息,并在稍后通知传递的消息何时变得因果稳定,从而允许进一步的PO日志压缩。该框架说明了一个目录的纯操作为基础的规范,经典的CRDTs,包括计数器,多值寄存器,添加胜和删除胜集。
2017-10-12 cs.DB cs.DC cs.DS
Conflict-Free Replicated Data Types for Neural Network Model Merging: A Two-Layer Architecture Enabling CRDT-Compliant Model Merging Across 26 Strategies
Independent researcher(独立研究者)
本文提出了一种双层架构CRDTMergeState,通过将任何融合策略封装在CRDT兼容层中,解决了26种神经网络融合策略在分布式操作中无法满足交换律、结合律和幂等律的结构性问题,实现了强最终一致性。
2026-05-16 cs.AI cs.DC cs.LG
Fragmented Objects: Boosting Concurrency of Shared Large Objects
本文研究了分布式存储系统(DSS)中处理大型共享数据对象的策略,同时提高并发访问的数量,保持强一致性保证,并确保良好的操作性能。在这方面,我们定义了片段对象的概念:由一系列片段(或块)组成的并发对象,允许操作单独操作它们的每个片段。由于片段属于同一个对象,因此每个片段都是可线性化的,在组合对象中具有有用的一致性保证是不够的。因此,我们捕获的一致性语义的整个对象的概念片段线性化。然后,考虑到可线性化性、可覆盖性的变化更适合于像文件这样的版本化对象,我们提供了一种分布式文件系统的实现,称为COBFS,其利用可覆盖的碎片对象(即,在COBFS中,每个文件都是可覆盖块对象的链表。COBFS的初步仿真表明,我们的方法在提高强一致性大对象的并发性的潜力。
2021-03-07 cs.DC
Conflict-free Replicated Data Types: An Overview
互联网规模的分布式系统通常在多个地理位置复制数据,以提供低延迟和高可用性,尽管节点和网络故障。采用弱一致性模型的地理复制系统允许副本暂时分散,需要一种机制将并发更新合并到一个公共状态。无冗余复制数据类型(CRDT)提供了解决此问题的原则性方法。本文档概述了无冗余复制数据类型的研究和实践,从应用程序开发人员、系统开发人员和CRDT开发人员的相关方面组织了演示。
2018-06-27 cs.DC cs.DS
Just-Right Consistency: reconciling availability and safety
根据CAP定理,分布式数据存储系统可以保证分区下的一致性(CP)或分区下的可用性(AP),但不能同时保证两者。这导致了CP数据库和AP数据库之间的分裂,CP数据库中的更新是同步的,AP数据库中的更新是异步的。然而,没有内在的理由将所有更新都等同对待:简单地说,系统应该尽可能可用,并且同步到足以使应用程序正确。基于以下见解,我们提供了一种原则性的正确一致性方法来设计此类应用程序,协调正确性与可用性和性能:(i)无重复数据类型(CRDTs)数据模型以直观和原则性的方式支持异步更新。(ii)涉及联合或相互排序更新的不变量与AP兼容,并且可以由transmittance Causal Consistency(transmittance Causal consistency)保证,transmittance causal consistency是不损害可用性的最强一致性模型。关于其余的“CAP敏感”不变量:(iii)对于有界计数器的常见模式,我们提供了被证明正确且有效的封装数据类型;(iv)在一般情况下,静态分析可以识别何时不需要同步以确保正确性。我们的Antidote云数据库系统支持CRDTs、事务因果一致性和有界计数器数据类型。支持工具通过静态分析和CAP敏感不变量的证明来帮助设计应用程序。该系统支持工业级应用程序,并已在几个地理分布数据中心的数百台服务器上进行了实验测试。
2018-01-19 cs.DB cs.DC
Wait-free Replicated Data Types and Fair Reconciliation
Télécom Paris, Institut Polytechnique de Paris, France(巴黎电信学院,巴黎理工学院);Université Paris-Saclay, CEA, List, France(巴黎萨克雷大学,法国原子能和替代能源委员会,List实验室)
该研究针对无等待复制数据类型面临的操作重排序与客户端饥饿问题,提出基于DAG的通用框架及对应协调函数,实现带稳定性和公平性的最终状态机复制。
2026-08-21 cs.DC
A Real Time Optimistic Strategy to achieve Concurrency Control in Mobile Environments Using On-demand Multicasting
在移动数据库环境中,多个用户可以访问相似的数据项,而不管他们的物理位置,导致并发访问异常。在移动环境中,由于数据的断开和移动性是数据的共同特征,对特定数据项执行并发访问会导致数据不一致。大多数方法使用锁机制来实现并发控制。然而,这会导致阻塞和中止率的增加。本文提出了一种基于按需多播的移动数据库乐观并发控制策略,该策略在保证一致性的同时,引入了特定于应用的冲突检测和解决策略。仿真结果表明,与文献中提出的其他乐观策略相比,通过降低事务中止率来提高系统吞吐量。
2010-05-11 cs.DC
NCC: Natural Concurrency Control for Strictly Serializable Datastores by Avoiding the Timestamp-Inversion Pitfall
本文提出自然并发控制(NCC),利用数据中心事务的自然到达顺序以最小代价执行,并通过响应时序控制避免时间戳反转陷阱,在保证严格可串行化的同时实现单轮延迟、无锁和非阻塞执行,性能比现有方案高出一个数量级。
2023-09-25 cs.DC
ViSearch: Weak Consistency Measurement for Replicated Data Types
大规模复制的数据类型存储通常采用最终一致性来保证低延迟和高可用性。人们普遍认为,在最终一致的数据存储上编程是具有挑战性的,因为允许副本之间的任意发散。此外,实用协议实际上实现了比最终一致性更强的一致性保证,这可以并且需要被用来促进对复制的数据类型的推理和编程。面对上述挑战,我们提出了ViSearch框架,用于精确测量最终的一致性语义。ViSearch在并发编程中采用了可行性仲裁规范方法,除了标准的动态happen-before和线性化关系之外,还在操作之间扩展了动态可见性关系,从而扩展了基于线性化的规范方法。使用ViSearch的一致性度量一般是NP难的。为了在复制的数据类型存储中实现实用且高效的一致性测量,ViSearch框架将现有的蛮力检查算法重构为通用算法骨架,这进一步实现了搜索空间的高效修剪和有效的并行化。我们使用ViSearch框架在两个复制的数据类型存储Riak和CRDT-Redis中进行一致性测量。实验结果表明,基于ViSearch框架的一致性度量方法在实际应用中具有良好的实用性和成本效益。
2022-07-06 cs.DC
Coordination-free Collaborative Replication based on Operational Transformation
本研究提出无协调协作复制方法CCR,基于操作转换思路优化,无需显式协调消息,解决了OT依赖服务器协调、CRDT行为反直觉及消息低效的问题,为分布式P2P系统的协作数据共享提供更实用的一致性方案。
2024-12-15 cs.DC cs.PL
SafarDB: FPGA-Accelerated Distributed Transactions via Replicated Data Types
University of California(加利福尼亚大学)
研究利用FPGA加速分布式事务,通过设计网络连接的FPGA复制引擎,实现近网络执行复制事务等,介绍SafarDB,加速冲突无关复制数据类型及相关,提升性能并增强抗故障能力。
2026-09-03 cs.DC
On Mixing Eventual and Strong Consistency: Acute Cloud Types
在这篇文章中,我们将研究混合了最终一致性和强一致性的分布式系统的性质。我们通过急性云类型(ACTs),抽象类似于无冲突复制数据类型(CRDTs),默认情况下工作在一个高度可用的,最终一致的方式,但也具有强一致的操作,需要全球协议的任务正式这样的系统。与其他混合一致性解决方案不同,ACT可以依赖于高效的基于法定人数的协议,例如Paxos。因此,ACT优雅地容忍机器和网络故障,也用于强一致的操作。我们正式研究ACTs和证明的现象,既不存在于纯粹的最终一致的,也不强一致的系统。特别是,我们确定临时操作重新排序,这意味着临时副本之间的相对顺序,客户端请求被执行的分歧。如果不小心处理,这种现象可能会导致不希望的异常,包括循环因果关系。我们证明了一个不可能的结果,该结果表明,临时操作重新排序是不可避免的混合一致性系统具有足够复杂的语义。我们的结果是惊人的,因为它表明,明显加强系统的语义(通过引入强一致的操作到最终一致的系统)的结果在最终一致的操作的保证减弱。
2021-01-14 cs.DC
Semantic Conformance of Concurrency Control Protocols under Mixed Isolation Levels
Nanjing University(南京大学);Hunan University(湖南大学);Texas A&M University(德克萨斯农工大学);Renmin University of China(中国人民大学)
研究混合隔离级别下并发控制协议的语义一致性问题,通过开发形式语义框架\ourframework来解决,建立了结合两个和三个隔离级别的并发控制协议的语义一致性,证明了该框架的适用性。
2026-07-21 cs.DB cs.DC
Improving the "Correct Eventual Consistency" Tool
在弱一致性模型下设计分布式应用程序时,很难保持不变量。CEC(正确的最终一致性工具)旨在帮助应用程序设计人员完成这项任务。它提供有关并发操作期间错误的信息,以及有关如何以及在何处同步操作的建议。此报告介绍了该工具的两个功能:提供调试和并发控制建议的反例。
2018-07-17 cs.DC cs.SE
Distributed Transactions for Google App Engine: Optimistic Distributed Transactions built upon Local Multi-Version Concurrency Control
大规模可扩展的Web应用程序在计算中遇到了“性能”和“正确性”之间的基本张力:性能通常通过使用大型分布式机器来解决,其中程序是多线程和可中断的,而正确性则需要确定性地维护数据不变式。解决这个问题的一个方法是“transactions”(交易)。一些分布式系统,如Google App Engine [http://code.google.com/appengine/docs/]提供事务语义,但仅用于访问数据库的一组预定义本地区域之一的函数:“本地事务”(LT)[http://code.google.com/appengine/docs/python/datastore/transactions.html]。为了解决这个问题,我们给出了一个“分布式事务”(DT)算法,该算法为在机器上分布的任何对象集上操作的函数提供事务语义。我们的算法是在一个“乐观”[http://en.wikipedia.org/wiki/Optimistic_concurrency_control]风格。我们假设本地事务具有顺序[时间-]一致性[http://en.wikipedia.org/wiki/Sequential_consistency]。
2011-06-15 cs.DB cs.DC cs.DS
SSS: Scalable Key-Value Store with External Consistent and Abort-free Read-only Transactions
我们提出了SSS,一个可扩展的事务键值存储部署了一种新的分布式并发控制,提供外部一致性的所有事务,从来没有中止只读事务,由于并发,所有没有专门的硬件。SSS确保了上述属性,而无需任何集中的同步源。SSS的并发控制使用向量时钟和一种称为快照队列的新技术的组合来建立与客户端观察到的事务完成顺序相匹配的单个事务串行化顺序。我们将SSS与高性能键值存储、Walter、ROCOCO和两阶段提交基线进行比较。使用20个节点,SSS的性能比2 PC基线高出7倍;使用15个节点,ROCOCO的性能比长只读事务高出2.2倍。
2019-01-11 cs.DB cs.DC
Creek: Low-latency, Mixed-Consistency Transactional Replication Scheme
在本文中,我们将介绍Creek,一个低延迟,最终一致的复制方案,也使执行强一致的操作(类似于ACID事务)。操作可以具有任意复杂(但确定性)的语义。与状态机复制(SMR)类似,Creek完全命令所有操作,但使用两种不同的广播机制:基于时间戳的广播机制和我们新颖的条件原子广播(CAB)。前者用于建立推测执行的所有操作的临时顺序,并且它可以容忍网络分区。另一方面,CAB仅用于确保强一致性操作的线性化执行,只要分布式共识可以解决。强一致性操作的执行也稳定了因果相关的弱一致性操作的执行顺序。Creek使用多版本并发控制来有效地处理由于临时执行顺序和最终执行顺序之间的不匹配而导致的操作回滚和重新执行。在TPC-C基准测试中,与最先进的推测SMR方案相比,Creek在返回客户端响应时的延迟降低了2.5倍,同时保持了推测执行的高准确性(92-100%)。
2019-12-16 cs.DC
Pushing the Limit: Verified Performance-Optimal Causally-Consistent Database Transactions
本文提出Eiger-PORT+并发控制协议,实现强因果一致性TCCv,证明其性能最优读事务,驳斥开放猜想,并首次演绎验证复杂协议,性能优于现有方法。
2025-01-23 cs.DB cs.DC cs.FL
VeriFx: Correct Replicated Data Types for the Masses
本文提出具备自动证明能力的高级语言 VeriFx,支持在函数式集合上实现并自动验证 RDT,且可转译到 Scala 和 JavaScript;通过其 CRDT 与 OT 库验证了 35 个 CRDT 并复现 OT 正确性研究。
2024-12-06 cs.DC cs.PL
Byzantine Accountability Without Consensus: Strong Eventual Consistency for Non-Associative, Stochastic, Robust Aggregation
Independent researcher(独立研究者)
研究如何在无共识情况下实现拜占庭可问责性,提出ACFA方法,通过复制特定集合并进行确定性纯函数聚合。证明相关函数继承强最终一致性,原型通过多项证伪检查,保证了一致性,引入了基于特定条件的稳健性。
2026-07-14 cs.CR cs.DC cs.LG
An optimized conflict-free replicated set
复制数据的最终一致性支持并发更新,减少延迟并提高容错,但放弃了强一致性。因此,若干云计算平台实现最终一致的数据类型。集合是一个广泛而有用的抽象,许多复制集合设计已经被提出。我们提出了一个推理抽象,置换等价,系统化的并发类型的预期并发语义的表征。在此框架下,我们提出了一个现有的无冲突复制数据类型,观察删除集。此外,为了减少元数据的大小,我们提出了一个新的优化,以避免墓碑。这种方法可以转换为其他数据类型,如地图,图形或序列。
2012-10-11 cs.DC cs.DS
CV-Rules: Serializability Verification of Concurrency Control Protocols via Explicit Transaction Ordering
Cybozu Labs, Inc.(Cybozu实验室有限公司);NAUTILUS Technologies, Inc.(NAUTILUS科技有限公司);LY Corporation(LY公司)
提出CV-rules,通过显式事务排序和两个读条件(C-rule和V-rule)等价刻画可串行化,并验证五种协议,其中SSN和Aria的显式排序被识别,Aria的唯一写约束被证明非必要。
2026-06-25 cs.DB cs.DC cs.LO
Almost Strong Consistency: "Good Enough" in Distributed Storage Systems
一旦分布式存储系统复制数据,就会出现一致性/延迟权衡。对于低延迟,现代存储系统通常满足于弱一致性条件,这对数据一致性提供很少甚至更糟的保证。在本文中,我们提出了几乎强一致性的概念,作为一个更好的平衡选项的一致性/延迟权衡。它提供了每次读取的数据版本的确定性有界陈旧性和“读取陈旧值”的概率量化,同时实现了低延迟。在分布式存储系统中,我们调查几乎强一致性的2-原子性。我们的2AM(2-Atomicity Maintenance)算法在一次通信往返中完成读取和写入,并保证每次读取都获得最新2个版本中的值。为了量化“读取陈旧值”的比率,我们将所谓的“新旧倒置”现象分解为并发模式和读写模式,并分别提出了一个随机的存储模型和一个“定时的球入箱模型”来分析它们。理论分析不仅证明了“新旧倒置”很少发生,而且还揭示了读写模式在保证这种罕见的数据不一致性方面占主导地位。这些进一步证实了实验结果,表明2-原子性是“足够好”的分布式存储系统实现低延迟,有界陈旧,和罕见的数据不一致。
2015-07-15 cs.DB cs.DC
Tackling Consistency-related Design Challenges of Distributed Data-Intensive Systems - An Action Research Study
背景:分布式数据密集型系统越来越多地被设计为最终一致。持久性数据不再使用序列化和事务性访问进行处理,从而使应用程序面临一系列需要由应用程序本身处理的潜在并发异常。在单片系统中控制并发数据访问已经是一个挑战,但在分布式系统中,这个问题更加严重。更糟糕的是,软件架构社区在这个问题上只提供了很少的系统工程指导。目的:在本文中,我们报告我们的研究的有效性和适用性的新的设计准则,我们在这方面提出的。方法:我们使用行动研究,并进行了多站点平台开发项目的软件架构设计过程的背景下。结果:我们关于有效性和适用性的假设已被接受的背景下的研究。最初的设计指南在整个研究过程中得到了完善。因此,我们也贡献了具体的指导方针,分布式数据密集型系统的架构,最终一致的数据。这些指南是领域驱动设计的一个进步,并为战术设计部分提供了额外的模式。结论:根据我们的研究结果,我们建议使用该指南来构建安全的最终一致的系统。由于分布式数据密集型系统的相关性,我们将推动这项研究,并在进一步的领域进行评估。
2021-08-08 cs.DC cs.SE
Token Management in Multi-Tenant AI Inference Platforms
DataRobot
本文提出令牌池机制,用于多租户AI推理平台中平衡资源利用率与服务保证,通过统一的容量模型实现准入和自动扩展控制,提升系统在过载和资源稀缺时的性能与公平性。
2026-02-27 cs.DC cs.LG cs.OS