arXiv 1611.040222016-11cs.DC

部分复制的时间戳

Timestamps for Partial Replication

Zhuolun Xiang, Nitin H. Vaidya

摘要：

利用向量时间戳维护分布式共享存储系统中的因果一致性已经受到理论和实践的广泛关注。然而，大多数以前的文献集中在完整复制，其中每个数据存储在所有副本中，由于数据量的增加，这可能是不可伸缩的。在这份报告中，我们研究如何实现因果一致性的部分复制系统，其中每个副本可能存储不同的数据集。提出了一种基于向量时间戳的因果依赖跟踪算法。我们的算法在时间戳大小方面的成本随着副本共享数据的方式以及每个客户端访问的副本集的函数而变化。我们还建立了我们的算法与以前的工作完全复制之间的连接。

英文摘要：

Maintaining causal consistency in distributed shared memory systems using vector timestamps has received a lot of attention from both theoretical and practical prospective. However, most of the previous literature focuses on full replication where each data is stored in all replicas, which may not be scalable due to the increasing amount of data. In this report, we investigate how to achieve causal consistency in partial replicated systems, where each replica may store different set of data. We propose an algorithm that tracks causal dependencies via vector timestamp in client-server model for partial replication. The cost of our algorithm in terms of timestamps size varies as a function of the manner in which the replicas share data, and the set of replicas accessed by each client. We also establish a connection between our algorithm with the previous work on full replication.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

通过时间戳稳定性实现高效复制（扩展版）

Efficient Replication via Timestamp Stability (Extended Version)

现代Web应用程序在全球范围内复制其数据，并且需要对其最关键的数据进行强有力的一致性保证。这些保证通常通过状态机复制（SMR）提供。SMR的最新进展集中在无领导协议上，它提高了传统的基于Paxos的解决方案的可用性和性能。我们提出Tempo -一种无领导者的SMR协议，与以前的解决方案相比，即使在竞争的工作负载中，也能实现卓越的吞吐量并提供可预测的性能。为了实现这些好处，Tempo为每个应用程序命令添加时间戳，并仅在时间戳变得稳定后才执行，即，具有较低时间戳的所有命令都是已知的。时间戳和稳定性检测机制都是完全分散的，因此不需要领导者副本。此外，我们的协议一般化的部分复制设置，使高度并行的工作负载的可扩展性。我们在真实和模拟的地理分布环境中评估该协议，并证明它优于最先进的替代品。

2021-04-25cs.DC

部分复制因果一致共享内存的下界及其算法

Partially Replicated Causally Consistent Shared Memory: Lower Bounds and An Algorithm

本文的重点是在{ \em部分复制}分布式共享存储器（DSM）系统，提供了共享读/写寄存器的抽象的因果一致性。在分布式共享存储器系统中保持因果一致性在过去已经受到了极大的关注，主要是在{ \em完全复制}上，其中每个副本存储共享存储器中所有寄存器的副本。为了确保因果一致性，必须在任何给定副本执行更新之前执行所有因果在先更新。因此，需要一些用于跟踪因果依赖关系的机制，例如在完全复制的上下文中，向量元素的数量等于副本的数量的向量时间戳。在本文中，我们研究因果一致性{ \em部分复制系统}，其中每个副本可以存储只有一个子集的共享寄存器。在前人工作的基础上，本文主要做了三个方面的工作：1.我们对元数据（我们称之为{ \em时间戳}）提出了一个必要条件，每个副本必须维护该元数据才能准确地跟踪因果关系。必要条件标识副本的时间戳必须跟踪的{ \em共享图}中的一组有向边。2.我们提出了一个算法，用于实现因果一致性使用的时间戳，匹配上述必要条件，从而表明该条件是必要的和充分的。3.我们定义了时间戳空间大小的度量，并给出了时间戳大小的下限（以位为单位）。在几种特殊情况下，我们的算法的下限匹配。

2019-05-29cs.DC

Creek：一种低延迟、混合一致性的事务复制方案

Creek: Low-latency, Mixed-Consistency Transactional Replication Scheme

在本文中，我们将介绍Creek，一个低延迟，最终一致的复制方案，也使执行强一致的操作（类似于ACID事务）。操作可以具有任意复杂（但确定性）的语义。与状态机复制（SMR）类似，Creek完全命令所有操作，但使用两种不同的广播机制：基于时间戳的广播机制和我们新颖的条件原子广播（CAB）。前者用于建立推测执行的所有操作的临时顺序，并且它可以容忍网络分区。另一方面，CAB仅用于确保强一致性操作的线性化执行，只要分布式共识可以解决。强一致性操作的执行也稳定了因果相关的弱一致性操作的执行顺序。Creek使用多版本并发控制来有效地处理由于临时执行顺序和最终执行顺序之间的不匹配而导致的操作回滚和重新执行。在TPC-C基准测试中，与最先进的推测SMR方案相比，Creek在返回客户端响应时的延迟降低了2.5倍，同时保持了推测执行的高准确性（92-100%）。

2019-12-16cs.DC

PaRiS：具有非阻塞读取和部分复制的因果一致事务

PaRiS: Causally Consistent Transactions with Non-blocking Reads and Partial Replication

地理复制数据平台是若干大规模在线服务的骨干。事务因果一致性（transmittance Causal Consistency，TCC）是构建此类平台的一个有吸引力的一致性级别。TCC避免了最终一致性的许多异常，避免了强一致性的同步成本，并支持交互式读写事务。部分复制是构建地理复制平台的另一个有吸引力的设计选择，因为它增加了存储容量并降低了更新传播成本。本文介绍了PaRiS，第一TCC系统，支持部分复制，实现非阻塞并行读操作，其延迟是至关重要的性能读取密集型应用程序。PaRiS依赖于一种新的协议来跟踪依赖关系，称为通用稳定时间（UST）。通过一个轻量级的后台gossip进程，UST识别系统中每个DC安装的数据快照。因此，事务可以一致地从任何复制站点中的任何服务器上的这样的快照读取，而不必阻塞。此外，PaRiS只需要一个时间戳来跟踪依赖关系和定义事务快照，从而实现资源效率和可扩展性。我们在由多达10个复制站点组成的大规模AWS部署上评估PaRiS。我们表明，PaRiS的规模以及DC和分区的数量，同时能够处理更大的数据集比现有的解决方案，假设完全复制。我们还展示了非阻塞读取与阻塞替代方案相比的性能提升（对于以读取为主的工作负载，吞吐量提高高达1.47倍，延迟降低5.91倍;对于写入繁重的工作负载，吞吐量提高高达1.46倍，延迟降低20.56倍）。

2019-02-25cs.DC

因果一致部分复制的全局稳定性

Global Stabilization for Causally Consistent Partial Replication

因果一致的分布式存储系统最近受到了极大的关注，由于提供高吞吐量和因果关系的保证的潜力。{ \em Global stabilization}是为在分布式多版本键值存储系统中实现因果一致性而建立的技术，由诸如GentleRain \cite{Du2014GentleRainCA}和Cure \cite{akkoorath2016cure}的先前工作所采用。直观地说，这种方法通过它们的物理时间序列化所有更新，并计算“全局稳定时间”，这是一个时间点$t$，这样具有时间戳$\leq t$的版本可以返回给客户端，而不会违反因果关系。然而，具有全局稳定性的所有先前设计都假设{ \em完全复制}，其中每个数据中心存储数据的完整副本，并且每个客户端被限制为访问一个数据中心内的服务器。在本文中，我们提出了一个理论框架，以支持{ \em一般部分复制}的因果一致性，通过全球稳定，其中每个服务器可以存储任意子集的数据，每个客户端被允许与任何子集的服务器和迁移之间没有额外的延迟。我们提出了一个算法，实现一般部分复制的分布式多版本键值存储的因果一致性。我们证明了我们的算法中的全局稳定时间计算的最优性，关于远程更新的可见性延迟，即如何快速更新从远程服务器是可见的客户端，在一般的部分复制。我们还通过在客户端迁移过程中引入额外的延迟来进一步优化远程更新可见性。我们的算法的性能相比，以前的工作的仿真结果也提供。

2019-05-06cs.DC

Hermes：一种快速、容错和可线性化的复制协议

Hermes: a Fast, Fault-Tolerant and Linearizable Replication Protocol

当今的数据中心应用程序由负责提供可用性、一致性和性能的数据存储区支撑。为了在出现故障时实现高可用性，这些数据存储区跨多个节点复制数据。这是在可靠的复制协议的帮助下完成的，该协议负责即使在发生故障时也保持副本的强一致性。强一致性优于不能保证客户端直观行为的弱一致性模型。此外，为了满足实时延迟的高需求，数据存储必须提供高吞吐量和低延迟。这项工作介绍了Hermes，一个基于广播的可靠的复制协议，在内存中的数据存储，提供高吞吐量和低延迟，使本地读取和完全并发的快速写入在所有副本。Hermes将逻辑时间戳与缓存一致性启发的无效结合起来，以保证线性化，避免在集中排序点进行写入序列化，在每个副本本地解决写入冲突（从而确保写入永远不会中止），并通过可重放写入提供容错。我们在支持RDMA的可靠路由器上实现了Hermes，其中包含5个副本，这表明Hermes在所有写入比率上都能实现比最先进的基于RDMA的可靠协议（ZAB和CRAQ）更高的吞吐量，同时还显著降低了尾部延迟。在5%写入时，Hermes的尾部延迟比CRAQ和ZAB低3.6倍。

2020-01-27cs.DC

更多相关论文收起更多论文

部分同步模型中状态机复制的二次最坏情况消息复杂度

Quadratic worst-case message complexity for State Machine Replication in the partial synchrony model

我们考虑的消息复杂性的状态机复制协议处理拜占庭故障的部分同步模型。Dolev和Reischuk的结果给出了消息复杂度的二次下界，但不知道这个下界是否紧，已知最有效的协议给出了最坏情况的消息复杂度$O(n^3)$。我们描述了一个协议，满足Dolev和Reischuk的二次下界，同时也满足其他理想的属性。要指定这些属性，假设我们有$n$副本，其$f$显示拜占庭故障（使用$n\geq 3f+1$）。假设$Δ$是消息延迟的上限，即如果消息在时间$t$发送，则它在时间$ \text{max} \{ t, GST \} +Δ$接收。我们描述了一个确定性的协议，同时实现$O(n^2)$最坏情况下的消息复杂性，乐观的响应性，$O(fΔ)$的时间，以第一次确认后，$GST$和$O(n)$平均消息复杂性。

2022-01-04cs.DC

具有2t +1数据副本的异步BFT存储

Asynchronous BFT Storage with 2t+1 Data Replicas

拜占庭容错（Byzantine Fault Tolerant，BFT）存储的成本是阻止其在实践中采用的主要问题。这种成本源于在异步模型中需要在不同的存储服务器中维护至少3t +1个副本，以便可以容忍t个拜占庭副本故障。在本文中，我们提出了MDStore，第一个完全异步的读/写BFT存储协议，减少数据副本的数量少到2t +1，维护3t +1副本的元数据在（可能）不同的服务器。MDStore存储的核心是其元数据服务，该服务构建在我们称为时间戳存储的新抽象之上。带时间戳的存储既允许有条件的写入（促进元数据服务的实现），又具有第一共识（使其在异步系统中即使有故障也可以实现无等待）。除了低数据复制系数外，MDStore还提供了非常强的保证，实现多写入器多读取器原子无等待语义，并容忍任何数量的拜占庭读取器和崩溃错误写入器。我们进一步表明，MDStore的数据复制开销是最佳的，也就是说，我们证明了一个下限的2t +1的数据副本的数量，甚至适用于容错存储与无故障的元数据服务甲骨文。最后，我们证明了从元数据中分离数据以降低BFT存储成本是不可能的，如果没有密码学假设。然而，我们的MDStore协议只使用轻量级加密哈希函数。

2014-02-13cs.DC

基于向量时钟的有界并发时间戳系统

Bounded Concurrent Timestamp Systems Using Vector Clocks

共享寄存器是异步并发计算中用作通信媒介的基本对象。并发时间戳系统是一种高类型的通信对象，已被证明是解决许多并发控制问题的有力工具。事实证明，从原始的低类型对象构造这样的高类型对象是可能的。下一步是找到有效的结构。我们提出了一个非常有效的等待免费建设有界并发时间戳系统从1-作家多读寄存器。这最终确定，纠正和扩展，初步有界多作者在1986年提出的建设。这项工作部分引发了当前对无等待并发对象的兴趣，并在分布式算法中引入了离散向量时钟的概念。

2001-08-02cs.DC

非均匀复制

Non-uniform Replication

复制是设计高效可靠的分布式系统的关键技术。随着信息的增长，在每个副本中存储所有信息变得困难甚至不可能。处理此问题的常用方法是依赖部分复制，其中每个副本仅维护总系统信息的一部分。因此，可能需要联系远程副本来计算对某些给定查询的回复，这导致高延迟成本，特别是在地理复制设置中。在这项工作中，我们引入了非均匀复制的概念，其中每个副本只存储部分信息，但所有副本存储足够的信息来回答每个查询。我们将此概念应用于最终的一致性和无冲突的复制数据类型。我们表明，这个模型可以解决有用的问题，并提出两个数据类型，解决这些问题。我们的评估表明，非均匀复制比传统的复制更有效，使用更少的存储空间和网络带宽。

2017-11-21cs.DC

通过部分线程保护在GPGPU应用程序中实现软件弹性

Enabling Software Resilience in GPGPU Applications via Partial Thread Protection

图形处理单元（GPU）被广泛领域中的各种应用广泛使用以加速其计算，但仍然容易受到可能容易损害应用输出的瞬时硬件故障（软错误）的影响。通过利用线程、线程束和协作线程阵列中的通用GPU应用程序分层组织，我们提出了一种识别线程弹性的方法，旨在将具有相同弹性特征的线程映射到相同的线程束。这允许接合部分复制机制以用于在扭曲级别处的错误检测/校正。通过探索12个基准测试（17个内核）从4个基准套件，我们说明了线程可以重新映射到可靠或不可靠的线程束，只有1.63%的引入开销（平均），然后通过复制到那些组的线程，真正需要它启用选择性保护。此外，我们表明，线程重新映射到不同的线程束不会牺牲应用程序的性能。我们展示了这种重新映射如何促进翘曲复制错误检测和/或纠正，并实现了平均减少20.61%和27.15%的执行周期，分别与标准的重复/三重。

2021-03-29cs.DCcs.SE

基于复制的概率键值存储一致性分析

Consistency Analysis of Replication-Based Probabilistic Key-Value Stores

部分仲裁系统因其延迟优势而广泛用于分布式键值存储，但代价是提供较弱的一致性保证。概率有界陈旧性框架（PBS）通过基于事件的蒙特卡罗模拟研究了Dynamo风格的部分仲裁系统的延迟一致性权衡。在本文中，我们研究了这种系统的延迟一致性的权衡分析，并推导出一个封闭形式的不一致概率的表达式。我们的方法允许微调的延迟和一致性保证的键值存储，这是棘手的使用蒙特卡洛基于事件的模拟。

2021-01-25cs.DBcs.DCcs.IR

MegaFlux：通过流水线专家复制实现抗偏斜的MoE超级内核

MegaFlux: Skew-Resilient MoE Megakernels via Pipelined Expert Replication

Princeton University（普林斯顿大学）；NVIDIA（英伟达）

MegaFlux通过运行时专家复制和流水线通信，在MoE超级内核中缓解路由偏斜，实现前向1.45倍、后向1.28倍的几何平均加速。

2026-10-02cs.DC

实用部分群体的概率有界有效性

Probabilistically Bounded Staleness for Practical Partial Quorums

数据存储区复制会导致操作延迟和数据一致性之间的根本权衡。在本文中，我们研究这种权衡的情况下，法定人数复制的数据存储。在部分或非严格仲裁复制下，数据存储在回答查询之前等待来自副本子集的响应，而不保证读取和写入副本集相交。在实际部署中，这些配置只提供基本的最终一致性保证，对返回的数据的最近性没有限制。然而，有趣的是，部分法定人数通常对从业者来说“足够好”，因为它们具有潜在的好处。在这项工作中，我们解释了为什么部分法定人数在实践中是经常可以接受的，分析他们返回的数据的陈旧性和他们提供的延迟好处。我们引入概率有界陈旧性（PBS）的一致性，它提供了预期的界限陈旧的版本和挂钟时间。我们得出一个封闭形式的解决方案版本陈旧，以及模型实时陈旧的代表性发电机风格的系统下，互联网规模的生产工作负载。使用PBS，我们衡量延迟一致性权衡部分定额系统。我们定量地展示了最终一致的系统如何在几十毫秒内频繁地返回一致的数据，同时提供显着的延迟优势。

2012-04-26cs.DBcs.DC

Rocket：异构平台上的高效和可扩展的全对计算

Rocket: Efficient and Scalable All-Pairs Computations on Heterogeneous Platforms

所有对计算问题将用户定义的函数应用于给定数据集的两个项目的每个组合。虽然这些问题提出了大量的并行性，数据重用必须利用，以实现良好的性能。一些研究人员考虑了这个问题，无论是采取部分复制静态工作分配或动态调度与完整的复制。相比之下，我们提出了一个解决方案，依赖于分层多级基于软件的缓存，以最大限度地提高数据重用在分布式存储层次结构的每一个级别，结合分治的方法来利用数据的本地性，分层工作窃取动态平衡的工作负载，和异步处理，以最大限度地提高资源利用率。我们评估我们的解决方案使用三个现实世界的应用程序（从数字取证，本地化显微镜和生物信息学）在不同的平台（从台式机到超级计算机）。结果显示，当扩展到96个GPU时，具有出色的效率和可扩展性，甚至由于分布式缓存而获得超线性加速。

2020-09-10cs.DC

分布式NoSQL存储系统中一致性延迟调整的连续部分仲裁

Continuous Partial Quorums for Consistency-Latency Tuning in Distributed NoSQL Storage Systems

NoSQL存储系统被Web应用程序广泛使用，当对可扩展性的需求超过对事务的需求时，NoSQL存储系统为传统数据库提供了一个有吸引力的替代方案。这些系统中的一些系统提供基于法定人数的复制，并向应用程序开发人员提供多个客户端“一致性级别”的选择，这些级别确定通过读取和写入访问的副本的数量，这进而影响客户端应用程序观察到的延迟和一致性。由于使用一个固定的组合的读写一致性水平为一个给定的应用程序只提供了有限数量的离散选项，我们调查的技术，允许更细粒度的调整的一致性延迟权衡，可能需要支持基于一致性的服务水平协议（SLA）。我们提出了一种新的技术称为\emph{continuous partial quorums}（CPQ），分配的一致性水平上的每一个操作的基础上，通过选择两个选项之间随机，如最终和强一致性，与可调的概率。我们使用Apache Cassandra实验评估我们的技术，并证明它优于人为延迟操作的替代调优技术。

2015-10-01cs.DC

纯基于操作的复制数据类型

Pure Operation-Based Replicated Data Types

为服务于世界各地的客户而设计的分布式系统通常利用地理复制来实现低延迟和高可用性。无冗余复制的数据类型（CRDT）允许设计可预测的多主机复制，并支持允许暂时发散的副本的最终一致性。CRDT有两种类型：基于状态的，其中状态在本地改变并被运送和合并到其他副本中;基于操作的，其中操作在本地发出并可靠地因果广播到所有其他副本。然而，基于操作的CRDT的标准定义是非常广泛的，甚至允许发送完整的状态，从而强加存储和传播开销，以及模糊与基于状态的CRDT的区别。我们引入了纯基于操作的CRDT，它只能向其他副本发送操作，与基于状态的CRDT有明显的区别。具有可交换操作的数据类型可以使用标准可靠因果传递被平凡地实现为纯基于操作的CRDT;而具有非可交换操作的数据类型使用PO-Log（操作的部分有序日志）并利用扩展API来实现，即，一个标记的因果稳定广播（TCSB），它在传递时提供额外的因果关系信息，并在稍后通知传递的消息何时变得因果稳定，从而允许进一步的PO日志压缩。该框架说明了一个目录的纯操作为基础的规范，经典的CRDTs，包括计数器，多值寄存器，添加胜和删除胜集。

2017-10-12cs.DBcs.DCcs.DS

CausalEC：一种基于跨对象纠删码的因果一致性数据存储算法

CausalEC: A Causally Consistent Data Storage Algorithm based on Cross-Object Erasure Coding

首次提出基于跨对象纠删码的因果一致性数据存储算法CausalEC，在异步系统中通过任意线性纠删码实现本地写操作与非阻塞读操作，兼顾活性、容错性与存储效率。

2023-05-20cs.DCcs.ITmath.IT

基于XML的RDF更新传播

Interest-based RDF Update Propagation

许多LOD数据集，如DBpedia和LinkedGeoData，都是庞大的，并且处理来自不同应用程序的大量请求。许多数据产品和服务依赖于完全或部分本地LOD复制，以确保更快的查询和处理。虽然这样的副本增强了信息共享和集成基础设施的灵活性，但它们也引入了数据重复，并带来了所有相关的不良后果。鉴于原始数据集和权威数据集的不断发展的性质，为了确保一致和最新的副本，需要以高昂的成本频繁更换。在本文中，我们介绍了一种基于兴趣的RDF更新传播的方法，它只将更新的有趣部分从源数据集传播到目标数据集。实际上，这使得远程应用程序能够“订阅”相关数据集，并在本地一致地反映必要的更改，而无需频繁地替换整个数据集（或相关子集）。我们的方法是基于一个正式的定义图模式为基础的兴趣表达，用于过滤有趣的部分更新的来源。我们在iRap框架中实现了该方法，并基于DBpedia Live更新进行了全面评估，以确认我们方法的有效性和价值。

2015-05-26cs.DBcs.DCcs.IR