Replicating Persistent Memory Key-Value Stores with Efficient RDMA Abstraction
将持久内存（PM）与RDMA相结合是实现高性能复制分布式键值存储（KVS）的一种很有前途的方法。然而，现有的复制方法在应用于PM KVS时不能很好地工作：1）使用RPC在备份时引起软件中断和执行，增加请求延迟; 2）使用单侧RDMA WRITE引起许多小PM写入流，导致PM上的严重设备级写入放大（DLWA）。在本文中，我们提出了Rowan，一个有效的RDMA抽象来处理PM KVS中的复制写入;它聚合来自不同服务器的并发远程写入，并以顺序（因此低DLWA）和单侧（因此低延迟）的方式将这些写入到PM。我们用现成的RDMA实现Rowan。此外，我们构建了Rowan-KV，一个使用Rowan进行复制的日志结构的PM KVS。评估表明，在写密集型工作负载下，与使用RPC和RDMA WRITE进行复制的PM KVS相比，Rowan-KV将吞吐量提高了1.22倍和1.39倍，并将中值PUT延迟分别降低了1.77倍和2.11倍，同时在很大程度上消除了DLWA。
2022-09-20 cs.DC cs.NI
Latency Bounding by Trading off Consistency in NoSQL Store: A Staging and Stepwise Approach
延迟是用户满意度的关键服务因素。在分布式和复制的场景中，一致性与操作延迟是一种折衷关系。现有的NoSQL存储可以保证强或弱的一致性，但没有一个能提供基于响应延迟的最佳一致性。在本文中，我们介绍了dConssandra，一个NoSQL存储，使用户能够指定数据访问操作的延迟范围。dConssandra通过牺牲副本一致性来动态限制数据访问延迟。dConssandra基于Cassandra。与Cassandra的实现相比，dConsandra有一个分阶段的复制策略，支持按需同步或异步复制。通过权衡一致性来限制延迟的主要思想是将复制过程分解为微小的步骤，并通过仅执行这些步骤的子集来限制延迟。dConssandra还实现了一个不同的内存存储架构来支持上述功能。dConsandra在实际集群上的实验结果表明：（1）实际响应延迟受给定延迟约束的限制;（2）更大的写入延迟边界导致读取最新值的延迟更低;（3）更大的读取延迟边界导致返回最近写入的值。
2012-12-05 cs.DB cs.DC
PTStore (Prefix Tensor Store): Distributed Prefix Caching and Replication for High Throughput Inference Serving
Johns Hopkins University（约翰霍普金斯大学）；Argonne National Laboraotory（阿贡国家实验室）
PTStore 受 CDN 客户端缓存设计启发，通过分发和复制流行张量形成可重用 KV 缓存前缀来加速推理，减少缓存访问延迟与负载不平衡，能大幅扩大 KV 缓存大小，使长文本问答推理效率比基线高 5 至 6 倍。
2026-07-28 cs.AI cs.DC
Quality-of-Data for Consistency Levels in Geo-replicated Cloud Data Stores
云计算最近已经成为向个人和公司提供对远程计算和存储基础设施的访问的关键技术。为了实现高可用且高性能的服务，云数据存储依赖于数据复制。然而，提供复制带来了一致性问题。考虑到数据在多个地理上分布的数据中心中复制，并且为了满足分布式应用程序日益增长的需求，许多云数据存储采用最终一致性，因此允许在低延迟下运行数据密集型操作。这是以数据陈旧为代价的。在本文中，我们基于一组灵活的数据语义来优先考虑数据复制，这些语义最适合所有类型的大数据应用程序，避免在网络断开或分区的大时间段内使网络和系统过载。因此，我们将这些数据语义集成到知名NoSQL数据存储的核心架构中（例如，HBase），它利用三维向量场模型（关于及时性、未决更新的数量和发散界限）以按需方式选择性地向应用程序提供数据。这通过向更新的优先级也不同的不同应用（诸如社交网络或电子商务站点）提供多个所需的一致性级别来增强了前一一致性模型。此外，我们将模型实现到HBase中，允许在逻辑批处理中对更新进行标记和原子分组，类似于事务，确保更新在传播时的原子更改和正确性。
2014-10-12 cs.DC
Predictive Replica Placement for Mobile Users in Distributed Fog Data Stores with Client-Side Markov Models
在雾环境中，消费和产生数据的移动客户端非常丰富，只有将数据存储在物理上非常接近的位置，才能实现对这些数据的低延迟访问。为了以有效的方式调整雾数据存储中的数据复制，并使客户端数据在最接近客户端的雾节点上可用，系统需要预测客户端移动和数据消耗暂停。在本文中，我们提出了马尔可夫模型算法的变化，可以在客户端上运行，以增加数据的可用性，同时最大限度地减少多余的数据。在一个模拟中，我们发现在最近的节点上的数据的可用性可以提高35%，而不会产生全局复制的存储和通信开销。
2021-11-05 cs.DC
New Clocks, Optimal Line Formation and Self-Replication Population Protocols
在本文中，我们考虑一种变体的人口协议，其中代理人被允许连接的边缘，被称为构造模型。在两个代理之间的相互作用期间，相关的连接边可以通过过渡函数形成、保持或消除。本文的贡献是多方面的。--我们提出并分析了一种新型的相位时钟，允许在构造器模型中计算并行时间$Θ(n\log n)$。这种新类型的时钟也可以在标准群体协议模型中实现，假设唯一的领导者可用。--新的时钟能够实现最佳的$O(n\log n)$并行时间跨越线路构造，该构造在先前已知的最佳的$O(n^2)$并行时间解决方案的基础上显著地改进。--我们定义了一个概率版本的冒泡排序，其中只允许在被排序的序列中的相邻数字之间进行随机比较。我们发现，令人惊讶的是，这种概率泡沫排序需要$O(n^2)$比较的期望，即，与其确定性对应物处于同一水平。--我们提出了第一个自复制协议，允许在并行时间$O(n(k+\log n)).$中复制长度为$k$的链（携带信息的线段）。该方案还允许同时复制，其中可以及时获得链的$l$拷贝$O(n(k+\log n)\log l).$本文中的所有方案都以高概率操作。
2022-10-30 cs.DC cs.DS
Quorum Sensing for Regenerating Codes in Distributed Storage
具有复制的分布式存储系统以存储大量数据而闻名。为了提供可靠性，进行了大量的复制。这使得系统昂贵。随着时间的推移，已经提出了各种方法来降低复制程度，但提供相同的可靠性水平。最近提出的一个方案是再生代码，其中文件被分成多个部分，然后通过编码机制和网络编码来处理这些部分，以提供大量的部分。这些存储在各个节点上，每个节点上有多个部分。这些代码可以生成整个文件，并可以通过联系一些现有的节点来修复故障节点。此属性可确保节点故障时的可靠性，并使用智能复制。这也优化了带宽使用。在实际场景中，原始文件将被多次读取和更新。每次更新，我们都必须更新存储在许多节点上的数据。同时处理多个请求会带来很大的复杂性。还应防止同时对同一数据进行读写或多次写入。在本文中，我们提出了一个算法，管理和执行所有的用户的请求，降低了更新的复杂性。同时，我们也在努力保持足够的可用性。我们使用基于投票的机制，并形成读，写和修复法定人数。我们还对再生码进行了概率分析。
2013-09-28 cs.DC cs.IT math.IT
SWARM: Replicating Shared Disaggregated-Memory Data in No Time
提出 SWARM，一种针对分解内存共享对象的复制方案，通过 Safe-Guess 协议和 In-n-Out 技术实现单次往返的强一致性和无等待复制，构建的 SWARM-KV 在低延迟开销下显著优于现有方案。
2024-09-24 cs.DC
DINOMO: An Elastic, Scalable, High-Performance Key-Value Store for Disaggregated Persistent Memory (Extended Version)
我们提出了Dinomo，一种新的键值存储的分散持久内存（DINO）。Dinomo是第一个同时实现高通用情况性能、可伸缩性和轻量级在线重新配置的KVMs键值存储。我们观察到，以前提出的键值存储的架构限制，防止他们同时实现所有三个目标。Dinomo使用了一种新颖的技术组合来实现这些目标，例如所有权分区，分散的自适应缓存，选择性复制以及无锁和无日志索引。与最先进的密钥值存储相比，Dinomo在各种工作负载上的吞吐量至少提高了3.8倍，具有更高的可扩展性，同时提供快速的重新配置。
2022-09-19 cs.DB cs.DC
Session Guarantees with Raft and Hybrid Logical Clocks
最终一致性是地理复制数据存储的流行一致性模型。尽管最终一致性提供了高性能和可用性，但它可能导致异常，使应用程序开发人员的编程变得复杂。与更强的一致性模型相比，会话保证可以消除其中一些异常，同时导致更低的开销。在本文中，我们提供了一个协议，为NuKV提供会话保证，NuKV是eBay上为具有非常高的可用性和性能要求的服务开发的键值存储。NuKV依赖于Raft协议在数据中心内进行复制，并使用最终一致性在数据中心之间进行复制。我们提供了传统的会话保证的修改版本，以避免在系统中有大量的分区的减速级联的问题。我们还使用混合逻辑时钟来消除延迟写操作的需要，以满足会话保证。我们的实验表明，我们的协议提供了一个可以忽略不计的开销相比，最终的一致性会话保证。
2018-08-16 cs.DB cs.DC
A Chunked-Object Pattern for Multi-Region Large Payload Storage in Managed NoSQL Databases
本文提出一种分块对象模式，用于多区域大载荷存储，通过在数据库中持久化分块数据以减少复制延迟和一致性时间。
2025-12-07 cs.DB cs.DC
Probabilistically Bounded Staleness for Practical Partial Quorums
数据存储区复制会导致操作延迟和数据一致性之间的根本权衡。在本文中，我们研究这种权衡的情况下，法定人数复制的数据存储。在部分或非严格仲裁复制下，数据存储在回答查询之前等待来自副本子集的响应，而不保证读取和写入副本集相交。在实际部署中，这些配置只提供基本的最终一致性保证，对返回的数据的最近性没有限制。然而，有趣的是，部分法定人数通常对从业者来说“足够好”，因为它们具有潜在的好处。在这项工作中，我们解释了为什么部分法定人数在实践中是经常可以接受的，分析他们返回的数据的陈旧性和他们提供的延迟好处。我们引入概率有界陈旧性（PBS）的一致性，它提供了预期的界限陈旧的版本和挂钟时间。我们得出一个封闭形式的解决方案版本陈旧，以及模型实时陈旧的代表性发电机风格的系统下，互联网规模的生产工作负载。使用PBS，我们衡量延迟一致性权衡部分定额系统。我们定量地展示了最终一致的系统如何在几十毫秒内频繁地返回一致的数据，同时提供显着的延迟优势。
2012-04-26 cs.DB cs.DC
Okapi: Causally Consistent Geo-Replication Made Faster, Cheaper and More Available
Okapi是一个新的因果一致的地理复制键值存储。Okapi利用两个关键的设计选择来实现高性能。首先，它依赖于混合逻辑/物理时钟来实现低延迟，即使在存在时钟偏斜的情况下也是如此。其次，Okapi实现了更高的资源效率和更好的可用性，但代价是更新可见性延迟略有增加。为此，Okapi实现了一种新的稳定协议，该协议使用矢量和标量时钟的组合，并在每个数据中心确认其交付时使远程更新可见。我们在Amazon AWS上使用不同的工作负载评估Okapi，使用三个地理分布的区域和96个节点。我们比较了Okapi与最近的两种因果一致性方法Cure和GentleRain。我们表明，Okapi提供了高达两个数量级的性能比GentleRain和Okapi实现了高达3.5倍的低延迟和减少60%的元数据开销相对于治愈。
2017-02-14 cs.DC
FUSEE: A Fully Memory-Disaggregated Key-Value Store (Extended Version)
分布式内存中键值（KV）存储采用了分散式内存（DM）架构，以提高资源利用率。然而，DM上的现有KV存储采用半分解设计，该设计将KV对存储在DM上，但是用单片元数据服务器管理元数据，因此仍然遭受元数据服务器上的低资源效率。为了解决这个问题，本文提出了FUSEE，一个完全内存分散的KV StorE，它将分解引入元数据管理。FUSEE复制元数据，即，存储器节点上的索引和存储管理信息直接在客户端侧管理它们，并且处理DM体系结构下的复杂故障。为了在客户端上可伸缩地复制索引，FUSEE提出了一种以客户端为中心的复制协议，该协议允许客户端并发地访问和修改复制的索引。为了有效地管理分散的内存，FUSEE采用了两级存储管理方案，将存储管理职责在客户端和内存节点之间进行划分。最后，为了处理客户端故障下的元数据损坏，FUSEE利用嵌入式操作日志方案来修复元数据，日志维护开销很低。我们评估FUSEE与微型和YCSB混合基准。实验结果表明，FUSEE在DM上的性能比最先进的KV存储高出4.5倍，而资源消耗更少。
2023-01-24 cs.DC
Cyclone: High Availability for Persistent Key Value Stores
持久性键值存储是许多分布式数据服务解决方案的重要组成部分，其创新旨在利用不断增长的闪存速度。不幸的是，它们的性能受到了需要维护和复制写前日志的限制，以保证在机器和存储故障时的可用性。Cyclone是一个用于键值存储的复制日志插件，它系统地解决了这个瓶颈的各种来源。它使用少量的可由CPU直接寻址的非易失性内存（例如NVDIXTM或Intel 3DXPoint形式），从关键路线中删除面向块的IO设备（例如SSD），以便添加到日志中。这使它能够使用RAFT共识协议的实现来解决网络开销，该协议是围绕用户空间网络堆栈设计的，以减轻CPU的数据复制负担。最后，它提供了一种有效地将键值存储API中的可交换性映射到商品API中可用的并行性的方法。Cyclone仅使用商用10千兆以太网适配器就能够每秒复制数百万个小更新。作为一个实际的应用程序，我们使用它来提高性能（和可用性）的RocksDB，一个流行的持久性键值存储的数量级相比，它自己的写前日志没有复制。
2017-11-19 cs.DC
Data Replication Meets Function Scheduling in the Edge-Cloud Continuum
Politecnico di Milano（米兰理工大学）
研究边缘-云连续体中函数调度与数据放置的联合优化问题，提出全局视图和聚合视图两种启发式方法，实验表明数据放置比函数调度影响更大。
2026-07-15 cs.DC
OptCon: An Adaptable SLA-Aware Consistency Tuning Framework for Quorum-based Stores
采用基于法定人数的复制的分布式数据存储的用户需要为每个存储操作选择合适的以客户端为中心的一致性设置。上述匹配选择难以推理，因为它需要仔细考虑延迟和陈旧之间的权衡，即，结果有多陈旧。对于一个给定的操作的延迟和陈旧性取决于以客户为中心的一致性设置应用，以及动态参数，如当前的工作负载和网络condition.We提出OptCon，一种新的基于机器学习的预测框架，可以自动选择以客户为中心的一致性设置在用户指定的延迟和陈旧性阈值的服务水平协议（SLA）。在给定的SLA下，OptCon预测匹配的以客户端为中心的一致性设置，即，它足够弱以满足等待时间阈值，同时足够强以满足陈旧阈值。虽然手动调整的一致性设置保持固定，除非显式重新配置，OptCon调整一致性设置在每个操作的基础上，关于不断变化的工作负载和网络状态。使用决策树学习，OptCon产生0.14交叉验证误差预测匹配一致性设置下的延迟和陈旧阈值在SLA中。我们通过实验证明，OptCon至少与任何手动选择的一致性设置一样有效，可以适应不同用例的SLA阈值。我们还表明，OptCon适应工作负载的变化，而给定的手动选择的固定的一致性设置满足SLA只为一个特征的工作负载。
2016-03-25 cs.DC
DXRAM's Fault-Tolerance Mechanisms Meet High Speed I/O Devices
内存中的键值存储为所有对象提供一致的低延迟访问，这对于社交媒体网络或在线图形分析等交互式大规模应用非常重要，也开辟了新的应用领域。但是，当将数据存储在数千台服务器上的RAM中时，必须考虑服务器故障。只有少数内存中的键值存储提供故障服务器的自动在线恢复。这些系统中最突出的例子是RAMCloud。另一个具有复杂容错机制的系统是DXRAM，它针对小数据对象进行了优化。在这份报告中，我们详细介绍了基于日志的远程复制过程，调查这些日志的重组选择策略，并评估DXRAM中顺序，随机，zipf和冷热分布的重组性能。这也是DXRAM的备份系统首次使用高速I/O设备进行评估，特别是使用56 GBit/s InfiniBand互连和PCI-e SSD。此外，我们讨论了副本集副本分布，以减少数据丢失的概率和适应DXRAM的原始方法。
2018-07-14 cs.DC
Characterizing and Adapting the Consistency-Latency Tradeoff in Distributed Key-value Stores
CAP定理是适用于分布式存储系统的基本结果。在本文中，我们首先提出并证明了两个类CAP不可能定理。为了说明这些定理，我们提出了概率模型来描述CAP定理的三个重要元素：一致性（C），可用性或延迟（A）和分区容差（P）。这些定理显示了无法实现的包络，即，这三个模型的参数的组合使得它们不可能一起实现。接下来，我们提出了一类称为PCAP的系统的设计，其性能接近我们的定理所描述的包络。此外，这些系统允许在单个数据中心上运行的应用程序指定延迟SLA或一致性SLA。PCAP系统自动适应，实时和不断变化的网络条件下，以满足SLA，同时优化其他C/A指标。我们将PCAP合并到两个流行的键值存储中- Apache Cassandra和Riak。我们的实验与这两个部署，在现实的工作负载下，显示PCAP系统令人满意地满足SLA，并执行接近可实现的信封。我们还将PCAP从单个数据中心扩展到多个地理分布的数据中心。
2016-01-23 cs.DC
