Trua: Efficient Task Replication for Flexible User-defined Availability in Scientific Grids
在科学计算中失败是不可避免的。在过去的几十年里，随着科学应用和设施的规模不断扩大，找到故障的根本原因可能非常复杂，有时几乎是不可能的。不同的科学计算客户具有不同的可用性需求以及为可用性付费的不同意愿。与现有的解决方案，试图提供越来越高的可用性在科学网格，我们提出了一个模型，称为任务复制用户定义的可用性（Trua）。Trua在科学网格中提供了灵活的、用户定义的可用性，允许客户向计算提供商表达他们对可用性的需求。Trua与现有的任务复制方法有两个不同之处。首先，它依赖于从科学网格的虚拟层收集的历史故障信息。失效的可靠性模型可以用不同于任何现有分布的双峰约翰逊分布来表示。其次，它采用了一个异常检测器，以过滤出异常故障，它还采用了新的选择算法，以减轻暂时的和空间的相关性的故障，而不知道故障的根本原因的影响。我们将Trua应用于从开放科学网格（OSG）收集的真实世界的痕迹。我们的研究结果表明，Trua可以成功地满足用户定义的可用性需求。
2020-04-13 cs.DC
TAOT: Topology-Aware Optimal Transport for Dynamic Expert Replica Placement in MoE Training
Baidu, Inc.（百度公司）
针对MoE训练中动态路由引发的负载不平衡问题，提出TAOT拓扑感知最优传输方法，可实现1.43倍训练加速，平衡质量优异且通信成本降幅最高达74%。
2026-08-05 cs.DC
Strategies for Replica Placement in Tree Networks
在本文中，我们讨论和比较几种政策，把副本树网络，服务器容量和QoS的限制。客户端请求是事先已知的，而服务器的数量和位置是要确定的。文献中的标准方法是强制客户端的所有请求都由树中最近的服务器提供服务。我们提出并研究了两项新政策。在第一个策略中，来自给定客户端的所有请求仍然由同一服务器处理，但该服务器可以位于从客户端到根路径上的任何位置。在第二种策略中，给定客户端的请求可以由多个服务器处理。本文的一个主要贡献是评估这些新政策对总复制成本的影响。另一个重要的目标是从理论和实践的角度评估服务器异构性的影响。在本文中，我们建立了几个新的复杂性结果，并提供了几个有效的多项式算法的NP完全的情况下的问题。这些proketistics相比，一个绝对的下限所提供的问题的整数线性规划的解决方案的制定。
2006-11-08 cs.DC
Algorithms for Optimal Replica Placement Under Correlated Failure in Hierarchical Failure Domains
在数据中心，数据复制是用于确保客户数据可用性的主要方法。为了避免相关故障，云存储基础设施提供商使用树来对分层故障域进行建模，并且避免将大量数据副本放置在同一故障域内（即，在树的同一分支上）。典型的最佳实践确保副本分布在故障域，但相对较少的是已知的关于分布数据副本的优化算法。使用一个层次模型，我们回答如何跨故障域的副本最佳分配。我们制定了一个新的优化问题，在数据中心的副本放置。作为我们的问题的一部分，我们正式和解释一个新的标准，优化副本的位置。我们的总体目标是选择相关故障禁用尽可能少的副本的位置。我们提供了两个优化算法的依赖模型表示的树。我们首先提出了一个$O(n + ρ\log ρ)$时间动态规划算法放置$ρ$副本的一个单一的文件上的叶子（代表服务器）的树与$n$顶点。接下来我们考虑放置$m$数据块的副本的问题，其中每个块可能具有不同的复制因子。对于这个问题，我们给出了一个精确的算法，它运行在多项式时间时的偏斜，最大和最小的数据块之间的副本数量的差异，是常数。
2017-04-20 cs.DC cs.DM cs.DS
Accelerating MoE Training through Expert Placement and Replica Coordination
School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）计算机科学与技术学院）；Hong Kong University of Science and Technology（香港科技大学）
PlaceMoE通过联合优化专家布局与令牌-副本映射，结合梯度同步与注意力反向传播重叠技术，在32-GPU和64-NPU集群上，使MoE模型训练的A2A通信提速最高6.94倍、端到端训练提速1.74-2.33倍，优于VeOmni框架。
2026-10-14 cs.DC
Data Placement and Replica Selection for Improving Co-location in Distributed Environments
在许多应用领域中，对大规模数据分析的需求不断增加，导致分布式数据管理系统的数量急剧增加，包括并行关系数据库和支持MapReduce等替代框架的系统。因此，对稀缺的数据中心资源（如网络带宽）的竞争日益增加;此外，为计算设备供电的能量需求也急剧增长。正如我们经验表明，通过在大量机器上分散数据来增加执行并行性可以实现减少查询延迟的预期目标，但在大多数情况下，可能会显着增加总资源和能源消耗。然而，对于许多分析工作负载，最小化查询延迟通常并不重要;在这种情况下，我们认为我们应该专注于最小化平均查询跨度，即，通过将经常一起访问的数据项托管在一起，参与处理查询的平均机器数量。在这项工作中，我们利用的事实，大多数分布式环境需要使用复制的容错，我们设计的工作负载驱动的副本选择和放置算法，试图尽量减少平均查询跨度。我们建模的历史查询工作量跟踪一组数据项的超图，并制定和分析的问题，通过绘制连接到几个研究良好的图论概念的副本放置。我们开发了一系列的算法来决定哪些数据项进行复制，以及在哪里放置副本。我们通过展示一系列合成和真实工作负载的结果来展示我们提出的方法的有效性。我们的实验表明，仔细的数据放置和复制可以显着减少平均查询跨度，从而显着减少资源消耗。
2013-02-18 cs.DB cs.DC
Data Replication Meets Function Scheduling in the Edge-Cloud Continuum
Politecnico di Milano（米兰理工大学）
研究边缘-云连续体中函数调度与数据放置的联合优化问题，提出全局视图和聚合视图两种启发式方法，实验表明数据放置比函数调度影响更大。
2026-07-15 cs.DC
MegaFlux: Skew-Resilient MoE Megakernels via Pipelined Expert Replication
Princeton University（普林斯顿大学）；NVIDIA（英伟达）
MegaFlux通过运行时专家复制和流水线通信，在MoE超级内核中缓解路由偏斜，实现前向1.45倍、后向1.28倍的几何平均加速。
2026-10-02 cs.DC
Decentralized utility- and locality-aware replication for heterogeneous DHT-based P2P cloud storage systems
作为一种分布式哈希表（DHT），Skip Graph路由覆盖被广泛应用于包括P2P云存储在内的多个P2P服务中。适用于基于Skip Graph的P2P云存储的完全分散式复制算法在副本可用性和响应时间方面都未能提高系统的性能。此外，他们假设系统在节点的延迟分布、可用性行为、带宽或存储方面是同质的。在本文中，我们提出了金字塔，这是第一个完全分散的实用程序和本地感知的复制方法跳过基于图的P2P云存储系统。Pyramid认为节点在延迟分布、可用性行为、带宽和存储方面是异构的。金字塔是实用性感知的，因为它最大化每个时隙的副本的平均可用带宽（例如，每小时）。此外，Pyramid是本地感知的，因为它最大限度地减少了节点与其最近副本之间的平均延迟。我们的模拟结果表明，相比于最先进的解决方案，无论是在效用意识，或在本地意识，我们提出的金字塔提高了效用和本地意识的副本与增益约1.2和1.1倍，分别在同一时间。
2019-07-28 cs.DC
On Optimizing Replica Migration in Distributed Cloud Storage Systems
随着大规模互联网服务和大数据的广泛采用，云已经成为满足不断增长的存储需求的理想环境，这要归功于其看似无限的容量，高可用性和更快的访问时间。在这种情况下，数据复制被吹捧为提高数据可用性和减少访问时间的最终解决方案。然而，副本放置系统通常需要随着时间的推移在数据中心之间和数据中心内迁移和创建大量的数据副本，在网络负载和可用性方面产生了很大的开销。本文提出了一种有效的分布式云存储迁移方案CRANE。CRANE通过有效地管理地理分布式基础设施中的副本创建来补充任何副本放置算法，通过（1）最小化将数据复制到新副本位置所需的时间，（2）避免网络拥塞，以及（3）确保数据的最小可用性。我们的研究结果表明，与swift（用于管理数据存储的OpenStack项目）相比，CRANE能够最大限度地减少高达30%的副本创建时间和25%的数据中心间网络流量，同时确保数据的最低可用性。
2015-09-04 cs.DC cs.NI
Rabia: Simplifying State-Machine Replication Through Randomization
我们介绍Rabia，一个简单而高性能的框架，用于在数据中心内实现状态机复制（SMR）。Rabia的主要创新是使用随机化来简化设计。Rabia提供以下两个功能：（i）它不需要任何故障转移协议，并支持日志压缩，快照和重新配置等琐碎的辅助协议，这些组件通常被认为是开发SMR系统时最具挑战性的组件;以及（ii）它提供高性能，吞吐量比最接近的竞争对手高出1.5倍（即，EPaxos）在有利的设置（具有三个副本的相同可用性区域）中，并且与大量副本或部署在多个可用性区域中时相当。
2021-09-26 cs.DC
PrefixPlace: Provable Prefix Key-Value Placement for Large Language Model Serving under Heterogeneous Compute and Transfer Costs
The University of Melbourne（墨尔本大学）
针对异构计算与传输成本下LLM前缀KV放置的次优问题，提出PrefixPlace规划器，其性能接近最优且效率高，可提升RAG等场景的成本节省效果。
2026-08-04 cs.DC
FASTEN: Towards a FAult-tolerant and STorage EfficieNt Cloud: Balancing Between Replication and Deduplication
针对云存储中冗余保障高可用性与重复数据删除节省空间之间的矛盾，提出分布式方案 FASTEN，通过最优分散数据子集实现容错并保持冗余，实验证明其在低成本、审计和去重性能上优于现有系统。
2023-12-13 cs.DC
Resilient Cloud-based Replication with Low Latency
在地理复制环境中容忍拜占庭故障的现有方法需要系统在广域链路上执行复杂的协议协议，因此通常与高响应时间相关联。在本文中，我们使用Spider解决这个问题，Spider是一种用于地理分布式系统的弹性复制架构，它利用当今公共云基础设施的可用性特征来最大限度地降低复杂性并减少延迟。Spider将系统建模为松散耦合的副本组的集合，其成员托管在不同的云提供的故障域中（即，可用区）。这种结构化组织可以通过将副本组放置在靠近客户端的位置来实现较低的响应时间，同时仍然允许组的副本通过短距离链路进行交互。为了处理强一致性所需的组间通信，Spider使用了一个可靠的组到组的消息通道，具有先进先出语义和内置的流控制，大大简化了系统设计。
2020-09-21 cs.DC
Optimizing API Gateway Placement in Multi-Cloud Kubernetes
针对多云Kubernetes集群的API网关部署，本文提出MILP模型与贪心算法，权衡成本、资源与延迟，贪心算法加速比高且成本接近最优，但部分场景无法满足延迟要求。
2026-08-28 cs.DC
LARK -- Linearizability Algorithms for Replicated Keys in Aerospike
本文提出LARK同步复制协议，通过引入PAC机制和消除有序日志，在保证线性化的同时显著降低了延迟与成本，大幅提升了独立故障下的分区可用性并支持零停机重启。
2025-11-03 cs.DB cs.DC
Joint Data Purchasing and Data Placement in a Geo-Distributed Data Market
本文研究了地理分布的云数据市场所面临的两个设计任务：购买哪些数据（数据购买）和在哪里放置/复制数据交付（数据放置）。我们表明，在云数据市场的数据购买和数据放置的联合问题可以被视为一个设施的位置问题，因此是NP难的。然而，我们给出了一个可证明的最佳算法的情况下，由一个单一的数据中心组成的数据市场，然后概括的结构，从单一的数据中心设置，以开发一个接近最佳的，多项式时间算法的地理分布的数据市场。由此产生的设计，基准，分解成两个子问题，一个数据采购和数据放置，使用底层带宽成本的转换的联合采购和放置问题。我们表明，通过案例研究，基准是接近最佳的（在1.6%）在实际环境中。
2016-04-09 cs.DC
Hermes: a Fast, Fault-Tolerant and Linearizable Replication Protocol
当今的数据中心应用程序由负责提供可用性、一致性和性能的数据存储区支撑。为了在出现故障时实现高可用性，这些数据存储区跨多个节点复制数据。这是在可靠的复制协议的帮助下完成的，该协议负责即使在发生故障时也保持副本的强一致性。强一致性优于不能保证客户端直观行为的弱一致性模型。此外，为了满足实时延迟的高需求，数据存储必须提供高吞吐量和低延迟。这项工作介绍了Hermes，一个基于广播的可靠的复制协议，在内存中的数据存储，提供高吞吐量和低延迟，使本地读取和完全并发的快速写入在所有副本。Hermes将逻辑时间戳与缓存一致性启发的无效结合起来，以保证线性化，避免在集中排序点进行写入序列化，在每个副本本地解决写入冲突（从而确保写入永远不会中止），并通过可重放写入提供容错。我们在支持RDMA的可靠路由器上实现了Hermes，其中包含5个副本，这表明Hermes在所有写入比率上都能实现比最先进的基于RDMA的可靠协议（ZAB和CRAQ）更高的吞吐量，同时还显著降低了尾部延迟。在5%写入时，Hermes的尾部延迟比CRAQ和ZAB低3.6倍。
2020-01-27 cs.DC
QoS-Aware Resource Placement for LEO Satellite Edge Computing
随着提供全球宽带互联网接入的大型LEO卫星通信网络的出现，出现了在LEO网络内提供边缘计算资源的兴趣。LEO Edge承诺为全球客户端和物联网设备提供低延迟，高带宽的计算和存储资源访问，而无论其地理位置如何。目前的建议假设在每个LEO卫星上都有计算资源或服务副本，这需要大量的前期投资，并可能导致过度供应。为了有效地实施和使用LEO边缘，需要用于服务器和服务放置的方法，这些方法有助于选择卫星的最佳子集作为服务器或服务副本位置。在本文中，我们将展示如何利用LEO卫星网络的独特拓扑结构，将现有的研究资源放置在一个二维环面可以应用到这个问题。此外，我们扩展了现有的离散资源放置方法，允许放置QoS约束。在拟议的低轨卫星通信网络的模拟中，我们展示了QoS如何取决于轨道参数，我们提出的方法可以考虑到这些影响，现有的方法不能。
2022-02-25 cs.DC cs.NI
Wait-free Replicated Data Types and Fair Reconciliation
Télécom Paris, Institut Polytechnique de Paris, France（巴黎电信学院，巴黎理工学院）；Université Paris-Saclay, CEA, List, France（巴黎萨克雷大学，法国原子能和替代能源委员会，List实验室）
该研究针对无等待复制数据类型面临的操作重排序与客户端饥饿问题，提出基于DAG的通用框架及对应协调函数，实现带稳定性和公平性的最终状态机复制。
2026-08-21 cs.DC
A Gossip-based optimistic replication for efficient delay-sensitive streaming using an interactive middleware support system
在共享资源的同时，由于缺乏以多客户端支持方式提供的所需资源，效率大大降低。这些资源通常会受到许多因素的影响，例如可用性的时间约束或所请求的复制文件块的节点洪泛。因此，复制的文件块应该被有效地传播，以使移动用户按需提供资源。这项工作考虑了一个跨层的中间件支持系统，通过使用每个设备的连接和社交互动，在跨层的方式，有效的延迟敏感的流。协作流式传输是通过虚拟复制的文件块策略实现的，该策略使用具有易感、感染、恢复和死亡状态的传染病的链式模型的基于转换的方法。基于Gossip的有状态模型强制移动节点是否托管一个文件块或没有，或者，当不再是一个块是需要的，以清除it.The建议的模型进行了彻底的评估，通过实验模拟采取措施的有效吞吐量EFF作为一个函数的数据包丢失参数的有效性相比，复制Gossip为基础的政策。
2010-09-09 cs.DC cs.MM
Multilayer Resource-aware Partitioning for Fog Application Placement
雾计算成为部署物联网应用的关键平台。此类应用的复杂性要求处理雾设备的资源多样性和网络结构的方法，同时最大化服务放置并减少资源浪费。该领域的先前研究主要集中在优化特定的应用程序要求，未能解决网络拓扑结构与雾设备中遇到的不同类型的资源相结合的问题。为了克服这些问题，我们提出了一个多层的资源感知分区方法，以最大限度地减少资源浪费和最大限度地提高服务的位置和最后期限的满意率在雾基础设施与高多用户应用程序放置请求。我们的方法表示的异构雾资源作为一个多层网络图和分区的基础上，网络拓扑结构和资源功能。然后，它根据应用程序的需求确定适当的设备分区，这些设备分区需要在同一网络拓扑分区中重叠。仿真结果表明，我们的多层资源感知分区方法是能够放置两倍多的服务，满足三倍多的应用程序请求的最后期限，并减少资源浪费高达15-32倍相比，两个可用性感知和资源感知方法。
2021-05-23 cs.DC
Cost-efficient, QoS and Security aware Placement of Smart Farming IoT Applications in Cloud-Fog Infrastructure
智能农业是农业领域最近的一项创新，它可以通过使用更智能、自动化和数据驱动的农场流程来提高农业产量，这些流程与农场上部署的物联网设备进行交互。云雾基础设施为执行物联网应用提供了有效的平台。雾计算通过使虚拟化服务更接近物联网设备来满足延迟敏感型物联网服务的实时处理需求，而云计算则允许执行具有更高计算要求的应用。物联网应用的部署是一个关键挑战，因为云和雾节点在资源可用性方面各不相同，并且使用不同的成本模型。此外，物联网应用的资源、服务质量（QoS）和安全要求的多样性使问题变得更加复杂。在本文中，我们将物联网应用程序放置建模为一个优化问题，旨在最大限度地降低成本，同时满足QoS和安全约束。该问题是制定使用非线性规划（ILP）。ILP模型进行评估的小规模的情况下。评估结果显示了QoS和安全需求对成本的影响。我们还研究了放松安全约束对布局决策的影响。
2021-07-29 cs.DC
Leaderless State-Machine Replication: Specification, Properties, Limits (Extended Version)
现代互联网服务通常使用状态机复制（SMR）跨多个地理位置复制关键数据。由于它们依赖于领导者副本，经典SMR协议在此设置中提供有限的可扩展性和可用性。为了解决这个问题，最近的协议，而不是遵循一个领导人的方法，其中每个副本能够取得进展，使用它的同行的法定人数。在本文中，我们研究了这类新出现的SMR协议，并指出了它们的一些限制。首先，我们提出了一个框架，抓住了无领导状态机复制（无领导SMR）的本质。然后，我们介绍了这些协议的一组理想的属性：（R）eliability，（O）optimal（L）atency和（L）load Balancing。我们发现，协议匹配的所有ROLL属性受到性能和可靠性之间的权衡。我们还建立了消息延迟的下限，以在最适合ROLL属性的协议中执行命令。这一下限解释了实验结果中观察到的持续链效应。
2020-08-06 cs.DC
De-Fragmenting the Cloud
现有的虚拟机放置方案仅通过查看物理机的资源（CPU，内存）或网络资源来衡量其有效性。然而，实际应用程序在不同程度上使用所有资源类型。将现有放置方案应用于运行实际应用的VM的结果是碎片化的数据中心，其中，由于沿其他维度的资源不可用，沿一个维度的资源变得不可用，即使它们是可用的。这种碎片化的一个例子是CPU不可用，因为来自具有可用CPU的物理机的网络链路被检查。到目前为止，VM放置方案的有效性评估还没有认识到这种碎片化和它的不良影响，更不用说尝试测量它，避免它。在本文中，我们首先定义了我们所说的“相对资源碎片化”的概念，并说明它可以在数据中心进行测量。我们提出的用于捕获碎片化程度的指标是全面的，包括所有关键的数据中心资源类型。然后，我们提出了一个方案，最大限度地减少这种碎片，以最大限度地提高现有的数据中心资源的可用性。与现有的基于网络的布局方案相比，我们的布局方案的实证评估结果显示，碎片化减少了15%，成功放置的应用程序的数量增加了20%。
2015-06-23 cs.DC
Review of Replication Schemes for Unstructured P2P Networks
为了提高非结构化P2P系统性能，人们希望最大限度地减少必须探测的对等体数量，以缩短搜索时间。解决这个问题的一个方法是采用一个复制方案，它提供了高命中率的目标文件。复制还可以提供负载均衡，并在大量用户访问文件时减少访问延迟。本文简要介绍了各种复制方案，已出现在文献中，并重点介绍了一种新的复制技术，称为Q-复制，以提高非结构化P2P网络中的对象的可用性。Q-复制技术通过广泛采用Q-学习概念，基于对象流行度和站点选择逻辑将对象自主复制到合适的站点。
2009-12-29 cs.DC cs.NI
Learning to Schedule: A Supervised Learning Framework for Network-Aware Scheduling of Data-Intensive Workloads
本文提出了一种基于监督学习的网络感知任务调度框架，通过预测任务完成时间来提高数据密集型任务在多站点集群中的调度准确性。
2025-10-24 cs.DC
Middleware-based Database Replication: The Gaps between Theory and Practice
对数据管理系统的高可用性和高性能的需求一直在推动学术界和工业界对数据库复制的长期兴趣。然而，学术团体经常孤立地解决复制问题，忽视了解决方案的完整性，而商业团队则采取整体方法，经常错过根本创新的机会。随着时间的推移，这在学术研究和工业实践之间造成了差距。本文旨在沿着三个轴：性能，可用性和管理的差距。我们建立在自己在商业和学术环境中开发和部署复制系统的经验，以及大量先前的相关工作的基础上。我们从过去十年的开源、学术和商业数据库复制系统中筛选出有代表性的例子，并将这些材料与财富500强客户部署的真实系统的案例研究相结合。我们提出两个议程，一个是学术研究，一个是产业研发，我们相信可以在5-10年内弥合差距。通过这种方式，我们希望既激励和帮助研究人员在基于中间件的数据库复制的理论和实践更加相关。
2008-11-05 cs.DB cs.DC cs.PF
Predicting Temporal Aspects of Movement for Predictive Replication in Fog Environments
TU Berlin（柏林工业大学）；ECDF（欧洲分布式计算中心）
本文针对雾环境中数据局部性管理问题，提出一种基于Holt-Winter指数平滑的时间预测模型，结合用户运动的序列与周期模式进行预测性复制，在真实轨迹仿真中实现冗余数据减少15%且数据可用性仅降1%。
2024-02-19 cs.DC cs.LG
Analyzing a Two-Tier Disaggregated Memory Protection Scheme Based on Memory Replication
针对内存复制与纠错码结合易产生冗余开销的问题，提出RAMP模型以优化两层解耦内存保护策略，实验显示其可将保护存储成本从27%降至17.7%，且性能开销极小。
2025-02-24 cs.AR cs.DC
Shared KV Caching for Replicated 27B Inference: Correctness Failures and Performance Boundaries
UNSW Sydney（悉尼新南威尔士大学）
本研究通过工程案例验证共享KV缓存的正确性修复，并测量27B推理副本间延迟，发现交替放置可显著降低首令牌时间，而固定放置收益甚微。
2026-09-15 cs.DC cs.LG cs.PF
Continuous reasoning for adaptive container image distribution in the cloud-edge continuum
University of Ferrara（费拉拉大学）；University of Pisa（比萨大学）；University of Calabria（卡拉布里亚大学）
本文提出一种基于逻辑编程的声明式方法与开源原型，通过ASP确定容器镜像初始放置，并利用Prolog连续推理进行自适应调整，在云边连续体中平衡成本优化与快速决策。
2025-04-05 cs.AI cs.DC cs.LO
