Index-Based Scheduling for Parallel State Machine Replication
状态机复制(SMR)是设计具有容错的服务的基本方法。然而,其对事务的确定性执行的要求通常导致单线程副本,这不能充分利用当今处理器的多核能力。因此,并行SMR已成为近年来的研究热点。它背后的基本思想是独立事务可以并行执行,而相关事务必须按其相对顺序执行,以确保副本之间的一致性。现有的并行SMR方法的依赖性检测主要是基于两两事务比较或批比较。这些方法不能同时保证有效的检测和并发执行。此外,调度过程不能并发执行,这也引入了额外的调度开销。为了进一步降低调度开销,保证事务的并行执行,我们提出了一种基于特定索引结构的高效调度器。该索引由布隆过滤器和相关的事务队列组成,分别提供有效的依赖检测和保留必要的依赖信息。基于该索引结构,我们进一步设计了一个详细的并发调度过程。实验结果表明,该调度器具有更高的效率,可扩展性和鲁棒性的比较方法。
2019-11-26 cs.DC
Parallel Deferred Update Replication
延迟更新复制(DUR)是实现高效可用存储的一种成熟方法。虽然只读事务的吞吐量与DUR中部署的副本数量呈线性关系,但随着副本的增加,更新事务的吞吐量的改善有限。本文介绍了并行延迟更新复制(P-DUR),经典DUR的一个变体,扩展只读和更新事务与副本中可用的核数。除了介绍新的方法,我们描述了它的完整实现,并将其性能与经典的DUR和Berkeley DB(一个著名的独立数据库)进行比较。
2013-12-03 cs.DB cs.DC
Specification and Runtime Checking of Derecho, A Protocol for Fast Replication for Cloud Services
本文针对云服务快速复制协议Derecho进行了精确规范与运行时检查,通过手动分析与系统化检查发现并修复了伪代码问题,获得了可直接执行的完整规范。
2023-05-19 cs.DC
FRAPPE: Fast Replication Platform for Elastic Services
弹性对于当今的云服务至关重要,它必须能够快速适应动态变化的负载条件和资源可用性。我们介绍了FRAPPE,一个新的一致性复制平台,旨在提高弹性的复制服务托管在云或大型数据中心。在核心的FRAPPE是一种新的复制状态机协议,它采用推测执行,以确保在重新配置期间以及在故障的情况下,防止下一个稳定的配置协议,以及时的方式达成的连续操作。我们提出了FRAPPE的体系结构,并描述了我们的投机状态机协议的实现的基本技术。
2016-04-20 cs.DC
AWARE: Adaptive Wide-Area Replication for Fast and Resilient Byzantine Consensus
随着即将到来的区块链基础设施,世界范围内的拜占庭共识变得越来越实用和必要。在地理分布的系统中,实现一致性的速度受到副本之间连接的异构延迟的限制。如果部署在广域网上,基于共识的系统将受益于加权复制,这种方法利用额外的副本并为连接良好的副本分配更高的投票权。这使得在仲裁形成中有更多的选择,并且副本可以利用成比例的较小仲裁来推进,从而减少共识延迟。然而,系统需要一种解决方案,以便在网络条件发生变化或发生故障时自主调整其环境。我们提出了自适应广域复制(AWARE),一种机制,提高了地理可扩展性的共识与节点广泛分布在世界各地。本质上,AWARE是一个自动和动态的投票权重调整和领导者定位方案,它支持系统中快速法定人数的出现。它采用了一个可靠的自我监控过程,并提供了一个预测模型,试图最大限度地减少系统的共识延迟。在使用多个AWS EC2区域的实验中,AWARE通过自主找到快速权重配置来动态优化共识延迟,从而使全球各地的客户端观察到延迟增益。
2020-11-03 cs.DC
Hermes: a Fast, Fault-Tolerant and Linearizable Replication Protocol
当今的数据中心应用程序由负责提供可用性、一致性和性能的数据存储区支撑。为了在出现故障时实现高可用性,这些数据存储区跨多个节点复制数据。这是在可靠的复制协议的帮助下完成的,该协议负责即使在发生故障时也保持副本的强一致性。强一致性优于不能保证客户端直观行为的弱一致性模型。此外,为了满足实时延迟的高需求,数据存储必须提供高吞吐量和低延迟。这项工作介绍了Hermes,一个基于广播的可靠的复制协议,在内存中的数据存储,提供高吞吐量和低延迟,使本地读取和完全并发的快速写入在所有副本。Hermes将逻辑时间戳与缓存一致性启发的无效结合起来,以保证线性化,避免在集中排序点进行写入序列化,在每个副本本地解决写入冲突(从而确保写入永远不会中止),并通过可重放写入提供容错。我们在支持RDMA的可靠路由器上实现了Hermes,其中包含5个副本,这表明Hermes在所有写入比率上都能实现比最先进的基于RDMA的可靠协议(ZAB和CRAQ)更高的吞吐量,同时还显著降低了尾部延迟。在5%写入时,Hermes的尾部延迟比CRAQ和ZAB低3.6倍。
2020-01-27 cs.DC
Making Reads in BFT State Machine Replication Fast, Linearizable, and Live
实用拜占庭容错(PBFT)是一个开创性的状态机复制协议,实现了在现实环境中的非复制系统的性能相媲美。如此高的性能的一个原因是在协议中引入的一组优化。其中一个优化是只读请求,这是一种特殊类型的客户端请求,避免运行三步协议,并允许副本直接响应,从而将读取延迟从五个通信步骤减少到两个通信步骤。鉴于PBFT的广泛影响,其设计和优化影响了随后的许多BFT协议和系统,例如,BFT-SMaRt.我们第一次表明,20多年前在PBFT中引入的只读请求优化可能会违反其活性。值得注意的是,该问题不仅影响优化的只读操作,还影响标准的、完全有序的操作。我们展示了这个弱点,提出了一个恶意的领导者块正确的客户端的攻击,并提出了两个解决方案,修补协议,使只读操作快速和正确。这两个解决方案在BFT-SMaRt上实现,并在不同的场景下进行了评估,显示了它们在防止已识别攻击方面的有效性。
2021-07-23 cs.DC
Optimality and Trade-offs in Fast BFT SMR (Extended Version)
University of California, Berkeley(加州大学伯克利分校);Institut Polytechnique de Paris(巴黎理工学院);a16z Crypto Research(a16z 加密货币研究);Subzero Labs(Subzero 实验室)
本文针对快速BFT SMR,给出了其所需复制因子的紧上下界,并提出体现复制因子与恢复效率权衡的次优协议,填补了BFT场景下快速SMR研究的不足。
2026-08-21 cs.DC
A Comparative Study of Replication Techniques in Grid Computing Systems
网格计算是一种并行和分布式系统,旨在为广域网中的数据和计算资源提供可靠的访问。这些资源分布在不同的地理位置,但组织起来提供综合服务。在当今的企业环境中,有效的数据管理是一个重要的问题。此外,性能也是使用这些环境的挑战之一。为了提高文件访问的性能和简化分布式系统之间的共享,使用复制技术。数据复制是分布式环境中使用的一种常见方法,其中基本数据存储在多个位置,以便用户可以从其所在区域的站点访问数据。在本文中,我们提出了一个调查的基本和新的复制技术,已提出的其他研究人员。在此基础上,我们对这些复制策略进行了全面的比较研究。最后,我们总结了这些复制技术的结果和要点。
2013-09-26 cs.DC
Exploiting Commutativity For Practical Fast Replication
传统的复制方法要求客户端请求在通过将其复制到副本来使其持久化之前进行排序。因此,客户端必须等待两个往返时间(RTT)才能完成更新。在本文中,我们表明,这种纠缠的有序性和耐久性是不必要的强一致性。一致无序复制协议(CURP)允许客户端复制尚未排序的请求,只要它们是可交换的。此策略允许大多数操作在1 RTT内完成(与未复制系统相同)。我们在Redis和RAMCloud存储系统中实现了CURP。在RAMCloud中,CURP将写入延迟提高了约2倍(13.8 us -> 7.3 us),写入吞吐量提高了4倍。与未复制的RAMCloud相比,CURP的3路复制延迟开销仅为0.4 us(6.9 us vs 7.3 us)。CURP将非持久性的Redis缓存转换为一致且持久的存储系统,只有很小的性能开销。
2017-10-26 cs.DC cs.OS
Hybrid Transactional Replication: State-Machine and Deferred-Update Replication Combined
我们提出了一种新的高可靠性服务的复制方案--混合传输复制(HTR)。它结合了两个方案:事务或者由延迟更新模式(DU)中的仅一个服务副本乐观地执行,或者由状态机模式(SM)中的所有副本确定地执行;选择由oracle做出。DU模式允许并行性,因此可以利用多核硬件。与DU相比,SM模式保证了无异常中止的执行,因此它适用于不可撤销的操作和产生高争用的事务。为了表现力,可以根据需要丢弃或重试事务。我们正式证明,该计划的更高的灵活性并不以较弱的客户端的保证为代价:HTR满足强一致性保证类似于其他流行的事务复制计划,如延迟更新复制。我们开发了基于HTR的Paxos STM,一个基于对象的分布式事务内存系统,并在各种工作负载下对其进行了全面的评估。我们展示了使用一种新的甲骨文的好处,它依赖于机器学习技术自动适应不断变化的条件。在我们的测试中,与仅运行DU或仅运行SM的Oracle的系统相比,基于ML的Oracle的吞吐量提高了50%。我们的方法的灵感来自于一个众所周知的算法中使用的多臂强盗问题。
2016-12-19 cs.DC
New Clocks, Optimal Line Formation and Self-Replication Population Protocols
在本文中,我们考虑一种变体的人口协议,其中代理人被允许连接的边缘,被称为构造模型。在两个代理之间的相互作用期间,相关的连接边可以通过过渡函数形成、保持或消除。本文的贡献是多方面的。--我们提出并分析了一种新型的相位时钟,允许在构造器模型中计算并行时间$Θ(n\log n)$。这种新类型的时钟也可以在标准群体协议模型中实现,假设唯一的领导者可用。--新的时钟能够实现最佳的$O(n\log n)$并行时间跨越线路构造,该构造在先前已知的最佳的$O(n^2)$并行时间解决方案的基础上显著地改进。--我们定义了一个概率版本的冒泡排序,其中只允许在被排序的序列中的相邻数字之间进行随机比较。我们发现,令人惊讶的是,这种概率泡沫排序需要$O(n^2)$比较的期望,即,与其确定性对应物处于同一水平。--我们提出了第一个自复制协议,允许在并行时间$O(n(k+\log n)).$中复制长度为$k$的链(携带信息的线段)。该方案还允许同时复制,其中可以及时获得链的$l$拷贝$O(n(k+\log n)\log l).$本文中的所有方案都以高概率操作。
2022-10-30 cs.DC cs.DS
Building State Machine Replication Using Practical Network Synchrony
本文提出利用数据中心网络强同步性构建状态机复制协议Chora,通过内核旁路、多线程和放宽轮次长度实现低于2微秒的轮次界限,使吞吐量较单领导者和多领导者协议分别提升255%和109%。
2025-07-17 cs.DC
HT-Paxos: High Throughput State-Machine Replication Protocol for Large Clustered Data Centers
Paxos是状态机复制的一个重要理论。实现状态机复制的最近的数据密集型系统通常需要高吞吐量。Paxos的早期版本很少是经典Paxos,快速Paxos和广义Paxos主要关注容错和延迟,但缺乏吞吐量和可扩展性。其中一个主要原因是重量级领导人。通过卸载leader,我们可以进一步增加系统的吞吐量。Ring Paxos、Multi Ring Paxos和S-Paxos是集群数据中心在这个方向上的一些突出尝试。在本文中,我们提出了HT-Paxos,这是Paxos的一个变体,最适合任何大型集群数据中心。HT-Paxos进一步大大减轻了领导者的负担,从而提高了系统的吞吐量和可扩展性。同时,在高吞吐量的状态机复制协议中,HT-Paxos提供了相当低的延迟和响应时间。
2014-07-04 cs.DC
Fault Tolerant Adaptive Parallel and Distributed Simulation through Functional Replication
介绍了一种基于软件的容错并行分布仿真中间件FT-GAIA。FT-GAIA旨在可靠地处理并行和分布式仿真(PADS)模型,这些模型需要正确模拟和分析任何科学或工程领域中出现的复杂系统。PADS利用多核处理器、工作站集群或HPC系统中运行的多个执行单元。然而,大型计算系统(诸如包括数十万个计算节点的HPC系统)必须处理某些组件的频繁故障。为了解决这个问题,FT-GAIA透明地复制仿真实体,并将它们分布在多个执行节点上。这允许模拟容忍计算节点的崩溃故障。此外,FT-GAIA提供了一些针对拜占庭故障的保护,因为模拟实体之间的交互消息也被复制,因此接收实体可以识别并丢弃损坏的消息。从分析模型和实验评估的结果表明,FT-GAIA提供了高度的容错,在执行单元的计算负荷适度增加的成本。
2019-03-26 cs.DC cs.MA cs.PF
State-Machine Replication for Planet-Scale Systems (Extended Version)
在线应用程序现在经常在世界各地的多个站点复制其数据。在本文中,我们提出了阿特拉斯,第一个状态机复制协议量身定制的行星规模的系统。阿特拉斯不依赖于杰出的领导人,因此客户享有相同的服务质量,无论其地理位置如何。此外,客户端感知的延迟随着我们添加更靠近客户端的站点而改善。为了实现这一目标,Atlas使用并发数据中心故障很少的观察结果来最大限度地减少其法定人数。它还可以在一个往返行程中处理很高比例的访问,即使这些访问发生冲突。我们的实验表明,阿特拉斯一贯优于国家的最先进的协议在行星规模的情况下。特别是,Atlas在相同的故障假设下比Flexible Paxos快两倍,并且在YCSB基准测试中比Equalitarian Paxos的性能高出一倍多。
2020-05-18 cs.DC
SPARe: Stacked Parallelism with Adaptive Reordering for Fault-Tolerant LLM Pretraining Systems with 100k+ GPUs
University of California, Santa Barbara(加州大学圣塔芭芭拉分校);Argonne National Laboratory(阿贡国家实验室);University of Florida(佛罗里达大学)
针对大规模LLM预训练中故障频繁导致重启开销主导训练时间的问题,提出SPARe框架,通过跨并行组堆叠冗余数据分片并自适应重排序执行顺序,在梯度同步中掩盖节点故障,实现接近传统复制的可用性且计算开销仅2~3倍,在60万GPU规模下训练时间减少40~50%。
2026-05-27 cs.DC cs.SY eess.SY
Global Stabilization for Causally Consistent Partial Replication
因果一致的分布式存储系统最近受到了极大的关注,由于提供高吞吐量和因果关系的保证的潜力。{ \em Global stabilization}是为在分布式多版本键值存储系统中实现因果一致性而建立的技术,由诸如GentleRain \cite{Du2014GentleRainCA}和Cure \cite{akkoorath2016cure}的先前工作所采用。直观地说,这种方法通过它们的物理时间序列化所有更新,并计算“全局稳定时间”,这是一个时间点$t$,这样具有时间戳$\leq t$的版本可以返回给客户端,而不会违反因果关系。然而,具有全局稳定性的所有先前设计都假设{ \em完全复制},其中每个数据中心存储数据的完整副本,并且每个客户端被限制为访问一个数据中心内的服务器。在本文中,我们提出了一个理论框架,以支持{ \em一般部分复制}的因果一致性,通过全球稳定,其中每个服务器可以存储任意子集的数据,每个客户端被允许与任何子集的服务器和迁移之间没有额外的延迟。我们提出了一个算法,实现一般部分复制的分布式多版本键值存储的因果一致性。我们证明了我们的算法中的全局稳定时间计算的最优性,关于远程更新的可见性延迟,即如何快速更新从远程服务器是可见的客户端,在一般的部分复制。我们还通过在客户端迁移过程中引入额外的延迟来进一步优化远程更新可见性。我们的算法的性能相比,以前的工作的仿真结果也提供。
2019-05-06 cs.DC
A Lightweight Approach for State Machine Replication
University of Bern(伯尔尼大学)
本文提出一种基于承诺证书的轻量级去中心化状态机复制方案,适配中位数规则适配客户端-服务器场景,压缩已提交命令信息,在活性、安全性、恢复性上表现优异,可抵御针对关键服务器的攻击。
2025-11-17 cs.DC
MegaFlux: Skew-Resilient MoE Megakernels via Pipelined Expert Replication
Princeton University(普林斯顿大学);NVIDIA(英伟达)
MegaFlux通过运行时专家复制和流水线通信,在MoE超级内核中缓解路由偏斜,实现前向1.45倍、后向1.28倍的几何平均加速。
2026-10-02 cs.DC
The Performance of Paxos and Fast Paxos
Paxos和Fast Paxos是最优的共识算法,它们简单而优雅,同时适合于高效的实现。在本文中,我们使用Treplica,一个通用的复制工具包,实现这些算法在一个模块化的和有效的方式,在无故障和易发生故障的运行中的性能进行比较。我们发现Paxos在少量副本的情况下优于Fast Paxos,并且冲突不是导致这种性能差异的原因。
2013-08-06 cs.DC
Distributed Graph Layout for Scalable Small-world Network Analysis
内存中的图形布局或组织对分布式内存图形计算的时间和能量效率具有相当大的影响。它影响内存局部性、任务间负载平衡、通信时间和整体内存利用率。图形布局可以指顶点和边数组的分区或复制、保存元数据的数据结构的选择性复制以及顶点和边标识符的重新排序。在这项工作中,我们提出了DGL,一个快速,并行和内存高效的分布式图形布局策略,是专门为小世界网络(低直径图与倾斜的顶点度分布)。基于标签传播的分区和可扩展的基于BFS的排序是布局策略中的主要步骤。我们表明,DGL布局可以显着提高五个具有挑战性的图分析工作负载的端到端性能:PageRank,一个并行子图枚举程序,调整实现的广度优先搜索和单源最短路径,和RDF 3X-MPI,一个分布式SPARQL查询处理引擎。使用这些基准测试,我们还提供了一个全面的分析,关于图布局如何影响具有可变计算和通信特性的图分析的性能。
2017-01-02 cs.DC
Diversity/Parallelism Trade-off in Distributed Systems with Redundancy
随着许多机器学习和其他算法的复杂性和数据需求的增加,分布式计算成为满足不断增长的计算和存储需求所必需的,因为它使得能够并行执行构成大型计算作业的较小任务。然而,任务服务时间的随机波动会导致执行时间较长的离散任务。以任务复制和擦除编码的形式,冗余提供了多样性,允许在仅执行冗余任务的子集时完成作业,从而消除对离散任务的依赖性。在资源受限的情况下(这里是固定数量的并行服务器),增加冗余会减少并行可用的资源。在本文中,我们的特点的多样性与并行性的权衡,并确定最佳的策略,复制,编码和分裂,最大限度地减少预期的作业完成时间。我们考虑了三种常见的服务时间分布,并建立了三个模型来描述这些分布与任务大小的缩放。我们发现,具有不同缩放模型的不同分布在不同的冗余水平下最佳地操作,因此可能需要非常不同的码率。
2021-12-18 cs.DC cs.IT cs.PF
Making data center computations fast, but not so furious
我们提出了一个积极的计算冲刺数据中心环境的变种。虽然以前大多数关于计算冲刺的工作都集中在最大化冲刺过程,同时确保无故障条件,但我们利用数据中心中现有的复制来推动系统超越其安全限制。在本文中,我们概述了这一愿景,我们调查现有的技术来实现它,我们提出了一些设计思路,为今后的工作在这一领域。
2017-04-17 cs.DC
The Impact of Data Replicatino on Job Scheduling Performance in Hierarchical data Grid
在数据密集型应用程序中,数据传输是作业执行延迟的主要原因。数据访问时间取决于带宽。广域网和Internet的高带宽是网格环境下支持快速数据访问的主要瓶颈。有效的调度可以通过将作业分派到存在所需数据的位置来减少通过互联网传输的数据量。另一种解决方案是使用数据复制机制。动态副本策略的目标是减少文件访问时间,从而减少作业运行时间。在本文中,我们提出了一个作业调度策略和一个动态的数据复制策略,称为HRS(分层复制策略),以提高数据访问效率。我们研究我们的方法,并通过模拟评估。结果表明,我们的算法比现有的策略提高了12%。
2010-10-04 cs.DC
Embarrassingly Parallel Time Series Analysis for Large Scale Weak Memory Systems
时间序列分析中的二阶平稳模型是基于基本统计量的分析,其计算遵循一个共同的模式。特别是,使用映射-归约命名法,这些操作中的大多数可以被建模为映射仅依赖于连续数据的短窗口的内核,并减少每次计算产生的结果。这种计算模式源于所考虑的模型的遍历性,当涉及到相对于时间索引的数据时,通常被称为弱或短记忆。在下文中,我们将展示如何以可扩展的方式研究弱内存系统,这要归功于一个依赖于专门设计的重叠分布式数据结构的框架,该框架允许跨多台机器进行数据的碎片化和复制,以及计算中的并行性。这个方案已经为Apache Spark实现,但肯定不是特定于系统的。事实上,我们证明它也适合利用GPU上的高带宽碎片内存块。
2015-11-20 cs.DC
Rocket: Efficient and Scalable All-Pairs Computations on Heterogeneous Platforms
所有对计算问题将用户定义的函数应用于给定数据集的两个项目的每个组合。虽然这些问题提出了大量的并行性,数据重用必须利用,以实现良好的性能。一些研究人员考虑了这个问题,无论是采取部分复制静态工作分配或动态调度与完整的复制。相比之下,我们提出了一个解决方案,依赖于分层多级基于软件的缓存,以最大限度地提高数据重用在分布式存储层次结构的每一个级别,结合分治的方法来利用数据的本地性,分层工作窃取动态平衡的工作负载,和异步处理,以最大限度地提高资源利用率。我们评估我们的解决方案使用三个现实世界的应用程序(从数字取证,本地化显微镜和生物信息学)在不同的平台(从台式机到超级计算机)。结果显示,当扩展到96个GPU时,具有出色的效率和可扩展性,甚至由于分布式缓存而获得超线性加速。
2020-09-10 cs.DC
On Delay-Optimal Scheduling in Queueing Systems with Replications
在现代计算机系统中,作业被分成短任务并并行执行。在实际系统中的经验观察表明,任务服务时间是高度随机的,作业服务时间是由最慢的离散任务检查。一个常见的解决方案是在多个服务器上复制一个任务,并等待任务的一个副本提前完成。复制的延迟性能在很大程度上取决于何时复制、在哪个服务器上复制以及首先服务哪个作业的调度决策。到目前为止,很少有人了解如何优化这些调度决策,以最大限度地减少延迟完成的工作。在本文中,我们提出了一个全面的研究集中式和分布式多服务器系统中的延迟最优调度的副本。低复杂度的调度策略的设计,并被证明是延迟最优或接近延迟最优的随机排序之间的因果关系和非抢占式的政策。这些理论结果建立一般的系统设置和延迟度量,允许任意到达过程,任意的作业大小,任意的到期时间,和异构服务器与数据本地化的限制。新的样本路径工具的开发,以证明这些结果。
2017-02-06 cs.DC cs.IT cs.NI
PipeDream: Fast and Efficient Pipeline Parallel DNN Training
PipeDream是一个用于GPU的深度神经网络(DNN)训练系统,通过跨多台机器的流水线执行来并行计算。它的流水线并行计算模型避免了大型模型和/或有限的网络带宽导致高通信计算比时数据并行训练所面临的减速。与数据并行训练相比,PipeDream将大型DNN的通信减少了高达95%,并允许通信和计算的完美重叠。PipeDream通过系统地划分DNN层来保持所有可用的GPU的生产力,以平衡工作并最大限度地减少通信,版本模型参数用于向后传递正确性,并以循环方式调度不同输入的向前和向后传递,以优化“目标准确性时间”。在两个不同的集群上使用五个不同的DNN进行的实验表明,与数据并行训练相比,PipeDream的准确率提高了5倍。
2018-06-08 cs.DC
OSDP: Optimal Sharded Data Parallel for Distributed Deep Learning
提出OSDP自动化并行训练系统,结合数据与模型并行优势,通过权衡内存与硬件利用率自动生成计算图,并引入算子拆分降低峰值内存,实现更高吞吐量,在多种大规模模型上优于现有方法。
2023-05-19 cs.DC
OSDP: Optimal Sharded Data Parallel for Distributed Deep Learning
本文提出自动化并行训练系统OSDP,通过权衡内存与硬件利用率自动生成分布式计算图,并引入算子拆分技术降低峰值内存,实现了更高吞吐量和更大模型训练能力。
2023-05-18 cs.DC
Fast Product-Matrix Regenerating Codes
分布式存储系统通过使用复制或擦除校正码来支持单个设备的故障。虽然纠删码提供了一个更好的存储效率比复制类似的容错,他们招致更高的CPU消耗,更高的网络消耗和更高的磁盘I/O。为了解决这些问题,特定于存储系统的代码已被设计。它们的主要功能是能够有效地修复单个丢失的磁盘。在本文中,我们专注于这样一类代码,最大限度地减少网络消耗在修复过程中,即再生码。我们实现了原始的乘积矩阵再生代码以及我们提出的新优化,并表明所得到的优化代码允许在典型设置中实现790 MB/s的编码。报告的速度显着高于以前的研究,强调再生代码可以使用很少的CPU惩罚。
2014-12-09 cs.DC cs.IT cs.PF
Parallel implementation of fast randomized algorithms for the decomposition of low rank matrices
我们分析了并行性能的随机插值分解分解低秩复值高斯随机矩阵高达64 GB。我们选择了Cray XMT超级计算机,因为它提供了一个几乎理想的PRAM模型,允许快速调查并行算法,而不会混淆硬件特性。我们得到,非方阵的性能变得非常好,整体运行时间超过70倍的速度在128个处理器。我们还验证了数值发现的误差范围仍然保持在矩阵的近两个数量级比以前测试的。
2014-04-01 cs.DC
Training Through Failure: Effects of Data Consistency in Parallel Machine Learning Training
Stanford(斯坦福大学);Google(谷歌公司)
本文研究并行机器学习训练中故障时的数据一致性策略,提出无状态参数服务器方法,使工作节点在服务器宕机时继续生成梯度更新,实验表明该方法在故障情况下准确率可提高10%,且成本与标准检查点方法相当。
2024-06-08 cs.AI cs.DC
FastMPS: Revisit Data Parallel in Large-scale Matrix Product State Sampling
Tsinghua University(清华大学);University of Science and Technology of China(中国科学技术大学);Hefei National Research Center for Physical Sciences at the Microscale(合肥微尺度物质科学国家研究中心);National Supercomputing Center in Wuxi(无锡国家超级计算中心)
Fast-MPS通过结合数据并行与张量并行,实现大规模MPS采样效率的显著提升,达到10倍以上的加速效果。
2025-12-23 cs.DC
Fast Parallel Exact Inference on Bayesian Networks: Poster
The University of Western Australia(西澳大利亚大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Hong Kong University of Science and Technology(香港科技大学)
贝叶斯网络是一种图形化的、可解释的机器学习模型,因此具有很大的吸引力。然而,精确的推理BN是耗时的,特别是对于复杂的问题。为了提高效率,我们提出了一个快速BN精确推理解决方案命名为Fast-BNI多核CPU。Fast-BNI通过紧密集成粗粒度并行和细粒度并行的混合并行来提高精确推理的效率。我们还提出了进一步简化BN精确推理的瓶颈操作的技术。Fast-BNI源代码可在https://github.com/jjiantong/FastBN上免费获得。
2022-12-08 cs.AI cs.DC
A Fast Causal Profiler for Task Parallel Programs
本文提出了TASKPROF,一个分析器,确定任务并行程序的并行性瓶颈。它利用任务并行执行的结构来执行细粒度的工作归属到程序的各个部分。TASKPROF使用硬件性能计数器来执行细粒度测量,从而最大限度地减少了干扰。TASKPROF的配置文件执行使用多核并行运行。TASKPROF的因果配置文件使用户能够估计在并行性的改进时,一个区域的代码进行了优化,即使具体的优化是未知的。我们使用TASKPROF隔离了23个使用英特尔线程构建模块库的应用程序中的并行性瓶颈。我们已经设计了并行化技术在五个应用程序中增加并行度的数量级使用TASKPROF。我们的用户研究表明,开发人员能够使用TASKPROF轻松隔离性能瓶颈。
2017-07-02 cs.DC cs.PL
P = FS: Parallel is Just Fast Serial
我们证明了同构处理器的并行处理在逻辑上等价于快速串行处理。反向命题也可以用来识别应用并行的模糊机会。据我们所知,该定理以前在排队论文献中还没有报道过。一个合理的解释是提供为什么这可能是。基本齐次定理也被扩展到优化异构并行阵列的延迟。
2020-10-02 cs.DC cs.NI cs.PF
Fast and Work-Optimal Parallel Algorithms for Predicate Detection
最近,谓词检测问题被证明是在并行复杂性类NC。在本文中,我们给出了第一个工作最优的并行算法来解决分布式计算的谓词检测问题的$n$进程和最多$m$状态的进程。以前最著名的并行谓词检测算法,MixelCut,具有时间复杂度$O(\log mn)$和工作复杂度$O(m^3n^3\log mn)$。我们给出了两个算法,一个是具有时间复杂度$O(mn)$和工作复杂度$O(mn^2)$的确定性算法,另一个是具有时间复杂度$(mn)^{1/2 + o(1)}$和工作复杂度$\tilde{O}(mn^2)$的随机算法。此外,我们的算法改进后的空间复杂度的切割。我们的两个算法都具有空间复杂度$O(mn^2)$,而EscherelCut具有空间复杂度$O(m^2n^2)$。
2020-12-02 cs.DC cs.DS
A parallel fast multipole method for a space-time boundary element method for the heat equation
提出了一种新的方法,将抛物型快速多极子方法并行化,用于热传导方程的时空边界元方法。我们利用所涉及的运营商的特殊的时间结构,提供一个有效的分布式并行化的时间和单向通信模式。在上面,我们应用基于任务的共享内存并行化和SIMD向量化。在数值测试中,我们观察到我们的并行化方法的高效率。
2023-01-29 cs.DC cs.NA math.NA
Parallel Algorithms for Constructing Data Structures for Fast Multipole Methods
我们提出了有效的算法来建立快速多极方法所需的数据结构和列表。该算法能够有效地实现在串行,数据并行GPU和分布式架构。利用这些算法,可以将FMM有效地映射到GPU或分布式异构CPU-GPU系统上。此外,在动态问题中,随着粒子的分布改变,构建数据结构的降低的成本提高了性能。使用这些算法,我们展示了示例高保真仿真与大的问题大小,通过使用FMM在单个和多个异构计算设施配备多核CPU和众核GPU。
2013-01-08 cs.DC cs.MS
FastEEP: Fast Intra-Instance Elastic Scaling for Expert-Parallel MoE Serving
Institute of Parallel and Distributed Systems (IPADS), Shanghai Jiao Tong University(上海交通大学并行与分布式系统研究所)
FastEEP是一种MoE服务的快速实例内弹性扩展系统,通过分离可复用结构与当前EP配置资源实现快速扩展,其扩展速度比现有vLLM方法快4.5-11.7倍,可高效细粒度扩展MoE服务。
2026-10-14 cs.DC cs.LG
Feature Selection with Evolving, Fast and Slow Using Two Parallel Genetic Algorithms
Istanbul Bilgi University(伊斯坦布尔比尔基大学);Tam Faktoring(塔姆保理公司);Istanbul Marmara University(伊斯坦布尔马尔马拉大学)
特征选择是机器学习中最具挑战性的问题之一,特别是在处理高维数据时。在本文中,我们解决的问题,特征选择,并提出了一种新的方法,称为进化快,慢。这种新方法是基于使用两个并行的遗传算法具有高和低的突变率,分别。进化的快与慢需要一种新的并行架构,将快速进化的自动系统和缓慢进化的努力系统结合起来。有了这个体系结构,探索和开发可以同时进行。具有高突变率的快速进化可用于利用长跳跃来探索搜索空间中的新未知位置;具有低突变率的缓慢进化可用于利用短移动来利用搜索空间中的先前已知位置。我们的实验表明,进化快和慢实现了非常好的结果,在准确性和功能消除。
2020-05-11 cs.AI cs.DC cs.NE
A Feasible Graph Partition Framework for Random Walks Implemented by Parallel Computing in Big Graph
图划分是大规模图数据并行计算的基本问题。在矩阵计算和PageRank等应用中,已经提出了许多图划分算法来解决这个问题,但没有人注意到随机游动。随机游动是研究图结构的一种广泛应用的方法。随机游动图划分的挑战包括大量的时间之间的通信,大量的顶点的复制,不平衡的分区等,在本文中,我们提出了一个可行的图划分框架的并行计算实现的大图的随机游动。该框架基于两个优化函数,在保证负载均衡的前提下,降低带宽、内存和存储开销。在此框架下,提出了几种贪婪图划分算法。我们还提出了五个指标,从不同的角度来评估这些算法的性能。通过在真实世界的大图数据集上运行算法,实验结果表明,该框架中的算法能够针对不同的需求解决随机游走的图划分问题,在减少通信次数方面最好的结果提高了70倍以上。
2014-12-31 cs.DC cs.SI physics.soc-ph
Fast Parallel Bayesian Network Structure Learning
The University of Western Australia(西澳大学)
贝叶斯网络是机器学习中广泛使用的表示不确定性知识的图形模型。主流的BN结构学习方法需要进行大量的条件独立性(CI)测试。学习过程非常耗时,特别是对于高维问题,这阻碍了BN被更多的应用所采用。现有的作品试图加速学习过程中的并行,但面临的问题,包括负载不平衡,昂贵的原子操作和占主导地位的并行开销。在本文中,我们提出了一个快速的解决方案命名为Fast-BNS在多核CPU上,以提高BN结构学习的效率。Fast-BNS由一系列效率优化提供支持,包括(i)设计动态工作池以监视边缘的处理并更好地调度线程之间的工作负载,(ii)将具有相同端点的边缘的CI测试分组以减少不必要的CI测试的数量,(iii)使用高速缓存友好的数据存储来提高内存效率,以及(iv)在运行中生成调节集以避免额外的存储器消耗。一个全面的实验研究表明,Fast-BNS的顺序版本是高达50倍的速度比它的同行,和Fast-BNS的并行版本达到4.8到24.5倍的加速比国家的最先进的多线程解决方案。此外,Fast-BNS具有良好的可扩展性的网络规模以及样本大小。Fast-BNS源代码可在www.example.com上免费获得。
2022-12-08 cs.AI cs.DC cs.LG
A Framework for Practical Parallel Fast Matrix Multiplication
Stanford University(斯坦福大学);Sandia National Laboratories(桑迪亚国家实验室)
本文提出一个框架,展示新型快速矩阵乘法算法在中等规模问题上优于传统算法和Strassen算法,同时探讨矩阵形状对算法选择的影响,并开发代码生成工具实现多种并行变体。
2014-09-09 cs.DC cs.MS cs.NA
Intel Cilk Plus for Complex Parallel Algorithms: "Enormous Fast Fourier Transform" (EFFT) Library
在本文中,我们展示了并行计算的大型一维离散快速傅立叶变换(DFFT)的多核英特尔至强处理器的方法。基于递归Cooley-Tukey方法的DFFT必须控制高速缓存利用率、内存带宽和向量硬件使用率,并且同时跨多个线程或计算节点进行缩放。我们的方法基于DFFT的单线程英特尔数学内核库(MKL)实现,并使用英特尔Cilk Plus框架实现线程并行。我们演示了英特尔Cilk Plus处理以嵌套循环为中心的并行递归的能力,而无需根据内核数量或缓存指标调整代码。我们的工作成果是一个名为EFFT的库,它执行大小为2^N(N>=21)的1D DFT的速度比相应的英特尔MKL并行DFT实现快1.5倍,比FFTW快2.5倍。EFFT的代码可以在GPL v3许可证下免费下载。这项工作提供了一种新的高效DFFT实现,同时演示了如何使用英特尔Cilk Plus框架优化具有复杂并行模式的计算机科学问题以实现高性能的教育示例。
2014-09-19 cs.DC cs.DS cs.MS