Accelerating Distributed-Memory Autotuning via Statistical Analysis of Execution Paths
大规模自动性能调优的高昂费用在很大程度上限制了对共享内存和GPU架构库的自动调优。我们介绍了一个框架,近似自动调整,实现了所需的信心,在每个算法配置的性能,通过构建置信区间来描述个别内核(基准程序的子程序)的性能。一旦内核的性能被认为对于一组输入是足够可预测的,则避免后续调用,并用执行时间的预测模型代替。然后,我们利用在线执行路径分析来协调选择性的内核执行和传播每个内核的统计配置文件。这种策略在频繁循环的计算和通信内核的存在下是有效的,这是数值线性代数算法的特征。我们封装这个框架的一部分,一个新的分析工具,克里特,自动内核执行决策和传播统计配置文件沿关键路线的执行。我们使用Stampede2上最先进的Cholesky和QR分解的分布式内存实现来评估我们的选择性执行方法所获得的性能预测准确性,并展示了高达7.1倍的速度提升和98%的预测准确性。
2021-03-01 cs.DC
Partially ordered distributed computations on asynchronous point-to-point networks
分布式算法的异步执行由于处理交换的消息的顺序的不确定性而彼此不同。在许多感兴趣的情况下,限制非确定性所导致的异步执行在特定于应用程序的意义上比其他异步执行更有效。在这项工作中,我们定义了部分有序的执行的分布式算法的执行满足一些限制的命令,他们的行动在两个不同的框架,即所谓的事件和脉冲驱动的计算。这些限制的目的是描述异步执行的特征,这些异步执行对于某些重要的应用程序类别可能更有效。此外,异步算法,确保发生偏序执行的情况下,每一种情况下。两个应用程序,我们认为可能会受益于有限的非确定性回溯搜索,在事件驱动的情况下,和线性方程组的迭代算法,在脉冲驱动的情况下。
2006-11-30 cs.DC
Evaluating Distributed Execution of Workloads
分布式执行的资源选择和任务放置带来了概念和实现上的困难。虽然资源选择和任务放置是许多工具和工作流系统的核心,但这些方法是临时的,而不是基于模型的。因此,部分和非互操作的实现激增。我们解决的概念和实施的困难,通过实验表征不同模式的资源选择和任务安排。我们比较了两个系统的架构和功能:AIMES中间件和Swift工作流脚本语言和运行时。我们将这些系统集成在一起,以便在AIMES中间件管理的Pilot-Jobs上分布式执行Swift工作流。我们的实验的特点和比较替代执行策略,通过测量的时间来完成异构的非耦合工作负载在不同的规模和多个资源上执行。我们测量的不利影响,试点碎片和早期绑定的任务资源和回填调度的好处,在多个资源上的试点。然后,我们利用这一洞察力在五个生产级资源上执行多阶段工作流程。我们讨论了其他工具和工作流系统的重要性和影响。
2021-11-02 cs.DC
A Distributed View from a Single GPU: RankLens for Distributed Training
Beihang University(北京航空航天大学)
RankLens是一种单GPU运行的分布式训练仿真系统,可在保留分布式语义的前提下,将分布式训练分析的资源需求降至单GPU,实现高通信结构匹配度与低时间误差。
2026-10-13 cs.DC
Pilotfish: Distributed Execution for Scalable Blockchains
针对区块链因过度配置验证器处理峰值负载导致的资源低效等问题,提出首个横向扩展交易执行引擎Pilotfish,通过分布式执行实现验证器水平扩展,与惰性区块链架构无缝集成,线性扩展至8个工作机且保持低延迟,填补执行弹性缺失环节。
2025-02-13 cs.DC
Towards Reliable (and Efficient) Job Executions in a Practical Geo-distributed Data Analytics System
在大型组织中,地理分布的数据分析越来越常见,以获取有用的信息。将现有集群规模的数据分析系统简单地扩展到地理分布式数据中心的规模面临着独特的挑战,包括WAN带宽限制、监管约束、可变/不可靠的运行时环境和货币成本。我们在这项工作中的目标是开发一个实用的地理分布数据分析系统,该系统(1)采用智能机制来有效地利用(适应)数据中心的资源(可变环境);(2)由于可能的故障,保证作业的可靠性;(3)通用且灵活,足以运行各种数据分析作业,而无需任何更改。为此,我们提出了一个新的通用地理分布式数据分析系统HOUTU,它由多个自治系统组成,每个系统都在一个主权数据中心中运行。HOUTU为每个数据中心的地理分布作业维护一个作业管理器(JM),以便这些复制的JM可以单独或协作地管理资源和分配任务。我们在HOUTU原型上的实验表明,HOUTU提供了与现有集中式架构接近的高效作业性能,并在遇到故障时保证可靠的作业执行。
2018-02-07 cs.DC
Optimizing MapReduce for Highly Distributed Environments
MapReduce是大规模数据处理的流行编程范例,传统上部署在紧密耦合的集群上,其中数据已经在本地可用。然而,数据和计算资源在单个中心位置可用的假设不再适用于商业、科学和社交网络领域中的许多新兴应用,其中数据以地理上分布式的方式生成。此外,执行数据分析所需的计算资源可以分布在多个数据中心或社区资源(诸如网格)上。在本文中,我们开发了一个建模框架,以捕获MapReduce执行在一个高度分布式的环境,包括分布式数据源和分布式计算资源。这个框架足够灵活,可以为MapReduce执行捕获多个设计选择和性能优化。我们提出了一个模型驱动的优化,有两个关键特征:(i)它是端到端的,而不是短视的优化,可能只会使局部最优,但全局次优的决策,(ii)它可以控制多个MapReduce阶段,以实现低运行时间,而不是单阶段优化,可能只控制个别阶段。我们的模型结果表明,我们的优化可以提供近82%和64%的执行时间减少近视和单阶段优化,分别。我们已经修改了Hadoop来实现我们的模型输出,并在8节点模拟PlanetLab测试平台上使用三种不同的MapReduce应用程序,我们表明,我们优化的Hadoop执行计划在运行时间上比普通Hadoop执行减少了31-41%。我们的模型驱动优化还提供了一些见解,根据应用程序和平台特性选择技术和执行参数。
2012-07-30 cs.DC
Proposal for improvement in the transfer and execution of multiple instances of a virtual image
虚拟化技术允许当前任何应用程序在异构分布式系统上运行任何复杂和昂贵的计算应用程序(科学应用程序就是一个很好的例子),这些系统经常使用网格和云技术,从而大大节省了计算时间。该模型对于科学模拟和计算的大规模执行特别有趣,允许使用科学家通常使用的相同执行环境(未更改)并行执行应用程序。但是,使用和分发大型虚拟映像可能会成为一个问题(高达数十个千兆字节),当试图在大量分布式计算机上发送大量邮件时,这个问题会变得更加严重。这项工作的主要目标是提出一个分析如何实现和建议的虚拟图像假装减少分布式系统中的分发时间的改进(减少大小)。这种分析是在非常具体的要求下完成的,即需要一个操作系统(来宾操作系统)对其执行的某些方面。
2011-08-02 cs.DC
Data-Locality-Aware Task Assignment and Scheduling for Distributed Job Executions
针对无未来作业到达先验信息的分布式作业执行,本文提出OBTA、扩展WF并设计RD启发式与最短预估时间优先排序,以降低作业完成时间和计算开销。
2025-07-27 cs.DC
Lightweight Asynchronous Snapshots for Distributed Dataflows
分布式有状态流处理支持在云中部署和执行大规模连续计算,目标是低延迟和高吞吐量。这种模式最基本的挑战之一是在潜在故障下提供处理保证。现有方法依赖于可用于故障恢复的周期性全局状态快照。这些方法有两个主要缺点。首先,它们通常会停止影响摄取的整体计算。第二,它们急切地将所有传输中的记录与操作状态一起持久化,这导致快照比所需的要大。在这项工作中,我们提出了异步屏障快照(ABS),一个轻量级的算法,适合于现代的轻量级执行引擎,最大限度地减少空间需求。ABS仅在非循环执行拓扑上持久化操作符状态,同时在循环拓扑上保持最小记录日志。我们在Apache Flink上实现了ABS,这是一个支持有状态流处理的分布式分析引擎。我们的评估表明,我们的算法不会对执行产生重大影响,保持线性可扩展性,并在频繁快照的情况下表现良好。
2015-06-29 cs.DC
LSKV: A Confidential Distributed Datastore to Protect Critical Data in the Cloud
针对云环境数据安全,提出LSKV分布式数据存储,利用可信执行机制保护关键数据,提供类似etcd的API,性能与etcd相当,降低构建可信系统的门槛。
2024-07-17 cs.DC
Optimizing Task Placement and Online Scheduling for Distributed GNN Training Acceleration
在大型图上训练图神经网络(GNN)是资源密集型和耗时的,主要是由于大型图数据无法放入单个机器的内存中,而是必须从分布式图存储中获取并随时处理。与分布式深度神经网络(DNN)训练不同,分布式GNN训练的瓶颈主要在于用于构建小批量训练样本的大型图数据传输。现有的解决方案通常提倡数据计算托管,并且在托管不可行的情况下不能很好地与有限的资源一起工作。任务的战略布局和数据传输与任务执行的优化调度的潜力还没有得到很好的开发。为了提高资源利用率,改善执行流水线,加快训练完成速度,设计了一种高效的分布式GNN训练任务放置和执行调度算法框架。我们的框架由两个模块组成:(i)一个在线调度算法,调度训练任务的执行,和数据传输计划;和(ii)一个探索性的任务布局方案,决定每个训练任务的位置。我们进行了深入的理论分析,测试床实验和模拟研究,并观察到与代表性基线相比,我们的算法的训练速度提高了67%。
2022-04-24 cs.DC
Executing Bag of Distributed Tasks on the Cloud: Investigating the Trade-offs Between Performance and Cost
分布式任务包(BoDT)可以从云上的分散执行中受益。然而,在通过为任务采用大量云VM可以实现的性能与用户经常设置的货币限制之间存在权衡。本文中报告的研究旨在调查这种权衡,以便生成在云上部署BoDT应用程序的最佳计划。提出并实现了一种综合考虑用户对性能和成本偏好的启发式算法。通过生成一个示例应用程序的执行计划,证明了该算法的可行性。关键的结果是,该算法生成的应用程序的最佳执行计划超过91%的时间。
2014-10-30 cs.DC
Distributed TensorFlow with MPI
机器学习和数据采掘(MLDM)算法在分析由模拟、实验和移动设备生成的大量数据方面变得越来越重要。随着数据量的增加,分布式存储器系统(例如紧密连接的超级计算机或云计算系统)在设计存储器内和大规模并行MLDM算法中变得重要。然而,大多数开源MLDM软件仅限于顺序执行,少数支持多核/众核执行。在本文中,我们扩展了最近提出的Google TensorFlow,以便使用消息传递接口(MPI)在大规模集群上执行。我们的方法只需要对TensorFlow运行时进行最小的更改-使所提出的实现具有通用性,并且易于为越来越多的TensorFlow用户使用。我们评估我们的实现使用InfiniBand集群和几个众所周知的datasets。我们的评估表明,我们提出的实施的效率。
2017-08-18 cs.DC
Transparently Capturing Request Execution Path for Anomaly Detection
随着云系统和大数据分析平台的规模和复杂性的增加,理解和诊断这种分布式平台中的服务请求的处理变得越来越具有挑战性。一种有助于处理此问题的方法是准确地捕获所有相关组件之间的服务请求的完整端到端执行路径。本文介绍了REPTrace,一个通用的方法来捕捉这样的执行路径在一个透明的方式。我们分析了一个全面的执行场景列表,并提出了原则和算法,为所有的场景生成端到端的请求执行路径。此外,本文提出了一种异常检测方法,利用请求执行路径来检测异常的执行过程中的请求处理。在四个不同负载的分布式平台上的实验表明,REPTrace能够透明地捕获请求执行路径,且具有合理的延迟和可忽略的网络开销。故障注入实验表明,执行异常检测具有较高的召回率(96%)。
2021-03-14 cs.DC
DiPETrans: A Framework for Distributed Parallel Execution of Transactions of Blocks in Blockchain
当代区块链,如比特币和以太坊,由矿工和验证者连续执行交易,并确定工作量证明(PoW)。这种串行执行无法有效地利用现代多核资源,因此限制了系统吞吐量并增加了事务接受延迟。这项工作的目的是通过引入并行事务执行使用静态分析技术,以增加事务吞吐量。我们提出了一个框架DiPETrans的分布式执行的交易块。在这里,区块链网络中的对等点形成一个社区来执行交易并使用领导者-追随者方法找到PoW。在挖掘过程中,leader静态分析事务,创建独立事务的不同组(分片),并将它们分发给follower以并行执行它们。在事务执行之后,社区的计算能力被用来并发地解决PoW。当一个区块被成功创建时,领导者将提议的区块广播给网络中的其他对等体进行验证。在接收到一个区块时,验证器会重新执行区块交易,并在区块达到矿工共享的相同状态时接受该区块。验证也可以作为一个社区并行进行,遵循与挖掘相同的领导者-追随者方法。我们报告了使用以太坊区块链中超过500万个真实交易的实验,并使用我们的DiPETrans框架执行它们,以经验验证我们的技术相对于传统顺序执行的优势。我们实现了矿工2.2倍的最大加速,验证器2.0倍的最大加速,每个区块100到500个交易。此外,当使用社区中的6台机器时,我们使用并行矿工实现了5倍于串行矿工的端到端块创建加速峰值。
2021-03-13 cs.DC
Flex-MIG: Enabling Distributed Execution on MIG
SungKyunKwan Univeristy(成均馆大学);Ajou Univeristy(亚洲大学)
针对MIG硬件刚性和一对一分配模型导致的集群碎片化与利用率不足问题,提出纯软件框架Flex-MIG,以一对多分配模型替代一对一模型,实现MIG实例间主机共享内存集合通信,减少碎片化并将完工时间最多缩短17%。
2025-11-13 cs.DC
Topological Characterization of Consensus in Distributed Systems
本文用点集拓扑完整刻画分布式系统中共识的可解性,提出故障感知拓扑,并解释现有算法与不可能性结果,建立强弱有效性条件的一般等价性。
2024-08-21 cs.DC
Location, Location, Location: Data-Intensive Distributed Computing in the Cloud
在编排高度分布式和数据密集型的Web服务工作流时,编排引擎的地理位置会极大地影响工作流的整体性能。演示引擎通常从组织的网络内运行,并且可能必须跨长的地理距离传输数据,这反过来增加了执行时间并降低了工作流的整体性能。在本文中,我们提出了CloudForecast:一个Web服务框架和分析工具,它给出了一个工作流规范,计算最佳的亚马逊EC2云区域自动部署编排引擎和执行工作流。我们使用Amazon Cloud区域和工作流节点之间的工作流地理距离、网络延迟和HTTP往返时间来查找云区域的排名。这个简单指标的组合集有效地预测了工作流编排引擎应该部署在哪里,以减少总体执行时间。我们通过执行在PlanetLab平台上部署的随机生成的数据密集型工作流来评估我们的方法,以便对Amazon EC2 Cloud区域进行排名。我们的实验结果表明,我们提出的优化策略,根据特定的工作流程,可以加快执行时间平均82.25%相比,本地执行。我们还表明,执行时间的标准差减少了近65%的平均使用优化策略。
2014-02-03 cs.DC
Pirateship: Append-Only Ledgers for (Mostly) Trusted Execution Environments
UC Berkeley(加州大学伯克利分校);IST Lisbon & INESC-ID(里斯本理工学院与信息系统与计算机研究所);Azure Research, Microsoft(微软 Azure 研究院)
Proteus是一种新的分布式共识协议,通过在CFT协议中嵌入BFT协议,提供在TEE被攻破时的完整性保障,同时保持性能。
2026-09-15 cs.DC
Design and Implementation of a Distributed Middleware for Parallel Execution of Legacy Enterprise Applications
典型的企业使用计算机局域网来执行其业务。在非工作时间,这些联网计算机的计算能力未得到充分利用或未使用。为了利用这种计算能力,应用程序必须重新编码以利用计算中固有的并发性,这对于没有任何源代码的遗留应用程序显然是不可能的。本文提出了一个分布式中间件的设计和实现,它可以通过并行化在多台网络计算机上自动执行一个遗留应用程序,该中间件在网络中的不同主机上并行运行多个二进制可执行代码副本。它封装了遗留应用程序的二进制可执行代码,以便捕获内核级数据访问系统调用,并以安全和无冲突的方式在多台计算机上分布式执行。该中间件还采用了动态调度技术,通过清除网络中主机的可用CPU周期,在最短的时间内执行目标应用程序。这种动态调度还支持主机的CPU可用性随时间变化,并适当地重新调度执行计算的副本,以最大限度地减少执行时间。这个中间件的原型实现已经开发的设计概念的证明。通过几个典型的案例研究对该实现进行了评估,测试结果证实了该中间件的工作符合预期。
2009-08-20 cs.DC
Directed Neuro-Symbolic Stochastic Execution for Verification of Distributed Parallel AI Programs
Quandary Peak Research(昆达里峰研究院)
针对分布式并行AI程序的可靠性缺口,提出DNSSE混合测试框架,结合LLM调度预测与符号约束求解等,实现更优的并发bug检测率与分支覆盖率。
2026-08-11 cs.AI cs.DC
Executing Bag of Distributed Tasks on Virtually Unlimited Cloud Resources
分布式任务包(BoDT)应用程序是相同且独立的任务的集合,每个任务都需要位于世界各地的一段输入数据。因此,云计算提供了一种有效的方式来执行BoT应用,因为它不仅包括多个地理上分布的数据中心,而且还允许用户仅为她实际使用的内容付费。在本文中,BoDT on the Cloud使用几乎无限的云资源。提出了一种启发式算法,以找到一个执行计划,考虑到预算约束。与其他方法相比,在相同的预算下,我们的算法能够减少总的执行时间高达50%。
2015-06-01 cs.DC
On Optimizing Distributed Tucker Decomposition for Sparse Tensors
塔克分解将奇异值分解(SVD)的概念推广到张量,即矩阵的高维类似物。研究了利用HOOI方法构造分布式存储系统上稀疏张量的Tucker分解的问题,HOOI方法是一种流行的迭代法。用于在处理器(MPI等级)之间分配输入张量的方案严重影响HOOI执行时间。先前的工作提出了不同的分配方案:离线方案的基础上复杂的超图分区方法和简单,轻量级的替代品,可以实时使用。虽然基于超图的方案通常导致更快的HOOI执行时间,但由于复杂,用于确定分布所花费的时间比单个HOOI迭代的执行时间高一个数量级。我们的主要贡献是一个轻量级的分发方案,实现了两全其美。我们表明,该计划是近最佳的某些基本指标与HOOI程序,因此,近最佳的计算负载(FLOPs)。虽然该方案可能会产生更高的通信量,但计算时间是主要因素,因此,该方案在整体HOOI执行时间上实现了更好的性能。我们对大型现实张量(具有多达40亿个元素)的实验评估表明,该方案在HOOI执行时间上优于先前方案,最多可达3倍。另一方面,它的分发时间与先前的轻量级方案相当,并且通常小于单个HOOI迭代的执行时间。
2020-01-19 cs.DC
Evaluation of Distributed Data Processing Frameworks in Hybrid Clouds
分布式数据处理框架(例如,Hadoop、Spark和Flink)被广泛用于在云的计算节点之间分发数据。最近,已经有越来越多的努力,旨在评估托管在私有云和公共云中的分布式数据处理框架的性能。然而,关于评估这些托管在混合云中的框架的性能的研究很少,混合云是一种新兴的云模型,它集成了私有云和公共云,以充分利用两者的优势。因此,在本文中,我们从执行时间、资源利用率、水平可扩展性、垂直可扩展性和成本等方面评估了Hadoop、Spark和Flink在混合云中的性能。在这项研究中,我们的混合云由OpenStack(私有云)和MS Azure(公共云)组成。我们使用批处理和迭代工作负载进行评估。我们的研究结果表明,在混合云中,(i)随着私有云从公共云借用更多的节点,执行时间会增加,(ii)Flink的性能优于Spark,而Spark在执行时间方面又优于Hadoop,(iii)Hadoop在工作负载执行期间在节点之间传输的数据量最大,而Spark传输的数据量最少,(iv)与垂直扩展相比,所有三个框架的水平扩展都更好,(v)就数据处理的成本而言,Spark最便宜,而Hadoop最昂贵。
2022-01-06 cs.DC
Generating representative macrobenchmark microservice systems from distributed traces with Palette
针对缺乏代表性微服务评估系统的问题,本文提出利用分布式追踪和 GCM 拓扑抽象建模调用概率、顺序与耗时,并通过 Palette 生成灵活的代表性宏基准系统。
2025-06-06 cs.DC
Enabling Multi-Dimensional Distributed Trace Comparison with Contrast
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);Microsoft Azure Research(微软Azure研究);Microsoft Research(微软研究院)
研究分布式跟踪诊断中的比较难题,提出Contrast系统,通过跟踪投影对象分离跟踪表示与比较语义,利用SpectroViz和Parallax接口展示能力,经实验验证其有效性和效率。
2026-07-22 cs.DC
Transparent hardware synthesis of Java for predictable large-scale distributed systems
JUNIPER项目正在开发一个用于构建大规模分布式系统的框架,在该框架中可以保证执行时间界限。这项工作的一部分涉及在FPGA上自动实现输入Java代码,以提高速度和可预测性。这项工作的一个重要重点是通过运行时协同设计和部分重新配置,使FPGA的使用透明。初步结果表明,使用Java不会妨碍硬件生成,并提供了严格的执行时间估计。本文介绍了一个概述所采取的方法,并提出了一些初步的结果,证明了承诺的技术。
2015-08-28 cs.DC
Optimizations to the Parallel Breath First Search on Distributed Memory
图及其遍历由于其适用于数学、科学和技术的各个领域而变得越来越重要。生物化学(基因组学)、电子工程(通信网络)、计算机科学(算法和计算)等领域的各种问题都可以建模为图问题。真实世界的场景,包括社区,他们的相互联系和相关的属性可以使用图进行研究。因此快速、可扩展、低成本地执行并行图算法是非常重要的。在这个实现中的并行宽度优先搜索的图形,我们实现了并行BFS算法与1-D分区的图中所描述的[2],并已减少了执行时间,通过优化通信的本地缓冲区。
2020-03-10 cs.DC
Flint: Compiler Enabled Cluster-Free Design Space Exploration for Distributed ML
Georgia Institute of Technology(佐治亚理工学院);NVIDIA(英伟达)
本文提出Flint框架,通过利用机器学习编译器的中间表示,解决未来分布式机器学习系统设计空间探索中工作负载表示不足的问题,展示其灵活性和有效性。
2026-04-19 cs.DC
Elastic Resource Allocation for Distributed Graph Processing Platforms
像Pregel这样的分布式图形平台已经使用顶点中心编程模型来使用商品集群处理不断增长的图形数据集语料库。图的不规则结构导致在图分区上操作的机器之间的负载不平衡,并且这对于诸如遍历的非静态图算法(其中不是图的所有部分都同时活动)而言是加剧的。因此,这样的图形平台,即使它们扩展,也不能有效地利用分布式资源。云提供了弹性虚拟机,可以利用这些虚拟机来提高这些平台的资源利用率,从而降低其执行的货币成本。在本文中,我们针对以子图为中心的编程模型提出了在云虚拟机上弹性放置图分区的策略,以与静态放置相比降低执行成本,即使我们最大限度地减少了完工时间的增加。这些策略在对图算法行为建模方面具有创新性。我们验证了我们的战略,几个图形,使用运行时的交易,他们的分布式执行的广度优先搜索(BFS)算法在我们的子图为中心的GoFFish图平台。与静态布局相比,我们的策略能够将执行成本降低高达42%,同时实现最大完工时间在最佳值的29%以内
2015-10-12 cs.DC
Distributed In-memory Data Management for Workflow Executions
来自不同领域的复杂科学实验通常被建模为工作流,并使用并行工作流管理系统(WMS)在大型机器上执行。由于这种执行通常持续数小时或数天,因此一些WMS提供用户引导支持,即,它们允许用户运行数据分析,并根据结果在运行时调整工作流程。并行执行控制设计中的一个挑战是管理工作流数据以实现高效执行,同时支持用户转向支持。高可扩展性的数据访问通常是面向事务的,而对于数据分析,它是面向在线分析的,因此管理这种混合工作负载使挑战变得更加困难。在这项工作中,我们提出了SchalaDB,一组设计原则和技术的基础上,分布式内存中的数据管理高效的工作流执行控制和用户转向的架构。我们提出了一个分布式数据设计的可扩展的工作流任务调度和高可用性驱动的并行和分布式内存中的DBMS。为了评估我们的建议,我们开发了d-Chiron,这是一个根据SchalaDB原则设计的WMS。我们进行了广泛的实验评估的HPC集群多达960个计算核心。在其他分析中,我们表明,即使在运行数据分析用户转向,SchalaDB的开销是可以忽略不计的工作负载组成的数百个并发任务的共享数据。我们的研究结果鼓励工作流引擎开发人员遵循并行和分布式的面向数据的方法,不仅调度和监控,但也为用户转向。
2021-05-12 cs.DB cs.DC
CHIRON: Accelerating Node Synchronization without Security Trade-offs in Distributed Ledgers
ISTA(维也纳科学与技术研究院);TU Wien(维也纳工业大学);Imperial College London(伦敦帝国理工学院);Mystenlabs
本文提出CHIRON系统,通过提取执行提示加速滞后节点和全节点,无需牺牲系统安全或增加共识关键路径的开销,实测提速达30%。
2026-05-17 cs.DC
Collaborative Cluster Configuration for Distributed Data-Parallel Processing: A Research Overview
许多组织经常使用分布式数据系统(并行处理和商品资源集群)来分析大型数据集。然而,用户需要为他们的数据处理作业配置足够的资源。这需要深入了解预期的作业运行时和伸缩行为、资源特征、输入数据分布以及其他因素。由于无法准确估计性能,用户经常为其作业过度调配资源,导致资源利用率低和成本高。在本文中,我们提出了主要的构建块对数据处理集群配置的优化基于运行时数据和性能模型的协作方法。我们相信,运行时数据可以被共享,并用于跨不同执行上下文的性能模型,大大减少了对单个处理作业或专用作业分析的依赖。为此,我们描述了如何处理作业和集群基础设施的相似性,可以结合合适的数据点,从本地和全球的作业执行到准确的性能模型。此外,我们概述了通过更多的上下文感知和可重用的模型进行性能预测的方法。最后,我们展示了如何将以前执行的度量与运行时监控相结合,以有效地动态重新配置模型和集群。
2022-06-01 cs.DC
Overcoming Latency-bound Limitations of Distributed Graph Algorithms using the HPX Runtime System
Louisiana State University(路易斯安那州立大学);University of Washington(华盛顿大学)
本文利用HPX运行时系统开发了高效的分布式图算法原型,通过异步执行和细粒度并行性显著提升了性能,克服了传统框架的延迟限制。
2026-03-04 cs.DC
Efficiently Reproducing Distributed Workflows in Notebook-based Systems
University of Missouri(密苏里大学);DePaul University(德保罗大学);University of Notre Dame(圣母大学)
本文提出NBRewind系统,通过增量检查点和日志提升分布式工作流在笔记中的可重现性与效率,减少全量重执行开销。
2026-03-27 cs.DC cs.SE
Hierarchical Dynamic Loop Self-Scheduling on Distributed-Memory Systems Using an MPI+MPI Approach
计算密集型循环是科学应用中并行性的主要来源。这样的循环通常是不规则的,并且它们的循环迭代的平衡执行对于实现高性能是至关重要的。然而,有几个因素可能导致不平衡的负载执行,例如问题特征、算法和系统变化。动态循环自调度(DLS)技术的目的是减轻这些因素,从而提高应用程序的性能。在分布式存储器系统上,DLS技术可以使用分层的主-工作者执行模型来实现,因此被称为分层DLS技术。这些技术在两个硬件并行级别上自调度循环迭代:跨计算节点和计算节点内。结合消息传递接口(MPI)和开放多处理(OpenMP)的混合编程方法主导了分层DLS技术的实现。MPI-3标准包括在MPI进程之间共享内存区域的特性。该特性引入了MPI+MPI方法,简化了并行科学应用程序的实现。本工作设计和实现分层DLS技术,利用MPI+MPI的方法。四个众所周知的DLS技术被认为是在这里提出的评估。结果表明,所提出的方法相比,混合MPI+OpenMP方法的某些性能优势。
2019-03-22 cs.DC
Co-evolving Tracing and Fault Injection with Box of Pain
分布式系统很难推理,主要是因为不确定在特定的执行中可能会出现什么错误,以及系统是否会减轻这些错误。干扰执行的工具可以帮助测试系统是否对错误具有鲁棒性,而观察执行的工具可以帮助更好地理解它们在系统范围内的影响。我们提出了盒的痛苦,未修改的分布式系统,解决这两个问题的跟踪和故障注入器插入在系统调用水平和动态重建的部分顺序的通信事件的因果关系的基础上。Box of Pain的轻量级跟踪方法专注于模拟部分故障对通信的影响,而不是故障本身,这使它有别于其他跟踪和故障注入系统。我们提出的证据的承诺盒的痛苦和轻量级的观察和扰动的分布式系统的方法。
2019-03-28 cs.DC
Configurable Runtime Orchestration for Dynamic Data Retrieval in Distributed Systems
Capital One
本文提出了一种基于配置的运行时编排框架,用于在分布式系统中实现动态数据检索,通过动态生成执行图实现低延迟编排,支持集成演变时无需重新部署工作流代码。
2026-03-07 cs.DC cs.SE
R2: A Distributed Remote Function Execution Mechanism With Built-in Metadata
命名数据网络(NDN)通过名称构建网络,提供了一种灵活和分散的方式来管理边缘计算连续体中的资源。本文旨在解决“给定一个函数及其参数和元数据,如何以分布式方式选择执行器并在NDN中获得结果?为了回答这个问题,我们设计了涉及以下阶段的R2。首先,我们设计了一个名称结构,包括数据,函数名和其他函数参数。其次,我们开发了一个两阶段的机制,其中在第一阶段,来自客户端的函数请求首先到达数据源并检索元数据,然后在元数据响应客户端的同时选择最佳节点。在第二阶段,所选择的节点直接检索数据,执行函数,并将结果提供给客户端。此外,我们提出了一个停止条件,智能地减少第一阶段的处理时间,并提供了一个简单的证明和范围分析。仿真结果表明,R2在资源分配方面优于现有的解决方案,特别是当数据量和功能复杂度较高时。在实验中,当数据大小为100 KiB,函数复杂度为$\mathcal{O}(n^2)$时,加速比为4.61。为了进一步评估R2,我们还在ndnSIM中的应用程序级别上实现了一个名为“Bolt”的通用中间数据处理逻辑。我们相信R2将帮助研究人员和开发人员顺利验证他们的想法。
2022-08-20 cs.DC
Auto-MAP: A DQN Framework for Exploring Distributed Execution Plans for DNN Workloads
Alibaba Group(阿里巴巴集团)
在过去的十年中,训练深度神经网络的计算需求不断增长。目前的办法(例如,数据/模型并行性、流水线并行)将训练任务并行化到多个设备上。然而,这些方法总是依赖于特定的深度学习框架,并且需要精心的手动设计,这使得难以在不同类型的模型之间进行维护和共享。在本文中,我们提出了Auto-MAP,一个用于探索DNN工作负载的分布式执行计划的框架,它可以通过深度学习模型的IR级别上的强化学习自动发现快速并行化策略。有效的探索仍然是强化学习的主要挑战。我们利用DQN与特定任务的修剪策略,以帮助有效地探索搜索空间,包括优化的策略。我们的评估表明,Auto-MAP可以在两个小时内找到最佳解决方案,同时在几个NLP和卷积模型上实现更好的吞吐量。
2020-07-08 cs.AI cs.DC
An Elastic Middleware Platform for Concurrent and Distributed Cloud and MapReduce Simulations
云计算研究涉及大量的实体,如用户、应用程序和虚拟机。由于这些资源的访问受限且可用性经常变化,研究人员将其原型在模拟环境中进行测试,而不是在真实的云环境中。CloudSim和EmuSim等现有云模拟环境按顺序执行,可以创建更先进的云模拟工具来扩展它们,利用最新技术以及研究实验室中多核计算机和集群的可用性。虽然计算已经随着多核编程、MapReduce范式和中间件平台而发展,但云和MapReduce模拟仍然无法利用这些发展本身。这项研究开发了Cloud2Sim,它试图填补模拟和他们试图模拟的实际技术之间的差距。首先,Cloud2Sim通过扩展CloudSim云模拟器,使用Hazelcast内存中的键值存储,提供了一个并发的分布式云模拟器。然后,它还提供了一个快速评估Hazelcast和Infinispan的MapReduce实现,自适应地将执行分布到一个集群,提供模拟MapReduce执行的方法。动态缩放器解决方案根据负载将云和MapReduce模拟扩展到运行Hazelcast和Infinispan的多个节点。分布式执行模型和自适应缩放解决方案可以作为多租户部署的通用自动缩放中间件。
2016-01-15 cs.DC
A Projection-Stable Grammatical Model for the Distributed Execution of Administrative Processes with Emphasis on Actors' Views
在过去的二十年里,业务流程的分散执行一直是业务流程管理的主要研究课题之一。为了便于进程的分布式执行,已经提出了几种进程规范的模型(语言)。LSAWfP是这一领域的最新成果之一:它有助于指定具有语法模型的行政流程,除了基本要素外,还指示每个行为者与其每个任务相关的权限(阅读、写入和执行)。在本文中,我们提出了一个模型,一个完全分散和工件为中心的执行指定使用LSAWfP的管理流程。所提出的模型特别强调演员的意见:然后,它允许某些任务的机密执行,通过确保,每个演员可能只有一部分的流程的全局执行状态的看法。因此,该模型解决了业务流程执行中的一个非常重要的问题,这在现有的方法中往往是靠边站。为了实现这一点,该模型依赖于三个投影算法,允许在给定时刻部分复制进程的全局执行状态,一致地更新所获得的部分状态,并推导出新的一致的全局状态。这三个算法的提出,底层数学工具的稳定性证明和实现的建议,是本文的主要贡献。
2021-03-27 cs.DC cs.FL cs.SE
Optimal Deployment of Geographically Distributed Workflow Engines on the Cloud
在编排Web服务工作流时,编排引擎的地理位置会极大地影响工作流性能。数据可能必须跨越很长的地理距离进行传输,这反过来又增加了执行时间并降低了工作流的整体性能。在本文中,我们提出了一个框架,给定一个基于DAG的工作流规范,计算最佳的Amazon EC2云区域来部署编排引擎和执行工作流。该框架采用了一个约束模型,解决了工作流部署问题,这是使用自动约束建模系统生成的。通过执行代表科学工作量的不同示例工作流来评估框架的可行性。实验结果表明,该框架减少了工作流的执行时间,并提供了1.3倍-2.5倍的速度超过集中式的方法。
2014-10-30 cs.DC
HiCR, an Abstract Model for Distributed Heterogeneous Programming
本文提出分布式异构编程抽象模型 HiCR,通过最小抽象操作集合与插件化运行时支持层,实现跨当前及未来硬件平台的应用执行。
2025-09-01 cs.DC
DISTEA: Efficient Dynamic Impact Analysis for Distributed Systems
动态影响分析是一种基本的技术,用于理解特定程序实体或对它们的更改对具体执行的程序其余部分的影响。然而,现有的技术对于在多个并发进程中运行的分布式程序是不适用的或者是非常有限的效用。本文介绍了DISTEA,分布式系统的动态影响分析的技术和工具。通过对分布式方法执行事件进行部分排序并从排序的事件中推断因果关系,DISTEA可以预测在流程边界内和跨流程边界传播的影响。我们实现了DISTEA for Java,并将其应用于四个不同类型和大小的分布式程序,包括两个企业系统。我们还评估了DISTEA的精度和实用性,并通过两个案例研究展示了它在程序理解中的应用。结果表明,DISTEA是高度可扩展的,比现有的替代品更有效,并有助于理解分布式系统及其执行。
2016-04-15 cs.DC cs.SE
QoSFlow: Ensuring Service Quality of Distributed Workflows Using Interpretable Sensitivity Models
University of Delaware(特拉华大学);Pacific Northwest National Laboratory(太平洋西北国家实验室);Illinois Institute of Technology(伊利诺伊理工学院)
QoSFlow通过可解释的敏感性模型,高效确保分布式工作流的服务质量,其推荐性能优于标准启发式方法27.38%。
2026-02-27 cs.DC cs.PF
What Distributed Systems Say: A Study of Seven Spark Application Logs
执行日志是记录软件系统运行时信息的重要媒介。虽然大量日志有助于提供有价值的详细信息,以便在发生故障时在事后分析中确定根本原因,但这也可能导致性能开销和存储成本。因此,在这项研究中,我们提出了我们的实验研究的结果,七个Spark的基准来说明不同的日志详细程度上的分布式软件系统的执行时间和存储成本的影响。我们还评估了日志的有效性和信息增益值,并研究了性能的变化和生成的日志为每个基准与各种类型的分布式系统故障。我们的研究为开发人员和从业人员提供了关于如何设置和利用分布式系统以从执行日志中受益的有见地的发现。
2021-08-18 cs.DC cs.SE
Checking Causal Consistency of Distributed Databases
CAP定理表明,(强)一致性、可用性和分区容差是不可能同时得到保证的。因果一致性模型是一种弱一致性模型,可以用来保证分布式系统的可用性和分区容忍性。在这项工作中,我们提出了一个工具来自动检查分布式/并发系统执行的因果一致性模型的一致性。我们的方法包括在减少检查的问题,如果执行是因果一致的解决Datasheet查询。减少是基于完整的特征的执行违反因果一致性方面的存在周期在适当定义的操作之间的关系发生在这些执行。在一个分布式数据库的测试工具中实现了该方法,并在实际案例中进行了实验,结果表明了该方法的有效性。
2021-02-16 cs.DB cs.DC
AutoParallel: A Python module for automatic parallelization and distributed execution of affine loop nests
程序设计语言、编程模型和框架的最新改进集中在将用户从许多编程问题中抽象出来。其中,最近的编程框架包括更简单的语法,自动存储管理和垃圾回收,这通过库包和易于配置的部署工具简化了代码重用。例如,Python由于其语法的简单性而上升到程序设计语言列表的顶部,同时即使是解释语言也仍然实现了良好的性能。此外,社区还帮助开发了大量的库和模块,并对其进行了调整以获得更好的性能。然而,在阻止用户直接处理分布式和并行计算问题时,仍有改进的空间。本文提出并评估AutoParallel,一个Python模块,自动找到一个适当的基于任务的并行仿射循环嵌套并行执行它们在分布式计算基础设施。这种并行化还可以包括构建数据块以增加任务粒度,以便实现良好的执行性能。此外,AutoParallel基于顺序编程,只包含一个Python装饰器形式的小注释,因此任何编程技能不高的人都可以将应用程序扩展到数百个核心。
2018-10-26 cs.DC cs.PL
Coded Distributed Computing: Performance Limits and Code Designs
我们考虑编码的分布式计算的问题,其中一个大的线性计算工作,如矩阵乘法,分为$k$较小的任务,使用$(n,k)$线性代码编码,并在$n$分布式节点上执行。目标是减少计算作业的平均执行时间。我们提供了一个连接之间的问题,表征编码的分布式计算系统的平均执行时间和分析的错误概率的代码长度$n$擦除通道使用的问题。因此,我们提出了使用二进制随机线性代码的执行时间和最佳执行时间的任何线性编码的分布式计算系统可以实现的封闭形式的表达式。它还表明,存在良好的二进制线性码,达到,渐近,最佳性能的任何线性码,不一定是二进制,可以实现。我们还研究了编码的分布式计算系统的性能,使用极性和Reed-Muller(RM)码,可以受益于低复杂度解码,和优越的性能,分别,以及明确的建设。在本文中提出的框架可以使有效的设计分布式计算系统的丰富的文献中的信道编码理论。
2019-06-24 cs.DC cs.IT math.IT
A Distributed Application Placement and Migration Management Techniques for Edge and Fog Computing Environments
雾/边缘计算模型允许利用物联网(IoT)设备附近的资源来支持各种类型的实时IoT应用。然而,由于用户的移动性和具有不同要求的广泛的物联网应用,满足这些应用的要求是一个具有挑战性的问题。由于资源有限,仅在一个雾/边缘服务器上执行IoT应用程序可能并不总是可行的,而在不同服务器上执行IoT应用程序需要服务器之间的进一步协作。此外,考虑到用户的移动性,每个物联网应用程序的某些模块可能需要迁移到其他服务器上执行,从而导致服务中断和额外的执行成本。在这篇文章中,我们提出了一个新的加权成本模型分层雾计算环境,在响应时间的物联网应用程序和物联网设备的能耗方面,以尽量减少成本运行物联网应用程序和潜在的迁移。此外,提出了一种分布式集群技术,使任务的协同执行,从应用程序模块,服务器之间发出。此外,我们提出了一种应用程序放置技术,以最大限度地减少以分布式方式在多个服务器上执行物联网应用程序的总体成本。此外,提出了一种分布式迁移管理技术,用于解决用户移动过程中应用程序模块向其他远程服务器迁移的问题,并在集群、应用程序放置和迁移管理技术中嵌入了故障恢复方法,用于从不可预测的故障中恢复。性能结果表明,我们的技术显着提高了其同行的位置部署时间,任务的平均执行成本,迁移总数,中断任务的总数,和累计迁移成本。
2021-08-05 cs.DC cs.PF
Bridging Design and Execution: A Visual Graph Editor for Edge and Cloud Workflows
Faculty of Technical Sciences, University of Novi Sad(诺维萨德大学技术科学学院);School of Electrical Engineering, University of Belgrade(贝尔格莱德大学电气工程学院)
提出一种领域特定可视化图形编辑器,通过内核、共享内存节点和事件触发器三种抽象,支持边缘和云应用的模块化设计,自动序列化为可执行表示,弥合设计与部署的鸿沟。
2026-06-23 cs.DC cs.SE
Scalable Synthesis of distributed LLM workloads through Symbolic Tensor Graphs
本文提出STAGE框架,通过符号张量图高效建模分布式AI工作负载,支持多种并行策略,实现大规模LLM和MoE模型的高保真仿真。
2026-06-26 cs.AI cs.DC