Distributed Parameter Estimation with Quantized Communication via Running Average
Nanyang Technological University（南洋理工大学）
本文提出一种两阶段算法，通过运行平均技术在分布式网络中实现集中样本均值估计，克服了传统共识算法的不足，提升了收敛速率和稳定性。
2015-07-24 cs.DC cs.MA cs.SY
mpiQulacs: A Distributed Quantum Computer Simulator for A64FX-based Cluster Systems
在经典计算机上运行的量子计算机模拟器对于开发真正的量子计算机和新兴的量子应用至关重要。特别是，状态向量模拟器，它将完整的状态向量存储在内存中，并在每次量子操作中更新它，可用于模拟任意形式的量子电路，调试量子应用程序，并验证未来的量子计算机。然而，时间和空间复杂度随着量子比特的数量呈指数级增长，并且很容易超过单个机器的能力。因此，我们开发了一个分布式状态向量模拟器$mpiQulacs$，该模拟器针对基于A64 FX的集群系统上的大规模模拟进行了优化。A64FX是一款基于ARM的CPU，也配备在世界顶级的Fugaku超级计算机中。我们评估了一个新的64节点的A64 FX为基础的集群系统命名为$Todoroki$的mpiQulacs与高达36量子位的弱和强缩放。通过比较mpiQulacs与现有的分布式状态向量模拟器，我们表明，mpiQulacs实现了最高的性能，为数十个节点上的大规模仿真，同时保持一个近乎理想的可扩展性。此外，我们定义了一个新的度量，$quantum B/F ratio$，并使用它来证明运行在Todoroki上的mpiQulacs适合分布式状态向量仿真的要求，而不是现有的模拟器运行在通用的基于CPU或基于GPU的集群系统。
2022-03-30 cs.DC
Dynamic Path Contraction for Distributed, Dynamic Dataflow Languages
我们提出了一个将森林砍伐应用于分布式动态BLOG编程模型的工作进展报告。我们提出了一种新的算法，动态路径收缩，适用于和反向优化的分布式并行应用程序的程序执行。使用该算法，数据和控制流由运行时系统跟踪，用于在系统运行时识别潜在的优化。我们展示和提出了初步的结果，这种技术的演员为基础的分布式编程模型，Lasp，实现在Erlang虚拟机上。
2016-09-05 cs.DC
Distributed (Delta + 1)-coloring in linear (in Delta) time
分布式（Delta + 1）-着色问题是分布式算法中最基本、研究最多的问题之一。从86年Cole和Vishkin的工作开始，发表了一长串逐渐改进的算法。由于Kuhn和Wattenhofer，PODC'06，目前最先进的运行时间是O（Delta log Delta + log^* n）。Linial（FOCS'87）已经证明了该问题的1/2 \log^* n的下限，Szegedy和Vishwanathan（STOC'93）提供了一个启发式论证，表明来自广泛的局部迭代算法家族的算法不太可能实现小于Θ（Delta log Delta）的运行时间。我们提出了一个确定性（Delta + 1）着色分布式算法，运行时间为O（Delta）+ 1/2 log^* n。我们还提出了一个运行时间和颜色数之间的折衷，并设计了一个O（Delta * t）-着色算法，运行时间O（Delta / t + \log^* n），对于任何参数t，1 < t < Delta^{1-n}，对于任意小的常数n，0 <n < 1。在得到这个结果的过程中，我们研究了图着色概念的一个推广，称之为亏色。在m-亏p-着色中，顶点被p种颜色着色，使得每个顶点最多有m个邻居具有相同的颜色。我们表明，一个m-亏损p-染色合理小的m和p可以非常有效地计算。我们还发展了一种技术，利用原图G的各种子图的多个缺陷着色来计算G的（Delta+1）-…
2008-12-26 cs.DC cs.NI
Adapting Local Sequential Algorithms to the Distributed Setting
这是一个众所周知的事实，顺序算法表现出很强的“本地”的性质，可以适应分布式设置给定的法律图着色。分布式算法的运行时间将至少是颜色的数量。令人惊讶的是，这个众所周知的想法从未被正式声明为一个统一的框架。在本文中，我们的目标是定义一个强大的家庭的本地顺序算法，可以很容易地适应分布式设置。然后，我们开发新的工具，以进一步增强这些算法，实现最先进的结果的基本问题。我们定义了一个简单的类贪婪算法，我们称之为\emph{orderless-local}算法。我们表明，给定一个合法的$c$着色的图形，在这个家庭中的每一个算法可以转换成一个分布式算法运行在$O(c)$通信轮的CONGEST模型。我们表明，这个家庭确实是强大的条件期望的方法和无约束的子模块最大化算法的Buchbinder \etal \cite{BuchbinderFNS15}可以表示为有序局部算法\emph{local utility functions} -效用函数，具有很强的局部性质。我们使用上述算法作为基础的新的分布式近似算法的加权变量的一些基本问题：最大$k$ -切，最大DiCut，最大2-SAT和相关聚类。我们开发的算法，具有相同的近似保证，其顺序的同行，一个恒定的添加剂$ε$因素，同时实现了$O(\log^* n)$运行时间的确定性算法和$O(ε^{-1})$运行时间的随机的。这在目前最知名的算法上呈指数级改进。
2018-05-12 cs.DC cs.DS
Large-Scale Distributed Algorithms for Facility Location with Outliers
本文提出了快速，分布式，$O(1)$近似算法的度量设施定位问题的离群值在拥挤集团模型，大规模并行计算（MPC）模型，并在$k$机模型。本文考虑了Charikar等人（SODA 2001）提出的带离群值的设施选址问题的两个版本：鲁棒设施选址和带惩罚的设施选址。本文还考虑了两种替代指定的输入：输入度量可以提供明确的（作为一个$n \times n$矩阵分布在机器之间）或隐式的最短路径度量的一个给定的边加权图。在本文中的结果是：-隐式度量：对于这两个问题，$O(1)$ -近似算法运行在$O(\mbox{poly}(\log n))$轮的拥塞集团和MPC模型和$O(1)$ -近似算法运行在$\tilde{O}(n/k)$轮的$k$ -机模型。- 显式度量：对于这两个问题，在拥塞集团和MPC模型中运行在$O(\log\log\log n)$轮中的$O(1)$ -近似算法和在$k$ -机器模型中运行在$\tilde{O}(n/k)$轮中的$O(1)$ -近似算法。我们的主要贡献是显示存在的Mettu-Plaxton风格的$O(1)$ -近似算法的设施位置与离群值的问题。如我们以前的工作所示（Berns等人，ICALP 2012，Bandyapadhyay等人，ICDCN 2018）Mettu-Plaxton风格的算法更容易在分布式和大规模计算模型中有效实现。
2018-11-15 cs.DC cs.DS
Distributed Offline Data Reconstruction in BaBar
SLAC的BaBar实验已经进入第四个年头。数据处理系统一直在不断发展，以应对更高光度运行和每年重新处理的数据量不断增加的挑战。为了实现这些目标，采用了双通道处理架构，其中在第一通道中对一小部分事件快速计算“滚动校准”，并在第二通道中进行批量数据重建。这允许在第一次通过中的快速检测器反馈，并允许在两个或更多个单独的农场上并行化第二次通过。这种双通道系统还允许将加工农场分布在场外。第一个这样的网站已经在INFN帕多瓦建立。这里遇到的挑战很多。该软件被移植到一个完整的基于Linux的商用硬件系统上。原始数据集（90 TB）是使用155 Mbps网络链接从SLAC导入的。开发了一个质量控制系统，并将处理后的数据输出回SLAC。在SLAC和Padova之间，我们目前运行着三个一次通过的场，每个场有32个CPU，九个二次通过的场，每个场有64到80个CPU。两个场每天可以处理200万到400万个事件。将介绍有关该系统的实施和性能的详细信息。
2003-06-13 cs.DC
Faster Distributed Shortest Path Approximations via Shortcuts
最近的一系列成果和突破导致了更快和更好的分布式近似算法的单源最短路径（SSSP）和CONGEST模型中的相关问题。然而，所有这些算法的运行时间都是$\tildeΩ(\sqrt{n})$，与网络拓扑无关，即使是在具有（多）对数网络直径$D$的良好网络上。虽然这对于某些病态网络是必要的，但大多数感兴趣的拓扑结构都不是这种类型。我们给出了第一个分布式的最短路径问题的近似算法，调整到拓扑结构上运行，从而实现显着更快的运行时间在许多感兴趣的拓扑结构。我们的算法的运行时间依赖于并接近于$Q$，其中$Q$是给定拓扑结构的最佳捷径的质量。虽然$Q = \tildeΘ(\sqrt{n} + D)$用于病理最坏情况的拓扑，但许多感兴趣的拓扑具有$Q = \tildeΘ(D)$，这导致我们的算法在给定平凡$Ω(D)$下限的情况下接近实例最优运行时间。我们考虑的问题如下：（1）近似的最短路径树和SSSP距离，（2）每个节点的多对数大小距离标签，使得仅从任何两个节点的标签可以确定它们的距离（近似），以及（3）转运问题的（近似）最优流。我们的算法有一个可调的运行时间和近似比之间的权衡。我们最快的算法有一个任意好的多项式近似保证和一个基本上最佳的$\tilde{O}(Q)$运行时间。另一方面，我们在$\tilde{O}(Q \cdot n^ε)$轮中实现了对任何$ε> 0$的多对数近似。
2018-08-07 cs.DC cs.DS
DIFET: Distributed Feature Extraction Tool For High Spatial Resolution Remote Sensing Images
本文提出了一种分布式高空间分辨率遥感图像特征提取工具。工具基于Apache Hadoop框架和Hadoop图像处理接口。两个角点检测算法（Harris和Shi-Tomasi）和五个特征描述符（SIFT，SURF，FAST，BRIEF和ORB）被认为是。从LandSat-8图像的特征提取的任务中的工具的鲁棒性进行了评估的水平可扩展性。
2018-08-26 cs.DC
Distributed Real-Time Energy Management in Data Center Microgrids
数据中心运营商在运行其数据中心时通常面临三个重要问题，即，不断上涨的电费、不断增加的碳足迹和意外停电。为了缓解这些问题，在微电网中运行数据中心是一个很好的选择，因为微电网可以提高电力服务的能源效率、可持续性和可靠性。因此，在本文中，我们调查的问题，能源管理多个数据中心的微电网。具体而言，我们打算通过考虑电价、可再生能源产出和数据中心工作负载的不确定性，最大限度地降低数据中心微电网的长期运营成本。我们首先制定了一个随机规划问题的考虑因素很多，例如，为批量工作负载、交互式工作负载分配、批量工作负载削减、电力购买/销售、电池充电/放电效率以及备用发电机的斜坡约束提供异构服务延迟保证。然后，我们设计了一个实时和分布式算法的基础上，李雅普诺夫优化技术和交替方向的乘法器（ADMM）的一个变种的问题。此外，所提出的算法提供的性能保证进行了分析。大量的仿真结果表明，该算法在降低数据中心微电网的运营成本的有效性。
2017-02-01 cs.DC
A Byzantine Fault Tolerant Distributed Commit Protocol
在本文中，我们提出了一个拜占庭容错分布式提交协议的事务运行在不可信的网络。传统的两阶段提交协议通过复制协调器和在协调器副本之间运行拜占庭协议算法来增强。我们的协议可以容忍拜占庭故障的协调副本和一个子集的恶意故障的参与者。一个决策证书，其中包括一组注册记录和一组投票的参与者，是用来促进协调副本，以达到拜占庭协议的结果，每一个交易。该证书还限制了错误副本可以用于非原子终止事务或语义上不正确的事务结果的方式。
2007-08-01 cs.DB cs.DC
Deterministic Fault-Tolerant Distributed Computing in Linear Time and Communication
本文针对同步完全网络中的共识、流言传播和检查点问题，开发了确定性容错分布式算法，在崩溃和认证拜占庭故障模型下实现了线性运行时间与通信量，并证明了性能下界以确保最优性。
2023-05-19 cs.DC cs.DS
A monitoring system for collecting and aggregating metrics from distributed clouds
Faculty of Technical Sciences University of Novi Sad（诺维萨德大学技术科学学院）
本文提出了一种监控系统，用于从分布式云收集和聚合指标，以提高系统的可观测性和可管理性。
2026-03-05 cs.DC
PALS: Distributed Gradient Clocking on Chip
针对片上模块本地时钟生成的时钟/异步二分法局限，提出基于分布式梯度时钟同步算法的PALS设计，在接近自由振荡器频率性能的同时实现相邻模块相位偏移远小于单时钟周期，15nm 2GHz ASIC仿真下32×32网格网络最坏相位偏移仅20ps。
2023-08-29 cs.AR cs.DC
Parameterized Distributed Complexity Theory: A logical approach
参数化复杂性理论提供了一个框架，精细的分析困难的算法问题。不是将算法的运行时间仅表示为输入大小的函数，而是相对于输入实例的一个或多个参数来表示运行时间。在这项工作中，我们遵循参数化的复杂性的方法，提供一个参数化的分布式复杂性的框架。参数化复杂性中的效率的中心概念是固定参数的易处理性，我们将分布式模拟分布式FPT（用于$\{Local, Congest, Congested-Clique\}$中的分布式）定义为可以在分布式计算的分布式模型中的$f(k)$通信轮中解决的一类问题，其中$k$是问题实例的参数，$f$是任意可计算函数。为了对硬度进行分类，我们引入了三个层次。分布式WEFT层次的定义类似于参数化复杂性理论中的W-层次，通过简化加权电路可满足性问题，但事实证明，这种定义并不能为局部和拥塞模型带来令人满意的框架。然后，我们遵循一种逻辑方法，导致一个更强大的理论。通过适当的约简，我们将具有一阶模型检验问题的分布式W层次和分布式A层次定义为它们的完全问题。
2021-02-17 cs.DC cs.DM
JBotSim, a Tool for Fast Prototyping of Distributed Algorithms in Dynamic Networks
JBotSim是一个Java库，它为动态网络中的分布式算法的原型设计、运行和可视化提供了基本的原语。有了JBotSim，人们可以在几分钟内实现一个想法，并在它运行时与它进行交互（例如{ \it}，添加，移动或删除节点）。JBotSim非常适合为同事或学生准备算法的现场演示;它也可以用于评估算法级别的性能（消息数量，回合数等）。与大多数工具不同，JBotSim不是一个集成环境。它是一个轻量级的库，可以在你的程序中使用。在本文中，我们提出了一个概述其鲜明的特点和架构。
2019-09-25 cs.DC cs.MS cs.NI
Fallout: Distributed Systems Testing as a Service
所有现代分布式系统都将性能和可伸缩性列为其核心优势。考虑到最佳性能需要仔细选择配置选项，并且典型的集群大小可以从2到300个节点不等，因此任何两个集群都很少完全相同。在这个大型配置空间中验证分布式系统的行为和性能具有挑战性，而没有跨越软件堆栈的自动化。在本文中，我们介绍了Fallout，这是一个开源的分布式系统测试服务，可以自动配置和配置分布式系统和客户端，支持运行各种工作负载和基准测试，并根据收集的指标生成性能报告进行可视化分析。我们已经在DataStax内部运行了5年多的Fallout服务，最近将其开源，以支持我们与Apache Cassandra，Pulsar和其他开源项目的合作。我们描述了Fallout的架构及其设计的演变，以及我们在动态环境中操作此服务时学到的经验教训，在这个环境中，团队使用不同的产品并支持不同的基准测试工具。
2021-10-11 cs.DB cs.DC
ZOFI: Zero-Overhead Fault Injection Tool for Fast Transient Fault Coverage Analysis
容错研究的实验评估依赖于在程序运行时注入错误的工具，然后监视执行和错误执行的输出。特别是，在基于软件的瞬态故障可靠性研究中建立的方法，涉及运行每个工作负载数百或数千次，在该过程中注入随机位翻转。大多数此类研究依赖于定制的故障注入工具，这些工具基于修改后的处理器模拟器或代码插装框架。这些工具的开发并不简单，通常比本机执行慢几个数量级。在本文中，我们提出了ZOFI，一种新的基于时序的故障注入工具，其目的是用于瞬态故障的故障覆盖研究。ZOFI是一个零开销工具，这意味着分析的工作负载以本机速度运行。与围绕模拟器或代码插装工具设计的常见方法相比，这要快几个数量级。ZOFI是免费软件，可在https://github.com/vporpo/zofi上获得。
2019-08-28 cs.DC
FAME: QoS-aware Async Service Orchestration for Agentic Workflows
Indian Institute of Science, Bangalore（印度科学研究所班加罗尔分校）；IBM Research Lab, Bangalore, India（印度班加罗尔IBM研究实验室）
本文提出FAME架构，利用FaaS平台优化MCP启用的智能工作流，实现模块化组合和状态持久化，提升效率与成本效益。
2026-08-11 cs.DC
Control and Debugging of Distributed Programs Using Fiddle
分布式调试引擎Fiddle的主要目标是为开发调试工具提供一个灵活的平台。Fiddle提供了一组分层的接口，具有最少的调试功能，用于检查和控制分布式和多线程应用程序。本文阐述了如何使用Fiddle来支持集成测试和调试。所描述的方法基于一个名为Deipa的工具，该工具解释从独立测试工具生成的输入文件中读取的命令序列。Deipa充当Fiddle客户端，以便在分布式PVM程序中强制执行特定的执行路径。其他Fiddle客户端可以与Deipa一起使用，用于在进程级别进行精细调试。描述了Fiddle和Deipa的功能和架构，并通过一个工作示例展示了这些工具的分步应用。
2003-09-26 cs.DC
A CAD-Based tool for fault tolerant distributed embedded systems
可靠性和可用性分析是关键嵌入式系统可靠性研究的基础。嵌入式系统可靠性的经典实现依赖于将两个基本结构与所需的可靠性技术合并以形成一个复合结构。基本系统组件与可靠性组件的分离降低了复杂性并改进了设计。这项工作的目标是帮助实现基于重构的容错在安全关键的嵌入式系统应用。其主要目的是减少修复时间，以提高容错和生产可靠的嵌入式系统。所提出的解决方案是一个专用的CAD工具，旨在为分布式嵌入式系统的系统管理器生成一个参考策略，以控制和自动重新配置系统的处理元件。所提出的工具自动生成程序代码，由系统管理器执行，以管理DES。它还计算了不同的可靠性解决方案与必要的支持计算参数和图形排序，以支持系统的容错设计。所提出的工具可以用来模拟可能的配置的基础上所需程度的故障和系统的可靠性。该工具的图形界面是独特的，隐藏了系统的复杂性。与类似的工具进行了比较。
2021-01-13 cs.DC
Microcontroller based distributed and networked control system for public cluster
本文介绍了一种开放式并行机--公用机群系统的分布式控制结构及其应用。遵循公共集群的性质，集成分布式控制系统完全可以通过网络使用用户友好的Web界面访问。该系统主要用于控制提供给某些用户的并行计算机块中每个节点的功率。这对于延长相关硬件的使用寿命，降低整体运行和维护成本尤为重要。该系统由主控制器和节点控制器两部分组成，两者通过RS-485接口相连。每个节点控制器被分配一个唯一的地址来区分它们中的每一个。我们还简要讨论了该系统在LIPI公共联网的实施。
2009-06-01 cs.DC
A Distributed System for Storing and Processing Data from Earth-observing Satellites: System Design and Performance Evaluation of the Visualisation Tool
我们提出了一个分布式系统的存储，处理，三维可视化和基本分析的数据从地球观测卫星。数据库和服务器的设计具有高性能和可伸缩性，而客户端由于设计为基于HTML5和WebGL的Web应用程序，因此具有高度的可移植性。该系统基于所谓的MEAN堆栈，这是LAMP的现代替代品，LAMP在高性能Web应用程序中一直受到关注。我们展示了从用户操作客户端的角度来看，系统的性能。
2016-02-10 cs.DC
A Hypermedia Distributed Application for Monitoring and Fault-Injection in Embedded Fault-tolerant Parallel Programs
我们描述了一个分布式的，多媒体应用程序正在开发的ESPRIT-IV项目21012 EFTOS（嵌入式容错超级计算）的框架。该应用程序动态设置HTML页面的层次结构，反映在Parsytec CC系统上运行的符合EFTOS的可靠应用程序的当前状态。这些网页被输入到一个万维网浏览器，该浏览器起着超媒体监视器的作用。所采用的方法允许用户专注于他/她的应用程序的高层次方面，以便快速评估其当前的容错设计的质量。这个系统的观点本身很好地耦合到一个工具，以交互方式注入软件故障的用户应用程序，这个工具目前正在开发中。
2014-01-13 cs.DC
A Modular Toolkit for Distributed Interactions
我们讨论的设计，架构和实现的工具包，支持一些理论的分布式交互。我们的架构的主要设计原则是灵活性和模块化。我们的主要目标是提供一个易于扩展的工作台，包括当前的算法，并纳入未来的理论发展。借助一些例子，我们说明了我们的工具包的主要功能。
2011-10-19 cs.DC cs.PL
A Distributed Conductance Tester Without Global Information Collection
本研究在CONGEST模型下提出一种时间最优的分布式图电导率测试算法，仅需O(log n)轮通信且无需全局信息聚合，通过黏附顶点概念完成紧致分析，相较现有方案更高效鲁棒。
2024-03-11 cs.DC cs.DS
CoInDiVinE: Parallel Distributed Model Checker for Component-Based Systems
CoInDiVinE是一个并行分布式模型检验的工具，在分层的基于组件的系统中组件之间的交互。该工具扩展了DiVinE框架与一个新的输入语言（组件交互自动机）和属性规范逻辑（CI-LTL）。由于该语言不同于DiVinE的输入语言，我们的工具采用了一种新的状态空间生成算法，也支持偏序约简。实验表明，该工具在并行环境下运行时具有良好的缩放性能。
2011-11-02 cs.DC cs.SE
New Distributed Algorithms in Almost Mixing Time via Transformations from Parallel Algorithms
我们表明，许多经典的优化问题-如$(1\pmε)$ -近似最大流，最短路径，转运-可以计算在$\newcommand{\tmix}{τ_{\text{mix}}}\tmix(G)\cdot n^{o(1)}$轮的分布式消息传递，其中$\tmix(G)$是混合时间的网络图$G$。这推广了Ghaffari等人的结果。[PODC'17]，其主要结果是在CONGEST模型中的$\tmix(G)\cdot 2^{O(\sqrt{\log n \log\log n})}$轮中的分布式MST算法，适用于更广泛的一类优化问题。对于许多感兴趣的实际网络，例如，在对等或覆盖网络结构中，混合时间$\tmix(G)$较小，例如，多对数的在这些网络上，我们的算法绕过了Das Sarma等人的$\tildeΩ(\sqrt n+D)$下限。[STOC 11]，其适用于最坏情况的图，并适用于所有上述优化问题。对于所有的问题，除了MST，这是第一个分布式算法，需要$o(\sqrt n)$轮（非平凡）限制类的网络图。为了获得这些改进的分布式算法，我们的主要贡献是一个通用的转换，模拟任何工作效率的PRAM算法运行在$T$并行轮通过分布式算法运行在$T\cdot \tmix(G)\cdot 2^{O(\sqrt{\log n})}$轮。工作和时间效率的并行算法，所有上述问题的结合谢尔曼[FOCS'13，SODA'17]和…
2018-05-12 cs.DC cs.DS
Distributed Incremental SAT Solving with Mallob: Report and Case Study with Hierarchical Planning
本报告扩展了Mallob平台以支持增量SAT求解，并在层次规划案例中验证，通过并行处理587个规划实例，在多个领域显著加速了求解过程。
2025-05-24 cs.DC cs.LO
Distributed Silhouette Algorithm: Evaluating Clustering on Big Data
Politecnico di Torino（都灵理工大学）
在大数据时代，每种算法需要具备的关键特征是能够在分布式环境中高效并行运行。不幸的是，用于评估聚类质量的流行的Silhouette度量不具有此属性，并且相对于输入数据集的大小具有二次计算复杂性。出于这个原因，它的执行在大数据场景中受到了阻碍，在这些场景中，必须以其他方式评估聚类。为了填补这一空白，在本文中，我们介绍了第一个算法，计算的轮廓度量线性复杂度，可以很容易地在分布式环境中并行执行。它的实现在Apache Spark ML库中免费提供。
2023-03-24 cs.AI cs.DC cs.DS
Scalable Deep Learning on Distributed Infrastructures: Challenges, Techniques and Tools
Technical University of Munich（慕尼黑工业大学）
深度学习（DL）在最近取得了巨大的成功，在图像识别和自然语言处理等各个领域取得了最先进的成果。这种成功的原因之一是DL模型的规模不断增加，以及大量可用训练数据的激增。为了不断提高下行链路的性能，提高下行链路系统的可扩展性是必要的。在本调查中，我们对分布式基础设施上可扩展DL的挑战、技术和工具进行了广泛而彻底的调查。这包括DL的基础设施，并行DL训练的方法，多租户资源调度以及训练和模型数据的管理。此外，我们分析和比较了11个当前的开源DL框架和工具，并调查了哪些技术在实践中通常被实现。最后，我们强调未来的研究趋势，DL系统，值得进一步研究。
2019-09-25 cs.AI cs.DC
Matrix Distributed Processing: A set of C++ Tools for implementing generic lattice computations on parallel systems
我们提出了一套编程工具（类和功能写在C++和消息传递接口的基础上）的通用并行（和非并行）晶格模拟的快速发展。它们统称为MDP 1.2。这些编程工具包括用于矩阵、随机数生成器、分布式网格（具有任意拓扑结构）、字段和并行迭代的类和算法。使用它们不需要以前的MPI知识。介绍了量子色动力学在电磁学、电子学、凝聚态和格点量子色动力学中的应用。
2001-08-14 cs.DC cs.MS hep-lat
A Fresh Approach to Evaluate Performance in Distributed Parallel Genetic Algorithms
本研究提出一种基于数学模型的新方法，用于评估多核集群上多种群并行遗传算法的性能，可量化分析核心数、迁移策略等因素的影响，为性能评估与局限性分析提供新工具。
2021-06-18 cs.DC cs.NE
Specx: a C++ task-based runtime system for heterogeneous distributed architectures
本文提出了Specx，一种用现代C++编写的基于任务的运行时系统，通过同时利用CPU和GPU（CUDA/HIP）并将通信纳入任务图来支持分布式异构计算，并在并行应用中展示了其潜力。
2024-11-15 cs.DC cs.SE
PlinyCompute: A Platform for High-Performance, Distributed, Data-Intensive Tool Development
本文介绍了PlinyCompute，一个用于开发高性能、数据密集型、分布式计算工具和库的系统。总的来说，PlinyCompute为程序员提供了一个非常高级的声明式接口，依靠自动的关系数据库风格的优化来弄清楚如何进行分布式计算。然而，在小型计算机中，PlinyCompute为有能力的系统程序员提供了持久对象数据模型和API（“PC对象模型”）以及相关的存储管理系统，这些系统是为高性能、分布式、数据密集型计算而设计的。这与大多数其他大数据系统形成对比，这些系统构建在Java虚拟机（JVM）之上，因此必须至少部分地将性能关键问题（如存储管理（包括布局和分配）和虚拟方法/函数分派）交给JVM。这种混合的方法-在大的声明，信任程序员的能力，有效地利用PC对象模型在小-结果在一个系统，是理想的可重用的，数据密集型的工具和库的开发。通过广泛的基准测试，我们表明，与Spark上的等效实现相比，在PlinyCompute上实现复杂的对象操作和非平凡的库式计算可以导致2倍到50倍以上的加速。
2017-11-16 cs.DB cs.DC
Distributed Augmented Reality with 3D Lung Dynamics -- A Planning Tool Concept
增强现实（AR）系统通过使用先进的显示技术向世界添加视觉信息。小型化和降低成本的进步使得这些系统中的一些系统在广泛的领域中的应用是可行的。我们为未来的手术室提出了网络基础设施的潜在组成部分;基于分布式AR的软硬件系统，可以实时可视化直接叠加在患者身体上的3D肺动力学。几种紧急事件（例如闭合性和张力性气胸）和与肺相关的外科手术（例如肺移植、肺减容手术、肺部感染的外科治疗、肺癌手术）可以从所提出的原型中受益。
2018-11-29 cs.DC cs.HC
BoolSi: a tool for distributed simulations and analysis of Boolean networks
我们提出了BoolSi，一个开源的跨平台命令行工具，用于同步更新的确定性布尔网络的分布式模拟。它使用MPI标准来支持在计算集群上执行，以及在单个计算机上的并行处理。BoolSi可用于模拟复杂动态网络的行为，例如基因调控网络。特别是，它允许网络吸引子的识别和统计分析。我们进行了一个形成层细胞的活动的案例研究，以证明该工具的能力。
2019-10-18 cs.DC math.DS q-bio.MN
Parallel Graph Coloring Algorithms for Distributed GPU Environments
图着色通常用于并行化在分布式和多GPU环境中运行的科学计算;它标识可以并行更新的独立数据集。在单个GPU或分布式存储器中存在许多用于图着色的算法，但据我们所知，混合MPI+GPU算法直到本工作才被探索。基于Gebremedhin等人的分布式着色算法和Deveci等人的共享内存着色算法，提出了几种MPI+GPU着色方法。节点上的并行着色使用KokkosKernels中的实现，它为多核CPU和GPU提供并行化。我们进一步扩展我们的方法来计算距离-2和部分距离-2着色，给出了第一个已知的分布式，多GPU算法，这些问题。此外，我们提出了一种新的启发式，以减少通信的分布式图着色的包围圈。我们的实验表明，我们的方法有效地运行在输入太大，适合在一个单一的GPU和扩展到图形与76.7十亿边运行在128个GPU。
2021-06-30 cs.DC cs.DM
DiLeNA: Distributed Ledger Network Analyzer
本文介绍了分布式账本网络分析器（DiLeNA），这是一种用于分析分布式账本技术（DLT）中记录的交易网络的新软件工具。DLT中的事务集形成了一个复杂的网络。研究其特征和特性对于了解用户如何在分布式账本系统中交互至关重要。介绍了该工具的设计和实现，并给出了一些结果。特别是，比特币和以太坊区块链，即撰写本文时最著名和最常用的DLT，已经进行了分析和比较。
2020-07-29 cs.DC cs.NI
Recursive Matrix Algorithms in Commutative Domain for Cluster with Distributed Memory
我们给出了一个概述的矩阵块递归算法在交换域的理论结果，并提出了实验结果，我们进行了新的并行程序的基础上，这些算法在超级计算机MVS-10 P在联合超级计算机中心的俄罗斯科学院。为了证明这些程序的可扩展性，我们测量了不同数量的处理器的程序的运行时间，并绘制了效率因子的图形。此外，我们提出的主要应用领域中，这种并行算法的使用。它的结论是，这类算法允许获得高效的并行程序的集群与分布式存储器。
2019-03-11 cs.DC cs.SC math.RA
Dynamic Stale Synchronous Parallel Distributed Training for Deep Learning
York University（约克大学）；IBM Canada（加拿大国际商业机器公司）
深度学习是一种流行的机器学习技术，已被应用于许多现实世界的问题。然而，训练深度神经网络非常耗时，尤其是在大数据上。单个机器在大型数据集上训练大型模型已经变得困难。一个流行的解决方案是使用参数服务器框架在多台机器上分布和并行化训练过程。在本文中，我们提出了一个分布式范例的参数服务器框架称为动态陈旧同步并行（DSSP），提高了国家的最先进的陈旧同步并行（SSP）的范例，通过动态确定陈旧阈值在运行时间。传统上，为了在SSP中运行分布式训练，用户需要指定特定的过时阈值作为超参数。然而，用户通常不知道如何设置阈值，因此经常通过反复试验来找到阈值，这是耗时的。基于工人的最近的处理时间，我们的方法DSSP自适应地调整阈值每次迭代在运行时，以减少等待时间的更快的工人的全局共享参数的同步，从而增加参数更新的频率（增加迭代吞吐量），从而加快收敛速度。我们通过在同构和异构环境中的GPU集群上运行深度神经网络（DNN）模型，将DSSP与其他范例（如批量同步并行（BSP），异步并行（ASP）和SSP）进行比较。结果表明，在一个异构的环境中，集群由混合模型的GPU，DSSP收敛到更高的精度比SSP和BSP早得多，并执行类似的ASP。在同构分布式集群中，DSSP比SSP和ASP更稳定，性能稍好，收敛速度比BSP快得多。
2019-08-16 cs.DC cs.LG stat.ML
