Comparative Analysis of Distributed Caching Algorithms: Performance Metrics and Implementation Considerations
本文比较了LRU、LFU、ARC和TLRU等分布式缓存算法在命中率、延迟和可扩展性等指标上的表现，发现结合机器学习的混合方法在动态环境中性能更优，并基于工作负载特征给出了算法选择建议。
2025-04-03 cs.DC
Experience with Distributed Memory Delaunay-based Image-to-Mesh Conversion Implementation
本研究评估了基于共享内存实现构建的分布式内存Delaunay图像转网格算法的可扩展性与开发效率，发现分布式版本有一定加速比但单节点开销较高，对黑盒复用共享内存代码的思路提出质疑。
2023-08-24 cs.DC
Parallel/distributed implementation of cellular training for generative adversarial neural networks
生成对抗网络（GANs）被广泛用于学习生成模型。GANs由两个网络组成，一个生成器和一个自适应器，它们应用对抗学习来优化它们的参数。本文提出了一种并行/分布式实现的细胞竞争协同进化方法训练两个种群的GANs。提出了一种适用于高性能/超级计算中心的分布式存储并行实现方案。高效的结果报告解决生成的手写数字（MNIST数据集样本）。此外，所提出的实现是能够减少训练时间和规模适当考虑不同的网格大小的训练。
2020-08-03 cs.DC cs.NE
A Distributed Platform for Mechanism Design
我们描述了一个分布式机制设计的结构化系统。它由一系列的层组成。较低层只处理与分布式计算相关的操作，而较高层只关心参与者之间的通信，包括广播和多播以及分布式决策。这就产生了一个高度灵活的分布式系统，其特定的应用程序作为其顶层的实例来实现。这种设计支持容错，防止操纵，并使之有可能实现分布式警务。该系统是用Java实现的。我们通过讨论一些实现的例子来说明它。
2008-10-17 cs.DC cs.GT
Parallel Implementation of Distributed Global Optimization (DGO)
分布式全局优化（DGO）[13]在MP-1和NCUBE并行计算机上的并行实现显示了该算法性能的近似O（n）增长。因此，在并行处理器上实现DGO可以弥补该算法的唯一缺点，即随着维数的增加，执行时间为O（n2）。DGO的并行实现的加速因子是相对于相同的问题的顺序执行时间在IBM-IV计算机上测量的。在MP-1上对算法进行SIMD实现，对于n = 9的优化问题，总加速比为126，实现了最佳的加速。该优化问题分布在Mas-Par的128个PE上。
2020-12-16 cs.DC math.OC
Dist-Orc: A Rewriting-based Distributed Implementation of Orc with Formal Analysis
Orc是一种服务编排理论，允许分布式和定时计算的结构化编程。已经提出了几种形式语义的Orc，包括重写逻辑语义的作者开发的。Orc在Java中也有一个完全成熟的实现，具有函数式编程特性。然而，与大多数分布式语言的描述一样，Orc的形式语义和其实现之间存在相当大的差距，因为：（i）Orc中的程序不容易仅通过使用Orc的形式语义在分布式实现中部署，以及（ii）它们不容易在分布式Orc实现的级别上进行形式分析。在这项工作中，我们克服了Orc的问题（i）和（ii）。具体来说，我们描述了一种基于重写逻辑和Maude的实现技术，大大缩小了这一差距。这种技术的启用特性是Maude通过TCP套接字支持外部对象。我们描述了如何使用套接字来实现Orc站点调用和返回，并为Orc表达式和站点提供实时定时信息。然后，我们将展示如何在所得到的分布式实现的Orc程序可以正式分析在一个合理的抽象层次，通过定义一个抽象的时间模型和套接字通信基础设施，并讨论的假设下，分析可以被认为是正确的。最后，通过一个实例说明了分布式实现和形式化分析方法。
2010-09-22 cs.DC cs.LO cs.PL
Designing Local Distributed Mechanisms
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；Aalto University（阿尔托大学）
提出局部机制概念，通过单调分布式优化算法和Myerson引理实现真实机制，应用于最大独立集等图问题，在LOCAL模型中保持相同时间复杂度。
2026-06-29 cs.DC cs.GT
Navigating the Landscape of Distributed File Systems: Architectures, Implementations, and Considerations
本文综述分布式文件系统的架构、分类、设计挑战与NFS、AFS、GFS、HDFS、CephFS等实现，为构建高效稳定安全的DFS提供参考。
2024-03-23 cs.AR cs.DC
Handshaking Protocol for Distributed Implementation of Reo
Reo是一种外生的基于通道的协调语言，是一种服务协调模型，其中服务通过连接二进制通信通道形成的连接器进行通信。为了按照连接器语义的规定在服务之间建立事务通信，分布式端口交换握手消息，通知哪些方准备好提供或使用数据。在本文中，我们提出了一个正式的实现模型，分布式Reo的通信延迟和大纲的正确性证明的想法。为了对Reo的实现进行形式化的推理，我们引入了时间动作约束自动机（TACA），并解释了如何将TACA与现有的基于自动机的Reo语义进行比较。我们使用TACA来描述握手行为的Reo建模原语，并认为在任何分布式电路远程Reo节点和通道暴露这样的行为提交执行过渡所设想的网络语义。
2015-02-12 cs.DC cs.PL cs.SE
Distributed Particle Filter Implementation with Intermittent/Irregular Consensus Convergence
基于非线性、非高斯、分布式多传感器/智能体导航和跟踪应用，提出了一种基于多速率一致性/融合的分布式粒子滤波框架（CF/DPF）。CF/DPF框架基于运行局部化粒子滤波器来估计每个观测节点处的总体状态向量。单独的融合滤波器被设计为通过补偿相邻节点之间的共同过去信息来一致地将局部滤波分布同化到全局后验中。CF/DPF与同类产品相比具有两个明显的优势。首先，CF/DPF框架适用于网络连接是间歇性的，并且在两个连续的观察之间不能达成共识的场景。其次，CF/DPF不限于高斯近似的全球后验密度。本文的第三个贡献是推导的精确表达式计算后Cramer-Rao下界（PCRLB）的分布式架构的基础上的递归程序，涉及当地的Fisher信息矩阵（FISHER）的分布估计。CF/DPF算法的性能密切遵循集中式粒子滤波器接近PCRLB在我们测试的信噪比。
2012-09-04 cs.DC
Guided Google: A Meta Search Engine and its Implementation using the Google Distributed Web Services
随着互联网的出现，搜索引擎开始像雨后的蘑菇一样发芽。只是在最近几年，开发人员变得更加创新，并提出了在线引导搜索设施。这些应用程序的目标是帮助缓解和指导新手网络用户朝着他们想要的目标搜索的努力。这种服务的许多实现正在出现。本文提出了一种引导Meta搜索引擎，称为“引导谷歌”，因为它作为一个接口，实际的Google.com搜索引擎，使用谷歌Web服务。
2003-02-13 cs.DC
Python Implementation of the Dynamic Distributed Dimensional Data Model
Python已经成为一种标准的科学计算语言，对机器学习和数据分析模块的支持快速增长，对大数据的使用也越来越多。动态分布式维度数据模型（D4 M）提供了一种高度可组合的统一数据模型，具有强大的性能，可快速有效地处理大数据。在这项工作中，我们提出了D4 M在Python中的实现。$D4M.py$实现了D4 M的所有基本功能，并通过Graphulo提供了Accumulo和SQL数据库支持。我们描述的数学背景和动机，其基本功能和积木的方法的解释，和性能比较$D4M.py$的性能，D4 M-MATLAB和D4 M. jl的结果。
2022-11-22 cs.DC
On Design and Implementation of the Distributed Modular Audio Recognition Framework: Requirements and Specification Design Document
Concordia University（康考迪亚大学）
我们提出的要求和设计规范的开源分布式模块化音频识别框架（DMARF），MARF的分布式扩展。分布式版本将许多分布式技术（例如Java RMI，CORBA，Web Services）聚集在一个可插入和模块化的模型中，并提供高级分布式系统算法。我们概述了在设计和实施过程中所遇到的相关挑战，以及项目的总体规格及其优点和局限性。
2009-07-26 cs.CV cs.DC cs.MM
PVM-Distributed Implementation of the Radiance Code
并行虚拟机（PVM）工具已被用于格雷格·沃德的辐射代码的分布式实现。为了使用顺序和并行代码生成完全相同的初级射线，在Radiance中使用的用于通过插值减少初级射线数量的梅花形采样技术在并行实现中必须保持不变。Radiance中用于间接照明的局部环境值的八叉树已在所有处理器之间共享。静态和动态图像分割技术，复制八叉树的完整的场景在所有的处理器，并具有负载平衡，已开发的一帧渲染。在8个工作站组成的网络中，已实现了大于7.5的加速比。对于动画序列，一个新的动态分区分配技术与超线性加速比也已开发。
2008-02-22 cs.DC cs.GR
Distributed Bayesian Probabilistic Matrix Factorization
矩阵分解是推荐系统中常用的机器学习技术。贝叶斯概率矩阵分解算法（BPMF）虽然具有较高的预测精度，但由于其计算代价较高，在大规模数据中尚未得到广泛应用。在本文中，我们提出了一个分布式的高性能并行实现BPMF共享内存和分布式架构。我们表明，通过使用高效的负载均衡，在一个节点上使用工作窃取，并通过使用异步通信的分布式版本，我们击败了最先进的实现。
2017-05-11 cs.DC
Model-based Testing of Practical Distributed Systems in Actor Model
ITMO University（圣彼得堡信息、机械与光学大学）
本文提出了一种基于Actor模型的分布式系统建模测试方法，通过生成全面的测试套件来验证系统实现的正确性，无需修改代码或干扰执行环境。
2025-12-09 cs.DC
Tycoon: an Implementation of a Distributed, Market-based Resource Allocation System
像Grid和PlanetLab这样的分布式集群为计算提供了与Internet为网络提供的相同的统计复用效率增益。一个主要的挑战是以经济高效和低延迟的方式分配资源。一种常见的解决方案是按比例共享，即每个用户按其预定义的权重按比例获得资源。但是，这并不允许用户区分其作业的价值。这导致经济效率低下。相比之下，需要预留的系统强加了高延迟（通常是几分钟到几小时）来获取资源。我们提出了Tycoon，一个基于市场的分布式资源分配系统的基础上按比例共享。Tycoon的主要优点是它允许用户区分其工作的价值，其资源获取延迟仅受通信延迟的限制，并且它不会对用户施加手动竞标开销。我们目前的实验结果使用我们的设计原型实现。
2004-12-09 cs.DC cs.OS
Extending and Implementing the Self-adaptive Virtual Processor for Distributed Memory Architectures
未来的众核架构很可能具有分布式内存组织，并且需要细粒度的并发管理才能有效地使用。自适应虚拟处理器（SVP）是一个抽象的并发编程模型，可以提供这一点，但该模型及其当前的实现假设一个单一的地址空间共享内存。我们调查和扩展SVP处理分布式环境，并讨论了原型SVP实现透明地支持执行异构分布式内存集群通过TCP/IP连接，同时保留原始的SVP编程模型。
2011-04-19 cs.DC
An Automated Implementation of Hybrid Cloud for Performance Evaluation of Distributed Databases
混合云是私有云和公共云之间的资源集成。它使用户能够将其本地基础设施横向扩展到公共云，以提高性能并降低前期投资成本。这种应用程序部署模型称为云爆发，它允许数据密集型应用程序，特别是分布式数据库系统，同时享受私有云和公共云的好处。在这项工作中，我们提出了一个混合云的自动化实现，使用（i）一个强大的，零成本的基于Linux的VPN，使私有云和公共云之间的安全连接，（ii）Terraform作为一个软件工具，根据混合云的要求部署基础设施资源。我们还探讨了云爆发的性能评估六个现代和分布式数据库系统上的混合云跨越本地OpenStack和Microsoft Azure。我们的研究结果表明，MongoDB和MySQL集群在吞吐量和操作延迟方面工作效率很高，如果它们突然进入公共云来提供它们的资源。相比之下，如果Cassandra、Riak、Redis和Couchdb通过云爆发显著利用其所需资源，则其性能会降低。
2020-06-04 cs.DC
Verify Distributed Deep Learning Model Implementation Refinement with Iterative Relation Inference
New York University（纽约大学）
本文提出一种通过检查模型细化来静态识别分布式深度学习模型实现中错误的方法，利用 GraphGuard 工具通过迭代重写证明模型细化，能扩展至 GPT 和 Llama-3 等大模型并提供辅助错误定位的可操作输出。
2025-08-13 cs.AI cs.DC
Implementation of a Practical Distributed Calculation System with Browsers and JavaScript, and Application to Distributed Deep Learning
The University of Tokyo（东京大学）
深度学习可以在各个领域取得突出成绩。然而，它需要如此强大的计算能力，以至于实际应用通常需要图形处理单元（GPU）和/或大量计算机。我们开发了一种新的分布式计算框架，称为“生鱼片”，允许任何计算机仅通过访问网站即可用作分发节点。我们还开发了一个新的JavaScript神经网络框架，称为“Sukiyaki”，它使用通用GPU和Web浏览器。Sukiyaki在深度卷积神经网络（深度CNN）学习方面的执行速度比传统的JavaScript库快30倍。生鱼片和寿喜烧的结合，以及新的分发算法，展示了深度CNN的分布式深度学习，只需要在各种设备上使用Web浏览器。包括所提出的方法的库在MIT许可下可在http://mil-tokyo.github.io/获得。
2015-03-19 cs.DC cs.LG cs.MS
Distributed and Adaptive Fast Multipole Method In Three Dimensions
我们开发了一个通用的分布式实现的自适应快速多极子方法在三维空间。我们依赖于一种平衡的自适应空间离散化，它支持高度透明和完全分布式的实现。复杂性分析表明，有利的标度特性和数值实验上多达512个核心和10亿个源点验证他们。控制算法的参数进行了深入的实验，对输入参数的性能响应意味着整体实现非常适合自动调谐。
2020-02-12 cs.DC cs.DS cs.NA
Parallel and Distributed Collaborative Filtering: A Survey
协同过滤是实现推荐系统时最优选的技术之一。最近，极大的兴趣已经转向并行和分布式实现的协同过滤算法。这项工作是一个调查的并行和分布式协同过滤的实现，旨在不仅提供一个全面的介绍该领域的发展，但也提供了未来的研究方向，突出的问题，需要进一步发展。
2014-09-09 cs.DC cs.IR
Model-guided Fuzzing of Distributed Systems
本文提出利用 TLA+ 抽象模型定义覆盖率并引导分布式系统模糊测试，在 Etcd-raft 与 RedisRaft 上提升覆盖率、加速缺陷发现，并找到13个新缺陷。
2025-08-31 cs.DC cs.SE
A Distributed System-level Diagnosis Model for the Implementation of Unreliable Failure Detectors
可靠的系统需要有效的监测技术来识别故障。系统级诊断最初是在20世纪60年代提出的，作为一种基于测试的方法来监控和识别一般系统的故障组件。在过去的几十年中，已经提出了几种诊断模型和策略，基于不同的故障模型，并应用于最多样化的类型的计算机系统。在20世纪90年代，不可靠的故障检测器作为一种抽象出现，以使异步系统受到崩溃故障的共识。从那时起，故障检测器就成为监控分布式系统的\textit{de facto}标准。目前的工作的目的是填补一个概念上的空白，提出了一个分布式诊断模型，是一致的不可靠的故障检测器。结果显示了所需的测试/监控消息数量、事件检测延迟以及完整性和准确性。三种不同的故障检测器符合所提出的模型，包括vRing和vCube提供了可扩展的替代方案，传统的所有监视器，所有的策略，通过大多数现有的故障检测器。
2022-10-06 cs.DC
Design and Implementation of a Distributed Middleware for Parallel Execution of Legacy Enterprise Applications
典型的企业使用计算机局域网来执行其业务。在非工作时间，这些联网计算机的计算能力未得到充分利用或未使用。为了利用这种计算能力，应用程序必须重新编码以利用计算中固有的并发性，这对于没有任何源代码的遗留应用程序显然是不可能的。本文提出了一个分布式中间件的设计和实现，它可以通过并行化在多台网络计算机上自动执行一个遗留应用程序，该中间件在网络中的不同主机上并行运行多个二进制可执行代码副本。它封装了遗留应用程序的二进制可执行代码，以便捕获内核级数据访问系统调用，并以安全和无冲突的方式在多台计算机上分布式执行。该中间件还采用了动态调度技术，通过清除网络中主机的可用CPU周期，在最短的时间内执行目标应用程序。这种动态调度还支持主机的CPU可用性随时间变化，并适当地重新调度执行计算的副本，以最大限度地减少执行时间。这个中间件的原型实现已经开发的设计概念的证明。通过几个典型的案例研究对该实现进行了评估，测试结果证实了该中间件的工作符合预期。
2009-08-20 cs.DC
Distributed Matrix Factorization using Asynchrounous Communication
在机器学习中使用矩阵分解技术非常常见，主要在推荐系统等领域。尽管贝叶斯概率矩阵分解算法（BPMF）具有较高的预测精度和避免数据过拟合的能力，但由于成本过高，该算法在大规模数据上尚未得到广泛应用。在本文中，我们提出了一个分布式的高性能并行实现的BPMF共享和分布式架构上使用吉布斯采样。我们表明，通过使用高效的负载均衡，在一个节点上使用工作窃取，并通过使用异步通信的分布式版本，我们击败了最先进的实现。
2017-05-29 cs.DC
Distributed TensorFlow with MPI
机器学习和数据采掘（MLDM）算法在分析由模拟、实验和移动设备生成的大量数据方面变得越来越重要。随着数据量的增加，分布式存储器系统（例如紧密连接的超级计算机或云计算系统）在设计存储器内和大规模并行MLDM算法中变得重要。然而，大多数开源MLDM软件仅限于顺序执行，少数支持多核/众核执行。在本文中，我们扩展了最近提出的Google TensorFlow，以便使用消息传递接口（MPI）在大规模集群上执行。我们的方法只需要对TensorFlow运行时进行最小的更改-使所提出的实现具有通用性，并且易于为越来越多的TensorFlow用户使用。我们评估我们的实现使用InfiniBand集群和几个众所周知的datasets。我们的评估表明，我们提出的实施的效率。
2017-08-18 cs.DC
A Distributed Data-Parallel PyTorch Implementation of the Distributed Shampoo Optimizer for Training Neural Networks At-Scale
Meta Platforms, Inc.（元平台公司）；Mila（米拉人工智能研究所）；University of Montreal（蒙特利尔大学）；NVIDIA Corporation（英伟达公司）
本文提出了分布式 Shampoo 优化器的 PyTorch 实现，通过 DTensor 和 AllGather 原语实现多 GPU 分布式数据并行训练，在保持性能的同时证明了其在 ImageNet ResNet50 上的优越性。
2023-09-12 cs.DC cs.LG cs.MS
Popt4jlib: A Parallel/Distributed Optimization Library for Java
本文描述了开源popt 4jlib库（https：//githhub.org/ioannislogou/popt4jlib）的架构设计以及关键实现细节，该库包含相当大量的元启发式和其他精确优化算法并行/分布式Java实现。虽然我们报告的加速和效率问题的一些算法在图书馆，我们主要关心的是详细的设计决策的关键并行/分布式基础设施内置到图书馆，使开发人员更容易开发自己的并行实现的算法，而不是简单地使用它作为一个关闭的自我应用程序库。
2019-08-01 cs.DC cs.NE
Design and Implementation of Distributed Resource Management for Time Sensitive Applications
在本文中，我们解决分布式收敛到时间敏感的应用程序的CPU资源的公平分配。我们提出了一种新的资源管理框架，一个集中的公平分配的目标被分解成一对性能驱动的递归更新过程：（a）计算带宽的分配给应用程序（资源适配），由资源管理器执行，和（b）每个应用程序的服务水平（服务水平适配），由每个应用程序独立执行。我们提供了分布式递归方案收敛到集中式目标的解的条件（即，公平分配）。相反，以前的工作集中优化方案，所提出的框架表现出适应性和鲁棒性的变化，在数量和性质的应用程序，而它假设最小的信息提供给应用程序和资源管理器。最后，我们验证我们的框架与仿真使用TrueTime工具箱在MATLAB/Simulink。
2015-08-19 cs.DC cs.MA math.OC
Advances in the Design and Implementation of a Multi-Tier Architecture in the GIPSY Environment
我们提出的进步，在软件工程的设计和实现的多层运行时系统的通用内涵编程系统（GIPSY），进一步统一的分布式技术，用于实现需求迁移框架（DMF），以简化分布式执行的混合内涵，命令式程序使用Java。
2009-06-26 cs.DC cs.PL cs.SE
Graph Sampling with Distributed In-Memory Dataflow Systems
给定一个大图，图样本确定一个子图，该子图对于原始图的某些度量具有相似的特征。样本更小，从而加速和简化了大型图形的分析和可视化。我们专注于为大数据框架和内存中的分布式图采样系统（如Apache Spark或Apache Flink）实现分布式图采样。我们评估新的实现的可扩展性，并分析在何种程度上的采样方法保留某些图形的度量相比，原来的图。后一种分析也使用比较图形可视化。所提出的方法将是开源的，并集成到Gradoop中，Gradoop是一个分布式图形分析系统。
2019-10-10 cs.DC
A sparsity-aware distributed-memory algorithm for sparse-sparse matrix multiplication
提出一种分布式内存1D SpGEMM算法，利用MPI RDMA和块获取策略降低通信成本，在多种配置下优于CombBLAS中的2D和3D实现。
2024-08-26 cs.DC
ConceptModeller: a Problem-Oriented Visual SDK for Globally Distributed Enterprise Systems
本文介绍了面向问题的软件开发方法。该方法是基于Internet的企业软件设计和实现的原始集成方法的一部分。涵盖了软件开发的所有方面，从理论到实现。
2006-07-27 cs.DC cs.SE
From Clarity to Efficiency for Distributed Algorithms
本文描述了一种非常高级的高级语言，用于清楚地描述生成高效实现所需的分布式算法和优化。该语言支持高级控制流，其中复杂的同步条件可以使用高级查询，特别是逻辑量化，在消息历史序列上表示。不幸的是，如果直接执行，程序将是非常低效的，包括消耗无限的内存。我们提出了新的优化，自动转换复杂的同步条件到必要的辅助值的增量更新的消息发送和接收。优化的核心是有效实现逻辑量化的第一种通用方法。我们已经开发了一个操作语义的语言，实现了原型的编译器和优化，并成功地使用的语言和实现的各种重要的分布式算法。
2017-03-12 cs.DC cs.PL
Distributed MAP in the SpinJa Model Checker
Spin in Java（SpinJa）是Promela建模语言的显式状态模型检查器，也被SPIN模型检查器使用。SpinJa的实现被设计为可扩展和可重用的，它遵循分层的方法，其中每个新层都扩展了前一层的功能。虽然SpinJa初步支持共享内存模型检验，但它还不支持分布式内存模型检验。该工具文件提出了一个分布式实现的最大接受前辈（MAP）搜索算法的SpinJa。
2011-11-02 cs.DC cs.SE
Distributed Quantum Computing with QMPI
量子计算机的实际应用需要数百万个物理量子位，单个量子处理器要达到这样的量子位数将是一个挑战。因此，在分布式环境中研究量子算法的资源需求是及时的，其中多个量子处理器通过相干网络互连。我们引入了消息传递接口（MPI）的扩展，以实现分布式量子算法的高性能实现。反过来，这些实现可以用于测试、调试和资源估计。除了量子MPI的原型实现，我们提出了一个分布式量子计算的性能模型，SENDQ。该模型的灵感来自经典的LogP模型，使得它在分布式量子计算机编程时能够为算法决策提供信息。具体来说，我们考虑了两个量子算法的物理和化学问题的几个优化，我们详细介绍了它们对SENDQ模型性能的影响。
2021-05-03 cs.DC cs.ET quant-ph
Evaluating Distributed Execution of Workloads
分布式执行的资源选择和任务放置带来了概念和实现上的困难。虽然资源选择和任务放置是许多工具和工作流系统的核心，但这些方法是临时的，而不是基于模型的。因此，部分和非互操作的实现激增。我们解决的概念和实施的困难，通过实验表征不同模式的资源选择和任务安排。我们比较了两个系统的架构和功能：AIMES中间件和Swift工作流脚本语言和运行时。我们将这些系统集成在一起，以便在AIMES中间件管理的Pilot-Jobs上分布式执行Swift工作流。我们的实验的特点和比较替代执行策略，通过测量的时间来完成异构的非耦合工作负载在不同的规模和多个资源上执行。我们测量的不利影响，试点碎片和早期绑定的任务资源和回填调度的好处，在多个资源上的试点。然后，我们利用这一洞察力在五个生产级资源上执行多阶段工作流程。我们讨论了其他工具和工作流系统的重要性和影响。
2021-11-02 cs.DC
Solutions for Distributed Memory Access Mechanism on HPC Clusters
Sano Centre for Computational Medicine（Sano计算医学中心）
本文提出并评估了高性能计算集群中远程内存访问机制的解决方案，比较了共享存储与MPI的性能，并指出医疗应用可能从中受益。
2025-12-02 cs.DC
Fault-Tolerant Distributed-Ledger Implementation of Digital Social Contracts
一篇配套论文定义了数字社会契约的概念，提出了一种社会契约程序设计语言的设计，并通过示例社会契约展示了其潜在的实用性。设想的设置由具有真实标识符的人组成，所述真实标识符是唯一且单一的加密密钥对，所述人操作在他们的移动终端上由此标识的软件代理。数字社会契约的抽象模型由一个过渡系统组成，该系统指定了并发的、非确定性的异步代理，这些代理通过执行数字语音行为在共享账本上操作，这些数字语音行为是加密签名的顺序索引数字动作。在这里，我们解决了在存在错误代理的情况下数字社会契约的分布式账本实现：我们提出了一个容错分布式账本过渡系统的设计，并表明它实现了数字社会契约的抽象共享账本模型，并讨论了它对错误代理的弹性。其结果是一种新颖的分类账架构，该架构以每人区块链的方式分发（与集中式的一个区块链相反），部分有序（与完全有序相反），本地复制（与全局复制相反）、异步（与全局同步相反），对等，每个代理既是执行者又是验证者（而不是有专门的矿工，验证者和客户端），环保（相对于对环境有害的工作量证明），自给自足（相对于能源占用的工作量证明或资本占用的权益证明）和平等主义（相对于财阀的工作量证明和权益证明）。
2022-02-24 cs.DC cs.MA
Simulation of distributed manufacturing enterprises: A new approach
市场的全球化和世界范围内的竞争迫使制造企业结成联盟，从而产生了分布式制造企业。在建立伙伴关系之前，必须评估拟议的企业的可行性以及拟议的虚拟企业对公司业务的影响。分布式仿真提供了一个有吸引力的工具，在这种情况下作出决定。然而，由于其复杂性和高成本的分布式仿真未能获得广泛的接受，从工业用户。本文提出了一种新的方法，分布式制造仿真（DMS），包括DMS的形式化方法和实现方法，使用当前的商业仿真软件，采用广泛可用的和成本有效的技术。这项工作的主要目标是促进分布式仿真的使用，特别是在分布式制造，使其快速开发和实现复杂性较低。
2019-01-01 cs.DC cs.MA
ASYNC: A Cloud Engine with Asynchrony and History for Distributed Machine Learning
University of Toronto（多伦多大学）
ASYNC是一个框架，它支持在分布式计算平台上实现优化方法的查询和历史。在分布式机器学习中，异步优化方法的流行度已经增加。然而，它们在分布式系统上的适用性和实际实验是有限的，因为当前的批量处理云引擎不提供对数据和历史的强大支持。通过引入三个主要模块以及簿记系统特定和应用参数，ASYNC为从业者提供了一个实现异步机器学习方法的框架。为了演示ASYNC中的易于实现，在ASYNC中演示了两种著名的优化方法随机梯度下降和SAGA的同步和异步变体。
2020-02-21 cs.DC cs.LG
Design and implementation of a distributed security threat detection system integrating federated learning and multimodal LLM
University of California San Diego（加利福尼亚大学圣迭戈分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出一种集成联邦学习与多模态大语言模型的分布式威胁检测系统，在10TB数据集上实现96.4%准确率，较基线提升4.1个百分点，兼顾隐私与效率。
2025-02-25 cs.AI cs.CR cs.DC
Multi-Objective Problem Solving With Offspring on Enterprise Clouds
在本文中，我们提出了一个分布式实现的基于网络的多目标进化算法，称为EMO，通过使用后代。基于网络的进化算法已被证明是有效的多目标问题的解决。它们的特点是个体之间的连接网络，推动了算法的进化。不幸的是，它们需要大量的人口才能有效，分布式实现可以利用计算时间。大多数现有的框架仅限于提供基本或特定于给定算法的解决方案。我们的Offspring框架是一个基于插件的软件环境，允许在分布式计算环境（如企业云）上快速部署和执行进化算法。通过描述EMO的分布式实现，介绍了EMO的特点和优点。
2009-03-08 cs.DC
A Load-Balanced Parallel and Distributed Sorting Algorithm Implemented with PGX.D
排序一直是科学研究中最具挑战性的问题之一。虽然许多技术和算法已经提出了有效的并行排序实现的理论，然而，实现所需的性能在不同类型的架构与大量的处理器仍然是一个具有挑战性的问题。最大限度地提高应用程序的并行性水平，可以通过最小化由于负载不平衡和等待时间，由于内存延迟的开销。在本文中，我们提出了一个分布式排序算法实现PGX.D，一个快速的分布式图形处理系统，它优于Spark的分布式排序实现约2倍-3倍，通过隐藏通信延迟和最大限度地减少不必要的开销。此外，它表明，建议的PGX.D排序方法处理数据集包含许多重复的数据录入有效，并始终保持平衡的工作负载为不同的输入数据分布类型。
2017-01-14 cs.DC
Multiagent Transition Systems for Composing Fault-Resilient Protocol Stacks
本文提出了一个新的数学框架，用于描述和分析故障恢复分布式协议及其实现，包括以下几个部分：1。转换系统允许对具有安全性和活性故障的计算及其故障恢复进行规范和分析。2.过渡系统及其组成之间的安全、活性和完整实现的概念，通过这些概念，协议栈作为一个整体的正确性（安全性和活性）和完整性取决于每个协议正确和完整地实现了堆栈中位于其上的协议。3.应用与分布式计算系统的历史相关的单调性的概念，以简化分布式计算系统之间的实现的规范和正确性的证明。4.多代理过渡系统，进一步特点是集中/分布式和同步/异步;安全性和活性故障恢复的实现，其中和他们的组成。该框架被用于规范基层排序共识协议栈，基层传播协议及其基层社交网络和主权加密货币的实现，以及高效的拜占庭原子广播协议作为初始应用。
2023-02-20 cs.DC cs.FL cs.MA
On the Discrepancy between the Theoretical Analysis and Practical Implementations of Compressed Communication for Distributed Deep Learning
INRA（法国国家农业研究院）；KAUST（阿卜杜拉国王科技大学）
采用稀疏化或随机梯度量化形式的压缩通信来降低深度神经网络的分布式数据并行训练中的通信成本。然而，理论和实践之间存在差异：虽然大多数现有压缩方法的理论分析假设压缩应用于整个模型的梯度，但许多实际实现单独操作模型的每一层的梯度。在本文中，我们证明了逐层压缩，在理论上，更好的，因为收敛速度的上限是整个模型压缩的范围广泛的有偏和无偏压缩方法。然而，尽管有理论上的限制，我们对六种著名方法的实验研究表明，在实践中，收敛性可能会更好，也可能不会更好，这取决于实际的训练模型和压缩比。我们的研究结果表明，深度学习框架支持逐层和整个模型压缩是有利的。
2019-11-19 cs.DC cs.LG math.OC
Distributed Out-of-Memory SVD on CPU/GPU Architectures
我们提出了一种高效的，分布式的，内存不足的异构（CPU+GPU）高性能计算（HPC）系统的截断奇异值分解（t-SVD）的实现。奇异值分解的各种实现方式已经被提出，但大多数只估计奇异值作为奇异向量的估计，这会显著增加算法的时间和存储复杂度。在这项工作中，我们提出了一种基于幂方法的奇异值分解的实现，这是一种截断奇异值和奇异向量估计方法。在幂方法中看到的存储器利用瓶颈通常与Gram矩阵$\mat{A}^T\mat{A}$的计算相关联，当$\mat{A}$较大且密集时，或者当$\mat{A}$超大且稀疏时，这可能是显著的。所提出的实现是针对内存不足的问题进行优化的，其中分解给定矩阵所需的内存大于可用的GPU内存。我们降低了内存的复杂性，$\mat{A}^T\mat{A}$通过使用一个中间因素计算块块的并行策略。我们还通过使用CUDA流将每个批处理副本与计算重叠来抑制与主机到设备（H2 D）和设备到主机（D2 H）批处理副本相关的I/O延迟。此外，我们使用优化的\textit{NCCL}为基础的通信，以减少与集体通信（包括节点内和节点间）的延迟。此外，稀疏和密集矩阵乘法通过GPU内核（或张量内核（如果可用））显著加速，从而实现良好的扩展性。我们展示了我们的分布式核外SVD算法的可扩展性，成功地分解了大小为1 TB的密集矩阵和大小为128 PB的稀疏矩阵，稀疏度为1 e-6。
2022-08-17 cs.DC
A New High Performance and Scalable SVD algorithm on Distributed Memory Systems
本文介绍了\texttt{Zolo-SVD}算法在分布式内存系统上的高性能实现，该算法基于由Nakatsukasa和Freund最初提出的Zolotarev函数（\texttt{Zolo-PD}）的极分解（PD）算法[SIAM Review，2016]。我们的实现高度依赖于ScaLAPACK的例程，因此它是可移植的。与基于QR的动态加权Halley方法（\texttt{QDWH-PD}）等PD算法相比，\texttt{Zolo-PD}具有自然的并行性和更好的可扩展性，但需要执行更多的浮点运算。当使用许多进程时，\texttt{Zolo-PD}通常比\texttt{QDWH-PD}算法快1.20倍，\texttt{Zolo-SVD}可以比ScaLAPACK例程\texttt{\texttt{PDGESVD}}快大约两倍。这些数值实验是在世界上最快的超级计算机之一天河二号上进行的，测试的矩阵包括一些特定应用中的稀疏矩阵和一些随机生成的不同维数的稠密矩阵。我们的\texttt{QDWH-SVD}和\texttt{Zolo-SVD}实现可从https://github.com/shengguolsg/Zolo-SVD免费获得。
2018-06-16 cs.DC
P*: A Model of Pilot-Abstractions
Pilot-Job支持有效的分布式资源利用，并且可以说是最广泛使用的分布式计算抽象之一-如使用它们的应用程序的数量和类型以及支持它们的生产分布式网络基础设施的数量所测量的。尽管广泛吸收，不存在一个定义良好的，统一的概念模型的试点工作，可用于定义，比较和对比不同的实现。通常，试点工作的实现与它们最初设计的分布式网络基础设施紧密耦合。这些因素构成了可扩展性和互操作性的障碍。本文试图（i）提供一个最小但完整的Pilot-Job模型（P*）;（ii）通过将各种现有的和众所周知的Pilot-Job框架（如Condor和DIANE）映射到P* 来建立P* 模型的通用性;（iii）为P* 模型导出一个可互操作和可扩展的API（iv）通过在不同的生产分布式网络基础设施上同时使用多个不同的Pilot-Job框架来验证Pilot-API的实现，以及（v）将P* 模型应用于Pilot-Data。
2012-07-27 cs.DC
The Reverse Cuthill-McKee Algorithm in Distributed-Memory
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
本文提出首个分布式内存实现的反Cuthill-McKee算法，用于减少稀疏矩阵的轮廓，通过二维稀疏矩阵分解和优化原语实现高性能。
2016-10-26 cs.DC cs.MS cs.NA
DXML: Distributed Extreme Multilabel Classification
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
作为一种大数据应用，极端多标签分类已经成为一个重要的研究课题，其应用于产品和项目的排名和推荐。提出了一种可扩展的混合分布式共享内存的极端分类大规模排名和推荐的实现。具体而言，该实现是使用MPI跨节点传递消息和使用OpenMP在节点上使用多线程的混合。推导了通信延迟和通信量的表达式。针对共享内存体系结构，提出了基于工作跨度模型的并行计算方法。这揭示了类似极端分类方法的预期可扩展性。实验结果表明，该方法在大数据集上的训练和测试速度都比较快。在某些情况下，模型尺寸相对较小。
2021-10-20 cs.AI cs.DC cs.IR
DRust: Language-Guided Distributed Shared Memory with Fine Granularity, Full Transparency, and Ultra Efficiency
本文提出基于 Rust 所有权语义的分布式共享内存系统 DistR，利用语言级所有权约束简化一致性实现，在吞吐量上最高超过 GAM 2.64 倍、Grappa 29.16 倍，并具有更好的可扩展性。
2024-06-27 cs.DC
