Analytical Estimation of the Scalability of Iterative Numerical Algorithms on Distributed Memory Multiprocessors
本文提出了一种新的高级并行计算模型BSF-Bulk Synchronous Farm。BSF模型扩展了BSP模型，以处理在分布式内存多处理器系统上执行的计算密集型迭代数值方法。BSF模型基于主-工作者范式和SPMD编程模型。BSF模型使得能够以很高的精度预测BSF程序的可伸缩性上界。BSF模型还提供了用于估计BSF程序的加速比和并行效率的方程。
2017-11-10 cs.DC
Pervasive AI for IoT applications: A Survey on Resource-efficient Distributed Artificial Intelligence
Hamad Bin Khalifa University（哈马德·本·哈利法大学）；Qatar University（卡塔尔大学）；Delft University of Technology（代尔夫特理工大学）；Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学（MBZUAI））
人工智能（AI）在各种物联网（IoT）应用和服务方面取得了重大突破，从推荐系统到机器人控制和军事监视。这是由更容易访问传感数据和产生ZB（zettabytes）实时数据流的无处不在的设备的巨大规模所驱动的。使用这些数据流设计准确的模型，预测未来的见解并彻底改变决策过程，开创了普适系统作为提高生活质量的有价值的范例。普适计算和人工智能的融合，即普适AI，将无处不在的物联网系统的作用从主要的数据汇集扩展到执行分布式计算，并提出了各种挑战。在这种情况下，应该在IoT设备之间设想明智的合作和资源调度（例如，智能手机、智能车辆）和基础设施（例如边缘节点和基站），以避免通信和计算开销并确保最大性能。在本文中，我们对最近开发的技术进行了全面的调查，以克服普及AI系统中的这些资源挑战。具体来说，我们首先提出了一个普适计算，其架构，其交叉点与人工智能的概述。然后，我们回顾了AI的背景，应用和性能指标，特别是在无处不在的系统中运行的深度学习（DL）和在线学习。接下来，我们从算法和系统的角度，对物联网设备、边缘设备和云服务器组合中的分布式推理、训练和在线学习任务的通信效率技术进行了深入的文献综述。最后，我们讨论了我们未来的愿景和研究挑战。
2022-08-27 cs.AI cs.DC
On the Performance and Memory Footprint of Distributed Training: An Empirical Study on Transformers
本文针对 Transformer 分布式训练，提出兼顾架构、并行策略与计算内存开销的分析框架，并通过理论与实验比较证明流水线并行的优势及划分、通信因素的影响。
2024-07-02 cs.DC
MLitB: Machine Learning in the Browser
Informatics Institute, University of Amsterdam（阿姆斯特丹大学信息学研究所）
除了少数例外，机器学习（ML）研究领域在很大程度上忽略了浏览器作为计算引擎的作用。除了ML的教育资源之外，浏览器不仅具有巨大的潜力来改善ML研究的最新水平，而且还可以以低成本和大规模的方式为公众带来复杂的ML学习和预测。本文介绍了MLitB，一个完全用JavaScript编写的原型ML框架，能够使用异构类设备执行大规模分布式计算。MLitB的发展是由几个基本目标驱动的，其目的是使ML学习和使用无处不在（通过使用无处不在的计算设备），廉价且轻松分布，以及协作。这是通过允许每台支持互联网的设备运行训练算法和预测模型而无需安装软件，并以通用可读格式保存模型来实现的。我们的原型库能够使用同步的分布式随机梯度下降来训练深度神经网络。MLitB为新的ML研究提供了几个重要的机会，包括：分布式学习算法的开发，Web GPU算法的进步，新的领域和移动应用，隐私保护计算和绿色网格计算。MLitB是开源软件。
2015-06-17 cs.DC cs.LG stat.ML
Creating Robust Deep Neural Networks With Coded Distributed Computing for IoT Systems
对无服务器计算和无处不在的无线网络的兴趣日益增加，导致我们周围的许多连接设备。在这些设备中，物联网设备可以访问大量的原始数据，但它们在计算方面的资源不足限制了它们的能力。具体而言，随着深度神经网络（DNN）的出现，不仅对物联网设备计算能力的需求不断增加，而且隐私问题也将计算推向边缘。为了克服资源不足的问题，一些研究提出了在物联网设备之间分配工作。这些有前途的方法收获了环境中空闲物联网设备的聚合计算能力。然而，由于这种分布式系统强烈依赖于每个设备、不稳定的延迟和间歇性故障，物联网设备和无线网络的共同特征导致高恢复开销。为了减少这种开销，我们提出了一种新的鲁棒性方法，其恢复延迟接近于零。我们的解决方案永远不会丢失请求或花费时间从故障中恢复。为此，首先，我们分析了受分布影响的底层矩阵-矩阵计算。然后，我们介绍了一种新的编码的分布式计算（CDC）的方法，具有恒定的成本与设备的数量增加，不同于模块冗余的线性成本。此外，我们的方法适用于库级别，不需要对程序进行大量更改，同时仍然确保在分发过程中平衡的工作分配。为了说明我们的方法，我们进行实验，分布式系统，包括多达12乌藨子PI。
2021-04-09 cs.DC
Atomicity in Distributed Quantum Computing
本文发起对分布式量子计算中原子性的研究，建立非原子分布式量子系统形式化模型，基于Dijkstra-Lamport条件定义系统与可观测动力学，并证明局部动作在可观测动力学层面可视为原子。
2024-04-29 cs.DC quant-ph
Who is to Blame? Runtime Verification of Distributed Objects with Active Monitors
由于分布式软件系统无处不在，因此它们的正确功能至关重要。静态核查原则上是可能的，但需要高度的专业知识和努力，这在许多生态系统中是不可行的。安全验证可以作为一种精益的替代方案，其中监控机制是从属性规范自动生成的，以在运行时检查遵从性。本文通过结合运行时验证工具Larva和主动对象框架ProActive，为分布式、面向对象的应用程序提供了一个实用的、功能强大且灵活的运行时验证解决方案。即使Larva本身只支持生成本地的顺序监视器，我们也可以通过将监视器与活动对象连接起来，将它们变成活动的通信监视器，从而使Larva能够进行分布式监视。我们将讨论这是如何允许各种监控架构。此外，我们还展示了属性规范以及由此生成的监视器如何提供一个模型，该模型将本地对象及其环境之间的责任分开。虽然Larva本身专注于监控面向控件的属性，但我们使用Larva前端StaRVOOrS也可以在分布式监控中捕获面向数据的（前/后）属性。我们演示了这种方法来分布式运行时验证的案例研究，分布式的键/值存储。
2019-08-27 cs.DC cs.SE
Randomized algorithms for distributed computation of principal component analysis and singular value decomposition
本文提出面向高长方矩阵 PCA/SVD 及任意矩阵低秩近似的分布式随机算法，并在 Spark 上证明其优于现成确定性实现且左奇异向量接近机器精度正交归一。
2018-01-01 cs.DC cs.NA math.NA
Extremely Scalable Distributed Computation of Contour Trees via Pre-Simplification
针对大规模科学数据集中分布式层次等高线树分析任务内存开销大、阻碍可扩展性的问题，提出预简化策略显著降低内存开销，并在15分钟内构建了包含超5000亿节点的已知最大等高线树。
2025-08-11 cs.CG cs.DC cs.DS
Distributed Private Online Learning for Social Big Data Computing over Data Center Networks
Huazhong University of Science & Technology（华中科技大学）；Peking University（北京大学）；Northwestern Polytechnical University（西北工业大学）；National University of Singapore（新加坡国立大学）
随着互联网技术的快速发展，云计算和社交网络已经变得无处不在。越来越多的人参与到社交网络中，获得了大量的在线社交数据。为了从获取的大量数据中挖掘知识，预测用户的社会行为，迫切需要在社交网络中实现数据采掘。几乎所有的在线网站都使用云服务来有效地处理从分布式数据中心收集的大规模社交数据。这些数据是如此的大规模，高维和广泛分布，我们提出了一个分布式稀疏在线算法来处理它们。此外，隐私保护是社交网络中的一个重要问题。我们不应该损害网络中个人的隐私，而这些社会数据正在为数据采掘而学习。因此，本文也考虑了隐私问题。我们的模拟结果表明，适当的稀疏数据将提高我们的算法的性能和隐私保护的方法并没有显着损害所提出的算法的性能。
2016-02-21 cs.DC cs.LG cs.SI
Fastest Distributed Consensus on Path Network
为寻找最快分布式共识（FDC）问题提供解析解是传感器网络领域的挑战性问题之一。迄今为止提出的大多数方法都是用数值凸优化方法来处理FDC平均算法问题的，除了在[3]中证明了路径的简化答案外，到目前为止还没有给出求FDC的封闭形式解。在这项工作中，我们提出了一个解析解的最快的分布式共识的路径网络使用半定规划，特别是解决松弛条件，其中最佳的权重是通过归纳比较的松弛条件启动的特征多项式。
2010-03-15 cs.DC cs.IT math.CO
Compiler Design for Distributed Quantum Computing
在分布式量子计算架构中，利用量子互联网提供的网络和通信功能，远程量子处理单元（QPU）可以通信和协作，以执行单个NISQ设备无法自行处理的计算任务。为此，分布式量子计算需要新一代的量子编译器，用于将任何量子算法映射到任何分布式量子计算架构。从这个角度来看，在本文中，我们首先讨论了分布式量子计算的编译器设计所面临的主要挑战。然后，我们解析地推导了分布式量子计算中量子编译开销的上界。推导出的界限占的开销引起的底层计算架构，以及次优量子编译器引起的额外开销-明确设计通过该文件，以实现三个关键功能，即，通用，高效和有效。最后，我们验证了分析结果，我们确认编译器设计的有效性，通过广泛的性能分析。
2020-12-17 cs.DC cs.NI quant-ph
Distributed Computing on Complex Networks
本文研究了当底层通信网络具有复杂结构时，如何找到分布式计算性能指标期望值的解析表达式。通过主动探测测试，分析了一个实际的分布式计算环境。从所得到的网络，具有附加结构的合成图的集合用于蒙特卡罗模拟，以验证解析表达式，并探索在不同条件下的性能指标。在计算服务中具有不同层次结构的计算范例被测量、完全分散（即，对等）环境提供最佳性能。此外，发现通过实现更智能的计算服务配置（例如，基于中介中心性的映射）和任务分配策略，可以实现并行效率的显著提高。我们定性地再现从以前的作品的结果，并提供封闭形式的解决方案，预期的性能指标连接拓扑，应用程序结构和分配参数时，作业的依赖关系和复杂的网络结构被认为是。
2013-11-15 cs.DC nlin.AO
From Federated to Fog Learning: Distributed Machine Learning over Heterogeneous Wireless Networks
Purdue University（普渡大学）；NC State University（北卡罗来纳州立大学）
机器学习（ML）任务在当今的网络应用中变得无处不在。联邦学习最近出现了一种技术，通过利用收集数据的节点的处理能力，在网络边缘训练ML模型。在当代网络中采用传统的联邦学习存在一些挑战，这是由于跨设备存在的计算和通信能力的显著异质性。为了解决这个问题，我们提倡一种称为雾学习的新学习范式，它将智能地将ML模型训练分布在从边缘设备到云服务器的连续节点上。雾学习沿着三个主要维度增强了联邦学习：网络、异构性和邻近性。它认为是一个多层混合学习框架，包括异构设备与各种接近。它说明了每个网络层的异构节点之间的本地网络的拓扑结构，通过设备到设备（D2 D）通信将它们编排用于协作/协作学习。这从用于联邦学习中参数传输的星形网络拓扑迁移到更大规模的分布式拓扑。我们讨论了实现雾学习的几个开放的研究方向。
2020-10-23 cs.DC cs.LG cs.NI
On the Effect of Task-to-Worker Assignment in Distributed Computing Systems with Stragglers
Rutgers University（罗格斯大学）
研究了最近提出的分布式计算算法的期望完成时间，这些算法将计算任务冗余地分配给多台机器，以容忍一定数量的机器故障。我们分析表明，不仅冗余量，而且任务到机器的分配影响在分布式系统中的延迟。我们研究的系统与一个固定数量的计算任务，可能重叠的批次分裂，独立的指数分布的机器服务时间。我们表明，对于这样的系统，非重叠（不相交）批次的计算任务的统一复制达到最小的预期计算时间。
2018-08-08 cs.AI cs.DC cs.IT
