Parallax: Sparsity-aware Data Parallel Training of Deep Neural Networks
采用高性能服务器和GPU加速器来训练深度神经网络模型，极大地加速了深度学习（DL）的最新进展。DL框架，如TensorFlow，MXNet和Caffe2，已经出现，以帮助DL研究人员以分布式方式训练他们的模型。虽然目前的DL框架可以很好地扩展图像分类模型，但仍然有机会在自然语言处理（NLP）模型上进行可扩展的分布式训练。我们发现，由于缺乏对模型参数稀疏性差异的考虑，目前的框架在训练NLP模型时表现出相对较低的可扩展性。在本文中，我们提出了视差，利用模型参数的稀疏性优化数据并行训练的框架。Parallax引入了一种混合方法，将Parameter Server和AllReduce架构结合起来，根据稀疏性优化数据传输量。实验表明，基于TensorFlow构建的Parallax在密集和稀疏模型上都实现了可扩展的训练吞吐量，同时用户只需付出很少的努力。与TensorFlow和Horovod相比，使用48个GPU，Parallax分别实现了NLP模型的2.8倍和6.02倍加速。图像分类模型的训练速度与Horovod相当，比TensorFlow快1.53倍。
2019-06-10 cs.DC
TDSR: Transparent Distributed Segment-Based Routing
器件的可靠性和性能对互连网络提出了巨大的挑战。未来的技术扩展（例如超大规模集成电路设计中的晶体管集成能力）将导致更高的器件退化和制造可变性。因此，网络中的变化出现，通常呈现不规则的拓扑结构。本文提出了一种拓扑无关的分布式基于段的算法，能够处理任何拓扑结构中的交换机发现，同时保证交换机之间的连接。该建议，被称为透明的分布式基于段的路由（TDSR），已被应用到有缺陷的链路配置的网格。
2020-06-04 cs.DC
Mesh-TensorFlow: Deep Learning for Supercomputers
Google Brain（谷歌大脑）
批量拆分（数据并行）是主要的分布式深度神经网络（DNN）训练策略，由于其普遍适用性和对单程序多数据（SPMD）编程的适应性。然而，批量拆分存在一些问题，包括无法训练非常大的模型（由于内存限制），高延迟和小批量时的低效率。所有这些都可以通过更一般的分布策略（模型并行）来解决。不幸的是，有效的模型并行算法往往是复杂的发现，描述和实现，特别是在大型集群。我们介绍Mesh-TensorFlow，一种用于指定分布式张量计算的通用语言。数据并行性可以被视为沿着“批处理”维度拆分张量和操作，在Mesh-TensorFlow中，用户可以指定任何张量维度在处理器的多维网格的任何维度上拆分。Mesh-TensorFlow图编译成SPMD程序，该程序由并行操作和集合通信原语（如Allreduce）组成。我们使用Mesh-TensorFlow来实现Transformer序列到序列模型的高效数据并行、模型并行版本。使用多达512个核心的TPU网格，我们训练具有多达50亿个参数的Transformer模型，超越了WMT'14英法翻译任务和10亿字语言建模基准的最新成果。Mesh-Tensorflow可在https://github.com/tensorflow/mesh上获得。
2018-11-05 cs.DC cs.LG stat.ML
TF-Replicator: Distributed Machine Learning for Researchers
DeepMind（深度思维）
我们描述了TF-Replicator，这是一个为DeepMind研究人员设计的分布式机器学习框架，并作为TensorFlow的抽象实现。TF-Replicator简化了数据并行和模型并行研究代码的编写。使用同步或异步训练方案，可以毫不费力地将相同的模型部署到不同的集群架构（即一台或多台包含CPU、GPU或TPU加速器的机器）。为了证明TF-Replicator的通用性和可扩展性，我们实现并测试了三个非常不同的模型：（1）用于ImageNet分类的ResNet-50，（2）用于类条件ImageNet图像生成的SN-GAN，以及（3）用于连续控制的D4 PG强化学习代理。我们的研究结果表明，强大的可扩展性的性能，而不需要任何分布式系统的专业知识的用户。TF-Replicator编程模型将作为TensorFlow 2.0的一部分开源（参见https：//github.com/tensorflow/community/pull/25）。
2019-02-01 cs.AI cs.DC cs.LG
Transparent hardware synthesis of Java for predictable large-scale distributed systems
JUNIPER项目正在开发一个用于构建大规模分布式系统的框架，在该框架中可以保证执行时间界限。这项工作的一部分涉及在FPGA上自动实现输入Java代码，以提高速度和可预测性。这项工作的一个重要重点是通过运行时协同设计和部分重新配置，使FPGA的使用透明。初步结果表明，使用Java不会妨碍硬件生成，并提供了严格的执行时间估计。本文介绍了一个概述所采取的方法，并提出了一些初步的结果，证明了承诺的技术。
2015-08-28 cs.DC
Poseidon: An Efficient Communication Architecture for Distributed Deep Learning on GPU Clusters
Carnegie Mellon University（卡内基梅隆大学）；Petuum Inc.（Petuum公司）
深度学习模型可能需要数周的时间在一台配备GPU的机器上进行训练，因此需要将DL训练扩展到GPU集群。然而，当前的分布式DL实现由于网络上的大量参数同步而可伸缩性差，因为GPU的高吞吐量允许每单位时间比CPU处理更多的数据批次，从而导致更频繁的网络同步。我们提出了Poseidon，一个有效的通信架构，用于GPU上的分布式DL。Poseidon利用DL程序中的分层模型结构来重叠通信和计算，减少突发网络通信。此外，Poseidon使用混合通信方案，根据层属性和机器数量优化同步每个层所需的字节数。我们通过将Poseidon插入Caffe和TensorFlow来证明Poseidon适用于不同的DL框架。我们展示了Poseidon使Caffe和TensorFlow能够在16台单GPU机器上实现15.5倍的速度提升，即使带宽有限（10 GbE）和具有挑战性的VGG 19 - 22 K网络用于图像分类。此外，Poseidon支持的TensorFlow在Inception-V3上使用32台单GPU机器实现了31.5倍的速度提升，比开源TensorFlow（20倍速度提升）提高了50%。
2017-06-11 cs.CV cs.DC cs.LG
secureTF: A Secure TensorFlow Framework
TU Dresden（德累斯顿工业大学）；Scontain UG（Scontain有限责任公司）；TU Munich（慕尼黑工业大学）
数据驱动的智能应用在现代在线服务中已经无处不在。这些应用程序通常托管在不受信任的云计算基础设施中。这带来了重大的安全风险，因为这些应用程序依赖于在可能包含私人和敏感信息的大型数据集上应用机器学习算法。为了应对这一挑战，我们设计了secureTF，这是一个基于Tensorflow的分布式安全机器学习框架，用于不受信任的云基础设施。secureTF是一个通用平台，可支持未经修改的TensorFlow应用程序，同时为输入数据、ML模型和应用程序代码提供端到端安全性。secureTF是基于可信执行环境（TEE）提供的安全属性从头构建的。然而，它扩展了由单节点TEE提供的易失性存储器区域（或安全飞地）的信任，以保护支持在云中运行的未修改的有状态机器学习应用所需的分布式基础设施。本文报告了我们在系统设计选择和生产用例中的系统部署方面的经验。最后，我们总结了我们的商业平台的局限性的基础上吸取的教训，并讨论了开放的研究问题，为未来的工作。
2021-01-20 cs.CR cs.DC cs.LG
HyPar-Flow: Exploiting MPI and Keras for Scalable Hybrid-Parallel DNN Training using TensorFlow
The Ohio State University（俄亥俄州立大学）
为了减少大规模DNN的训练时间，科学家们已经开始探索数据并行、模型并行和混合并行等并行化策略。虽然数据并行已经得到了广泛的研究和发展，但在有效实现模型并行和混合并行方面还存在一些问题。我们关注的四个主要问题是：1）定义跨进程的分布式模型的概念，2）实现跨进程边界的前向/反向传播，这需要显式通信，3）在固有的顺序任务上获得并行加速，以及4）实现可扩展性而不损失模型的准确性。为了解决这些问题，我们创建了HyPar-Flow --一个模型大小/类型不可知的，可扩展的，实用的和用户透明的系统，用于通过利用MPI，Keras和TensorFlow进行混合并行训练。HyPar-Flow提供了一个API，可用于对任何Keras模型进行大规模的数据、模型和混合并行训练。我们创建了用户提供的Keras模型的内部分布式表示，利用TF的Eager执行功能进行跨进程的分布式前向/反向传播，利用流水线来提高性能，并利用高效的MPI原语进行可扩展的通信。在模型分区之间，我们使用send和recv来交换层数据/部分错误，而allreduce用于累积/平均模型副本之间的梯度。除了HyPar-Flow的设计和实现，我们还提供了三个最先进的HPC系统的全面正确性和性能结果，包括TACC Frontera（Top500.org上排名第5）。对于超深度模型ResNet-1001，HyPar-Flow提供：1）基于Horo…
2020-02-19 cs.AI cs.DC cs.LG
BrainSlug: Transparent Acceleration of Deep Learning Through Depth-First Parallelism
NEC Laboratories Europe（日本电气欧洲实验室）；Systems and Machine Learning Group（系统与机器学习组）
PyTorch和TensorFlow等神经网络框架是从对象识别到机器翻译等众多机器学习应用的主力。虽然这些框架是通用的并且使用简单，但是深度神经网络中的训练和推理是资源密集型的（能量、计算和内存）。与最近专注于算法增强的工作相比，我们引入了BrainSlug，这是一个框架，通过将默认的逐层处理更改为深度优先方法，从而透明地加速神经网络工作负载，减少计算所需的数据量，从而提高可用硬件缓存的性能。BrainSlug在CPU上实现了高达41.1%的性能提升，在GPU上实现了35.7%的性能提升。这些优化对用户来说是零成本的，因为它们不需要改变硬件，只需要对软件进行微小的调整。
2018-04-23 cs.AI cs.CV cs.DC
RPC Considered Harmful: Fast Distributed Deep Learning on RDMA
Microsoft Research（微软研究院）
深度学习作为一种重要的新的资源密集型工作负载出现，并已成功应用于计算机视觉、语音、自然语言处理等领域。分布式深度学习正成为应对不断增长的数据和模型规模的必要手段。其计算的典型特征是一个简单的张量数据抽象来建模多维矩阵，一个数据流图来建模计算，以及相对频繁的同步迭代执行，从而使其与Map/Reduce风格的分布式大数据计算有很大的不同。RPC通常用作通信原语，已被流行的深度学习框架所采用，例如使用gRPC的TensorFlow。我们证明了RPC对于分布式深度学习计算是次优的，特别是在支持RDMA的网络上。张量抽象和数据流图与RDMA网络相结合，提供了减少不必要开销的机会（例如，存储器拷贝）而不牺牲可编程性和通用性。特别是，从数据访问的角度来看，远程机器被抽象为RDMA通道上的“设备”，具有用于分配、读取和写入内存区域的简单内存接口。我们的图分析器同时查看数据流图和张量，以使用此接口优化内存分配和远程数据访问。结果是，与TensorFlow中的标准gRPC相比，代表性深度学习基准测试的速度提高了25倍，即使是针对RDMA优化的RPC实现也提高了169%，从而在训练过程中实现了更快的收敛。
2018-05-22 cs.DC cs.LG
A DAG Model of Synchronous Stochastic Gradient Descent in Distributed Deep Learning
凭借海量的训练数据，深度学习在许多人工智能（AI）应用中取得了重大突破。然而，这种大规模的数据集带来了计算挑战，需要将训练分布在配备GPU等加速器的集群上。随着GPU计算能力的快速提升，GPU之间的数据通信已成为影响整体训练性能的潜在瓶颈。本文首先提出了一种通用的有向无环图（DAG）模型来描述分布式同步随机梯度下降（S-SGD）算法，该算法在分布式深度学习框架中得到了广泛的应用。为了了解数据通信对训练性能的实际影响，我们对四种最先进的分布式深度学习框架（即，Caffe-MPI、CNTK、MXNet和TensorFlow）在多GPU和多节点环境中使用不同的数据通信技术，包括PCIe、NVLink、10 GbE和InfiniBand。通过分析和实验研究，我们确定了可以进一步优化的潜在瓶颈和开销。最后，我们公开了我们的实验轨迹的数据集，这可以用来支持基于模拟的研究。
2018-10-31 cs.DC
Extending and Implementing the Self-adaptive Virtual Processor for Distributed Memory Architectures
未来的众核架构很可能具有分布式内存组织，并且需要细粒度的并发管理才能有效地使用。自适应虚拟处理器（SVP）是一个抽象的并发编程模型，可以提供这一点，但该模型及其当前的实现假设一个单一的地址空间共享内存。我们调查和扩展SVP处理分布式环境，并讨论了原型SVP实现透明地支持执行异构分布式内存集群通过TCP/IP连接，同时保留原始的SVP编程模型。
2011-04-19 cs.DC
HetSeq: Distributed GPU Training on Heterogeneous Infrastructure
University of Notre Dame（圣母大学）
像PyTorch和Tensorflow这样的现代深度学习系统能够在分布式基础设施上训练具有数十亿（或数万亿）参数的巨大模型。这些系统要求内部节点具有相同的内存容量和计算性能。不幸的是，大多数组织，尤其是大学，都采用零敲碎打的方法来购买计算机系统，从而导致异构的基础设施，无法用于计算大型模型。目前的工作描述了HetSeq，一个软件包改编自流行的PyTorch包，提供了在异构基础设施上训练大型神经网络模型的能力。使用Transformer翻译和BERT语言模型的实验表明，HetSeq可在异构系统上扩展。HetSeq可以很容易地扩展到其他模型，如图像分类。包含支持文档的软件包可在https://github.com/yifding/hetseq上公开获取。
2020-09-25 cs.DC cs.LG
DMTCP: Transparent Checkpointing for Cluster Computations and the Desktop
DMTCP（Distributed MultiThreaded CheckPointing）是一个用于分布式应用程序的透明用户级检查点包。检查点设置和重新启动演示了20多个知名应用程序，包括MATLAB，Python，TightVNC，MPICH 2，OpenMPI和runCMS。RunCMS在内存中以680 MB的图像运行，其中包括540个动态库，并用于CERN大型强子对撞机的CMS实验。DMTCP透明地检查由许多节点、进程和线程组成的一般集群计算;以及典型的桌面应用程序。在128个分布式核心（32个节点）上，检查点和重启时间通常为2秒，运行时开销可以忽略不计。使用分叉检查点时，典型的检查点时间减少到0.2秒。实验结果表明，在中等规模的集群上，随着节点数量的增加，检查点时间几乎保持不变。DMTCP自动考虑fork、exec、ssh、互斥/信号量、TCP/IP套接字、UNIX域套接字、管道、ptys（伪终端）、终端模式、控制终端的所有权、信号处理程序、打开文件描述符、共享打开文件描述符、I/O（包括读取行库）、共享内存（通过mmap）、父子进程关系、pid虚拟化和其他操作系统工件。通过强调无特权的用户空间方法，从2.6.9到当前的2.6.28的Linux内核之间保持了兼容性。由于DMTCP是无特权的，并且不需要特殊的内核模块或内核补丁，因此DMTCP可以作为检查点重启模块在一些更大…
2009-02-24 cs.DC cs.OS
Distributed Management of Massive Data: an Efficient Fine-Grain Data Access Scheme
针对大规模分布式环境下海量数据块的高效存储和访问问题，提出了一种基于数据块的数据子集细粒度访问方法。这个问题在数据库、数据采掘和多媒体领域的应用中至关重要。我们提出了一个数据共享服务的基础上分布式，基于RAM的数据存储，同时利用基于DHT的，原生并行元数据管理方案。相对于最常用的网格存储基础设施，提供明确的数据本地化和传输机制，我们提供了一个透明的访问模型，通过全局标识符访问数据。我们的建议已通过原型实施，其初步评估提供了有前途的结果进行了验证。
2008-10-13 cs.DC
Application of Blockchain Technology for Educational Platform
如今，每秒钟都会产生大量数据，其中一些数据可以被定义为敏感数据。区块链技术具有私有，安全，透明和分散的数据交换。它适应性强，可用于学术和工业环境中广泛的基于互联网的交互系统。可编程分布式账本（如以太坊、Polkadot、Cardano和其他Web 3.0技术）的重要组成部分是智能合约。智能合约是在全球区块链上执行的程序，代码是公开的，交易中管理的所有数据都是公开的，因此创建了一个可靠的系统，如果设计得当，就不会被欺骗。在本文中，为了使教育系统更加透明和通用，我们将描述一个教育学习平台设计为分布式系统。
2021-12-15 cs.DC
Accelerating Communications in Federated Applications with Transparent Object Proxies
本文提出一种将按引用传递扩展到分布式应用的编程范式，通过ProxyStore系统实现透明对象代理，解耦控制流与数据流，降低跨云、HPC和边缘系统数据传递成本，并经基准测试和实际应用验证其高效性。
2023-08-29 cs.DC
Leader Election and Gathering for Asynchronous Transparent Fat Robots without Chirality
本文提出了一种分布式算法，确定性地收集n（n> 4）异步，胖机器人。机器人被假定为透明的，并且它们具有完全可见性。机器人最初被认为是静止的。机器人在运动中是可见的。机器人不存储过去的动作。它们是匿名的，不能通过它们的外观来区分，并且没有共同的坐标系或手性。机器人不通过消息传递进行通信。在所提出的收集算法中，一个机器人一次向其目的地移动。移动的机器人被选择为唯一有资格移动的机器人，直到它到达目的地。在领带的情况下，本文提出了一种领导者选举算法，该算法产生的机器人的排序和排序中的第一个机器人成为领导者。排序是唯一的，在这个意义上，每个机器人，其特点是它的位置，同意相同的排序。我们表明，如果一组机器人可以订购，那么他们可以收集确定性。该文件还描述的情况下，订购是不可能的。本文还提出了一个重要的事实，如果领导选举是可能的，那么聚集模式的形成是可能的，即使没有手性。
2012-08-22 cs.DC
Cloud Scheduler: a resource manager for distributed compute clouds
云结构即服务（IaaS）计算云的可用性使研究人员能够访问大量新资源，以运行复杂的科学应用程序。然而，将云资源用于大量工作需要大量的努力和专业知识。为了使研究人员能够简单透明地部署他们的应用程序，我们开发了一个用于分布式计算云的虚拟机资源管理器（Cloud Resource Manager）。云服务器会响应用户的作业提交来引导和管理用户自定义的虚拟机。我们描述了云计算的动机和设计，并介绍了其在科学和商业云上的使用结果。
2010-06-30 cs.DC
HiQ -- A Declarative, Non-intrusive, Dynamic and Transparent Observability and Optimization System
OCI Cloud AI（甲骨文云人工智能部门）
本文提出非侵入式、声明式的动态透明系统 HiQ，用于追踪 Python 及分布式程序运行时信息并定位性能瓶颈，且已在深度学习生命周期管理中落地并开源。
2023-04-26 cs.AI cs.DC cs.LG
Object Proxy Patterns for Accelerating Distributed Applications
针对工作流和无服务器框架对高级数据流模式支持不足导致的分布式应用优化难题，提出分布式期货、流处理和所有权三种基于对象代理的高级编程模式，经基准测试和科学应用验证，显著提升运行时间、吞吐量和内存使用效率。
2024-12-02 cs.DC
Faa$T: A Transparent Auto-Scaling Cache for Serverless Applications
功能即服务（FaaS）已成为用户部署应用程序而无需管理底层基础设施的日益流行的方式。然而，现有的FaaS平台依赖于远程存储来维护状态，限制了可以有效运行的应用程序集。FaaS平台最近的缓存工作试图解决这个问题，但没有达到目标：它忽视了FaaS应用程序的广泛不同特征，没有根据数据访问模式扩展缓存，或者需要对应用程序进行更改。为了解决这些限制，我们提出了Faa\$T，一个透明的自动扩展分布式缓存的无服务器应用程序。每个应用程序都有自己的Faa\$T缓存。在函数执行并且应用程序变为非活动状态之后，缓存将与应用程序一起从内存中卸载。在为下一次调用重新加载时，Faa\$T会用可能被访问的对象预热缓存。除了传统的基于计算的扩展之外，Faa\$T还基于工作集和对象大小进行扩展，以管理缓存空间和I/O带宽。我们通过对大型商业FaaS提供商的数据访问模式进行全面研究来激励我们的设计。我们为供应商的生产FaaS平台实现Faa\$T。我们的实验表明，对于具有挑战性的应用程序，Faa\$T可以将性能提高高达92%（平均57%），并且与最先进的缓存系统相比，可以降低大多数用户的成本，即必须支持额外的服务器资源的成本。
2021-04-28 cs.DC
Towards Federated Learning at Scale: System Design
Google Inc.（谷歌公司）
联邦学习是一种分布式机器学习方法，它可以在大量分散数据上进行模型训练。我们基于TensorFlow为移动设备领域的联邦学习构建了一个可扩展的生产系统。在本文中，我们描述了由此产生的高层次设计，概述了一些挑战及其解决方案，并触及开放的问题和未来的发展方向。
2019-03-22 cs.DC cs.LG stat.ML
FogStore: Toward a Distributed Data Store for Fog Computing
有状态应用和虚拟化网络功能（VNF）可以从状态外部化中受益，以提高其可靠性、可扩展性和互操作性。为了保持和共享外部化的状态，分布式数据存储（DDS）是一个强大的工具，允许在一致性，可用性和分区容差的传统权衡管理。随着雾计算和边缘计算的出现，有状态应用程序和VNF从数据中心推向网络边缘。这对为云数据中心部署量身定制的DDS提出了新的挑战。在本文中，我们提出了两个新的设计目标的DDS是专门为雾计算：（1）雾感知副本放置，（2）上下文敏感的差分一致性。为了在现有DDS的基础上实现这些设计目标，我们提出了FogStore系统。FogStore透明地管理副本放置和一致性管理中所需的调整，以便现有的DDS可以插入系统。为了展示FogStore的好处，我们使用Yahoo Cloud Serving Benchmark进行了一系列评估。
2017-09-22 cs.DC
Fast General Distributed Transactions with Opacity using Global Time
事务可以通过向应用程序开发人员隐藏数据分布、并发和故障来简化分布式应用程序。理想情况下，开发人员将看到一个单独的大型机器的抽象，该机器顺序地运行事务并且从不失败。这就要求事务子系统提供不透明性（对已提交和已中止的事务都严格可串行化），以及透明的高可用性容错。由于即使是最好的抽象，如果它们表现不佳，也不太可能被使用，因此系统还必须提供高性能。现有的分布式事务设计要么削弱了这种抽象，要么不是为数据中心内的最佳性能而设计的。本文扩展了FaRM的设计-仅为提交的事务提供严格的可串行化性-以提供不透明性，同时保持FaRM的高吞吐量，低延迟和高可用性在现代数据中心。它使用基于实时的的时间戳排序，时钟在整个集群中同步到几十微秒内，并使用故障转移协议来确保时钟主机故障的正确性。当在90台机器上运行TPC-C事务混合时，具有不透明性的FaRM每秒可以提交540万个新事务，并具有3路复制。
2020-06-25 cs.DC
A Grid Service Broker for Scheduling Distributed Data-Oriented Applications on Global Grids
下一代科学实验和研究，通常被称为电子科学，是由分布在世界各地的研究人员进行的，他们从事分析科学仪器产生的大量数据。网格计算已经成为电子科学的推动者，因为它允许创建虚拟组织，将具有共同目标的社区聚集在一起。在社区内，数据汇集存储或复制在分布式资源上，以增强存储能力或访问效率。在这样的环境中，科学家需要有能力通过透明地访问分布式数据和计算资源来进行研究。在本文中，我们提出并开发了一个网格代理，通过（a）为给定的分析场景发现合适的数据源，（b）合适的计算资源，（c）最佳地将分析作业映射到资源，（d）在选定的资源上部署和监视作业执行，（e）在作业执行期间从本地或远程数据源访问数据，以及（f）整理和呈现结果。该代理支持用于创建网格应用程序的声明式和动态参数化编程模型。我们已经使用这个模型在网格启用高能物理分析应用程序（百丽分析软件框架）。该经纪人已被用于在网格测试平台上部署Belle实验数据分析工作，称为Belle分析数据网格，分布在澳大利亚各地的资源通过GrangeNet互连。
2004-05-06 cs.DC
Distributed and Adaptive Fast Multipole Method In Three Dimensions
我们开发了一个通用的分布式实现的自适应快速多极子方法在三维空间。我们依赖于一种平衡的自适应空间离散化，它支持高度透明和完全分布式的实现。复杂性分析表明，有利的标度特性和数值实验上多达512个核心和10亿个源点验证他们。控制算法的参数进行了深入的实验，对输入参数的性能响应意味着整体实现非常适合自动调谐。
2020-02-12 cs.DC cs.DS cs.NA
OneFlow: Redesign the Distributed Deep Learning Framework from Scratch
OneFlow Research（OneFlow研究院）；Zhejiang Laboratory（之江实验室）；The University of Hong Kong（香港大学）；University of Pennsylvania（宾夕法尼亚大学）；State Key Laboratory of Mathematical Engineering and Advanced Computing（数学工程与先进计算国家重点实验室）
TensorFlow和PyTorch等深度学习框架为在单个设备上表达和训练深度神经网络（DNN）模型或使用数据并行提供了高效的接口。然而，它们在分布式设备上训练新兴的大型模型时可能不够灵活或有效，这需要比数据并行更复杂的并行性。已经开发了插件或包装器来加强这些框架的模型或流水线并行，但它们使分布式深度学习的使用和实现复杂化。针对一个简单的，整洁的重新设计的分布式深度学习框架的各种并行范例，我们提出了OneFlow，一个新的分布式训练框架的基础上SBP（分裂，广播和部分值）抽象和演员模型。SBP比现有框架更容易编程数据并行性和模型并行性，并且Actor模型提供了一种简洁的运行时机制来管理分布式深度学习中资源约束、数据移动和计算所带来的复杂依赖关系。我们通过案例研究和广泛的实验证明了OneFlow在训练各种大型DNN模型方面的普遍适用性和效率。结果表明，OneFlow的性能优于许多基于最先进框架构建的知名定制库。OneFlow的代码可在以下网址获得：https://github.com/Oneflow-Inc/oneflow。
2022-04-19 cs.AI cs.DC cs.LG
Dynamic Scheduling of MPI-based Distributed Deep Learning Training Jobs
SAIC-Toronto（三星高级技术研究院多伦多分院）
解决适合深度学习的问题有一个总的趋势，即在更大的训练集上训练更复杂的深度学习架构。这需要更长的计算时间和更大的数据并行化或模型并行化。数据和模型并行在参数服务器架构中的速度在历史上都更快，但是由于算法的改进，数据并行在环形架构中开始更快。在本文中，我们分析了数学背后的环形架构，并作出明智的适应动态调度环形架构。为此，我们制定了一个非凸，非线性，NP-难整数规划问题和一个新的有效的加倍启发式的解决方案。我们构建在Horovod之上：一个基于TensorFlow的开源环架构框架。我们表明，Horovod工作有一个低成本的停止和重新启动，停止和重新启动环架构的工作导致更快的完成时间。这两个事实使环形结构作业的动态调度成为可能。最后，我们使用这些运行模拟调度程序，并显示在某些工作负载模式下平均作业时间减少了一半以上。
2019-08-21 cs.DC cs.LG stat.ML
Distributed Heterogeneous Relational Data Warehouse In A Grid Environment
本文探讨了如何“分布式异构关系数据仓库“可以集成在一个网格环境中，将提供物理学家有效地访问大型和小型的对象集合从数据库在多个站点。本文探讨了网格使这样一个仓库的要求，并探讨了如何满足这些要求扩展现有的网格中间件。我们提出了初步的结果，这种工作原型仓库使用SQLServer和Oracle9i，网格启用的Web服务接口，使它更容易为Web应用程序安全地访问分布式数据库的内容。在原型成功的基础上，我们提出了一个通过Web服务接口使用异构关系型数据仓库的框架，为用户创建一个单一的“虚拟数据库系统”。以这种方式透明地访问数据的能力，如原型所示，对于希望整理和分析分布在网格上的信息的HENP和其他网格用户来说，可能是一个非常强大的工具。
2003-06-18 cs.DB cs.DC
Machine Learning Pipelines with Modern Big Data Tools for High Energy Physics
European Organization for Nuclear Research (CERN)（欧洲核子研究组织）；University of Padova（帕多瓦大学）
HEP用例的复杂机器学习（ML）技术的大规模有效利用带来了几个技术挑战，最重要的是专用端到端数据管道的实际实现。提出了一种解决这些挑战的解决方案，该解决方案允许使用来自大数据和数据科学生态系统的解决方案来训练神经网络分类器，并与HEP环境中常见的工具，软件和平台集成。特别是，Apache Spark被用于数据准备和特征工程，在Apacheyter笔记本上交互式地运行相应的（Python）代码。关键的集成和库，使Spark能够使用ROOT格式存储的数据，并通过XRootD协议访问，描述和讨论。使用Keras API定义的神经网络模型的训练通过使用BigDL和Analytics Zoo以及TensorFlow以分布式方式在Spark集群上执行，特别是用于CPU和GPU资源的分布式训练。在这项工作中详细描述了分布式训练的实施和结果。
2020-06-16 cs.DC cs.LG hep-ex
Federated Learning in Chemical Engineering: A Tutorial on a Framework for Privacy-Preserving Collaboration Across Distributed Data Sources
SVKM's Dwarkadas J. Sanghvi College of Engineering（SVKM's 德瓦卡达斯·J.桑格维工程学院）；Davidson School of Chemical Engineering, Purdue University（普渡大学戴维森化学工程学院）；Federal University of Rio de Janeiro（里约热内卢联邦大学）
本研究为化学工程界提供联邦学习（FL）的易懂入门教程，基于Flower等框架构建实践工具，探讨其在化工相关任务的应用，通过实验证明FL在保护隐私的同时维持或提升模型性能，并展望了未来挑战。
2025-02-12 cs.DC cs.LG cs.NE
Fast and Scalable Distributed Deep Convolutional Autoencoder for fMRI Big Data Analytics
The University of Georgia（佐治亚大学）；Innopolis University（因诺波利斯大学）
近年来，分析基于任务的功能磁共振成像（tfMRI）数据已成为了解大脑功能和网络的重要工具。然而，由于tfMRI数据的庞大规模，其内在的复杂结构，以及缺乏底层神经活动的基础事实，建模tfMRI数据是困难和具有挑战性的。以前提出的数据建模方法，包括独立成分分析（ICA）和稀疏字典学习只提供了一个弱建立模型的基础上盲声源分离的强烈假设下，原始的fMRI信号可以线性分解成时间序列分量与相应的空间映射。与此同时，分析和学习大量的tfMRI数据，从各种主题已被证明是非常苛刻的，但仍然具有挑战性，即使在计算硬件的技术进步。鉴于卷积神经网络（CNN）是一种从tfMRI时间序列等低级数据中学习高级抽象的鲁棒方法，在这项工作中，我们提出了一种快速可扩展的分布式深度卷积自动编码器模型的新框架。该模型旨在学习tfMRI数据的复杂层次结构，并以分布式方式利用多个GPU的处理能力。为了实现这样一个模型，我们在Apache Spark和Tensorflow库之上创建了一个增强的处理管道，利用了一个非常大的GPU机器集群。将该模型应用于人类连接组计划（HCP）的实验数据表明，该模型对tfMRI大数据分析是有效的，可扩展的，从而在未来实现从海量fMRI大数据中数据驱动的层次神经科学信息提取。
2018-03-04 cs.DC cs.LG cs.NE
Survey of Consensus Protocols
自2008年基于工作量证明（PoW）的比特币出现以来，分布式账本技术得到了广泛的普及和采用。它是一个分布式、透明和不可变的数据库，记录了参与者之间共享和执行的所有事务或事件。所有交易都由网络中的多个节点通过分布式加密机制（共识协议）进行验证和维护，而无需中央权威机构。它形成了这项技术的核心，不仅验证了附加到分类账的信息，而且还确保了它在所有节点上的附加顺序。这是其安全、问责和信任的基础。虽然许多研究人员正在努力改进当前的协议，使其具有量子抵抗性，容错性和节能性。其他人则专注于开发最适合特定用例的协议的不同变体。在本文中，我们将回顾分布式账本技术的不同共识协议及其实现。我们还将回顾它们的性质，概念和类似的工作，然后进行简要的分析。
2018-10-09 cs.CR cs.DC
Software Toolkit for Building Embedded and Distributed Knowledge-based Systems
本文讨论了用于构造知识系统的软件工具包的基本原理和体系结构，这些知识系统可以在计算机网络上协同使用，也可以以不同的方式嵌入到较大的软件系统中。所提出的架构是基于框架知识表示和产生式规则，这也允许接口的高级程序设计语言和关系数据库通过暴露相应的类或数据库表作为框架。位于远程计算机上的帧也可以透明地访问并用于推理，并且特定帧的动态知识也可以通过网络传输。该系统采用Java程序设计语言、CORBA和XML作为外部知识表示，并讨论了系统的实现问题。最后，该工具包的一些应用，包括电子商务方式的知识共享，智能网络行为，等等。
2001-06-26 cs.AI cs.DC cs.MA
