Distributed Caching for Complex Querying of Raw Arrays
随着应用程序继续以指数级增长的速度生成多维数据,快速分析以提取有意义的结果变得非常重要。数据库社区已经开发了数组数据库,通过一系列技术缓解了这个问题。原位机制提供了对原始格式的原始数据的直接存取访问-无需加载和分区。并行处理可扩展到最大的数据集。内存中缓存减少了跨查询工作负载访问相同数据时的延迟。然而,我们不知道任何关于多维原始数组的分布式缓存的工作。在本文中,我们介绍了一个分布式的框架成本为基础的缓存多维数组在本机格式。给定一组包含数组部分的文件和一个在线查询工作负载,该框架分两个阶段计算有效的缓存计划。首先,该计划通过不断改进不断发展的R树索引,从每个输入文件中识别要本地缓存的单元。在第二阶段中,确定将单元格最优分配给将依赖单元格并置以使总体数据传输最小化的节点。我们设计的缓存驱逐和放置启发式算法,考虑历史查询工作量。一个彻底的实验评估两个真实的数据集在三种文件格式证实了优越性-多达两个数量级-所提出的框架在缓存开销和工作负载执行时间方面超过现有的技术。
2018-03-16 cs.DB cs.DC
Rebuilding for Array Codes in Distributed Storage Systems
在使用编码的分布式存储系统中,出现了最小化在故障后重建存储节点所需的通信的问题。我们认为,在分布式存储系统中,使用EVENODD代码的修复被擦除的节点的问题。EVENODD码是最大距离可分离(MDS)阵列码,用于防止擦除,并且仅需要XOR操作进行编码和解码。我们表明,当有两个冗余节点,重建一个删除的系统节点,只有3/4的信息需要传输。有趣的是,在许多情况下,所需的磁盘I/O也被最小化。
2010-09-16 cs.DC cs.IT cs.NI
Distributed virtual machine consolidation: A systematic mapping study
背景资料:虚拟机(VM)整合是提高云数据中心资源利用率和减少能源足迹的有效技术。它可以以集中式或分布式方式实现。分布式VM整合方法目前越来越受欢迎,因为它们通常比集中式方法更具可扩展性,并且可以避免单点故障。目标:全面、公正地概述分布式VM整合方法的最新技术水平。方法:现有分布式VM整合方法的系统映射研究(SMS)。结果:19篇关于分布式虚拟机整合的论文以各种方式分类。结果表明,现有的分布式虚拟机整合方法使用四种类型的算法,优化了一些不同的目标,并经常与涉及模拟实验进行评估。结论:目前人们对开发和评估新的分布式VM整合方法越来越感兴趣。一些研究空白存在的重点,未来的研究可能会被导向。
2018-03-08 cs.DC
Wireless MapReduce Arrays for Coded Distributed Computing
针对现有编码无线MapReduce分布式计算方案需输入文件数随节点数指数增长的问题,提出基于无线MapReduce阵列的方案,在文件数与节点数同量级时实现同等最优性能。
2024-06-22 cs.DC cs.IT math.IT
Scaling Shared-Memory Data Structures as Distributed Global-View Data Structures in the Partitioned Global Address Space model
分区全局地址空间(PGAS)是一种内存模型,其中全局地址空间在集群中的计算节点之间显式分区,致力于弥合共享内存和分布式内存编程之间的差距。为了进一步弥合这一差距,已经采用了全局视图分布式数据结构,例如“全局数组”或“分布式数组”。这项工作演示了如何共享内存数据结构可以修改,以规模在分布式内存。本文提出了一种分布式互锁哈希表(DIHT),它是从互锁哈希表(IHT)中引入的全局视图分布式映射数据结构。在64个节点上,每个节点44个核心,DIHT提供了高达110倍的Chapel标准库HashedDist的性能。
2021-11-30 cs.DC cs.DS
Document Classification Using Distributed Machine Learning
在本文中,我们研究了朴素贝叶斯分类算法的性能和成功率,用于将土耳其新闻自动分类为预定的类别,如经济,生活,健康等。我们使用Apache大数据技术,如Hadoop,HDFS,Spark和Mahout,并将这些分布式技术应用于机器学习。
2018-02-10 cs.DC cs.IR
Understanding System Characteristics of Online Erasure Coding on Scalable, Distributed and Large-Scale SSD Array Systems
具有固态磁盘(SSD)阵列的大规模系统在许多计算领域中变得越来越普遍。为了使这样的系统具有弹性,我们可以采用诸如Reed-Solomon(RS)码的擦除编码作为复制的替代方案,因为擦除编码可以提供比复制低得多的存储成本。为了了解使用纠删编码对系统性能和其他系统方面(如CPU利用率和网络流量)的影响,我们构建了一个由大约100个处理器内核和50多个高性能SSD组成的存储集群,并使用流行的开源分布式并行文件系统Ceph对该集群进行了评估。然后从以下五个角度分析了采用纠删编码的系统的行为,并与采用复制的系统进行了比较:(1)存储系统I/O性能;(2)计算和软件开销;(3)I/O放大;(4)存储节点之间的网络流量;(5)物理数据布局对RS编码SSD阵列性能的影响。对于所有这些分析,我们研究了两个代表性的RS配置,这是由谷歌和Facebook的文件系统,并比较它们与三重复制,一个典型的并行文件系统采用作为默认的容错机制。最后,我们从集群中收集了54个块级轨迹,并将其提供给其他研究人员。
2017-09-19 cs.AR cs.DC
Easy Acceleration with Distributed Arrays
MIT(麻省理工学院)
本文通过STREAM基准测试分布式数组在多种硬件上的性能,展示其在CPU和GPU节点上的线性扩展,并量化了数十年间内存带宽的显著提升,最终在MIT SuperCloud上实现超过1 PB/s的持续带宽。
2025-08-24 cs.CE cs.DC cs.MS
Array BP-XOR Codes for Hierarchically Distributed Matrix Multiplication
提出了一种基于阵列置信传播(BP)-可译码异或(BP-XOR)码的分布式矩阵-矩阵乘法容错计算方法。所提出的方案被证明是可配置的,并适合于现代分层计算架构,如图形处理单元(GPU)配备了多个节点,其中每个都有许多小的独立处理单元,增加了核心到核心的通信。研究表明,在存在缓慢节点的情况下,所提出的方案在端到端总执行时间方面优于一些众所周知的早期策略,称为$stragglers$。这种性能优势是由于阵列码的精心设计,它以增加主从通信为代价将编码操作分布在集群(从)节点上。端到端延迟和总通信成本之间的一个有趣的权衡精确地描述。此外,为了能够解决一个确定的问题,缩放落后者,一个渐进版本的阵列BP-XOR码的基础上投影几何提出了一些计算开销的代价。对所有方案进行了彻底的延迟分析,以证明所提出的方案从端到端延迟的角度来看,在计算产品的大小的次线性和线性制度中实现了顺序最优计算。
2021-12-10 cs.DC cs.IT math.IT
A Survey From Distributed Machine Learning to Distributed Deep Learning
School of Electrical and Computer Engineering, University of Tehran(德黑兰大学电气与计算机工程学院);School of Electrical and Computer Engineering, Tarbiat Modares University(塔比亚特·莫达雷斯大学电气与计算机工程学院)
本文综述了分布式机器学习到分布式深度学习的发展,将相关算法分为传统机器学习、深度学习和深度强化学习,并重点聚焦分布式深度学习,指出了未来研究需解决的局限性。
2023-09-09 cs.DC cs.LG
ASYNC: A Cloud Engine with Asynchrony and History for Distributed Machine Learning
University of Toronto(多伦多大学)
ASYNC是一个框架,它支持在分布式计算平台上实现优化方法的查询和历史。在分布式机器学习中,异步优化方法的流行度已经增加。然而,它们在分布式系统上的适用性和实际实验是有限的,因为当前的批量处理云引擎不提供对数据和历史的强大支持。通过引入三个主要模块以及簿记系统特定和应用参数,ASYNC为从业者提供了一个实现异步机器学习方法的框架。为了演示ASYNC中的易于实现,在ASYNC中演示了两种著名的优化方法随机梯度下降和SAGA的同步和异步变体。
2020-02-21 cs.DC cs.LG
TonY: An Orchestrator for Distributed Machine Learning Jobs
LinkedIn(领英(LinkedIn))
在大型数据集上训练机器学习(ML)模型需要相当大的计算能力。为了加快训练速度,通常会将训练分布在多台机器上,通常使用GPU或TPU等专用硬件。管理分布式训练作业是复杂的,需要处理资源争用、分布式配置、监视和容错。在本文中,我们描述了TonY,一个在LinkedIn上构建的分布式ML作业的开源编排器,以解决这些挑战。
2019-03-24 cs.DC cs.LG stat.ML
TF.Learn: TensorFlow's High-level Module for Distributed Machine Learning
Uptake Technologies, Inc.(Uptake技术公司)
TF.Learn是TensorFlow中用于分布式机器学习的高级Python模块。它提供了一个易于使用的Scikit-learn风格的界面,可以简化创建、配置、训练、评估和实验机器学习模型的过程。TF.Learn集成了广泛的最先进的机器学习算法,这些算法构建在TensorFlow的低级API之上,可用于小规模到大规模的监督和无监督问题。本模块的重点是将机器学习带给使用通用高级语言的非专业人员,以及希望在结构化环境中实施,基准测试和比较他们的新方法的研究人员。重点放在易用性、性能、文档和API一致性上。
2016-12-13 cs.DC cs.LG
Modeling Scalability of Distributed Machine Learning
Hewlett Packard Laboratories(惠普实验室)
当今的机器学习是计算密集型的,并且处理大量数据。它以分布式方式实现,以解决这些可伸缩性问题。这项工作在多个计算节点上并行进行。通常很难提前估计有多少节点用于特定的工作负载。我们提出了一个简单的框架,估计分布式机器学习算法的可扩展性。我们衡量的可扩展性的加速算法实现更多的节点。我们提出了梯度下降和图形模型推理的时间复杂度模型。我们通过深度学习训练和信念传播的实验来验证我们的模型。该框架用于研究Apache Spark中机器学习算法的可扩展性。
2017-03-25 cs.DC cs.LG
The Landscape of Modern Machine Learning: A Review of Machine, Distributed and Federated Learning
Pacific Northwest National Laboratory(太平洋西北国家实验室)
本文综述现代机器学习与深度学习,概览先进算法、应用及框架,并涵盖并行分布式学习、深度学习和联邦学习,作为该领域入门参考。
2023-12-05 cs.AI cs.DC cs.LG
Architecting Peer-to-Peer Serverless Distributed Machine Learning Training for Improved Fault Tolerance
Université du Québec à Chicoutimi(魁北克大学希库蒂米分校);École de Technologie Supérieure(高等工程技术学院)
分布式机器学习是指在多台计算机或设备上训练模型的实践,这些计算机或设备可以称为节点。此外,无服务器计算是使用函数作为计算单元的云计算的新范例。无服务器计算可以通过实现自动资源扩展、减少手动干预和降低成本来有效地用于分布式学习系统。通过分配工作负载,分布式机器学习可以加快训练过程,并允许训练更复杂的模型。分布式机器学习的几种拓扑结构已经建立(集中式,参数服务器,对等)。然而,参数服务器架构在容错方面可能具有限制,包括单点故障和复杂的恢复过程。此外,在对等(P2P)架构中训练机器学习可以通过消除单点故障而在容错方面提供益处。在P2P架构中,每个节点或工作者都可以充当服务器和客户端,这允许更分散的决策,并消除了对中央协调器的需求。在这份立场文件中,我们建议探索使用无服务器计算在分布式机器学习训练和比较性能的P2P架构与参数服务器架构,重点是降低成本和容错。
2023-02-27 cs.DC cs.LG
MLI: An API for Distributed Machine Learning
University of California, Berkeley(加州大学伯克利分校);Brown University(布朗大学)
MLI是一个应用程序编程接口,旨在解决基于数据中心计算的分布式环境中构建机器学习算法的挑战。它的主要目标是简化高性能、可扩展的分布式算法的开发。我们的初步研究结果表明,相对于现有的系统,该接口可以用来构建各种常见的机器学习算法的分布式实现,具有最小的复杂性和极具竞争力的性能和可扩展性。
2013-10-25 cs.DC cs.LG stat.ML
Counter Machines and Distributed Automata: A Story about Exchanging Space and Time
我们证明了两类计数器机器和一类分布式自动机的等价性。我们的计数器机器对有限的字进行操作,它们从左到右读取,同时递增或递减固定数量的计数器。这两个类在它们提供的额外功能上有所不同:一个允许复制计数器值,而另一个允许计算计数器的无复制和。另一方面,我们的分布式自动机在代表单词的有向路径图上操作。路径的所有节点同步执行相同的有限状态机,其状态图必须是非循环的,除了自循环,每个节点接收其直接前任的状态作为输入。这些装置形成线性时间单向元胞自动机的子类。
2018-04-10 cs.DC cs.FL
Stochastic Distributed Optimization for Machine Learning from Decentralized Features
University of Alberta(阿尔伯塔大学);Tencent(腾讯)
分布式机器学习已经在文献中被广泛研究,以在存在不断增加的数据量的情况下扩大机器学习模型训练。我们从另一个角度研究分布式机器学习,其中关于训练相同样本的信息本质上是分散的,并且位于不同的奇偶校验上。我们提出了一个异步随机梯度下降(SGD)算法,这样的功能分布式机器学习(FDML)的问题,共同学习分散的功能,理论上的收敛性保证下有界收敛。我们的算法不需要在各方之间共享原始特征数据甚至局部模型参数,从而保持了高水平的数据机密性。我们实现了我们的算法FDML的参数服务器架构。我们将我们的系统与完全集中式训练(违反数据局部性要求)和仅基于局部特征的训练进行比较,通过对来自真实世界应用程序的大量数据进行广泛的实验,总共涉及500万个样本和$8700$特征。实验结果表明,所提出的FDML系统的有效性和效率。
2019-05-14 cs.DC cs.LG
Distributed Control System for the Test Interferometer of the ALMA Project
为支持阿塔卡马大型毫米波阵列(ALMA)的开发而建造的测试干涉仪的控制系统(TICS)本身将是最终ALMA阵列的原型,为正在开发的分布式控制系统提供测试。TICS将基于ALMA通用软件(ACS)(由欧洲南方天文台开发),该软件提供基于CORBA的服务和控制软件的设备管理框架。简单的设备控制器将在单板的计算机上运行,其中一个(称为LCU)位于每个天线处;而复杂的复合设备控制器可能在位于中央的计算机上运行。在任何一种情况下,客户程序都可以直接获得对设备及其属性的CORBA引用。监视和控制请求被发送到设备或属性,然后设备或属性根据需要处理命令并将命令转发到适当的硬件设备。定时要求通过标记命令来满足,其中(未来)时间戳与定时脉冲同步,定时脉冲由中央参考发生器调节,并分发给阵列中的所有硬件设备。监控是通过基于CORBA的发布/订阅服务提供的。
2001-12-04 cs.DC physics.ins-det
Exploring Design Tradeoffs Of A Distributed Algorithm For Cosmic Ray Event Detection
许多传感器网络,包括大型粒子探测器阵列测量高能宇宙射线空气簇射,传统上依赖于集中式触发算法,以找到空间和时间的巧合的各个节点。这样的方案遭受可扩展性问题,特别是如果节点无线通信或具有带宽限制。然而,原则上,相互通信的节点可以使用分布式算法来自己找到重合事件,而无需与中央节点通信。我们提出了这样一个算法,并考虑各种设计权衡,在俄歇工程无线电阵列(AERA)的潜在触发的背景下。
2013-02-04 astro-ph.IM cs.DC physics.ins-det
SLSGD: Secure and Efficient Distributed On-device Machine Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们考虑了具有有限通信和安全要求的分布式设备上学习。我们提出了一种新的鲁棒分布式优化算法,有效的通信和攻击容忍。该算法具有可证明的收敛性和非IID设置下的鲁棒性。实验结果表明,该算法稳定的收敛性和容忍数据投毒对少数工人。
2019-10-01 cs.DC cs.LG stat.ML
A Survey on Distributed Machine Learning
Delft University of Technology(代尔夫特理工大学);imec - Ghent University(imec-根特大学)
在过去十年中,对人工智能的需求显著增长,这种增长受到机器学习技术进步和利用硬件加速能力的推动。然而,为了提高预测的质量并使机器学习解决方案对于更复杂的应用可行,需要大量的训练数据。虽然可以用适量的数据来训练小型机器学习模型,但用于训练诸如神经网络之类的较大模型的输入随着参数的数量呈指数增长。由于对处理训练数据的需求已经超过了计算机器的计算能力的增长,因此需要将机器学习工作负载分布在多个机器上,并将集中式系统转变为分布式系统。这些分布式系统提出了新的挑战,首先是训练过程的有效并行化和连贯模型的创建。本文通过概述分布式机器学习相对于传统(集中式)机器学习的挑战和机遇,讨论用于分布式机器学习的技术,并概述可用的系统,对该领域的当前最新技术进行了广泛的概述。
2019-12-20 cs.DC cs.LG stat.ML
Revisiting Large Scale Distributed Machine Learning
School of Computer Communication Sciences(计算机与通信科学学院)
如今,随着配备各种传感器的智能手机和其他便携式小工具的普及,数据无处不在,机器学习的重点已经从能够从小训练样本中进行推断转移到处理大规模高维数据。在个人医疗保健应用等领域,分布式机器学习是一个很有前途的研究方向,既可以扩展学习算法,也可以处理在不同位置产生的数据。本报告全面概述了分布式机器学习的最新算法,包括监督学习和无监督学习,从简单的线性逻辑回归到图形模型和聚类。我们为大多数类别提出了未来的发展方向,具体到潜在的个人医疗保健应用。考虑到这一点,报告重点关注在严格的客户端-服务器架构模型的特定情况下如何确保安全性和低通信开销。作为特定的方向,我们提供了一个详尽的介绍经验聚类算法,k-窗口,并提出了一个异步分布式机器学习算法,将规模以及计算成本低,易于实现。
2015-07-06 cs.DC cs.LG
High-Dimensional Data Processing: Benchmarking Machine Learning and Deep Learning Architectures in Local and Distributed Environments
本文研究了在本地和分布式环境中评估机器学习和深度学习架构在高维数据处理中的表现。
2025-12-11 cs.AI cs.DC
HeAT -- a Distributed and GPU-accelerated Tensor Framework for Data Analytics
German Aerospace Center (DLR)(德国航空航天中心);Forschungszentrum Jülich (FZJ)(于利希研究中心);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
为了应对可用数据的快速增长,数据分析和机器学习库的效率最近受到越来越多的关注。虽然传统的基于阵列的计算已经取得了很大的进步,但大多数都受到单个计算节点上可用资源的限制。因此,必须采用新的方法来利用分布式资源,例如分布式存储器架构。为此,我们引入了HeAT,这是一个基于数组的数值编程框架,用于大规模并行处理,具有易于使用的NumPy类API。HeAT利用PyTorch作为节点本地的急切执行引擎,并通过MPI将工作负载分配到任意大的高性能计算系统上。它既提供低级数组计算,也提供各种高级算法。使用HeAT,NumPy用户可以充分利用其可用资源,大大降低分布式数据分析的障碍。与类似的框架相比,HeAT实现了高达两个数量级的加速。
2020-11-11 cs.DC cs.LG cs.MS
From Distributed Machine Learning to Federated Learning: A Survey
Baidu Inc.(百度公司);Auburn University(奥本大学);University of Oregon(俄勒冈大学)
近年来,数据和计算资源通常分布在终端用户、各个区域或组织的设备中。由于法律或法规的限制,分布式数据和计算资源不能在不同地区或组织之间直接共享,以执行机器学习任务。联邦学习是一种利用分布式数据和计算资源的有效方法,可以协同训练机器学习模型,同时遵守法律法规,确保数据安全和数据隐私。在本文中,我们提供了一个全面的调查现有的工作联邦学习。我们提出了一个功能架构的联邦学习系统和相关技术的分类。此外,我们提出了分布式训练,数据通信,FL系统的安全性。最后,我们分析了它们的局限性,并提出了未来的研究方向。
2022-03-25 cs.AI cs.DC cs.LG
Launchpad: A Programming Model for Distributed Machine Learning Research
DeepMind(深度思维);Google Brain(谷歌大脑)
现代机器学习算法成功背后的一个主要驱动力是它们处理越来越大量数据的能力。因此,在研究和生产中使用分布式系统作为扩展到这种不断增长的数据的手段变得越来越普遍。然而,与此同时,分布式学习过程可能会使即使是简单算法的实现也变得非常复杂。这尤其成问题,因为许多机器学习从业者并不精通分布式系统的设计,更不用说那些具有复杂通信拓扑的系统了。在这项工作中,我们介绍了Launchpad,编程模型,简化了定义和启动分布式系统,是专门针对机器学习观众的过程。我们描述了我们的框架,它的设计理念和实现,并给出了一些常见的学习算法的设计,大大简化了这种方法的例子。
2021-06-07 cs.AI cs.DC cs.LG
Graph Partitioning via Parallel Submodular Approximation to Accelerate Distributed Machine Learning
Carnegie Mellon University(卡内基梅隆大学)
分布式计算擅长处理大规模数据,但是同步共享参数的通信成本可能会降低整体性能。幸运的是,在许多问题中,参数和数据之间的交互是稀疏的,这允许有效的划分,以减少通信开销。在本文中,我们制定的数据放置图分区问题。我们提出了一个分布式划分算法。我们提供理论保证和高效的实施。我们还提供了一个高效的实现算法,并证明其有前途的结果,文本数据集和社交网络。我们表明,该算法通过消除90%的网络通信,导致1.6倍的加速的状态的开始分布式机器学习系统。
2015-05-18 cs.AI cs.DC cs.LG
EasyASR: A Distributed Machine Learning Platform for End-to-end Automatic Speech Recognition
Alibaba Group(阿里巴巴集团)
EasyASR是一个分布式机器学习平台,用于训练和服务大规模自动语音识别(ASR)模型,以及大规模收集和处理音频数据。我们的平台基于阿里云的人工智能机器学习平台。它的主要功能是支持分布式GPU集群上端到端ASR模型的有效学习和推理。它允许用户通过简单的用户界面学习具有预定义或用户自定义网络架构的ASR模型。在EasyASR上,我们已经在几个公共数据集上为普通话语音识别产生了最先进的结果。
2020-10-24 cs.AI cs.CL cs.DC
On Parallel or Distributed Asynchronous Iterations with Unbounded Delays and Possible Out of Order Messages or Flexible Communication for Convex Optimization Problems and Machine Learning
LAAS-CNRS(LAAS-法国国家科学研究中心);Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心)
我们描述了并行或分布式异步迭代算法的几个特点,如无界延迟,可能的顺序消息或灵活的通信。本文重点讨论了为了研究异步迭代的收敛性或终止性而引入的宏迭代序列的概念。本文还综述了凸优化问题的异步迭代方法。最后,给出了凸优化问题和机器学习中具有灵活通信的并行或分布式异步迭代算法收敛性的一个新结果。
2022-10-05 cs.DC cs.LG cs.NE
Distributed Double Machine Learning with a Serverless Architecture
University of Hamburg(汉堡大学)
本文探讨了双机器学习的无服务器云计算。基于重复交叉拟合,双机器学习特别适合利用无服务器计算可实现的高水平并行性。它允许获得快速的按需估计,而无需额外的云维护工作。我们提供了一个原型Python实现\texttt{DoubleML-Serverless},用于使用无服务器计算平台AWS Lambda估计双机器学习模型,并通过分析估计时间和成本的案例研究来展示其实用性。
2021-02-24 cs.DC cs.LG stat.ML
Asymptotic Network Independence in Distributed Stochastic Optimization for Machine Learning
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院);Boston University(波士顿大学)
我们提供了一个讨论的几个最近的结果,在某些情况下,能够克服障碍,分布式随机最优化机器学习。我们的重点是所谓的渐近网络独立性的财产,这是实现分布式方法在网络上执行的n个节点渐近收敛到最优解在一个可比的速度集中的方法具有相同的计算能力作为整个网络。我们通过一个涉及ML模型训练的例子来解释这一特性,并简要地描述了一个比较分布式随机梯度下降(DSGD)与集中式随机梯度下降(SGD)性能的数学分析。
2020-02-18 cs.DC cs.LG cs.MA
Distributed Injection-Locking in Analog Ising Machines to Solve Combinatorial Optimizations
基于振荡器的伊辛机(OIM)是一种解决组合优化问题的耦合CMOS振荡器网络。在本文中,整个电路的注入锁定振荡的分布提出了加速锁相的OIM。所提出的技术的影响,从理论上研究和验证了广泛的模拟在EDA工具与$130~nm$ PTM模型。通过分配超谐波振荡器的注入信号,速度增加了$219.8\%$,而由于分布式技术,器件的功耗和锁相误差的增加可以忽略不计。
2020-12-16 cs.AR cs.DC cs.ET
Distributed Dual Coordinate Ascent in General Tree Networks and Communication Network Effect on Synchronous Machine Learning
Penn State Behrend(宾夕法尼亚州立大学贝伦德分校);University of California, Davis(加州大学戴维斯分校);University of Iowa(爱荷华大学)
由于数据量大,单台计算机或单台服务器的数据存储量有限,数据往往以分布式方式存储。因此,经常需要通过通信网络对分布式数据集执行大规模机器学习操作。本文研究了一般树结构网络中分布式机器学习问题的分布式双坐标上升的收敛速度。由于树型网络模型可以理解为星型网络模型的推广,因此我们的算法可以看作是星型网络模型中分布式对偶坐标上升的推广。本文以递归的方式给出了一般树状网络上分布式对偶坐标上升的收敛速度,并分析了网络对收敛速度的影响。其次,考虑网络通信时延,对分布式双坐标上升算法进行优化,使其收敛速度最大化。从我们的分析结果,我们可以选择最佳的局部迭代次数取决于通信延迟的严重程度,以达到最快的收敛速度。在数值实验中,我们考虑通信网络上的机器学习场景,其中本地工作者不能直接到达一个中心节点,由于通信的限制,并证明了我们的分布式双坐标上升算法在树网络的可用性。此外,我们还证明了在分布式双协调上升算法中,根据网络通信延迟调整局部和全局迭代次数可以提高算法的收敛速度。
2021-02-18 cs.DC cs.IT cs.LG
Binary Linear Tree Commitment-based Ownership Protection for Distributed Machine Learning
Beijing Institute of Technology(北京理工大学);Institute of Information Engineering, CAS(中国科学院信息工程研究所)
本文提出基于二叉线性树承诺的所有权保护模型,通过可维护树结构、内积论证和身份密钥水印,以低开销和简洁证明保障分布式机器学习中的计算完整性并防止所有权冲突。
2024-01-11 cs.AI cs.CR cs.DC
Distributed Newton Can Communicate Less and Resist Byzantine Workers
UC Berkeley(加州大学伯克利分校)
我们开发了一个分布式的二阶优化算法,是通信效率以及强大的拜占庭故障的工人机器。我们提出COMRADE(通信高效和鲁棒近似分布式nEwton),一个迭代的二阶算法,其中的工人机器通信只有一次,每次迭代与中心机。这与最先进的分布式二阶算法(如GIANT [34]和DINGO[7])形成鲜明对比,其中工作机器顺序发送局部梯度和Hessian(的函数);因此每次迭代结束时与中心机器进行两次通信。此外,我们表明,工人机器可以进一步压缩本地信息之前,将其发送到中心。此外,我们采用了一个简单的规范为基础的阈值规则过滤出拜占庭工人机器。我们建立了COMRADE的线性二次收敛率,并建立了通信节省和拜占庭弹性结果,在任意凸损失函数只有一个小的统计出错率。据我们所知,这是解决二阶分布式优化中拜占庭弹性问题的第一项工作。此外,我们通过对合成和基准LIBSVM [5]数据集的广泛实验验证了我们的理论结果,并证明了收敛保证。
2020-06-15 cs.DC cs.LG math.OC
On the Effect of Task-to-Worker Assignment in Distributed Computing Systems with Stragglers
Rutgers University(罗格斯大学)
研究了最近提出的分布式计算算法的期望完成时间,这些算法将计算任务冗余地分配给多台机器,以容忍一定数量的机器故障。我们分析表明,不仅冗余量,而且任务到机器的分配影响在分布式系统中的延迟。我们研究的系统与一个固定数量的计算任务,可能重叠的批次分裂,独立的指数分布的机器服务时间。我们表明,对于这样的系统,非重叠(不相交)批次的计算任务的统一复制达到最小的预期计算时间。
2018-08-08 cs.AI cs.DC cs.IT