Trusted AI in Multi-agent Systems: An Overview of Privacy and Security for Distributed Learning
本文从信息交换层级视角系统综述了分布式机器学习中的隐私与安全风险,分析各层级的攻击机制与防御方法,并展望未来研究方向。
2023-08-10 cs.DC
Collaborative Cluster Configuration for Distributed Data-Parallel Processing: A Research Overview
许多组织经常使用分布式数据系统(并行处理和商品资源集群)来分析大型数据集。然而,用户需要为他们的数据处理作业配置足够的资源。这需要深入了解预期的作业运行时和伸缩行为、资源特征、输入数据分布以及其他因素。由于无法准确估计性能,用户经常为其作业过度调配资源,导致资源利用率低和成本高。在本文中,我们提出了主要的构建块对数据处理集群配置的优化基于运行时数据和性能模型的协作方法。我们相信,运行时数据可以被共享,并用于跨不同执行上下文的性能模型,大大减少了对单个处理作业或专用作业分析的依赖。为此,我们描述了如何处理作业和集群基础设施的相似性,可以结合合适的数据点,从本地和全球的作业执行到准确的性能模型。此外,我们概述了通过更多的上下文感知和可重用的模型进行性能预测的方法。最后,我们展示了如何将以前执行的度量与运行时监控相结合,以有效地动态重新配置模型和集群。
2022-06-01 cs.DC
The Gridbus Toolkit for Service Oriented Grid and Utility Computing: An Overview and Status Report
网格旨在利用自治分布式实体合作产生的协同效应。网格合作产生的协同效应包括共享、交换、选择和聚合地理上分布的资源,如计算机、数据库、软件和科学仪器,以解决科学、工程和商业中的大规模问题。为了使这种合作可持续,参与者需要有经济激励。因此,“激励”机制应被视为网格体系结构的关键设计参数之一。在这篇文章中,我们提出了一个开源的网格工具包,称为Gridbus,其体系结构是从根本上驱动的网格经济的需求的概述和状态。网格总线技术为计算网格和数据网格提供服务,为新兴的电子科学和电子商务应用提供动力。
2004-04-13 cs.DC
An Overview of Codes Tailor-made for Better Repairability in Networked Distributed Storage Systems
当今社会产生的数字数据量不断增加,需要更好的存储解决方案。本调查着眼于专门为分布式网络存储系统的需求而设计的新一代编码技术,试图在存储空间效率、容错和维护开销之间达到最佳折衷。四个家庭的代码量身定制的分布式设置,即-金字塔,层次,再生和自修复代码-在高层次上,强调这些代码背后的主要思想,并讨论其利弊,最后与它们之间的定量比较。这项调查故意排除了代码的技术细节,也没有提供众多作品的详尽摘要。相反,它通过展示分布式存储解决方案编码技术进步的全貌,以广泛受众易于访问的方式概述了主要代码家族。
2013-01-30 cs.DC cs.IT math.IT
Continuously Testing Distributed IoT Systems: An Overview of the State of the Art
对系统的小变化进行持续测试已被证明是有用的,并在软件系统的开发中被广泛采用。为此,软件在尽可能接近生产环境的环境中进行测试。在测试物联网系统时,这种方法会遇到独特的挑战,这些挑战来自于通常的大规模部署、节点异构性、具有挑战性的网络特性以及与环境的紧密集成等。物联网测试环境通过模拟可以执行物联网应用程序的节点、网络和可能的域环境,为这些挑战提供了一种可能的解决方案。本文概述了物联网测试的最新技术水平。我们得出了物联网测试环境的理想特征,比较了18种可用于这方面的工具,并对该领域的未来趋势进行了研究展望。
2021-12-17 cs.DC cs.SE
Adversary-resilient Distributed and Decentralized Statistical Inference and Machine Learning: An Overview of Recent Advances Under the Byzantine Threat Model
虽然在过去的几十年里,我们已经见证了大量致力于分布式和去中心化设置中的推理和学习的工作,但这些工作中的大部分都假设了一个非对抗性的设置,在这个设置中,除了偶尔的统计故障之外,各个节点都按照算法框架的预期运行。然而,近年来,来自恶意非国家行为者和流氓实体的网络安全威胁迫使从业者和研究人员重新思考分布式和分散式算法对对抗性攻击的鲁棒性。因此,我们现在有大量的算法方法来保证分布式和/或分散式推理的鲁棒性,以及在不同的对抗性威胁模型下的学习。然而,部分由于世界对数据驱动决策的需求日益增长,保护分布式/分散式框架以进行推理和学习对抗性威胁仍然是一个快速发展的研究领域。在这篇文章中,我们提供了拜占庭攻击威胁模型下这一领域的一些最新发展的概述。
2020-06-02 cs.CR cs.DC cs.LG
To parallelize or not to parallelize, control and data flow issue
多核处理器的新趋势意味着使用标准编程模型为分布式内存多处理器和工作站PC集群开发高效、可靠且可移植的程序。使用MPI的消息传递被广泛用于编写高效、可靠和可移植的应用程序。理解和分析MPI程序需要控制和数据流分析概念、技术和工具。如果我们的兴趣点是程序控制和数据流分析,以决定并行化或不并行化我们的应用程序,有一个问题要回答,“可以现有的概念,技术和工具,用于分析顺序程序也可以用来分析并行的MPI?".在本文中,我们将试图回答这个问题。
2013-11-04 cs.DC cs.PL
Building a Theory of Distributed Systems: Work by Nancy Lynch and Collaborators
本文综述了南希·林奇与合作者构建分布式系统理论的工作,涵盖新算法、严谨证明、错误发现、下界及数学基础,并应用于实际系统。
2025-02-27 cs.DC
Overview of Caching Mechanisms to Improve Hadoop Performance
本文全面概述了改进Hadoop性能的缓存策略,提出基于缓存利用的新型分类法,并设计了结合H-SVM-LRU和CLQLMRS的混合缓存方法HIC,使作业执行时间平均缩短31.2%。
2023-10-23 cs.DC
Transparent hardware synthesis of Java for predictable large-scale distributed systems
JUNIPER项目正在开发一个用于构建大规模分布式系统的框架,在该框架中可以保证执行时间界限。这项工作的一部分涉及在FPGA上自动实现输入Java代码,以提高速度和可预测性。这项工作的一个重要重点是通过运行时协同设计和部分重新配置,使FPGA的使用透明。初步结果表明,使用Java不会妨碍硬件生成,并提供了严格的执行时间估计。本文介绍了一个概述所采取的方法,并提出了一些初步的结果,证明了承诺的技术。
2015-08-28 cs.DC
Collaborative Learning over Wireless Networks: An Introductory Overview
Imperial College London(帝国理工学院);Princeton University(普林斯顿大学)
在本章中,我们将主要关注跨无线设备的协作培训。训练ML模型相当于解决一个优化问题,在过去的几十年里,已经开发了许多分布式优化算法。这些分布式ML算法提供了数据局部性;也就是说,可以协同训练联合模型,同时每个参与设备上可用的数据保持本地。这在一定程度上解决了隐私问题。它们还提供计算可扩展性,因为它们允许利用分布在许多边缘设备上的计算资源。然而,在实践中,这并不直接导致整体学习速度随设备数量的线性增益。这部分是由于通信瓶颈限制了整体计算速度。另外,无线设备在其计算能力方面是高度异构的,并且由于物理因素,其计算速度和通信速率两者都可能是高度时变的。因此,分布式学习算法,特别是那些要在无线网络边缘实现的算法,必须仔细设计,考虑到时变通信网络的影响以及设备的异构和随机计算能力。
2021-12-07 cs.DC cs.LG eess.SP
Designing a scalable framework for declarative automation on distributed systems
随着分布式系统在规模和复杂性上的增长,对系统管理功能的灵活自动化的需求也在增长。我们概述了一个框架,用于构建工具,为分布式系统提供分布式,可扩展,声明式,模块化和连续自动化。我们集中在四个设计点:1)状态管理方法,规定配置和发现的系统状态的真实来源; 2)一种技术,以解决声明的统一问题的一类自动化问题,提供状态收敛和模块化; 3)一个最终一致性的方法,以状态同步,提供自动化规模; 4)事件驱动架构,提供始终在线的状态实施。我们描述的方法,软件架构的框架,这些技术的限制,适用于自动化问题。我们概述了基于此框架构建的参考应用程序,该框架提供了状态感知系统配置和节点生命周期管理,突出了关键优势。最后,我们讨论了当前和未来的应用。
2021-04-27 cs.DC
Overview of Swallow --- A Scalable 480-core System for Investigating the Performance and Energy Efficiency of Many-core Applications and Operating Systems
我们提出了燕子,一个可扩展的众核架构,与480 x 32位处理器的当前配置。Swallow是一种开源架构,旨在提供可扩展的可用计算能力,以允许对多核应用程序和支持它们的操作系统进行实验。可扩展性是通过创建具有低延迟互连的可平铺系统来实现的,该系统具有有吸引力的通信计算比和分布式内存配置的使用。我们分析了燕子的能量和计算和通信性能。该系统提供240 GIPS,每个核心消耗71- 193 mW,取决于工作负载。每条指令的功耗低于几乎所有同等规模的系统。我们还展示了如何使用分布式操作系统(nOS)允许轻松创建可扩展的软件,利用燕子的潜力。最后,我们展示了两个用例研究:神经元建模和分布式内存系统上共享内存的覆盖。
2015-04-23 cs.AR cs.DC cs.DS
A Survey on Distributed Machine Learning
Delft University of Technology(代尔夫特理工大学);imec - Ghent University(imec-根特大学)
在过去十年中,对人工智能的需求显著增长,这种增长受到机器学习技术进步和利用硬件加速能力的推动。然而,为了提高预测的质量并使机器学习解决方案对于更复杂的应用可行,需要大量的训练数据。虽然可以用适量的数据来训练小型机器学习模型,但用于训练诸如神经网络之类的较大模型的输入随着参数的数量呈指数增长。由于对处理训练数据的需求已经超过了计算机器的计算能力的增长,因此需要将机器学习工作负载分布在多个机器上,并将集中式系统转变为分布式系统。这些分布式系统提出了新的挑战,首先是训练过程的有效并行化和连贯模型的创建。本文通过概述分布式机器学习相对于传统(集中式)机器学习的挑战和机遇,讨论用于分布式机器学习的技术,并概述可用的系统,对该领域的当前最新技术进行了广泛的概述。
2019-12-20 cs.DC cs.LG stat.ML
JBotSim, a Tool for Fast Prototyping of Distributed Algorithms in Dynamic Networks
JBotSim是一个Java库,它为动态网络中的分布式算法的原型设计、运行和可视化提供了基本的原语。有了JBotSim,人们可以在几分钟内实现一个想法,并在它运行时与它进行交互(例如{ \it},添加,移动或删除节点)。JBotSim非常适合为同事或学生准备算法的现场演示;它也可以用于评估算法级别的性能(消息数量,回合数等)。与大多数工具不同,JBotSim不是一个集成环境。它是一个轻量级的库,可以在你的程序中使用。在本文中,我们提出了一个概述其鲜明的特点和架构。
2019-09-25 cs.DC cs.MS cs.NI
Recursive Matrix Algorithms in Commutative Domain for Cluster with Distributed Memory
我们给出了一个概述的矩阵块递归算法在交换域的理论结果,并提出了实验结果,我们进行了新的并行程序的基础上,这些算法在超级计算机MVS-10 P在联合超级计算机中心的俄罗斯科学院。为了证明这些程序的可扩展性,我们测量了不同数量的处理器的程序的运行时间,并绘制了效率因子的图形。此外,我们提出的主要应用领域中,这种并行算法的使用。它的结论是,这类算法允许获得高效的并行程序的集群与分布式存储器。
2019-03-11 cs.DC cs.SC math.RA
Towards a Peer-to-Peer Energy Market: an Overview
这项工作的重点是电功率市场,比较的现状与最近的趋势增加分布式自发电能力的产消者。从现有的紧张局势之间的内在层次电流结构的配电网和基本上分布式和自组织的性质的自我发电,我们探讨了目前的条件所施加的限制。首先,我们介绍了一个潜在的多层次架构的对等(P2P)能源市场,讨论了本地生产和本地消费的基本方面作为一个微电网的一部分。其次,我们分析了随之而来的变化,不同的用户的角色,也与一些激励模型与权力生产的分散。为了向读者提供全面的信息,我们还仔细研究了能源交易的相关要素,例如智能合约和电网稳定性。第三,我们提出了一个典型的P2P解决方案的例子,展示了前面分析的所有方面的作用。最后,我们对该领域的相关活动进行了审查,以展示现有项目的进展情况以及所涵盖的最重要主题。由于这项工作正在进行中,许多悬而未决的问题仍摆在桌面上,将在研究的下一阶段加以解决。最终,通过提供一个参考模型作为进一步讨论和改进的基础,我们希望与不同的用户和广大社区进行对话,为未来的电力市场提供一个更公平和生态友好的解决方案。
2020-03-26 cs.CY cs.DC physics.soc-ph
Distributed Training of Deep Neural Network Acoustic Models for Automatic Speech Recognition
IBM Research AI(IBM研究院人工智能部);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
由于深度学习的进步,过去十年在自动语音识别(ASR)方面取得了巨大进展。性能的提高可以归因于改进的模型和大规模的训练数据。训练这种模型的关键是采用高效的分布式学习技术。在本文中,我们概述了用于ASR的深度神经网络声学模型的分布式训练技术。从数据并行随机梯度下降(SGD)和ASR声学建模的基本原理开始,我们将研究各种分布式训练策略及其在高性能计算(HPC)环境中的实现,重点是在通信和计算之间取得平衡。实验进行了一个流行的公共基准研究的收敛性,加速比和识别性能的研究策略。
2020-02-24 cs.DC cs.LG cs.SD