Extending and Implementing the Self-adaptive Virtual Processor for Distributed Memory Architectures
未来的众核架构很可能具有分布式内存组织,并且需要细粒度的并发管理才能有效地使用。自适应虚拟处理器(SVP)是一个抽象的并发编程模型,可以提供这一点,但该模型及其当前的实现假设一个单一的地址空间共享内存。我们调查和扩展SVP处理分布式环境,并讨论了原型SVP实现透明地支持执行异构分布式内存集群通过TCP/IP连接,同时保留原始的SVP编程模型。
2011-04-19 cs.DC
Highly Scalable Multiplication for Distributed Sparse Multivariate Polynomials on Many-core Systems
我们提出了一个高度可扩展的算法乘以稀疏的多元多项式表示的分布式格式。该算法不仅针对共享存储器多核计算机,而且针对计算机集群或附接到主机计算机的专用硬件,诸如图形处理单元或众核协处理器。通过在主并行步骤期间缺乏同步、锁定和假共享来确保大量核上的可扩展性。
2013-03-29 astro-ph.IM cs.DC cs.MS
Triangular Dynamic Architecture for Distributed Computing in a LAN Environment
一个计算密集型的大型作业,粒度并发件和在动态环境中运行,应该减少总的处理时间。然而,在网络环境中分配作业是一项繁琐而困难的任务。基于三角动态体系结构的局域网作业分配是一种建立动态环境的机制,它以最少的用户交互为作业分配、负载均衡和分布式处理提供一个动态环境。本文介绍了TDA,讨论了它的体系结构,并显示了在分布式计算环境中利用这种体系结构所获得的好处。
2011-03-29 cs.DC
Asynchronous Parallel Stochastic Gradient Descent - A Numeric Core for Scalable Distributed Machine Learning Algorithms
绝大多数机器学习(ML)算法的实现归结为解决数值优化问题。在这种情况下,随机梯度下降(SGD)方法长期以来已被证明提供良好的结果,无论是在收敛性和准确性。最近,已经提出了几种并行化方法,以扩展SGD来解决非常大的ML问题。在其核心,这些方法中的大多数都遵循一个map-reduce方案。本文提出了一种新的并行更新算法的SGD,它利用异步单边通信范式。与现有的方法相比,异步并行随机梯度下降(ASGD)提供更快(或至少相等)的收敛,接近线性缩放和稳定的精度。
2015-10-05 cs.DC
Reactive Liquid: Optimized Liquid Architecture for Elastic and Resilient Distributed Data Processing
当今最著名的IT公司都建立在从数据中提取洞察力的基础上,数据处理在数据密集型业务中变得至关重要。尽管如此,需要处理的数据量正在显着快速增长。数据增长的速度改变了数据处理的性质。今天,数据密集型行业需要高度可扩展和容错的数据处理架构,可以处理大量的数据。本文提出了一种基于Liquid的分布式弹性数据处理架构,该架构是一种近线和离线的大数据架构。我们使用响应式宣言来设计对工作负载变化和故障高度响应的架构。我们评估我们的架构,通过绘制我们的架构原型和液体原型之间的一些数值比较。所执行的评估表明,与Liquid架构相比,我们的架构可以更好地应对工作负载并更好地应对故障。
2019-02-15 cs.DC
Distributed or Monolithic? A Computational Architecture Decision Framework
分布式架构在许多复杂的技术和社会技术系统中无处不在,因为它们在改善不确定性管理,适应多个利益相关者以及增加可扩展性和可演化性方面发挥了作用。这种与单片架构的背离为系统提供了更大的灵活性和鲁棒性,以响应其在其寿命期间可能面临的不确定性。分布式架构不仅提供了好处,因为它会增加系统的成本和复杂性,并导致潜在的不稳定性。然而,这种权衡背后的机制类似于广泛研究的从集成到模块化架构的过渡。在本文中,我们使用一个概念性的决策框架,统一的模块化和分布式架构的五阶段系统架构频谱。我们添加了一个广泛的计算层的框架,并解释这可以提高决策的架构的模块化水平。然后,我们将其应用于美国国防高级研究计划局(DARPA)的分馏卫星计划的简化演示。通过模拟,我们计算的净价值,获得(或失去)从单片架构迁移到分布式架构,并显示这个值如何变化的环境和各种系统参数的不确定性的函数。此外,考虑到分布式架构固有的不确定性,我们使用风险价值作为失去分布式架构价值的风险度量。
2016-08-02 cs.DC cs.SE
A Scalable Distributed Architecture for Network- and QoS-aware Service Composition
面向服务的计算(SOC)使松散耦合的服务代理组合起来,提供不同的服务质量(QoS)水平,有效地形成一个多智能体系统(MAS)。选择一个(近)最佳的服务组合的QoS方面是至关重要的,当许多功能等效的服务。随着分布式服务数量的快速增长,尤其是在云中,网络对QoS的影响也在不断增加。尽管如此,反对大多数MAS的方法,目前的服务方法依赖于一个集中式的架构,不能适应网络。因此,我们提出了一个可扩展的分布式体系结构组成的一个灵活的分布式控制节点的数量。我们的架构不需要改变现有的服务,并适应从集中到一个完全分布式的实现,根据需要添加控制节点。此外,我们提出了一个扩展的QoS聚合算法,允许准确地估计网络QoS。最后,我们评估我们的架构在分布式环境中的好处和最优性。
2013-01-21 cs.DC
Overview of Swallow --- A Scalable 480-core System for Investigating the Performance and Energy Efficiency of Many-core Applications and Operating Systems
我们提出了燕子,一个可扩展的众核架构,与480 x 32位处理器的当前配置。Swallow是一种开源架构,旨在提供可扩展的可用计算能力,以允许对多核应用程序和支持它们的操作系统进行实验。可扩展性是通过创建具有低延迟互连的可平铺系统来实现的,该系统具有有吸引力的通信计算比和分布式内存配置的使用。我们分析了燕子的能量和计算和通信性能。该系统提供240 GIPS,每个核心消耗71- 193 mW,取决于工作负载。每条指令的功耗低于几乎所有同等规模的系统。我们还展示了如何使用分布式操作系统(nOS)允许轻松创建可扩展的软件,利用燕子的潜力。最后,我们展示了两个用例研究:神经元建模和分布式内存系统上共享内存的覆盖。
2015-04-23 cs.AR cs.DC cs.DS
Power, Energy and Speed of Embedded and Server Multi-Cores applied to Distributed Simulation of Spiking Neural Networks: ARM in NVIDIA Tegra vs Intel Xeon quad-cores
这篇短文是关于一个分布在MPI进程上的脉冲神经网络模拟器(DPSNN-STDP)在嵌入式平台(基于双插槽四核ARM平台)或服务器平台(基于Intel的四核双插槽平台)上执行时的瞬时功率、总能耗、执行时间和每个突触事件的能量成本的比较。我们还将该措施与领先的定制和半定制设计报告的措施进行了比较:TrueNorth和SpiNNaker。总之,我们观察到:1-我们在“嵌入式平台”上每个模拟事件花费2.2微焦耳,约为2.2微焦耳。4.4 2-“嵌入式平台”的瞬时功耗比“服务器平台”低14.4倍; 3-服务器平台快3.3倍。“嵌入式平台”由NVIDIA Jetson TK 1电路板组成,通过以太网互连,每个电路板安装一个Tegra K1芯片,包括一个2.3GHz的四核ARM Cortex-A15。“服务器平台”是基于双插槽四核英特尔至强CPU(E5620在2.4GHz)。这些措施是通过INFN开发的DPSNN-STDP模拟器(具有突触尖峰时间依赖可塑性的多突触脉冲神经网络的分布式模拟器)获得的,该模拟器已经证明了其在数百个类似的“服务器”核心和MPI进程上的有效可扩展性和执行速度,适用于由数十亿个突触组成的神经网络。
2015-05-12 cs.DC q-bio.NC
Evaluating Cross-Architecture Performance Modeling of Distributed ML Workloads Using StableHLO
imec;Georgia Institute of Technology(佐治亚理工学院)
本文评估StableHLO是否能作为统一的工作负载表示,用于跨架构和跨保真度的分布式机器学习工作负载性能建模,通过建立基于StableHLO的模拟方法,展示了在不同架构和保真度下的性能评估结果。
2026-04-13 cs.DC
Data Augmentation and Convolutional Network Architecture Influence on Distributed Learning
Federal University of Viçosa (UFV)(维索萨联邦大学);Federal University of Uberlândia (UFU)(乌贝兰迪亚联邦大学);University of Minho (UMINHO)(米尼奥大学)
本研究探讨了数据增强和CNN架构对分布式学习效率的影响,分析了模型精度与计算效率之间的关系,为资源密集型场景下的CNN部署提供了优化方向。
2026-03-11 cs.DC
AccFFT: A library for distributed-memory FFT on CPU and GPU architectures
我们提出了一个新的库并行分布式快速傅立叶变换(FFT)。FFT在科学和工程中的重要性以及高性能计算的进步需要进一步改进。AccFFT将支持CUDA的图形处理单元(GPU)的现有FFT库扩展到分布式内存集群。我们使用重叠的通信方法来减少PCIe从/到GPU的传输开销。我们目前的数值计算结果小牛平台在得克萨斯州高级计算中心(TACC)和泰坦系统在橡树岭国家实验室(ORNL)。我们将库扩展到Titan的4,096个K20 GPU。
2016-05-25 cs.DC
A Parallel and Distributed Rust Library for Core Decomposition on Large Graphs
University of Pisa(比萨大学);University of Calabria(卡拉布里亚大学)
本文提出了一种基于Rust语言的并行和分布式库,用于高效计算大规模图的核心分解,通过优化算法和并发机制实现了显著的速度提升。
2025-11-28 cs.DC
Experience with Distributed Memory Delaunay-based Image-to-Mesh Conversion Implementation
本研究评估了基于共享内存实现构建的分布式内存Delaunay图像转网格算法的可扩展性与开发效率,发现分布式版本有一定加速比但单节点开销较高,对黑盒复用共享内存代码的思路提出质疑。
2023-08-24 cs.DC
Parallel and Distributed Simulation from Many Cores to the Public Cloud (Extended Version)
在这篇教程中,我们将首先回顾一些基本的仿真概念,然后介绍并行和分布式仿真技术,鉴于一些新的挑战,今天和明天。更特别的是,在过去的几年里,许多核心架构已经广泛传播,我们可以预期这种趋势将继续下去。另一方面,云计算的成功有力地推动了一切即服务的范式。并行和分布式仿真准备好迎接这些新挑战了吗?目前的方法在可用性和适应性方面存在许多局限性:迫切需要新的评价指标和修订目前实施的机制。在论文的最后一部分,我们提出了一种新的方法,基于多智能体系统的复杂系统的仿真。有可能实现高级技术,例如模拟实体的迁移,以构建自适应且非常易于使用的机制。自适应机制能够显着降低并行/分布式体系结构中的通信成本,实现负载平衡技术,并应付执行环境的变化和动态。最后,这种机制将用于在不可靠的云服务之上构建模拟。
2014-07-29 cs.DC
GridBank: A Grid Accounting Services Architecture (GASA) for Distributed Systems Sharing and Integration
计算网格作为一种新的基于Internet的并行和分布式计算的基础设施正在兴起。它们支持跨多个管理域、组织和企业的资源共享、交换、发现和聚合。为了实现这一点,网格需要支持各种服务的基础设施:安全性,统一访问,资源管理,调度,应用程序组合,计算经济性和问责制。许多网格项目已经开发出了一些技术,这些技术提供了许多这些服务,但责任除外。为了克服这个限制,我们提出了一个新的基础设施,称为网格银行,提供服务的会计。本文提出了网格问责制的要求和不同的模型,它可以运行,并提出网格银行服务体系结构,以满足他们。本文重点介绍了实施问题,并详细讨论了GridBank需要维护的各种记录/数据库的格式。它还提出了网格计算环境中GridBank和各种组件之间的交互协议。
2002-10-01 cs.DC
Scaling to 1024 software processes and hardware cores of the distributed simulation of a spiking neural network including up to 20G synapses
这篇简短的报告描述了塑料脉冲神经网络的分布式模拟器的扩展,高达1024个软件过程和硬件核心。以前的报告表明,模拟器具有良好的可扩展性,最多可达128个进程。在这里,我们扩展到1和1024个软件进程和硬件核心之间的范围内的模拟器的加速测量和强弱缩放分析。我们模拟了皮质柱的二维网格,包括连接~ 11 M神经元的~ 20 G突触。神经网络分布在一组MPI进程上,模拟在由多达64个双插槽节点组成的服务器平台上运行,每个插槽配备Intel Haswell E5-2630 v3处理器(8核@2.4 GHz时钟)。所有节点通过InfiniBand网络互连。DPSNN模拟器由INFN在EURETILE和CORTICONIC欧洲FET项目的框架内开发,并将在人脑项目(HBP)子项目2 -认知和系统神经科学的框架内由WaveScalEW tem使用。本报告为与神经模拟工具NEST进行更全面的比较奠定了基础。
2015-11-30 cs.DC q-bio.NC
A Distributed Learning Architecture for Scientific Imaging Problems
科学成像的当前趋势受到将复杂的机器学习与大数据分析平台集成的新兴需求的挑战。这项工作提出了一个内存中的分布式学习架构,使复杂的学习和优化技术的科学成像问题,其特征是来自不同来源的变异信息的组合。我们将得到的Spark兼容架构应用于科学成像领域的两个新兴用例,即:(a)星系成像调查的空间变量反卷积(天体物理学),(b)基于耦合字典训练的超分辨率(遥感)。我们进行评估研究,考虑相关的数据集,结果报告至少60%的时间响应比传统的计算解决方案的改善。最终,所提供的讨论提供了有关关键Spark调优参数对所实现的加速比和内存/磁盘占用的影响的有用实用见解。
2018-09-27 cs.DC
Hierarchical QR factorization algorithms for multi-core cluster systems
本文描述了一种新的QR分解算法,它是专门为大规模并行平台结合并行分布式多核节点设计的。这些平台造就了高性能计算的现在和可预见的未来。我们的新QR分解算法属于瓦片算法的类别,其自然地为由核心执行的顺序内核实现良好的数据局部性(高顺序性能),并行分布式设置中的消息数量少(小延迟期),以及细粒度(高并行性)。
2011-10-07 cs.DC
Vectorization of Large Amounts of Raster Satellite Images in a Distributed Architecture Using HIPI
矢量化过程集中于将光栅图像的像素分组为原始线段,并形成直线、折线或多边形。针对海量栅格图像矢量化中资源和性能问题,采用基于MapReduce方法的分布式HIPI图像处理接口。Apache Hadoop是框架的核心。为了实现这样一个系统,我们首先定义映射函数,然后定义它的输入和输出格式。在本文中,映射器将光栅镶嵌图转换为矢量对应物。向量化不需要Reduc函数。光栅图像的矢量表示有望通过减少带宽问题的负面影响在分布式计算中提供更好的性能,并进行了水平可扩展性分析。
2018-09-01 cs.DC
Highly Scalable, Parallel and Distributed AdaBoost Algorithm using Light Weight Threads and Web Services on a Network of Multi-Core Machines
University of Bridgeport(布里奇波特大学)
AdaBoost是机器学习中的一种重要算法,在目标检测中得到了广泛的应用。AdaBoost的工作原理是迭代地选择弱分类器中的最佳分类器,然后将多个弱分类器组合起来以获得强分类器。尽管AdaBoost已经被证明是非常有效的,但它的学习执行时间可能会很长,具体取决于应用程序,例如,在人脸检测中,学习时间可以是几天。由于其在计算机视觉应用中的日益增加的使用,需要大幅减少学习时间,使得可以结合自适应的近实时的目标检测系统。在本文中,我们开发了一个混合并行和分布式AdaBoost算法,利用多个核心的CPU通过轻量级线程,并通过Web服务软件架构使用多台机器,以实现高可扩展性。我们提出了一种新的基于分层Web服务的分布式体系结构,并实现了近线性的加速比的处理器数量提供给我们。与以前发表的工作相比,它使用单级主从并行和分布式实现[1],在四个节点上仅实现了2.66的加速比,我们在31个工作站上实现了95.1的加速比,每个工作站都有一个四核处理器,每个功能的学习时间仅为4.8秒。
2013-06-06 cs.DC cs.LG
Navigating the Landscape of Distributed File Systems: Architectures, Implementations, and Considerations
本文综述分布式文件系统的架构、分类、设计挑战与NFS、AFS、GFS、HDFS、CephFS等实现,为构建高效稳定安全的DFS提供参考。
2024-03-23 cs.AR cs.DC
Efficient and Scalable Algorithms for Smoothed Particle Hydrodynamics on Hybrid Shared/Distributed-Memory Architectures
本文介绍了一种新的快速和隐式并行的方法来寻找邻居的多分辨率光滑粒子流体动力学(SPH)模拟。这种新方法是基于分层细胞分解和排序的相互作用,在一个基于任务的配方。它被证明是比传统的基于树的代码更快,并扩展比域分解为基础的方法在混合共享/分布式存储器并行架构,例如集群的多核,实现了$40\times$加速的小工具-2模拟代码。
2014-04-08 astro-ph.IM cs.DC physics.comp-ph
The Effect of Multi-core Communication Architecture on System Performance
MPSoC由于其解决计算昂贵应用的潜力而越来越受欢迎。多核处理器将两个或多个独立的核心(通常是CPU)组合到由单个集成电路(芯片)组成的单个封装中。然而,随着单个芯片上的组件数量及其性能的不断增加,从基于计算的设计转向基于通信的设计变得势在必行。因此,通信架构在整个系统的面积、性能和能耗方面起着重要作用。本文使用FPGA中的Micro Blaze等多个软核(IP)来研究不同连接拓扑对并行程序性能的影响。
2016-04-13 cs.DC
High-Dimensional Data Processing: Benchmarking Machine Learning and Deep Learning Architectures in Local and Distributed Environments
本文研究了在本地和分布式环境中评估机器学习和深度学习架构在高维数据处理中的表现。
2025-12-11 cs.AI cs.DC
Performance of the Vipera framework for DSLs on micro-core architectures
Vipera提供了一个编译器和运行时框架,用于在微核心架构上实现动态领域特定语言。生成的代码的性能和代码大小在这些体系结构上至关重要。在本文中,我们提出了我们的调查结果的效率蝰蛇的代码性能和大小。
2022-09-02 cs.DC cs.PL
Hurry-up: Scaling Web Search on Big/Little Multi-core Architectures
大/小架构等异构多核系统已作为一种有吸引力的服务器设计选项推出,有可能在数据中心的电力限制下提高性能。由于大的高性能和低功耗的核心都可以在同一个系统上运行,共享工作负载处理,线程映射/调度变得更具挑战性。当考虑到异构核对面向用户的应用程序(如Web搜索)所经历的服务质量(表示为尾部延迟)的不同权衡时,这一点尤其困难。在这项工作中,我们提出了Hurry-up,一个运行时线程映射解决方案,旨在选择最合适的异构核心上运行的单个请求,以改善尾部延迟。加速在大核心上加速计算密集型请求,同时让不太密集的线程在小核心上执行。我们实现并部署在一个真正的64位大/小架构(ARM朱诺),并表明,相比于Linux上的保守政策,Hurry-up减少了39.5%(平均)的服务器尾部延迟。
2019-12-20 cs.DC
Edge-as-a-Service: Towards Distributed Cloud Architectures
我们提出了一个边缘即服务(EaaS)平台,用于实现分布式云架构并将网络边缘集成到计算生态系统中。EaaS平台的基础是(i)一个轻量级的发现协议,用于识别边缘节点并使其在计算环境中公开访问,以及(ii)一个可扩展的资源配置机制,用于将工作负载从云卸载到边缘,以服务多个用户请求。我们在一个在线游戏用例上验证了EaaS的可行性,以突出在我们的云边缘平台上托管的应用程序的QoS的改进。在这个平台上,我们展示了(i)低于6%的低开销,(ii)减少了高达95%的云数据流量,(iii)最大限度地减少了40%-60%的应用程序延迟。
2017-10-27 cs.DC
On Optimizing Resource Utilization in Distributed Connected Components
本文提出两种新的分布式连通组件算法SiskinCC和RobinCC,通过优化内存和网络带宽利用率,实现显著的加速效果。
2026-01-05 cs.DC
Privacy-Preserving Federated Learning: Integrating Zero-Knowledge Proofs in Scalable Distributed Architectures
Independent Researcher(独立研究者)
本文提出一种新型分布式架构,通过高级加密验证和优化大数据处理框架增强联邦学习的安全性,利用零知识证明验证节点计算,有效抵御模型中毒攻击,实验表明在对抗条件下准确率保持94.2%且可扩展至1000个并行节点。
2026-05-04 cs.AI cs.DC
Implementing CNN Layers on the Manticore Cluster-Based Many-Core Architecture
ETH Zurich(苏黎世联邦理工学院)
本文档介绍了基于Manticore群集的众核架构上的基本卷积神经网络(CNN)层的实现,并讨论了它们的特性和权衡。
2021-04-16 cs.AR cs.CV cs.DC
DASHMM Accelerated Adaptive Fast Multipole Poisson-Boltzmann Solver on Distributed Memory Architecture
我们提出了一个更新版本的AFMPB软件包的快速计算分子的溶剂化自由能。新版本的主要特点是成功采用了DASHMM库,使AFMPB能够在分布式内存计算机上运行。因此,新版本可以轻松处理更大的分子或精度要求更高的情况。为了演示更新后的代码,我们将新版本应用于一个拥有超过100万个原子和大约2000万个三角形网格的登革热病毒系统,并且能够将解决问题的时间从上一版本中报告的10小时减少到使用12,288个核心的Cray XC 30集群上的不到30秒。
2017-10-17 cs.DC
A Network Architecture for Distributed Event Based Systems in an Ubiquitous Sensing Scenario
无处不在的传感设备经常在它们之间传播它们的数据。使用一个分布式的基于事件的系统,使发布者和订阅者成为一个理想的候选人来实现传播过程。在本文中,我们提出了一个网络架构,它合并了典型的结构化的基于事件的系统的网络和覆盖层。定向随机游走(DRW)用于构建此合并层。我们的第一个结果表明,DRW是适合使用网络中的几个节点来构建传播路径的负载均衡。作为未来的工作,我们建议研究这个新的层的属性和工作的设计布隆过滤器来管理代理节点。
2014-08-13 cs.DC cs.NI
Distributed Resource Management in Systems of Systems: An Architecture Perspective
本文介绍了一个框架,研究自治系统组件的相互作用和系统(SoSs)的连接结构的设计。这个框架,它使用复杂的网络模型,也被用来研究连接结构对资源管理的影响。我们讨论资源共享的机制,增加了一个层次的灵活性,分布式系统和描述的连接结构,提高组件的访问系统内可用的资源。本文介绍的框架明确纳入成本的连接和直接和间接获得资源的好处,并提供了连接结构的最优性的措施。我们讨论了中央和分布式计划,分别代表系统中,中央计划确定的连接结构和系统中,允许分布式组件添加和切断连接,以提高自己的资源访问。此外,我们确定最佳的连接结构的系统具有各种异质性条件。
2016-08-04 cs.DC
Most memory efficient distributed super points detection on core networks
超级主持人是一种特殊的主持人,是一种能够与众多的主持人进行交流的主持人。网络边缘超点挖掘是网络研究的基础。本文提出了一种存储效率最高的超点检测方案。该方案包括一个超点重建算法(短估计器)和一个超点滤波算法(长估计器)。短估计器使用数千字节的存储器给出超级点候选列表,长估计器使用数百万字节的存储器提高检测结果的准确性。结合短估计器和长估计器,我们的方案获得了最高的精度,使用最小的内存比其他算法。在我们的方案中没有数据冲突和浮动操作。这确保了我们的方案适合并行运行,我们将我们的方案部署在一个共同的GPU上,以加快处理速度。我们还描述了如何将我们的算法扩展到滑动时间。在几个真实的核心网络流量上的实验表明,该算法仅占用其他算法的五分之一的内存,就获得了最高的准确率。
2019-01-26 cs.DC
A 2D Parallel Triangle Counting Algorithm for Distributed-Memory Architectures
三角形计数是一种基本的图分析操作,广泛用于网络科学和图挖掘。随着需要分析的图形的大小不断增长,需要为分布式存储器并行系统开发可扩展的算法。为此,我们提出了一个分布式内存三角形计数算法,它使用了一个二维循环分解,以平衡的计算和减少通信开销。该算法构造其通信和计算步骤,以减少其内存开销,并包括利用图的稀疏性和计算结构的方式的关键优化。合成和真实世界的图上的实验表明,我们的算法获得了平均相对加速比,范围在3.24和7.22之间的10.56跨数据集使用169 MPI排名超过16 MPI排名所取得的性能。此外,我们得到了10.2倍的平均加速比与以前开发的分布式存储器并行算法。
2019-07-22 cs.DC
Performance-Based Pricing in Multi-Core Geo-Distributed Cloud Computing
新的定价政策正在出现,云提供商根据分配的CPU频率收取资源配置费用。因此,向用户提供的资源是可以在运行时配置的不同性能水平和价格的组合。随着这些新的定价方案和数据中心不断增加的能源成本,平衡节能与性能和收入损失对云提供商来说是一个具有挑战性的问题。CPU频率调整可用于降低功耗,但也会影响VM性能,从而影响收入。在本文中,我们首先提出了一个非线性功率模型,估计功耗的多核PM,其次是定价模型,调整定价的基础上VM的CPU有界性的特点。最后,我们提出了一个云控制器,使用这些模型来分配VM和缩放PM的CPU频率,以实现超过服务收入损失的能源成本节约。我们使用模拟现实的虚拟机工作负载,电价和温度跟踪来评估所提出的方法,并估计可节省高达14.57%的能源。
2018-09-16 cs.DC
FailBench: Evaluating Fault Tolerance Across Distributed Training Architectures
Oakland University(奥克兰大学)
FailBench提出统一评估框架,覆盖七种分布式训练架构和八种容错机制,在8xV100集群上评估142种组合,发现无普遍最优机制,机制成本依赖架构,并发布决策框架与开源工件。
2026-10-07 cs.DC
MGSim - Simulation tools for multi-core processor architectures
MGSim是一个用于片上硬件组件的开源离散事件模拟器,由阿姆斯特丹大学开发。它旨在成为一个研究和教学工具,研究在众核和硬件多线程处理器上的细粒度硬件/软件交互。它包括对具有不同指令集的内核模型的支持、可配置的多核互连、多个可配置的高速缓存和内存模型、专用I/O子系统以及全面的监控和交互设施。MGSim附带的默认模型配置实现了微电网,这是一种具有硬件并发管理的众核架构。此外,MGSim主要用C++编写,并使用对象类来表示芯片组件。它针对可描述为流程网络的架构模型进行了优化。
2013-02-06 cs.AR cs.DC
A Unified Cloud-Enabled Discrete Event Parallel and Distributed Simulation Architecture
Universidad Complutense de Madrid(马德里康普顿斯大学);The MITRE Corporation(米特雷公司)
如今的云仿真环境主要用于对复杂系统进行建模和仿真,以满足远程访问和可变容量需求。在这方面,建模与仿真(M\&S)计算需求中的可扩展性问题可以通过按需云部署的弹性来解决。然而,按照这些弹性原则实现高性能云M\&S框架并不是一项简单的任务,因为并行化和分布现有架构是具有挑战性的。事实上,并行和分布式M\&S的发展都是按照不同的方式发展的。并行解决方案一直专注于ad-hoc解决方案,而分布式方法,另一方面,导致了标准分布式框架的定义,如高层体系结构(HLA)或影响了分布式技术的使用,如消息传递接口(MPI)。只有少数开发能够随着计算硬件资源部署的当前弹性而发展,主要集中在模拟即服务(SaaS)的实现上,尽管独立于并行ad-hoc方法分支。在本文中,我们提出了一个统一的并行和分布式M\&S架构,具有足够的灵活性,部署并行和分布式仿真在云中,以较低的努力,而无需修改底层模型的源代码,并达到重要的加速比对顺序模拟,特别是在并行实现。我们的框架是基于离散事件系统规范(DEVS)的形式主义。使用xDEVS M\&S工具,应用程序编程接口(API)和DEVStone基准测试多达8个计算节点的并行和分布式框架的性能,分别获得最大的加速比$15.95\times$和$1.84\times$。
2023-02-22 cs.AI cs.DC
Critical Analysis of Middleware Architectures for Large Scale Distributed Systems
分布式计算正日益被视为大规模分布式系统(LSDS)的下一个发展阶段。然而,大规模资源共享的愿景在许多领域还没有成为现实-网格计算是一个不断发展的计算领域,其中标准和技术仍在开发中,以实现这一新的范例。因此,在本文中,我们分析了目前的发展中间件工具LSDS,从多个角度:架构,应用和市场研究。对于每一个角度,我们感兴趣的是正在进行的项目中使用的相关技术,现有的产品或服务以及有用的设计问题。最后,基于这种方法,我们得出了一些结论,在这方面的未来研究方向。
2009-10-15 cs.DC cs.NI
Parallelizing Word2Vec in Multi-Core and Many-Core Architectures
Word 2 vec是一种广泛使用的算法,用于提取单词的低维向量表示。包括Mikolov等人的那些算法在内的最先进的算法已经被并行化用于多核CPU架构,但是基于具有“Hogwild”更新的向量-向量操作,其是存储器带宽密集型的并且不能有效地使用计算资源。在本文中,我们提出了“HogBatch”通过提高重用的各种数据结构在算法中,通过使用minimizing和负样本共享,从而使我们能够表示使用矩阵乘法运算的问题。我们还探讨了不同的技术来分配word 2 vec计算在计算集群中的节点,并表现出良好的强大的可扩展性高达32个节点。新算法特别适用于现代多核/众核架构,尤其是英特尔最新的Knights Landing处理器,并允许我们在内核和节点之间近似线性地扩展计算,每秒处理数亿个单词,这是我们所知的最快的word 2 vec实现。
2016-12-23 cs.DC stat.ML
New Trends in Parallel and Distributed Simulation: from Many-Cores to Cloud Computing
计算体系结构和网络的最新进展正在将并行计算系统带给大众,从而增加了这些类型系统的潜在用户的数量。特别是,两个重要的技术发展正在发生在计算频谱的末端:在“小”规模上,处理器现在包括越来越多的独立执行单元(核心),在这一点上,仅仅CPU可以被认为是并行共享内存计算机;在“大”规模上,云计算范例允许应用程序通过按需付费模型从大池中提供资源来扩展。多核处理器和云都需要对应用程序进行适当的修改,以利用它们提供的功能。在本文中,我们分析了并行和分布式仿真技术的最新发展,并评估了它们对多核架构或云的适用性。事实证明,当前的大多数方法在可用性和自适应性方面都存在局限性,这可能会阻碍它们在这些新计算架构中的应用。我们提出了一个自适应的模拟机制,基于多智能体系统的范例,部分地解决这些限制。虽然这是不可能的,一个单一的方法将在上述两种设置都很好地工作,我们认为,所提出的自适应机制具有有用的功能,使其在多核处理器和云系统的吸引力。这些功能包括通过迁移仿真组件来降低通信成本的能力,以及在运行时向执行架构添加(或删除)节点的支持。我们还将证明,在额外的支持层的帮助下,可以在不可靠的资源上执行并行和分布式仿真。
2017-04-04 cs.AR cs.DC
Robust Failure Detection Architecture for Large Scale Distributed Systems
故障检测是大规模分布式系统中保证容错的基本构件。故障检测器有很多方法和实现。在现成的分布式系统中提供灵活的故障检测是困难的。在本文中,我们提出了一个创新的解决方案,这个问题。我们的方法是基于自适应的,分散的故障检测器,能够工作的异步和独立的应用程序流。所提出的解决方案考虑了故障检测器的架构,基于聚类,使用基于流言的算法在本地检测,并使用层次结构的检测器集群之间的流量通道。该解决方案可以扩展到大量的节点,考虑应用程序和资源的QoS要求,并包括容错和系统编排机制,以评估分布式系统的可靠性和可用性。
2009-10-05 cs.DC cs.NI
Locally-Oriented Programming: A Simple Programming Model for Stencil-Based Computations on Multi-Level Distributed Memory Architectures
用于高性能计算的新兴混合加速器架构通常适合于使用数据并行编程模型。不幸的是,这些体系结构的程序员面临着陡峭的学习曲线,其经常需要学习新的语言(例如,OpenCL)。此外,这些机器的集群的存储器组织的分布式(并且经常是多级)性质提供了额外的复杂性。本文介绍了初步的工作,研究如何编程与本地定位可以提供更简单的访问加速器架构。面向本地的编程模型对于需要应用模板或卷积内核的算法的解决方案特别有用。在这种编程模型中,程序员通过仅修改单个数组元素(称为局部元素)来编写算法,但对局部元素周围的小型子数组具有只读访问权限。我们演示了如何一个面向本地的编程模型可以通过使用源到源程序转换作为语言扩展。
2015-02-12 cs.DC cs.PL
Bridging Emotions and Architecture: Sentiment Analysis in Modern Distributed Systems
Columbia University(哥伦比亚大学);North Carolina State University(北卡罗来纳州立大学);Harrisburg University of Science and Technology(哈里斯堡科技大学);Old Dominion University(奥多明尼昂大学)
本文探究情感分析与分布式系统的融合路径,对比单节点与分布式架构下情感分析模型的性能与准确率,梳理相关方法、挑战与未来研究方向。
2025-03-24 cs.CL cs.DC cs.LG
Fast Distributed Process Creation with the XMOS XS1 Architecture
在当前的分布式并行程序设计模型中,处理器分配机制的提供是非常有限的。这使得很难,甚至禁止,表达的一大类程序,需要一个运行时评估其所需的资源。这包括结构不规则、复合或无界的程序。处理器的有效分配需要能够快速启动和终止远程计算的进程创建机制。本文提出了一个明确的机制,这样做的设计,演示和分析,实现XMOS XS 1架构,作为一个更动态的计划的基础。它表明,进程创建可以有效地使它只会引起总运行时的一小部分开销,它可以自然地与递归相结合,使计算在系统上的快速分布。
2011-05-19 cs.DC cs.PL
Bracing Heterogeneous Distributed Systems via Built-in Frameworks
本文介绍了一种新的分布式系统体系结构--框架式分布式系统(framed distributed system,FDS)--它通过一个内置的【形】虚拟框架来支撑给定的系统,该框架控制系统组件之间以及组件与环境之间的消息流,而不关心通信组件的代码。这种控制是以分散的方式进行的,因此是可扩展的。FDS体系结构将对分布式系统的可靠性和安全性以及此类系统的整个生存周期产生重大影响。尽管这种体系结构是专门为类似SOA的异构和开放系统设计的--这些系统的组件可能用不同的语言编写,可能在不同的平台上运行,可能在不同的管理域下设计、构造甚至维护--但它对一般的分布式系统应该是有用的。
2014-03-19 cs.DC cs.SE
Specx: a C++ task-based runtime system for heterogeneous distributed architectures
本文提出了Specx,一种用现代C++编写的基于任务的运行时系统,通过同时利用CPU和GPU(CUDA/HIP)并将通信纳入任务图来支持分布式异构计算,并在并行应用中展示了其潜力。
2024-11-15 cs.DC cs.SE
Architecting Peer-to-Peer Serverless Distributed Machine Learning Training for Improved Fault Tolerance
Université du Québec à Chicoutimi(魁北克大学希库蒂米分校);École de Technologie Supérieure(高等工程技术学院)
分布式机器学习是指在多台计算机或设备上训练模型的实践,这些计算机或设备可以称为节点。此外,无服务器计算是使用函数作为计算单元的云计算的新范例。无服务器计算可以通过实现自动资源扩展、减少手动干预和降低成本来有效地用于分布式学习系统。通过分配工作负载,分布式机器学习可以加快训练过程,并允许训练更复杂的模型。分布式机器学习的几种拓扑结构已经建立(集中式,参数服务器,对等)。然而,参数服务器架构在容错方面可能具有限制,包括单点故障和复杂的恢复过程。此外,在对等(P2P)架构中训练机器学习可以通过消除单点故障而在容错方面提供益处。在P2P架构中,每个节点或工作者都可以充当服务器和客户端,这允许更分散的决策,并消除了对中央协调器的需求。在这份立场文件中,我们建议探索使用无服务器计算在分布式机器学习训练和比较性能的P2P架构与参数服务器架构,重点是降低成本和容错。
2023-02-27 cs.DC cs.LG
Composite Design Pattern for Feature Oriented Service Injection and Composition of Web Services for Distributed Computing Systems with Service Oriented Architecture
随着面向服务的编程(FOP)等新的编程模型的出现,我们认为将新的服务调用功能作为一个特征模块包含在服务提供服务器中,可以更灵活地实现自适应分布式系统。复合设计模式显示了一种协同作用,使组合不仅仅是其部分的总和,这导致了现成的软件架构。在本文中,我们描述了访问者和基于案例的推理设计模式的融合,通过SOA的服务调用和Web服务组合的开发与JWS技术和FOP的帮助。据我们所知,目前还没有针对自适应分布式计算领域的设计模式组合的研究。我们提供了为应用程序开发的示例代码,并使用简单的UML类图来描述体系结构。
2012-08-19 cs.DC cs.PL cs.SE
SWIFT: Fast algorithms for multi-resolution SPH on multi-core architectures
本文介绍了一种新的方法来寻找邻域光滑粒子流体动力学(SPH)模拟与大的动态范围内的光滑长度。这种方法是基于分层细胞分解,排序的相互作用,和基于任务的制定。它被证明是比传统的基于树的代码更快,比基于域分解的方法在共享内存的并行架构,如多核扩展更好。
2013-09-15 astro-ph.CO astro-ph.IM cs.DC
Distributed Optimization for Client-Server Architecture with Negative Gradient Weights
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
大量数据集和计算资源的可用性使得机器学习和预测分析非常普遍。在这项工作中,我们提出了一个同步算法和架构的分布式优化的隐私要求所提出的应用程序在机器学习。我们提出了一个算法,最近提出的多参数服务器架构。我们考虑一组参数服务器,它们根据从客户端接收的随机梯度来学习模型。客户端是具有私有数据集(引入私有目标函数)的计算实体,其评估随机化梯度并将其上传到参数服务器。参数服务器基于接收到的梯度执行模型更新,并与其他服务器共享模型参数。我们证明,该算法可以优化一个非常一般的架构,涉及$C$客户端连接到$S$参数服务器在任意时变拓扑结构和参数服务器形成一个连接的网络的整体目标函数。
2016-12-19 cs.DC cs.LG math.OC
Distributed Processing for Encoding and Decoding of Binary LDPC codes using MPI
低密度奇偶检验(LDPC)码是在通信系统中用于前向纠错(FEC)的线性纠错码。但是,LDPC码的编码和解码需要密集的计算,使得其难以在基于通用软件的信号处理系统中实际使用。为了加速LDPC码的编码和解码,使用消息传递接口(MPI)在多个多核CPU上执行分布式处理。实现是使用流处理和批处理机制和执行时间为两种实现进行比较w.r.t变化的CPU数量和每个CPU的核心数。分布式处理的性能评估是通过执行时间w.r.t.处理器(CPU核心)数量的增加。
2022-01-12 cs.DC cs.IT eess.SP