Validation of hardware events for successful performance pattern identification in High Performance Computing
硬件性能监控(HPM)是性能分析工具的重要组成部分。虽然有像LIKWID、PAPI或内核接口perf\_event这样的接口为HPM访问提供了一些附加功能,但许多更高级别的工具将事件计数与从其他源(如函数调用跟踪)检索的结果结合起来,以获得(半)自动性能建议。然而,尽管HPM自90年代初就可用于x86系统,但实际上只有一小部分HPM功能被使用。性能模式提供了一种更全面的方法,能够识别各种性能限制效应。模式可以解决带宽饱和、负载不平衡、ccNUMA系统中的非本地数据访问或缓存行的错误共享等问题。这项工作定义了HPM事件集,这些事件集最适合识别英特尔Haswell处理器上的一系列性能模式。我们验证所选择的事件集的准确性,以达到一个可靠的模式检测机制,并指出由于硬件中的错误或限制,不能很容易地规避的缺点。
2017-10-11 cs.DC cs.PF
Service Composition Design Pattern for Autonomic Computing Systems using Association Rule based Learning and Service-Oriented Architecture
K L University(K L 大学);National Institute of Technology, Warangal(瓦朗加尔国家理工学院)
在本文中,我们提出了一个非结构化对等网络的服务注入和组合设计模式,这是设计与面向服务的设计模式,并融合了策略,工人对象和检查表设计模式用于设计自适应系统。它将动态地应用自重新配置平面,而无需管理员的中断或干预来处理服务器上的服务故障。当客户端请求一个复杂的服务时,应该进行服务组合来满足请求。如果一个服务在内存中不可用,它将作为方面特征模块代码注入。我们使用面向服务的体系结构(SOA)与Web服务在Java中实现的组合设计模式。据我们所知,目前还没有针对对等计算领域的设计模式组合的研究。该模式使用类和接口的类似java的符号来描述。描述了一个简单的UML类和序列图。
2012-11-22 cs.DC cs.LG cs.SE
A Composite Design Pattern for Service Injection and Composition of Web Services for Peer-To-Peer Computing with Service Oriented Architecture
在本文中,我们提出了一个非结构化对等网络的服务注入和组合设计模式,这是设计与面向服务的设计模式,并融合了策略,工人对象和检查表设计模式用于设计自适应系统。它将动态地应用自重新配置平面,而无需管理员的中断或干预来处理服务器上的服务故障。当客户端请求一个复杂的服务时,应该进行服务组合来满足请求。如果一个服务在内存中不可用,它将作为方面特征模块代码注入。我们使用面向服务的体系结构(SOA)与Web服务在Java中实现的组合设计模式。据我们所知,目前还没有针对对等计算领域的设计模式组合的研究。该模式使用类和接口的类似java的符号来描述。描述了一个简单的UML类和序列图。
2012-11-22 cs.DC cs.NI cs.SE
Composite Design Pattern for Feature Oriented Service Injection and Composition of Web Services for Distributed Computing Systems with Service Oriented Architecture
随着面向服务的编程(FOP)等新的编程模型的出现,我们认为将新的服务调用功能作为一个特征模块包含在服务提供服务器中,可以更灵活地实现自适应分布式系统。复合设计模式显示了一种协同作用,使组合不仅仅是其部分的总和,这导致了现成的软件架构。在本文中,我们描述了访问者和基于案例的推理设计模式的融合,通过SOA的服务调用和Web服务组合的开发与JWS技术和FOP的帮助。据我们所知,目前还没有针对自适应分布式计算领域的设计模式组合的研究。我们提供了为应用程序开发的示例代码,并使用简单的UML类图来描述体系结构。
2012-08-19 cs.DC cs.PL cs.SE
A Pattern Language for High-Performance Computing Resilience
高性能计算系统(HPC)为广泛的计算问题提供了强大的建模、仿真和数据分析功能。它们通过聚合数百万个计算、内存、网络和存储组件的能力,实现每秒四进制浮点算术计算数量级的极端性能。随着HPC系统的规模和复杂性迅速增长,以实现更高的性能,确保其在系统降级和故障面前的可靠运行是一个关键的挑战。系统故障事件经常导致科学应用产生错误的结果,甚至可能导致其过早终止。现代极端规模HPC系统中的组件数量庞大,硬件和软件组件、应用程序和物理环境之间的交互和依赖关系复杂,这使得设计支持故障恢复的实用解决方案成为一项复杂的任务。为了管理这种复杂性,我们开发了一种使用设计模式设计HPC弹性解决方案的方法。我们将过去三十年来设计、应用和改进的用于处理故障、错误和失败的著名技术以设计模式的形式进行了整理。在本文中,我们提出了一种模式语言,使结构化的方法来开发HPC弹性解决方案。模式语言揭示了弹性模式之间的关系,并提供了一种手段,探索替代技术处理特定的故障模型,可能有不同的效率和复杂性的特点。使用模式语言可以将全面的弹性解决方案设计和实现为一组相互关联的弹性模式,这些模式可以跨系统堆栈的各个层进行实例化。
2017-10-31 cs.DC cs.SE
Communication Pattern Logic: Epistemic and Topological Views
提出通信模式逻辑,通过更新Kripke模型和单纯复形研究通信可能失败时的分布式全信息协议,证明集体互模拟性在模型更新中得以保持且不同语义对应。
2023-08-01 cs.DC cs.MA
Linking Scientific Instruments and HPC: Patterns, Technologies, Experiences
现代实验设施中的强大探测器通常以多GB/s的速度收集数据。需要在线分析方法,以便能够收集这些大规模数据流中仅感兴趣的子集,例如通过明确丢弃某些数据元素或将仪器引导到实验空间的相关区域。这种在线分析需要配置和运行高性能分布式计算管道(我们称之为流)的方法,连接仪器、HPC(例如,用于分析、模拟、AI模型训练)、边缘计算(用于分析)、数据存储、元数据目录和高速网络。在本文中,我们将回顾与此类流相关的常见模式,并描述实例化这些模式的方法。我们还介绍了将这些方法应用于处理来自五种不同科学仪器的数据的经验,每种仪器都需要HPC资源进行数据反演、机器学习模型训练或其他目的。我们还讨论了这些新方法的操作员和用户的科学设施的影响。
2022-08-22 cs.DC
Alleviating Bottlenecks for DNN Execution on GPUs via Opportunistic Computing
边缘计算和物联网应用受到有限硬件资源的严重限制。这使得消耗内存的DNN框架不适用于边缘计算。直接卷积等简单算法正在嵌入式机器学习中找到自己的方式。作为DNN加速中应用最广泛的平台之一,GPU面临着片上带宽的瓶颈。这项工作介绍了GPU DNN执行架构,旨在通过机会计算减少数据移动来缓解片上带宽瓶颈。我们首先调查数据访问模式的硬件视图,而不是软件视图。然后,我们提出了两个机会计算技术,可预测地执行计算时,数据是可用的帮助下,助理warps。通过将计算转移到数据,我们的技术能够显著减少数据移动并缓解DNN执行瓶颈。我们的评估结果表明,所提出的技术可以提高DNN应用程序的性能高达55%。
2019-10-15 cs.DC
Analysis and Modeling of Social Influence in High Performance Computing Workloads
用户之间的社会影响(例如,项目协作)在底层高性能计算(HPC)工作负载中产生突发行为。本文使用代表性的HPC和群集工作负载日志,识别、分析和量化HPC用户的社会影响力水平。我们展示了一个社交图的存在,其特征在于主导用户和追随者的模式。这种模式也遵循幂律分布,这与在主流社交网络中观察到的一致。鉴于其对HPC工作负载预测和调度的潜在影响,我们提出了一种快速收敛,计算效率高的在线学习算法,用于识别社会群体。广泛的评估表明,我们的在线算法可以(1)快速识别社会关系,通过使用一小部分传入的工作和(2)可以有效地跟踪随着时间的推移群体的演变。
2016-10-15 cs.DC cs.SI
Computing with Modular Robots
University of the West of England(西英格兰大学);Modular Robotics(模块化机器人公司);Odessa State Environmental University(敖德萨国立环境大学)
在非常规计算设备的化学和物理原型中,使用复制模式来传输和处理信息。逻辑值由传播扩散波、触发波或相波的前沿表示。我们应用这个概念的模式为基础的计算开发实验原型的计算电路实现小型模块化机器人。在实验原型中,模块化机器人立方体被连接成通道和接头。Cubelets开发的结构并行和异步地传播信号。以一位全加器的工作电路为例说明了该方法。作为补充,这些构造的形式化是在Sleptsov网中开发的。最后,展望了群体动力学。
2022-02-15 cs.DC cs.ET cs.RO
On Optimal and Fair Service Allocation in Mobile Cloud Computing
研究了移动云计算中多种移动应用(单个或群组以及协作移动应用)的最优公平服务分配问题。我们利用了这样的观察,即使用分层云,即多个级别(本地和公共)的云可以提高移动应用程序的性能和可扩展性。我们提出了一个新的框架,移动应用程序作为一个位置-时间工作流(LTW)的任务建模,在这里用户的移动模式被翻译为移动服务的使用模式。我们发现,考虑到多个QoS目标,如应用程序延迟,设备功耗和用户成本/价格的LTW分层云资源的最佳映射是一个NP-硬问题,为单个和基于组的应用程序。我们提出了一种高效的启发式算法,称为MuSIC,能够表现良好(73%的最佳,比简单的策略好30%),并扩展到大量的用户,同时确保高的移动应用QoS。我们通过实施(在真实世界的云上)和使用丰富的移动应用程序(如密集信号处理,视频流和多媒体文件共享应用程序)的广泛模拟来评估MuSIC和2层移动云方法。我们的实验和仿真结果表明,音乐集成电路支持可扩展的操作(100+并发用户执行复杂的工作流),同时提高QoS。与仅使用公共云相比,我们观察到延迟和功耗降低了约25%(在固定价格限制下),价格降低了约35%(考虑固定延迟)。我们的研究还表明,MuSIC在不同的移动模式下表现得很好,例如随机路点和曼哈顿模型。
2013-08-20 cs.DC cs.NI
Programming Requests/Responses with GreatFree in the Cloud Environment
GreatFree编程请求是一种在云计算环境下实现分布式轮询的高效编程技术。GreatFree是一个分布式编程环境,通过它可以通过编程而不是配置或脚本来建立各种分布式系统。GreatFree强调编程的重要性,因为它为开发人员提供了利用其分布式知识和编程技能的机会。此外,编程是构造创造性的、自适应的和灵活的系统以适应各种分布式计算环境的唯一方式。在GreatFree代码级分布式基础架构模式、分布式操作模式和API的支持下,以可编程、快速和高度模式化的方式完成了困难的过程,即,编程行为被简化为复制-粘贴-替换的可重复操作。由于分布式轮询是构建分布式系统的基本技术之一,GreatFree为开发人员提供了相关的API和模式,以在新的编程环境中编写请求/响应。
2018-02-09 cs.DC cs.PL cs.SE
Optimizing and accelerating space-time Ripley's K function based on Apache Spark for distributed spatiotemporal point pattern analysis
随着越来越多的兴趣点数据集具有细粒度的空间和时间属性,时空Ripley的K函数被认为是一个强大的方法来分析时空点过程。然而,时空Ripley的K函数是计算密集型的逐点距离比较,边缘校正和模拟的显着性测试。利用OpenMP、MPI和CUDA等并行计算技术对K函数进行了加速,相关实验证明了其显著的加速效果。然而,以前的工作还没有扩大Ripley的K函数的优化从空间维到时空维。如果没有复杂的时空查询和分区机制,额外的计算开销可能是有问题的。同时,这些研究受到并行框架可扩展性受限和相对昂贵的编程成本的限制,阻碍了它们在大型POI数据集和Ripley的K函数变化中的应用。本文在最先进的分布式计算框架Apache Spark上提出了一种加速时空Ripley K函数的分布式计算方法,并分别采用四种策略来简化计算过程和加速分布式计算。在此基础上,开发了一个基于Web的可视化分析框架原型。实验证明了该方法的可行性和时间效率,并对时空Ripley K函数在生态学、地理学、社会学、经济学、城市交通等领域的应用具有推广价值。
2019-12-10 cs.CG cs.DC cs.DS
Near-Optimal Virtual Machine Packing Based on Resource Requirement of Service Demands Using Pattern Clustering
随着云计算的扩展和组织关于使用云计算的运动的积极前景以及它们对这种有价值的处理方法的扩展利用,以及云基础设施提供商提供的关于减少处理资源的成本的解决方案,在云环境中组织资源的问题变得非常重要。云基础设施客户的主要关注点之一是他们缺乏对不同时间段所需处理资源数量的了解。管理人员和技术人员都在努力充分利用云计算中资源的可伸缩性和灵活性。主要的挑战是根据服务的传入请求的数量来计算每个时刻所需的处理资源的数量。通过扣除这些项目的准确数量,可以准确估计每个时刻的请求。本文旨在介绍一种云资源的自动伸缩模型,以减少云基础设施客户租用资源的成本。因此,我们首先全面解释该提案和模型的主要组成部分。然后通过聚类计算模型的不可见性,并介绍了各个组成部分在不同阶段的工作方式,
2014-06-27 cs.DC cs.NI cs.PF