Energy Efficiency of Many-Soft-Core Processors
不断增长的集成能力允许在单个FPGA中实例化数百个软核处理器,以创建可重新配置的多处理系统。最近,FPGA已被证明可以为某些工作负载提供比CPU和GPGPU等替代平台更高的能效,并且越来越多地用于数据中心。在本文中,我们调查是否许多软核处理器可以实现类似水平的能源效率,同时提供一个通用的环境,更容易编程,并允许运行其他应用程序,而无需重新配置设备。通过一个简单的应用示例,我们能够创建一个可重构的多处理系统,其能效比最近的超低功耗处理器高58倍,比最近的高性能GPGPU高124倍。
2016-01-26 cs.DC
Multi-Threaded Dense Linear Algebra Libraries for Low-Power Asymmetric Multicore Processors
密集线性代数库,如BLAS和LAPACK,为许多科学和工程应用提供了相关的数值工具集合。虽然存在用于许多当前多线程架构的BLAS(和LAPACK)功能的高性能实现,但是这些库用于非对称多核处理器(AMP)的适配仍然悬而未决。在本文中,我们解决这个挑战,通过开发一个不对称意识的实现的BLAS,基于BLIS框架,并为AMP配备了两种类型的核心:快速/耗电与缓慢/节能。为此,我们将粗粒度和细粒度并行化策略集成到库例程中,分别动态分配两种核心类型之间的工作量和静态重新分配相同类型的核心之间的工作。我们的结果在嵌入Exynos 5422 SoC的ARM big.LITTLE处理器上,使用BLAS的非对称感知版本和LAPACK的传统版本的简单迁移,实验评估了这种方法的优点,局限性和潜力。
2015-11-06 cs.DC cs.MS
Novel Power and Completion Time Models for Virtualized Environments
功耗成本占据了运营商运营成本的一半,这使得电源管理成为一个关键问题。处理器技术的进步提供了对处理器的操作频率和电压的细粒度控制,并且这种控制可以用于在功率与性能之间进行权衡。尽管存在许多功耗和性能模型,但它们在预测内存或文件密集型任务和HPC应用程序的性能时存在显著的误差。我们的调查表明,预测误差部分是由于他们没有考虑频率和CPU的变化,而只是依赖于CPU本身。在本文中,我们经验性地推导出功率和完成时间模型,使用线性回归与CPU利用率和工作频率作为参数。我们验证了我们的功率模型在几个英特尔和AMD处理器上的预测在2-7%的测量功率。我们验证我们的完成时间模型使用五个内核的NASA并行基准套件和五个CPU,内存和文件密集型基准测试四个异构系统和预测1-6%的观察到的性能。然后,我们将展示如何使用这些模型来实现高达15%的功耗节省,同时为部署在虚拟化环境中的应用程序提供44%的性能提升。
2014-11-12 cs.DC
Energy Efficiency Features of the Intel Skylake-SP Processor and Their Impact on Performance
绝大多数高性能计算(HPC)系统和服务器基础架构都使用英特尔x86处理器。这使得这些处理器的架构分析与管理员和性能工程师的广泛受众相关。在本文中,我们描述了英特尔Skylake-SP处理器的硬件控制的能源效率功能的影响。由于微架构周期延长,这扩展了英特尔以前的Tick-Tock方案,我们的研究结果也将与后续架构相关。本文的研究结果包括以下几点:C状态延迟在Haswell-EP处理器一代中显着增加。控制非核频率的机制具有大约10 ms的延迟,并且不可能真正将非核频率固定到特定水平。使用512位宽向量的工作负载的无序节流也发生在低处理器频率下。数据对处理器功耗有显著影响,这会导致仅依赖于指令的能量模型出现较大误差。
2020-09-11 cs.DC
Performance and Energy Optimization of Matrix Multiplication on Asymmetric big.LITTLE Processors
非对称处理器已经成为一种非常有吸引力的技术,适用于严重的能源约束环境,特别是在应用程序异构性成为主流的移动市场。此外,考虑到对用于高性能计算的超低功率架构的兴趣日益增长,这种类型的平台也正在朝着实现节能的高性能科学应用的方向进行研究。在本文中,我们提出了一个完整的实施的BLAS接口适应于非对称的ARM大。小处理器,分析性能和能源效率之间的权衡时,现有的同质(对称)多线程BLAS实现的第一步。我们的实验结果揭示了重要的性能增益,同时保持均匀的解决方案的能源效率,有效地利用所有的非对称处理器的资源。
2015-07-17 cs.DC
Climbing Mont Blanc - A Training Site for Energy Efficient Programming on Heterogeneous Multicore Processors
Climbing Mont Blanc(CMB)是一个开放的在线评判,用于培训最先进的异构多核的节能编程。它使用Hardkernel的Odroid-XU 3板,带有Exynos Octa处理器和集成功率传感器。该处理器是三路异构的,包含三种不同类型的14个不同内核。该板目前接受C和C++程序,并支持OpenCL v1.1、OpenMP 4.0和Pthreads。使用图形用户界面提交的程序在时间、所用能量和能量效率(EDP)方面被评估。一个小的和各种各样的问题,该系统是目前在使用中的一个中等规模的并行计算课程在NTNU。其他在线节目评委也存在,但我们不知道任何类似的系统,也报告能源效率。
2015-11-06 cs.DC
Power and Thermal Analysis of Commercial Mobile Platforms: Experiments and Case Studies
最先进的移动处理器可以提供快速响应时间和高吞吐量,以最大限度地提高用户体验。然而,高性能是以更大的功率密度为代价的,这导致更高的皮肤温度。由于这可能会降低用户体验,因此对移动处理器中的功耗和热分析存在强烈的需求。在本文中,我们首先在Nexus 6P手机上进行实验,以研究现代智能手机的功耗,性能和热行为。利用这些实验的洞察力,我们提出了一种控制算法,可以在不影响其他应用程序的情况下限制特定应用程序。我们在Odroid-XU 3板中使用的Exynos 5422处理器上演示了我们的调速器。
2019-03-19 cs.DC cs.OH
Architecture-Aware Optimization of an HEVC decoder on Asymmetric Multicore Processors
低功耗非对称多核处理器(AMP)由于其在能量受限的环境中具有吸引人的性能功耗比而引起了广泛的关注。然而,由于集成了具有不同性能的内核,这些处理器带来了重大的编程挑战,需要一种不对称感知的调度解决方案来仔细分配工作负载。最近的HEVC标准提供了几种高级并行化策略,是一种重要的应用,可以受益于针对当前许多移动或手持设备中存在的低功耗AMP定制的实现。在这种情况下,我们提出了一种HEVC解码器的架构感知实现,该解码器嵌入了针对配备ARM big.LITTLE AMP的Samsung Exynos 5422片上系统调整的关键度感知调度策略。通过利用ARM big.LITTLE架构中可用的NEON矢量引擎,我们的解决方案的性能和能效得到了进一步增强。实验结果表明,1080 p实时HEVC解码速度为24帧/秒,能耗降低超过20%。
2016-01-20 cs.DC cs.MM cs.PF
IChannels: Exploiting Current Management Mechanisms to Create Covert Channels in Modern Processors
为了在具有不同功率要求的各种工作负载上高效运行,现代处理器应用不同的电流管理机制,这些机制在调整电压和频率以适应指令流中的功耗指令(PHI)的同时短暂地抑制指令执行。这样做1)降低了典型工作负载中非PHI指令的功耗,2)针对常见用例优化了系统电压调节器的成本和面积,同时限制了执行PHI时的电流消耗。然而,这些机制可能会损害系统的保密性保证。特别地,我们观察到,由于与PHI相关的电流管理机制,节流机制的多级副作用可以通过两个不同的软件上下文(即,发送器和接收器)运行在1)相同的硬件线程上,2)协同定位的同时多线程(SMT)线程上,以及3)不同的物理核上。基于对当前管理机制的这些新观察,我们开发了一组新的隐蔽通道IChannels,并在真正的现代英特尔处理器(占整个客户端和服务器处理器市场的70%以上)中进行了演示。我们的分析表明,IChannels提供超过24倍的信道容量的国家的最先进的电源管理隐蔽通道。我们提出了实际和有效的缓解IChannels中的每个隐蔽通道,利用我们获得的见解,通过严格的真实系统的特征。
2021-06-10 cs.AR cs.CR cs.DC
Computing trends using graphic processor in high energy physics
对大量的实验数据和模拟数据进行快速分析是重能量物理学的主要挑战之一。在LHC-CERN,一个p-p事件的大小约为1 Mb。分析数据和快速获得结果所需的时间取决于高计算能力。使用GPU(图形处理器单元)编程相对于传统CPU编程的主要优点是图形卡以非常低的价格带来了大量的计算能力。今天,大量的应用程序(科学,金融等)开始移植或开发GPU,包括蒙特卡罗工具或高能物理数据分析工具。在本文中,我们将目前的现状和趋势,在HEP使用GPU。
2011-06-30 cs.DC hep-ex physics.comp-ph
Power Constrained Autotuning using Graph Neural Networks
Iowa State University(爱荷华州立大学);University of Oregon(俄勒冈大学)
多核和众核处理器的最新进展已经导致科学计算应用的性能的显著改善。然而,大量复杂内核的加入也增加了整体功耗,功耗已经成为现代处理器中的一阶设计约束。虽然我们可以通过简单地应用基于软件的功耗约束来限制功耗,但盲目地应用它们将导致严重的性能下降。为了解决在现代多核处理器上提高科学应用的性能、功耗和能源效率的挑战,我们提出了一种新的基于图神经网络的自动调整方法,该方法(i)在预定义的功耗约束下优化运行时性能,(ii)通过最小化能量延迟乘积同时优化运行时性能和能源效率。这种方法背后的关键思想在于将并行代码区域建模为流感知代码图,以捕获语义和结构化代码特征。我们证明了我们的方法的有效性进行了广泛的评估$30$基准和代理/迷你应用程序与$68$ OpenMP代码区域。我们的方法确定了在不同的功率约束,产生几何平均性能提高超过$25\%$和$13\%$在32核Skylake和$16$核Haswell处理器上的默认OpenMP配置。此外,当我们针对能量延迟乘积进行优化时,对于相同的Skylake和Haswell处理器,我们的自动调谐器所选择的OpenMP配置分别在Thermal Design Power下与默认的OpenMP配置相比,表现出$21\%$和$11\%$的性能提高以及$29\%$和$18\%$的能量降低。
2023-02-22 cs.DC cs.LG cs.PF
Early Performance Results on 4th Gen Intel(R) Xeon (R) Scalable Processors with DDR and Intel(R) Xeon(R) processors, codenamed Sapphire Rapids with HBM
Crossroads超级计算机旨在模拟世界上一些最复杂的物理设备。这些模拟通常需要1/2 PB或更多的系统内存,在最强大的超级计算机上运行数千个计算节点数月。这些工作负载解决方案的及时改进可能会对我们的任务能力产生重大影响。在本文中,我们展示了HBM在代号为Sapphire Rapids的第四代Intel Xeon和Intel Xeon处理器上的代表性应用工作负载的早期结果。这些结果表明,相对于我们的上一代基于英特尔Broadwell(BDW)的HPC系统,性能提高了8.57倍(节点到节点)。无需修改代码即可实现这种加速,这为大幅缩短解决方案的时间和降低未来可模拟的物理系统的复杂性提供了一条引人注目的途径。
2022-11-10 cs.AR cs.DC
Evaluation of DVFS techniques on modern HPC processors and accelerators for energy-aware applications
对于计算系统,特别是对于大规模HPC设施,能量效率变得越来越重要。在这项工作中,我们评估,从用户的角度来看,使用动态电压和频率调节(DVFS)技术,辅助现代处理器的功率和能源监测能力,以调整应用程序的能源效率。我们在HPC环境中广泛使用的两个高端处理器上运行选定的内核和完整的HPC应用程序,即NVIDIA K80 GPU和Intel Haswell CPU。我们评估可用的能源之间的权衡解决方案和时间的解决方案,尝试一个功能的功能频率调谐。最后,我们估计了在HPC多GPU节点上运行完整代码所能获得的好处,相对于默认的时钟频率调控器。我们对代码进行检测,以准确监控功耗和执行时间,而无需任何额外的硬件,并且我们使其能够在运行时更改CPU和GPU的时钟频率。我们分析了我们的结果不同的架构,使用一个简单的能源性能模型,并得出了一些节能策略,可以很容易地通过最近的高端HPC系统的通用应用程序。
2017-03-08 cs.DC cs.PF
TMA: Tera-MACs/W Neural Hardware Inference Accelerator with a Multiplier-less Massive Parallel Processor
深度神经网络的计算密集型推理任务已经迫使新的加速器架构的革命,以减少功耗以及延迟。硬件推理加速器的关键指标是每瓦乘法累加运算(MAC/W)的数量,其中,最先进的MAC/W保持数百千兆MAC/W。我们提出了一个Tera-MACS/W神经硬件推理加速器(TMA),具有8位激活和小于1字节的可扩展整数权重。该架构的主要特征是用于矩阵向量运算的可配置神经处理元件。所提出的神经处理元件具有无乘法器的大规模并行处理器,无需任何乘法即可工作,这使得它对于节能高性能神经网络应用具有吸引力。我们使用在ImageNet上训练的Alexnet对系统延迟、功耗和性能进行基准测试。最后,我们比较了我们的加速器的吞吐量和功耗,以前的作品。所提出的加速器在能量和面积方面优于现有技术,实现2.3 TMACS/W@1.0 V,65 nm CMOS技术。
2019-09-08 cs.AR cs.DC eess.SP
Exploring performance and power properties of modern multicore chips via simple machine models
现代多核芯片在性能和功耗方面表现出复杂的行为。从英特尔Sandy Bridge处理器开始,直接测量CPU芯片的功耗并将此数据与运行代码的性能属性相关联已成为可能。超越一个简单的瓶颈分析,我们采用最近发表的执行缓存内存(ECM)模型来描述流内核的单核和多核性能。该模型改进了著名的屋顶线模型,因为它可以预测的缩放和饱和行为的带宽有限的循环内核在多核芯片上。饱和点与能量消耗的考虑特别相关。从功耗测量的基准程序有很大的不同要求的硬件,我们得出一个简单的,现象学的功率模型的桑迪桥处理器。与ECM模型一起,我们能够解释多核处理器的性能和功耗行为的许多特点,并推导出并行程序节能执行的指导方针。最后,我们表明,ECM和功率模型可以成功地用于描述的缩放和功率行为的格子玻尔兹曼流求解器代码。
2014-03-19 cs.DC cs.PF
Parameter Sensitivity Analysis of the Energy/Frequency Convexity Rule for Nanometer-scale Application Processors
在这项工作中提出的理论和实验证据,以验证存在的能量/频率凸性规则,涉及纳米级微处理器的能耗和微处理器频率。在几个月的实验采集活动中收集的数据,由几个独立的出版物支持,表明消耗的能量确实取决于微处理器的时钟频率,更有趣的是,曲线在处理器的频率范围内呈现出明显的最小值。提出了一个与实验数据吻合较好的分析模型。参数灵敏度分析显示了参数如何影响时钟频率空间中的能量最小值。讨论了凸性规则可以被利用的条件,以及当其他方法更有效时,以提高计算机系统的能量管理效率。我们表明,计算机系统的功率要求,除了微处理器,和开销影响的位置的能量最小。能量/频率凸性规则的灵敏度分析提出了一些简单的指导方针,特别是对于低功耗系统,如电池供电和嵌入式系统,而不太可能由高性能计算机系统。
2015-08-31 cs.DC cs.PF