Exploring performance and power properties of modern multicore chips via simple machine models
现代多核芯片在性能和功耗方面表现出复杂的行为。从英特尔Sandy Bridge处理器开始,直接测量CPU芯片的功耗并将此数据与运行代码的性能属性相关联已成为可能。超越一个简单的瓶颈分析,我们采用最近发表的执行缓存内存(ECM)模型来描述流内核的单核和多核性能。该模型改进了著名的屋顶线模型,因为它可以预测的缩放和饱和行为的带宽有限的循环内核在多核芯片上。饱和点与能量消耗的考虑特别相关。从功耗测量的基准程序有很大的不同要求的硬件,我们得出一个简单的,现象学的功率模型的桑迪桥处理器。与ECM模型一起,我们能够解释多核处理器的性能和功耗行为的许多特点,并推导出并行程序节能执行的指导方针。最后,我们表明,ECM和功率模型可以成功地用于描述的缩放和功率行为的格子玻尔兹曼流求解器代码。
2014-03-19 cs.DC cs.PF
Validation of hardware events for successful performance pattern identification in High Performance Computing
硬件性能监控(HPM)是性能分析工具的重要组成部分。虽然有像LIKWID、PAPI或内核接口perf\_event这样的接口为HPM访问提供了一些附加功能,但许多更高级别的工具将事件计数与从其他源(如函数调用跟踪)检索的结果结合起来,以获得(半)自动性能建议。然而,尽管HPM自90年代初就可用于x86系统,但实际上只有一小部分HPM功能被使用。性能模式提供了一种更全面的方法,能够识别各种性能限制效应。模式可以解决带宽饱和、负载不平衡、ccNUMA系统中的非本地数据访问或缓存行的错误共享等问题。这项工作定义了HPM事件集,这些事件集最适合识别英特尔Haswell处理器上的一系列性能模式。我们验证所选择的事件集的准确性,以达到一个可靠的模式检测机制,并指出由于硬件中的错误或限制,不能很容易地规避的缺点。
2017-10-11 cs.DC cs.PF
Automatic Mapping Tasks to Cores - Evaluating AMTHA Algorithm in Multicore Architectures
提出了异构体系结构上任务到处理器分配的自动映射算法AMTHA和异构体系结构上并行算法模型MPAHA。AMTHA的使用进行了分析,多核处理器为基础的架构,考虑在使用中的进程之间的通信模型。在进行的测试中获得的结果,比较一组合成应用程序的多核上的实际执行时间与AMTHA获得的预测。最后,目前的研究线,重点是集群的多核和混合编程范式。
2010-04-19 cs.PF
High Performance and Portable Convolution Operators for ARM-based Multicore Processors
卷积神经网络对许多人工智能任务的巨大影响已经导致了针对这种类型的网络中存在的卷积算子的各种高性能算法的发展。这些方法之一利用\imcol变换,然后是通用矩阵乘法(GEMM),以便利用许多线性代数库中GEMM内核的高度优化实现。这种方法的主要问题是1)托管由IM 2COL变换生成的中间矩阵所需的大存储器工作空间;以及2)执行IM 2COL变换的时间,这对于复杂的神经网络是不可忽略的。本文提出了一种基于BLIS实现GEMM内核的可移植高性能卷积算法,该算法利用BLIS结构避免了中间存储器的使用。此外,该算法消除了显式IM 2COL变换的成本,同时保持了BLIS中GEMM底层实现的可移植性和性能。
2020-05-13 cs.PF
An analytic performance model for overlapping execution of memory-bound loop kernels on multicore CPUs
在多核处理器上运行的复杂应用程序表现出丰富的性能现象。每个ccNUMA域的核心数量不断增加,这使得内存受限代码的性能分析变得复杂,因为系统噪声、负载不平衡或基于任务的编程模型可能导致线程去同步。因此,所有核心执行相同循环的简化假设不能得到支持。出于对普通和修改版本的HPCG基准的观察,我们构建了一个性能模型的执行内存绑定的循环内核。它可以根据活动内核的数量以及内核与哪些其他工作负载配对来预测内存争用域上每个内核的内存带宽份额。唯一需要的代码特性是每个内核的单线程缓存线访问频率,它直接与单线程内存带宽及其饱和带宽相关。它可以直接测量,也可以使用Execution-Cache-Memory(ECM)性能模型进行预测。内核的计算强度和代码的详细结构没有意义。我们在英特尔Broadwell、英特尔Cascade Lake和AMD Rome处理器上对各种流和模板内核进行了验证。预测每个内核的带宽份额的误差小于8%。
2020-10-31 cs.DC cs.PF
Architecture-Aware Configuration and Scheduling of Matrix Multiplication on Asymmetric Multicore Processors
Universidad Jaume I(豪梅一世大学);Universidad Complutense de Madrid(马德里康普顿斯大学)
本文设计了面向架构的矩阵乘法优化,通过缓存感知配置和异构静态动态调度策略,提升ARM big.LITTLE异构多核处理器的性能与能效。
2015-06-30 cs.DC cs.MS cs.NA
Performance monitoring for multicore embedded computing systems on FPGAs
在设计现代嵌入式计算系统时,大多数软件程序员选择使用多核处理器,可能与通用图形处理单元(GPGPU)和/或硬件加速器结合使用。它们还经常使用嵌入式Linux O/S,并运行多应用程序工作负载,甚至可能是多线程的。现代FPGA足够大,可以将多核硬/软处理器与多个硬件加速器结合起来作为定制计算单元,使整个嵌入式计算系统能够在单个FPGA上实现。此外,大型FPGA供应商还支持其软件和嵌入式处理器的嵌入式Linux内核。当与高级综合相结合,使用C-to-gates流程生成硬件加速器时,可以使软件设计人员使用FPGA作为其自定义计算平台的框架所需的原语现在已经存在。然而,为了确保有效地集成和共享计算资源,软件开发人员需要能够在其工作负载中监视和调试应用程序的运行时性能。本文介绍了ABACUS,一个性能监控框架,可用于调试多核系统上的多应用程序工作负载的执行行为和交互。我们还讨论了如何这个框架是可扩展的异构系统中的硬件加速器使用。
2015-08-28 cs.AR cs.PF
LIKWID: A lightweight performance-oriented tool suite for x86 multicore environments
要充分利用当今处理器的性能,需要深入了解微体系结构,并了解线程和缓存拓扑中不断增长的复杂性。LIKWID是一组命令行实用程序,解决了四个关键问题:探测共享内存节点的线程和缓存拓扑,在程序上强制执行线程-核心亲和性,测量性能计数器指标,以及切换硬件预取器。还包括一个用于从用户代码中使用性能计数功能的API。我们清楚地说明了与广泛使用的PAPI接口的差异。为了展示工具集的功能,我们使用著名的OpenMP STREAM triad基准测试来展示线程固定对性能的影响,并使用亲和性和硬件计数器工具来研究专门优化以利用多核芯片上的共享缓存的模板代码的性能。
2010-06-30 cs.DC cs.PF
Bridging the Architecture Gap: Abstracting Performance-Relevant Properties of Modern Server Processors
我们描述了一种通用的建模方法,用于预测服务器处理器上的稳定状态循环的单核和多核运行时间。为此,我们严格区分应用程序和机器模型:应用程序模型包括循环代码,问题大小和其他运行时参数,而机器模型是CPU所有性能相关属性的抽象。我们介绍了一个通用的方法来确定机器模型和相关的服务器处理器架构的英特尔,AMD,IBM和Marvell/Cavium目前的结果。考虑到如此广泛的体系结构,足够的性能建模所需的特性集出奇地少。为了验证我们的方法,我们比较性能预测的经验数据的OpenMP并行预处理CG算法,其中包括计算和内存绑定的内核。单核心和多核心分析表明,该模型具有5%和10%的平均和最大相对误差。偏离模型和获得的见解进行了详细讨论。
2019-07-01 cs.AR cs.DC cs.PF
Energy efficiency of finite difference algorithms on multicore CPUs, GPUs, and Intel Xeon Phi processors
除了在高性能计算系统中常见的硬件空闲时间限制之外,未来的系统可能还将受到能量预算的限制。在目前的工作中,不同的计算和内存强度的有限差分算法的能源效率和运行时间的英特尔常春藤桥CPU节点,英特尔至强融核骑士登陆处理器,和NVIDIA特斯拉K40 c GPU进行评估。传统的方式存储的离散衍生物的解决方案的进步全球阵列被发现是低效的能源消耗和运行时间。相比之下,一类算法,其中离散化的衍生物进行评估的飞行或存储为线程/进程的本地变量(产生高计算强度)是最佳的能源消耗和运行时间。在考虑的所有三个硬件架构上,与存储器密集型算法相比,观察到高计算密集型算法的~2的加速和~2的节能。的能量消耗被发现是成比例的运行时间,无论消耗的功率和GPU相比,CPU节点上的相同的算法具有约5的节能。
2017-09-27 cs.MS cs.PF physics.comp-ph
Efficient Architecture-Aware Acceleration of BWA-MEM for Multicore Systems
下一代测序技术的创新使DNA序列数据的生成速度更快,成本更低。大型测序中心通常使用数百个这样的系统。这种高通量和低成本的数据生成强调了在测序数据的下游计算分析中相应加速的需要。下游分析的基本步骤是将读数映射到长参考DNA序列,例如参考人类基因组。序列映射是一个计算密集型步骤,占GATK工作流程总时间的30%以上。BWA-MEM是最广泛使用的序列映射工具之一,拥有数万名用户。在这项工作中,我们专注于加速BWA-MEM通过一个高效的架构感知实现,同时保持相同的输出。大量的数据需要分布式计算环境,通常部署多核处理器。由于应用程序可以很容易地并行化的分布式内存系统,我们专注于单插槽多核处理器上的性能改进。BWA-MEM运行时间由三个内核控制,它们共同负责超过85%的总计算时间。我们通过以下方式提高了这些内核的性能:1)提高缓存重用,2)简化算法,3)用几个大的连续内存分配取代小的碎片内存分配,4)软件预取,5)在适用的情况下利用SIMD-以及大规模重组源代码以实现这些改进。因此,我们在三个内核上分别实现了近2倍、183倍和8倍的加速,与英特尔至强Skylake处理器的单线程和单插槽上的原始BWA-MEM相比,端到端计算时间的加速分别高达3.5倍和2.4倍。据我们所知,这是BWA-MEM上报告的最高加速比。
2019-07-27 cs.CE cs.DC cs.PF
Performance limitations for sparse matrix-vector multiplications on current multicore environments
多核处理器的重要性日益增加,要求重新评估现有的数值算法,因为它们能够从这种新的硬件概念中获益。为了优化现有的算法,不同的性能限制因素的详细知识是强制性的。在这篇文章中,我们研究稀疏矩阵向量乘法,这是许多稀疏特征值求解器中的主导操作。在过去,已经设想了两种概念上不同的存储方案和计算内核,分别针对基于高速缓存的架构和向量架构。从一系列微基准测试开始,我们将所获得的洞察力应用于优化的稀疏MVM实现,我们在最先进的多核系统上评估了其串行和OpenMP并行性能。
2009-10-26 cs.PF
Cluster-BPI: Efficient Fine-Grain Blind Power Identification for Defending against Hardware Thermal Trojans in Multicore SoCs
本文提出增强的聚类盲功率识别方法ICBPI,通过引入DBSCAN改进BPI的NNMF初始化以更准确估计多核SoC各核心功耗,在功率估计任务中将错误率较BPI和BPISS分别降低77.56%和68.44%,并提升了异构处理器抵御恶意温度传感器攻击的检测定位能力与安全性。
2024-09-27 cs.CR cs.PF eess.SP
Tensor Slicing and Optimization for Multicore NPUs
IC-UNICAMP(坎皮纳斯州立大学计算机研究所);Electronics and Telecommunications Research Institute (ETRI)(电子通信研究院);SilicoNeuro/AiM Future;MagiCore
本文提出用于多核NPU的TensorFlow XLA/LLVM编译器优化过程TSO,通过最大化跨核心卷积并行度与利用DRAM突发时间估计指导张量切片减少数据传输,在32核NMP上实现最高21.7%的加速,并验证了其在Glow框架上的通用性。
2023-04-06 cs.AR cs.CV cs.PF
Deterministic Memory Abstraction and Supporting Multicore System Architecture
多核处理器的时间可预测性差一直是实时系统社区的一个长期挑战。在本文中,我们提出了一个案例,一个基本的问题,防止有效的和可预测的实时计算多核是缺乏一个适当的内存抽象来表达内存的关键性,它跨越系统的各个层:应用程序,操作系统和硬件。因此,我们提出了一个新的整体资源管理方法驱动的一个新的内存抽象,我们称之为确定性内存。确定性内存的关键特征是平台-操作系统和硬件-保证最坏情况下的内存访问时间小且有严格限制。相比之下,我们称传统的内存抽象为尽力而为的内存,其中只有高度悲观的最坏情况下的界限可以实现。我们建议利用这两个抽象,以实现高的时间可预测性,但不会显着牺牲性能。我们提出了确定性的内存感知的操作系统和体系结构的设计,包括操作系统级的页面分配器,硬件级缓存,和DRAM控制器的设计。我们在Linux和gem 5模拟器上实现了所提出的操作系统和架构扩展。我们的评估结果,使用一组合成和现实世界的基准,证明了我们的方法的可行性和有效性。
2018-04-19 cs.AR cs.OS cs.PF
Understanding HPC Benchmark Performance on Intel Broadwell and Cascade Lake Processors
高性能计算中的硬件平台不断变得越来越复杂,即使只考虑多核CPU也是如此。硬件和软件环境中与性能相关的许多功能和配置选项甚至不为大多数应用程序用户或开发人员所知。微基准,即,了解硬件特定方面的简单代码可以帮助阐明这些问题,但前提是这些代码被很好地理解,并且结果可以与已知事实或性能模型相协调。从微基准测试中获得的洞察力可以应用于实际应用程序,进行性能分析或优化。在本文中,我们深入研究了两种现代英特尔x86服务器CPU架构:Broadwell EP和Cascade Lake SP。我们重点介绍了可能对代码性能产生决定性影响的相关硬件配置设置,并展示了如何正确测量片上和片外数据传输带宽。Cascade Lake新的受害者L3缓存及其高级替换策略受到了应有的关注。最后,我们使用DGEMM,稀疏矩阵向量乘法,和HPCG基准,使相关的应用场景的连接。
2020-02-12 cs.DC cs.PF
Fine-Grained Clustering-Based Power Identification for Multicores
针对BPI在多核SoC细粒度功耗估计中NMF初始化不佳的问题,提出基于密度空间聚类和稳态温度数据的改进方法,显著降低估计误差且无性能开销。
2024-10-28 cs.PF