MAGNUS: Generating Data Locality to Accelerate Sparse Matrix-Matrix Multiplication on CPUs
MAGNUS提出一种两级分层数据局部性优化算法,通过缓存友好分块和混合累加策略加速CPU上的稀疏矩阵-矩阵乘法,在SuiteSparse和随机矩阵上显著优于Intel MKL等基线并接近最优界限。
2025-04-09 cs.DC
ARCAS: Adaptive Runtime System for Chiplet-Aware Scheduling
针对 chiplet CPU 分区 L3 缓存导致的 NUMA 内延迟与带宽差异,本文提出 ARCAS 运行时,通过 chiplet 感知调度、硬件感知分配、细粒度监控及轻量级并发迁移机制优化内存密集型并行应用性能。
2025-03-14 cs.AR cs.DC cs.PF
FT-GEMM: A Fault Tolerant High Performance GEMM Implementation on x86 CPUs
FT-GEMM 是一种在 x86 CPU 上实现的高性能容错 GEMM,通过算法级融合内存操作实现软错误容忍,在 Intel Cascade Lake 上比 MKL、OpenBLAS 和 BLIS 快 3.50% 至 22.14%。
2023-05-09 cs.DC cs.PF
The Hitchhiker's Guide to Programming and Optimizing Cache Coherent Heterogeneous Systems: CXL, NVLink-C2C, and AMD Infinity Fabric
本文全面分析了由CXL、NVLink-C2C和Infinity Fabric互连的现代缓存一致性异构系统,开发了基准测试套件Heimdall进行性能分析,揭示了系统架构设计并为未来优化指明方向。
2025-07-14 cs.AR cs.DC cs.OS
Performance Analysis of HPC applications on the Aurora Supercomputer: Exploring the Impact of HBM-Enabled Intel Xeon Max CPUs
本文分析了Aurora超级计算机上HBM与DDR内存系统的性能权衡,通过微基准测试和HPC应用评估不同内存与集群模式对带宽和延迟的影响,为百亿亿次系统用户提供最佳内存配置选择指导。
2025-04-04 cs.AR cs.DC cs.PF
Unlocking Personalized Healthcare on Modern CPUs/GPUs: Three-way Gene Interaction Study
全基因组关联研究的发展导致越来越多的人认为,未来的医疗保健技术将通过依赖基因检测来确定疾病发生的风险,从而为患者提供个性化服务。为此,检测导致复杂疾病的基因相互作用构成了一个重要的应用。类似于该领域中的许多应用,使用包含一系列患者的遗传信息的大量数据集(例如单核苷酸多态性),导致高计算复杂性和存储器利用率,从而在以现代计算系统中的高性能执行为目标时构成主要挑战。为了缩小这一差距,这项工作提出了几种新的方法来检测现代CPU和GPU中的三向基因相互作用,利用不同的优化来充分利用目标架构。缓存感知Roofline模型的关键见解用于确保应用程序对计算设备的适用性。还介绍了对来自所有主要供应商的13种CPU和GPU设备的架构特征的广泛研究,从而可以了解在此生物信息学领域获得高性能的相关特征。据我们所知,这项研究是第一次进行这样的评价上位性检测。所提出的方法能够在测试平台上超越最先进的作品的性能,实现3.9 $\times$的平均加速比(CPU上为7.3 $\times$,GPU上为2.8 $\times$),在Intel UHD P630 GPU上的最大加速比为10.6 $\times$。
2022-01-26 cs.DC
Multi-dimensional intra-tile parallelization for memory-starved stencil computations
优化模板算法的性能一直是过去二十年来深入研究的主题。由于许多模板方案具有较低的运算强度,因此大多数优化都集中在增加时态数据访问局部性上,从而减少通过主存接口的数据流量,最终目标是与此瓶颈解耦。然而,只有少数方法明确利用现代多核芯片的共享缓存功能。如果每个线程都在其私有的、单独的缓存块上工作,则可用的缓存空间可能变得太小,并且可能无法实现足够的时间局部性。我们提出了一种灵活的多维瓦片内并行化方法的模板算法在多核CPU与共享外层缓存。这种方法导致所需的高速缓存空间的显着减少,而不会受到硬件预取或TLB不足的不利影响。我们的\emph{Girih}框架包括一个自动调谐器,用于在目标硬件上选择最佳参数配置。我们在两个当代英特尔处理器上进行性能实验,并与最先进的模板框架PLUTO和Pochoir进行比较,使用四个角案例模板方案和各种各样的问题大小。\emph{Girih}在几乎所有的问题规模上都表现出显著的性能优势和最佳的算术强度,特别是在变系数的低强度stentleman上。我们详细研究了性能行为在不同的网格大小,使用现象学的性能建模。我们的能源消耗分析表明,我们的方法可以节省能源,减少DRAM的带宽使用,即使在边际性能增益。因此,它非常适合未来的架构,这些架构将受到数据移动成本的强烈挑战,无论是在性能还是能耗方面。
2015-10-16 cs.DC cs.PF
HEAT: A Highly Efficient and Affordable Training System for Collaborative Filtering Based Recommendation on CPUs
Indiana University(印第安纳大学);Microsoft(微软);Argonne National Labotary(阿贡国家实验室)
针对现有SimpleX协同过滤推荐算法在多核CPU上性能受限的问题,提出HEAT训练系统,通过嵌入矩阵分块、向量乘积并行化、中间结果复用三类优化,实现了远超CPU和GPU现有方案的性能与成本优势。
2023-05-03 cs.DC cs.LG
FlexKV: Flexible Index Offloading for Memory-Disaggregated Key-Value Store
The Chinese University of Hong Kong(香港中文大学);Duke Kunshan University(杜克昆山大学)
FlexKV通过动态卸载索引到计算节点,利用强大CPU提升性能,解决内存解耦键值存储中的索引处理和缓存效率问题。
2025-12-18 cs.DC
ScalableHD: Scalable and High-Throughput Hyperdimensional Computing Inference on Multi-Core CPUs
University of Southern California, Los Angeles, California, USA(美国南加州大学)
本文提出 ScalableHD,通过两阶段流水线、分块、NUMA 绑定及批量自适应变体,在多核 CPU 上高效执行 HDC 推理,最高实现较 TorchHD 10 倍吞吐加速且近线性扩展。
2025-06-10 cs.DC cs.LG
CARM Tool: Cache-Aware Roofline Model Automatic Benchmarking and Application Analysis
INESC-ID, Instituto Superior Técnico, Universidade de Lisboa(葡萄牙里斯本大学高等理工学院 INESC-ID 研究所)
针对HPC系统中CPU架构日益复杂的问题,提出自动构建缓存感知屋顶线模型(CARM)并集成应用分析的工具,支持x86、ARM、RISC-V等主流架构,实验显示屋顶线偏差小于1%。
2026-05-28 cs.DC
FastDecode: High-Throughput GPU-Efficient LLM Serving using Heterogeneous Pipelines
FastDecode通过将LLM分解为KV-Cache访问和计算两部分,利用多节点CPU处理内存受限部分,减少数据传输并提升GPU吞吐,实现比vLLM高1.88x-5.04x的服务性能。
2024-03-18 cs.DC cs.PF
Affinity Tailor: Dynamic Locality-Aware Scheduling at Scale
Google(谷歌)
本文提出Affinity Tailor系统,通过动态局部性感知调度提升多核系统性能,实现芯片let和非芯片let系统的吞吐量提升,并减少内存驻留时间。
2026-04-30 cs.AR cs.DC cs.OS
SMEPilot: Characterizing and Optimizing LLM Inference with Scalable Matrix Extensions
IPADS, Shanghai Jiao Tong University(上海交通大学IPADS)
针对CPU矩阵扩展单元与核心在LLM推理中的不匹配,提出SMEPilot引擎,通过基于屋顶线的表征指导算子执行选择,实现SME与CPU协同工作,端到端性能提升达3.94倍。
2026-06-16 cs.AI cs.DC cs.PF
ORCA: A Network and Architecture Co-design for Offloading us-scale Datacenter Applications
针对数据中心应用的“数据中心税”和“杀手微秒”问题,已经提出了包括基于智能NIC的解决方案在内的各种解决方案。尽管如此,它们经常遭受通过网络和/或PCIe链路的通信的高开销。为了解决当前解决方案的局限性,本文提出了ORCA,一个整体的网络和架构协同设计解决方案,利用当前的RDMA和新兴的高速缓存一致性片外互连技术。具体地说,ORCA由四个硬件和软件组件组成:(1)由单侧RDMA写和高速缓存一致性存储器写管理的机器间和机器内通信的统一抽象;(2)由缓存一致性辅助的向加速器的请求的有效通知;(3)直接处理由NIC接收的请求的高速缓存一致性加速器架构;以及(4)用于现代服务器存储器系统的自适应设备到主机数据传输,该现代服务器存储器系统包括利用CPU和PCIe中的最新技术特征的DRAM和NVM。我们原型ORCA与商业系统和评估三个流行的数据中心应用程序:内存中的键值存储,链复制的分布式事务系统,和深度学习推荐模型推理。评估表明,ORCA提供了比当前最先进的解决方案低30.1~69.1%的延迟,高达2.5倍的吞吐量和3倍的能效。
2022-10-17 cs.AR cs.DC cs.NI
Optimization and parallelization of B-spline based orbital evaluations in QMC on multi/many-core shared memory processors
基于B样条的轨道表示被广泛地用于固体的量子蒙特卡罗(QMC)模拟,历史上占据总运行时间的多达50%。对大型四维数组的随机访问使得有效利用现代CPU的高速缓存和宽向量单元变得具有挑战性。我们提出了多/众核共享内存处理器上的B样条评估的节点级优化。为了提高SIMD效率和带宽利用率,我们首先应用数据布局转换从数组的结构(SoA)。然后通过阻塞SoA对象,我们优化了缓存重用,并为一系列问题大小获得持续的吞吐量。我们在B样条轨道评估内核中实现了高效的嵌套线程,为实现QMC模拟的强大扩展铺平了道路。这些优化可移植到四种不同的高速缓存一致性架构上,在英特尔至强融核处理器7250 P(KNL)上可实现高达5.6倍的性能增强,在英特尔至强融核协处理器7120 P上可实现5.7倍的性能增强,在英特尔至强处理器E5 v4 CPU上可实现10倍的性能增强,在BlueGene/Q处理器上可实现9.5倍的性能增强。我们的嵌套线程实现在KNL上显示出接近理想的并行效率,最多可达16个线程。我们采用车顶性能分析来模拟我们的优化的影响。这项工作与我们目前优化其他QMC内核的努力相结合,导致miniQMC在KNL上的加速比超过4.5倍。
2016-11-08 cs.DC
DAOP: Data-Aware Offloading and Predictive Pre-Calculation for Efficient MoE Inference
School of Computing, National University of Singapore(计算学院,新加坡国立大学)
本文针对MoE模型在内存受限设备部署中因GPU内存有限导致的频繁数据传输抵消速度优势的问题,提出DAOP推理引擎,通过动态分配专家、选择性预计算等优化,性能优于传统方法且保持精度。
2026-08-24 cs.DC cs.LG
Delta Tokenizer: Reference-Identical Tokenization of Session Deltas and Segment-Parallelism for Long Prompts on Multicore CPUs
Arizona State University(亚利桑那州立大学)
Delta Tokenizer是面向多核CPU的分词前端,通过增量分词与分段并行技术,大幅缩短会话轮次及长请求的分词时间,降低LLM服务的首令牌生成时间,且输出与参考结果完全一致。
2026-10-15 cs.CL cs.DC cs.PF
A Distributed-memory Tridiagonal Solver Based on a Specialised Data Structure Optimised for CPU and GPU Architectures
本文提出分布式内存三对角求解器DistD2-TDS,利用对角占优特性和专用数据结构减少通信并优化CPU/GPU性能,大规模测试显示可维持约66%的理论峰值带宽。
2024-11-20 cs.DC physics.comp-ph
Pushing CPU Speech Synthesis to the Wall: Extreme Inference Tuning under Serverless Architecture and Billing
Paxa Labs(帕萨实验室)
针对无服务器按实例计费下CPU推理空闲成本高的问题,提出计费感知的TTS服务,通过请求级并行和可回收生命周期,在Kokoro-82M上实现4.1倍成本降低。
2026-10-02 cs.AI cs.CL cs.DC
Comparing CPU and GPU compute of PERMANOVA on MI300A
本文在统一 HBM 架构的 AMD MI300A 上评估内存受限的 PERMANOVA,发现 GPU 采用暴力实现显著快于已优化缓存局部性的 CPU 版本,且 SMT 收益明显。
2025-05-07 cs.DC cs.PF q-bio.QM
Accelerating key bioinformatics tasks 100-fold by improving memory access
大多数实验科学现在都依赖于计算,生物科学也不例外。随着数据集变得越来越大,计算成本也随之增加,这使得科学家使用的代码的适当优化变得越来越重要。近年来开发的许多代码都基于基于Python的NumPy,因为它易于使用和良好的性能特性。然而,NumPy的可组合性通常不能很好地与现代CPU的多层性质相匹配,使得任何非平凡的多步算法都受到外部存储器访问速度的限制,这比CPU的计算能力慢数百倍。为了充分利用CPU的计算能力,必须保持工作内存占用足够小,以适应CPU缓存,这需要将问题分成更小的部分,并尽可能多地融合在一起。在本文中,我们基于这些原则对scikit-bio库中的两个重要功能进行了更改,即主坐标分析和Mantel测试,这些广泛使用的通用工具的速度提高了100倍以上。
2021-04-19 cs.DC q-bio.GN
nncase: An End-to-End Compiler for Efficient LLM Deployment on Heterogeneous Storage Architectures
nncase通过端到端编译框架实现高效大语言模型部署,整合三个核心模块提升异构存储架构下的性能表现。
2025-12-25 cs.DC cs.LG
MMStencil: Optimizing High-order Stencils on Multicore CPU using Matrix Unit
MMStencil针对多核CPU矩阵单元优化3D高阶模板计算,通过SIMD与矩阵单元算法优化、内存优化及多线程并行范式,结合DMA跨NUMA通信,在Nvidia A100 GPGPU上最高实现2.1倍性能提升,并使RTM应用加速1.8倍。
2025-07-15 cs.DC
NEO: Saving GPU Memory Crisis with CPU Offloading for Online LLM Inference
Peking University(北京大学);UC Berkeley(加州大学伯克利分校);UC Davis(加州大学戴维斯分校);Harvard University(哈佛大学)
针对在线LLM推理中GPU内存不足限制批大小与吞吐量的问题,提出NEO系统通过CPU卸载部分注意力计算与KV缓存,结合非对称流水线与负载感知调度,在多场景下显著提升推理吞吐量。
2024-11-02 cs.AI cs.DC cs.LG
Morphling: Fast, Fused, and Flexible GNN Training at Scale
IIT Madras(印度理工学院马德拉斯学院)
提出Morphling领域特定代码合成器,通过架构感知的原语和运行时稀疏感知执行引擎,在CPU、GPU和分布式环境下显著提升GNN训练吞吐量并降低内存消耗。
2026-05-25 cs.DC cs.LG cs.PL