Democratizing AI: Open-source Scalable LLM Training on GPU-based Supercomputers
University of Maryland(马里兰大学);ELLIS Institute Tübingen(蒂宾根ELLIS研究所);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of California, Berkeley(加利福尼亚大学伯克利分校)
提出基于开源框架AxoNN的四维混合并行算法及优化,实现GPT模型在多超级计算机上的高扩展训练,同时通过实验揭示大模型灾难性记忆风险并提出预防方法,还展示了4050亿参数LLM的微调能力。
2025-02-12 cs.AI cs.DC cs.LG
Generated, Parallel, Scalable? A Study of Agentic AI-Generated Julia Code on Supercomputers
University of Stuttgart(斯图加特大学);Fulda University of Applied Sciences(富尔达应用科学大学)
研究智能体AI生成并行Julia代码的能力,发现小规模输入可靠但大规模扩展时出现死锁等问题,商业模型优于开源模型。
2026-06-17 cs.DC
tinyMD: A Portable and Scalable Implementation for Pairwise Interactions Simulations
本文研究了AnyDSL部分评估框架实现tinyMD的适用性:一个有效的,可扩展的,可移植的粒子之间的成对相互作用的模拟。我们比较tinyMD与miniMD代理应用程序,规模非常好的并行超级计算机。我们讨论了两种实现之间的差异,并对比了miniMD针对单节点CPU和GPU目标的性能,以及其在SuperMUC-NG和Piz Daint超级计算机上的可扩展性。此外,我们证明tinyMD的灵活性,将其与waLBerla多物理框架。这允许我们使用在waLBerla中实现的负载平衡机制来执行tinyMD模拟。
2020-09-16 cs.DC cs.PF cs.PL
LEONARDO: A Pan-European Pre-Exascale Supercomputer for HPC and AI Applications
本文介绍了旨在促进欧洲科研创新的百亿亿次级预级超级计算机LEONARDO的总体架构及其GPU加速分区技术,指出其能灵活可扩展地运行密集型工作负载,使传统HPC和新兴AI应用在求解时间与能耗上获益。
2023-07-31 cs.DC
Early Performance Results on 4th Gen Intel(R) Xeon (R) Scalable Processors with DDR and Intel(R) Xeon(R) processors, codenamed Sapphire Rapids with HBM
Crossroads超级计算机旨在模拟世界上一些最复杂的物理设备。这些模拟通常需要1/2 PB或更多的系统内存,在最强大的超级计算机上运行数千个计算节点数月。这些工作负载解决方案的及时改进可能会对我们的任务能力产生重大影响。在本文中,我们展示了HBM在代号为Sapphire Rapids的第四代Intel Xeon和Intel Xeon处理器上的代表性应用工作负载的早期结果。这些结果表明,相对于我们的上一代基于英特尔Broadwell(BDW)的HPC系统,性能提高了8.57倍(节点到节点)。无需修改代码即可实现这种加速,这为大幅缩短解决方案的时间和降低未来可模拟的物理系统的复杂性提供了一条引人注目的途径。
2022-11-10 cs.AR cs.DC
MalleTrain: Deep Neural Network Training on Unfillable Supercomputer Nodes
MalleTrain系统首次实现了利用超级计算机空闲节点进行DNN训练的MILP方法,通过轻量级在线作业性能分析顾问动态优化资源分配,在无需用户提供模型信息的情况下将训练吞吐量提高达22.3%。
2024-04-24 cs.DC
SVE-enabling Lattice QCD Codes
为最高性能级别的超级计算机优化应用程序需要使用不同技术在多个级别上进行并行化。在这方面的贡献,我们专注于粒子物理模拟通过矢量指令的并行化。随着可扩展向量扩展(SVE)ISA的出现,未来基于ARM的处理器有望在这一级别提供显著的并行性。
2019-01-22 cs.DC hep-lat
A Scalable Pattern Mining Workflow for Interpretable Machine Log Analysis in High-Performance Computing Environments
Argonne National Laboratory(阿贡国家实验室);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
研究高性能计算环境中机器日志分析问题,结合先进模式匹配与挖掘技术,利用系统层次结构和消息优先级提取模式序列,关联聚类错误序列与作业日志,经案例研究证明该方法可释放日志数据潜力,助力HPC系统优化。
2026-07-22 cs.DC
Ensemble Toolkit: Scalable and Flexible Execution of Ensembles of Tasks
有许多科学应用程序需要可扩展的任务级并行性,并支持灵活的执行和耦合的模拟合奏。然而,大多数高性能系统软件和中间件都是设计用于支持单个任务的执行和优化。出于这些计算系统的缺失功能和任务级并行的重要性日益增加,我们介绍了Ensemble工具包,它具有以下应用程序开发功能:(i)抽象,使合奏作为主要实体的表达,以及(ii)支持基于合奏的执行模式,捕获大多数应用程序场景。Ensemble Toolkit使用一个可扩展的基于pilot的运行时系统,该系统将工作负载执行和资源管理细节从应用程序的表达式中分离出来,并使集成在异构计算资源上的高效和动态执行成为可能。我们调查了三种执行模式,并描述了这些模式的可扩展性和开销的Entrance工具包。我们调查的标度性能高达O(1000)并发合奏和O(1000)核心,并找到线性弱和强标度行为。
2016-06-27 cs.DC
Scalable System Scheduling for HPC and Big Data
在快速扩展的并行处理领域,作业调度器是现代大数据架构和超级计算系统的“操作系统“。作业调度器分配计算资源并控制这些资源上的进程的执行。从历史上看,作业调度器是超级计算机的领域,而作业调度器被设计为在数天或数周内运行大规模、长时间运行的计算。最近,大数据工作负载产生了对一类新计算的需求,这些计算包括许多需要数秒或数分钟的短计算,这些计算处理大量数据。对于超级计算机和大数据系统,作业调度器的效率代表了系统效率的基本限制。详细的测量和建模的性能的集群是至关重要的最大化的大规模计算系统的性能。本文对15个超级计算和大数据集群进行了详细的特征分析。对于大数据工作负载,调度器延迟是调度器最重要的性能特征。这些调度器的延迟的理论模型的开发和用于设计实验,旨在测量调度器延迟。详细的基准测试四个最流行的插件(Slurm,网格引擎之子,Mesos和Hadoop YARN)进行。理论模型与数据进行比较,并表明,调度器的性能可以由两个关键参数:调度器的边际延迟$t_s$和非线性指数$α_s$。对于所有四个计算器,对于仅持续几秒的计算,计算系统的利用率降低到<10%。透明地聚合短计算的多级编译器可以将这些短计算的利用率提高到> 90%,用于测试的所有四个编译器。
2017-05-08 cs.DC
Rocket: Efficient and Scalable All-Pairs Computations on Heterogeneous Platforms
所有对计算问题将用户定义的函数应用于给定数据集的两个项目的每个组合。虽然这些问题提出了大量的并行性,数据重用必须利用,以实现良好的性能。一些研究人员考虑了这个问题,无论是采取部分复制静态工作分配或动态调度与完整的复制。相比之下,我们提出了一个解决方案,依赖于分层多级基于软件的缓存,以最大限度地提高数据重用在分布式存储层次结构的每一个级别,结合分治的方法来利用数据的本地性,分层工作窃取动态平衡的工作负载,和异步处理,以最大限度地提高资源利用率。我们评估我们的解决方案使用三个现实世界的应用程序(从数字取证,本地化显微镜和生物信息学)在不同的平台(从台式机到超级计算机)。结果显示,当扩展到96个GPU时,具有出色的效率和可扩展性,甚至由于分布式缓存而获得超线性加速。
2020-09-10 cs.DC
Modern Gyrokinetic Particle-In-Cell Simulation of Fusion Plasmas on Top Supercomputers
普林斯顿大学的Gyrokinetic Toroidal Code(GTC-P)是一种高度可扩展和可移植的粒子单元(PIC)代码。它解决了5D Vlasov-Poisson方程,具有在千万亿次及更高级别上有效利用现代并行计算机体系结构的特点。受开发能够以足够的分辨率处理增加问题大小的物理挑战的现代代码的目标的激励,引入了新的线程级优化以及关键的附加域分解。GTC-P的多级并行性,包括节点间2D区域分解和粒子分解,以及节点内共享内存分区和向量化,使PIC方法的可扩展性能够达到极端的计算规模。在本文中,我们描述了开发的方法,以建立一个高度并行的PIC代码在广泛的超级计算机设计。其中特别包括在使用NVIDIA GPU加速器和英特尔至强融核(MIC)协处理器的异构系统上的实现,以及与最先进的同构HPC系统(如Blue Gene/Q)的性能比较。磁聚变能源应用领域的新发现科学能力得以实现,包括对具有前所未有的空间分辨率和长时间持续时间的离子温度梯度(ITG)驱动湍流模拟的研究。多个超级计算系统跨越范围广泛的高速缓存容量,高速缓存共享配置,内存带宽,互连和网络拓扑结构进行了性能研究与现实的融合实验参数。这些性能比较使用现实的发现科学能力的领域应用程序代码提供了有价值的见解,优化技术在全球范围内最广泛的一组当前高端计算平台。
2015-10-19 cs.DC physics.comp-ph physics.plasm-ph
SAF: Scalable Acceleration Framework for dynamic and flexible scaling of FPGAs
本文提出SAF,一个基于以太网的可扩展FPGA加速框架,支持FPGA独立热插拔和同时重配置,实验证明其显著降低了重配置时间、硬件成本、运行时间和能耗,并实现近线性性能加速。
2025-03-02 cs.DC
GridPilot: Real-Time Grid-Responsive Control for AI Supercomputers
EPFL(洛桑联邦理工学院)
提出GridPilot三层预测控制器,在GPU测试台上实现97.2毫秒的端到端电网响应,比北欧快速频率储备要求快6.9倍,并通过PUE感知控制消除冷却开销,证明兆瓦级AI/HPC负载可设计为可控的电网灵活性。
2026-05-25 cs.DC cs.PF cs.SY
Mixed-mode implementation of PETSc for scalable linear algebra on multi-core processors
随着多核处理器成为现代超级计算机中无处不在的构建块,现在是时候让应用程序在处理器设计中接受这些发展了。为了实现亿级性能,应用程序将需要利用现代高性能计算机中暴露的新并行级别的方法。一种典型的方法是使用共享内存编程技术来最好地利用多核节点以及节点间消息传递。在本文中,我们描述了在PETSc库中添加OpenMP线程功能。我们强调了一些问题,阻碍了线程应用程序在现代处理器上的良好性能,并描述了如何否定它们。PETSc的OpenMP分支使用从Fluidity中提取的矩阵进行基准测试,Fluidity是一种CFD应用程序代码,使用该库作为其线性求解器引擎。混合模式实现的整体性能优于纯MPI版本。
2012-08-10 cs.DC cs.PF
Flexible and Scalable Deep Learning with MMLSpark
Azure Machine Learning(Azure 机器学习);Microsoft New England Research and Development(微软新英格兰研发中心)
在这项工作中,我们详细介绍了一个新的开源库,称为MMLSpark,它结合了灵活的深度学习库认知工具包,与分布式计算框架Apache Spark。为了实现这一点,我们将Java语言绑定贡献给了Cognitive Toolkit,并向Spark生态系统添加了几个新组件。此外,我们还将流行的图像处理库OpenCV与Spark集成在一起,并提供了一个工具,用于从任何SparkML估计器自动生成PySpark包装器,并使用该工具将所有工作暴露给PySpark生态系统。最后,我们提供了一个大型的工具库,用于在Spark生态系统中工作和开发。我们将这项工作应用于相机陷阱图像中雪豹的自动分类,并为非营利性保护组织雪豹信托提供端到端的解决方案。
2018-04-11 cs.DC cs.LG
Toward an Automated HPC Pipeline for Processing Large Scale Electron Microscopy Data
我们提出了一个完全模块化和可扩展的软件管道,用于将脑切片的电子显微镜(EM)图像处理成单个神经元的3D可视化,并使用超级计算机演示了大型EM体积的端到端分割。我们的管道扩展了EM社区使用的多个包,对原始源代码的更改最小。我们分别在工作站、集群和超级计算机上测试了管道的每一步。此外,我们可以使用Balsam数据库从这些操作组成工作流,该数据库可以在数据采集期间触发,或者使用不同的前端,并控制流水线执行的粒度。我们描述了我们的管道和修改所需的集成和扩展现有的代码的实施。我们环境的模块化性质使不同的研究小组能够在不中断工作流程的情况下为管道做出贡献,即可以轻松地为管道上的每个步骤集成新的单独代码。
2020-11-06 cs.DC eess.IV
An Easy-to-use Scalable Framework for Parallel Recursive Backtracking
超级计算机配备了越来越多的核心,以使用计算能力作为解决问题的一种方式,否则是棘手的。不幸的是,让串行算法并行运行,以利用这些计算资源仍然是一个挑战的几个应用领域。许多并行算法只能扩展到数百个核心。这种算法的限制因素通常是通信开销和差的负载均衡。使用精确算法解决NP-难图问题的最优性是一个例子,在这个领域中,迄今为止在获得大规模并行方面取得的成功有限。这些算法中的许多使用递归回溯作为其核心解决方案范例。在本文中,我们提出了一个轻量级的,易于使用的,可扩展的框架,几乎任何递归回溯算法转化为并行的。我们的框架引起最小的通信开销,并保证负载平衡策略是隐式的,即,不需要任何特定问题的知识。这个框架背后的关键思想是使用索引搜索树方法,这种方法对正在解决的问题一无所知。我们测试我们的框架与著名的顶点覆盖和支配集问题的算法的并行实现。在足够硬的情况下,实验结果显示数千个核心的线性加速,将运行时间从几天减少到几分钟。
2013-12-30 cs.DC
Reference Architecture of a Quantum-Centric Supercomputer
IBM T.J. Watson Research Center(IBM T.J. 沃森研究中心)
本文提出量子导向超级计算机的参考架构,旨在通过整合量子、GPU和CPU资源,提升量子计算在化学和材料领域应用的效率和性能。
2026-03-12 cs.AR cs.DC cs.ET
FlexCloud: A Flexible and Extendible Simulator for Performance Evaluation of Virtual Machine Allocation
云数据中心旨在为各种应用提供可靠,可持续和可扩展的服务。资源调度是云服务的关键之一。为了模拟和评估不同的调度策略和算法,我们提出了FlexCloud,一个灵活的和可扩展的模拟器,使用户能够模拟初始化云数据中心,分配虚拟机请求的过程,并提供各种调度算法的性能评估。FlexCloud可以在单台计算机上运行JVM,以模拟大规模云环境,专注于基础设施即服务;采用敏捷设计模式,以确保灵活性和可扩展性;建模虚拟机迁移,这是现有工具中缺乏的;提供用户友好的界面,用于自定义配置和重播。与现有的模拟器相比,FlexCloud具有支持公共云提供商,负载平衡和节能调度的组合功能。FlexCloud在计算时间和内存消耗方面具有优势,可支持大规模仿真。介绍了FlexCloud的详细设计,并给出了性能评估。
2015-01-23 cs.DC
A Scalable, Linear-Time Dynamic Cutoff Algorithm for Molecular Simulations of Interfacial Systems
本硕士论文介绍了分子动力学模拟中的动态截止点的思想,基于粒子和界面之间的距离,并提出了一种实时检测界面的解决方案。我们的动态截断方法(DCM)表现出线性时间复杂度以及接近理想的弱和强标度。DCM专为大规模并行架构和具有数百万颗粒的大型界面系统而量身定制。我们实现了DCM作为LAMMPS开源分子动力学包的一部分,并在IBM BlueGene/Q超级计算机上展示了这种方法的近乎理想的弱标度和强标度行为。对Lennard-Jones粒子组成的液/汽体系的计算结果表明,DCM算法的精度与传统的粒子-粒子-网格(PPPM)算法相当。性能比较表明,DCM是优选的大型系统,由于有限的缩放内的PPPM算法的FFT。此外,DCM要求每隔一个MD时间步识别接口。因此,本论文也提出一个界面侦测方法,它是(1)适用于实时的;(2)并行化;和(3)尺度线性相对于粒子的数量。
2015-02-11 cs.CE cs.DC
MESH: A Flexible Distributed Hypergraph Processing System
随着大型在线社交网络的快速增长,分析大规模社会结构和行为的能力变得至关重要,这导致了一些可扩展的图处理系统的开发。然而,在现实中,社交互动不仅发生在图模型中的成对个体之间,而且发生在多用户组的上下文中。研究表明,这种群体动态可以通过更一般的超图模型更好地建模,从而需要构建可扩展的超图处理系统。在本文中,我们提出了MESH,一个灵活的分布式框架可扩展超图处理。MESH提供了一个易于使用和表达的应用程序编程接口,自然扩展了许多流行的图形处理系统中常见的顶点模型。我们的框架提供了一个灵活的实现基础上的底层图处理系统,并使不同的设计选择的关键实现问题的分区超图表示。我们在Apache Spark中流行的GraphX图形处理框架之上实现了MESH。使用各种真实的数据集和在本地8节点集群以及65节点Amazon AWS测试平台上进行的实验,我们证明了MESH提供了基于数据和应用程序特征的灵活性,以及集群大小的可扩展性。我们进一步表明,它在性能上与基于Spark的另一个超图处理系统HyperX具有竞争力,同时提供了一个更简单的实现(需要少5倍的代码行),从而表明简单性和灵活性不需要以性能为代价。
2019-05-10 cs.DC
A highly scalable numerical framework for reservoir simulation on UG4 platform
本文在UG4平台上提出全耦合全隐式多相流模拟框架,引入LIMEX方法并实现高效并行,可扩展至数千处理器和数十亿自由度。
2025-06-05 cs.DC physics.comp-ph
AiiDA 1.0, a scalable computational infrastructure for automated reproducible workflows and data provenance
计算能力的不断增长和先进计算方法的持续发展对最近的科学进步做出了很大贡献。这些发展带来了新的挑战,这是由大量的计算和数据管理驱动的。下一代百亿亿次超级计算机将强化这些挑战,因此自动化和可扩展的解决方案变得至关重要。近年来,我们一直在开发AiiDA(http:www.aiida.net),这是一个强大的开源高吞吐量基础设施,可解决自动化工作流程管理和数据来源记录需求带来的挑战。在这里,我们介绍了实现持续性能所需的开发和功能,AiiDA支持数万个进程/小时的吞吐量,同时自动保存和存储关系数据库中的完整数据出处,使其可查询和可遍历,从而实现高性能数据分析。AiiDA的工作流语言提供了先进的自动化、错误处理功能和灵活的插件模型,允许与任何仿真软件进行接口。相关的插件注册表可以无缝共享扩展,使一个充满活力的用户社区致力于使模拟更加强大,用户友好和可重复。
2020-03-24 cond-mat.mtrl-sci cs.DC
The SpiNNaker2 chip: a many-core platform for flexible and scalable brain-inspired computing
TU Dresden(德累斯顿工业大学)
研究旨在借助SpiNNaker2芯片弥合深度网络与神经形态计算差距。核心方法是该芯片集成多种元件与接口。主要贡献为展示其在多种工作负载下的性能效率,支持大规模脉冲神经网络,且低功耗可探索多种计算模式,是通用硬件平台。
2026-07-28 cs.AI cs.AR cs.DC