Coalesced communication: a design pattern for complex parallel scientific software
我们提出了一种新的设计模式,高性能的并行科学软件,命名为合并通信。此模式允许通过使用两个通信管理组件合并多个通信需求,以结构化的方式提高通信性能。我们将设计模式应用于几个模拟的格子玻尔兹曼血流求解器与流可视化,从而产生约40%的通信开销减少。
2012-10-16 cs.DC cs.SE
Weaves: A Novel Direct Code Execution Interface for Parallel High Performance Scientific Codes
科学代码越来越多地用于组合环境,特别是问题解决环境(PSE)。典型的组合建模框架需要大量的买进,以承诺特定风格的编程的形式(例如,分布式对象组件)。虽然这种解决方案对于新一代的基于组件的科学代码是可行的,但大型遗留代码库是名副其实的软件工程噩梦。我们介绍编织一个新的框架,使建模,组合,直接执行代码,性能表征,适应和控制未经修改的高性能科学代码。Weaves是并行组合建模的一个有效的通用框架,它是编程的线程和进程模型的一个适当的超集。在本文中,我们的重点是由Weaves启用的透明代码执行接口。我们确定设计的限制,其影响的实施方案,配置方案,并从英特尔x86架构的原型实现目前的结果。
2002-05-04 cs.DC cs.PF
Resource allocation for task-level speculative scientific applications: a proof of concept using Parallel Trajectory Splicing
大规模分布式计算机上并行性的不断增加给许多科学应用带来了重大的可扩展性挑战。提高可伸缩性的一个常见策略是将算法表示为可以在运行时系统上并发执行的独立任务。在这篇手稿中,我们认为这种方法的泛化任务级的投机是允许的。在这种情况下,每个任务都有一个概率,该概率对应于该任务的产品将作为计算的一部分被消耗的可能性。我们考虑的问题,最佳的资源分配的每个可能的任务,以便最大限度地提高预期的整体计算吞吐量。这种方法的力量是通过分析其应用程序的并行轨迹拼接,一个完全并行的原子模拟的长时间动力学方法证明。
2020-10-22 cond-mat.mtrl-sci cs.DC
A Parallel Data Compression Framework for Large Scale 3D Scientific Data
从气候和天体物理学到人群动力学的复杂系统的大规模模拟通常会产生PB级的数据,预计在未来十年内将达到ZB级。这些模拟实现了前所未有的洞察力,但与此同时,它们的有效性受到与计算元素相关的巨大数据大小以及对存储和I/O时间施加严格约束的相应输出量的阻碍。在这项工作中,我们通过一个新的软件框架,科学数据压缩来解决这些挑战。该软件(CubismZ)结合了高效的小波技术和最先进的ZFP、SZ和FPZIP浮点压缩器。该框架依赖于块结构的数据布局,受益于OpenMP和MPI,并针对基于多核的超级计算机。CubismZ可用作科学数据集的异地(离线)压缩工具,并支持传统的计算流体动力学(CFD)文件格式。此外,它提供了一个测试平台的比较,在压缩因子和峰值信噪比,为一些可用的数据压缩方法。对于使用$\mathcal{O}(10^{11})$网格单元对云空化崩溃进行千万亿次模拟所产生的流体动力学数据,该软件产生的现场压缩比为100倍或更高,对总模拟时间的影响可以忽略不计。
2019-03-18 cs.DC
RUPER-LB: Load balancing embarrasingly parallel applications in unpredictable cloud environments
几位作者已经研究了云计算运行科学应用程序的适用性。然而,这些环境中不可预测的性能波动阻碍了科学应用程序向云提供商的迁移。为了减轻这些影响,这项工作提出了RUPER-LB,松散耦合的迭代并行应用程序,运行在具有不同的计算能力的基础设施上的负载均衡器。用真实世界的仿真软件得到的结果,显示RUPER-LB的适用性,以适应这种应用程序的执行环境与可变的性能,并突出其采用的方便性。
2020-05-25 cs.DC
Design and implementation of self-adaptable parallel algorithms for scientific computing on highly heterogeneous HPC platforms
传统的异构并行算法是为异构工作站集群设计的,它们基于这样的假设:处理器的绝对速度不取决于计算任务的大小。事实证明,这种假设对于现代和未来高度异构的HPC平台是不准确的。新的一类算法的基础上的功能性能模型(FPM),表示处理器的速度的函数的问题大小,最近已经提出。然而,这些算法不能采用自适应的应用程序,因为非常高的成本建设的功能性能模型。本文提出了一类新的并行算法的高度异构的HPC平台。与传统的基于FPM的算法一样,这些算法假设处理器的速度由速度函数而不是速度常数来表征。与传统的算法不同,它们不假设速度函数是给定的。相反,他们估计的速度函数的处理器在其执行过程中的不同大小的问题。这些算法不为每个处理器构建全速函数,而是构建和使用它们的部分估计,足以以给定的精度进行计算的最佳分布。在这些算法中,异构处理器之间的计算分布的低执行成本使它们适合于在自适应应用中就业。基于这种方法的并行矩阵乘法应用程序的实验进行本地和全球异构计算集群。结果表明,处理器之间的最佳矩阵分布的执行时间显着减少,由数量级,比优化的应用程序的总执行时间。
2011-09-14 cs.DC
rDLB: A Novel Approach for Robust Dynamic Load Balancing of Scientific Applications with Parallel Independent Tasks
科学应用程序通常包含大型和计算密集型并行循环。动态循环自调度(DLS)用于在高性能计算(HPC)系统上实现此类应用程序的平衡负载执行。大型HPC系统易受处理器或节点故障以及资源可用性扰动的影响。大多数自调度方法不考虑容错调度,或者依赖于故障或扰动检测,并通过重新调度失败的任务来做出反应。在这项工作中,一个强大的动态负载均衡(rDLB)方法提出了强大的独立任务的自我调度。所提出的方法是主动的,不依赖于故障或扰动检测。理论分析表明,该方法具有线性可扩展性,且开销随系统规模的增加呈二次方下降。rDLB集成到MPI DLS库中,通过两个计算密集型科学应用程序通过实验评估其性能。结果表明,rDLB使容忍高达(P减一)处理器故障,其中P是执行应用程序的处理器的数量。在存在扰动的情况下,与没有rDLB的对应物相比,rDLB将DLS技术的鲁棒性提高了30倍,并将应用程序执行时间降低了7倍。
2019-10-04 cs.DC cs.PF
Leveraging LLMs to Automate Energy-Aware Refactoring of Parallel Scientific Codes
本文研究LLM能否在经验执行反馈指导下生成能源高效的并行科学代码,提出LASSI-EE框架,通过多阶段迭代方法结合运行时功耗分析、能源感知提示、自纠正反馈循环和LLM作为裁判代理,实现代码重构。
2026-05-09 cs.AI cs.DC cs.PL
Practical scalability assesment for parallel scientific numerical applications
数值并行应用程序的可扩展性分析的概念已被重新审视,与研究应用程序的性能估计定义的具体目标。一系列的社区气候模式系统(CCSM)的数值模拟被用来测试几个MPI的实现,确定系统资源的最佳使用,以及它们的可扩展性。$N$内核的缩放容量和模型吞吐量性能指标显示出由$C(N)=bN^a$形式的幂拟合近似的对数线性行为,其中$a$和$b$是两个经验常数。不同的度量产生相同的功率系数($a$),但是不同的维度系数($b$)。除N.幂拟合方法对于可伸缩性估计非常有用,特别是当不可能进行串行测试时。以类似的方式对其他科学应用进行了可扩展性分析,以验证幂拟合方法的稳健性。
2016-11-05 cs.CE cs.DC physics.ao-ph
Parallel Ray Tracing of Black Hole Images Using the Schwarzschild Metric
本文实现了一个并行开源程序,结合数学近似、科学库及共享与分布式内存并行技术,在史瓦西黑洞几何下进行光线追踪图像渲染。
2025-07-22 cs.DC cs.GR gr-qc
A Scientific Data Management System for Irregular Applications
许多科学应用程序是I/O密集型的,并且生成或访问大型数据集,跨越数百或数千个“文件”。“管理、存储、有效访问和分析这些数据是一项极具挑战性的任务。我们已经开发了一个软件系统,称为科学数据管理器(SDM),它使用了并行文件I/O和数据库支持高性能的科学数据管理的组合。SDM为用户提供高级API,并在内部使用并行文件系统存储实际数据,使用数据库存储与应用程序相关的元数据。在本文中,我们描述了我们如何设计和实现SDM支持不规则的应用程序。SDM可以有效地处理不规则网格中数据的读写以及索引值的分布。我们描述了SDM用户界面,以及如何实现它,以实现高性能。SDM广泛使用MPI-IO的非连续集合I/O功能。SDM还使用历史文件的概念来优化使用数据库中存储的元数据的索引分发的成本。我们目前的性能结果与两个不规则的应用程序,CFD代码称为FUN 3D和瑞利-泰勒不稳定性代码,SGI Origin 2000在阿贡国家实验室。
2001-02-20 cs.DC
ParaLog: Consistent Host-side Logging for Parallel Checkpoints
University of Edinburgh(爱丁堡大学);RIKEN R-CCS(理化学研究所计算科学研究中心);KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出分布式主机端日志方法 ParaLog,在保持 MPI 应用崩溃一致性的同时透明加速科学应用,并在多云与 HPC 环境中验证其可降低 13%–26% 执行时间。
2025-10-21 cs.DC cs.PF
Parallel Tensor Compression for Large-Scale Scientific Data
University of Texas, Austin(德克萨斯大学奥斯汀分校);Sandia National Labs(桑迪亚国家实验室)
本文提出首个分布式内存并行实现的Tucker分解,用于大规模科学数据的高效压缩,保持精度并实现高达5000倍的压缩率。
2016-02-23 cs.DC cs.NA math.NA
Matrix Factorization at Scale: a Comparison of Scientific Data Analytics in Spark and C+MPI Using Three Case Studies
我们探索使用Apache Spark执行线性代数的权衡,与HPC平台上的传统C和MPI实现相比。Spark专为集群计算平台上的数据分析而设计,可访问本地磁盘,并针对数据并行任务进行了优化。我们研究了三个广泛使用的和重要的矩阵分解:NMF(物理上的易用性),PCA(其无处不在)和CX(数据可解释性)。我们将这些方法应用于粒子物理,气候建模和生物成像中的TB大小的问题。数据矩阵是高而瘦的,这使得算法可以方便地映射到Spark的数据并行模型中。我们在多达1600个Cray XC40节点上进行扩展实验,描述了减速的来源,并提供了调优指导以获得高性能。
2016-09-20 cs.DC
Parallelizing Training of Deep Generative Models on Massive Scientific Datasets
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
在大型科学数据上训练深度神经网络是一项具有挑战性的任务,需要巨大的计算能力,特别是如果没有预先训练的模型来初始化该过程。我们提出了一种新的锦标赛方法来训练传统的以及生成对抗网络建立在LBANN,一个可扩展的深度学习框架优化HPC系统。LBANN结合了多个并行级别,并利用了一些世界上最大的超级计算机。我们通过创建一个复杂的预测模型来展示我们的框架,该模型基于来自高能量密度物理学的多变量数据,其中包含数亿张图像和来自数千万次惯性约束聚变模拟的数亿个标量值。我们的方法结合了HPC工作流程,并通过优化的数据摄取和新的锦标赛式训练算法扩展了LBANN,从而使用CORAL级超级计算机生成可扩展的神经网络架构。实验结果表明,64个训练器(1024个GPU)在单个训练器(16个GPU)的基础上实现了70.2的加速比,有效并行效率为109%。
2019-10-05 cs.DC cs.LG hep-ex
Achieving Efficient Strong Scaling with PETSc using Hybrid MPI/OpenMP Optimisation
在现代高性能平台中,处理元件数量的增加和存储器与核心比率的降低使得高效的强缩放成为数值算法的关键要求。为了在大规模并行系统上实现有效的可扩展性,科学软件必须在整个堆栈上发展,以利用现代体系结构中暴露的多级并行性。在本文中,我们演示了使用混合MPI/OpenMP并行优化并行稀疏矩阵向量乘法在PETSc,广泛使用的科学图书馆的可扩展的偏微分方程的解决方案。使用Fluidity生成的大矩阵,一个开源的CFD应用程序代码,使用PETSc作为其线性求解器引擎,我们使用基于任务的并行性显式通信重叠的效果进行评估,并展示如何进一步提高性能显式负载均衡线程在MPI进程。我们展示了显着的加速比纯MPI模式和有效的强大的缩放稀疏矩阵向量乘法富士通PRIMEHPC FX 10和Cray XE 6系统。
2013-03-21 cs.DC
PESC -- Parallel Experiment for Sequential Code
随着计算算法在科学界的不同部门越来越受欢迎,对计算资源的需求也在增长。这种搜索刺激了几个云平台的开发,这些平台抽象了计算基础设施的复杂性。不幸的是,访问这些资源的成本可能会忽略可以由更简单的基础设施进行的各种研究。在这篇文章中,我们提出了一个平台,用于分布计算机模拟上的资源在网络上使用容器,抽象的复杂性需要配置这些执行环境,并允许任何用户都可以受益于此基础设施。模拟可以用任何程序设计语言(如Python、Java、C、R)开发,并以一般方式满足科学界的特定执行需求。我们将展示在运行模拟中获得的结果,这些模拟需要使用不同的初始参数进行1000多次运行,以及从使用该平台中受益的各种其他实验。
2023-01-13 cs.DC
Graph for Science: From API based Programming to Graph Engine based Programming for HPC
本文提出Graph for Science范式,将矩阵计算转化为图表示,利用图处理引擎提供统一编程接口,使领域专家无需HPC专业知识即可高效实现大规模科学计算,性能与现有最佳实现相当。
2024-04-02 cs.DC
Model-based optimization of MPDATA on Intel Xeon Phi through load imbalancing
负载均衡是一种被广泛接受的并行架构上的科学应用程序的性能优化技术。事实上,平衡的应用程序不会在等待同步和数据交换点上浪费处理器周期,从而最大限度地利用处理器。在本文中,我们挑战的普遍性的负载平衡方法,以优化并行应用程序的性能。首先,我们制定了应用程序的性能配置文件应满足的条件,以便应用程序通过负载均衡实现其最佳性能。然后,我们使用一个现实生活中的科学应用程序,MPDATA,以证明其性能配置文件的现代并行架构,英特尔至强融核,显着偏离这些条件。基于这一观察,我们提出了一种方法,通过负载不平衡的科学应用程序的性能优化。我们还提出了一个算法,找到最佳的,可能是不平衡的,一组同构处理器上的数据并行应用程序的配置。该算法使用应用程序的功能性能模型来找到最小化其计算时间但不一定平衡处理器负载的分区。我们展示了如何将此算法应用于英特尔至强融核上的MPDATA优化。实验结果表明,采用本文提出的负载不平衡优化方法,经过精心优化的负载平衡应用程序的性能可进一步提高15%.
2015-07-05 cs.DC
BACKUS: Comprehensive High-Performance Research Software Engineering Approach for Simulations in Supercomputing Systems
高性能计算(HPC)平台通过采用研究软件工程(RSE)技术,使科学软件在许多研究领域(如物理学、生物学和化学)中实现突破。这些包括1)新颖的并行范例,如共享内存并行主义(例如,使用OpenMP 4.5);分布式存储器架构(例如MPI 4);将它们组合在一起的混合并行性;以及异构并行性2)引入先进的软件工程概念,如面向对象的并行编程(OOP)、并行单元测试、并行I/O接口;混合并行可视化; 3)在其他必要领域选择最佳实践,如用户界面;自动文档;版本控制和项目管理。在这项工作中,我们提出了一种综合性的高性能研究软件工程方法在超级计算系统中的模拟,我们发现它最适合于长寿命的并行科学代码。
2019-10-14 cs.DC cs.SE
Problems in Modern High Performance Parallel I/O Systems
在过去的几十年里,超级计算机的计算能力得到了极大的提高。领导级超级计算机现在能够进行千万亿次运算。同样,在这些计算机上运行的应用程序所针对的问题规模也有所扩大。这些大型应用程序的I/O吞吐量要求为每秒数十GB。由于多种原因,此类计算机的I/O子系统没有跟上计算量增长的步伐,应用程序中I/O所需的时间已成为主要瓶颈之一。同样麻烦的是,科学应用程序不能达到I/O子系统的峰值理论带宽。在解决前两个问题时,我们还必须质疑数据本身的性质;我们可以问,当前的数据转储和分析实践是否是最佳的,以及随着计算机的不断扩展,它们是否将继续适用。这三个主题,I/O子系统,科学数据输出的性质,以及未来可能的优化在本报告中进行了讨论。
2011-09-04 cs.DC
Performance Analysis of Embarassingly Parallel Application on Cluster Computer Environment: A Case Study of Virtual Screening with Autodock Vina 1.1 on Hastinapura Cluster
基于信息技术的科学研究需要大量的计算资源。资金和基础设施的限制导致高性能计算时代从超级计算机转向集群和网格计算技术。并行应用程序在集群计算机和超级计算机上都能很好地运行,其中之一就是大规模并行应用程序。许多科学家喜欢EP,因为它不需要任何复杂的技术,但提供惊人的性能。本文讨论了生物信息学研究在集群计算机上的应用及其性能。
2013-05-14 cs.DC
Mitigating Artifacts in Pre-quantization Based Scientific Data Compressors with Quantization-aware Interpolation
University of Kentucky(肯塔基大学);Argonne National Laboratory(阿贡国家实验室);Oakland University(奥克兰大学);Oregon State University(俄勒冈州立大学);Miami University(迈阿密大学)
本文提出了一种量化感知插值算法,用于减轻基于预量化的科学数据压缩器的伪影,提升解压数据质量并保持高吞吐量。
2026-02-23 cs.DC
Designing a High Performance Parallel Personal Cluster
如今,许多科学和工程领域需要高性能计算来执行计算密集型实验。例如,传输现象、热力学、材料性质、计算化学和物理学的许多进步仅仅是因为这种大规模计算基础设施的可用性而成为可能。然而,许多挑战仍然存在。能源消耗、冷却、资源竞争的成本是科学和工程界将他们的兴趣转向利用低功耗CPU实现节能服务器以执行计算密集型任务的可能性的一些原因。在本文中,我们介绍了一种新的方法,这是最近在Linux欧洲会议2015年提出的,基于Beowulf概念和利用单板的计算机(SBC)。我们提出了一个低能耗的架构,能够解决苛刻的科学计算问题。此外,我们的目标是为科学家和工程师提供低成本的个人解决方案。为了评估所提出的架构的性能,我们运行了几个标准的基准测试。此外,我们评估机器在现实生活中的情况下,通过执行两个基准工具,涉及实际的TCAD的物理学家和工程师在半导体行业的可靠性。
2016-07-14 cs.DC cs.PF
LASSI: An LLM-based Automated Self-Correcting Pipeline for Translating Parallel Scientific Codes
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Argonne National Laboratory(阿贡国家实验室)
本文提出 LASSI 自动化流水线,通过 LLM 自校正循环实现 OpenMP 与 CUDA 并行代码的双向翻译,实验显示 80% 和 85% 的翻译可产生预期输出,验证了其生成可执行并行代码的有效性。
2025-05-04 cs.AI cs.DC cs.PL
Advanced Programming Platform for efficient use of Data Parallel Hardware
图形处理单元(GPU)已经从能够在游戏中渲染高质量图形的专用硬件发展为用于以并行模式有效处理数据块的商品硬件。这种演变对于科学团体来说特别有趣,他们传统上主要使用CPU作为工作机器,现在可以从GPU硬件到HPC集群的到来中获益。这种新的GPU硬件有望提高峰值性能,但使用起来并不轻松。在这篇文章中,提出了一个编程平台,旨在促进直接使用这种专门的硬件。该平台包括一个并行数据流的可视化编辑器,它是面向在分布式集群与GPU的执行。在两个特征问题,快速傅立叶变换和图像压缩的应用程序的例子,也显示。
2012-03-23 cs.DC
HPC-Coder: Modeling Parallel Programs using Large Language Models
University of Maryland(马里兰大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
针对HPC并行程序开发优化难度大的问题,研究构建HPC科学代码数据集,微调得到专用模型HPC-Coder,可实现HPC函数补全、OpenMP制导指令添加及性能变化建模,效果优于通用大模型。
2024-05-14 cs.AI cs.DC
Benchmarking mixed-mode PETSc performance on high-performance architectures
高度并行多处理的趋势在所有现代计算机体系结构中无处不在,从手持设备到大规模HPC系统;但许多应用程序正在努力充分利用现代高性能平台中暴露的多个并行级别。为了实现最新硬件进步的全部潜力,可以采用共享存储器编程技术和节点间消息传递之间的混合模式,其以最小的开销提供高水平的并行性。对于科学应用来说,这不仅意味着模拟代码本身,而且整个软件堆栈都需要发展。在本文中,我们评估的混合模式性能的PETSc,一个广泛使用的科学图书馆的可扩展的偏微分方程的解决方案。我们描述了在库中添加的OpenMP线程功能,重点是稀疏矩阵向量乘法。我们强调实现良好的并行性能,如显式通信重叠使用基于任务的并行性的关键挑战,并展示了如何进一步提高性能显式负载均衡线程MPI进程。使用一组从Fluidity中提取的矩阵,一个CFD应用程序代码,使用该库作为其线性求解器引擎,然后,我们在几个现代HPC架构的多个节点上对混合模式PETSc的并行性能进行基准测试。我们评估的并行可扩展性的统一内存访问(UMA)系统,如富士通PRIMEHPC FX 10和IBM BlueGene/Q,以及非统一内存访问(NUMA)Cray XE 6平台。一个详细的比较,突出了每个特定的架构的特点,在证明有效的强大的可扩展性的稀疏矩阵向量乘法显着的加速比纯MPI模式。
2013-07-17 cs.DC
A C++17 Thread Pool for High-Performance Scientific Computing
Department of Physics, Brock University(布洛克大学物理系)
本文提出了一种基于C++17的轻量线程池,通过避免高级多线程API实现对并行化细节的精确控制,以提升高性能科学计算的效率。
2025-12-24 cs.DC
PANDA: Extreme Scale Parallel K-Nearest Neighbor on Distributed Architectures
计算$k$ -最近邻(KNN)是许多机器学习、数据采掘和科学计算应用中使用的核心内核之一。虽然已经提出了基于kd树的$O(\log n)$算法来计算KNN,但由于其固有的顺序性,在实践中使用线性算法。这限制了这些方法对数百万个数据点的适用性,并限制了科学领域大数据分析挑战的可扩展性。在本文中,我们提出了并行和高度优化的kd树为基础的KNN算法(建设和查询)适合分布式架构。我们的算法包括修剪搜索空间,提高节点和线程之间的负载均衡和分区的新方法。使用TB大小的数据集从三个科学应用:天体物理学,等离子体物理学和粒子物理学,我们表明,我们的实现可以构建kd树的1890亿粒子在48秒内利用$\sim$ 50,000核心。我们还演示了在12秒内计算190亿次查询的KNN。我们展示了几乎线性加速共享和分布式内存的计算机。我们的算法优于早期的实现超过一个数量级;从而从根本上提高了我们的实现对最先进的大数据分析问题的适用性。此外,我们还展示了在最近发布的英特尔至强融核处理器上的性能和可扩展性,表明我们的算法即使在大规模并行架构上也能很好地扩展。
2016-07-27 cs.DC
Noncontiguous I/O through PVFS
随着处理器和存储器技术的巨大进步,I/O已经成为许多应用程序高性能计算的瓶颈。并行文件系统的开发有助于缓解性能差距,但I/O仍然是一个需要显著提高性能的领域。研究发现,科学应用程序中的非连续I/O访问模式与当前执行这些访问的文件系统方法相结合,导致大型数据集的性能无法接受。为了提高非连续I/O的性能,我们创建了列表I/O,这是非连续I/O的本机版本。我们使用并行虚拟文件系统(PVFS)来实现我们的想法。我们的研究和实验表明,列表I/O优于目前的非连续I/O访问方法在大多数I/O的情况下,可以大大提高现实世界的科学应用程序的性能。
2002-07-29 cs.DC
Haskell_#: Coordinating Functional Processes
本文介绍了Haskell#,一种协调语言,旨在有效地实现松散耦合的并行架构上的并行科学应用程序,使用函数式语言Haskell。应用程序的例子,他们的实施细节和性能数字。
2012-08-18 cs.DC cs.PL
2HOT: An Improved Parallel Hashed Oct-Tree N-Body Algorithm for Cosmological Simulation
我们报告在过去的二十年中,我们的自适应树码N-体方法(HOT)的改进。描述了宇宙学N体问题的数学和计算方法,其性能和可扩展性测量到256 k($2^{18}$)处理器。我们目前的误差分析和科学应用的结果,从一系列超过10个69亿($4096^3$)粒子宇宙学模拟,占$4 \times 10^{20}$浮点运算。这些结果包括使用普朗克卫星宇宙学标准模型的新约束的第一次模拟。我们的模拟为准确性和科学吞吐量设定了新的标准,同时达到或超过了最新一代混合TreePM N-body方法的计算效率。
2013-10-16 astro-ph.CO astro-ph.IM cs.DC
Boosting Scientific Error-Bounded Lossy Compression through Optimized Synergistic Lossy-Lossless Orchestration
本文提出GPU科学误差有界有损压缩器cuSZ-Hi,通过优化插值预测与无损编码协同编排,在相同误差界限下实现最高249%的压缩比提升。
2025-09-01 cs.DC
MDMP: Managed Data Message Passing
MPEG4是一种新的并行编程方法,旨在为用户提供一种简单的方法来添加并行程序,优化传统科学模拟算法的消息传递成本,并使现有的基于MPI的并行程序能够优化和扩展,而无需从头开始重写整个代码。MPEG4利用基于指令的方法来使用户能够指定在代码中应该发生什么通信,然后使用用户提供的信息和从检测代码和收集关于要通信的数据的信息中收集的数据,以最佳方式为用户实现这些通信。这项工作将提出的基本概念和功能的MPEG4和讨论的性能,可以实现使用我们的原型实现MPEG4的一些模型科学模拟应用程序。
2013-04-29 cs.DC cs.PL
AdaParse: An Adaptive Parallel PDF Parsing and Resource Scaling Engine
Department of Computer Science, University of Chicago(芝加哥大学计算机系);Argonne National Laboratory(阿贡国家实验室)
AdaParse通过直接偏好优化学习科学家对解析器输出的偏好,并结合硬件要求与预测准确性动态分配解析器,在保持准确性的同时将大规模PDF解析吞吐量提升17倍。
2025-04-23 cs.CL cs.DC cs.IR
Performance Evaluation of Python Parallel Programming Models: Charm4Py and mpi4py
本文通过CPU和GPU微基准测试及科学计算小型应用,比较了Charm4Py与mpi4py两个Python并行编程框架的相对性能,以帮助实践者选择合适框架。
2021-11-11 cs.DC cs.PF cs.PL
Scientific Computing in the Cloud
我们研究了使用云计算机作为传统计算工具的替代品进行高性能科学计算的可行性。这些大型虚拟化计算资源池的可用性为科学研究提供了一种具有许多优势的新计算模式的可能性。对于研究小组来说,云计算提供了对可靠、高性能集群和存储的方便访问,而无需购买和维护复杂的硬件。对于开发人员来说,虚拟化允许在机器映像上优化和预安装科学代码,从而促进对计算环境的控制。在Amazon Elastic Compute Cloud上对广泛使用的X射线光谱和电子结构代码FEFF的串行和并行版本进行了初步测试,包括CPU和网络性能。
2008-12-31 cond-mat.mtrl-sci cs.DC physics.comp-ph
Two-level Dynamic Load Balancing for High Performance Scientific Applications
科学应用程序通常是复杂的,不规则的,计算密集型的。为了适应科学应用的不断增长的计算需求,高性能计算(HPC)系统已经变得更大且更复杂,从而提供多个级别的并行性(例如,节点、每个节点的核数、每个核的线程数)。科学应用需要利用所有可用的多级硬件并行性来利用可用的计算能力。在这样的HPC系统上执行的应用的性能可能受到由问题、算法和系统特性引起的多个级别的负载不平衡的不利影响。然而,大多数现有的负载均衡方法不能同时解决多个级别的负载不平衡。这项工作调查的影响,负载不平衡的性能上的三个科学应用程序的线程和进程的水平。我们共同申请和评估选定的动态循环自调度(DLS)技术,这两个层次。具体来说,我们采用扩展的LaPeSD OpenMP运行时库在线程级和扩展的DLS4LB基于MPI的动态负载均衡库在进程级。这种方法是通用的,适用于任何多进程多线程计算密集型应用程序(使用MPI和OpenMP编程)。我们进行了详尽的实验,评估和比较六个DLS技术在线程级和11个在进程级。结果表明,只有在这两个级别上联合解决负载不平衡问题,才能将应用程序性能提高21%。我们提供了深入了解所选择的DLS技术的性能,并讨论了线程级和进程级的负载均衡的相互作用。
2019-11-15 astro-ph.IM cs.DC cs.PF
Parallel Domain Decomposition techniques applied to Multivariate Functional Approximation of discrete data
通过多元函数逼近(MFA)来表达大规模数据集对于分析和可视化以推动科学发现至关重要。解决这些问题需要可扩展的数据划分方法来计算MFA表示在顺从的挂钟时间。我们引入了一个完全并行的计划,以减少每项任务的总工作量,结合重叠的添加剂施瓦茨为基础的迭代方案来计算MFA与张量展开的B样条基,同时保持完整的程度连续性子域边界。虽然MFA的先前工作已被成功地证明是有效的,但在单个进程上编码大型数据集的计算复杂性可能是严重禁止的。从MFA生成重建的并行算法不得不依赖于后处理技术来混合子域边界上的不连续性。相比之下,一个强大的约束最小化基础设施,直接施加高阶连续性的MFA表示在这里。我们证明了与区域分解求解器的并行方法的有效性,以尽量减少解码的MFA的子域误差残差,更具体地说,以恢复跨非匹配边界的连续性的规模。分析的分析和科学数据集的1-,2-和3-维的方案。广泛的强和弱的可扩展性性能也证明了大规模的数据集,以评估并行加速的基于MPI的算法实现的领导计算机器。
2022-10-12 cs.DC cs.NA math.NA
Data Sharing Options for Scientific Workflows on Amazon EC2
高效的数据管理是在分布式环境中实现科学工作流良好性能的关键组成部分。工作流应用程序通常使用文件在任务之间传递数据。当任务被分发时,这些文件或者从一个计算节点传输到另一个计算节点,或者通过共享存储系统访问。在网格和集群中,工作流数据通常存储在网络和并行文件系统上。在本文中,我们研究了一些在云中管理工作流数据的方法。我们在Amazon的EC2上使用三个典型的工作流应用程序进行了实验。我们讨论了我们使用的各种存储和文件系统,描述了我们在EC2上部署它们时遇到的问题,并分析了工作流的性能和成本。
2010-10-22 astro-ph.IM cs.DC
Parallel Software to Offset the Cost of Higher Precision
硬件双精度的往往不足以精确地解决大型科学问题。由软件定义的更高精度的计算导致显著的计算开销。并行算法的应用补偿了这种开销。牛顿的方法来开发代数空间曲线的幂级数展开是这个应用程序的用例。
2020-12-11 cs.DC cs.MS cs.NA
Classdesc and Graphcode: support for scientific programming in C++
面向对象的程序设计语言,如Java和Objective C,在实现基于代理和其他基于对象的模拟方面已经变得流行,因为这些语言中的对象可以{ \em reflect}(即,对对象的结构进行运行时查询)。例如,这允许编写相当简单的{ \em序列化}例程(将对象转换为可以存储或通过网络传递的二进制表示)。然而C++不提供这种能力,因为类型信息在编译时就被丢弃了。然而,C++通常是首选的开发环境,无论是出于性能方面的原因,还是因为它的表达功能(如运算符重载)。在科学编码中,随着模型的细化和对不同现象的研究,模型代码的变化不断发生。然而,传统上,诸如检查点、用于初始化模型参数的例程和模型输出的分析之类的设施依赖于保持静态的底层模型,否则每次修改模型时,都需要改变一系列支持例程以反映新的数据结构。反射提供了模拟框架无需程序员干预即可适应底层模型的优点,从而减少了修改模型的工作量。本文介绍了为C++带来对象反射的许多好处的{ \em Classdesc}系统、大大简化基于MPI的并行程序编码的{ \em ClassdescMP}和通用数据并行编程环境{ \em Graphcode}。
2008-10-22 cs.CE cs.DC cs.MS
Massively Parallel Stencil Strategies for Radiation Transport Moment Model Simulations
辐射输运方程是高维相空间中的介观方程。矩量法通过传统时空中的偏微分方程系统来近似它。一个挑战是由于每个空间网格点中的大矢量大小(P39的1600个分量)而导致的高计算强度。在这项工作中,我们扩展了可计算的域的大小在3D模拟相当大的,通过实施的StaRMAP方法的大规模并行HPC框架NAStJA,这是为了有效地使用当前的超级计算机。我们采用了几种优化技术,包括一个新的内存布局和显式SIMD向量化。我们展示了一个具有2000亿自由度的模拟,并讨论了如何在许多科学领域中扩展和使用这些实现。
2020-04-06 cs.DC physics.comp-ph
Development of a Burst Buffer System for Data-Intensive Applications
现代并行文件系统(如Lustre)旨在提供高、可扩展的I/O带宽,以响应不断增长的I/O需求;然而,许多数据密集型科学应用程序的突发I/O特性使后端并行文件系统难以有效地处理I/O请求。突发缓冲区系统允许将数据逐步刷新到后端文件系统,通过突发缓冲区系统,可以通过高性能存储介质临时缓冲数据。在本文中,我们将探讨围绕数据密集型科学应用的突发缓冲系统的发展问题。我们的初步结果表明,利用一个突发缓冲区系统的光泽文件系统上显示承诺处理应用程序检查点产生的激烈的I/O流量。
2015-05-07 cs.DC cs.OS
DuctTeip: An efficient programming model for distributed task based parallel computing
用于科学计算的当前高性能计算机系统通常在分布式存储器环境中组合共享存储器计算节点。从这些复杂的系统中提取高性能需要量身定制的方法。基于任务的并行编程在简化编程和利用共享存储器系统的硬件并行性方面都取得了成功。本文重点讨论如何将任务并行编程扩展到分布式内存系统。我们使用任务和数据的分层分解,以适应不同级别的硬件。我们测试所提出的编程模型在两个不同的应用程序,Cholesky分解,和浅水方程求解器。我们还比较了我们的实现与其他框架的分布式任务并行编程的性能,并表明它是有竞争力的。
2018-01-10 cs.CE cs.DC cs.PF
A Multi-FPGA High Performance Computing System for 3D FFT-based Numerical Simulations
在高性能计算领域,进程间的通信是大规模并行科学应用的典型瓶颈。本研究的目的是开发一种具有特定卸载能力的网络接口卡,该网络接口卡可以帮助大规模模拟在通信延迟和计算元件数量的可扩展性方面。特别是这项工作涉及的双精度的浮点复数运算单元的并行流水线结构的发展,以实现大规模并行计算系统的三维快速傅立叶变换。
2022-09-06 cs.DC physics.comp-ph
Parallelizing a 1-Dim Nagel-Schreckenberg Traffic Model
本文介绍一个面向研究生的并行计算作业,要求学生将一维 Nagel-Schreckenberg 交通模型的串行代码改写为共享内存并行且可复现版本,重点处理伪随机数生成在并行环境下的可复现性难题,并分析其扩展行为。
2023-09-25 cs.CY cs.DC cs.NA
A UML-based Approach to Design Parallel and Distributed Applications
并行和分布式应用程序设计是高性能科学和工业计算领域的一个主要领域。多年来,已经提出了各种方法来帮助并行程序开发人员建模他们的应用程序。在本文中,它将使用一些概念,从敏捷开发方法和统一建模语言(UML)的建模并行和分布式应用程序。本文基于UML的方法描述了通过不同的工件和图形的事件在并行和高性能的应用程序的开发中的主要流程。在这里,我们提出了三个工作流程来描述和建模我们的并行程序,领域模型,设计和建模和测试。开发软件的所有这些阶段都允许程序员将问题的要求转换为一个良好而有效的解决方案。
2013-11-27 cs.DC cs.DS cs.SE
Verification Challenges in Sparse Matrix Vector Multiplication in High Performance Computing: Part I
Argonne National Laboratory(阿贡国家实验室)
本文提出SpMV的顺序和MPI并行实现,作为科学软件验证的挑战问题,基于PETSc库。
2025-10-15 cs.DC cs.LO cs.MS