A Scalable and Modular Software Architecture for Finite Elements on Hierarchical Hybrid Grids
在这篇文章中,一个新的通用高阶有限元大规模并行模拟框架。模块化软件体系结构经过精心设计,可充分利用现代和未来超级计算机的资源。将非结构化拓扑与结构化网格细化相结合,有助于实现高几何适应性和无矩阵的多重网格,并具有优异的性能。不同的抽象级别和完全分布式的数据结构还确保了高灵活性、可扩展性和可伸缩性。软件概念支持复杂的负载均衡和灵活组合有限元空间。与耦合系统的偏微分方程的示例方案显示的概念,以执行地球物理模拟的适用性。
2018-05-25 cs.DC cs.MS
Nimble@ITCEcnoGrid: A Grid in Research Domain for Weather Forecasting
计算机技术革命了科学。这促使科学家开发数学模型来模拟物理宇宙的显着特征。这些模型可以在许多尺度上近似现实,如原子核,地球生物圈和天气/气候评估。如果计算机的能力越强,近似的准确性就越高,即接近现实。解决这些问题所需的计算机的速度需要具有万亿次浮点运算处理能力的计算机到Pets浮点运算速度。加快计算速度的方法是“并行化”,其中一种方法是使用数百万美元的超级计算机或使用计算网格(也称为穷人的超级计算机),这些计算网格具有地理上分布的资源,例如SETI@home(用于探测地球以外的智能文明发出的无线电波)拥有460万参与者的计算机。有许多替代工具可用于实现这一目标,如Globus Toolkit,Entropia,Legion,BOINC等,但它们主要基于Linux平台。由于大多数可用的计算机都是基于Windows的,因此很容易开发一个更大的计算机网络,它将使用计算机的自由周期来解决Windows平台上的复杂问题。Nimble@ITCEcnoGrid已经开发完成。它包括线程间通信的功能,这是在任何可用的工具包中缺失的。测试了Nimble@ITCEcnoGrid框架(具有基于经济策略的线程间通信的快速网格),用于计算高达120个小数点的“PI”。在速度的鼓舞下,同一系统已被用于使用基于Windows的台式计算机计算用于天气预报的动量、热力学和连续性方程。
2012-01-11 cs.DC cs.NI
Cosmological Simulations on a Grid of Computers
本文提出的工作旨在限制GALICS和MOMAF中使用的半分析模型的输入参数值,以便导出哪些参数对结果影响最大,例如,恒星形成,反馈和光环回收效率等。我们的方法是进行经验:我们运行大量的模拟,并得出正确的值范围。所需的计算时间是如此之大,以至于我们需要在计算机网格上运行。因此,我们模型GALICS和MOMAF的执行时间和输出文件的大小,并运行模拟使用网格中间件:DIET。访问资源、调度模拟和管理数据的所有复杂性都由DIET控制,并隐藏在用户可访问的门户网站后面。
2010-05-21 astro-ph.CO astro-ph.IM cs.DC
A Massively Parallel Performance Portable Free-space Spectral Poisson Solver
本文在 IPPL 中实现性能可移植的 Hockney-Eastwood 与谱收敛 Vico-Greengard 自由空间泊松求解器,并通过降内存改进及多超算 GPU/CPU 扩展测试验证其精度、效率和可移植性。
2025-07-29 cs.DC physics.comp-ph
Massively Parallel Algorithms for the Lattice Boltzmann Method on Non-uniform Grids
格子玻尔兹曼方法在当前的超级计算系统上表现出优异的可扩展性,因此越来越成为大规模非稳态流模拟的替代方法,可达到万亿个网格节点。此外,网格细化可以大大节省内存和计算时间。然而,这些节省是以更复杂的数据结构和算法为代价的。特别是,具有不同网格大小的子域之间的接口必须得到特殊处理。在这篇文章中,我们提出了并行算法,分布式数据结构,并在软件框架waLBerla中实现的通信例程,以支持大规模,大规模并行格子Boltzmann为基础的模拟非均匀网格。此外,我们评估我们的方法在两个当前的千万亿次超级计算机的性能。在IBM Blue Gene/Q系统上,使用近200万个线程执行了具有精细网格的最大弱缩放基准测试,不仅展示了近乎完美的可扩展性,而且还展示了每秒近万亿次晶格玻尔兹曼单元更新的绝对性能。在基于英特尔的系统上,具有精细网格和总共超过850万个单元的模拟的强大缩放被证明可以达到每个时间步长不到一毫秒的性能。这使得模拟具有复杂的非均匀网格和每小时400万个时间步长的计算时间。
2016-01-21 cs.CE cs.DC
Lattice QCD Thermodynamics on the Grid
我们描述了我们如何同时使用EGEE网格的${\cal O}(10^3)$节点,累积ca。300 CPU-年在2-3个月内,以确定量子色动力学的一个重要性质。我们解释了如何有效地利用网格资源,轻松,使用用户级覆盖基于Ganga和DIANE工具以上的标准网格软件栈。基于简单但强大的算法的特定于应用的调度和资源选择允许提高处理效率,以在指定的截止日期前获得所需的科学结果。这也是一个示范的组合使用超级计算机,计算QCD系统的初始状态,和网格,执行随后的大规模分布式模拟。在$16^3\times 4$晶格上进行了QCD模拟。保持奇异夸克质量的物理值不变,我们减少上下夸克的质量,直到在温度升高的情况下,系统经历了二级相变,变成夸克-胶子等离子体。然后我们测量了这个系统对夸克密度增加的响应。我们发现,过渡是平滑的,而不是尖锐的。如果在更精细的晶格上得到证实,这一发现使得正在进行的实验搜索不太可能在小化学势下找到QCD临界点。
2009-11-30 cs.DC hep-lat
Secure, Efficient Data Transport and Replica Management for High-Performance Data-Intensive Computing
一种新兴的数据密集型应用涉及从大量测量或计算数据中提取地理上分散的复杂科学信息。例如,在实验物理学中,所讨论的数据是由加速器生成的,而在模拟科学中,数据是由超级计算机生成的。所谓的数据网格为这些应用程序提供了必要的基础设施,就像互联网为电子邮件和Web等应用程序提供了必要的服务一样。我们在这里描述两种服务,我们认为这是任何数据网格的基础:可靠,高速transporet和副本管理。我们的高速传输服务GridFTP扩展了流行的FTP协议,增加了数据网格应用程序所需的新功能,如条带化和部分文件访问。我们的副本管理服务将副本目录与GridFTP传输集成,以提供数据集副本的创建,注册,定位和管理。我们目前的设计,这两个服务,也初步的性能结果。我们的实现利用Globus Toolkit提供的安全和其他服务。
2001-03-28 cs.DB cs.DC
The Distributed Computing Paradigms: P2P, Grid, Cluster, Cloud, and Jungle
分布式计算是在多个系统上进行的,以解决大规模问题。发达国家和发展中国家高速宽带网络的发展、计算能力的不断提高以及互联网的迅速发展改变了这种方式。在信息技术中,社会管理信息和信息服务。从历史上看,计算的状态经历了一系列的平台和环境变化。分布式计算是有效利用计算机系统的重要保证。因此,超级计算机站点和数据中心已经从提供高性能浮点计算能力转变为同时服务来自数十亿用户的大量请求。分布式计算系统使用多台计算机通过互联网解决大规模问题。它变得数据密集型和以网络为中心。分布式计算的应用越来越广泛。在分布式计算中,大规模的资源共享是计算的重点,其目标总是追求最佳性能。在本文中,我们回顾了在分布式计算范例领域所做的工作。主要的重点是云计算的发展领域。
2013-11-13 cs.DC
Building Halo Merger Trees from the Q Continuum Simulation
宇宙学N体模拟是当今计算量最大的工作之一。一个关键的挑战是分析数十亿个紧凑的粒子团簇(称为晕)的结构、子结构和合并历史。有效地表示合并的历史晕是必不可少的许多星系形成模型用于生成合成天表,现代宇宙学模拟的一个重要应用。生成真实的模拟目录需要从模拟中计算大量的晕形成历史,并在许多时间步长内产生数十亿个晕,需要数百TB的分析数据。我们提出了快速并行算法产生晕合并树和跟踪晕子结构从一个单级,基于密度的聚类算法。合并树是通过分析相邻快照中的晕粒子隶属函数来创建的,子结构是通过跟踪合并晕的"核心"--靠近晕中心的粒子集来识别的。核心跟踪在创建合并树之后执行,并使用在树构造期间发现的关系将子结构与主机相关联。这些算法是用MPI实现的,并在Cray XK7超级计算机上进行了评估,使用了来自现代宇宙学模拟框架HACC的多达16,384个过程。我们目前的结果创建合并树从101个分析快照从Q连续体,大体积,高质量分辨率,宇宙学模拟进化的半万亿粒子。
2020-08-19 astro-ph.CO cs.DC
AGCM-3DLF: Accelerating Atmospheric General Circulation Model via 3D Parallelization and Leap-Format
大气环流模式(AGCM)是研究气候变化的重要工具。随着对高分辨率仿真需求的日益迫切,可扩展性和仿真效率面临着巨大的挑战,尤其是经纬度网格模型。本文提出了一个基于LEAP格式的三维大气环流模式AGCM-3DLF。首先,它利用了3D分解方法,允许在所有三个物理维度上的并行性释放。然后采用跳跃格式差分计算方案,以保持网格更新的计算稳定性,避免在高纬度地区进行额外的滤波。为实现统一模型的并行化,设计了一种新的移动窗口通信算法。此外,进行了一系列优化,以提高大规模模拟的有效性。在不同平台上的实验结果表明,该模型具有良好的效率和可扩展性。AGCM-3DLF可扩展到整个CAS-仙岛1超级计算机(196,608个CPU核心),在25 KM的高分辨率下达到11.1模拟年/天(SYPD)的速度。此外,在Sunway TaihuLight超级计算机上进行的模拟显示了106万个核心的可扩展性,并行效率为36.1%。
2021-11-03 cs.DC
Understanding GPU-Based Lossy Compression for Extreme-Scale Cosmological Simulations
为了帮助更好地了解我们的宇宙,研究人员和科学家目前正在领导超级计算机上运行极端规模的宇宙学模拟。然而,这样的模拟可以生成大量的科学数据,这通常导致与数据移动和存储相关联的数据的昂贵成本。有损压缩技术已经变得有吸引力,因为它们显著地减小了数据大小并且可以保持用于后分析的高数据保真度。在本文中,我们建议使用基于GPU的有损压缩的极端规模的宇宙学模拟。我们的贡献有三个方面:(1)我们在开源压缩基准和分析框架Focal中实现了多个基于GPU的有损压缩器;(2)我们使用Focal基于一系列评估指标,在两个真实世界的极端尺度宇宙学模拟HACC和Nyx上全面评估了使用基于GPU的有损压缩的实用性;(3)对于不同的压缩机和宇宙学模拟,我们给出了一个确定最佳构型的通用优化准则。实验结果表明,基于GPU的有损压缩可以为宇宙学模拟的后分析提供必要的精度,对测试数据集的压缩比可达5~ 15倍,压缩和解压缩吞吐量远高于基于CPU的压缩器。
2020-07-02 astro-ph.IM cs.DC physics.comp-ph
High-Performance Distributed Multi-Model / Multi-Kernel Simulations: A Case-Study in Jungle Computing
高性能科学应用程序需要越来越多的计算能力。多个分布式计算资源的并发使用对于科学进步至关重要。由此产生的分布式系统,即所谓的丛林计算系统,是高度异构和分层的,可能由网格,云,独立机器,集群,桌面网格,移动设备和超级计算机组成,可能带有加速器,如GPU。可以从丛林计算系统中受益的应用程序的一个引人注目的例子是多模型/多内核模拟。在这些模拟中,可能使用不同的技术和编程模型实现的多个模型被耦合到物理系统的单个模拟中。例子包括计算天体物理学和气候建模领域。在本文中,我们研究使用丛林计算系统,这样的多模型/多内核模拟。我们利用的软件开发的Ibis项目,它解决了许多问题时面临的丛林计算系统上运行的应用程序。我们创建了一个原型丛林感知版本的AMUSE,天体物理模拟框架。我们显示初步实验所产生的系统,使用集群,网格,独立的机器,和GPU。
2012-03-01 astro-ph.SR cs.DC
Comparison of nested geometry treatments within GPU-based Monte Carlo neutron transport simulations of fission reactors
Oak Ridge National Laboratory(橡树岭国家实验室)
本研究针对GPU上蒙特卡罗中子输运模拟的虚函数开销问题,在Shift MC代码中实现三种GPU追踪策略,实验验证其在典型反应堆问题中的适用性,并展示单一追踪器方法的灵活性与加速效果。
2025-09-30 cs.CE cs.CG cs.DC
Massively Parallel Stencil Strategies for Radiation Transport Moment Model Simulations
辐射输运方程是高维相空间中的介观方程。矩量法通过传统时空中的偏微分方程系统来近似它。一个挑战是由于每个空间网格点中的大矢量大小(P39的1600个分量)而导致的高计算强度。在这项工作中,我们扩展了可计算的域的大小在3D模拟相当大的,通过实施的StaRMAP方法的大规模并行HPC框架NAStJA,这是为了有效地使用当前的超级计算机。我们采用了几种优化技术,包括一个新的内存布局和显式SIMD向量化。我们展示了一个具有2000亿自由度的模拟,并讨论了如何在许多科学领域中扩展和使用这些实现。
2020-04-06 cs.DC physics.comp-ph
Distributed Computing in a Pandemic: A Review of Technologies Available for Tackling COVID-19
目前由SARS-CoV-2 β冠状病毒引起的COVID-19全球大流行已导致超过100万人死亡,并产生严重的社会经济影响,因此迫切需要找到解决关键研究挑战的方法。COVID-19的大部分研究都依赖于分布式计算。在本文中,我将回顾分布式架构--各种类型的集群、网格和云--这些架构可用于大规模、高吞吐量、高度并行地执行这些任务,也可用于协作工作。高性能计算(HPC)集群将用于执行大部分工作。用于减少SARS-CoV-2传播的几个大数据处理任务需要高吞吐量方法和Hadoop和Spark提供的各种工具,甚至使用商品硬件。大规模的COVID-19研究还利用了一些世界上最快的超级计算机,例如IBM的SUMMIT -用于针对SARS-CoV-2靶标的集成对接高通量筛选,用于药物再利用和高通量基因分析-以及Sentinel,这是一种基于XPE-Cray的系统,用于探索天然产物。网格计算促进了世界上第一台Exascale网格计算机的形成。这加速了COVID-19研究,通过并行计算对SARS-CoV-2刺突蛋白相互作用进行分子动力学模拟,并使用Folding@home平台使用超过100万台志愿者计算设备进行。网格和云也可以用于国际合作,通过访问重要的数据集和提供服务,使研究人员能够专注于研究,而不是耗时的数据管理任务。
2021-05-18 cs.DC
waLBerla: A block-structured high-performance framework for multiphysics simulations
高效地对当前的超级计算机进行编程是一项具有挑战性的任务。为了充分利用系统,需要在核心上、计算节点上以及节点之间开发多个级别的并行性。具有加速器的异构硬件架构进一步使开发过程复杂化。waLBerla通过为用户提供高效的构建块来解决这些挑战,以便在块结构网格上开发模拟。块结构的域划分足够灵活,可以处理复杂的几何形状,而每个块内的结构化网格可以高效地实现基于模板的算法。我们提出了几个例子应用程序实现与waLBerla,从格子玻尔兹曼方法刚性粒子模拟。最重要的是,这些方法可以耦合在一起,使多物理场仿真。该框架使用元编程技术从符号方法公式中为CPU和GPU生成高效代码。为了确保软件质量和性能可移植性,持续集成工具链自动运行包含多个编译器、硬件架构和软件配置的广泛测试套件。
2019-09-30 cs.CE cs.DC physics.comp-ph
Adaptive Configuration of In Situ Lossy Compression for Cosmology Simulations via Fine-Grained Rate-Quality Modeling
极端尺度的宇宙学模拟已经被当今的研究人员和科学家广泛应用于领导超级计算机。新一代错误限制有损压缩器已被用于工作流中,以降低存储要求并最大限度地减少吞吐量限制的影响,同时保存高保真数据的大型快照以供事后分析。在本文中,我们建议自适应地提供压缩配置计算分区的宇宙学模拟与新设计的后分析感知率质量建模。贡献有四个方面:(1)提出了一种新的自适应方法来为不同的分区选择可行的误差范围,显示了为每个分区分别自适应配置有损压缩的可能性和效率。(2)我们建立模型来估计由于有损压缩而导致的后分析结果的总体损失,并基于每个分区的属性来估计压缩比。(3)我们开发了一个有效的优化准则,以确定最适合的配置的误差界组合,以最大限度地提高压缩比下可接受的分析后的质量损失。(4)我们的方法引入了可忽略不计的开销为特征提取和错误约束优化每个分区,使后分析感知原位有损压缩的宇宙学模拟。实验表明,我们提出的模型是高度准确和可靠的。我们的细粒度自适应配置方法在测试数据集上提高了高达73%的压缩率,具有相同的分析后失真,性能开销仅为1%。
2021-04-20 cs.DC
From Piz Daint to the Stars: Simulation of Stellar Mergers using High-Level Abstractions
我们研究恒星合并,这需要复杂的模拟与高计算需求的模拟。我们开发了一种基于有限体积网格的流体动力学模拟代码,具有自适应网格细化功能,在保持线动量和角动量以达到机器精度方面是独一无二的。为了应对日益复杂、多样化和异构的HPC系统的挑战,Tiger依赖于高级编程抽象。我们使用HPX及其未来化功能,以确保节点之间和内部的可扩展性,并提出了第一个结果,取代MPI与libfabric实现高达2.8倍的加速。我们扩展的异构GPU加速的超级计算机,演示节点级的性能和可移植性的Tiger。我们展示了在Piz Daint上运行的完整系统的可扩展性。对于场景的最大分辨率,计算关键部分(流体力学和重力)在2048个节点上实现了68.1%的并行效率。
2019-08-09 cs.CE cs.DC
Efficient Multigrid Preconditioners for Atmospheric Flow Simulations at High Aspect Ratio
流体模拟中的许多问题需要在“平坦”区域中有效解高度各向异性的椭圆偏微分方程(PDE)。例如,在数值天气和气候预测中,用于压力校正的椭圆PDE必须在代表全球大气的薄球壳中的每个时间步长处求解。这种椭圆求解可能是半隐式半拉格朗日时间步进方法中计算要求最高的组件之一,半拉格朗日时间步进方法非常流行,因为它们允许更大的模型时间步长和更好的整体性能。随着模型分辨率的提高,算法高效和可扩展的算法对于在严格的操作时间约束下运行代码至关重要。我们讨论了这种类型的方程的定制几何多重网格预处理的理论和实际应用。该算法通过使用最初由Börm和Hiptmair [Numer. Algorithms,26/3(2001),pp. 219-234]。我们将分析扩展到三维略有减弱的假设下,数值证明其效率的解决方案的椭圆偏微分方程的大气预报模式中的全球气压校正。为此,我们比较了不同的多重网格预条件的性能上的张量积网格与半结构化和准均匀的水平网格和一维垂直网格。该代码在分布式和统一数值环境(DUNE)中实现,该环境为在张量积网格上操作的算法提供了一个易于使用和可扩展的环境。我们的求解器的并行可扩展性高达20,480个核心上的HECToR超级计算机上演示。
2015-02-10 cs.DC cs.NA math.NA