Cache Blocking Technique to Large Scale Quantum Computing Simulation on Supercomputers
经典计算机需要大量的内存资源和计算能力来模拟具有大量量子比特的量子线路。即使是可以存储大量数据的超级计算机也面临着并行量子计算模拟的可扩展性问题，因为分布式存储空间之间的数据移动存在延迟。在这里，我们通过在量子线路中插入交换门来应用缓存阻塞技术以减少数据移动。我们在开源仿真框架Qiskit Aer中实现了这种技术。我们在GPU集群上评估了我们的模拟器，并观察到良好的可扩展性。
2021-02-05 cs.DC quant-ph
Simulating the universe on an intercontinental grid of supercomputers
对宇宙最常见的组成部分--冷暗物质的难以捉摸阻碍了对宇宙的理解。几乎不可能观察到的暗物质可以通过模拟的方式进行有效的研究，在过去的十年里，可能没有其他研究领域的模拟带来了如此大的进展。宇宙学N体模拟是研究非线性区域密度扰动演化的重要工具。然而，模拟宇宙中大尺度结构的形成仍然是一个挑战，这是由于空间和时间坐标的巨大动态范围，以及由于所需的巨大计算机资源。动态范围一般用数值技术的混合处理。我们通过光网络连接两台超级计算机来处理计算需求，并使它们作为一台机器运行。这是具有挑战性的，如果只是因为我们选择的超级计算机被半个地球分开，因为一个位于阿姆斯特丹，另一个位于东京。两台计算机的协同调度和代码的“网格化”使我们能够实现这种分布式洲际超级计算机的90%效率。
2010-01-05 astro-ph.CO astro-ph.IM cs.DC
Recursive Matrix Algorithms in Commutative Domain for Cluster with Distributed Memory
我们给出了一个概述的矩阵块递归算法在交换域的理论结果，并提出了实验结果，我们进行了新的并行程序的基础上，这些算法在超级计算机MVS-10 P在联合超级计算机中心的俄罗斯科学院。为了证明这些程序的可扩展性，我们测量了不同数量的处理器的程序的运行时间，并绘制了效率因子的图形。此外，我们提出的主要应用领域中，这种并行算法的使用。它的结论是，这类算法允许获得高效的并行程序的集群与分布式存储器。
2019-03-11 cs.DC cs.SC math.RA
From Thread to Transcontinental Computer: Disturbing Lessons in Distributed Supercomputing
我们描述了天文CosmoGrid项目期间遇到的政治和技术的并发症。CosmoGrid是对宇宙中大尺度结构形成的数值研究。由于空间和时间坐标的巨大动态范围以及所需的巨大计算机资源，模拟具有挑战性。在CosmoGrid中，我们通过光网络连接多达四台超级计算机来处理计算需求，并使它们作为一台机器运行。这是具有挑战性的，如果只是因为我们选择的超级计算机被半个地球分开，因为其中三个分散在欧洲，第四个在东京。多台计算机的协同调度和代码的“网格化”使我们能够为这台分布式洲际超级计算机实现高达$93\%$的效率。在这项工作中，我们发现，网格上的高性能计算可以更有效地完成，如果所涉及的网站愿意灵活的用户策略，并有设施，以提供这种灵活性可能是关键，以加强HPC社区的地位，在日益云主导的计算环境。考虑到研究小组或大学部门拥有的较小的计算机集群通常具有灵活的用户策略，我们认为，通过组合数十个，数百个甚至数千个这些资源来实现分布式超级计算可能更容易。
2015-07-04 astro-ph.IM cs.CY cs.DC
Recovery of Distributed Iterative Solvers for Linear Systems Using Non-Volatile RAM
HPC系统是科学研究的关键资源。对计算能力和存储器的需求不断增加，迎来了亿亿次时代，在这个时代，超级计算机被设计为提供巨大的计算能力来满足这些需求。这些复杂的超级计算机由许多计算节点组成，因此预计会遇到频繁的故障和崩溃。数学求解器，特别是迭代线性求解器是许多大规模科学应用中的关键构建块。因此，支持分布式求解器的恢复对于将科学应用扩展到exascale平台是必要的。以前的迭代求解器的恢复方法是基于检查点重新启动（CR），这会导致高的容错开销，或内在的容错，这需要额外的计算时间来收敛失败后。精确状态重构（ESR）被提出作为一种替代机制，以减轻频繁故障对长期计算的影响。ESR已被证明可以提供计算状态的精确重建，同时避免了昂贵的检查点的需要。然而，ESR目前依赖于易失性存储器来实现容错，因此必须在多个节点的RAM中保持冗余，从而导致高存储器和网络开销。最近的超级计算机设计以新兴的非易失性RAM（NVRAM）技术为特征。本文研究了如何利用NVRAM来设计一种基于增强型ESR的恢复机制，该机制更高效，并提供完全的恢复能力。我们的机制，称为in-NVRAM ESR，是基于一种新的MPI单边通信（OSC）在RDMA的实现，并提供充分的弹性，同时显着减少内存占用和时间开销相比，原始的ESR设计（in-RAM ESR）。
2022-08-09 cs.DC
A New High Performance and Scalable SVD algorithm on Distributed Memory Systems
本文介绍了\texttt{Zolo-SVD}算法在分布式内存系统上的高性能实现，该算法基于由Nakatsukasa和Freund最初提出的Zolotarev函数（\texttt{Zolo-PD}）的极分解（PD）算法[SIAM Review，2016]。我们的实现高度依赖于ScaLAPACK的例程，因此它是可移植的。与基于QR的动态加权Halley方法（\texttt{QDWH-PD}）等PD算法相比，\texttt{Zolo-PD}具有自然的并行性和更好的可扩展性，但需要执行更多的浮点运算。当使用许多进程时，\texttt{Zolo-PD}通常比\texttt{QDWH-PD}算法快1.20倍，\texttt{Zolo-SVD}可以比ScaLAPACK例程\texttt{\texttt{PDGESVD}}快大约两倍。这些数值实验是在世界上最快的超级计算机之一天河二号上进行的，测试的矩阵包括一些特定应用中的稀疏矩阵和一些随机生成的不同维数的稠密矩阵。我们的\texttt{QDWH-SVD}和\texttt{Zolo-SVD}实现可从https://github.com/shengguolsg/Zolo-SVD免费获得。
2018-06-16 cs.DC
Solving large permutation flow-shop scheduling problems on GPU-accelerated supercomputers
置换流水车间调度中的最小完工时间问题是一个著名的组合优化难题。在E.在1993年的Taillard，23个案件近30年来一直没有解决。在本文中，我们提出了我们的尝试，解决这些情况下的最优使用并行分支定界树搜索的GPU加速让Zay超级计算机。我们报告了11个以前未解决的问题实例的精确解，并改进了8个实例的上界。这些问题的解决方案既需要算法改进，也需要利用千万亿次高性能计算平台的计算能力。所面临的挑战在于，在由数百个大规模并行加速器设备和多核处理器组成的分布式系统上，高效地执行高度不规则的细粒度搜索树的并行深度优先遍历。我们提出并讨论了我们的基于置换的B&B的设计和实现，并通过实验评估其并行性能高达384 V100 GPU（200万CUDA核心）和3840 CPU核心。最大解决实例的最优性证明需要大约64 CPU年的计算-使用256个GPU和超过400万个并行搜索代理，搜索树的遍历在13小时内完成，探索339个$\times 10^{12}$节点。
2020-12-17 cs.DC
Adaptive Asynchronous Work-Stealing for distributed load-balancing in heterogeneous systems
针对异构系统中大量同构任务调度的负载不均衡问题，提出利用节点信息优化受害者选择与任务卸载的自适应异步工作窃取方法，并在无需额外通信线程的情况下实现约10.1%的性能提升。
2024-01-23 cs.DC
Scalability Evaluation of Iterative Algorithms Used for Supercomputer Simulation of Physical processes
本文致力于开发一种方法，用于评估计算密集型迭代算法的可扩展性，用于在超级计算机系统上模拟复杂的物理过程。所提出的方法是基于BSF（批量同步农场）并行计算模型，这使得它可以预测迭代算法的可扩展性上限在其设计的早期阶段。BSF模型假设算法的表示形式是使用高阶函数对列表进行操作。考虑两类表示：BSF-M（映射BSF）和BSF-MR（映射缩减BSF）。所提出的方法描述的线性方程组的雅可比方法的解决方案的例子。对于Jacobi方法，构造了两种迭代算法：基于BSF-M表示的Jacobi-M和基于BSF-MR表示的Jacobi-MR。分析估计的加速比，并行效率和上界的可扩展性构造这些算法使用的BSF成本度量的多处理器计算系统与分布式存储器。给出了利用BSF程序框架和MPI并行程序库在C++语言中实现这些算法的信息。在一个集群计算系统上进行了大规模计算实验，并给出了实验结果。基于实验结果，分析的充分性的估计，通过使用的BSF模型的成本度量分析。
2018-11-10 cs.DC
Distributed computing for physics-based data-driven reduced modeling at scale: Application to a rotating detonation rocket engine
Department of Mathematics, Virginia Tech（弗吉尼亚理工学院数学系）；Oden Institute for Computational Engineering and Sciences, The University of Texas at Austin（德克萨斯大学奥登工程与科学研究院）；Amentum, Edwards Air Force Base（艾门敦，爱德华兹空军基地）；Air Force Research Laboratory, Edwards Air Force Base（空军研究实验室，爱德华兹空军基地）
本文提出一种分布式内存算法，用于从大规模稀疏数据集快速构建物理基降阶模型，并在Frontera超级计算机上以2048核、13秒内完成三维旋转爆震火箭发动机的降阶建模。
2025-04-19 cs.DC cs.LG cs.NA
Simple and Effective Distributed Computing with a Scheduling Service
高吞吐量计算项目需要解决大量问题。在许多情况下，这些问题可以在桌面PC上解决，或者可以分解为独立的“PC可解决”子问题。在这种情况下，这些项目是高性能计算项目，但这仅仅是因为所需计算的绝对数量。我们简要介绍了我们的努力，以增加这样一个项目的吞吐量。然后，我们将解释如何轻松地设置一个由运行Windows 95、98、2000或NT的标准联网PC组成的分布式计算设施。该设施不需要特殊的软件或硬件，涉及很少或不涉及应用软件的重新编码，并且对PC的所有者几乎看不见地操作。根据所招募的PC的数量和质量，性能可以与超级计算机相媲美。
2001-06-15 cs.DC
Analyzing I/O Performance of a Hierarchical HPC Storage System for Distributed Deep Learning
如今，深度学习是我们生活中必不可少的技术。为了用深度学习解决更复杂的问题，训练数据集和神经网络的规模都在增加。为了训练具有大型数据集和网络的模型，分布式深度神经网络（DDNN）训练技术是必要的。对于大规模DDNN训练，HPC集群是一个很有前途的计算环境。在HPC集群上的大规模DDNN中，I/O性能至关重要，因为它正在成为瓶颈。大多数旗舰级HPC群集都具有分层存储系统。为了设计未来的高性能计算存储系统，有必要量化分层存储系统对工作负载的性能改善效果。本文介绍了在旗舰级超级计算机的DDNN工作负载的层次存储系统的定量性能分析。我们的分析显示了需要多大的性能改进和存储容量增量才能达到性能目标。
2023-01-04 cs.DC
Bandwidth-Aware LLM Inference on Heterogeneous Many-Core Supercomputers
Sino-German Joint Software Institute, Beihang University（北京航空航天大学中德软件工程学院）
针对异构众核处理器带宽瓶颈，提出硬件感知推理框架THInfer，通过软硬件协同设计和并行策略优化，在MT-3000处理器上实现高效LLM推理。
2026-05-25 cs.DC
The Distributed Computing Paradigms: P2P, Grid, Cluster, Cloud, and Jungle
分布式计算是在多个系统上进行的，以解决大规模问题。发达国家和发展中国家高速宽带网络的发展、计算能力的不断提高以及互联网的迅速发展改变了这种方式。在信息技术中，社会管理信息和信息服务。从历史上看，计算的状态经历了一系列的平台和环境变化。分布式计算是有效利用计算机系统的重要保证。因此，超级计算机站点和数据中心已经从提供高性能浮点计算能力转变为同时服务来自数十亿用户的大量请求。分布式计算系统使用多台计算机通过互联网解决大规模问题。它变得数据密集型和以网络为中心。分布式计算的应用越来越广泛。在分布式计算中，大规模的资源共享是计算的重点，其目标总是追求最佳性能。在本文中，我们回顾了在分布式计算范例领域所做的工作。主要的重点是云计算的发展领域。
2013-11-13 cs.DC
An Adaptive Distributed Stencil Abstraction for GPUs
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出一种面向多节点GPU的自适应分布式Stencil抽象，通过CharmTyles框架实现，采用NumPy-like语法降低移植成本，并展示其在资源弹性与性能优化上的优势。
2025-12-22 cs.DC
The Big Send-off: Scalable and Performant Collectives for Deep Learning
本文提出PCCL库，通过学习驱动的自适应算法选择，提升深度学习分布式任务中all-gather、reduce-scatter和all-reduce的性能，实现在Frontier系统上reduce-scatter性能提升达168倍，Perlmutter上NCCL性能提升达5.7倍。
2026-03-15 cs.AI cs.DC cs.LG
MPWide: a light-weight library for efficient message passing over wide area networks
我们提出了MPWide，一个轻量级的通信库，它允许有效的消息通过分布式网络。MPWide旨在连接在分布式（超级）计算资源上运行的应用程序，并为那些没有管理权限的人最大限度地提高广域网上的通信性能。它可用于在应用程序之间提供消息传递，移动文件，以及在客户端-服务器环境中建立非常快速的连接。MPWide已经被应用于在两个大陆上的多达四台超级计算机上进行分布式宇宙学模拟，并将两个不同的血流模拟耦合起来，形成一个多尺度模拟。
2013-12-03 cs.DC cs.NI
High-Performance Distributed RMA Locks
我们提出了一种拓扑感知的分布式读写器锁，可以加速超级计算机和数据中心的不规则工作负载。锁背后的核心思想是一个模块化设计，它是三个分布式数据结构的相互作用：临界区中读取器/写入器的计数器，用于排序等待锁的写入器的一组队列，以及将所有队列和写入器与读取器绑定的树。每个结构都与有利于读取器或写入器的参数相关联，从而实现可调节的性能，该性能可以被视为三维参数空间中的点。我们还开发了一个分布式的拓扑感知MCS锁，这是上述设计的一个构建块，并提高了最先进的MPI实现。这两种方案都使用非阻塞远程内存访问（RMA）技术，以获得最高的性能和可扩展性。我们评估我们的计划在Cray XC 30上，并说明它们分别比最先进的MPI-3 RMA锁定协议高出81%和73%。最后，我们使用它们来加速分布式哈希表，该哈希表表示不规则的工作负载，例如键值存储或图形处理。
2020-10-23 cs.DC
External Memory based Distributed Generation of Massive Scale Social Networks on Small Clusters
小型分布式系统受其主存储器的限制，无法生成超大型图形。对当前图形生成器进行简单扩展以利用外部存储器会导致大量的随机I/O，因此不会随大小而扩展。在这项工作中，我们提供了一种技术来生成大规模的图形上的小集群的计算节点有限的主内存。我们开发了几个分布式和外部存储器算法，主要是，洗牌，重新标记，重新分配，和压缩稀疏行（csr）转换。这些算法在MPI/pthread模型中实现，以帮助在每个核内的多核之间并行化操作。使用我们的方案，它是可行的，以产生一个图形的大小$2^{38}$节点（规模38），只使用64个计算节点。这可以与目前的方案相比，假设64 GB的主内存，至少需要8192个计算节点。我们的工作对外部存储器图形库（如STXXL）和基于SSD的超级计算机（如Dash和Gordon）上的图形处理具有更广泛的影响[1][2]。
2012-09-30 cs.DB cs.DC
Large Scale Distributed Linear Algebra With Tensor Processing Units
我们已经将Google Tensor Processing Units（TPU）（为机器学习开发的专用芯片）重新用于大规模密集线性代数超级计算机。TPU的快速核间互连（ICI）、物理上的二维网络拓扑和高带宽存储器（HBM）允许分布式矩阵乘法算法迅速成为计算约束。在这种情况下，矩阵乘法单元（MXU）在运行时占主导地位，产生了令人印象深刻的缩放、性能和原始大小：在浮点32精度下运行，一个完整的2048核第三代TPU pod可以在大约2分钟内将两个线性大小为$N= 220= 1 048 576$的矩阵相乘。通过强调大型单核矩阵乘法的策划算法，稠密线性代数中的其他任务也可以类似地扩展。作为例子，我们提出（i）QR分解;（ii）线性系统的分辨率;和（iii）多项式迭代矩阵函数的计算，证明了矩阵极分解。
2021-12-16 cs.DC physics.comp-ph quant-ph
GPU-Accelerated Distributed QAOA on Large-scale HPC Ecosystems
本研究在Frontier CPU/GPU超算上通过先进问题分解与消息传递并行，提升分布式量子近似优化算法的可扩展性与效率，实现最高10倍于CPU仿真的加速，支撑混合量子-经典应用落地。
2025-06-12 cs.DC
Distributed Memory Techniques for Classical Simulation of Quantum Circuits
在本文中，我们描述，实现和测试的性能分布式存储器模拟的量子线路上的MSU拉科尼亚Top500超级计算机。使用OpenMP和MPI混合并行化，我们首先使用一个分布式的矩阵-向量乘法与一维分区，并讨论了这种方法的缺点，由于模拟量子计算机的指数内存需求。然后，我们描述了一种更有效的方法，该方法仅存储$n$量子比特状态向量$|ψ\rangle$的$2^n$幅度，并优化其单节点性能。在我们的多节点实现中，我们使用单振幅通信协议，该协议最大化能够被模拟的量子位的数量，并且最小化需要通信的量子位与不需要通信的量子位的比率，并且我们提出了一种用于有效地确定处理器之间的通信对的算法。我们在单个节点上模拟了多达30个量子位，在64个节点上模拟了33个量子位。最后，我们讨论了我们的通信方案的优点和缺点，提出了潜在的改进，并描述了其他优化，如存储在内存中的状态向量非顺序映射通信要求的电路中的空闲量子位。
2018-06-21 cs.DC quant-ph
Scaling Distributed Training of Flood-Filling Networks on HPC Infrastructure for Brain Mapping
The University of Chicago（芝加哥大学）；Argonne National Laboratory（阿贡国家实验室）
映射大脑中的所有神经元需要从体积电子显微镜数据自动重建整个细胞。洪水填充网络（FFN）架构已经证明了从这些数据中分割结构的领先性能。然而，网络的训练在计算上是昂贵的。为了减少训练时间，我们使用Horovod库实现了同步和数据并行的分布式训练，这与已发布的FFN代码中使用的异步训练方案不同。我们证明了我们的分布式训练可以扩展到Theta超级计算机上的2048个Intel Knights Landing（KNL）节点。我们训练的模型达到了相似的推理性能水平，但与以前的方法相比，训练时间更短。我们关于不同批量大小对FFN训练的影响的研究为进一步提高训练效率提供了方法。我们的最佳学习率和批量大小的研究结果与以前的作品。
2019-12-09 cs.DC cs.LG eess.IV
Power-aware applications for scientific cluster and distributed computing
计算硬件的总功率使用是科学集群和分布式计算系统中的重要成本因素。全球大型强子对撞机计算网格（WLCG）是这种分布式计算系统的一个主要例子，主要用于高吞吐量计算（HTC）应用。它的计算能力和功耗可与最大的超级计算机相媲美。预计该系统所需的计算能力在今后十年也将增长。因此，优化这种系统的功率利用和成本是非常有意义的。目前正在进行的许多趋势将为功耗感知优化提供新的机会。我们将讨论如何使用功率感知软件应用程序和调度来降低功耗，无论是作为自治实体还是作为（全局）分布式系统的一部分。作为计算中心的具体示例，我们提供了FNAL的大型HEP重点Tier-1和普林斯顿大学的Tigress高性能计算中心的信息，该中心在大学环境中提供HPC资源。
2014-10-22 cs.DC hep-ex physics.comp-ph
High-Performance Distributed Multi-Model / Multi-Kernel Simulations: A Case-Study in Jungle Computing
高性能科学应用程序需要越来越多的计算能力。多个分布式计算资源的并发使用对于科学进步至关重要。由此产生的分布式系统，即所谓的丛林计算系统，是高度异构和分层的，可能由网格，云，独立机器，集群，桌面网格，移动设备和超级计算机组成，可能带有加速器，如GPU。可以从丛林计算系统中受益的应用程序的一个引人注目的例子是多模型/多内核模拟。在这些模拟中，可能使用不同的技术和编程模型实现的多个模型被耦合到物理系统的单个模拟中。例子包括计算天体物理学和气候建模领域。在本文中，我们研究使用丛林计算系统，这样的多模型/多内核模拟。我们利用的软件开发的Ibis项目，它解决了许多问题时面临的丛林计算系统上运行的应用程序。我们创建了一个原型丛林感知版本的AMUSE，天体物理模拟框架。我们显示初步实验所产生的系统，使用集群，网格，独立的机器，和GPU。
2012-03-01 astro-ph.SR cs.DC
mpiQulacs: A Distributed Quantum Computer Simulator for A64FX-based Cluster Systems
在经典计算机上运行的量子计算机模拟器对于开发真正的量子计算机和新兴的量子应用至关重要。特别是，状态向量模拟器，它将完整的状态向量存储在内存中，并在每次量子操作中更新它，可用于模拟任意形式的量子电路，调试量子应用程序，并验证未来的量子计算机。然而，时间和空间复杂度随着量子比特的数量呈指数级增长，并且很容易超过单个机器的能力。因此，我们开发了一个分布式状态向量模拟器$mpiQulacs$，该模拟器针对基于A64 FX的集群系统上的大规模模拟进行了优化。A64FX是一款基于ARM的CPU，也配备在世界顶级的Fugaku超级计算机中。我们评估了一个新的64节点的A64 FX为基础的集群系统命名为$Todoroki$的mpiQulacs与高达36量子位的弱和强缩放。通过比较mpiQulacs与现有的分布式状态向量模拟器，我们表明，mpiQulacs实现了最高的性能，为数十个节点上的大规模仿真，同时保持一个近乎理想的可扩展性。此外，我们定义了一个新的度量，$quantum B/F ratio$，并使用它来证明运行在Todoroki上的mpiQulacs适合分布式状态向量仿真的要求，而不是现有的模拟器运行在通用的基于CPU或基于GPU的集群系统。
2022-03-30 cs.DC
GreediRIS: Scalable Influence Maximization using Distributed Streaming Maximum Cover
本文提出GreediRIS，一种基于RandGreedi框架和分布式流式最大覆盖的并行近似算法，用于可扩展的影响力最大化，在512节点上实现高达36倍加速，并显著优于现有分布式实现。
2024-08-20 cs.DC
Distributed Equivariant Graph Neural Networks for Large-Scale Electronic Structure Prediction
ETH Zurich（苏黎世联邦理工学院）
本文提出一种分布式等变图神经网络实现，通过GPU直接通信和图划分策略减少嵌入交换，在Alps超算上对最高19万原子结构实现512 GPU下87%并行效率。
2025-07-04 cond-mat.mtrl-sci cs.DC cs.LG
Scalable and Consistent Graph Neural Networks for Distributed Mesh-based Data-driven Modeling
Argonne National Laboratory（阿贡国家实验室）；Pennsylvania State University（宾夕法尼亚州立大学）
提出采用一致神经消息传递层和边界晕节点的分布式GNN方法，并结合NekRS实现可扩展的基于网格的数据驱动建模，在Frontier上扩展至O(1B)节点。
2024-10-02 cs.DC cs.LG physics.comp-ph
High-Throughput Computing on High-Performance Platforms: A Case Study
LHC实验使用的计算系统历史上由数百到数千个分布式资源组成，从小型到中型资源。尽管现有的分布式计算解决方案具有令人印象深刻的规模，但中小型资源的联合将不足以满足预计的未来需求。本文是ATLAS实验如何拥抱泰坦-一个能源部的领导设施与传统的分布式高吞吐量计算，以达到持续的生产规模约52 M核心小时一年的案例研究。本文的三个主要贡献是：（i）对设计和操作考虑因素进行了严格的评估，以支持Titan的持续、可扩展和生产使用;（ii）对PanDA的下一代执行器进行了初步表征，以支持新的工作负载和高级执行模式;以及（iii）当前和未来的实验和观测系统如何与生产超级计算机和其他平台集成，通用和可扩展的方式。
2017-10-28 cs.DC cs.SE
A Framework for HI Spectral Source Finding Using Distributed-Memory Supercomputing
最新一代射电天文学干涉仪将利用由数PB级谱线数据组成的数据产品进行所有天空调查。识别和参数化这些数据中的天体物理源的传统方法无法扩展到这种量级的数据集，因为工作站的性能无法跟上数据的实时生成。为此，需要采用由通过高带宽网络连接的大量处理器组成的高性能计算系统。为了使用这种超级计算机，必须对串行源查找代码进行大量修改。为了简化过渡，这项工作提出了可扩展的源代码框架，一个框架提供存储访问，网络通信和数据组合功能，它可以支持广泛的源查找算法，只要它们可以应用于整个图像的子集。此外，并行高斯源递归是使用SSoFF，利用高斯滤波器，阈值和本地统计来实现的。PGSF能够在24分钟内搜索256GB的模拟数据集，明显少于生成这样一个数据集的8到12小时的观察。
2014-07-18 astro-ph.IM cs.DC
Distributed-Memory Tensor Completion for Generalized Loss Functions in Python using New Sparse Tensor Kernels
张量计算是数据科学中越来越普遍的数值技术，但对高性能实现提出了独特的挑战。我们提供了新的算法和系统的基础设施，使有效的并行实现算法的张量完成广义损失函数。具体来说，我们考虑交替最小化，坐标最小化，和拟牛顿（广义高斯-牛顿）方法。通过扩展Cyclops库，我们用高级Python语法实现了所有这些方法。为了使非常稀疏张量的张量完成成为可能，我们引入了新的多张量原语，为此我们提供了专门的并行实现。我们将这些例程与稀疏张量通过减少到hypersarse矩阵格式的成对收缩进行比较，并发现多张量例程在实验中的理论成本和执行时间方面更有效。我们在Stampede 2超级计算机上提供了微基准测试结果，以证明新原语和Cyclops功能的效率。然后，我们研究了具有100亿个非零值的合成张量和Netflix数据集的张量完成方法的性能，同时考虑最小二乘和泊松损失函数。
2021-05-24 cs.DC cs.MS cs.NA
Inference-optimized AI and high performance computing for gravitational wave detection at scale
Argonne National Laboratory（阿贡国家实验室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Chicago（芝加哥大学）
我们介绍了一个用于引力波探测的人工智能模型集合，我们在Summit超级计算机中使用32个节点（相当于192个NVIDIA V100 GPU）在2小时内进行了训练。完成训练后，我们使用NVIDIA TensorRT优化了这些模型以加速推理。我们在阿贡领导力计算机设施的ThetaGPU超级计算机中部署了我们的推理优化AI集成，以进行分布式推理。使用整个ThetaGPU超级计算机，包括20个节点，每个节点都有8个NVIDIA A100 Tensor Core GPU和2个AMD Rome CPU，我们的NVIDIA TensorRT优化AI集成在50秒内处理了整整一个月的高级LIGO数据（包括Hanford和Livingston数据流）。我们的推理优化AI集成保留了传统AI模型的相同灵敏度，即它识别了先前在这个先进的LIGO数据集中识别的所有已知的二元黑洞合并，并且没有错误分类，同时与传统人工智能模型相比，还提供了3倍的推理加速。我们使用时间幻灯片来量化我们的AI集合处理长达5年的先进LIGO数据的性能。在这个综合增强的数据集中，我们的人工智能集成报告了每个月搜索的高级LIGO数据的平均一个错误分类。我们还使用这个长达5年的高级LIGO数据集展示了我们的AI集合的接收器操作特征曲线。这种方法提供了所需的工具来进行加速，人工智能驱动的引力波检测规模。
2022-02-17 astro-ph.IM cs.AI cs.DC
Distributed Computing in a Pandemic: A Review of Technologies Available for Tackling COVID-19
目前由SARS-CoV-2 β冠状病毒引起的COVID-19全球大流行已导致超过100万人死亡，并产生严重的社会经济影响，因此迫切需要找到解决关键研究挑战的方法。COVID-19的大部分研究都依赖于分布式计算。在本文中，我将回顾分布式架构--各种类型的集群、网格和云--这些架构可用于大规模、高吞吐量、高度并行地执行这些任务，也可用于协作工作。高性能计算（HPC）集群将用于执行大部分工作。用于减少SARS-CoV-2传播的几个大数据处理任务需要高吞吐量方法和Hadoop和Spark提供的各种工具，甚至使用商品硬件。大规模的COVID-19研究还利用了一些世界上最快的超级计算机，例如IBM的SUMMIT -用于针对SARS-CoV-2靶标的集成对接高通量筛选，用于药物再利用和高通量基因分析-以及Sentinel，这是一种基于XPE-Cray的系统，用于探索天然产物。网格计算促进了世界上第一台Exascale网格计算机的形成。这加速了COVID-19研究，通过并行计算对SARS-CoV-2刺突蛋白相互作用进行分子动力学模拟，并使用Folding@home平台使用超过100万台志愿者计算设备进行。网格和云也可以用于国际合作，通过访问重要的数据集和提供服务，使研究人员能够专注于研究，而不是耗时的数据管理任务。
2021-05-18 cs.DC
Fast Support Vector Machines Using Parallel Adaptive Shrinking on Distributed Systems
Washington State University（华盛顿州立大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
支持向量机（SVM）是一种流行的机器学习技术，已经被广泛应用于科学、金融和社交网络等领域，用于监督学习。无论是由卫生保健专业人员识别高风险患者，还是由学区识别潜在的高中生进入大学，支持向量机都可以为社会公益发挥重要作用。本文承担的挑战是设计一个可扩展的并行SVM训练算法的大规模系统，其中包括商品多核机器，紧密连接的超级计算机和云计算系统。直观的技术，以改善时间-空间复杂度，包括自适应消除样本的更快的收敛和稀疏格式表示提出。在样本消除下，提出了几种从{ \em earliest possible}到{ \em lazy}消除无贡献样本的算法。在早期样本消除可能导致误报的若干情况下，提出了用于重构关键数据结构的低开销机制。算法和算法在各种公开的数据集上实现和评估。经验评估显示，当在多个计算节点上进行评估时，与顺序基线相比，某些数据集的速度提高了26倍，并且在许多其他数据集上与我们的并行基线相比，很容易观察到执行时间提高了30-60\%。
2014-06-19 cs.DC cs.LG
Tycoon: A Distributed Market-based Resource Allocation System
像Grid和PlanetLab这样的P2P集群在原则上为计算提供了与Internet为网络提供的相同的统计复用效率增益。未解决的关键问题是资源分配。现有的解决方案在经济上并不高效，并且需要高延迟来获取资源。我们设计并实现了基于拍卖份额调度算法的基于市场的分布式资源分配系统Tycoon。初步结果表明，Tycoon实现了低延迟和高公平性，同时为策略用户提供了讲真话的激励。
2004-04-05 cs.DC cs.MA
A Scalable and Modular Software Architecture for Finite Elements on Hierarchical Hybrid Grids
在这篇文章中，一个新的通用高阶有限元大规模并行模拟框架。模块化软件体系结构经过精心设计，可充分利用现代和未来超级计算机的资源。将非结构化拓扑与结构化网格细化相结合，有助于实现高几何适应性和无矩阵的多重网格，并具有优异的性能。不同的抽象级别和完全分布式的数据结构还确保了高灵活性、可扩展性和可伸缩性。软件概念支持复杂的负载均衡和灵活组合有限元空间。与耦合系统的偏微分方程的示例方案显示的概念，以执行地球物理模拟的适用性。
2018-05-25 cs.DC cs.MS
RosneT: A Block Tensor Algebra Library for Out-of-Core Quantum Computing Simulation
随着更强大的量子计算机的出现，对更大的量子模拟的需求已经增加。随着资源量随着目标系统的规模呈指数级增长，张量网络作为一个最佳框架出现，我们用张量因子分解表示量子态。随着张量网络的范围增加，需要HPC工具进行操作的中间张量的大小也会增加。中型电路的模拟不能适合本地存储器，张量的分布式收缩的解决方案是稀缺的。在这项工作中，我们提出了RosnetT，一个分布式的，核心外块张量代数库。我们使用PyCOMPSs编程模型将张量操作转换为COMPSs运行时处理的任务集合，目标是在现有和即将推出的Exascale超级计算机中执行。我们报告的结果验证我们的方法显示良好的可扩展性，在高达53量子位的量子线路的模拟。
2022-01-17 cs.DC quant-ph
A Data and Model-Parallel, Distributed and Scalable Framework for Training of Deep Networks in Apache Spark
IBM Research India（IBM印度研究院）；CSIR-CEERI（印度科学与工业研究理事会-中央电子工程研究所）；IIT Delhi（印度理工学院德里分校）
训练深度网络既昂贵又耗时，训练周期会随着数据大小和模型参数的增长而增加。在本文中，我们提供了一个在Apache Spark的CPU集群上分布式训练深度网络的框架。该框架实现了数据分类主义和模型分类主义，使其适用于需要大量训练数据和模型参数的深度网络，这些数据和模型参数太大，无法放入单个机器的内存中。它可以很容易地扩展到一个廉价的商品硬件集群上，以实现显着的加速，并获得更好的结果，使其与GPU和超级计算机的农场相比非常经济。我们提出了一种用于训练深度网络的新算法，适用于网络在机器上划分的情况（模型分解），以及详细的成本分析和收敛性证明。我们已经开发了全连接前馈网络，卷积神经网络，递归神经网络和长短期记忆体系结构的实现。我们提出了广泛的模拟结果，展示了我们的框架对于不同大小的数据和模型参数以及工作核心/分区数量的变化所获得的加速和准确性;从而表明我们提出的框架可以实现显着的加速（对于CNN高达11倍），并且也具有相当的可扩展性。
2017-08-19 cs.AI cs.CV cs.DC
A shared compilation stack for distributed-memory parallelism in stencil DSLs
通过将 MLIR 框架适配到 HPC，为 stencil DSL 引入分布式内存并行性的共享编译栈，解决了编译器孤立设计问题，并在 Devito、PSyclone 和 Open Earth Compiler 上验证了其高性能。
2025-03-07 cs.DC cs.MS
Rudder: Steering Prefetching in Distributed GNN Training using LLM Agents
Iowa State University（爱荷华州立大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）；Amazon GenAI（亚马逊生成人工智能）；University of California, Berkeley（加州大学伯克利分校）
Rudder利用LLM代理的生成式AI能力，通过自适应预取减少分布式GNN训练中的通信开销，提升训练性能达91%。
2026-02-26 cs.AI cs.DC cs.LG
