SciTokens: Capability-Based Secure Access to Remote Scientific Data
安全凭证的管理(例如,密码、密钥)是科学家和信息安全官员的负担。凭证问题(例如,过期、特权不匹配)导致工作流无法获取所需的输入数据或存储有价值的科学结果,从而通过要求科学家诊断问题、重新运行他们的计算以及等待更长时间以获得他们的结果而使他们从他们的研究中分心。在本文中,我们介绍了开源软件SciTokens,以帮助科学家更可靠,更安全地管理他们的安全凭证。我们描述了SciTokens系统的架构、设计和实现,解决了激光干涉仪引力波天文台(LIGO)科学合作和大型综合巡天望远镜(LSST)项目的用例。我们还介绍了我们与广泛使用的支持分布式科学计算的软件的集成,包括HTCondor,CVMFS和XrootD。SciTokens使用IETF标准的OAuth令牌,用于基于能力的远程科学数据安全访问。访问令牌传达工作流所需的特定授权,而不是通用认证模拟凭证,以解决在包括NSF资源的分布式基础设施上运行的科学工作流的风险(例如,LIGO数据网格,开放科学网格,XSEDE)和公共云(例如,Amazon Web Services、Google Cloud、Microsoft Azure)。通过提高科学工作流程的互操作性和安全性,SciTokens 1)使分布式计算能够用于需要更大数据保护的科学领域,2)通过降低远程系统上的凭证滥用风险,使更广泛的分布式计算资源能够使用。
2018-07-12 cs.DC
Hardware locality-aware partitioning and dynamic load-balancing of unstructured meshes for large-scale scientific applications
我们提出了一个开放源码的拓扑感知分层非结构化网格划分和负载均衡工具TreePart。该框架提供了强大的抽象功能,可以在运行时自动检测和构建类似硬件的分层MPI拓扑。利用这些信息,它可以智能地在共享和分布式并行算法之间进行选择,以实现分区和负载均衡。它通过与现有的共享和分布式内存并行分区库接口,提供了一系列分区方法。它提供了强大的和可扩展的抽象,如单侧分布式字典和基于MPI3共享内存的光环通信器,用于优化HPC代码。该工具被成功地集成到我们的内部代码,我们目前的结果从一个燃烧问题的大涡模拟。
2020-08-03 cs.DC
SciTokens: Demonstrating Capability-Based Access to Remote Scientific Data using HTCondor
安全凭证的管理(例如,密码、密钥)是科学家和信息安全官员的负担。凭证问题(例如,过期、特权不匹配)导致工作流无法获取所需的输入数据或存储有价值的科学结果,从而通过要求科学家诊断问题、重新运行他们的计算以及等待更长时间以获得他们的结果而使他们从他们的研究中分心。SciTokens为分布式科学计算引入了基于能力的授权基础设施,以帮助科学家更可靠和安全地管理他们的安全凭证。SciTokens使用IETF标准的OAuth JSON Web令牌,用于基于功能的远程科学数据安全访问。这些访问令牌传递工作流所需的特定授权,而不是通用身份验证模拟凭证,以解决在包括NSF资源的分布式基础设施上运行的科学工作流的风险(例如,LIGO数据网格,开放科学网格,XSEDE)和公共云(例如,Amazon Web Services、Google Cloud、Microsoft Azure)。通过提高科学工作流程的互操作性和安全性,SciTokens 1)使分布式计算能够用于需要更大数据保护的科学领域,2)通过降低远程系统上的凭证滥用风险,使更广泛的分布式计算资源能够使用。在这个扩展摘要中,我们介绍了过去一年SciTokens模型的开源实现及其在开放科学网格中的部署,包括在HTCondor 8.8发布系列中添加的新OAuth支持。
2019-05-22 cs.DC
Running a Pre-Exascale, Geographically Distributed, Multi-Cloud Scientific Simulation
当我们接近Exascale时代时,重要的是要验证现有的框架和工具仍然可以在该规模下工作。此外,公共云计算已经成为原型设计和紧急计算的可行解决方案。利用云的弹性,我们因此建立了一个用于在云中运行科学模拟的前exascale HTCondor设置,所选应用程序是IceCube的光子传播模拟。也就是说,这不是一个纯粹的演示运行,但它也被用来为IceCube合作产生有价值和急需的科学成果。为了达到所需的规模,我们将来自Amazon Web Services、Microsoft Azure和Google Cloud Platform的许多地理区域的8种GPU型号的GPU资源进行了聚合。使用这种设置,我们达到了超过51k GPU的峰值,对应于近380个PFLOP32,总集成计算约为100k GPU小时。在本文中,我们提供了设置的描述,发现和克服的问题,以及演习的实际科学输出的简短描述。
2020-02-16 cs.DC
Rucio - Scientific data management
Rucio是一个开源软件框架,为科学合作提供了大规模组织、管理和访问数据的功能。数据可以分布在广泛分布的位置的异构数据中心。Rucio最初是为了满足高能物理实验ATLAS的要求而开发的,现在不断扩展以支持LHC实验和其他不同的科学团体。在本文中,我们将详细介绍Rucio的基本概念,描述其架构以及实现细节,并提供生产使用的操作经验。
2019-06-06 cs.DC
ds-array: A Distributed Data Structure for Large Scale Machine Learning
机器学习已被证明是从许多研究领域的科学数据中提取知识的有用工具,包括天体物理学,基因组学和分子动力学。通常,来自这些研究领域的数据集由于其规模而需要在分布式平台中处理。这可以使用各种可用的分布式机器学习库之一来完成。其中一个库是dislib,这是一个用于Python的分布式机器学习库,专门设计用于在HPC集群上处理大规模数据集,这使得dislib成为分析科学数据的理想候选者。但是,dislib的主要分布式数据结构(称为Dataset)有一些局限性,包括某些操作的性能较差,灵活性和可用性较低。在本文中,我们提出了一种新的分布式数据结构的dislib,称为ds-array,解决了dislib的数据管理的主要局限性。DS-arrays通过公开类似NumPy的API简化了dislib中的分布式数据管理,提供了更大的灵活性,并降低了某些操作的计算复杂性。这导致性能比数据集提高了两个数量级,同时也大大提高了可伸缩性和可用性。
2021-04-20 cs.DC
Power-aware applications for scientific cluster and distributed computing
计算硬件的总功率使用是科学集群和分布式计算系统中的重要成本因素。全球大型强子对撞机计算网格(WLCG)是这种分布式计算系统的一个主要例子,主要用于高吞吐量计算(HTC)应用。它的计算能力和功耗可与最大的超级计算机相媲美。预计该系统所需的计算能力在今后十年也将增长。因此,优化这种系统的功率利用和成本是非常有意义的。目前正在进行的许多趋势将为功耗感知优化提供新的机会。我们将讨论如何使用功率感知软件应用程序和调度来降低功耗,无论是作为自治实体还是作为(全局)分布式系统的一部分。作为计算中心的具体示例,我们提供了FNAL的大型HEP重点Tier-1和普林斯顿大学的Tigress高性能计算中心的信息,该中心在大学环境中提供HPC资源。
2014-10-22 cs.DC hep-ex physics.comp-ph
Astronomical data organization, management and access in Scientific Data Lakes
由于仪器的发展和改进,望远镜档案中存储的数据量不断增加。档案通常需要存储在独立计算中心提供的分布式存储架构上。这样的分布式数据归档需要总体数据管理编排。这种编排包括处理数据存储和编目的工具,以及整合不同存储系统和协议的引导传输,同时了解数据策略和本地性。此外,它还需要一个通用的授权和身份验证基础设施(AAI)层,最终用户将其视为单个实体,并提供透明的数据访问。粒子物理学的科学领域也使用复杂的分布式数据管理系统。欧洲核子研究中心的大型强子对撞机(LHC)加速器的实验每年产生数百PB的数据。这些数据在全球范围内分发给使用国家计算设施的合作伙伴网站和用户。几个创新的工具,成功地解决了分布式计算的挑战,在全球大型强子对撞机计算网格(WLCG)的背景下。在ESCAPE项目和开放科学数据基础设施(DIOS)工作包中正在进行的工作是使用在WLCG背景下开发的工具建立科学数据湖原型,利用不同的物理科学学科解决FAIR标准和开放数据。我们介绍了如何将科学数据湖原型应用于解决天文数据用例。我们将介绍软件栈,并讨论域之间的一些差异。
2022-02-03 astro-ph.IM cs.DC
The National Research Platform: Stretched, Multi-Tenant, Scientific Kubernetes Cluster
本文介绍了国家研究平台(NRP),一个基于 Kubernetes 的跨域多租户分布式科学计算基础设施,通过整合全球 75 个以上地点的异构计算资源支持 AI 等科研负载,并探讨了其安全、监控及计费等运营经验与可扩展性。
2025-05-28 cs.DC
Deep Learning on Operational Facility Data Related to Large-Scale Distributed Area Scientific Workflows
分布式计算平台通过在多个位置(可能在地理上相隔数千英里)之间分割任务和数据来提供执行大规模计算的鲁棒机制。尽管这种资源分布可以带来好处,但是它也伴随着其相关的问题,例如文件传输的猖獗复制增加拥塞、长的作业完成时间、意外的站点崩溃、次优的数据传送率、时间范围内不可预测的可靠性以及存储元件的次优使用。此外,每个子系统都成为可能触发系统范围中断的潜在故障节点。在这篇愿景论文中,我们概述了我们利用深度学习算法来发现解决方案的方法,这些解决方案可以解决具有分布在广泛区域的计算基础设施的系统中出现的独特问题。所提出的愿景,来自Belle II实验的真实科学用例,旨在开发多层神经网络,以解决复杂和分布式数据移动环境中的预测,异常检测和优化挑战。通过这一基于深度学习原理的愿景,我们的目标是减少拥塞事件、加快文件传送率并增强站点可靠性。
2018-04-20 cs.DC cs.LG cs.PF
Introducing SWIRL: An Intermediate Representation Language for Scientific Workflows
针对科学计算中工作流执行的新需求,本文提出面向科学工作流的中间表示语言SWIRL,作为分布式工作流执行计划的底层编译目标,具备底层原语、形式化转换框架与重写优化规则,并已开发出开源编译器工具链。
2024-07-01 cs.DC
COMPASS: Steering Distributed Vector Search with Scientific Knowledge Graphs
University of Chicago(芝加哥大学);Argonne National Laboratory(阿贡国家实验室);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
COMPASS利用知识图谱确定数据放置和查询路由,在生物医学数据上仅搜索13-18%语料库,保持召回率并提升多跳证据恢复,实现可扩展向量搜索。
2026-09-15 cs.DB cs.DC
A Distributed Chunk Calculation Approach for Self-scheduling of Parallel Applications on Distributed-memory Systems
循环调度技术旨在实现科学应用程序的负载平衡执行。用于分布式存储器系统的动态循环自调度(DLS)库通常是基于MPI的,并且采用集中式块计算方法(CCA)来分配循环迭代的可变大小的块。我们提出了一个分布式块计算方法(DCA),支持各种类型的DLS技术。使用CCA和DCA,十二DLS技术的实施和评估在不同的CPU减速的情况下。结果表明,使用DCA实现的DLS技术优于其相应的CCA实现的,特别是在极端的系统减速的情况下。
2021-01-18 cs.DC
High Performance Computing Evaluation A methodology based on Scientific Application Requirements
高性能分布式计算对于促进许多科学领域的科学进步以及有效部署许多复杂的科学应用程序至关重要。这些应用程序具有不同的特性,需要不同的计算资源。在这项工作中,我们提出了一个系统的性能评估方法。我们的方法的重点开始于科学应用的特点,然后考虑这些特点如何相互作用的问题的大小,与程序设计语言,最后与一个特定的计算架构。开发的计算实验突出了这种模型的评估,并表明,最佳性能时,我们发现,评估的应用程序类,程序语言,问题的大小和体系结构模型的组合。
2014-12-03 cs.DC
WIDESim: A toolkit for simulating resource management techniques of scientific Workflows In Distributed Environments with graph topology
针对现有模拟器无法同时支持工作流应用与D2D通信的问题,本文提出WIDESim工具包,可在图拓扑分布式环境中模拟三类科学工作流的动态资源管理,性能接近标准模拟器且具备拓扑无约束等优势。
2023-12-13 cs.DC cs.NI
AstroDS -- A Distributed Storage for Astrophysics of Cosmic Rays. Current Status
目前,天体粒子物理学中的科学数据处理基于各种分布式技术,其中最常见的是网格和云计算。最常讨论的方法集中在大型甚至非常大型的科学实验,如切伦科夫望远镜阵列。相比之下,我们提供专为TAIGA等中小型实验设计的解决方案。在这样的实验中,通常使用历史上开发的特定数据处理方法和专用软件。我们专门为中型实验中的天体粒子物理数据协作设计了一个分布式(云)数据存储。在这篇文章中,我们讨论了我们的工作的现状,以TAIGA和CASCADE实验为例。我们的方法的一个特点是,我们为我们的用户提供科学数据的形式,他们习惯于在当地资源的日常工作。
2020-10-10 astro-ph.IM cs.DC
A Grid Service Broker for Scheduling Distributed Data-Oriented Applications on Global Grids
下一代科学实验和研究,通常被称为电子科学,是由分布在世界各地的研究人员进行的,他们从事分析科学仪器产生的大量数据。网格计算已经成为电子科学的推动者,因为它允许创建虚拟组织,将具有共同目标的社区聚集在一起。在社区内,数据汇集存储或复制在分布式资源上,以增强存储能力或访问效率。在这样的环境中,科学家需要有能力通过透明地访问分布式数据和计算资源来进行研究。在本文中,我们提出并开发了一个网格代理,通过(a)为给定的分析场景发现合适的数据源,(b)合适的计算资源,(c)最佳地将分析作业映射到资源,(d)在选定的资源上部署和监视作业执行,(e)在作业执行期间从本地或远程数据源访问数据,以及(f)整理和呈现结果。该代理支持用于创建网格应用程序的声明式和动态参数化编程模型。我们已经使用这个模型在网格启用高能物理分析应用程序(百丽分析软件框架)。该经纪人已被用于在网格测试平台上部署Belle实验数据分析工作,称为Belle分析数据网格,分布在澳大利亚各地的资源通过GrangeNet互连。
2004-05-06 cs.DC
SOLAR: A Highly Optimized Data Loading Framework for Distributed Training of CNN-based Scientific Surrogates
Indiana University(印第安纳大学);Argonne National Lab(阿贡国家实验室)
基于CNN的代理人在科学应用中已经变得普遍,以取代传统耗时的物理方法。虽然这些代理可以产生令人满意的结果,显着降低计算成本在小的训练数据集,我们的基准测试结果表明,数据加载开销成为主要的性能瓶颈时,训练代理与大数据集。在实践中,代理人通常使用高分辨率的科学数据进行训练,这些数据可以很容易地达到TB级。提出了几种最先进的数据加载器来提高一般CNN训练中的加载吞吐量;然而,当应用于代理训练时,它们是次优的。在这项工作中,我们提出了SOLAR,一个代理数据加载器,可以最终增加加载吞吐量在训练过程中。它利用了我们在基准测试期间的三个关键观察结果,并包含三个新颖的设计。具体地说,SOLAR首先生成一个预定的混洗索引列表,并相应地优化全局访问顺序和缓冲区驱逐计划,以最大限度地提高数据重用和缓冲区命中率。然后,它提出了轻量级计算不平衡和重量级加载工作负载不平衡之间的权衡,以加快整体训练。最后,利用HDF 5对数据访问模式进行了优化,获得了更好的并行I/O吞吐量。我们使用三个科学代理和32个GPU进行的评估表明,SOLAR可以实现比PyTorch数据加载器高出24.4倍的加速,比最先进的数据加载器高出3.52倍。
2022-11-04 cs.DC cs.LG
Jup2Kub: algorithms and a system to translate a Jupyter Notebook pipeline to a fault tolerant distributed Kubernetes deployment
Jup2Kub 是一个软件系统,通过将 Jupyter notebooks 中的科学工作流转换为分布式、高性能的 Kubernetes 环境,解决了其扩展性、容错性和依赖稳定性问题。
2023-11-21 cs.DC cs.SE
Recovery of Distributed Iterative Solvers for Linear Systems Using Non-Volatile RAM
HPC系统是科学研究的关键资源。对计算能力和存储器的需求不断增加,迎来了亿亿次时代,在这个时代,超级计算机被设计为提供巨大的计算能力来满足这些需求。这些复杂的超级计算机由许多计算节点组成,因此预计会遇到频繁的故障和崩溃。数学求解器,特别是迭代线性求解器是许多大规模科学应用中的关键构建块。因此,支持分布式求解器的恢复对于将科学应用扩展到exascale平台是必要的。以前的迭代求解器的恢复方法是基于检查点重新启动(CR),这会导致高的容错开销,或内在的容错,这需要额外的计算时间来收敛失败后。精确状态重构(ESR)被提出作为一种替代机制,以减轻频繁故障对长期计算的影响。ESR已被证明可以提供计算状态的精确重建,同时避免了昂贵的检查点的需要。然而,ESR目前依赖于易失性存储器来实现容错,因此必须在多个节点的RAM中保持冗余,从而导致高存储器和网络开销。最近的超级计算机设计以新兴的非易失性RAM(NVRAM)技术为特征。本文研究了如何利用NVRAM来设计一种基于增强型ESR的恢复机制,该机制更高效,并提供完全的恢复能力。我们的机制,称为in-NVRAM ESR,是基于一种新的MPI单边通信(OSC)在RDMA的实现,并提供充分的弹性,同时显着减少内存占用和时间开销相比,原始的ESR设计(in-RAM ESR)。
2022-08-09 cs.DC
Distributed and Parallel Net Imaging
开发了一个非常复杂的视觉系统,用于检测与宇宙中新行星发现有关的光度变化。传统的成像系统无法处理如此大的负载。实现了一个专用网络来执行自动视觉和决策架构。它允许通过使用两个级别的触发器来进行感兴趣事件的在线判别。该系统甚至可以每天管理许多TB的数据。该体系结构利用了一个分布式并行网络系统的基础上,最多256个标准工作站与微软视窗作为操作系统。
2003-08-22 astro-ph cs.CV cs.DC
Clinically Deployed Distributed Magnetic Resonance Imaging Reconstruction: Application to Pediatric Knee Imaging
Intel Labs(英特尔实验室);University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
磁共振成像能够在没有电离辐射的情况下产生体积图像。尽管如此,长期的收购导致了令人望而却步的长期考试。压缩感测(CS)可以通过子采样实现更快的扫描,同时减少伪影。然而,CS需要显着更高的重建计算,从而将当前的临床应用限制为2D/3D或有限分辨率动态成像。在这里,我们分析的实际限制T2洗牌,四维CS为基础的收购,它提供了清晰的三维各向同性分辨率和多对比度图像在一个单一的扫描。我们对单个机器上的流水线的改进提供了3倍的整体重建加速,这使我们能够添加算法更改以提高图像质量。使用四台机器,我们通过分布式并行化实现了额外的2.1倍改进。我们的解决方案在4节点集群上将医院的重建时间缩短到90秒,从而使其能够在临床上使用。为了理解扩展此应用程序的含义,我们模拟了使用医院中典型的多扫描仪设置运行重建。
2018-09-11 cs.CV cs.DC physics.med-ph
Methods and Experiences for Developing Abstractions for Data-intensive, Scientific Applications
为需要集成各种类型的计算、仪器和数据的科学应用开发软件提出了与商业软件不同的挑战。这些应用程序需要规模,并需要将各种编程和计算模型与不断发展的异构基础设施集成在一起。因此,分布式基础设施的普遍和有效的抽象是至关重要的,然而,科学应用和基础设施的抽象开发过程并没有得到很好的理解。虽然基于理论的系统开发方法适用于定义良好的封闭环境,但它们在为科学系统和应用程序设计抽象方面有严重的局限性。设计科学研究(DSR)方法为设计能够在各个层面处理现实世界复杂性的实用系统提供了基础。与以理论为中心的方法相比,DSR通过构建和严格评估所有工件来强调实践相关性和知识创造。我们展示了DSR如何提供一个定义良好的框架,为分布式系统开发抽象和中间件系统。具体来说,我们解决的关键问题,分布式资源管理异构基础设施的动态范围内的规模,目前限制了许多科学应用的挑战。我们使用的试点抽象,广泛使用的资源管理抽象的高性能,高吞吐量,大数据和流应用程序,作为一个案例研究评估DSR活动。为此,我们分析了研究过程中产生的文物的设计和评估的试点抽象。我们发现DSR为迭代设计和评估系统提供了一个简洁的框架。最后,我们总结经验,总结不同的教训。
2020-03-25 cs.DC cs.SE
Distributed computing of Seismic Imaging Algorithms
技术计算在石油和天然气行业中的主要用途是地球地下的地震成像,这是由在石油勘探和生产期间做出明智的钻井决策的业务需求驱动的。由于勘探区的每口石油/天然气井都要花费数千万美元,因此在合理的时间内制作高质量的地震图像可以大大降低钻“干井”的风险。同样,这些图像也很重要,因为它们可以改善价值数十亿美元的油田中油井的位置。然而,地震成像是非常数据和计算密集型的,其需要处理TB级的数据并且需要Gflop年的计算(使用“flop”来表示每秒的浮点运算)。由于地震成像的数据/计算密集的性质,并行计算用于处理数据以减少编译时间。随着云计算的引入,MapReduce编程模型在并行和分布式系统中[1,2]执行大量处理算法(如生物信息学[3],天文学[4],地质学[5]等)引起了很多关注。在本报告中,我们将调查和讨论当前将地震算法适配到MapReduce编程模型的方法。
2012-04-05 cs.DC physics.geo-ph
Hierarchical Dynamic Loop Self-Scheduling on Distributed-Memory Systems Using an MPI+MPI Approach
计算密集型循环是科学应用中并行性的主要来源。这样的循环通常是不规则的,并且它们的循环迭代的平衡执行对于实现高性能是至关重要的。然而,有几个因素可能导致不平衡的负载执行,例如问题特征、算法和系统变化。动态循环自调度(DLS)技术的目的是减轻这些因素,从而提高应用程序的性能。在分布式存储器系统上,DLS技术可以使用分层的主-工作者执行模型来实现,因此被称为分层DLS技术。这些技术在两个硬件并行级别上自调度循环迭代:跨计算节点和计算节点内。结合消息传递接口(MPI)和开放多处理(OpenMP)的混合编程方法主导了分层DLS技术的实现。MPI-3标准包括在MPI进程之间共享内存区域的特性。该特性引入了MPI+MPI方法,简化了并行科学应用程序的实现。本工作设计和实现分层DLS技术,利用MPI+MPI的方法。四个众所周知的DLS技术被认为是在这里提出的评估。结果表明,所提出的方法相比,混合MPI+OpenMP方法的某些性能优势。
2019-03-22 cs.DC
DaggerFFT: A Distributed FFT Framework Using Task Scheduling in Julia
Northeastern University(东北大学);Massachusetts Institute of Technology(麻省理工学院)
DaggerFFT是一种基于任务调度的Julia分布式FFT框架,通过动态调度提升CPU和GPU集群的FFT性能,实现高达2.6倍的加速。
2026-01-18 cs.DC
The (R)evolution of Scientific Workflows in the Agentic AI Era: Towards Autonomous Science
Oak Ridge National Lab.(橡树岭国家实验室)
提出工作流在智能与组合两维度演进的概念框架与架构蓝图,助力社区迈向完全自主的分布式科学实验室,实现100倍发现加速。
2025-09-12 cs.AI cs.DC
Toward Distributed 3D Gaussian Splatting for High-Resolution Isosurface Visualization
本研究提出3D高斯泼溅的多GPU扩展方案,通过改编Grendel-GS的多GPU后端实现分布式优化,在多数据集上取得显著加速并突破单GPU显存限制,为其在HPC科学可视化中的应用奠定基础。
2025-09-05 cs.DC
A Serverless Engine for High Energy Physics Distributed Analysis
欧洲核子研究中心的大型强子对撞机(LHC)在过去十年中为高能物理(HEP)领域产生了前所未有的数据量。对分析这些数据感兴趣的科学合作通常需要超出单个机器的计算能力。这个问题已经解决了传统的分布式环境中运行的分析,使用有状态的,管理的批处理计算系统。虽然这种方法到目前为止是有效的,但目前对该领域未来计算需求的估计提出了大规模的挑战。这种管理方法可能不是解决这些问题的唯一可行方法,无服务器架构可以提供一种有趣的替代方案,以实现更大的扩展潜力。这项工作描述了一种通过分布式无服务器计算引擎运行真正的HEP科学应用程序的新方法。该引擎基于ROOT(一种成熟的HEP数据分析软件)构建,并将其计算分发到Amazon Web Services Lambda Serverless Platform上的大型并发执行池。由于开发的工具,物理学家能够访问存储在CERN的数据集(也包括那些受限制访问策略限制的数据集),并在其典型环境之外的远程基础设施上处理它。在运行时监控无服务器功能的分析,以收集数据和计算密集型工作负载的性能指标。
2022-06-02 cs.DC
Two Teachers Better Than One: Hardware-Physics Co-Guided Distributed Scientific Machine Learning
EPIC通过硬件和物理协同引导的分布式架构,有效降低通信成本并保持物理保真度,提升科学机器学习在实际应用中的性能。
2026-03-10 cs.AR cs.CE cs.DC
Data Sharing Options for Scientific Workflows on Amazon EC2
高效的数据管理是在分布式环境中实现科学工作流良好性能的关键组成部分。工作流应用程序通常使用文件在任务之间传递数据。当任务被分发时,这些文件或者从一个计算节点传输到另一个计算节点,或者通过共享存储系统访问。在网格和集群中,工作流数据通常存储在网络和并行文件系统上。在本文中,我们研究了一些在云中管理工作流数据的方法。我们在Amazon的EC2上使用三个典型的工作流应用程序进行了实验。我们讨论了我们使用的各种存储和文件系统,描述了我们在EC2上部署它们时遇到的问题,并分析了工作流的性能和成本。
2010-10-22 astro-ph.IM cs.DC
Developing Distributed High-performance Computing Capabilities of an Open Science Platform for Robust Epidemic Analysis
针对疫情分析中计算能力差距,提出开放科学平台OSPREY,实现集成算法驱动的HPC工作流架构,支持可扩展容错任务执行、异步API和多语言方法,以提升流行病分析的稳健性。
2023-05-10 cs.DC
Distributed 3D Gaussian Splatting for High-Resolution Isosurface Visualization
Argonne National Laboratory(阿贡国家实验室);Utah State University(犹他州立大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
提出一种面向HPC的分布式3D-GS流水线,通过跨节点数据划分与多GPU并行训练合并全局渲染,并在分区边界添加幽灵单元和背景掩码消除伪影,在保持图像质量的同时实现大规模科学数据的可扩展可视化。
2025-09-15 cs.DC
Proposal for improvement in the transfer and execution of multiple instances of a virtual image
虚拟化技术允许当前任何应用程序在异构分布式系统上运行任何复杂和昂贵的计算应用程序(科学应用程序就是一个很好的例子),这些系统经常使用网格和云技术,从而大大节省了计算时间。该模型对于科学模拟和计算的大规模执行特别有趣,允许使用科学家通常使用的相同执行环境(未更改)并行执行应用程序。但是,使用和分发大型虚拟映像可能会成为一个问题(高达数十个千兆字节),当试图在大量分布式计算机上发送大量邮件时,这个问题会变得更加严重。这项工作的主要目标是提出一个分析如何实现和建议的虚拟图像假装减少分布式系统中的分发时间的改进(减少大小)。这种分析是在非常具体的要求下完成的,即需要一个操作系统(来宾操作系统)对其执行的某些方面。
2011-08-02 cs.DC
Exascale Deep Learning for Scientific Inverse Problems
Oak Ridge National Laboratory(橡树岭国家实验室);NVIDIA(英伟达);Uber Technologies, Inc.(优步技术公司)
我们在同步分布式深度学习中引入了新的通信策略,包括分散的梯度约简编排和梯度张量的计算图感知分组。这些新技术在计算和通信之间产生了最佳的重叠,并在Summit超级计算机上实现了近线性缩放(0.93)的分布式训练,最多可达27,600个NVIDIA V100 GPU。我们展示了我们的梯度降低技术的背景下,训练一个完全卷积神经网络,以近似解决一个长期存在的科学逆问题,在材料成像。在0.5 PB的数据集大小上进行有效的分布式训练,产生能够对材料进行原子级精确重建的模型,并且在此过程中达到2.15(4)EFLOPS $_{16}$的峰值性能。
2019-09-24 cond-mat.mtrl-sci cs.DC cs.LG
Studying Scientific Data Lifecycle in On-demand Distributed Storage Caches
XRootD系统用于传输、存储和缓存来自高能物理(HEP)的大型数据集。在这项研究中,我们专注于它的能力,分布式按需存储缓存。通过探索2020年至2021年期间的大量日常日志文件,我们试图了解可能为未来缓存设计提供信息的数据访问模式。我们的研究从一组关于文件读取操作、文件生存期和文件传输的汇总统计数据开始。我们观察到,每个文件上的读操作数量几乎保持不变,而读操作的平均大小随着时间的推移而增长。此外,文件往往具有一致的时间长度,在此期间,它们保持打开和使用。基于对高速缓存访问统计数据的全面研究,我们开发了一个高速缓存模拟器来探索不同大小的高速缓存的行为。在一定的大小范围内,我们发现增加XRootD缓存大小可以提高缓存命中率,从而提高整体文件访问速度。特别是,我们发现,将缓存大小从40 TB增加到56 TB可以将命中率从0.62增加到0.89,这是一个显着提高缓存效率的适度成本。
2022-05-11 cs.DC cs.NI cs.SY
Advancing Scientific Discovery and Complex Optimization through Distributed Quantum Neural Networks
National Center for Computational Sciences(国家计算科学中心);Oak Ridge National Laboratory(橡树岭国家实验室)
研究针对现有量子算法局限,提出变分量子优化算法(VQOA)及分布式VQOA(DVQOA),基于量子叠加假设降低电路复杂度等,结合高性能与量子计算,能加速材料优化等任务,优于经典算法,是解决实际问题的通用求解器。
2026-07-24 cs.CE cs.DC quant-ph
Heterogeneous High Throughput Scientific Computing with APM X-Gene and Intel Xeon Phi
电力需求将成为高能物理所使用的分布式高吞吐量计算(DHTC)未来增长的制约因素。性能功耗比是评估计算机体系结构以实现经济高效计算的关键度量。此外,未来的性能增长将来自于具有专用处理器的异构、众核和高计算密度平台。在本文中,我们将研究面向科学计算应用的英特尔至强融核多集成核(MIC)协处理器和Applied Micro X-Gene ARMv 8 64位低功耗服务器片上系统(SoC)解决方案。我们报告我们的软件移植,性能和能源效率的经验,并评估使用这种技术的分布式计算系统的背景下,如全球大型强子对撞机计算网格(WLCG)的潜力。
2014-10-10 cs.DC hep-ex physics.comp-ph
High-Performance Distributed Multi-Model / Multi-Kernel Simulations: A Case-Study in Jungle Computing
高性能科学应用程序需要越来越多的计算能力。多个分布式计算资源的并发使用对于科学进步至关重要。由此产生的分布式系统,即所谓的丛林计算系统,是高度异构和分层的,可能由网格,云,独立机器,集群,桌面网格,移动设备和超级计算机组成,可能带有加速器,如GPU。可以从丛林计算系统中受益的应用程序的一个引人注目的例子是多模型/多内核模拟。在这些模拟中,可能使用不同的技术和编程模型实现的多个模型被耦合到物理系统的单个模拟中。例子包括计算天体物理学和气候建模领域。在本文中,我们研究使用丛林计算系统,这样的多模型/多内核模拟。我们利用的软件开发的Ibis项目,它解决了许多问题时面临的丛林计算系统上运行的应用程序。我们创建了一个原型丛林感知版本的AMUSE,天体物理模拟框架。我们显示初步实验所产生的系统,使用集群,网格,独立的机器,和GPU。
2012-03-01 astro-ph.SR cs.DC
Dynamo -- Handling Scientific Data Across Sites and Storage Media
Dynamo是用于科学数据管理的全栈软件解决方案。Dynamo的架构是模块化的,可扩展的,可定制的,使软件适合管理各种安装规模的数据,从存储在单个位置的几个TB到分布在全球计算网格中的数百个PB。本文记录了Dynamo的核心系统设计,并描述了实现各种数据管理任务的应用程序。简要报告了该系统在CERN大型强子对撞机CMS实验和小型分析装置上的运行经验。
2021-05-16 cs.DC hep-ex
Extremely Scalable Distributed Computation of Contour Trees via Pre-Simplification
针对大规模科学数据集中分布式层次等高线树分析任务内存开销大、阻碍可扩展性的问题,提出预简化策略显著降低内存开销,并在15分钟内构建了包含超5000亿节点的已知最大等高线树。
2025-08-11 cs.CG cs.DC cs.DS
DAME: A Web Oriented Infrastructure for Scientific Data Mining & Exploration
如今,许多科学领域都需要能够处理大量和分布式数据集,并在其上执行复杂的知识提取任务。这一简单的考虑是国际上努力建立虚拟组织,例如虚拟天文台的原因。DAME(数据挖掘与探索)是一个创新的,通用的,基于Web的,符合VObs的分布式数据挖掘基础设施,专门用于使用机器学习方法进行海量数据集探索。DAME最初仅用于处理天文数据,现已发展成为一个通用平台,在人类努力的其他领域也有应用。我们介绍了产品和一个科学案例的简短概述,以及现在发布的Web应用程序的测试版中可用的主要功能的详细描述。
2010-12-08 astro-ph.GA astro-ph.IM cs.DB
IMP Science Gateway: from the Portal to the Hub of Virtual Experimental Labs in Materials Science
“科学网关”(SG)思想是指科学家(或科学社区)与不同软件组件+各种分布式计算基础设施(DCI)(如网格、云、集群)之间的用户友好的直观界面,研究人员可以专注于他们的科学目标,而不太关注软件/DCI的特性。介绍了用于复杂工作流管理和分布式计算资源(如集群、服务网格、桌面网格、云)集成的“IMP Science Gateway Portal”(http:scigate.imp.kiev.ua)。它是在WS-PGRADE和gUSE技术的基础上创建的,其中WS-PGRADE是为科学工作流操作而设计的,而gUSE是为各种异构分布式计算基础设施(DCI)中的并行和分布式计算的可用资源的平滑集成而设计的。典型的科学工作流程,其准备和使用的可能方案。这些科学应用(科学工作流)的几个典型用例被认为是各种纳米结构(石墨烯层的纳米压痕,金属纳米晶体中的缺陷系统弛豫,氮化硼纳米管的热稳定性等)的复杂行为的分子动力学(MD)模拟。用户体验的背景下,其实际应用的MD模拟材料科学,物理学和纳米技术与可用的异构DCI的分析。总之,“科学网关”方法-工作流管理器(类似于WS-PGRADE)+ DCI资源管理器(如gUSE)-提供使用SG门户的机会(如“IMP Science Gateway Portal”),即作为各种虚拟实验室的中心(不同的软件组件+对资源的各种要求)在其实际MD应用的背景下,在材料科学,物理,…
2014-04-22 cond-mat.mtrl-sci cs.CE cs.DC
A Distributed Plug-and-Play MCMC Algorithm for High-Dimensional Inverse Problems
本文提出一种分布式MCMC算法,结合近似数据增强和PnP-ULA,解决大规模高维逆问题,实现可扩展性和不确定性量化,重建性能与其它PnP方法相当。
2026-06-28 cs.DC eess.SP stat.ME
FIRST: Federated Inference Resource Scheduling Toolkit for Scientific AI Model Access
Argonne National Laboratory(阿贡国家实验室);The University of Chicago(芝加哥大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
该研究提出联邦推理资源调度工具包FIRST,通过兼容OpenAI的API实现跨分布式HPC集群的推理即服务,支持多种AI模型与推理后端,自动扩缩资源并维护低延迟节点,满足科学工作流对私有安全AI推理的需求。
2025-10-15 cs.AI cs.DC cs.SE