A Cross-Layer Solution in Scientific Workflow System for Tackling Data Movement Challenge
高性能计算环境下的科学应用越来越复杂,数据密集度越来越高。科学家通常依赖于工作流系统来管理复杂性:简单地将多个处理步骤定义为单个脚本,然后让工作流系统编译它并相应地调度所有任务。许多工作流系统已经被提出并被广泛使用,如Galaxy、Pegasus、Taverna、Kepler、Swift、AWE等,举几个例子。传统上,科学工作流系统使用并行文件系统,如Lustre、PVFS、Ceph或其他形式的远程共享存储系统。因此,数据(包括在工作流执行期间生成的中间数据)需要在计算节点和存储系统之间来回传输,这在I/O操作上引入了显著的性能瓶颈。随着CPU和存储设备之间性能差距的扩大,这一瓶颈预计将变得更糟。最近,我们引入了基于数据路径计算的新概念,以使任务和数据绑定更有效,从而降低数据移动成本。对于工作流系统来说,关键是利用HPC存储层次中的数据局部性:如果数据集存储在计算节点中,靠近工作流任务,则任务可以直接访问它们,从而以更少的网络使用获得更好的性能。最近的一些研究已经完成了关于构建这样的共享存储系统,利用计算节点资源,以服务于具有局部性的HPC工作流,例如Hercules [1]和WOSS [2]等。在本研究中,我们进一步认为,提供计算节点侧存储系统不足以充分利用数据局部性。一个结合存储系统、编译器和运行时的跨层解决方案是必要的。我们以Swift/T [3]这一面向数据密集型应用的工作…
2018-05-16 cs.DC
Exploring the Potential of Carbon-Aware Execution for Scientific Workflows
本文针对科学工作流高能耗与高排放问题,基于真实 Nextflow 工作流、线性功耗模型和区域 CI 数据评估时间迁移、暂停恢复及资源扩缩容,证明碳感知执行具有显著减排潜力。
2025-03-19 cs.DC
Exploring the Genesis Platform Capabilities to Accelerate Scientific Discovery in OPAL
Oak Ridge National Laboratory(橡树岭国家实验室)
本文探索美国能源部 Genesis 平台如何通过提供托管执行、模型分发、受控大模型访问、共享数据和溯源等可复用服务,加速 OPAL 中跨设施植物表型分析实验,以 40 天镍处理活动为例,将约 12 小时人工分析缩短至秒级到分钟级查询。
2026-09-09 cs.DC
Dynamo -- Handling Scientific Data Across Sites and Storage Media
Dynamo是用于科学数据管理的全栈软件解决方案。Dynamo的架构是模块化的,可扩展的,可定制的,使软件适合管理各种安装规模的数据,从存储在单个位置的几个TB到分布在全球计算网格中的数百个PB。本文记录了Dynamo的核心系统设计,并描述了实现各种数据管理任务的应用程序。简要报告了该系统在CERN大型强子对撞机CMS实验和小型分析装置上的运行经验。
2021-05-16 cs.DC hep-ex
Exploring Erasure Coding Techniques for High Availability of Intermediate Data
科学计算工作流生成大量的分布式数据,这些数据是短暂的,但对作业完成时间至关重要。这类数据称为中间数据。实现高数据可用性的一种常见方法是复制数据。然而,在现代科学应用中产生的中间数据的规模越来越大,需要新的存储技术来提高存储效率。作为替代方案,擦除代码可以使用更少的存储空间,同时保持类似的数据可用性。在本文中,我们采用纠删码存储中间数据,并比较其性能与复制。我们还使用平均数据丢失时间(MTTDL)的度量来估计中间数据的生命周期。我们提出了一种算法,主动重新定位数据冗余从脆弱的机器可靠的,以提高数据的可用性与一些额外的网络开销。此外,我们提出了一种算法来分配冗余单元的数据物理上彼此接近的网络上,以减少网络带宽重建数据时,它被访问。
2020-04-13 cs.DC
DAOS for Extreme-scale Systems in Scientific Applications
Exascale I/O计划将需要新的完全集成的I/O模型,这些模型能够提供简单的功能、容错和效率。一种解决方案是分布式异步对象存储(DAOS)技术,其主要设计用于处理下一代NVRAM和NVMe技术,这些技术被设想用于在HPC系统中的计算节点附近提供高带宽/IOPS存储层。与DAOS结合使用,HDF 5库(一个用于科学应用的I/O库)将支持端到端数据完整性、容错、对象映射、索引构建和查询。本文详细介绍了基于DAOS的HDF 5库的实现和性能,并使用三个有代表性的科学应用程序代码。
2017-12-01 cs.DC
Parallel netCDF: A Scientific High-Performance I/O Interface
数据集存储、交换和访问在科学应用中起着至关重要的作用。为此目的,netCDF作为一个可移植的和有效的文件格式和编程接口,这是在许多科学应用领域流行。然而,原始的接口并没有提供一个有效的机制,并行数据存储和访问。在这项工作中,我们提出了一个新的并行接口写入和读取netCDF数据集。此接口是从串行netCDF接口派生而来的,更改最少,但定义了并行访问的语义,并为高性能而定制。底层的并行I/O是通过MPI-IO实现的,通过使用集体I/O优化可以显著提高性能。我们比较了HDF 5的实现策略,并对两者进行了分析。我们的测试表明,编程的便利性和显着的I/O性能的改善与此并行netCDF接口。
2003-06-11 cs.DC
Exploring Fault-Tolerant Erasure Codes for Scalable All-Flash Array Clusters
具有全闪存阵列的大规模系统在许多计算领域变得越来越普遍。为了使这样的系统具有弹性,我们可以采用诸如Reed-Solomon(RS)码的擦除编码作为复制的替代方案,因为擦除编码引起的存储开销比复制低得多。为了了解使用擦除编码对系统性能和其他系统方面(如CPU利用率和网络流量)的影响,我们构建了一个存储集群,该集群由大约100个处理器内核和50多个高性能固态驱动器(SSD)组成,并使用流行的开源分布式并行文件系统(称为Ceph)对集群进行评估。具体来说,我们从以下五个角度分析采用擦除编码的系统的行为,并与另一个使用复制的系统进行比较:(1)存储系统I/O性能;(2)计算和软件开销;(3)I/O放大;(4)存储节点之间的网络流量;(5)物理数据布局对RS编码SSD阵列性能的影响。对于所有这些分析,我们研究了两个代表性的RS配置,使用谷歌文件系统,并将其与三重复制采用一个典型的并行文件系统作为默认的容错机制。最后,我们从集群中收集了96个块级跟踪,并将它们发布到公共领域供其他研究人员使用。
2019-06-12 cs.DC
A Multi-Protocol, Secure, and Dynamic Data Storage Integration Frameworkfor Multi-tenanted Science Gateway Middleware
科学网关是以用户为中心的端到端网络基础设施,用于管理分布式资源上的科学数据和计算软件的执行。为了简化科学网关的创建和管理,我们采用了一种多租户、平台即服务的方法,该方法允许多个网关前端(门户)与一个统一的中间件集成,该中间件管理数据的移动和多个后端科学计算资源上工作流的执行。这种方法面临的一个重要挑战是提供端到端数据移动和管理解决方案,允许网关用户将自己的数据存储与网关平台集成。这些用户提供的数据存储可以包括商业的基于云的对象存储系统、通过API(例如REST端点)访问的第三方数据存储以及用户自己的本地存储资源。在本文中,我们提出了一个解决方案的设计和实现的基础上集成的托管文件传输(MFT)服务(Airavata MFT)到平台。
2021-07-08 cs.DC
Web Toolkit for Scientific Research: State of the Art and the Prospect for Development
本文探讨了当前的趋势,在设计系统,方便和安全的远程作业提交到各种计算机资源,包括超级计算机,计算机集群,云资源,数据存储和数据库,网格基础设施的授权用户,以及远程作业监控和获得的结果。目前,高性能的计算和存储资源能够独立解决科学技术领域的大多数实际问题。因此,新一代中间件的开发重点从全球网格系统转移到构建方便、高效的Web平台,以实现对单个计算资源的远程访问。本文探讨了构建的一般原则,并简要介绍了Web平台的一些具体实现。
2016-03-31 cs.DC
OASIS: Object-based Analytics Storage for Intelligent SQL Query Offloading in Scientific Tabular Workloads
针对现有支持计算的对象存储系统在输出格式灵活性、算子支持范围、深层存储层级优化上的不足,本文提出OASIS系统,实现灵活输出、复杂算子支持与动态路径选择,在HPC科学查询场景下较现有方案最高提升32.7%的性能。
2025-09-02 cs.DB cs.DC
Exploring DAOS Interfaces and Performance
本文探讨了利用NVM设备的DAOS对象存储的多种I/O接口,通过基准测试分析其性能,并与同类系统比较,展示了其在高性能I/O上的潜力与灵活性。
2024-09-27 cs.DC
Exploring Application Performance on Emerging Hybrid-Memory Supercomputers
下一代超级计算机将具有更多的层次和异构内存系统,不同的内存技术并行工作。一个关键的问题是,在大规模现有的HPC应用程序和新兴的数据分析工作负载是否会在这些系统上提高或降低性能。我们提出了一个系统和公平的方法来确定新兴的混合存储器系统的应用程序性能的趋势。我们将下一代超级计算机的存储系统建模为“快”和“慢”存储器的组合。然后,我们分析了各种工作负载的性能和动态执行特性,从传统的科学应用到新兴的数据分析,以比较传统和混合内存系统。我们的研究结果表明,数据分析应用程序可以明显受益于新的系统设计,特别是在大规模。此外,混合存储器系统不会惩罚传统的科学应用程序,这也可能显示出性能改进。
2017-04-26 cs.DC
AstroDS -- A Distributed Storage for Astrophysics of Cosmic Rays. Current Status
目前,天体粒子物理学中的科学数据处理基于各种分布式技术,其中最常见的是网格和云计算。最常讨论的方法集中在大型甚至非常大型的科学实验,如切伦科夫望远镜阵列。相比之下,我们提供专为TAIGA等中小型实验设计的解决方案。在这样的实验中,通常使用历史上开发的特定数据处理方法和专用软件。我们专门为中型实验中的天体粒子物理数据协作设计了一个分布式(云)数据存储。在这篇文章中,我们讨论了我们的工作的现状,以TAIGA和CASCADE实验为例。我们的方法的一个特点是,我们为我们的用户提供科学数据的形式,他们习惯于在当地资源的日常工作。
2020-10-10 astro-ph.IM cs.DC
Exploring Novel Data Storage Approaches for Large-Scale Numerical Weather Prediction
The University of Edinburgh(爱丁堡大学)
本文评估了DAOS和Ceph在HPC和AI应用中的性能,发现DAOS在可扩展性和灵活性上优于Ceph和Lustre,为大规模I/O提供了新的解决方案。
2026-02-19 cs.DB cs.DC
Cold Storage Data Archives: More Than Just a Bunch of Tapes
从地球观测计划、射电天文学巡天和高能物理等大型科学实验中获得的大量可用传感器和衍生数据已经超过了全球每年制造的存储硬件。为此,冷存储数据归档是科学、数据密集型应用领域中现代大数据分析的先锋,但经常被忽视。虽然高性能数据分析受到了研究界的广泛关注,但在设计和部署冷存储归档方面越来越多的问题却很少受到关注。在本文中,我们采取的第一步弥合这一差距的知识,提出了四个现实世界的冷存储档案从三个不同的应用领域的分析。在此过程中,我们强调了(i)将这些归档与传统的性能敏感型数据分析区分开来的工作负载特征,(ii)为这些归档构建冷存储系统所涉及的设计权衡,以及(iii)迁移到公共云的部署权衡。基于我们的分析,我们讨论了其他几个重要的研究挑战,需要解决的数据管理社区。
2019-04-09 cs.DB cs.DC
The CORE Storage Primitive: Cross-Object Redundancy for Efficient Data Repair & Access in Erasure Coded Storage
擦除码是许多针对大数据的分布式存储系统的组成部分,因为它们提供了低开销的高容错性。然而,传统的擦除码在降级环境中读取存储的数据(当节点可能不可用时)以及补充丢失的数据(对于长期弹性至关重要)时效率低下。因此,新的代码优化,以应付分布式存储系统的细微差别正在大力研究。在本文中,我们采取了一种工程替代方案,探索使用简单而成熟的技术-并列的RAID-4像奇偶校验的标准擦除码。我们进行了分析研究,以确定这种方法的有效性,传统的以及一些新的代码。我们建立在这项研究的基础上,设计核心,一个通用的存储原语,我们集成到HDFS。我们在专有集群和EC2中对该实现进行了基准测试。实验结果表明,与传统的纠删码相比,CORE在恢复单个故障节点时占用的带宽减少了50%,恢复速度提高了75%,而在恢复双节点故障时,恢复速度分别提高了15%和60%。
2013-06-26 cs.DC
Data Sharing Options for Scientific Workflows on Amazon EC2
高效的数据管理是在分布式环境中实现科学工作流良好性能的关键组成部分。工作流应用程序通常使用文件在任务之间传递数据。当任务被分发时,这些文件或者从一个计算节点传输到另一个计算节点,或者通过共享存储系统访问。在网格和集群中,工作流数据通常存储在网络和并行文件系统上。在本文中,我们研究了一些在云中管理工作流数据的方法。我们在Amazon的EC2上使用三个典型的工作流应用程序进行了实验。我们讨论了我们使用的各种存储和文件系统,描述了我们在EC2上部署它们时遇到的问题,并分析了工作流的性能和成本。
2010-10-22 astro-ph.IM cs.DC
Studying Scientific Data Lifecycle in On-demand Distributed Storage Caches
XRootD系统用于传输、存储和缓存来自高能物理(HEP)的大型数据集。在这项研究中,我们专注于它的能力,分布式按需存储缓存。通过探索2020年至2021年期间的大量日常日志文件,我们试图了解可能为未来缓存设计提供信息的数据访问模式。我们的研究从一组关于文件读取操作、文件生存期和文件传输的汇总统计数据开始。我们观察到,每个文件上的读操作数量几乎保持不变,而读操作的平均大小随着时间的推移而增长。此外,文件往往具有一致的时间长度,在此期间,它们保持打开和使用。基于对高速缓存访问统计数据的全面研究,我们开发了一个高速缓存模拟器来探索不同大小的高速缓存的行为。在一定的大小范围内,我们发现增加XRootD缓存大小可以提高缓存命中率,从而提高整体文件访问速度。特别是,我们发现,将缓存大小从40 TB增加到56 TB可以将命中率从0.62增加到0.89,这是一个显着提高缓存效率的适度成本。
2022-05-11 cs.DC cs.NI cs.SY
Astronomical data organization, management and access in Scientific Data Lakes
由于仪器的发展和改进,望远镜档案中存储的数据量不断增加。档案通常需要存储在独立计算中心提供的分布式存储架构上。这样的分布式数据归档需要总体数据管理编排。这种编排包括处理数据存储和编目的工具,以及整合不同存储系统和协议的引导传输,同时了解数据策略和本地性。此外,它还需要一个通用的授权和身份验证基础设施(AAI)层,最终用户将其视为单个实体,并提供透明的数据访问。粒子物理学的科学领域也使用复杂的分布式数据管理系统。欧洲核子研究中心的大型强子对撞机(LHC)加速器的实验每年产生数百PB的数据。这些数据在全球范围内分发给使用国家计算设施的合作伙伴网站和用户。几个创新的工具,成功地解决了分布式计算的挑战,在全球大型强子对撞机计算网格(WLCG)的背景下。在ESCAPE项目和开放科学数据基础设施(DIOS)工作包中正在进行的工作是使用在WLCG背景下开发的工具建立科学数据湖原型,利用不同的物理科学学科解决FAIR标准和开放数据。我们介绍了如何将科学数据湖原型应用于解决天文数据用例。我们将介绍软件栈,并讨论域之间的一些差异。
2022-02-03 astro-ph.IM cs.DC
An Empirical Study of the Repair Performance of Novel Coding Schemes for Networked Distributed Storage Systems
擦除编码技术正被集成到网络分布式存储系统中,作为一种以比传统复制更少的存储开销为代价提供容错的方式。Reddit是通过修复机制随时间推移而维护的,这可能需要大量的网络资源开销。近年来,一些为分布式存储量身定制的新代码已经被提出来优化存储开销和修复,例如最小化每次修复流量的再生码,或最小化每次修复所接触的节点数量的自修复码。然而,这些编码技术的现有研究主要是理论上的,在简化的假设下,只有一个对象被存储。它们忽略了实际系统必须解决的许多实际问题,例如数据放置,多个存储对象的去相关,或者当多个对象同时修复时对有限网络资源的竞争。本文实证研究了这些新的存储为中心的代码相对于经典的纠删码的修复性能,通过模拟现实的情况下,探索的相互作用的代码参数,故障特征和数据的放置方面的权衡带宽的使用和速度的修复。
2012-06-11 cs.DC
The ISTI Rapid Response on Exploring Cloud Computing 2018
Information Science & Technology Institute (ISTI)(信息科学与技术研究所(ISTI));Los Alamos National Laboratory (LANL)(洛斯阿拉莫斯国家实验室(LANL));Amazon Web Services (AWS)(亚马逊网络服务(AWS));Amazon Web Services(亚马逊网络服务)
本报告描述了18个项目,这些项目探索了如何在国家实验室将商业云计算服务用于科学计算。这些演示包括在云环境中部署专有软件,以及利用已建立的基于云的分析工作流来处理科学数据集。总的来说,这些项目是成功的,它们共同表明,云计算可以成为国家实验室科学计算的宝贵计算资源。
2019-01-04 cs.DC cs.LG
Effectiveness and predictability of in-network storage cache for scientific workflows
University of California at Berkeley(加州大学伯克利分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);Energy Sciences Network(能源科学网络);University of California at San Diego(加州大学圣迭戈分校);California Institute of Technology(加州理工学院)
针对科学合作中远端共享数据重复访问导致的高延迟与带宽占用问题,研究了高能物理实验的PB级网内缓存的有效性,验证了其流量削减效果,并构建可准确预测缓存行为的机器学习模型,支撑资源规划。
2023-07-20 cs.DC cs.LG cs.NI
Exploring Autoencoder-based Error-bounded Compression for Scientific Data
University of California, Riverside(加州大学河滨分校);Argonne National Laboratory(阿贡国家实验室);Washington State University(华盛顿州立大学);Missouri University of Science and Technology(密苏里科技大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文探索使用卷积自编码器改进科学数据的误差有界有损压缩,提出基于SZ模型的误差有界框架,优化块大小和潜在向量压缩效率,在五个真实数据集上表现出优于SZ2.1和ZFP的竞争力。
2023-10-21 cs.AI cs.DC cs.LG
Exploring the Behavior of Coherent Accelerator Processor Interface (CAPI) on IBM Power8+ Architecture and FlashSystem 900
Coherent Accelerator Processor Interface(CAPI)是一个通用术语,用于表示为连接到IBM POWER 8+ System的闪存提供高吞吐量和低延迟路径的基础设施。CAPI加速卡作为对等体连贯地连接到Power8+处理器。这消除了IO子系统的开销和复杂性,并允许加速器作为应用程序的一部分进行操作。在本文中,我们提出了实验的结果,IBM FlashSystem 900(FS 900)与CAPI加速卡使用“CAPI-Flash IBM数据引擎NoSQL软件”库。此库提供应用程序,通过用户空间API对底层闪存存储进行直接存取,以管理和访问闪存中的数据。这将内核IO驱动程序功能卸载到专用CAPI FPGA加速器硬件。我们使用CAPI加速卡进行了实验,以分析FS 900的性能,使用关键值层API,采用NASA的MODIS陆地表面反射率数据集作为大型数据集用例。我们通过改变线程的数量,对大小从1 MB到3 TB的数据集执行读和写操作。然后,我们将此性能与其他异构存储和内存设备(如NVM,SSD和RAM)进行了比较,而无需在同步和异步文件IO操作模式下使用CAPI加速器。结果表明,FS 900和CAPI,加上RAM中的元数据缓存,提供了最高的IO/s和OP/s的读操作。这比仅仅使用RAM更高,同时使用更少的CPU资源。在FS 900、SSD和NVM中,FS…
2019-09-12 cs.DC
ERMrest: an entity-relationship data storage service for web-based, data-oriented collaboration
科学发现越来越依赖于科学家获取、整理、整合、分析和共享大量不同数据集的能力。虽然细节因领域而异,但这些数据通常由各种数字资产(例如图像文件,序列数据或模拟输出)组成,这些数字资产以复杂的关系和上下文组织,这些关系和上下文可能会在调查过程中演变。此外,发现通常是协作的,使得数据及其组织上下文的共享是高度期望的。用于管理文件或资产元数据的常见系统隐藏其固有的关系结构,而传统的关系数据库系统不扩展到科学调查中常见的分布式协作环境。为了解决这些问题,我们引入了ERMrest,一个协作的数据管理服务,它允许一般的实体关系建模的RESTful访问方法操纵的元数据。我们提出的设计标准,架构和服务的实现,以及描述一个生态系统的工具和服务,我们已经创建的元数据集成到一个端到端的科学数据生存周期。ERMrest已部署到多个科研社区和项目的数百名用户。我们提出了两个有代表性的用例:一个国际联盟和一个早期的多学科研究项目。
2016-10-19 cs.DB cs.DC cs.DL
ParaLog: Consistent Host-side Logging for Parallel Checkpoints
University of Edinburgh(爱丁堡大学);RIKEN R-CCS(理化学研究所计算科学研究中心);KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出分布式主机端日志方法 ParaLog,在保持 MPI 应用崩溃一致性的同时透明加速科学应用,并在多云与 HPC 环境中验证其可降低 13%–26% 执行时间。
2025-10-21 cs.DC cs.PF
LLMoxie: Exploring Agentic AI for Scientific Software Development
eScience Institute University of Washington(eScience研究院华盛顿大学)
研究针对科学软件开发中现有AI编码代理的不足,介绍LLMoxie平台及其插件生态系统,通过实践总结多域研究软件工程师中心采用智能AI的挑战、平台设计及操作经验,提升AI编码代理能力。
2026-07-07 cs.AI cs.DC cs.MA
Error-bounded Point Cloud Compression Using Truncated Octahedron Quantization
Temple University(天普大学);Florida State University(佛罗里达州立大学);Argonne National Laboratory(阿贡国家实验室)
针对现有点云压缩技术不适用于密集科学数据的问题,提出基于截角八面体量化的XnYZip压缩器,可提升压缩比与处理速度,降低存储开销。
2026-08-04 cs.DB cs.DC cs.PF
Using Provenance to support Good Laboratory Practice in Grid Environments
进行实验和记录结果是科学家的日常工作。良好和可追溯的文件使其他科学家能够确认程序和结果,以提高可信度。文件和科学行为受到监管,并被称为“良好实验室规范”。“实验室笔记本用于记录进行实验和处理数据的每一步。最初,这些笔记本是基于纸张的。由于计算机化的研究系统,所获得的数据变得更加精细,从而增加了对具有数据存储、计算功能和可靠的电子文档的电子笔记本的需求。作为一种新的方法,科学数据管理系统(数据库)的可追溯性文件的功能得到了增强。来源记录用于满足可追溯性的要求,该信息可以在以后进行查询以供进一步分析。DataBase对于科学文档还有其他重要的特性:它采用了异构和分布式数据存储的概念。这使得能够访问不同类型的数据存储系统(例如,G.网格数据基础设施、文件服务器)。在本章中,我们将描述一些可用或接近完成的开发的构建块。这些组件旨在组装一个电子实验室笔记本用于网格环境中,同时保持最大的灵活性,使用场景以及最大的兼容性相互重叠。通过使用这样一个系统,出处可以成功地用于跟踪研究数据的准备、执行、评价、解释和存档的科学工作流程。研究结果的可靠性提高,研究过程对远程研究伙伴保持透明。
2011-12-13 cs.CE cs.DB cs.DC
User-Defined Functions for HDF5
科学数据集以其具有挑战性的存储需求和转换其信息的相关处理管道而闻名。其中一些处理任务包括过滤、清理、聚合、规范化和数据格式转换--所有这些都会生成更多的数据。在本文中,我们提出了一种HDF 5文件格式的基础设施,使数据集值能够动态填充:任务相关的脚本可以附加到HDF 5文件中,并且仅在应用程序读取数据集时执行。我们提供了支持用户定义函数(UDF)的软件架构的详细信息,以及它如何与硬件加速器和计算存储集成。此外,我们描述了内置的安全模型,限制系统资源的UDF可以访问。最后,我们提出了几个用例,展示了如何使用UDF以超出本工作原始范围的方式扩展科学数据集。
2021-09-24 cs.DC cs.PL
Trigger detection for adaptive scientific workflows using percentile sampling
科学模拟和HPC架构的复杂性日益增加,这推动了对自适应工作流的需求,其中计算和数据操作步骤的组成和执行动态地取决于模拟本身的演变状态。例如,考虑数据存储的频率。模拟的关键阶段应该以高频率和高保真度进行捕获,以进行后期分析,但是由于数据移动的高成本,我们无法为完整模拟保留相同的频率。相反,我们可以寻找触发器,即模拟将进入关键阶段的指示器,并相应地调整工作流程。我们提出了一种检测触发器的方法,并证明其使用直接数值模拟湍流燃烧使用S3 D。我们表明,化学爆炸模式分析(CEMA)可以用来设计一个噪声耐受指标快速增加的热释放。然而,CEMA值的穷举计算占主导地位的总模拟,因此是昂贵的。为了克服这个瓶颈,我们提出了一种分位数抽样方法。我们的算法带有可证明的误差/置信界限,作为样本数量的函数。最重要的是,样本的数量是独立的问题的大小,因此我们提出的算法提供了完美的可扩展性。均质充量压燃(HCCI)和反应性控制压燃(RCCI)模拟实验表明,该方法能够检测到放热的快速增加,且计算开销可以忽略不计。我们的研究结果将用于动态工作流程的数据存储和网格分辨率在未来的燃烧模拟决策。建议的框架是可推广的,我们详细介绍了它如何可以应用到广泛的一类科学模拟工作流程。
2015-06-27 cs.CE cs.DC cs.MS