Adapting The Secretary Hiring Problem for Optimal Hot-Cold Tier Placement under Top-$K$ Workloads
Top-K查询是信息检索中的一种启发式查询。本文提出了一种方法，最佳分层存储分配流处理工作负载下使用这种启发式：那些只需要分析顶部的$K$排名最相关的，或最有趣的，文件从一个固定长度的流，流窗口，或批处理作业。在该工作流中，利用用户指定的兴趣度函数来分析文档的相关性，基于该兴趣度函数对文档进行排名，选择（并因此存储）顶部$K$以用于进一步处理。此工作流程允许人在回路系统中，包括监督机器学习，以优先考虑文档。这种情况与经典的秘书招聘问题（SHP）相似，并且文档写入的预期速率和文档生命周期可以建模为文档索引的函数。我们提出了基于参数的算法存储层的位置，最大限度地减少文件的存储和运输成本。我们表明，最佳参数值是这些成本的函数。可以为这类工作负载先验地建模应用程序IO行为。当与分层存储结合使用时，IO概率模型的易处理性使得优化层分配变得容易，从而产生简单的分析解决方案。此相反分层存储优化方面的现有工作（通常很复杂），这些工作要么与特定使用情形紧密结合，要么需要主动监视应用程序IO负载（反应式方法）-不适合科学计算领域中常见的长期运行或一次性操作。我们用生物化学模型探索的跟踪驱动模拟来验证我们的模型，并给出了两个云存储案例研究的工作示例。
2019-03-12 cs.DC
Composable Industrial Internet Applications for Tiered Architectures
单一供应商无法提供完整的IIoT端到端解决方案，因为需要多方合作。互操作性是一个关键的体系结构质量。功能、信息和配置的可组合性是互操作性的先决条件，由数据存储基础设施和定义的接口集支持以构建应用程序。数据和算法的安全收集、传输和存储是协作参与任何IIoT解决方案的期望。参与者需要控制其数据所有权和机密性。我们提出了一个物联网，服务和人（IoTSP）的应用程序开发和管理框架，其中包括组件的数据存储，算法设计和包装，以及计算执行。应用程序使用按层组织的平台服务集群和对数据的本地访问来降低复杂性并增强可靠的数据交换。由于跨层通信的可靠性较低，因此当通信可用时，将在存储副本之间同步数据。平台服务提供了一个通用的生态系统来交换数据，将数据存储、应用程序和处理数据的组件联合起来。使用共享工具和设施管理层的配置和协调。该平台将数据存储组件提升为应用程序的对等体，其中每个数据所有者控制何时以及与服务提供商共享多少信息。服务组件和应用程序使用本地事件和数据交换通信信道安全地集成。这种分层架构减少了网络攻击面，并使各个层能够自主运行，同时解决互操作性问题。我们提出了我们的框架，使用预测性维护作为一个例子，并评估我们的愿景与一组新兴的标准的兼容性。
2016-02-16 cs.CY cs.DC
TierCheck: Tiered Checkpointing for Fault Tolerance in Large Language Model Training
Northwestern Polytechnical University（西北工业大学）；The Chinese University of Hong Kong（香港中文大学）；National University of Defense Technology（国防科技大学）
本文提出TierCheck，一种基于集群意识的分层检查点系统，通过将存储位置与故障异质性对齐，实现轻量级差异检查点在本地和对等内存中的快速本地恢复，同时异步迁移重型基础检查点到远程持久化存储，从而在低开销持久性和快速恢复之间取得最佳平衡。
2026-05-18 cs.AI cs.DC
TierBase: A Workload-Driven Cost-Optimized Key-Value Store
本文提出面向键值存储的空间-性能成本模型，并据此设计蚂蚁集团的分布式键值存储TierBase，通过缓存与存储层数据同步、预训练压缩、弹性线程和持久内存等技术优化成本，实验及生产案例显示其最高可降低62%成本。
2025-05-10 cs.DB cs.DC
Consideration for effectively handling parallel workloads on public cloud system
我们检索并分析了富士通K5云服务的并行存储工作负载，以阐明如何构建具有成本效益的混合存储系统。混合存储系统由快速但低容量的层（第一层）和慢速但高容量的层（第二层）组成。而且，它通常由SSD和HDD或NVM和SSD组成。结果，我们发现：1）仅当工作负载包括一整天的大量IO访问时，才应分配第一层的区域，2）包括大量IO访问的区域应动态选择并在短时间间隔内从第二层移动到第一层，以及3）如果高速缓存命中率通常较低，则应取消对工作负载的高速缓存的使用，并且整个工作负载区域应该被分配给第一层的区域。这些工作量已经从SNIA网站上发布。
2020-08-14 cs.DC cs.DS cs.OS
Establishing Applicability of SSDs to LHC Tier-2 Hardware Configuration
在高随机I/O环境中，固态硬盘技术正日益取代高速硬盘作为存储技术。在典型的LHC Tier-2中有几个潜在的I/O绑定服务-在后端，随着多核架构的趋势继续，运行许多单线程作业的工作节点和同时提供许多文件的存储节点都可以表现出I/O有限的效率。我们估计负担得起的SSD的工作节点的上下文中的有效性，在一个大型的第2层生产设置使用低级别的工具和真正的LHC I/O密集型数据分析工作比较和对比高性能旋转磁盘的解决方案。我们根据每个解决方案的性价比指标来考虑其适用性，同时关注第2层配置和升级所面临的实际问题
2011-02-15 cs.DC
Characterizing the Dilemma of Performance and Index Size in Billion-Scale Vector Search and Breaking It with Second-Tier Memory
本文首次刻画了十亿级向量搜索中 SSD 上图索引与聚类索引的性能-索引规模两难困境，提出以 RDMA/CXL 连接的二级内存为核心重新设计索引结构和执行引擎，在多种二级内存设备上以数量级更小的索引放大率实现最优性能，并给出两种索引的选型对比。
2024-05-07 cs.DB cs.DC cs.IR
ScotGrid: Providing an Effective Distributed Tier-2 in the LHC Era
ScotGrid是英国的一个分布式二级中心，在达勒姆、爱丁堡和格拉斯哥设有站点。ScotGrid在硬件方面进行了巨大的扩展，现在为LHC VO提供了超过4 MSI 2K和500 TB的容量。扩展到这一水平的供应给Tier-2带来了许多挑战，我们在本文中展示了我们如何采用新的方法来组织中心，从结构管理和监控到站点的远程管理，再到管理和运营程序，以应对这些挑战。我们描述了我们如何应对不同的运营模式在网站上，格拉索和达勒姆网站管理“内部”，但在爱丁堡的资源作为一个中央大学资源管理。这需要在Edinburgh采用不同的结构管理模型，并与集群管理员进行特殊约定。本地和网格提交的不同工作模式带来了挑战，需要特别注意解决。我们展示了ScotGrid如何成功地为ATLAS和LHCb Monte Carlo生产提供基础设施。已特别注意确保用户分析的有效运作，这就需要优化本地存储和联网，以满足用户分析的需求。最后，虽然这些第二层资源是承诺给整个VO，我们已经建立了密切的联系，我们当地的物理用户社区作为最好的方式，以确保第二层功能有效地作为一部分的大型强子对撞机网格计算框架。
2009-10-23 cs.DC
DT-RAID: A Software-Defined Tiered RAID Architecture for Heterogeneous SSDs
Macronix Inc.（旺宏电子）；IBM Research Zurich（IBM 苏黎世研究实验室）；National Taiwan University（国立台湾大学）；National Tsing Hua University（国立清华大学）；National Cheng Kung University（国立成功大学）
针对异构SSD集成难题，提出DT-RAID分层RAID架构，通过条带级热度跟踪实现热数据动态放置，性能提升6.8倍，寿命延长20.9倍。
2026-09-16 cs.AR cs.DC
Analyzing a Two-Tier Disaggregated Memory Protection Scheme Based on Memory Replication
针对内存复制与纠错码结合易产生冗余开销的问题，提出RAMP模型以优化两层解耦内存保护策略，实验显示其可将保护存储成本从27%降至17.7%，且性能开销极小。
2025-02-24 cs.AR cs.DC
Dynamic Adaptation in Data Storage: Real-Time Machine Learning for Enhanced Prefetching
本研究提出一种集成流式分类模型的创新框架，用于预测多层存储系统中的文件访问模式（如下一文件偏移量），相比传统批量模型，显著提升了预测准确率、内存效率与系统适应性。
2025-01-28 cs.DC cs.LG cs.OS
An Algorithm for Network and Data-aware Placement of Multi-Tier Applications in Cloud Data Centers
今天的云应用程序由复合应用程序主导，复合应用程序包括多个计算和数据组件，它们之间具有很强的通信相关性。虽然云提供商正在部署大量的计算和存储设备来满足对计算和存储资源不断增长的需求，但网络资源需求正在成为性能瓶颈的关键领域之一。针对数据中心中多层应用的虚拟组件（计算和数据）的网络感知放置问题，将其形式化地定义为一个优化问题。虚拟机和数据块的同时放置旨在减少数据中心网络基础设施的网络开销。提出了一种贪婪启发式的按需应用组件的布局，本地化的网络流量在数据中心互连。这种优化有助于减少上层网络交换机中的通信开销，最终将减少数据中心的总体流量。反过来，这将有助于减少数据包传输延迟，提高网络性能，并最大限度地减少网络组件的能耗。实验结果表明，该算法的性能优于其他方法，它优于国家的最先进的网络感知的应用程序放置算法在所有性能指标，通过降低平均网络成本高达67%，网络使用率在核心交换机高达84%，以及增加应用程序部署的平均数量高达18%。
2017-06-19 cs.DC
Integration of storage endpoints into a Rucio data lake, as an activity to prototype a SKA Regional Centres Network
本文介绍 SRCNet 数据管理原型中，如何在 SKAO 的 Rucio 数据湖内集成基于 StoRM 和 WebDAV 的新 Rucio Storage Element，并给出西班牙 SRC 原型的部署步骤。
2024-10-29 astro-ph.IM cs.DC
Efficient Hierarchical Storage Management Framework Empowered by Reinforcement Learning
针对现有存储框架易形成数据孤岛、难以满足多样化需求的问题，提出基于强化学习的开源分层存储框架，经仿真与云环境实验验证，其效率优于三类规则基线策略。
2022-01-12 cs.DC
Digital Twin of a Cloud Data Centre: OpenStack Cluster Visualisation
随着数据供应的增加，当代数据中心至关重要。数据中心是计算机系统集中的区域，用于促进数据处理、传输和存储。目前，传统的数据中心已更多地转向云模式，从而使数据的处理、存储和利用更易于管理，更易于通过基于实用程序和订阅的计算服务模式访问。从管理的角度来看，云数据中心是一个复杂的系统，很难掌握，需要大量的时间来分析云数据中心的不同方面，如维护和资源管理。对于云数据中心管理员来说，这可能是一个具有挑战性的问题，也是一项非常耗时的任务。因此，需要提高云数据中心监测和管理工具的可用性，而数字孪生可以满足这一需求。本文的主要目标是构建一个数字孪生-一个3D可视化和监控工具-由OpenStack，著名的开源云计算基础设施软件管理的云数据中心。为了评估我们提出的工具，我们收集了关于数字孪生与OpenStack仪表板相比的可用性的反馈。云数据中心专家将在测试数字孪生并在采访中回答各种问题时提供意见。研究结果表明，我们提出的数字孪生将帮助数据中心管理员更好地监控和管理他们的数据中心。它还将促进进一步研究和实施数据中心的数字孪生，以提高可用性。
2021-08-13 cs.DC cs.HC
Source-Known Identifiers: A Three-Tier Identity System for Distributed Applications
本文提出SKIDs三级身份系统，解决分布式应用中存储效率、时间排序、元数据嵌入、零查找验证、保密性和多世纪地址性等六个需求。
2026-09-24 cs.DC cs.SE
Collection and harmonization of system logs and prototypal Analytics services with the Elastic (ELK) suite at the INFN-CNAF computing centre
University of Bologna（博洛尼亚大学）；INFN（意大利国家核物理研究所）
日内瓦大型强子对撞机（LHC）高能物理实验的分布式网格基础设施包括一组分布在世界各地的计算中心，作为全球LHC计算网格（WLCG）的一部分。在意大利，一级功能由INFN-CNAF数据中心提供，该中心还为20多个非LHC实验提供计算和存储资源。出于这个原因，每天从各种来源收集大量日志，这些日志高度异构，难以协调。在这方面的贡献，一个系统的工作实现，收集，解析和显示来自CNAF数据源的日志信息和调查的机器学习为基础的预测性维护系统，提出。
2021-05-13 cs.DC cs.LG physics.comp-ph
Optimised access to user analysis data using the gLite DPM
ScotGrid分布式Tier-2现在为LHC计算提供超过4 MSI 2K和500 TB的数据，分布在达勒姆、爱丁堡和格拉斯哥的三个站点。第二层站点在LHC VO的计算模型中扮演着双重角色。首先，它们的CPU资源用于生成Monte Carlo事件数据。其次，最终用户的分析数据通过网格分布到站点的存储系统，并保存在磁盘上，以供物理学家的分析作业进行处理。在本文中，我们将展示我们如何设计的ScotGrid存储和数据管理资源，以优化物理学家访问大型强子对撞机数据。在ScotGrid中，所有站点都使用gLite存储管理器中间件。使用EGEE网格提交真正的ATLAS分析代码来处理存储在ScotGrid网站上的VO数据，我们提出了一个分析的架构在一个网站上的性能，和程序，可以进行改进。结果将从最终用户的角度（以每秒处理的事件数量为单位）和现场的角度呈现，现场希望最大限度地减少负载和分析活动对系统其他用户的影响。
2009-10-23 cs.DC
The SAGE Project: a Storage Centric Approach for Exascale Computing
SAGE（Percipient StorAGe for Exascale Data Centric Computing）是欧盟委员会资助的一个面向Exascale计算时代的项目。它的目标是设计和实现一个具有大数据/极端计算（BDEC）能力的基础设施和相关的软件栈。SAGE系统遵循“以存储为中心”的方法，因为它能够以Exascale方式存储和处理大量数据。SAGE致力于在下一代以数据为中心的计算时代实现大数据分析和HPC的融合。这种融合是由大量数据源的激增所推动的，例如大型分散的科学仪器和传感器，这些数据需要进行处理，分析并集成到模拟中，以获得科学和创新的见解。SAGE系统的第一个原型已经在Julich超级计算中心实施和安装。SAGE存储系统由多层I/O层次结构中的多种存储设备技术组成，包括闪存、磁盘和非易失性存储器技术。主要的SAGE软件组件是Seagate Mero对象存储，可通过Clovis API和更高级别的接口访问。SAGE项目还包括用于验证SAGE概念的科学应用。本文的目的是介绍SAGE项目的概念，SAGE平台的原型，并讨论了SAGE系统的软件体系结构。
2018-07-06 cs.DC
LayoutBench: Performance Benchmarking of Cloud Storage Layouts for Multimedia Data
Georgia Tech（佐治亚理工学院）；Dolby Labs（杜比实验室）
LayoutBench针对多媒体数据云存储布局开展基准测试，评估三种布局策略，揭示其在不同检索场景下的性能差异，为云存储布局选择提供数据支撑。
2026-08-03 cs.DB cs.DC cs.LG
Pooling Engram Conditional Memory in Large Language Models using CXL
Peking University（北京大学）；Alibaba Cloud（阿里云）；Shandong Yingxin Computer Technology Co., Ltd（山东英信计算机技术有限公司）；Renmin University of China（中国人民大学）；The University of Hong Kong（香港大学）
本文提出利用CXL内存池存储恩格拉条件记忆，以实现大语言模型的高效存储和低延迟访问。
2026-03-10 cs.AR cs.DC
Federating distributed storage for clouds in ATLAS
在云计算中心运行的应用程序的输入数据可以存储在远程存储库中，通常在许多站点上存储有流行数据的多个副本。定位和检索远程数据可能具有挑战性，我们相信联合存储可以解决这个问题。联合会将根据GeoIP信息定位数据的最近副本。目前，我们正在使用动态数据联合Dynafed，这是CERN IT开发的一种软件解决方案。Dynafed支持多种连接协议的行业标准，如Amazon的S3、Microsoft的Azure以及WebDAV和HTTP。Dynafed作为一个抽象层，在这个抽象层下，依赖于协议的身份验证细节对用户隐藏，只需要用户提供X509证书。我们已经建立了一个Dynafed的实例，并将其集成到ATLAS数据分发管理系统中。我们报告了安装和集成过程中面临的挑战。我们已经测试了PanDA生产系统提交的ATLAS分析工作，并报告了我们对其操作的初步经验。
2018-10-26 cs.DC
Africa 3: A Continental Network Model to Enable the African Fourth Industrial Revolution
人们普遍认识到，合作有助于非洲国家的快速发展。借助第四次工业革命，非洲可以在医疗保健服务、教育系统和社会经济基础设施方面实现加速发展。虽然已经为非洲大陆提出了一些概念框架，但许多人都不重视用于数据存储和处理的云基础设施，以及建立这些框架的基础网络基础设施。因此，这项工作提出了一个大陆网络模型，通过其数据中心将非洲国家互联起来。该模型基于多层网络工程方法，首先使用聚类技术的混合组合将非洲国家分组为数据中心集群;然后利用带有恶臭信息素的蚁群优化，该信息素经过修改以支持可变蒸发率，以找到跨集群和整个大陆的理想网络路径。所提出的模型在进行分组和路由时考虑到每个非洲国家的地理空间位置、人口规模、数据中心数量和洲际海底电缆着陆点。为了进行基准测试，在所获得的群组和非洲联盟的区域群组上测试了路径选择算法。
2020-10-14 cs.CY cs.DC cs.NI
Efficient micro data centres deployment for mobile healthcare monitoring systems in IoT urban scenarios
Complutense University of Madrid（马德里康普顿斯大学）
在过去的十年中，物联网范式导致连接设备数量呈指数级增长。这种趋势使互联网更接近日常活动，并使数据汇集能够用于创建和改进各种服务和应用程序。尽管有很大的好处，但这种模式也带来了一些挑战。需要更强大的存储和处理能力来为所有这些设备提供服务。此外，部署和管理基础设施以有效支持这些资源的需求仍然是一个挑战。建模和仿真可以帮助设计和分析这些场景，提供灵活而强大的机制来研究和比较不同的策略和基础设施。在这种情况下，微型数据中心（MDC）可以作为减少不堪重负的云数据中心基础设施的有效方法。本文探讨了一种M\&S方法来研究医疗物联网场景的整体功耗。患者佩戴非侵入式监测设备，该设备定期生成要在MDC中执行的任务。我们提取现有的城市基础设施的布局，模拟监测人口的行为，并比较几个数据中心配置的功耗。
2023-02-20 cs.AI cs.DC
Shattering the Ephemeral Storage Cost Barrier for Data-Intensive Serverless Workflows
针对无服务器工作流跨函数传输依赖外部存储导致成本高昂的问题，本文提出保留 API 的 Zipline，实现函数内存间直接传输，并在 vHive/Knative 原型中显著降低成本、提升性能。
2025-01-08 cs.DC cs.OS
Exploring Novel Data Storage Approaches for Large-Scale Numerical Weather Prediction
The University of Edinburgh（爱丁堡大学）
本文评估了DAOS和Ceph在HPC和AI应用中的性能，发现DAOS在可扩展性和灵活性上优于Ceph和Lustre，为大规模I/O提供了新的解决方案。
2026-02-19 cs.DB cs.DC
Access Trends of In-network Cache for Scientific Data
University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley Nat’l Laboratory（劳伦斯伯克利国家实验室）；Energy Sciences Network（能源科学网络）；University of California, San Diego（加州大学圣地亚哥分校）；California Institute of Technology（加州理工学院）
科学合作越来越多地依赖于大量数据进行工作，其中许多采用分层系统将数据复制到全球用户社区。社区中的每个用户通常会选择不同的数据子集来执行分析任务;然而，研究小组的成员通常会研究需要类似数据对象的相关研究主题。因此，存在可能的大量数据共享。在这项工作中，我们研究了被称为南加州PB级缓存的联合存储缓存的访问痕迹。通过研究这种缓存系统的访问模式和潜在的网络流量减少，我们的目标是探索的可预测性的缓存使用和更一般的网络数据缓存的潜力。我们的研究表明，这种分布式存储缓存是能够减少网络流量的一个因素的2.35在研究期间的一部分。我们进一步表明，机器学习模型可以预测缓存利用率的准确度为0.88。这表明这种缓存使用是可预测的，这对于管理复杂的网络资源（例如网络内缓存）可能很有用。
2022-05-11 cs.DC cs.LG cs.NI
Alpha Entanglement Codes: Practical Erasure Codes to Archive Data in Unreliable Environments
使用消费级磁盘驱动器和分布式对等系统的数据中心是不可靠的环境，无法在没有足够冗余的情况下归档数据。大多数冗余方案对于长期提供高可用性、持久性和完整性并不完全有效。我们提出了阿尔法纠缠码，一种机制，创建一个虚拟层的高度互连的存储设备，在大规模存储系统中传播冗余信息。我们的动机是设计具有高容错能力的灵活实用的擦除码，以提高数据的持久性和可用性，即使在灾难性的情况下也是如此。通过灵活和实用，我们的意思是代码设置可以适应未来的需求和实际实现，并在安全性，资源使用和性能之间进行合理的权衡。代码有三个参数。Alpha会线性增加存储开销，但会以指数方式增加恢复数据的可能路径。另外两个参数甚至在不需要额外存储的情况下进一步提高了容错性。因此，纠缠存储系统可以提供高可用性，持久性和额外的完整性：更难以不可检测地修改数据。我们评估了几种冗余方案在不可靠环境中的性能，并表明α纠缠码是灵活和实用的代码。值得注意的是，它们在代码局部性方面表现出色，因此，它们降低了修复成本，并减少了对可用性差的存储位置的依赖。我们的解决方案在许多灾难恢复场景中优于Reed-Solomon码。
2018-10-06 cs.CR cs.DC cs.IT
Leveraging OpenStack and Ceph for a Controlled-Access Data Cloud
虽然传统的HPC已经并将继续满足大多数工作流程，但新一代的研究人员正在寻找在云环境中对计算基础设施进行复杂、可扩展、按需和自助式控制。许多企业还寻求安全港，以便在高容量环境中操作或存储敏感和/或访问受控的数据。为了满足这些现代用户的需求，明尼苏达超级计算研究所设计并部署了Stratus，这是一个由OpenStack平台提供支持并由Ceph存储支持的本地托管云环境。基于订阅的服务通过满足用户的以下未满足的需求来补充现有HPC系统：a）计算资源的按需可用性，b）长时间运行的作业（即，$> 30$天），c）使用Docker进行基于容器的计算，以及d）充分的安全控制以符合受控访问数据要求。本文档深入介绍了Stratus在安全性和遵守NIH受控访问数据政策方面的设计。重点是在将OpenStack和Ceph功能集成到所谓的“围墙花园”中时吸取的经验教训，以及这些技术如何影响安全设计。Stratus的许多功能，包括引入受控访问数据“缓存”的分层安全存储、容错实时迁移和完全集成的双因素身份验证，都依赖于最近的OpenStack和Ceph功能。
2018-07-23 cs.DC
Design and Empirical Evaluation of a Network-Centric, On-Premises Architecture for Earth Observation Data Access
AIR Centre（AIR中心）；University of Waterloo（滑铁卢大学）；Instituto Federal Fluminense (IFF)（弗鲁米嫩塞联邦学院（IFF））
本文针对大西洋盆地机构的EO数据访问需求，设计并在AIR数据中心部署以网络为中心的本地部署架构，通过隔离网络带宽变量的实验明确其对存储吞吐量的约束阈值，为相关设施建设提供依据。
2026-08-21 cs.DC cs.NI cs.PF
Dedicated Analysis Facility for HEP Experiments
高能物理（HEP）提供了越来越多的数据。为了分析这些，需要通过扩展存储容量来并行地不断发展计算能力。这些发展在这一领域的未来发挥着关键作用，但是，这些也可以通过优化现有的IT资源来实现。HEP软件工作流程中的主要计算能力消耗者之一是探测器模拟和数据分析。为了优化这些目标的资源需求，欧洲核子研究中心的ALICE实验提出了运行3专用分析设施（AF）的概念。这些AF是特殊的计算中心，结合了CPU和快速互连的磁盘存储模块，允许在专用数据子集上快速周转分析任务。这反过来又允许在全球LHC计算网格上对大数据样本进行分析之前优化分析过程和代码。本文介绍了2020-2022年期间维格纳分析设施（Wigner AF）的结构和进展情况。
2023-03-09 cs.DC physics.comp-ph
The JASMIN super-data-cluster
正在部署JASMIN超级数据集群，以支持英国和欧洲气候和地球系统建模界的数据分析要求。JASMIN核心资源与空间气候和环境监测设施（CEMS）重要组成部分的物理共址为地球观测界提供了额外的支持，并促进了模型与数据的进一步比较和评价。JASMIN和CEMS共同集中部署了9.3 PB的存储- 4.6 PB的Panasas快速磁盘存储以及STFC Atlas磁带存储。超过370个计算核心提供本地计算。布里斯托尔、利兹和雷丁的远程JASMIN资源提供额外的分布式存储和计算，配置为支持本地工作流，作为使用中央JASMIN系统的垫脚石。JASMIN的快速网络连接为英国超级计算机MONSooN（英国气象局）和HECToR（爱丁堡大学）之间提供了可靠的通信。JASMIN还通过通往荷兰KNMI的光路为欧洲用户提供支持。JASMIN基础设施的功能组件旨在支持和整合三个主要目标的工作流程：（1）STFC环境数据档案中心的数据整理和便利化的有效运作;（2）英国和欧洲气候和地球系统科学界的有效数据分析;（3）气候影响和地球观测界灵活获取复杂数据和相关服务。
2012-04-16 cs.DC physics.comp-ph physics.geo-ph
Astronomical data organization, management and access in Scientific Data Lakes
由于仪器的发展和改进，望远镜档案中存储的数据量不断增加。档案通常需要存储在独立计算中心提供的分布式存储架构上。这样的分布式数据归档需要总体数据管理编排。这种编排包括处理数据存储和编目的工具，以及整合不同存储系统和协议的引导传输，同时了解数据策略和本地性。此外，它还需要一个通用的授权和身份验证基础设施（AAI）层，最终用户将其视为单个实体，并提供透明的数据访问。粒子物理学的科学领域也使用复杂的分布式数据管理系统。欧洲核子研究中心的大型强子对撞机（LHC）加速器的实验每年产生数百PB的数据。这些数据在全球范围内分发给使用国家计算设施的合作伙伴网站和用户。几个创新的工具，成功地解决了分布式计算的挑战，在全球大型强子对撞机计算网格（WLCG）的背景下。在ESCAPE项目和开放科学数据基础设施（DIOS）工作包中正在进行的工作是使用在WLCG背景下开发的工具建立科学数据湖原型，利用不同的物理科学学科解决FAIR标准和开放数据。我们介绍了如何将科学数据湖原型应用于解决天文数据用例。我们将介绍软件栈，并讨论域之间的一些差异。
2022-02-03 astro-ph.IM cs.DC
