Enabling Adaptive Grid Scheduling and Resource Management
网格概念的广泛采用使得科学家和研究人员可以使用越来越多的联合计算、存储和可视化资源。这些资源的分布式和异构性使得大多数传统的集群监控和管理方法不合适，并对此类系统的工作流调度提出了新的挑战。有效的资源利用率监控和高粒度但自适应的测量是一个更有效的网格调度的先决条件。我们提出了一套测量应用程序，能够监控每个进程的资源利用率，和一个可定制的工具，用于模拟观察到的利用率模型。我们还概述了我们未来的工作预测和概率网格调度。该研究是英国电子科学EPSRC与BT合作赞助的SO-GRM（自组织网格资源管理）项目的一部分。
2007-11-02 cs.DC
Management of Data Replication for PC Cluster-based Cloud Storage System
存储系统是云计算基础架构的基本构建块。虽然高性能存储服务器是云存储的最终解决方案，但廉价存储系统的实现仍然是一个悬而未决的问题。为了解决这个问题，高效的云存储系统是用组织成基于PC集群的数据中心的廉价和商品计算机节点来实现的。Hadoop分布式文件系统（HDFS）是一个基于云的开源存储平台，旨在部署在低成本硬件中。通过增强复制管理机制，采用HDFS实现了基于PC集群的云存储系统。数据对象在位于云中的商品节点集群中分布和复制。该系统提供了最佳的副本数量以及存储服务器节点之间的加权和平衡。实验结果表明，根据PC集群中各节点的可用磁盘空间、期望可用性和失效概率，可以实现存储均衡。
2011-12-27 cs.DC cs.NI
Smart Grid Management using Blockchain: Future Scenarios and Challenges
能源系统的分散管理和协调是新兴趋势，物联网和区块链的采用为更安全，更有弹性和更有效的能源分配提供了新的机会。尽管分布式账本技术在能源领域的应用前景广阔，但分散式智能电网管理解决方案的开发仍处于早期阶段。在本文中，我们定义了一个基于区块链的智能电网管理平台的分层架构，该平台具有能源数据计量和防篡改注册，通过智能合约执行业务，以及基于Oracle的高计算服务集成，支持未来电网管理方案的实施。从使用拟议的区块链平台及其相关挑战的实施角度讨论了三种这样的场景：点对点能源交易，分散管理，以及能源灵活性的聚合和面向社区的虚拟电厂的运营。
2020-12-11 cs.DC
GridSim: A Toolkit for the Modeling and Simulation of Distributed Resource Management and Scheduling for Grid Computing
集群、网格和对等（P2P）网络已成为下一代并行和分布式计算的流行范例。在这种大规模的分布式系统中，资源的管理和应用程序的调度是一项复杂的任务。为了证明资源代理和相关调度算法的有效性，需要在不同的场景下评估它们的性能，例如不同数量的资源和具有不同需求的用户。在网格环境中，由于资源和用户分布在多个组织中，并且具有各自的策略，因此很难甚至不可能以可重复和可控的方式执行调度器性能评估。为了克服这个限制，我们已经开发了一个基于Java的离散事件网格仿真工具包GridSim。该工具包支持异构网格资源（时间和空间共享）、用户和应用程序模型的建模和仿真。它为应用程序任务的创建、任务到资源的映射及其管理提供了原语。为了证明GridSim工具包的适用性，我们模拟了Nimrod-G网格资源代理和评估的最后期限和预算约束的成本和时间最小化调度算法的性能。
2002-03-14 cs.DC
Efficient Hierarchical Storage Management Framework Empowered by Reinforcement Learning
针对现有存储框架易形成数据孤岛、难以满足多样化需求的问题，提出基于强化学习的开源分层存储框架，经仿真与云环境实验验证，其效率优于三类规则基线策略。
2022-01-12 cs.DC
A Taxonomy of Workflow Management Systems for Grid Computing
随着网格技术和应用技术的出现，科学家和工程师们正在构建越来越复杂的应用程序来管理和处理大型数据集，并在分布式资源上执行科学实验。这样的应用场景需要用于组成和执行复杂工作流的手段。因此，许多努力已经朝着网格计算的工作流管理系统的发展。在本文中，我们提出了一个分类的特点和分类网格上的工作流的建设和执行的各种方法。我们还调查了几个有代表性的网格工作流系统开发的各种项目在世界范围内展示分类的全面性。该分类法不仅突出了设计和工程的相似性和差异，国家的最先进的网格工作流系统，但也确定了需要进一步研究的领域。
2005-04-13 cs.DC
Fine-Grain Authorization for Resource Management in the Grid Environment
在本文档中，我们描述了我们正在进行的工作，以实现资源管理的细粒度授权。特别是，我们解决了虚拟组织（VO）的需求，以执行自己的政策，除了那些资源所有者。
2003-01-28 cs.CR cs.DC
Adaptive Cache Management for Complex Storage Systems Using CNN-LSTM-Based Spatiotemporal Prediction
本文提出基于CNN-LSTM的智能缓存管理策略，融合空间特征提取与时序建模能力，实验证明其相比LRU、LFU及RNN、LSTM等模型能显著降低MSE和MAE，有效提升复杂存储系统的缓存命中率与资源利用率。
2024-11-19 cs.DC
Management of Grid Jobs and Information within SAMGrid
我们描述了一些SAMGrid系统的关键方面，所使用的D0和CDF实验在费米实验室。在SAMGrid的数据处理部分取得持续成功之后，我们开发了新的就业和信息服务。我们的作业管理植根于\CondorG，并使用了对HEP网格普遍适用的增强功能。我们的信息系统是基于一个统一的框架，配置管理的基础上XML数据表示和处理。
2003-07-08 cs.DC
Autonomous tools for Grid management, monitoring and optimization
我们概述了设计和开发的自主工具的计算网格的管理，监控和优化。提出了基于效用概念的管理。网格优化被认为是面向应用的。提出了一种通用的网格模拟器，作为网格结构和功能的优化工具。
2007-07-22 cs.CE cs.DC hep-ex
Enabling Object Storage via shims for Grid Middleware
对象存储模型已迅速成为大多数商业上成功的大容量存储基础设施的基础，支持所谓的“云”存储，如Amazon S3，但也是大多数并行分布式存储系统实现的基础。对象存储设计中的许多假设与网格存储元素设计中的概念相似，但不完全相同，尽管在SE之上对“POSIX类”文件系统结构的要求使得分离看起来更大。由于现代对象存储提供了许多大多数网格SE所不具备的功能（块级条带化、并行访问、自动文件修复等），我们可以很容易地通过网格工具的插件和扩展来为典型的对象存储提供接口，实验可以很好地使数据模型适应它们，这是很有趣的。我们目前的评估，和首次部署的经验，（例如）Xrootd-Ceph接口的直接对象存储访问，作为一个计划的一部分，在GridPP \cite{GridPP}在RAL托管。此外，我们还讨论了在格拉斯哥为目前流行的{ \it Ceph}并行分布式文件系统的GSP 2访问层开发插件的权衡和经验。
2015-10-30 cs.DC hep-ex physics.comp-ph
A Taxonomy and Survey of Grid Resource Planning and Reservation Systems for Grid Enabled Analysis Environment
耦合地理上分布的资源来解决大规模问题的概念正变得越来越流行，形成了通常所说的网格计算。网格环境中的资源管理变得复杂，因为资源在地理上是分布的，本质上是异构的，并且由不同的个人和组织拥有，每个人都有自己的资源管理策略和不同的访问和成本模型。已经有许多项目设计和实现了具有各种架构和服务的资源管理系统。在本文中，我们提出了资源管理系统应满足的一般要求。分类也已定义的基础上，在不同的现有网格项目的资源管理系统的调查已进行，以确定这些系统缺乏所需的功能的关键领域。
2018-01-14 cs.DC
DynoStore: A wide-area distribution system for the management of data over heterogeneous storage
DynoStore通过数据容器抽象和纠删码策略构建广域异构存储网络，结合负载均衡算法，在性能提升10%的同时具备优于传统系统的容错能力。
2025-07-01 cs.DC
A Model for Grid User Management
在大规模网格计算环境中，用户的注册和管理提出了新的挑战，现有的协议没有很好地解决。在单个虚拟组织（VO）中，数千名用户可能需要访问数百个计算站点，而用户在每个站点注册本地帐户的传统模式将带来重大的扩展问题。然而，计算站点必须保持对站点访问的控制，并且站点策略通常要求每个用户具有单独的本地帐户。我们在这里提出了一个模型，允许用户注册一次VO，但仍然提供所有的计算站点的信息，他们需要与所需的信任级别。我们已经开发了工具，使网站自动管理本地帐户和网格身份和本地帐户之间的映射。
2003-06-13 cs.DC
Automating Distributed Tiered Storage Management in Cluster Computing
Hadoop和Spark等数据密集型平台通常用于处理HDFS等分布式文件系统上的大量数据。不断增加的存储器大小和新的硬件技术（例如，NVRAM、SSD）最近已经导致在这样的设置中引入存储分层。但是，用户现在在尝试优化其工作负载时，要管理多个存储层和驻留在这些存储层上的数据，从而增加了额外的复杂性。在本文中，我们开发了一个通用的框架，在分布式文件系统的可用存储层自动移动数据。此外，我们使用机器学习来跟踪和预测文件访问模式，我们使用这些模式来决定何时以及哪些数据在存储层中上下移动，以提高系统性能。我们的方法使用增量学习来动态地优化模型，使其能够随着时间的推移自然地调整和适应工作负载的变化。我们使用来自Facebook和CMU跟踪的实际工作负载进行了广泛的评估，将我们的方法与其他几种策略进行了比较，并在工作负载性能和集群效率方面展示了显着的优势。
2019-09-04 cs.DC
FRTRUST: a fuzzy reputation based model for trust management in semantic P2P grids
网格和对等网络是实现文件共享的两种理想技术。P2P网格是网格网络的一种特殊情况，其中P2P通信用于节点之间的通信和信任管理。使用此技术可以创建具有更大分布性和可扩展性的网络。语义网格作为网格网络的扩展出现，在网格网络中，丰富的资源元数据被揭示和清楚地处理。在语义P2P网格中，节点根据其服务之间的语义相似性聚集到不同的组中。本文提出了一种语义P2P网格中的信任管理信誉模型。我们使用模糊理论，在一个名为FR TRUST的信任覆盖网络模型的网络结构和存储的声誉信息。实际上，我们提出了一个语义P2P网格信誉收集和计算系统。该系统使用模糊理论来计算对等信任级别，该级别可以是：低、中或高。我们的实验结果表明，FR TRUST结合低（因此可取的）一个良好的计算复杂性与高排名精度。
2014-04-29 cs.DC cs.NI
Secured Data Consistency and Storage Way in Untrusted Cloud using Server Management Algorithm
这是非常具有挑战性的一部分，以保持安全的所有所需的数据，需要在许多应用程序中的用户在云中。将我们的数据存储在云中可能并不完全可信。由于客户端没有所有存储数据的副本，因此必须依赖云服务提供商。但是动态数据操作、Read-Solomon和验证令牌构造方法并没有告诉我们云上数据添加前后服务器分配空间的总存储容量。因此，我们必须引入一个新的建议系统的有效的存储测量和空间比较算法与时间管理测量总分配的存储区域之前和之后的数据插入云。因此，通过使用我们提出的方案，之前和之后的存储数据的值或权重是由客户端在云存储区域中的指定时间内准确测量的。在这里我们还提出了服务器故障情况下的多服务器恢复点。当服务器发生故障时，通过该方案可以在云服务器中自动恢复数据。我们提出的方案有效地检查空间的外包数据，以保持完整性。在这里，TPA不一定具有审计用户数据的授权。
2011-11-10 cs.DC
Rethinking Storage Management for Data Processing Pipelines in Cloud Data Centers
Apache Beam和Apache Spark等数据处理框架用于广泛的应用，从日志分析到DNN训练的数据准备。因此，在优化这些框架（包括其存储管理）方面进行了大量工作也就不足为奇了。向云计算的转变需要对集群中同时运行的所有管道进行优化。在本文中，我们来看看这个问题的一个具体实例：在SSD和HDD上放置I/O密集型临时中间数据。有效的数据放置是具有挑战性的，因为在需要放置数据时，I/O密度通常是未知的。此外，负载可变性、作业抢占或作业优先级等外部因素可能会影响作业完成时间，从而最终影响工作负载中临时文件的I/O密度。在本文中，我们设想机器学习可以用来解决这个问题。我们分析来自Google数据中心的生产日志，以用于一系列数据处理管道。我们的分析表明，I/O密度可能是可预测的。这表明，如果精心设计，基于学习的策略可以提取各种转换中涉及的临时文件的I/O密度的预测特征，这些特征可以用于提高数据处理管道中存储管理的效率。
2022-11-04 cs.DC
Economic-based Distributed Resource Management and Scheduling for Grid Computing
计算网格作为下一代计算的基础设施，能够共享、选择和聚合地理上分布的资源，以解决科学、工程和商业中的大规模问题。由于网格中的资源是异构的，并且在地理上分布，具有不同的可用性以及针对不同用户在不同时间的各种使用和成本策略，并且优先级以及目标随时间而变化。在这样一个大型的分布式环境中，资源管理和应用程序调度是一项复杂的任务。本论文提出了一个分布式计算经济作为一个有效的隐喻资源管理和应用程序调度。提出了一种支持资源交易和基于服务质量的调度的体系结构框架。它使资源的供应和需求的监管，并提供了一个激励资源所有者参与网格和动机的用户之间的最后期限，预算和所需的服务质量水平进行权衡。论文通过开发用户服务质量需求驱动的调度策略和算法，展示了基于经济的系统用于对等分布式计算的能力。它证明了他们的有效性，通过执行调度实验在全球范围内的网格解决参数扫描应用程序。
2002-04-22 cs.DC
An Economic-based Resource Management and Scheduling for Grid Computing Applications
在网格计算环境中，资源管理和调度是实现资源高效利用的关键。在网格系统中，由于资源的异构性，应用程序的调度是一项非常复杂和具有挑战性的任务。在这方面的研究大多集中在提高网格系统的性能。基于可分负载理论，针对不同类型的工作负载和单个源处理器，已经提出了一些分配模型。本文介绍了一种新的资源分配模型，该模型以多个负荷源处理机作为经济模型。通过线性规划方法，得到了以电网用户成本最小为目标的最优负荷分配方案。结果表明，该资源分配模型能够有效地将工作负载分配到合适的资源上。实验结果表明，该模型在成本和时间上都得到了较好的解决方案。
2010-04-20 cs.DC
Investigation on Demand Side Management Techniques in the Smart Grid using Game Theory and ICT Concepts
本文探讨了如何从博弈论和ICT的概念可以有助于解决需求侧管理，在即将到来的智能电网的一个重要概念的挑战。需求侧管理是关于修改需求侧的能量负载分布，例如为了减少能量使用的峰值。这可以通过在可能的情况下改变能源需求来实现。我们首先描述了一些智能电网的概念和假设（智能电表，定价，家电调度），并解释需求侧管理的优势。引入博弈论概念后，可以用数学方法描述需求侧管理问题。下一步是解决数学公式，并显示如果能源用户数量增加，需求侧管理将变得多么复杂。然而，通过分布式ICT算法，仍然可以找到解决方案。在现有文献的基础上，研究了不同的算法。虽然在文献中的结果看起来很有希望，一般的算法的收敛性，特别是收敛到最优的结果的几个结论受到挑战。
2014-09-01 cs.DC cs.GT
Nimrod/G: An Architecture of a Resource Management and Scheduling System in a Global Computational Grid
强大的微处理器和高速网络作为商品组件的可用性使得分布式系统上的高性能计算（广域集群计算）成为可能。在这种环境中，由于资源通常分布在地理上的各个层次（部门，企业，或世界各地）有一个很大的挑战，在整合，协调和呈现给用户作为一个单一的资源，从而形成一个计算网格。另一个挑战来自资源的分布式所有权，每个资源都有自己的访问策略、成本和机制。建议Nimrod/G网格启用的资源管理和调度系统建立在我们早期的工作Nimrod，并遵循模块化和基于组件的架构，使可扩展性，可移植性，易于开发，独立开发的组件和互操作性。它使用Globus工具包服务，并且可以很容易地进行扩展，以便与任何其他新兴的网格中间件服务一起运行。它侧重于管理和调度的计算在地理上分散在互联网上的部门，企业，或全球一级，特别强调开发调度计划的基础上的概念，计算经济的一个真正的测试床，即Globus测试床（GUSTO）。
2000-09-22 cs.DC
Resource Management Services for a Grid Analysis Environment
选择最佳的资源提交作业的计算网格或访问数据网格中的数据是任何网格中间件的最重要的任务之一。今天，大多数现代网格软件都满足了这一责任，并尽最大努力解决这一问题。几乎所有关于调度和数据访问的决定都是由软件自动做出的，用户几乎无法控制整个过程。为了解决这个问题，需要一个更具交互性的服务和中间件集，为用户提供更多的信息，网格天气，并给他们更多的控制决策过程。本文介绍了一组服务，已开发的网格分析环境（GAE）正在合作开发的加州理工学院，NUST和其他几个研究所提供更多的交互式资源管理功能。这些服务包括一个引导服务、一个作业监控服务和一个估算器服务，它们都是使用一个名为Clarens的通用网格Web服务框架设计和编写的。本文还提出了一个性能分析所开发的服务，以表明他们确实导致了一个更加互动和强大的系统，以用户为中心的网格启用物理分析。
2005-04-10 cs.DC
Extending DIRAC File Management with Erasure-Coding for efficient storage
网格式数据管理的最新技术水平是通过跨多个存储端点的数据文件的多个完整副本来实现数据的增强弹性。虽然这是有效的，但它并不是最节省空间的恢复方法，特别是当单个存储端点的可靠性足够高时，只有少数端点在任何时间点都处于非活动状态。我们报告的工作进行的一部分，GridPP \cite{GridPP}，扩展狄拉克文件目录和文件管理接口，允许放置擦除编码的文件：每个文件分布为N个相同大小的数据块条纹在一个向量的存储端点，编码，使任何M块可以丢失，原始文件可以重建。开发的工具对用户是透明的，并且，以及允许数据上传和下载到网格存储，还提供了一次并行访问所有分布式块的可能性，提高数据传输和IO性能。我们预计这种方法对较小的VO最感兴趣，因为它们对可用存储的限制更严格，但较大的（WLCG）VO可能会感兴趣，因为它们的总数据在运行2期间增加。我们提供了该方法的成本和效益分析，以及该领域的未来发展和实施计划。一般来说，多个文件传输的开销是目前这种方法竞争力的最大问题。
2015-10-30 cs.DC hep-ex
Intelligent Replication Management for HDFS Using Reinforcement Learning
Sungkyunkwan University（成均馆大学）
用于云计算的存储系统将大量商用计算机合并到单个大型存储池中。它通过不可靠的动态网络提供高性能存储，成本低于购买和维护大型主机。在本文中，我们研究将强化学习（RL）应用于系统域问题是否可行。实验结果表明，RL模型在解决块管理问题上具有可比性，甚至优于其他算法。然而，我们的实验在可扩展性和保真度方面是有限的。尽管我们的公式不是很实用，但将强化学习应用于系统领域可以为现有的算法提供很好的替代方案。
2020-08-19 cs.AI cs.DC cs.LG
On the Efficiency of Decentralized File Storage for Personal Information Management Systems
本文提出了一种基于分布式账本技术（DLT）和分散式文件存储（DFS）系统的体系结构，以支持个人信息管理系统（PIMS）的使用。DLT和DFS用于管理由配备有具有感测能力的设备的移动用户感测的数据。DLT保证存储在DFS中的个人数据引用的不变性、可追溯性和可验证性。事实上，在DLT中包含数据记录器可以获得不可更改的引用和防篡改日志，同时保持符合个人数据法规，即GDPR。我们提供了一个实验评估DFS的使用的可行性。已经研究了三种不同的场景：i）具有与数据生产者接口的专用节点的专有IPFS方法，ii）公共IPFS服务和iii）Sia Skynet。结果表明，通过适当的系统基础设施的配置，它是可行的，以建立一个分散的个人数据存储（PDS）。
2020-07-07 cs.CR cs.DC cs.IR
Learnings from an Under the Hood Analysis of an Object Storage Node IO Stack
传统的对象存储建立在传统的OS存储堆栈之上，其中I/O请求通常通过多个庞大且冗余的层进行传输。随着存储子系统对性能、一致性和容错性要求的不断提高，对象管理的复杂性急剧增加。简单地说，在I/O数据路径中会遇到更多的中间层，每个传递层都添加了自己的语法和语义。从而增加了请求处理的开销。在本文中，通过对对象存储节点进行全面的底层分析，我们描述了对象存储（和用户应用程序）工作负载对OS I/O堆栈的影响及其对底层对象存储设备（OSD）的后续影响。我们观察到，基于操作系统的I/O存储堆栈的传统体系结构与复杂的数据管理策略相结合，导致终端存储设备能够提供的性能与其在生产环境中实际提供的性能之间不匹配。因此，开发更快的存储设备所带来的好处往往是无效的。这些问题在高度并发和多路复用的云环境中变得更加突出。由于对象管理的相关问题和OS I/O软件栈的漏洞，我们讨论了一类新的存储设备，被称为对象驱动器的潜力。Samsung Key-Value SSD（KV-SSD）[1]和Seagate Kinetic Drive [2]是对象驱动器的经典工业实现，其中主机数据管理功能可以卸载到存储设备。这导致了整个存储堆栈的简化。基于我们的分析，我们相信对象驱动器可以减轻对象存储的数据管理的高负担，与传统的操作系统（OS）堆栈相比节省20-38%的时间。
2022-07-05 cs.AR cs.DB cs.DC
Disk storage management for LHCb based on Data Popularity estimator
Yandex School of Data Analysis（Yandex数据分析学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；CERN - European Organization for Nuclear Research（欧洲核子研究组织）；National Research University Higher School of Economics (HSE)（国立研究型大学高等经济学院）
本文提出了一种算法，提供优化LHCb数据存储的建议。LHCb数据存储系统是一个混合系统。所有数据集都以档案形式保存在磁带上。最流行的数据集保存在磁盘上。该算法将数据集使用历史和元数据（大小、类型、配置等）生成推荐报告。本文介绍了我们如何使用机器学习算法来预测未来的数据流行度。使用这些预测，可以估计哪些数据集应该从磁盘中删除。我们使用回归算法和时间序列分析来找到保存在磁盘上的数据集的最佳副本数量。该算法基于数据流行度和副本数量优化，通过最小化一个损失函数来寻找最优的数据分布。损失函数表示数据存储系统中数据分布的所有要求。我们演示了我们的算法如何帮助节省磁盘空间，并减少等待时间的工作，使用这些数据。
2015-10-01 cs.DC cs.LG physics.data-an
