Autonomic Cloud Computing: Research Perspective
本文综述近十年云计算自主资源分配研究，聚焦QoS与SLA约束，提出AI驱动的自主云计算概念模型，以优化负载、能耗与成本。
2024-10-19 cs.DC
Toward a Formal Semantics for Autonomic Components
自治管理可以提高并行/分布式应用提供的QoS。在CoreGRID组件模型中，自主管理被定制为组件组装的自动监控驱动的变更，因此被定义为（分布式）管理代码的效果。这项工作产生了一个语义的基础上超图重写适合建模的动态演化和非功能方面的面向服务的架构和基于组件的自主应用程序。在这方面，我们的主要目标是提供一个正式的描述，通常只有非正式指定的适应操作。我们认为，我们的方法更容易提高自主和自适应应用程序中的管理代码的抽象层次。
2010-07-02 cs.DC cs.SE
TrafficFab: An Autonomic Edge-Cloud Testbed Fabric forAI-Driven Traffic Management
Indian Institute of Science (IISc)（印度科学研究所）
TrafficFab提出自主边缘-云测试平台，结合RTSP模拟、DNN边缘推理、ST-GNN云预测和FM辅助联邦学习，在班加罗尔部署上支持约400路实时流，验证大城市闭环交通分析。
2026-09-25 cs.DC
Autonomic Microservice Management via Agentic AI and MAPE-K Integration
University of Oulu（奥卢大学）
针对微服务去中心化带来的安全与管理挑战，提出基于MAPE-K并利用agentic AI的自主异常检测与修复框架，为分布式系统提供工业级解决方案，可定制以增强稳定性并监控多项质量属性。
2025-06-27 cs.AI cs.DC cs.NI
Towards Grid Monitoring and deployment in Jade, using ProActive
本文描述了我们目前对Jade网格化的努力，Jade是一个基于Java的环境，用于集群J2EE应用服务器的自主管理，由INRIA SARDES研究团队开发。为了实现这一目标，我们使用了java主动网格技术。我们首先提出了一些挑战，把这样一个自治管理系统最初专门用于分布式应用程序运行在集群的机器，到一个可以提供自我管理能力的大型系统，即部署在网格基础设施。这使我们对网格监控系统的技术状态进行了简要介绍。然后，我们回顾了Jade的架构，并因此提出以一种潜在的更具可扩展性的方式对其进行重组。实际实验涉及使用ProActive提供的网格部署功能，可以轻松地在任何类型的网格上部署Jade系统或其修订版。
2007-10-29 cs.DC
Distributed Hierarchical Control versus an Economic Model for Cloud Resource Management
我们研究了分层组织的云基础设施，并将基于资源监控的分布式分层控制与资源管理的市场机制进行了比较。后者不需要系统模型，开销低，健壮，并满足其他几个自主计算的需要。我们介绍了几个性能指标和报告的模拟研究表明，一个简单的投标方案支持一个有效的准入控制机制，同时降低了几个数量级的通信复杂性，也增加了接受率相比，分层控制和监测机制。基于市场机制的资源管理可以被视为云自组织的中间步骤，是当前云资源管理机制的理想替代方案。
2015-04-14 cs.DC
Efficient Hierarchical Storage Management Framework Empowered by Reinforcement Learning
针对现有存储框架易形成数据孤岛、难以满足多样化需求的问题，提出基于强化学习的开源分层存储框架，经仿真与云环境实验验证，其效率优于三类规则基线策略。
2022-01-12 cs.DC
Adaptive Cache Management for Complex Storage Systems Using CNN-LSTM-Based Spatiotemporal Prediction
本文提出基于CNN-LSTM的智能缓存管理策略，融合空间特征提取与时序建模能力，实验证明其相比LRU、LFU及RNN、LSTM等模型能显著降低MSE和MAE，有效提升复杂存储系统的缓存命中率与资源利用率。
2024-11-19 cs.DC
DynoStore: A wide-area distribution system for the management of data over heterogeneous storage
DynoStore通过数据容器抽象和纠删码策略构建广域异构存储网络，结合负载均衡算法，在性能提升10%的同时具备优于传统系统的容错能力。
2025-07-01 cs.DC
Automating Distributed Tiered Storage Management in Cluster Computing
Hadoop和Spark等数据密集型平台通常用于处理HDFS等分布式文件系统上的大量数据。不断增加的存储器大小和新的硬件技术（例如，NVRAM、SSD）最近已经导致在这样的设置中引入存储分层。但是，用户现在在尝试优化其工作负载时，要管理多个存储层和驻留在这些存储层上的数据，从而增加了额外的复杂性。在本文中，我们开发了一个通用的框架，在分布式文件系统的可用存储层自动移动数据。此外，我们使用机器学习来跟踪和预测文件访问模式，我们使用这些模式来决定何时以及哪些数据在存储层中上下移动，以提高系统性能。我们的方法使用增量学习来动态地优化模型，使其能够随着时间的推移自然地调整和适应工作负载的变化。我们使用来自Facebook和CMU跟踪的实际工作负载进行了广泛的评估，将我们的方法与其他几种策略进行了比较，并在工作负载性能和集群效率方面展示了显着的优势。
2019-09-04 cs.DC
Secured Data Consistency and Storage Way in Untrusted Cloud using Server Management Algorithm
这是非常具有挑战性的一部分，以保持安全的所有所需的数据，需要在许多应用程序中的用户在云中。将我们的数据存储在云中可能并不完全可信。由于客户端没有所有存储数据的副本，因此必须依赖云服务提供商。但是动态数据操作、Read-Solomon和验证令牌构造方法并没有告诉我们云上数据添加前后服务器分配空间的总存储容量。因此，我们必须引入一个新的建议系统的有效的存储测量和空间比较算法与时间管理测量总分配的存储区域之前和之后的数据插入云。因此，通过使用我们提出的方案，之前和之后的存储数据的值或权重是由客户端在云存储区域中的指定时间内准确测量的。在这里我们还提出了服务器故障情况下的多服务器恢复点。当服务器发生故障时，通过该方案可以在云服务器中自动恢复数据。我们提出的方案有效地检查空间的外包数据，以保持完整性。在这里，TPA不一定具有审计用户数据的授权。
2011-11-10 cs.DC
Rethinking Storage Management for Data Processing Pipelines in Cloud Data Centers
Apache Beam和Apache Spark等数据处理框架用于广泛的应用，从日志分析到DNN训练的数据准备。因此，在优化这些框架（包括其存储管理）方面进行了大量工作也就不足为奇了。向云计算的转变需要对集群中同时运行的所有管道进行优化。在本文中，我们来看看这个问题的一个具体实例：在SSD和HDD上放置I/O密集型临时中间数据。有效的数据放置是具有挑战性的，因为在需要放置数据时，I/O密度通常是未知的。此外，负载可变性、作业抢占或作业优先级等外部因素可能会影响作业完成时间，从而最终影响工作负载中临时文件的I/O密度。在本文中，我们设想机器学习可以用来解决这个问题。我们分析来自Google数据中心的生产日志，以用于一系列数据处理管道。我们的分析表明，I/O密度可能是可预测的。这表明，如果精心设计，基于学习的策略可以提取各种转换中涉及的临时文件的I/O密度的预测特征，这些特征可以用于提高数据处理管道中存储管理的效率。
2022-11-04 cs.DC
Complete Decentralization of Distributed Data Storages Based on Blockchain Technology
这项工作提出了一个解决方案，完全分散的数据管理系统在地理上分散的环境与管理无关或松散相关的用户组，并在部分或完全缺乏信任的条件下，他们之间。该解决方案基于区块链技术、智能合约和来源元数据驱动的数据管理的集成。所开发的体系结构、操作原理和算法提供了对出处元数据的容错、安全和可靠的管理，对数据文件的操作的控制，以及协作分布式计算系统中的资源访问管理。后者是指在某个项目的框架内，将不同组织（机构）的计算机资源组合成一个单一的池，共同工作而形成的分布式系统。
2021-12-20 cs.DC
Distributed and Big Data Storage Management in Grid Computing
大数据存储管理是网格计算环境中最具挑战性的问题之一，因为大量数据密集型应用经常涉及高度的数据访问局部性。网格应用程序通常处理大量数据。在传统的方法中，高性能计算包括用于数据存储和数据复制的专用服务器。在本文中，我们提出了一种新的机制，分布式和大数据存储和资源发现服务。提出了一种网格环境下的动态可扩展存储管理（DSSM）体系结构。这允许在网格计算中不仅共享计算周期，而且共享存储空间。可以从任何网格机器透明地访问存储，从而允许在网格用户和应用程序之间轻松地进行数据共享。允许创建虚拟空间的虚拟ID的概念已经被引入和使用。DSSM将所有面向网格的存储设备（节点）划分为多个地理上分布的域，以促进本地化并简化域内存储管理。采用基于网格服务的存储资源，随着需求的增长，将简单的模块化服务逐块堆叠起来。为此，我们提出了四个定义轴：DSSM架构和算法描述，存储资源和资源发现到网格服务，评估目的原型系统，动态，可扩展性和带宽，并讨论结果。在底层和上层的算法标准化的动态和可扩展的存储管理，以及更高的带宽已经设计。
2012-07-12 cs.DC cs.NI
Management of Data Replication for PC Cluster-based Cloud Storage System
存储系统是云计算基础架构的基本构建块。虽然高性能存储服务器是云存储的最终解决方案，但廉价存储系统的实现仍然是一个悬而未决的问题。为了解决这个问题，高效的云存储系统是用组织成基于PC集群的数据中心的廉价和商品计算机节点来实现的。Hadoop分布式文件系统（HDFS）是一个基于云的开源存储平台，旨在部署在低成本硬件中。通过增强复制管理机制，采用HDFS实现了基于PC集群的云存储系统。数据对象在位于云中的商品节点集群中分布和复制。该系统提供了最佳的副本数量以及存储服务器节点之间的加权和平衡。实验结果表明，根据PC集群中各节点的可用磁盘空间、期望可用性和失效概率，可以实现存储均衡。
2011-12-27 cs.DC cs.NI
Mass Storage Management and the Grid
爱丁堡大学对海量存储器系统非常感兴趣，因为它是负责为英国粒子物理网格GridPP转出存储软件的核心小组之一。我们提出了一个开发项目的结果，提供SDSC存储资源代理，欧盟数据网格和存储资源管理器之间的软件接口。该项目是与国家电子科学中心的eDikt小组、布里斯托尔大学和格拉斯哥大学、卢瑟福·阿普尔顿实验室和圣地亚哥超级计算中心联合开展的。
2004-12-20 cs.DC cs.SE
UMap: Enabling Application-driven Optimizations for Page Management
领先的超级计算机具有多种存储功能，从节点本地持久性内存和NVMe SSD到网络互连的闪存和HDD。不同存储层上的内存映射文件在应用程序中提供了统一的接口。然而，像mmap这样的系统范围的服务是针对通用性进行优化的，并且缺乏实现特定于应用程序的优化的灵活性。在这项工作中，我们提出Umap，使用户空间页面管理，可以很容易地适应应用程序和存储特性的访问模式。Umap使用userfaultfd机制来有效地处理多线程应用程序中的页面错误。通过提供数据对象抽象层，Umap可扩展以支持各种后备存储。Umap的设计支持动态负载均衡和I/O解耦，以实现可扩展的性能。Umap还使用应用程序提示来改进缓存、预取和回收策略的选择。我们在五个基准测试和两个系统上的实际应用中评估了Umap。我们的研究结果表明，利用应用程序的页面管理知识可以大大提高性能。平均而言，与系统服务相比，Umap使用调整后的配置实现了1.25至2.5倍的改进。
2019-10-16 cs.DC
Distributed Management of Massive Data: an Efficient Fine-Grain Data Access Scheme
针对大规模分布式环境下海量数据块的高效存储和访问问题，提出了一种基于数据块的数据子集细粒度访问方法。这个问题在数据库、数据采掘和多媒体领域的应用中至关重要。我们提出了一个数据共享服务的基础上分布式，基于RAM的数据存储，同时利用基于DHT的，原生并行元数据管理方案。相对于最常用的网格存储基础设施，提供明确的数据本地化和传输机制，我们提供了一个透明的访问模型，通过全局标识符访问数据。我们的建议已通过原型实施，其初步评估提供了有前途的结果进行了验证。
2008-10-13 cs.DC
ASURA: Scalable and Uniform Data Distribution Algorithm for Storage Clusters
大规模存储集群系统需要管理大量的数据位置。简单的数据位置管理维护成对的数据ID和将数据存储在表中的节点。然而，当对的数量太大时，这是不实际的。为了解决这个问题，在最近的研究中，已经提出了使用数据分布算法的管理，而不是使用表的管理。这种数据分发算法要求能够处理节点的添加或删除、计算时间短以及在每个节点的容量上均匀地分发数据。本文提出了一种数据分布算法ASURA（Advanced Scalable and Uniform Storage by随机数Algorithm）来满足这些要求。它实现了以下四个特点：1）最小的数据移动，以维持数据分布根据节点的能力时，增加或删除节点，即使数据被复制，2）大约亚微秒的计算时间，3）远低于1%的最大可变性节点之间的数据分布，和4）数据分布根据每个节点的能力。评估结果表明，ASURA是定性和定量的竞争力，主要的数据分布算法，如一致性散列，加权Renminbi散列和随机切片。比较结果显示了每种算法的优点，表明ASURA在大型横向扩展存储集群中具有优势。
2017-07-04 cs.DC
Hierarchical storage management in user space for neuroimaging applications
针对神经影像数据密集型处理瓶颈，本研究开发用户态库Sea，通过拦截重定向读写调用优化数据传输，在多数据集与工具包的测试中实现最高32倍加速且开销极小，还可减少并行文件系统文件数。
2024-04-17 cs.DC
Extending DIRAC File Management with Erasure-Coding for efficient storage
网格式数据管理的最新技术水平是通过跨多个存储端点的数据文件的多个完整副本来实现数据的增强弹性。虽然这是有效的，但它并不是最节省空间的恢复方法，特别是当单个存储端点的可靠性足够高时，只有少数端点在任何时间点都处于非活动状态。我们报告的工作进行的一部分，GridPP \cite{GridPP}，扩展狄拉克文件目录和文件管理接口，允许放置擦除编码的文件：每个文件分布为N个相同大小的数据块条纹在一个向量的存储端点，编码，使任何M块可以丢失，原始文件可以重建。开发的工具对用户是透明的，并且，以及允许数据上传和下载到网格存储，还提供了一次并行访问所有分布式块的可能性，提高数据传输和IO性能。我们预计这种方法对较小的VO最感兴趣，因为它们对可用存储的限制更严格，但较大的（WLCG）VO可能会感兴趣，因为它们的总数据在运行2期间增加。我们提供了该方法的成本和效益分析，以及该领域的未来发展和实施计划。一般来说，多个文件传输的开销是目前这种方法竞争力的最大问题。
2015-10-30 cs.DC hep-ex
IDSS, a Novel P2P Relational Data Storage Service
本文提出IDSS，一种基于P2P网络和嵌入式关系数据库的新型大规模数据存储服务，通过公共模式支持分布式查询处理，实现对海量数据的高效稳健管理。
2025-07-19 cs.DB cs.DC
Intelligent Replication Management for HDFS Using Reinforcement Learning
Sungkyunkwan University（成均馆大学）
用于云计算的存储系统将大量商用计算机合并到单个大型存储池中。它通过不可靠的动态网络提供高性能存储，成本低于购买和维护大型主机。在本文中，我们研究将强化学习（RL）应用于系统域问题是否可行。实验结果表明，RL模型在解决块管理问题上具有可比性，甚至优于其他算法。然而，我们的实验在可扩展性和保真度方面是有限的。尽管我们的公式不是很实用，但将强化学习应用于系统领域可以为现有的算法提供很好的替代方案。
2020-08-19 cs.AI cs.DC cs.LG
Disk storage management for LHCb based on Data Popularity estimator
Yandex School of Data Analysis（Yandex数据分析学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；CERN - European Organization for Nuclear Research（欧洲核子研究组织）；National Research University Higher School of Economics (HSE)（国立研究型大学高等经济学院）
本文提出了一种算法，提供优化LHCb数据存储的建议。LHCb数据存储系统是一个混合系统。所有数据集都以档案形式保存在磁带上。最流行的数据集保存在磁盘上。该算法将数据集使用历史和元数据（大小、类型、配置等）生成推荐报告。本文介绍了我们如何使用机器学习算法来预测未来的数据流行度。使用这些预测，可以估计哪些数据集应该从磁盘中删除。我们使用回归算法和时间序列分析来找到保存在磁盘上的数据集的最佳副本数量。该算法基于数据流行度和副本数量优化，通过最小化一个损失函数来寻找最优的数据分布。损失函数表示数据存储系统中数据分布的所有要求。我们演示了我们的算法如何帮助节省磁盘空间，并减少等待时间的工作，使用这些数据。
2015-10-01 cs.DC cs.LG physics.data-an
On the Efficiency of Decentralized File Storage for Personal Information Management Systems
本文提出了一种基于分布式账本技术（DLT）和分散式文件存储（DFS）系统的体系结构，以支持个人信息管理系统（PIMS）的使用。DLT和DFS用于管理由配备有具有感测能力的设备的移动用户感测的数据。DLT保证存储在DFS中的个人数据引用的不变性、可追溯性和可验证性。事实上，在DLT中包含数据记录器可以获得不可更改的引用和防篡改日志，同时保持符合个人数据法规，即GDPR。我们提供了一个实验评估DFS的使用的可行性。已经研究了三种不同的场景：i）具有与数据生产者接口的专用节点的专有IPFS方法，ii）公共IPFS服务和iii）Sia Skynet。结果表明，通过适当的系统基础设施的配置，它是可行的，以建立一个分散的个人数据存储（PDS）。
2020-07-07 cs.CR cs.DC cs.IR
A Secure and Efficient Data Deduplication Scheme with Dynamic Ownership Management in Cloud Computing
加密重复数据删除技术是一种节省存储空间和网络带宽的重要技术，在云存储中得到了广泛的应用。最近，已经提出了许多解决具有动态所有权管理的数据去重问题的方案。然而，当动态所有权发生较大变化时，这些方案的效率较低。为此，在本文中，我们提出了一种新的服务器端重复数据删除方案，用于混合云架构中的加密数据，其中公共云（Pub-CSP）管理存储，私有云（Pri-CSP）作为数据所有者执行重复数据删除和动态所有权管理。此外，为了减少通信开销，我们使用初始上传者检查机制，以确保只有第一个上传者需要执行加密，并采用访问控制技术，验证数据用户的合法性之前，他们下载数据。我们的安全性分析和性能评估表明，我们提出的服务器端重复数据删除方案具有更好的性能，在安全性，有效性和实用性相比，以前的计划。同时，我们的方法可以有效地抵抗共谋攻击和复制伪造攻击。
2022-08-31 cs.CR cs.DC
Learnings from an Under the Hood Analysis of an Object Storage Node IO Stack
传统的对象存储建立在传统的OS存储堆栈之上，其中I/O请求通常通过多个庞大且冗余的层进行传输。随着存储子系统对性能、一致性和容错性要求的不断提高，对象管理的复杂性急剧增加。简单地说，在I/O数据路径中会遇到更多的中间层，每个传递层都添加了自己的语法和语义。从而增加了请求处理的开销。在本文中，通过对对象存储节点进行全面的底层分析，我们描述了对象存储（和用户应用程序）工作负载对OS I/O堆栈的影响及其对底层对象存储设备（OSD）的后续影响。我们观察到，基于操作系统的I/O存储堆栈的传统体系结构与复杂的数据管理策略相结合，导致终端存储设备能够提供的性能与其在生产环境中实际提供的性能之间不匹配。因此，开发更快的存储设备所带来的好处往往是无效的。这些问题在高度并发和多路复用的云环境中变得更加突出。由于对象管理的相关问题和OS I/O软件栈的漏洞，我们讨论了一类新的存储设备，被称为对象驱动器的潜力。Samsung Key-Value SSD（KV-SSD）[1]和Seagate Kinetic Drive [2]是对象驱动器的经典工业实现，其中主机数据管理功能可以卸载到存储设备。这导致了整个存储堆栈的简化。基于我们的分析，我们相信对象驱动器可以减轻对象存储的数据管理的高负担，与传统的操作系统（OS）堆栈相比节省20-38%的时间。
2022-07-05 cs.AR cs.DB cs.DC
On the energy efficiency of client-centric data consistency management under random read/write access to Big Data with Apache HBase
2010年，数据中心的总能源费用估计为115亿美元，专家估计，典型数据中心的能源成本每五年翻一番。另一方面，计算的发展已经开始落后于存储的进步，成为未来数据增长的瓶颈，数据增长已经接近Exascale级别。我们调查的数据吞吐量和能源足迹之间的关系在一个大型存储集群，其目标是正式作为一个指标，反映一致性和能源之间的交易。采用以客户端为中心的一致性方法，同时尊重ACID属性的案例研究（Apache HBase）所选择的柱状存储，我们提出的系统的能源消耗所涉及的因素，以及经验教训，以支持进一步设计的节能集群规模的存储系统。
2016-11-30 cs.DC cs.PF
Efficient Knowledge Base Management in DCSP
Benedict College（本尼迪克特学院）
分布式约束满足问题（Distributed Constraint Satisfaction Problem，DCSP）是人工智能领域的一个重要研究方向.分布式人工智能中有许多应用问题可以形式化为DSCP。随着人工智能应用问题的复杂度和问题规模的不断增大，搜索所需的存储空间和平均搜索时间也在不断增加。因此，如何有效地利用有限的存储空间来求解DCSP就成为一个非常重要的问题，同时也有助于减少搜索时间。提出了一种基于超归结规则一致性算法的知识库管理方法。该方法通过消除充分约束和伪失效，最大限度地减少了知识库的增长。这些消除不改变原有知识库的完整性增加。并给出了证明。实例表明，该方法大大减少了新生成的无用信息和知识库。从而减少了所需的存储空间，简化了搜索过程。
2010-09-30 cs.AI cs.DC
Dynamo -- Handling Scientific Data Across Sites and Storage Media
Dynamo是用于科学数据管理的全栈软件解决方案。Dynamo的架构是模块化的，可扩展的，可定制的，使软件适合管理各种安装规模的数据，从存储在单个位置的几个TB到分布在全球计算网格中的数百个PB。本文记录了Dynamo的核心系统设计，并描述了实现各种数据管理任务的应用程序。简要报告了该系统在CERN大型强子对撞机CMS实验和小型分析装置上的运行经验。
2021-05-16 cs.DC hep-ex
Runtime Optimization of Join Location in Parallel Data Management Systems
在并行系统上运行的应用程序通常需要将流式关系或存储关系与在并行数据存储系统中索引的数据联接。某些应用程序还计算连接元组上的UDF。连接可以在数据存储节点处完成，对应于减少侧连接，或者通过从存储系统提取数据到计算节点来完成，对应于映射侧连接。这两种方法都可能是次优的：reduce side joins可能会导致偏斜，而map side joins可能会导致大量数据被传输和复制。在本文中，我们提出的技术，使运行时的决定，这两个选项之间的每个键的基础上，以提高吞吐量的连接，占UDF计算，如果有的话。我们的技术是基于一个扩展的滑雪租赁算法，并提供最坏情况下的性能保证相对于我们所考虑的空间中的最佳点。我们的技术使用负载均衡，考虑到CPU，网络和I/O成本以及计算和存储节点上的负载。我们已经在Hadoop、Spark和Muppet流处理引擎上实现了我们的技术。我们的实验表明，我们的优化技术提供了一个显着的提高吞吐量超过现有的技术。
2017-07-31 cs.DB cs.DC
BigBird: Big Data Storage and Analytics at Scale in Hybrid Cloud
Twitter Inc.（推特公司）
大规模实施大数据存储是一项复杂而艰巨的任务，需要先进的基础设施。随着公共云计算的兴起，各种大数据管理服务可以很容易地被利用。作为Twitter“部分多云项目”的重要组成部分，冷存储数据和分析系统正在迁移到公共云。本文展示了我们在Google Cloud Platform中使用BigQuery设计可扩展的大数据存储和分析管理框架的方法，同时确保安全性，隐私性和数据保护。本文还讨论了公共云资源的限制，以及在设计大规模数据存储和分析解决方案时如何有效地克服这些限制。虽然本文讨论了Google Cloud Platform中的框架实现，但它可以很容易地应用于所有主要的云提供商。
2022-03-22 cs.DB cs.DC cs.LG
