Exploring high performance distributed file storage using LDPC codes
我们探讨的可行性，实现一个可靠的，高性能的，分布式存储系统上的商品计算集群。文件通过使用具有小的低密度奇偶校验（LDPC）码的擦除编码跨存储节点分布，所述低密度奇偶校验（LDPC）码提供高可靠性，同时保持存储和性能开销小。我们提出了一个原型系统，包括50个节点，这是自组织使用对等覆盖的性能测量。
2006-01-17 cs.DC
On the data persistency of replicated erasure codes in distributed storage systems
本文研究了分布式存储系统中一般冗余方案族（称为复制擦除码）的数据持久化的基本问题。也就是说，我们分析了两种策略的复制纠删码分布：随机和对称。对于这两种策略，我们推导出封闭的分析和渐近公式预期的数据persistance，尽管节点故障。
2021-07-27 cs.DC
On Storage Allocation for Maximum Service Rate in Distributed Storage Systems
存储分配影响着分布式存储系统的重要性能指标。大多数以前的研究存储分配单独考虑其效果上的成功的数据恢复或服务率（时间），假设没有访问失败发生在系统中。在本文中，我们更进一步，并将访问模型和数据恢复的成功率的服务率分析。特别是，我们专注于准均匀的存储分配，并提供了一个固定大小和概率访问模型在节点上的服务率分析。使用这种分析，然后，我们表明，在个人存储节点的指数等待时间分布的情况下，最小的扩散分配结果在最高的系统服务率为两种访问模型。这意味着，对于给定的存储预算，复制提供的服务率比编码存储解决方案更高。
2016-05-11 cs.DC
Distributed-Something: scripts to leverage AWS storage and computing for distributed workflows at scale
Distributed-Something 是一套开源脚本，利用 AWS 按需计算与存储协调任意 Docker 化工作流，突破本地资源限制实现大规模运行，并提供多个生物成像工具实现。
2023-01-24 cs.DC
The Approach to Managing Provenance Metadata and Data Access Rights in Distributed Storage Using the Hyperledger Blockchain Platform
本文提出了一种基于区块链技术和智能合约的新方法，以创建一个分布式系统来管理出处元数据，以及对分布式存储中数据的访问权，从保护元数据记录免受意外或故意扭曲的角度来看，该系统具有容错性，安全性和安全性。该方法的实现基于许可的区块链和Hyperledger Fabric区块链平台以及Hyperledger Composer。
2018-11-30 cs.DC
An algorithm for geo-distributed and redundant storage in Garage
本文提出了一种计算Garage地理分布式存储系统中数据到存储节点的分配的优化算法。我们讨论了算法的不同步骤的复杂性和可以向用户显示的度量。
2023-02-27 cs.DC cs.DS
Distributed Wear levelling of Flash Memories
对于大规模分布式存储系统，闪存是一个很好的选择，因为闪存消耗更少的功率，对于目标吞吐量占用更少的占地空间，并且提供对数据的更快访问。在传统的分布式文件系统中，需要均匀分布以确保负载平衡、平衡的空间利用率和容错性。此外，在存在闪存的情况下，我们还应该确保对这些不同闪存存储节点的写入次数均匀分布，以确保闪存存储节点的均匀磨损，从而避免存储节点的不可预测的故障。这要求我们跨闪存存储节点分发更新并执行垃圾回收。我们已经激发了分布式wearleveling问题考虑HDFS的副本放置算法。查看跨闪存存储节点的wearleveling作为一个分布式的协调问题，我们提出了一种替代设计，以减少跨参与节点的消息通信成本。我们通过仿真证明了我们设计的有效性
2013-02-25 cs.DC
Analyzing I/O Performance of a Hierarchical HPC Storage System for Distributed Deep Learning
如今，深度学习是我们生活中必不可少的技术。为了用深度学习解决更复杂的问题，训练数据集和神经网络的规模都在增加。为了训练具有大型数据集和网络的模型，分布式深度神经网络（DDNN）训练技术是必要的。对于大规模DDNN训练，HPC集群是一个很有前途的计算环境。在HPC集群上的大规模DDNN中，I/O性能至关重要，因为它正在成为瓶颈。大多数旗舰级HPC群集都具有分层存储系统。为了设计未来的高性能计算存储系统，有必要量化分层存储系统对工作负载的性能改善效果。本文介绍了在旗舰级超级计算机的DDNN工作负载的层次存储系统的定量性能分析。我们的分析显示了需要多大的性能改进和存储容量增量才能达到性能目标。
2023-01-04 cs.DC
Autonomic Management in a Distributed Storage System
本文研究了自治管理在分布式存储系统中的应用。在实验中测量了对性能和资源消耗的影响，这些实验是在局部区域测试台上进行的。这些实验是用一个特定的分布式存储系统的组件进行的，但试图适用于广泛的此类系统，特别是那些暴露于不同条件的系统。分布式存储系统的感知特性取决于其配置参数和各种动态条件。对于给定的一组条件，一个特定的配置可能比另一个更好的措施，如资源消耗和性能。在这里，配置参数值是动态设置的，并将结果与静态配置进行比较。假设在不变的条件下，这将允许系统收敛于比任何可以先验设置的配置都更合适的配置。此外，系统可以通过采用更合适的配置来对条件的变化做出反应。自治管理被应用于分布式存储系统ASA的对等（P2P）和数据检索组件。各种工作量和流失模式的影响进行了实验测量。管理政策和机制的实施使用一个通用的自主管理框架，在这项工作中开发。自主管理的实验评估显示出可喜的成果，并提出了几个未来的研究课题。本论文的研究结果可以利用在建立其他分布式存储系统，专注于利用用户工作站上的存储，因为这些是特别有可能暴露于变化，不可预测的条件。
2010-07-02 cs.DC
Minimization of Storage Cost in Distributed Storage Systems with Repair Consideration
在分布式存储系统中，不同存储节点的存储成本通常可以不同。研究了如何在给定的存储节点集合中存储文件，以使总存储开销最小。通过分析信息流图的最小割约束，确定节点存储容量的可行域。然后，存储成本最小化可以简化为线性规划问题，该问题可以容易地求解。此外，存储成本和修复带宽之间的权衡建立。
2011-07-28 cs.DC cs.IT math.IT
An Empirical Study of the Repair Performance of Novel Coding Schemes for Networked Distributed Storage Systems
擦除编码技术正被集成到网络分布式存储系统中，作为一种以比传统复制更少的存储开销为代价提供容错的方式。Reddit是通过修复机制随时间推移而维护的，这可能需要大量的网络资源开销。近年来，一些为分布式存储量身定制的新代码已经被提出来优化存储开销和修复，例如最小化每次修复流量的再生码，或最小化每次修复所接触的节点数量的自修复码。然而，这些编码技术的现有研究主要是理论上的，在简化的假设下，只有一个对象被存储。它们忽略了实际系统必须解决的许多实际问题，例如数据放置，多个存储对象的去相关，或者当多个对象同时修复时对有限网络资源的竞争。本文实证研究了这些新的存储为中心的代码相对于经典的纠删码的修复性能，通过模拟现实的情况下，探索的相互作用的代码参数，故障特征和数据的放置方面的权衡带宽的使用和速度的修复。
2012-06-11 cs.DC
Progressive Decoding for Data Availability and Reliability in Distributed Networked Storage
为了利用不断增长的容量和不断降低的存储成本，必须在出现崩溃停止和拜占庭故障时提供可靠存储的抽象。我们提出了一个分散的里德所罗门编码机制，具有最小的通信开销。使用渐进式数据检索方案，数据收集器仅联系保证数据完整性所需的必要数量的存储节点。该方案优雅地适应成功的数据检索的成本存储节点故障的数量。此外，通过利用Welch-Berlekamp算法，它避免了不必要的计算。最先进的解码方案相比，实施和评估结果表明，我们的渐进式数据检索方案具有高达35倍的计算性能低拜占庭节点速率。此外，数据检索的通信成本推导出解析和蒙特卡洛模拟结果证实。我们的实现是灵活的，因为它提供的冗余级别与数据生成节点的数量无关，这是分布式存储系统的要求
2010-11-18 cs.DC
Pangea: Monolithic Distributed Storage for Data Analytics
用于现代数据分析的存储和内存系统是分层的，在单独的系统中管理共享的持久数据、缓存数据和非共享的执行数据，例如HDFS等分布式文件系统、Alluxio等内存中文件系统和Spark等计算框架。这样的分层会在跨层冗余复制数据和为所有层决定适当的资源分配方面带来显著的性能和管理成本。在本文中，我们提出了一个名为Pangea的单一系统，可以管理所有数据-中间和长期数据，以及它们的缓冲区/缓存，数据放置优化和故障恢复-所有这些都在一个单片存储系统中，没有任何分层。我们提出了一个详细的性能评估的Pangea，并表明其性能媲美几个广泛使用的分层系统，如火花。
2018-12-16 cs.DC
Homomorphic Self-repairing Codes for Agile Maintenance of Distributed Storage Systems
分布式数据存储系统对于处理存储大量数据的需求至关重要。为了使这样的系统具有容错性，某种形式的冗余变得至关重要，这会产生各种开销-最突出的是存储空间和维护带宽要求。擦除码最初是为有损信道上的通信而设计的，它为基于复制的冗余提供了一种存储高效的替代方案，然而，当一些编码片段在一些存储设备故障后需要在新片段中补充时，它会带来用于维护的高通信开销。作为替代方案，我们提出了一个新的家庭的擦除码称为自修复码（SRC）考虑到分布式存储系统的特点，特别是维护过程。SRC具有以下显著特征：（a）通过下载比完整对象的大小更少的数据，可以直接从编码片段的其他子集修复编码片段，从而确保（b）从固定数量的编码片段修复片段，该数量仅取决于丢失了多少编码块并且与丢失了哪些特定块无关。本文通过定义新的自修复码奠定了基础，阐述了为什么定义的特性是分布式存储系统所需的。然后提出了同态自修复码（HSRC）作为一个具体的例子，其各个方面和性能的研究和比较-定量或定性相对于其他代码，包括传统的擦除码，以及其他最近的代码专门为存储应用程序。
2011-07-15 cs.DC
Automating Distributed Tiered Storage Management in Cluster Computing
Hadoop和Spark等数据密集型平台通常用于处理HDFS等分布式文件系统上的大量数据。不断增加的存储器大小和新的硬件技术（例如，NVRAM、SSD）最近已经导致在这样的设置中引入存储分层。但是，用户现在在尝试优化其工作负载时，要管理多个存储层和驻留在这些存储层上的数据，从而增加了额外的复杂性。在本文中，我们开发了一个通用的框架，在分布式文件系统的可用存储层自动移动数据。此外，我们使用机器学习来跟踪和预测文件访问模式，我们使用这些模式来决定何时以及哪些数据在存储层中上下移动，以提高系统性能。我们的方法使用增量学习来动态地优化模型，使其能够随着时间的推移自然地调整和适应工作负载的变化。我们使用来自Facebook和CMU跟踪的实际工作负载进行了广泛的评估，将我们的方法与其他几种策略进行了比较，并在工作负载性能和集群效率方面展示了显着的优势。
2019-09-04 cs.DC
When Cars Meet Distributed Computing: Data Storage as an Example
由于汽车无处不在，它们可以在下一代通信和计算框架中发挥重要作用。在过去的几年中，车辆到车辆通信和车辆到基础设施通信的发展向前迈出了巨大的步伐，因此为我们提供了在配备计算能力的汽车上构建“移动计算服务”的工具。最近，几组研究人员独立提出了实现这一概念的“车辆云”的设计。在本文中，我们介绍了一个新的范例的车辆云，其次是一个案例研究的数据存储在建议的云。最后，我们提出了几个挑战和机遇，在交通工具云和分布式计算的交集。
2017-11-06 cs.DC
The carbon footprint of distributed cloud storage
据估计，截至目前，ICT（信息通信技术）生态系统占全球能源需求总量的10%，相当于德国和日本的能源产量之和。云存储主要通过大型密集的数据中心运行，是其中不可忽视的一部分。然而，由于云是一个快速膨胀的市场，数据中心的能源效率大多是一个集体不敏感的问题，其碳足迹没有放缓的迹象。在本文中，我们分析了一种新的模式，云存储（实现Cubbit，http://cubbit.io），其中数据存储和分布在网络上的p2p交互的基于ARM的单板设备。我们将Cubbit的分布式云与传统的集中式解决方案在环境足迹和能源效率方面进行了比较。我们证明，与集中式云相比，Cubbit的分布式架构的碳足迹在数据存储方面减少了77%，在数据传输方面减少了50%。这些结果提供了一个例子，说明大范围技术的根本性范式转变如何使最终消费者和整个社会受益。
2019-06-26 cs.DC
Cooperative Regenerating Codes for Distributed Storage Systems
当分布式存储系统中存在多个节点故障时，就修复带宽最小化而言，以逐个方式单独地重新生成故障存储节点是次优的。如果启用新节点之间的数据交换，我们可以在修复带宽和每个节点的存储之间获得更好的权衡。给出了一种显式的、优化的协作再生码的构造方法。
2011-02-08 cs.DC cs.IT math.IT
Topology-Aware Node Selection for Data Regeneration in Heterogeneous Distributed Storage Systems
分布式存储系统引入冗余来保护数据免受节点故障的影响。存储节点发生故障后，应尽快在替换存储节点上重新生成丢失的数据，以保持相同的冗余级别。最小化这种再生时间对于分布式存储系统的可靠性至关重要。现有的工作致力于通过最小化再生流量或调整再生流量模式来减少再生时间，而参与数据再生的节点通常被假定为预先给定的。然而，这样的再生时间也很大程度上取决于参与节点的选择。选择不同的参与节点实际上涉及节点之间不同的数据链路。现实世界的分布式存储系统通常表现出异构链路容量。通过利用这种链路容量差异并避免链路瓶颈，可以进一步减少再生时间。在本文中，我们考虑的再生时间最小化通过选择参与节点在异构网络。我们分析了再生时间，并提出节点选择算法的覆盖网络和现实世界的拓扑结构。考虑到来自每个提供商的灵活的数据块量可能会深刻影响再生时间，设计了几种技术来增强我们的方案在覆盖网络。实验结果表明，我们的节点选择方案可以显着减少再生时间为每个拓扑结构，特别是在实际的网络与异构链路容量。
2015-06-18 cs.DC
Sector and Sphere: Towards Simplified Storage and Processing of Large Scale Distributed Data
云计算已经证明，只要给出正确的编程模型和基础设施，就可以在商品集群上处理非常大的数据集。在本文中，我们描述了Sector存储云和Sphere计算云的设计和实现。与现有的存储和计算云相比，Sector不仅可以在数据中心内管理数据，还可以跨地理分布的数据中心管理数据。同样，Sphere计算云支持数据中心内和跨数据中心的用户定义函数（UDF）。作为一种特殊情况，MapReduce风格的编程可以在Sphere中通过使用Map UDF和Reduce UDF来实现。我们描述了一些实验研究比较部门/球体和Hadoop使用Terasort基准。在这些研究中，Sector的速度大约是Hadoop的两倍。Sector/Sphere是开源的。
2009-01-17 cs.DC
CORE: Augmenting Regenerating-Coding-Based Recovery for Single and Concurrent Failures in Distributed Storage Systems
数据可用性在分布式存储系统中至关重要，特别是当节点故障在现实生活中普遍存在时。一个关键的要求是在恢复故障节点的丢失或不可用数据时，最大限度地减少节点之间传输的数据量。本文探讨了基于再生码的恢复解决方案，该方案可提供容错存储和最小恢复带宽。现有的最优再生码是针对单节点故障设计的。我们建立了一个系统称为CORE，它增强了现有的最佳再生代码，以支持一般数量的故障，包括单一和并发故障。我们从理论上表明，CORE实现了最小可能的恢复带宽在大多数情况下。我们实现了CORE，并在Hadoop HDFS集群测试床上评估了我们的原型，该集群测试床最多有20个存储节点。我们证明，我们的CORE原型符合我们的理论研究结果，并实现恢复带宽节省相比，传统的恢复方法的基础上纠删码。
2013-06-06 cs.DC
Boosting the Performance of Degraded Reads in RS-coded Distributed Storage Systems
针对RS编码存储系统中降级读延迟高的问题，提出并行重建方案APLS，利用所有幸存节点发送数据并选择轻负载起始节点接收，实验证明其优于现有方案ECPipe，尤其在重或中等负载下。.
2023-06-18 cs.DC
A realistic distributed storage system that minimizes data storage and repair bandwidth
在实际的分布式存储环境中，存储节点通常放置在机架中，机架是一种用于容纳电子设备的金属支架。已知机架内的节点之间的通信（带宽）成本远低于不同机架内的节点之间的通信（带宽）成本。本文提出了一种新的模型，其中存储节点被放置在两个机架上，并进行了分析。在此模型中，存储节点具有不同的修复成本来修复节点，这取决于它们放置的机架。示出了阈值函数，其最小化每个节点的存储数据量和重新生成故障节点所需的带宽。该阈值函数概括了来自先前分布式存储模型的阈值函数。将该阈值函数得到的折衷曲线与以前的模型得到的折衷曲线进行比较，结果表明，该新模型在维修成本方面优于以前的模型。
2013-01-08 cs.DC cs.IT math.IT
Information-theoretically Secure Regenerating Codes for Distributed Storage
再生码是用于分布式存储网络的一类码，其提供数据的可靠性和可用性，并且还执行有效的节点修复。分布式存储网络的另一个重要方面是其安全性。在本文中，我们考虑一个威胁模型，窃听者可以访问存储在存储节点的一个子集中的数据，也可能，在修复某些节点的数据下载。我们提供了明确的再生码，实现信息理论的保密能力，在这种情况下的建设。
2011-07-26 cs.DC cs.IT cs.NI
CONE-DHT: A distributed self-stabilizing algorithm for a heterogeneous storage system
我们考虑的问题，管理一个动态的异构存储系统中的分布式方式，使分配给该系统中的主机的数据量与其容量。为此，必须解决两个中心问题：（1）在具有低度和直径的覆盖网络中组织主机，使得可以有效地检查任何两个主机之间的数据和路由的正确分布，以及（2）在主机之间分布数据，使得分布尊重主机的容量，并且可以容易地随着主机集合或它们的容量改变而适应。我们提出了分布式协议，这些问题是自我稳定的，不需要任何全球知识的系统，如节点的数量或系统的整体能力。在此之前的工作没有解决方案是已知的满足这些性质。
2013-07-25 cs.DC
Complete Decentralization of Distributed Data Storages Based on Blockchain Technology
这项工作提出了一个解决方案，完全分散的数据管理系统在地理上分散的环境与管理无关或松散相关的用户组，并在部分或完全缺乏信任的条件下，他们之间。该解决方案基于区块链技术、智能合约和来源元数据驱动的数据管理的集成。所开发的体系结构、操作原理和算法提供了对出处元数据的容错、安全和可靠的管理，对数据文件的操作的控制，以及协作分布式计算系统中的资源访问管理。后者是指在某个项目的框架内，将不同组织（机构）的计算机资源组合成一个单一的池，共同工作而形成的分布式系统。
2021-12-20 cs.DC
Distributed Versioned Object Storage -- Alternatives at the OSD layer (Poster Extended Abstract)
存储数据项的多个版本的能力是一种强大的基本功能，它有着广泛的用途：关系数据库、事务内存、版本控制系统等等。但是，每个实现都使用一种非常特殊的版本控制形式，这种形式是针对所讨论的域定制的，并且对用户隐藏。在我们正在进行的项目中，我们正在审查和分析不同领域中版本控制的多种用途，目标是确定提供通用分布式多版本对象存储服务所需的基本组件，并定义如何定制这些组件以满足不同的需求。有了这个原语，新的服务可以利用多版本化来简化开发，并提供特定的一致性保证来解决特定的用例。这项工作提出了早期的结果，量化在本地存储层实现版本控制的权衡。
2014-06-14 cs.DC
Self-Repairing Codes for Distributed Storage - A Projective Geometric Construction
自修复代码（SRC）是为满足分布式网络存储的编码需求而设计的代码：它们不仅允许即使在存在节点故障的情况下也能恢复存储的数据，而且还提供了一种修复机制，可以联系两个活动节点来重新生成故障节点的数据。在本文中，我们提出了一个新的自修复码的例子，基于来自射影几何的蔓延的建设。我们研究他们的一些属性，以证明这些代码的分布式网络存储的适用性。
2011-05-02 cs.DC cs.IT math.IT
Cost Analysis of Redundancy Schemes for Distributed Storage Systems
分布式存储基础架构需要使用数据冗余来实现高数据可靠性。不幸的是，冗余的使用引入了存储和通信开销，这可能降低系统的总体存储容量或增加其成本。为了减轻存储和通信开销，已经提出了不同的冗余方案。然而，由于底层存储基础设施的种类繁多以及不同的应用需求，为每个存储基础设施优化这些冗余方案是很麻烦的。由于缺乏为每种存储配置确定最佳冗余级别的规则，导致行业中的开发人员经常选择更简单的冗余方案，而这些方案通常不是最佳方案。在本文中，我们分析了不同的冗余方案的成本，并推导出一组规则，以确定哪种冗余方案最大限度地减少了存储和通信成本为一个给定的系统配置。此外，我们使用模拟表明，理论上最优的方案可能是不可行的，在现实的设置中，节点可以离线和维修可能会延迟。在这些情况下，我们确定哪些是冗余方案的存储和通信开销与其数据可靠性之间的权衡。
2011-04-15 cs.DC cs.NI
Distributed and Big Data Storage Management in Grid Computing
大数据存储管理是网格计算环境中最具挑战性的问题之一，因为大量数据密集型应用经常涉及高度的数据访问局部性。网格应用程序通常处理大量数据。在传统的方法中，高性能计算包括用于数据存储和数据复制的专用服务器。在本文中，我们提出了一种新的机制，分布式和大数据存储和资源发现服务。提出了一种网格环境下的动态可扩展存储管理（DSSM）体系结构。这允许在网格计算中不仅共享计算周期，而且共享存储空间。可以从任何网格机器透明地访问存储，从而允许在网格用户和应用程序之间轻松地进行数据共享。允许创建虚拟空间的虚拟ID的概念已经被引入和使用。DSSM将所有面向网格的存储设备（节点）划分为多个地理上分布的域，以促进本地化并简化域内存储管理。采用基于网格服务的存储资源，随着需求的增长，将简单的模块化服务逐块堆叠起来。为此，我们提出了四个定义轴：DSSM架构和算法描述，存储资源和资源发现到网格服务，评估目的原型系统，动态，可扩展性和带宽，并讨论结果。在底层和上层的算法标准化的动态和可扩展的存储管理，以及更高的带宽已经设计。
2012-07-12 cs.DC cs.NI
Reliable Data Storage in Distributed Hash Tables
分布式哈希表为不稳定的分布式环境提供了弹性查找服务。然而，弹性数据存储需要额外的数据复制和维护算法。这些算法可以对系统的性能和可扩展性产生影响。在本文中，我们描述了这些复制算法的目标和设计空间。我们研究了现有的复制算法，并提出了一个新的分析其可靠性。然后，我们提出了一个新的动态复制算法，可以在不稳定的环境中运行。我们给出了几种可能的副本放置策略，该算法，并显示它们如何影响可靠性和性能。最后通过仿真比较了各种复制算法，定量地显示了它们在带宽利用率、容错能力和性能上的差异。
2005-08-02 cs.DC cs.NI
An Overview of Codes Tailor-made for Better Repairability in Networked Distributed Storage Systems
当今社会产生的数字数据量不断增加，需要更好的存储解决方案。本调查着眼于专门为分布式网络存储系统的需求而设计的新一代编码技术，试图在存储空间效率、容错和维护开销之间达到最佳折衷。四个家庭的代码量身定制的分布式设置，即-金字塔，层次，再生和自修复代码-在高层次上，强调这些代码背后的主要思想，并讨论其利弊，最后与它们之间的定量比较。这项调查故意排除了代码的技术细节，也没有提供众多作品的详尽摘要。相反，它通过展示分布式存储解决方案编码技术进步的全貌，以广泛受众易于访问的方式概述了主要代码家族。
2013-01-30 cs.DC cs.IT math.IT
Exact Minimum-Repair-Bandwidth Cooperative Regenerating Codes for Distributed Storage Systems
为了提供高的数据可靠性，分布式存储系统将具有冗余的数据分散到多个存储节点。再生码是一种新的纠删码，它引入冗余以提高分布式存储中数据修复的性能。大多数关于代码再生的研究都集中在单次故障恢复上，但在大型存储网络中，同时发生两个或多个节点故障的情况并不少见。为了利用机会，同时修复多个故障节点，合作修复机制，在这个意义上，要修复的节点之间可以交换数据，进行了研究。导出了合作修复的修复带宽的一个下界，并构造了一组与此下界相匹配的精确合作再生码。
2011-06-01 cs.DC cs.IT math.IT
Storage and Repair Bandwidth Tradeoff for Distributed Storage Systems with Clusters and Separate Nodes
节点存储和修复带宽之间的最佳折衷是分布式存储系统（DSS）的一个重要问题。对于具有集群的现实DSS，在修复故障节点时，从集群内节点下载更多数据比从跨集群节点下载更多数据更有效。因此，区分簇内和跨簇的修复带宽是有意义的。对于集群DSS的权衡已被认为是与特殊的修复假设，其中所有的活节点被用来修复故障节点。在本文中，我们研究了更一般的存储/修复参数下的集群DSS的最佳权衡。此外，再生代码的建设策略，实现点的最佳折衷曲线提出了集群DSS与特定参数作为一个数值例子。此外，分散节点的影响的权衡也被认为是具有集群和分散的节点的DSS。
2018-03-13 cs.DC cs.IT math.IT
Sapphire: Automatic Configuration Recommendation for Distributed Storage Systems
现代的分布式存储系统带有过多的可配置参数，这些参数控制模块行为并影响系统性能。开发人员提供的默认设置通常不适合特定的用户案例。调整参数可以提供显着的性能增益，但由于可配置参数的数量庞大，复杂的内部依赖性和非线性系统行为，这是一项需要丰富经验和专业知识的艰巨任务。为了克服这些困难，我们提出了一个自动模拟为基础的方法，蓝宝石，建议最佳配置，利用机器学习和黑盒优化技术。我们在Ceph上评估Sapphire。结果显示，与默认配置相比，Sapphire将Ceph性能显著提升至2.2倍。
2020-07-07 cs.DC cs.LG
On the Delay-Storage Trade-off in Content Download from Coded Distributed Storage Systems
在本文中，我们研究如何在分布式存储编码减少预期的下载时间，除了提供可靠性对磁盘故障。预期的下载时间减少了，因为当内容文件被编码以增加冗余并分布在多个磁盘上时，仅读取磁盘的子集就足以重建内容。对于相同的总存储量，编码比简单的复制更好地利用了存储的多样性，因此提供了更快的下载。我们使用一种新的fork-join排队框架来模拟多个用户同时请求内容，并推导出预期下载时间的界限。我们的系统模型和结果是一个新的一般化的fork-join系统，研究排队论文献。我们的研究结果表明，预期的下载时间和存储空间的量之间的基本权衡。这种权衡可以用于设计满足内容传递的延迟约束所需的冗余量。
2013-12-18 cs.DC cs.IT cs.PF
Synchronizing Edits in Distributed Storage Networks
我们考虑的问题，在分布式存储网络的编辑模型下，包括删除和插入的数据同步。我们提出了两个修改MDS，再生和本地可修复的代码，允许更新的奇偶校验值进行一轮的通信在低比特率和使用小的存储开销。我们的主要贡献是新的协议同步热和半静态数据和协议的数据重复数据删除应用程序，基于中间置换，范德蒙和柯西矩阵编码。
2014-09-04 cs.DC cs.IT math.IT
Rebuilding for Array Codes in Distributed Storage Systems
在使用编码的分布式存储系统中，出现了最小化在故障后重建存储节点所需的通信的问题。我们认为，在分布式存储系统中，使用EVENODD代码的修复被擦除的节点的问题。EVENODD码是最大距离可分离（MDS）阵列码，用于防止擦除，并且仅需要XOR操作进行编码和解码。我们表明，当有两个冗余节点，重建一个删除的系统节点，只有3/4的信息需要传输。有趣的是，在许多情况下，所需的磁盘I/O也被最小化。
2010-09-16 cs.DC cs.IT cs.NI
Regenerating Codes for Errors and Erasures in Distributed Storage
再生码是为保证分布式存储系统中数据的可靠性和故障节点的有效修复而提出的一类编码。在本文中，我们解决的基本问题，处理错误和擦除过程中的数据重建和节点修复操作。我们提供了明确的再生代码，是弹性的错误和擦除，并表明这些代码是最佳的存储和带宽要求。作为一个特殊的情况下，我们还建立了一类分布式存储系统的恶意对手的存在下的能力。虽然我们的代码结构是基于以前构建的产品矩阵码，我们也提供了必要和充分的条件引入弹性在任何再生代码。
2012-05-23 cs.DC cs.IT cs.NI
A realistic distributed storage system: the rack model
在实际的分布式存储环境中，存储节点通常放置在机架中，机架是一种用于容纳电子设备的金属支架。已知的是，在同一机架中的节点之间的通信（带宽）成本比在不同机架中的节点之间的通信（带宽）成本低得多。本文提出了一种新的模型，其中存储节点被放置在两个机架上，并进行了分析。此外，两个机架模型被推广到任何数量的机架。在此模型中，存储节点具有不同的维修成本，具体取决于它们放置的机架。示出了阈值函数，其最小化每个节点的存储数据量和重新生成故障节点所需的带宽。这个阈值函数概括了以前的分布式存储模型。将该阈值函数得到的折衷曲线与以前的模型得到的折衷曲线进行比较，结果表明，该新模型在维修成本方面优于以前的模型。
2013-02-22 cs.DC cs.IT math.IT
HVSTO: Efficient Privacy Preserving Hybrid Storage in Cloud Data Center
在云数据中心中，具有良好管理的共享存储是用于存储虚拟机（VM）的主要结构。本文提出了一种针对大规模云数据中心虚拟机存储的隐私保护共享存储系统--混合虚拟机存储（HVSTO）。与传统的共享存储不同，HVSTO采用分布式结构来保护虚拟机的隐私，这是传统集中式结构中的一个威胁。为了提高分布式存储系统的I/O延迟性能，我们采用了一种混合系统来结合固态硬盘和分布式存储。从我们的演示系统的评估，HVSTO提供了一个可扩展的和足够的吞吐量的平台作为一个服务的基础设施。
2014-05-23 cs.CR cs.DC
Auditing for Distributed Storage Systems
分布式存储代码最近在社区中受到了很多关注。独立地，另一组工作已经提出了云存储的完整性检查方案，但是，没有一个是针对基于编码的存储定制的，或者可以有效地支持修复。在这项工作中，我们弥合了这两个目前脱节的工作机构之间的差距。我们提出了NC-Audit，一种新的基于密码学的远程数据完整性检查方案，专门为基于网络编码的分布式存储系统设计。NC-Audit第一次结合了以下所需的属性：（i）有效检查数据完整性，（ii）有效支持修复故障节点，以及（iii）在由第三方执行检查时防止信息泄漏。NC-Audit的设计的关键成分是一个新的组合SpaceMac，同态消息认证码（MAC）的网络编码方案，和NCrypt，一种新的选择明文攻击（CPA）安全加密方案，是兼容SpaceMac。我们的评估的Java实现NC审计表明，审计成本的存储节点和审计员的计算时间和较低的带宽比以前的工作。
2014-05-12 cs.CR cs.DC cs.NI
Blockchains Meet Distributed Hash Tables: Decoupling Validation from State Storage
普通用户在为公共区块链设置节点时遇到的第一个障碍是下载节点开始正常运行所需的所有数据所需的时间。事实上，这可能会持续几个小时到几个星期的主要网络。我们的贡献是双重的。首先，我们展示了一种设计，它可以挖掘和验证新的块，只保持一个非常小的状态。其次，我们证明了可以将区块链的状态存储在分布式哈希表中，从而在节点提交的存储和复制因子之间获得广泛的权衡。我们的提案独立于所采用的共识算法，并且能够很好地处理涉及智能合约的交易。
2019-03-07 cs.CR cs.DC
DistCache: Provable Load Balancing for Large-Scale Storage Systems with Distributed Caching
负载均衡对于分布式存储满足严格的服务级别目标（SLO）至关重要。已经表明，快速高速缓存可以保证集群存储系统的负载均衡。然而，当系统扩展到多个集群时，快速缓存本身将成为瓶颈。传统的缓存分区和缓存复制机制要么导致缓存节点之间的负载不平衡，要么为缓存一致性带来很高的开销。我们提出DistCache，一个新的分布式缓存机制，提供可证明的负载均衡的大规模存储系统。DistCache通过缓存拓扑和查询路由共同设计缓存分配。其核心思想是在不同层的缓存节点之间使用独立的哈希函数划分热对象，并使用二次选择的幂自适应路由查询。我们证明，DistCache使高速缓存的吞吐量线性增加的高速缓存节点的数量，通过统一的技术，从扩展图，网络流，排队论。DistCache是一种通用解决方案，可应用于许多存储系统。我们展示了DistCache的好处，提供设计，实施和评估的用例，新兴的基于交换机的缓存。
2019-02-14 cs.DC cs.NI
Scalable constructions of fractional repetition codes in distributed storage systems
在使用商用硬件构建的分布式存储系统中，为了确保系统的可靠性，需要具有数据冗余。在这样的系统中，通常还期望能够快速修复故障的存储节点。我们考虑一个计划-介绍了El Rouayheb和Ramchandran-它使用组合块设计，以设计存储系统，使有效的（和准确的）节点修复。在这项工作中，我们调查的系统中，节点的大小可能远远大于复制度，并明确提供算法来构建这些存储设计。我们的设计，这是相关的射影几何，是基于建设的二分笼图（周长6）和相互正交的拉丁广场的概念。通过这些结构，我们可以保证所得到的设计需要最少数量的存储节点给定的参数，并可以进一步表明，这些系统可以很容易地扩展，而不需要频繁的重新配置。
2011-09-30 cs.DC cs.IT math.IT
On Optimizing Replica Migration in Distributed Cloud Storage Systems
随着大规模互联网服务和大数据的广泛采用，云已经成为满足不断增长的存储需求的理想环境，这要归功于其看似无限的容量，高可用性和更快的访问时间。在这种情况下，数据复制被吹捧为提高数据可用性和减少访问时间的最终解决方案。然而，副本放置系统通常需要随着时间的推移在数据中心之间和数据中心内迁移和创建大量的数据副本，在网络负载和可用性方面产生了很大的开销。本文提出了一种有效的分布式云存储迁移方案CRANE。CRANE通过有效地管理地理分布式基础设施中的副本创建来补充任何副本放置算法，通过（1）最小化将数据复制到新副本位置所需的时间，（2）避免网络拥塞，以及（3）确保数据的最小可用性。我们的研究结果表明，与swift（用于管理数据存储的OpenStack项目）相比，CRANE能够最大限度地减少高达30%的副本创建时间和25%的数据中心间网络流量，同时确保数据的最低可用性。
2015-09-04 cs.DC cs.NI
RoBuSt: A Crash-Failure-Resistant Distributed Storage System
在这项工作中，我们提出了第一个分布式存储系统，该系统可证明对自适应对手发出的崩溃故障具有鲁棒性，即，对于每一批请求，对手可以基于整个系统状态来决定哪些服务器对于该批请求将是不可用的。尽管多达$γn^{1/\log\log n}$崩溃的服务器，$γ>0$常数和$n$表示服务器的数量，我们的系统可以正确地处理任何一批查找和写入请求（与最多的多对数数量的请求发出在每个非崩溃的服务器）在最多的多对数数量的通信轮，与最多的多对数时间和工作在每个服务器和只有对数的存储开销。我们的系统基于Eikel和Scheideler（SPAA 2013）之前的工作，他们提出了IRIS，这是一种分布式信息系统，可证明对于相同类型的崩溃故障具有强大的鲁棒性。但是，IRIS只能提供查找请求。处理查找和写入请求需要对IRIS的设计进行重大更改。
2015-02-23 cs.DC cs.DS
Almost Strong Consistency: "Good Enough" in Distributed Storage Systems
一旦分布式存储系统复制数据，就会出现一致性/延迟权衡。对于低延迟，现代存储系统通常满足于弱一致性条件，这对数据一致性提供很少甚至更糟的保证。在本文中，我们提出了几乎强一致性的概念，作为一个更好的平衡选项的一致性/延迟权衡。它提供了每次读取的数据版本的确定性有界陈旧性和“读取陈旧值”的概率量化，同时实现了低延迟。在分布式存储系统中，我们调查几乎强一致性的2-原子性。我们的2AM（2-Atomicity Maintenance）算法在一次通信往返中完成读取和写入，并保证每次读取都获得最新2个版本中的值。为了量化“读取陈旧值”的比率，我们将所谓的“新旧倒置”现象分解为并发模式和读写模式，并分别提出了一个随机的存储模型和一个“定时的球入箱模型”来分析它们。理论分析不仅证明了“新旧倒置”很少发生，而且还揭示了读写模式在保证这种罕见的数据不一致性方面占主导地位。这些进一步证实了实验结果，表明2-原子性是“足够好”的分布式存储系统实现低延迟，有界陈旧，和罕见的数据不一致。
2015-07-15 cs.DB cs.DC
Unified storage systems for distributed Tier-2 centres
大型强子对撞机数据采集的开始将预示着粒子物理学数据量和分布式处理的新时代。数百TB的数据量将被运送到二级中心，由LHC实验使用全球LHC计算网格（WLCG）进行分析。在许多国家，二级中心分布在若干机构之间，例如，在英国地理上分布的GridPP的第二层。这为有效利用这些中心的实验提出了许多挑战，因为CPU和存储资源可能会被细分并暴露在比实验理想情况下想要使用的更小的单元中。此外，在各个中心的存储和CPU之间可能会出现无益的不匹配，这使得难以有效利用第2层的资源。解决此问题的一种方法是统一分布式第2层的存储，将中心的聚合存储作为单个系统呈现。这大大简化了VO的数据管理，VO可以跨第2层访问更多数据。但是，这种方法会导致这样的场景：一个站点的批处理系统上的分析作业必须访问另一个站点上托管的数据。我们调查这种情况下使用格拉斯哥和爱丁堡集群，这是ScotGrid分布式第2层的一部分。特别是，我们看看如何减轻与“远程”数据访问相关的问题，并讨论了LAN访问协议穿越中心之间的WAN的安全问题。
2008-03-28 cs.DC cs.NI
UStore: A Distributed Storage With Rich Semantics
当今的存储系统暴露了太低级的抽象（例如，键值存储，原始块存储），它们需要开发人员重新发明轮子，或者太高级别（例如，关系数据库，Git），它们缺乏通用性，无法支持许多类的应用程序。在这项工作中，我们提出并实现了一个通用的分布式数据存储系统，称为UStore，它具有丰富的语义。UStore提供了三个关键属性，即不变性，共享和安全性，这些属性为当今许多类别的应用程序提供了统一和增值，并为新的应用程序打开了大门。通过将核心属性保留在存储中，UStore有助于减少应用程序开发工作，同时提供高性能。存储采用当前的硬件趋势作为关键推动因素。它是围绕一个类似于Git的数据结构构建的，Git是一个流行的源代码版本控制系统，但它也综合了许多来自分布式系统和数据库的设计。我们目前的UStore实现比一般的内存键值存储系统有更好的性能，特别是对于版本扫描操作。我们在UStore上移植并评估了四个应用程序：类似Git的应用程序、协作数据科学应用程序、交易管理应用程序和区块链应用程序。我们证明了UStore可以更快地开发，并且UStore支持的应用程序可以具有比现有实现更好的性能。
2017-02-09 cs.DB cs.DC
SwitchDelta: Asynchronous Metadata Updating for Distributed Storage with In-Network Data Visibility
Tsinghua University（清华大学）；Nanjing University（南京大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
SwitchDelta通过在交换机中缓冲元数据更新，提升分布式存储系统在写密集型负载下的性能，减少延迟并提高吞吐量。
2025-11-25 cs.DB cs.DC
Capacity and Security of Heterogeneous Distributed Storage Systems
研究了异构分布式存储系统在修复动态下的容量问题。这些系统的示例包括对等存储云、无线和互联网缓存系统。异构系统中的节点可以具有不同的存储容量和不同的修复带宽。我们给出了系统容量的上下界。这些界限取决于每个节点的平均资源，或对节点特性的详细知识。此外，我们研究的情况下，节点可能会受到窃听，并给出了系统的保密能力的界限。我们的研究结果的一个含义是，对称修复最大化一个同质系统的容量，这证明了在文献中广泛使用的模型。
2012-11-02 cs.DC cs.IT cs.NI
Breaking the Storage-Bandwidth Tradeoff in Distributed Storage with Quantum Entanglement
University of Maryland, College Park（马里兰大学帕克分校）
本文利用量子纠缠在分布式存储中实现存储和带宽的同步最小化，突破经典存储-带宽权衡限制。
2026-01-15 cs.DC cs.IT cs.NI
Evaluation of Distributed Databases in Hybrid Clouds and Edge Computing: Energy, Bandwidth, and Storage Consumption
对现代分布式数据库的基准研究是在云边缘范例中选择正确的数据管理技术的重要信息来源。为了做出正确的决定，需要对各种硬件基础设施进行广泛的实验研究。虽然大多数最先进的研究仅调查了分布式数据库的响应时间和可伸缩性，但关注于其他各种度量（例如，能量、带宽和存储消耗）对于完全理解分布式数据库的资源消耗是必要的。此外，现有的研究已经探索了这些数据库在私有云或公共云中的响应时间和可扩展性。因此，对部署在混合云中的这些数据库的评估缺乏调查，混合云是公共云和私有云的无缝集成。为了解决这些研究空白，在本文中，我们调查的能源，带宽和存储消耗最常用的和常见的分布式数据库。为此，我们评估了混合云上的四个开源数据库（Cassandra，Mongo，Redis和MySQL），这些数据库跨越本地OpenStack和Microsoft Azure，以及各种边缘计算节点，包括Raspberry Pi，Raspberry Pi集群以及低功率和高功率服务器。我们广泛的实验结果揭示了一些有用的见解，在边缘云环境中的现代分布式数据库的部署选择。
2023-01-09 cs.DB cs.DC
