Enhancing Cloud Storage with Shareable Instances for Social Computing
云存储在社会计算中发挥着重要作用。本文旨在开发一个移动设备的云存储管理系统，以支持一组扩展的文件操作。由于存储、带宽、功耗和其他资源的限制，大多数现有的智能手机云存储应用程序都不保留文件的本地副本。然而，这种高效的设计限制了应用能力。在本文中，我们试图扩展云存储服务的可用文件操作，以更好地为智能手机用户服务。我们开发了一个高效、安全的文件管理系统Skyfiles，以支持更高级的文件操作。我们设计的基本思想是利用云实例来辅助文件操作。特别是，Skyfiles支持下载，压缩，加密和转换操作，以及两个智能手机用户的云存储空间之间的文件传输。此外，我们提出了一个协议，用户共享他们的空闲实例。Skyfiles支持的所有文件操作都可以通过自创建实例或共享实例高效安全地完成。
2020-10-26 cs.DC cs.PF
Objcache: An Elastic Filesystem over External Persistent Storage for Container Clusters
本文提出objcache，一个基于外部存储的弹性文件系统，通过Raft日志事务协议和一致性哈希管理分布式状态，支持缩容至零，将模型服务启动速度提升98.9%。
2023-09-04 cs.DC
Taming Tail Latency for Erasure-coded, Distributed Storage Systems
分布式存储系统在响应时间上易受长尾效应的影响。在Bing、Facebook和Amazon等现代在线存储系统中，服务延迟的长尾特别值得关注。其中第99.9百分位响应时间是比平均值差的数量级。由于纠删码作为一种流行的技术出现，以实现分布式存储中的高数据可靠性，同时获得空间效率，驯服尾部延迟仍然是一个开放的问题，由于缺乏数学模型来分析这样的系统。为此，我们提出了一个框架，用于量化和优化尾部延迟擦除编码存储系统。特别是，我们推导出上界尾延迟在封闭的形式为任意服务时间分布和异构文件。基于该模型，我们制定了一个优化问题，以共同最大限度地减少加权延迟尾概率的所有文件在服务器上的文件的位置，并选择服务器访问所请求的文件。使用高效的交替优化算法来解决非凸问题。数值结果表明，擦除编码的存储系统与现实的工作负载的尾部延迟显着减少。
2017-03-24 cs.DC cs.IT cs.NI
Extending DIRAC File Management with Erasure-Coding for efficient storage
网格式数据管理的最新技术水平是通过跨多个存储端点的数据文件的多个完整副本来实现数据的增强弹性。虽然这是有效的，但它并不是最节省空间的恢复方法，特别是当单个存储端点的可靠性足够高时，只有少数端点在任何时间点都处于非活动状态。我们报告的工作进行的一部分，GridPP \cite{GridPP}，扩展狄拉克文件目录和文件管理接口，允许放置擦除编码的文件：每个文件分布为N个相同大小的数据块条纹在一个向量的存储端点，编码，使任何M块可以丢失，原始文件可以重建。开发的工具对用户是透明的，并且，以及允许数据上传和下载到网格存储，还提供了一次并行访问所有分布式块的可能性，提高数据传输和IO性能。我们预计这种方法对较小的VO最感兴趣，因为它们对可用存储的限制更严格，但较大的（WLCG）VO可能会感兴趣，因为它们的总数据在运行2期间增加。我们提供了该方法的成本和效益分析，以及该领域的未来发展和实施计划。一般来说，多个文件传输的开销是目前这种方法竞争力的最大问题。
2015-10-30 cs.DC hep-ex
The Design, Implementation, and Deployment of a System to Transparently Compress Hundreds of Petabytes of Image Files for a File-Storage Service
我们报告的设计，实施和部署的Lepton，一个容错系统，losslime压缩JPEG图像的原始大小的77%，平均。Lepton用并行化的算术代码替换了基线JPEG压缩的最低层-霍夫曼代码，因此可以快速恢复原始JPEG文件的确切字节。轻子匹配最好的先前工作的压缩效率，同时解码速度快9倍以上，并以流的方式。Lepton已作为开源软件发布，并已在Dropbox文件存储后端部署了一年。截至2017年2月，它已经压缩了超过203 PiB的用户JPEG文件，节省了超过46 PiB。
2017-03-26 cs.DC cs.GR cs.MM
On Storage Allocation for Maximum Service Rate in Distributed Storage Systems
存储分配影响着分布式存储系统的重要性能指标。大多数以前的研究存储分配单独考虑其效果上的成功的数据恢复或服务率（时间），假设没有访问失败发生在系统中。在本文中，我们更进一步，并将访问模型和数据恢复的成功率的服务率分析。特别是，我们专注于准均匀的存储分配，并提供了一个固定大小和概率访问模型在节点上的服务率分析。使用这种分析，然后，我们表明，在个人存储节点的指数等待时间分布的情况下，最小的扩散分配结果在最高的系统服务率为两种访问模型。这意味着，对于给定的存储预算，复制提供的服务率比编码存储解决方案更高。
2016-05-11 cs.DC
Performance of Distributed File Systems on Cloud Computing Environment: An Evaluation for Small-File Problem
针对分布式文件系统在小文件及复杂机器学习场景下的性能问题，提出结合高性能计算、大数据与共享存储的架构，并通过实验验证其适用性。
2023-12-29 cs.DC
Joint Latency and Cost Optimization for Erasure-coded Data Center Storage
现代分布式存储系统提供大容量以满足呈指数级增长的存储空间需求。他们通常使用擦除码来防止磁盘和节点故障，以提高可靠性，同时尝试满足应用程序和客户端的延迟要求。本文提供了一个有见地的上界的平均服务延迟，这样的擦除编码存储任意的服务时间分布和多个异构文件组成。结果不仅取代了已知的延迟界限，只适用于一个单一的文件或同类文件，它也使一个新的问题，联合延迟和存储成本最小化在三个维度：选择擦除码，放置编码块，优化调度策略。通过计算一系列具有可证明收敛性的凸逼近，有效地解决了这个问题。我们进一步在三个地理分布的数据中心上的开源云存储部署中原型化我们的解决方案。实验结果验证了我们的理论延迟分析，并显示显着的延迟减少，擦除编码存储的延迟成本权衡建议提供了宝贵的见解。
2014-08-05 cs.DC cs.IT math.IT
Performance Comparison of DAOS and Lustre for Object Data Storage Approaches
高性能对象存储是一种新兴技术，它在HPC存储领域提供了一种替代解决方案，有可能解决传统分布式POSIX文件系统中由于过度的一致性保证和元数据规定性而存在的长期可扩展性问题。在本文中，我们评估的性能存储对象的数据在一个标准的文件系统，其中的配置和访问机制尚未优化对象的访问行为，并比较和调查使用对象存储系统的好处。虽然这种方法没有以标准的方式利用文件系统，但这项工作使我们能够调查底层存储技术性能是否比文件系统或对象存储提供的软件接口和基础设施更重要或更不重要。
2022-11-16 cs.DC
The Case for Cross-Layer Optimizations in Storage: A Workflow-Optimized Storage System
本文建议使用文件系统自定义元数据作为应用程序和存储系统之间的双向通信通道。这个通道可以用来传递支持跨层优化的提示，这是一个目前被僵化的文件系统接口所阻碍的选项。我们研究这种方法的背景下，存储系统支持大规模的工作流执行系统：我们的工作流优化存储系统（WOSS），利用应用程序提示提供每个文件的优化操作，并暴露数据位置，使位置感知调度。本文认为，在存储系统中采用跨层优化的增量采用路径存在，提出了一个工作流优化的存储系统的系统架构，并与工作流运行时引擎的集成，并评估所提出的方法使用合成以及真实的应用程序的工作负载。
2013-01-26 cs.DC
Automating Distributed Tiered Storage Management in Cluster Computing
Hadoop和Spark等数据密集型平台通常用于处理HDFS等分布式文件系统上的大量数据。不断增加的存储器大小和新的硬件技术（例如，NVRAM、SSD）最近已经导致在这样的设置中引入存储分层。但是，用户现在在尝试优化其工作负载时，要管理多个存储层和驻留在这些存储层上的数据，从而增加了额外的复杂性。在本文中，我们开发了一个通用的框架，在分布式文件系统的可用存储层自动移动数据。此外，我们使用机器学习来跟踪和预测文件访问模式，我们使用这些模式来决定何时以及哪些数据在存储层中上下移动，以提高系统性能。我们的方法使用增量学习来动态地优化模型，使其能够随着时间的推移自然地调整和适应工作负载的变化。我们使用来自Facebook和CMU跟踪的实际工作负载进行了广泛的评估，将我们的方法与其他几种策略进行了比较，并在工作负载性能和集群效率方面展示了显着的优势。
2019-09-04 cs.DC
Client-side Straggler-Aware I/O Scheduler for Object-based Parallel File Systems
基于对象的并行文件系统已经成为高性能计算（HPC）系统的有前途的存储解决方案。尽管对象存储提供了灵活的接口，但调度访问大量对象的高度并发I/O请求仍然是一个具有挑战性的问题，特别是在系统中存在落后者（存储服务器比其他服务器慢得多）的情况下。高效的I/O调度器需要避免可能的掉队者，以实现低延迟和高吞吐量。在本文中，我们介绍了一个日志辅助的离散感知的I/O调度，以减轻存储服务器离散的影响。这项研究的贡献有三个方面。首先，我们介绍了一个客户端，日志辅助，落伍者意识的I/O调度架构，以解决在HPC系统中的存储落伍的问题。其次，我们提出了三种调度算法，可以有效地调度I/O的决策，同时避免基于这样的架构的掉队者。第三，我们使用模拟评估所提出的I/O调度器，模拟结果证实了新引入的落伍者感知的I/O调度器的承诺。
2018-05-16 cs.DC
PIR-DSN: A Decentralized Storage Network Supporting Private Information Retrieval
PIR-DSN是一种整合私有信息检索的去中心化存储网络协议，通过安全映射方法和文件复制实现隐私保护与高效检索。
2025-12-08 cs.DC
Studying Scientific Data Lifecycle in On-demand Distributed Storage Caches
XRootD系统用于传输、存储和缓存来自高能物理（HEP）的大型数据集。在这项研究中，我们专注于它的能力，分布式按需存储缓存。通过探索2020年至2021年期间的大量日常日志文件，我们试图了解可能为未来缓存设计提供信息的数据访问模式。我们的研究从一组关于文件读取操作、文件生存期和文件传输的汇总统计数据开始。我们观察到，每个文件上的读操作数量几乎保持不变，而读操作的平均大小随着时间的推移而增长。此外，文件往往具有一致的时间长度，在此期间，它们保持打开和使用。基于对高速缓存访问统计数据的全面研究，我们开发了一个高速缓存模拟器来探索不同大小的高速缓存的行为。在一定的大小范围内，我们发现增加XRootD缓存大小可以提高缓存命中率，从而提高整体文件访问速度。特别是，我们发现，将缓存大小从40 TB增加到56 TB可以将命中率从0.62增加到0.89，这是一个显着提高缓存效率的适度成本。
2022-05-11 cs.DC cs.NI cs.SY
On the Efficiency of Decentralized File Storage for Personal Information Management Systems
本文提出了一种基于分布式账本技术（DLT）和分散式文件存储（DFS）系统的体系结构，以支持个人信息管理系统（PIMS）的使用。DLT和DFS用于管理由配备有具有感测能力的设备的移动用户感测的数据。DLT保证存储在DFS中的个人数据引用的不变性、可追溯性和可验证性。事实上，在DLT中包含数据记录器可以获得不可更改的引用和防篡改日志，同时保持符合个人数据法规，即GDPR。我们提供了一个实验评估DFS的使用的可行性。已经研究了三种不同的场景：i）具有与数据生产者接口的专用节点的专有IPFS方法，ii）公共IPFS服务和iii）Sia Skynet。结果表明，通过适当的系统基础设施的配置，它是可行的，以建立一个分散的个人数据存储（PDS）。
2020-07-07 cs.CR cs.DC cs.IR
SEARS: Space Efficient And Reliable Storage System in the Cloud
今天的云存储服务必须在不牺牲存储成本的情况下为大量数据提供存储可靠性和快速数据检索。我们提出了SEARS，一个基于云的存储系统，它集成了纠删编码和重复数据删除，以支持高效和可靠的数据存储与快速的用户响应时间。通过将数据与存储服务器集群正确关联，SEARS提供了不同配置的灵活混合，适用于实时和归档应用程序。我们在Amazon EC2上的SEARS原型实现表明，它在存储效率和文件检索时间方面优于现有的存储系统。对于3 MB文件，SEARS提供的检索时间为$2.5$秒，而现有系统的检索时间为$7$秒。
2015-08-05 cs.DC
SimFS: A Simulation Data Virtualizing File System Interface
如今，模拟可以产生PB级的数据，存储在并行文件系统或大型数据库中。这些数据在几十年的时间里经常被成千上万的分析师和科学家访问。然而，长时间存储这些数据量并不具有成本效益，在某些情况下，实际上是不可能的。我们建议透明地虚拟化模拟数据，通过不存储完整的输出和按需重新模拟丢失的数据来放松存储要求。我们开发SimFS，一个文件系统接口，它将模拟输出的虚拟化视图暴露给分析应用程序并管理重新模拟。SimFS监控分析应用程序的访问模式，以便（1）决定为更快的访问而存储的数据，以及（2）采用预取策略来减少丢失数据的访问时间。虚拟化仿真数据允许我们用存储交换计算：这种模式变得类似于传统的磁盘分析（所有数据都存储）或原位分析（没有数据存储），这取决于分配给SimFS的存储资源。总的来说，通过利用不断增长的计算能力和放宽存储容量的要求，SimFS提供了一个可行的途径，以exa规模的模拟。
2019-01-24 cs.DC
Towards Marrying Files to Objects
为了应对非结构化数据的不断增长，供应商已经部署了基于REST风格的Web服务构建的可扩展、弹性和经济高效的基于对象的存储系统。但是，许多应用程序依赖于更丰富的文件系统API和语义，无法从对象存储中获益。这会导致存储蔓延，因为对象存储与文件系统一起部署，并且数据以临时方式跨两个系统进行访问和管理。我们认为，迫切需要透明地合并对象和文件，将数据整合到一个平台中。这样的合并将扩展对象和文件存储的功能，同时保留现有的语义和接口。在这份意见书中，我们研究了统一对象存储和文件系统的可行性，以及存在的各种设计权衡。然后，使用我们自己实现的一个基于对象的，POSIX完整的文件系统，我们实验证明了几个关键的设计考虑。
2019-08-21 cs.DC
Tiered cloud storage via two-stage, latency-aware bidding
在云存储中，数字数据存储在逻辑存储池中，由云服务提供商（CSP）管理的异构物理存储介质和计算基础设施提供支持。为了平衡服务性能和成本之间的权衡，CSP通常采用不同的存储层，例如冷存储和热存储。将数据存储在热存储中会导致高存储成本，但提供低访问延迟，而冷存储能够廉价地存储大量数据，从而提供更低的成本和更高的延迟。在本文中，我们解决了一个主要的挑战，面临的CSP利用这种分层存储架构-如何最大限度地提高其整体利润超过各种存储层，提供不同的特点，以及文件放置和访问请求调度政策。为此，我们提出了一个计划，CSP提供了一个两阶段的拍卖过程（a）请求存储容量，和（b）请求访问延迟的要求。我们的两阶段招标方案提供了一个混合存储和访问优化框架，其目标是最大限度地提高CSP的总净利润在四个方面：文件接受决策，接受的文件，文件访问决策和访问请求调度政策的位置。所提出的优化是一个混合整数非线性规划，很难解决。我们提出了一个有效的启发式放松整数优化，并解决由此产生的非线性随机规划。该算法在不同的情况下，并与不同的存储系统参数进行评估，并通过比较所提出的方法与其他利润最大化模型有见地的数值结果报告。在某些模拟场景中，与其他方案相比，我们看到我们提出的方法的利润增加了60%以上。
2017-11-02 cs.DC cs.GT cs.NI
CFS: A Distributed File System for Large Scale Container Platforms
我们提出了CFS，一个分布式文件系统的大规模容器平台。CFS支持顺序和随机两种文件访问方式，对大小文件均进行了优化存储，并针对不同的写入场景采用不同的复制协议，以提高复制性能。它采用一个元数据子系统来存储和分发文件元数据在不同的存储节点的基础上的内存使用。这种元数据放置策略避免了在容量扩展期间重新平衡数据的需要。CFS还提供了符合POSIX的API，具有宽松的语义和元数据原子性，以提高系统性能。我们与Ceph进行了全面的比较，Ceph是容器平台上广泛使用的分布式文件系统。我们的实验结果表明，在测试7个常用的元数据操作，CFS给大约3倍的性能提升平均。此外，CFS在具有多个客户端和进程的高度并发环境中表现出更好的随机读/写性能。
2019-11-08 cs.DC
Navigating the Landscape of Distributed File Systems: Architectures, Implementations, and Considerations
本文综述分布式文件系统的架构、分类、设计挑战与NFS、AFS、GFS、HDFS、CephFS等实现，为构建高效稳定安全的DFS提供参考。
2024-03-23 cs.AR cs.DC
Demystifying Object-based Big Data Storage Systems
本文综述了不同知名存储服务提供商提供的大数据存储架构，将其分为DFS、CFS、云存储、归档存储和OSS五个部分，并详细揭示了各组织提供的系统架构视图。
2024-06-01 cs.DB cs.DC
Optimization policy for file replica placement in fog domains
针对雾域文件可用性与放置难题，提出基于复杂加权网络、中心性和图分区的多副本放置策略，实验显示其延迟更低、网络增量更小且可用性接近 FogStore。
2024-06-14 cs.DC
Pangea: Monolithic Distributed Storage for Data Analytics
用于现代数据分析的存储和内存系统是分层的，在单独的系统中管理共享的持久数据、缓存数据和非共享的执行数据，例如HDFS等分布式文件系统、Alluxio等内存中文件系统和Spark等计算框架。这样的分层会在跨层冗余复制数据和为所有层决定适当的资源分配方面带来显著的性能和管理成本。在本文中，我们提出了一个名为Pangea的单一系统，可以管理所有数据-中间和长期数据，以及它们的缓冲区/缓存，数据放置优化和故障恢复-所有这些都在一个单片存储系统中，没有任何分层。我们提出了一个详细的性能评估的Pangea，并表明其性能媲美几个广泛使用的分层系统，如火花。
2018-12-16 cs.DC
Formal Definitions and Performance Comparison of Consistency Models for Parallel File Systems
本文提出形式化统一框架定义存储一致性模型，并通过分层实现比较两种宽松模型在并行I/O负载下的性能，证明较弱一致性可显著提升I/O性能。
2024-02-26 cs.DC cs.OS
Breaking the Storage-Bandwidth Tradeoff in Distributed Storage with Quantum Entanglement
University of Maryland, College Park（马里兰大学帕克分校）
本文利用量子纠缠在分布式存储中实现存储和带宽的同步最小化，突破经典存储-带宽权衡限制。
2026-01-15 cs.DC cs.IT cs.NI
DisTRaC: Accelerating High Performance Compute Processing for Temporary Data Storage
高性能计算（HPC）集群通常会在代码执行过程中生成中间文件，并且消息传递并不总是能够为这些集群作业提供数据。在这些情况下，I/O返回到中央分布式存储以允许跨节点数据共享。这些系统通常具有高性能，其特点是每TB成本高，对工作负载类型（如调整为小型或大型文件I/O）敏感。但是，计算节点通常具有大量RAM，因此在处理系统寿命或可靠性不那么重要的中间文件时，可以使用本地RAM磁盘来获得性能优势。在本文中，我们将展示如何通过创建一个可以与对象存储系统Ceph交互的RAM块，以及创建一个部署工具来有效地在HPC基础设施上部署Ceph来解决这个问题。这项工作导致了一个系统，比中央高性能分布式存储系统在钻石减少I/O开销和处理时间Savu，层析成像数据处理应用程序，分别由81.04%和8.32%。
2022-12-06 cs.DC cs.OS
Information Systems Playground - The Target Infrastructure, Scaling Astro-WISE into the Petabyte range
Target基础设施是专门为Astro-WISE衍生的信息系统构建的存储和计算基础设施。该基础设施将由在Target项目内的信息系统领域进行协作的多个应用程序使用。它目前由10 PB的存储和数千个计算核心组成。基础设施是根据应用程序的要求构建的。存储由IBM的全局并行文件系统控制。此文件系统通过将具有不同特性的存储硬件组合到单个文件系统中来实现所需的灵活性。它还具有很强的可扩展性，允许系统扩展到未来，同时用新技术替换旧硬件。
2011-10-05 astro-ph.IM cs.DC
STELLAR: Storage Tuning Engine Leveraging LLM Autonomous Reasoning for High Performance Parallel File Systems
University of Delaware（特拉华大学）；Argonne National Laboratory（阿贡国家实验室）
STELLAR利用LLM自主推理实现高性能并行文件系统的存储调优，通过多代理设计和检索增强生成技术提升调优效率与准确性。
2026-02-26 cs.DC
Big Data Analytics on Traditional HPC Infrastructure Using Two-Level Storage
数据密集型计算已经成为传统高性能计算（HPC）集群的主要工作负载之一。目前，在HPC集群上部署数据密集型计算软件框架仍然面临性能和可扩展性问题。在本文中，我们开发了一个新的两级存储系统，集成Tachyon，一个内存中的文件系统和OrangeFS，一个并行文件系统。我们模拟了四种存储结构的I/O吞吐量：HDFS，OrangeFS，Tachyon和两级存储。我们进行了计算实验来描述两级存储的I/O吞吐量行为，并使用TeraSort基准测试将其性能与HDFS和OrangeFS进行了比较。理论模型和实验测试都表明，两级存储系统可以提高聚合I/O吞吐量。这项工作为将来设计和构建HPC系统奠定了坚实的基础，这些HPC系统可以在保留现有计算资源的情况下为I/O密集型工作负载提供更好的支持。
2015-10-10 cs.DC
PADLL: Taming Metadata-intensive HPC Jobs Through Dynamic, Application-agnostic QoS Control
在HPC基础架构上运行的现代I/O应用程序正日益成为读取和元数据密集型应用程序。然而，让多个并发应用程序提交大量元数据操作很容易使共享并行文件系统的元数据资源饱和，从而导致整体性能下降和I/O不公平。我们提出PADLL，应用程序和文件系统不可知的存储中间件，使高性能计算存储系统中的数据和元数据工作流的QoS控制。它采用了软件定义存储的思想，构建了数据平面阶段，用于调解和限制提交给共享文件系统的POSIX请求，以及一个控制平面，用于全面协调所有I/O工作流的处理方式。我们证明了它的性能和可行性，在多个QoS政策下，使用合成基准测试，现实世界的应用程序，并从生产文件系统收集的痕迹。结果表明，PADLL可以执行复杂的存储QoS策略并发元数据侵略性的工作，确保公平性和优先级。
2023-03-24 cs.DC cs.OS cs.PF
Comparative Analysis of Distributed and Parallel File Systems' Internal Techniques
文件系统优化是文件系统领域中最常见的任务。通常，它被视为关键的文件系统问题。此外，可以说优化在商业开发中占主导地位。在学术界，新的文件系统体系结构开发的问题越来越频繁地出现。最终用户可以将文件系统性能作为文件系统技术演进的关键问题。这样的理解来自于通常将持久性内存视为缓慢的子系统。因此，提高数据处理的性能的问题被视为文件系统性能优化的问题。然而，持久数据存储物理技术的发展要求文件系统内部技术的概念和方法发生重大变化。总的来说，仅仅提高文件系统的效率并不能解决文件系统的所有问题。此外，它会从整体上阻碍文件系统技术的发展。仅仅通过文件系统优化是不可能满足最终用户的期望的。新的持久存储技术可以质疑文件系统的必要性，在整个没有革命性的新文件系统的方法的建议。然而，文件系统包含信息结构化的范例，这对于作为人类的最终用户是非常重要的。它需要区分两类任务：（1）优化任务;（2）精心设计新的架构愿景或范式的任务。但是，项目目标经常退化为优化任务，这意味着一个新的范式的真正细化。最终用户的期望是一组复杂而矛盾的要求。单纯的优化任务无法解决最终用户在文件系统领域的所有当前需求。最终用户的期望需要解决新的体系结构远景或范式细化的任务。
2019-03-25 cs.DC
Performance modeling of a distributed file-system
数据中心已经成为大数据处理的中心。在数据中心运行的大多数程序都处理大数据。这样的程序的存储要求不能由数据中心中的单个节点来满足，因此使用分布式文件系统，其中存储资源从多于一个节点汇集在一起并且向外部世界呈现其统一视图。这些分布式文件系统在给定工作负载的情况下的最佳性能是至关重要的，因为磁盘是框架中最慢的组件。由于这一事实，许多大数据处理框架实现了自己的文件系统，通过针对特定工作负载进行微调来获得最佳性能。但是，针对特定工作负载微调文件系统会导致与所需工作负载的配置文件不匹配的工作负载的性能较差。因此，这些文件系统不能用于一般用途，其中工作负载特征显示出高度变化。在本文中，我们的通用文件系统的性能建模和分析的影响，调整文件系统的性能。这些并行文件系统的性能不容易建模，因为性能取决于许多配置参数，如网络，磁盘，底层文件系统，服务器数量，客户端数量，并行文件系统配置等。我们提出了一个多元线性回归模型，可以捕获文件系统的配置参数，硬件配置，工作负载配置（统称为功能）和性能指标。我们用它来排名的功能，根据其重要性，在决定性能的文件系统。
2019-08-27 cs.DC
Fragmented ARES: Dynamic Storage for Large Objects
数据可用性是分布式存储系统中最重要的功能之一，通过数据复制成为可能。在数据快速生成的今天，开发高效、可扩展、可靠的存储系统已成为高性能计算面临的主要挑战之一。在这项工作中，我们开发了一个动态的，强大的和强一致的分布式存储实现适合处理大型对象（如文件）。我们这样做是通过集成一个自适应，可重新配置，原子存储框架，称为ARES，与分布式文件系统，称为COBFS，它依赖于块碎片技术来处理大型对象。随着ARES的加入，我们还可以使用擦除编码算法来进一步分割数据，并可能提高副本服务器的存储效率和操作延迟。为了测试我们成果的实用性，我们对Emulab和AWS EC2测试平台进行了深入的实验评估，说明了我们方法的好处以及其他有趣的权衡。
2022-01-31 cs.DC
Characterizing Impacts of Storage Faults on HPC Applications: A Methodology and Insights
近年来，科学模拟的复杂性日益增加，训练重型人工智能模型的需求不断增加，这就要求高性能计算（HPC）平台必须配备更先进的存储基础设施，如固态硬盘（SSD）。虽然SSD提供高性能I/O，但HPC应用程序在SSD相关故障下面临的可靠性挑战仍不清楚，特别是导致数据损坏的故障。本文的目标是了解SSD相关故障对复杂HPC应用程序行为的影响。为此，我们提出了FFIS，一个基于FUSE的故障注入框架，系统地将存储故障引入应用层，以模拟来自SSD的错误。FFIS能够将不同的I/O相关故障植入从底层文件系统返回的数据中，这使得能够对科学文件格式的错误恢复特性进行调查。我们演示了使用FFIS与三个代表性的真正的HPC应用程序，显示每个应用程序如何对数据损坏的反应，并提供了广泛采用的HDF 5文件格式的HPC应用程序的错误恢复能力的见解。
2021-08-02 cs.DC
stdchk: A Checkpoint Storage System for Desktop Grid Computing
检查点是一种不可或缺的技术，可以为长时间运行的高吞吐量应用程序（如在桌面网格上运行的应用程序）提供容错。本文认为，一个专用的检查点存储系统，优化运行在这些环境中，可以提供多个好处：减少传统的文件系统上的负载，通过专业化提供高性能，最后，优化数据管理，考虑到检查点应用程序语义。这样的存储系统可以呈现对检查点操作的统一抽象，同时隐藏没有专用资源来存储检查点数据的事实。我们原型stdchk，一个检查点存储系统，使用从参与桌面清理的磁盘空间来构建一个低成本的存储系统，提供一个传统的文件系统接口，便于与应用程序集成。本文介绍了stdchk的体系结构、关键性能优化、对增量检查点的支持以及提高的数据可用性。我们的评估证实，stdchk的方法是可行的，在桌面网格设置，并提供了一个低成本的存储系统与理想的性能特点：高写吞吐量和减少存储空间和网络的努力，以节省检查点图像。
2007-11-23 cs.DC
Auditing Lustre file system
本项目旨在基于CentOS探索Lustre分布式文件系统的审计功能，通过结合Kerberos与SELinux等安全特性并开发直观的图形界面，实现对大规模数据存储与访问的安全监控、日志分析与合规管理。
2023-05-22 cs.CR cs.DC
Survey the storage systems used in HPC and BDA ecosystems
HPC和BDA生态系统的发展要求更好地了解存储系统，以规划有效的解决方案。为了使应用程序更有效地访问数据进行计算，HPC和BDA生态系统采用不同的存储系统。每种存储系统都有其优点和缺点。因此，分别探讨HPC和BDA中使用的存储系统是值得和有趣的。此外，了解这样的存储系统如何大规模地处理数据一致性和容错也是很有意义的。在本文中，我们调查了四个存储系统Lustre，Ceph，HDFS和CockroachDB。Lustre和HDFS是HPC和BDA生态系统中最重要的文件系统。Ceph是一个即将推出的文件系统，正在被超级计算机使用。CockroachDB基于NewSQL系统，这是一种在行业中用于BDA应用程序的技术。这项研究有助于我们了解这些存储系统的底层架构以及用于创建它们的构建块。还概述了用于数据存储、数据访问、数据一致性、容错和故障恢复的协议和机制。比较研究将帮助系统设计人员了解这些存储系统的关键功能和架构目标，以选择更好的存储系统解决方案。
2021-12-23 cs.DC
Joint Storage Allocation and Computation Design for Private Edge Computing
近年来，边缘计算（EC）以其高速计算和低延迟特性引起了人们的极大关注。然而，在电子商务的实施过程中存在着许多挑战。首先，由于边缘设备可能不值得信任，因此用户的隐私已经被提出作为主要关注点。在私有边缘计算（PEC）的情况下，用户想要计算其本地矩阵与库中的矩阵之一之间的矩阵乘法，该矩阵冗余地存储在边缘设备中。当利用边缘设备的资源时，隐私性要求每个边缘设备不能知道用户期望哪个存储在其上的矩阵用于乘法。其次，边缘设备通常具有有限的通信和存储资源，这使得它们不可能将所有矩阵存储在库中。在本文中，我们考虑到有限的边缘设备的资源，并提出了一个统一的框架PEC。在该框架内，我们研究了两个高度耦合的问题，（1）存储分配，它决定了哪些矩阵存储在每个边缘设备上，（2）计算设计，它决定了每个边缘设备中的哪些矩阵（或它们的线性组合）被选择参与计算过程并考虑隐私。具体地说，我们给出了一个通用的存储分配方案，然后设计了两个可行的私有计算方案，一般私有计算（GPC）方案和私有编码计算（PCC）方案。特别地，GPC可以应用于一般情况，PCC只能应用于特殊情况，而PCC实现了较小的通信负载。我们从理论上分析了所提出的计算方案，并与其他方案进行了比较。最后，我们进行了大量的模拟，以显示所提出的计划的有效性。
2020-10-18 cs.DC
DBNode: A Decentralized Storage System for Big Data Storage in Consortium Blockchains
本文针对联盟区块链大数据存储负担问题，提出面向Hyperledger Fabric的去中心化存储系统DBNode，通过纠删码分块与层次化组织、两层哈希槽与镜像策略以及智能合约访问控制，实现高效、高可用且受控的数据存储。
2024-09-30 cs.CR cs.DC
Assise: Performance and Availability via NVM Colocation in a Distributed File System
极低延迟持久内存模块（PMM）的采用颠覆了长期建立的分散式文件系统访问模型。相反，通过将计算和PMM存储放在同一位置，我们可以为应用程序提供更高的I/O性能、亚秒级的应用程序故障转移和强一致性。为了证明这一点，我们构建了基于持久性、复制一致性协议的Assise分布式文件系统，用于管理一组服务器托管的PMM，作为应用程序和较慢的分散存储（如SSD）之间的快速、崩溃可恢复的缓存。与分散式文件系统不同，Assise通过尽可能在共置的PMM上执行IO来最大限度地提高所有文件IO的局部性，并通过在IO操作粒度（而不是固定的块大小）上保持一致性来最大限度地减少一致性开销。我们将Assise与Ceph/Bluestore、NFS和Octopus在具有英特尔Optane DC PMM和SSD的群集上进行了比较，用于常见的云应用程序和基准测试，例如LevelDB、Postfix和FileBench。我们发现，Assise将写入延迟提高了22倍，吞吐量提高了56倍，故障转移时间提高了103倍，并且比同类产品的扩展能力提高了6倍，同时提供了更强的一致性语义。Assise承诺将以1.5倍的速度打破MinuteSort世界纪录。
2020-06-02 cs.DC cs.OS
Secure Cloud Storage with Client-Side Encryption Using a Trusted Execution Environment
随着计算机系统的发展，要存储的敏感数据的量以及对这些数据的威胁的数量增长，使得数据机密性对计算机用户越来越重要。目前，随着设备始终连接到互联网，云数据存储服务的使用已经变得实用和普遍，无论用户身在何处，都可以快速访问这些数据。这种实用性带来了一个问题，即交付给第三方存储的数据的机密性。在家庭环境中，磁盘加密工具已经获得了用户的特别关注，在个人计算机上使用，并且在一些智能手机操作系统中也具有本机选项。目前的工作使用英特尔软件防护扩展（英特尔SGX）技术提供的数据密封功能进行文件加密。创建一个虚拟文件系统，应用程序可以在其中存储其数据，在将数据发送到存储提供商之前保持英特尔SGX技术提供的安全保证。这样，即使存储提供商受到损害，数据也是安全的。为了验证该提案，Cryptomator软件（一款免费的云文件客户端加密工具）与英特尔SGX应用程序（安全区）集成，用于数据密封。结果表明，该解决方案在性能和安全性方面是可行的，并且可以扩展和改进以用于实际使用并与云同步服务集成。
2020-03-09 cs.CR cs.DC
Data allocation on disks with solution reconfiguration (problems, heuristics)
本文研究了在两层计算机存储中，考虑动态有向图的计算任务的数据分配问题。并行硬磁盘上数据文件分配的基本形式被认为是一种特殊的装箱模型。提出了配置解重构（重构）的两个问题：（i）一阶段重构模型，（ii）多阶段重构模型。解决方案是基于简化的数学。数值例子说明了问题和解决方案。
2016-12-18 cs.DC math.OC
Effectiveness and predictability of in-network storage cache for scientific workflows
University of California at Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Energy Sciences Network（能源科学网络）；University of California at San Diego（加州大学圣迭戈分校）；California Institute of Technology（加州理工学院）
针对科学合作中远端共享数据重复访问导致的高延迟与带宽占用问题，研究了高能物理实验的PB级网内缓存的有效性，验证了其流量削减效果，并构建可准确预测缓存行为的机器学习模型，支撑资源规划。
2023-07-20 cs.DC cs.LG cs.NI
Reputation Algebra for Cloud-based Anonymous Data Storage Systems
给定一个基于云的匿名数据存储系统，有两种方法来管理文件传输中涉及的节点。其中一个是使用声誉，另一个使用小额支付系统。在基于信誉的方法中，每个节点都有一个与之相关联的信誉，它被用作文件交换操作的货币或反馈集合。多年来，有几次尝试开发一个强大而有效的声誉系统，提供可信度，公平性和问责制。其中一个尝试是Free Haven项目，它为基于云的匿名数据存储系统提供了坚实的基础。本文提出的工作是出于自由港项目，旨在开发一个声誉系统，方便动态操作，如添加服务器，删除服务器和改变角色的当局。所提出的系统还提供了用于对服务器的信誉进行评分和维护的算法，以实现可信度、问责制和公平性。
2013-04-15 cs.CR cs.DC
Benchmarking Storage Systems for Machine Learning Workloads Using NIO Bench
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文提出NIO Bench框架，通过两层追踪方法刻画六种ML模型的存储访问模式，发现I/O集中于数据准备、模型加载和检查点，且存储访问呈极端幂律，建议优化预取、页缓存固定和突发写入处理。
2026-09-09 cs.DC cs.LG cs.PF
