The Case for Cross-Layer Optimizations in Storage: A Workflow-Optimized Storage System
本文建议使用文件系统自定义元数据作为应用程序和存储系统之间的双向通信通道。这个通道可以用来传递支持跨层优化的提示，这是一个目前被僵化的文件系统接口所阻碍的选项。我们研究这种方法的背景下，存储系统支持大规模的工作流执行系统：我们的工作流优化存储系统（WOSS），利用应用程序提示提供每个文件的优化操作，并暴露数据位置，使位置感知调度。本文认为，在存储系统中采用跨层优化的增量采用路径存在，提出了一个工作流优化的存储系统的系统架构，并与工作流运行时引擎的集成，并评估所提出的方法使用合成以及真实的应用程序的工作负载。
2013-01-26 cs.DC
Automating Distributed Tiered Storage Management in Cluster Computing
Hadoop和Spark等数据密集型平台通常用于处理HDFS等分布式文件系统上的大量数据。不断增加的存储器大小和新的硬件技术（例如，NVRAM、SSD）最近已经导致在这样的设置中引入存储分层。但是，用户现在在尝试优化其工作负载时，要管理多个存储层和驻留在这些存储层上的数据，从而增加了额外的复杂性。在本文中，我们开发了一个通用的框架，在分布式文件系统的可用存储层自动移动数据。此外，我们使用机器学习来跟踪和预测文件访问模式，我们使用这些模式来决定何时以及哪些数据在存储层中上下移动，以提高系统性能。我们的方法使用增量学习来动态地优化模型，使其能够随着时间的推移自然地调整和适应工作负载的变化。我们使用来自Facebook和CMU跟踪的实际工作负载进行了广泛的评估，将我们的方法与其他几种策略进行了比较，并在工作负载性能和集群效率方面展示了显着的优势。
2019-09-04 cs.DC
Enhancing Cloud Storage with Shareable Instances for Social Computing
云存储在社会计算中发挥着重要作用。本文旨在开发一个移动设备的云存储管理系统，以支持一组扩展的文件操作。由于存储、带宽、功耗和其他资源的限制，大多数现有的智能手机云存储应用程序都不保留文件的本地副本。然而，这种高效的设计限制了应用能力。在本文中，我们试图扩展云存储服务的可用文件操作，以更好地为智能手机用户服务。我们开发了一个高效、安全的文件管理系统Skyfiles，以支持更高级的文件操作。我们设计的基本思想是利用云实例来辅助文件操作。特别是，Skyfiles支持下载，压缩，加密和转换操作，以及两个智能手机用户的云存储空间之间的文件传输。此外，我们提出了一个协议，用户共享他们的空闲实例。Skyfiles支持的所有文件操作都可以通过自创建实例或共享实例高效安全地完成。
2020-10-26 cs.DC cs.PF
Client-side Straggler-Aware I/O Scheduler for Object-based Parallel File Systems
基于对象的并行文件系统已经成为高性能计算（HPC）系统的有前途的存储解决方案。尽管对象存储提供了灵活的接口，但调度访问大量对象的高度并发I/O请求仍然是一个具有挑战性的问题，特别是在系统中存在落后者（存储服务器比其他服务器慢得多）的情况下。高效的I/O调度器需要避免可能的掉队者，以实现低延迟和高吞吐量。在本文中，我们介绍了一个日志辅助的离散感知的I/O调度，以减轻存储服务器离散的影响。这项研究的贡献有三个方面。首先，我们介绍了一个客户端，日志辅助，落伍者意识的I/O调度架构，以解决在HPC系统中的存储落伍的问题。其次，我们提出了三种调度算法，可以有效地调度I/O的决策，同时避免基于这样的架构的掉队者。第三，我们使用模拟评估所提出的I/O调度器，模拟结果证实了新引入的落伍者感知的I/O调度器的承诺。
2018-05-16 cs.DC
PIR-DSN: A Decentralized Storage Network Supporting Private Information Retrieval
School of Computer Science and Technology, Shandong University（山东大学计算机科学与技术学院）
PIR-DSN是一种整合私有信息检索的去中心化存储网络协议，通过安全映射方法和文件复制实现隐私保护与高效检索。
2025-12-08 cs.DC
SimFS: A Simulation Data Virtualizing File System Interface
如今，模拟可以产生PB级的数据，存储在并行文件系统或大型数据库中。这些数据在几十年的时间里经常被成千上万的分析师和科学家访问。然而，长时间存储这些数据量并不具有成本效益，在某些情况下，实际上是不可能的。我们建议透明地虚拟化模拟数据，通过不存储完整的输出和按需重新模拟丢失的数据来放松存储要求。我们开发SimFS，一个文件系统接口，它将模拟输出的虚拟化视图暴露给分析应用程序并管理重新模拟。SimFS监控分析应用程序的访问模式，以便（1）决定为更快的访问而存储的数据，以及（2）采用预取策略来减少丢失数据的访问时间。虚拟化仿真数据允许我们用存储交换计算：这种模式变得类似于传统的磁盘分析（所有数据都存储）或原位分析（没有数据存储），这取决于分配给SimFS的存储资源。总的来说，通过利用不断增长的计算能力和放宽存储容量的要求，SimFS提供了一个可行的途径，以exa规模的模拟。
2019-01-24 cs.DC
Extending DIRAC File Management with Erasure-Coding for efficient storage
网格式数据管理的最新技术水平是通过跨多个存储端点的数据文件的多个完整副本来实现数据的增强弹性。虽然这是有效的，但它并不是最节省空间的恢复方法，特别是当单个存储端点的可靠性足够高时，只有少数端点在任何时间点都处于非活动状态。我们报告的工作进行的一部分，GridPP \cite{GridPP}，扩展狄拉克文件目录和文件管理接口，允许放置擦除编码的文件：每个文件分布为N个相同大小的数据块条纹在一个向量的存储端点，编码，使任何M块可以丢失，原始文件可以重建。开发的工具对用户是透明的，并且，以及允许数据上传和下载到网格存储，还提供了一次并行访问所有分布式块的可能性，提高数据传输和IO性能。我们预计这种方法对较小的VO最感兴趣，因为它们对可用存储的限制更严格，但较大的（WLCG）VO可能会感兴趣，因为它们的总数据在运行2期间增加。我们提供了该方法的成本和效益分析，以及该领域的未来发展和实施计划。一般来说，多个文件传输的开销是目前这种方法竞争力的最大问题。
2015-10-30 cs.DC hep-ex
Towards Marrying Files to Objects
为了应对非结构化数据的不断增长，供应商已经部署了基于REST风格的Web服务构建的可扩展、弹性和经济高效的基于对象的存储系统。但是，许多应用程序依赖于更丰富的文件系统API和语义，无法从对象存储中获益。这会导致存储蔓延，因为对象存储与文件系统一起部署，并且数据以临时方式跨两个系统进行访问和管理。我们认为，迫切需要透明地合并对象和文件，将数据整合到一个平台中。这样的合并将扩展对象和文件存储的功能，同时保留现有的语义和接口。在这份意见书中，我们研究了统一对象存储和文件系统的可行性，以及存在的各种设计权衡。然后，使用我们自己实现的一个基于对象的，POSIX完整的文件系统，我们实验证明了几个关键的设计考虑。
2019-08-21 cs.DC
CFS: A Distributed File System for Large Scale Container Platforms
我们提出了CFS，一个分布式文件系统的大规模容器平台。CFS支持顺序和随机两种文件访问方式，对大小文件均进行了优化存储，并针对不同的写入场景采用不同的复制协议，以提高复制性能。它采用一个元数据子系统来存储和分发文件元数据在不同的存储节点的基础上的内存使用。这种元数据放置策略避免了在容量扩展期间重新平衡数据的需要。CFS还提供了符合POSIX的API，具有宽松的语义和元数据原子性，以提高系统性能。我们与Ceph进行了全面的比较，Ceph是容器平台上广泛使用的分布式文件系统。我们的实验结果表明，在测试7个常用的元数据操作，CFS给大约3倍的性能提升平均。此外，CFS在具有多个客户端和进程的高度并发环境中表现出更好的随机读/写性能。
2019-11-08 cs.DC
Optimization policy for file replica placement in fog domains
针对雾域文件可用性与放置难题，提出基于复杂加权网络、中心性和图分区的多副本放置策略，实验显示其延迟更低、网络增量更小且可用性接近 FogStore。
2024-06-14 cs.DC
The Design, Implementation, and Deployment of a System to Transparently Compress Hundreds of Petabytes of Image Files for a File-Storage Service
我们报告的设计，实施和部署的Lepton，一个容错系统，losslime压缩JPEG图像的原始大小的77%，平均。Lepton用并行化的算术代码替换了基线JPEG压缩的最低层-霍夫曼代码，因此可以快速恢复原始JPEG文件的确切字节。轻子匹配最好的先前工作的压缩效率，同时解码速度快9倍以上，并以流的方式。Lepton已作为开源软件发布，并已在Dropbox文件存储后端部署了一年。截至2017年2月，它已经压缩了超过203 PiB的用户JPEG文件，节省了超过46 PiB。
2017-03-26 cs.DC cs.GR cs.MM
Performance and Fault Tolerance in the StoreTorrent Parallel Filesystem
以支持商品组件上的TB数据集的及时和具有成本效益的分析为目标，我们提出并评估StoreTorrent，一个简单的分布式文件系统，集成了容错，有效地处理小数据记录。我们的贡献包括应用程序操作系统流水线技术和元数据结构，以增加小的写入和读取性能的1-10倍，并使用对等通信的副本位置索引，以避免在并行分析过程中传输数据，即使在降级状态。我们使用70个存储节点和560个并行客户端对StoreTorrent、PVFS和Gluster文件系统进行了评估，这些文件系统位于一个8核/节点以太网群集上，带有直接连接的SATA磁盘。StoreTorrent以1.69 GB/s的聚合速率执行并行小型写入，并支持以8.47 GB/s的速率通过网络进行读取。我们移植了一个并行分析任务，并证明它实现了并行读取的存储节点本地文件系统的全部聚合速度。
2010-01-21 cs.DC
Pangea: Monolithic Distributed Storage for Data Analytics
用于现代数据分析的存储和内存系统是分层的，在单独的系统中管理共享的持久数据、缓存数据和非共享的执行数据，例如HDFS等分布式文件系统、Alluxio等内存中文件系统和Spark等计算框架。这样的分层会在跨层冗余复制数据和为所有层决定适当的资源分配方面带来显著的性能和管理成本。在本文中，我们提出了一个名为Pangea的单一系统，可以管理所有数据-中间和长期数据，以及它们的缓冲区/缓存，数据放置优化和故障恢复-所有这些都在一个单片存储系统中，没有任何分层。我们提出了一个详细的性能评估的Pangea，并表明其性能媲美几个广泛使用的分层系统，如火花。
2018-12-16 cs.DC
On Distributed Storage Allocations of Large Files for Maximum Service Rate
在分布式存储系统中分配（冗余）文件块会影响重要的性能指标，例如文件恢复的概率、数据下载时间或给定数据访问模型下的系统服务速率。本文研究了在存储数据量较大且下载时间不可忽略的情况下的服务速率。我们专注于准统一的存储分配，并提供了两种常见的数据访问模型的服务率分析。我们发现，根据不同的系统参数的最优分配。在下载时间不随数据大小缩放的假设下，情况并非如此，其中最小扩展分配先前被发现是普遍最优的。
2018-08-08 cs.DC cs.IT math.IT
STELLAR: Storage Tuning Engine Leveraging LLM Autonomous Reasoning for High Performance Parallel File Systems
University of Delaware（特拉华大学）；Argonne National Laboratory（阿贡国家实验室）
STELLAR利用LLM自主推理实现高性能并行文件系统的存储调优，通过多代理设计和检索增强生成技术提升调优效率与准确性。
2026-02-26 cs.DC
Comparative Analysis of Distributed and Parallel File Systems' Internal Techniques
文件系统优化是文件系统领域中最常见的任务。通常，它被视为关键的文件系统问题。此外，可以说优化在商业开发中占主导地位。在学术界，新的文件系统体系结构开发的问题越来越频繁地出现。最终用户可以将文件系统性能作为文件系统技术演进的关键问题。这样的理解来自于通常将持久性内存视为缓慢的子系统。因此，提高数据处理的性能的问题被视为文件系统性能优化的问题。然而，持久数据存储物理技术的发展要求文件系统内部技术的概念和方法发生重大变化。总的来说，仅仅提高文件系统的效率并不能解决文件系统的所有问题。此外，它会从整体上阻碍文件系统技术的发展。仅仅通过文件系统优化是不可能满足最终用户的期望的。新的持久存储技术可以质疑文件系统的必要性，在整个没有革命性的新文件系统的方法的建议。然而，文件系统包含信息结构化的范例，这对于作为人类的最终用户是非常重要的。它需要区分两类任务：（1）优化任务;（2）精心设计新的架构愿景或范式的任务。但是，项目目标经常退化为优化任务，这意味着一个新的范式的真正细化。最终用户的期望是一组复杂而矛盾的要求。单纯的优化任务无法解决最终用户在文件系统领域的所有当前需求。最终用户的期望需要解决新的体系结构远景或范式细化的任务。
2019-03-25 cs.DC
Performance modeling of a distributed file-system
数据中心已经成为大数据处理的中心。在数据中心运行的大多数程序都处理大数据。这样的程序的存储要求不能由数据中心中的单个节点来满足，因此使用分布式文件系统，其中存储资源从多于一个节点汇集在一起并且向外部世界呈现其统一视图。这些分布式文件系统在给定工作负载的情况下的最佳性能是至关重要的，因为磁盘是框架中最慢的组件。由于这一事实，许多大数据处理框架实现了自己的文件系统，通过针对特定工作负载进行微调来获得最佳性能。但是，针对特定工作负载微调文件系统会导致与所需工作负载的配置文件不匹配的工作负载的性能较差。因此，这些文件系统不能用于一般用途，其中工作负载特征显示出高度变化。在本文中，我们的通用文件系统的性能建模和分析的影响，调整文件系统的性能。这些并行文件系统的性能不容易建模，因为性能取决于许多配置参数，如网络，磁盘，底层文件系统，服务器数量，客户端数量，并行文件系统配置等。我们提出了一个多元线性回归模型，可以捕获文件系统的配置参数，硬件配置，工作负载配置（统称为功能）和性能指标。我们用它来排名的功能，根据其重要性，在决定性能的文件系统。
2019-08-27 cs.DC
Fragmented ARES: Dynamic Storage for Large Objects
数据可用性是分布式存储系统中最重要的功能之一，通过数据复制成为可能。在数据快速生成的今天，开发高效、可扩展、可靠的存储系统已成为高性能计算面临的主要挑战之一。在这项工作中，我们开发了一个动态的，强大的和强一致的分布式存储实现适合处理大型对象（如文件）。我们这样做是通过集成一个自适应，可重新配置，原子存储框架，称为ARES，与分布式文件系统，称为COBFS，它依赖于块碎片技术来处理大型对象。随着ARES的加入，我们还可以使用擦除编码算法来进一步分割数据，并可能提高副本服务器的存储效率和操作延迟。为了测试我们成果的实用性，我们对Emulab和AWS EC2测试平台进行了深入的实验评估，说明了我们方法的好处以及其他有趣的权衡。
2022-01-31 cs.DC
Characterizing Impacts of Storage Faults on HPC Applications: A Methodology and Insights
近年来，科学模拟的复杂性日益增加，训练重型人工智能模型的需求不断增加，这就要求高性能计算（HPC）平台必须配备更先进的存储基础设施，如固态硬盘（SSD）。虽然SSD提供高性能I/O，但HPC应用程序在SSD相关故障下面临的可靠性挑战仍不清楚，特别是导致数据损坏的故障。本文的目标是了解SSD相关故障对复杂HPC应用程序行为的影响。为此，我们提出了FFIS，一个基于FUSE的故障注入框架，系统地将存储故障引入应用层，以模拟来自SSD的错误。FFIS能够将不同的I/O相关故障植入从底层文件系统返回的数据中，这使得能够对科学文件格式的错误恢复特性进行调查。我们演示了使用FFIS与三个代表性的真正的HPC应用程序，显示每个应用程序如何对数据损坏的反应，并提供了广泛采用的HDF 5文件格式的HPC应用程序的错误恢复能力的见解。
2021-08-02 cs.DC
stdchk: A Checkpoint Storage System for Desktop Grid Computing
检查点是一种不可或缺的技术，可以为长时间运行的高吞吐量应用程序（如在桌面网格上运行的应用程序）提供容错。本文认为，一个专用的检查点存储系统，优化运行在这些环境中，可以提供多个好处：减少传统的文件系统上的负载，通过专业化提供高性能，最后，优化数据管理，考虑到检查点应用程序语义。这样的存储系统可以呈现对检查点操作的统一抽象，同时隐藏没有专用资源来存储检查点数据的事实。我们原型stdchk，一个检查点存储系统，使用从参与桌面清理的磁盘空间来构建一个低成本的存储系统，提供一个传统的文件系统接口，便于与应用程序集成。本文介绍了stdchk的体系结构、关键性能优化、对增量检查点的支持以及提高的数据可用性。我们的评估证实，stdchk的方法是可行的，在桌面网格设置，并提供了一个低成本的存储系统与理想的性能特点：高写吞吐量和减少存储空间和网络的努力，以节省检查点图像。
2007-11-23 cs.DC
Clustered Network Coding for Maintenance in Practical Storage Systems
经典的擦除码，如里德-所罗门码，已被公认为是一种有效的替代纯复制，以减少可靠的分布式存储系统中的存储开销。然而，这样的代码在维护过程中经历高开销。在本文中，我们提出了一种新的擦除编码框架，特别是为网络存储系统量身定制。我们的方法依赖于使用随机代码加上一个集群的布局策略，使维护一个失败的机器在多个文件的粒度。我们的修复协议利用网络编码技术，以减少一半的数据量在维护过程中传输，因为几个文件可以同时修复。这种方法，正式证明，并证明了我们的公共实验测试平台上的评估，能够显着降低维护过程中的带宽开销，以及修复故障的时间。此外，实现尽可能简单，旨在部署到实际系统中。
2012-06-19 cs.DC
Repair Pipelining for Erasure-Coded Storage: Algorithms and Evaluation
我们提出了修复流水线，一种技术，加快修复性能一般擦除编码存储。通过以流水线方式跨存储节点以小尺寸单元仔细调度故障数据的修复，修复流水线将单个块修复时间减少到与同构环境中单个块的正常读取时间大致相同。我们进一步设计了不同的扩展修复流水线算法的异构环境和多块修复操作。我们实现了一个修复流水线原型，称为ECPipe，并将其作为一个中间件系统集成到两个版本的Hadoop分布式文件系统（HDFS）（即HDFS-RAID和HDFS-3）以及Quantcast文件系统（QFS）。在本地测试平台和Amazon EC2上进行的实验表明，修复流水线与现有修复技术相比，显著提高了降级读取和全节点恢复的性能。
2020-11-20 cs.DC
File Synchronization Systems Survey
存在用于文件存储、共享和同步的若干解决方案。它们中的许多都涉及一个中央服务器或一组服务器，这些服务器要么存储文件，要么充当共享文件的网关。一些系统采取分散的方法，其中互连的用户形成对等（P2P）网络，并参与共享过程：他们与他人共享他们拥有的文件，并可以获得其他对等体拥有的文件。在本文中，我们调查了各种技术，包括基于云的和基于P2P的，用户用来在网络上同步他们的文件，并讨论他们的优点和缺点。
2016-10-28 cs.DC
Towards Aggregated Asynchronous Checkpointing
高性能计算（HPC）应用程序需要大规模检查大量数据。多级异步检查点运行时，如VECMAC（极低开销检查点策略），由于其能够利用快速节点本地存储并独立刷新到稳定的外部存储（例如，并行文件系统）。目前，VXBMC采用了每个进程一个文件的刷新策略，这导致大量文件被写入外部存储，从而使元数据服务器不堪重负，并且难以整体传输和访问检查点。本文讨论了设计异步多级检查点聚合技术的可行性和挑战。为此，我们实现和研究两个聚合策略，他们的局限性，并提出了一个新的聚合策略，专门用于异步多级检查点。
2021-12-04 cs.DC
Distributed Storage Allocations for Optimal Service Rates
冗余存储在各种形式的不确定性下维持分布式系统的性能。本文考虑了节点访问和下载服务的不确定性。我们考虑两种下载服务模型下的两种访问模型。在一种访问模型中，用户可以以固定的概率访问每个节点，而在另一种访问模型中，用户可以访问随机的固定大小的节点子集。我们考虑两个下载服务模型。在第一个（小文件）模型中，与文件大小相关的随机性可以忽略不计。在第二种（大文件）模型中，随机性与文件大小和系统操作都相关。我们关注系统的服务率。对于固定的冗余级别，系统的服务速率由存储节点上的编码块的分配来确定。我们考虑准均匀分配，其中编码内容均匀分布在节点的子集之间。我们要解决的问题是这个子集（扩展）的大小应该是多少。我们表明，在小文件模型中，集中的编码内容的最小尺寸的子集是普遍最优的。对于大文件模型，最佳散布取决于系统参数。这些结论适用于两种访问模式。
2021-08-06 cs.DC cs.IT math.IT
Tail Index for a Distributed Storage System with Pareto File Size Distribution
分布式存储系统通常采用纠删码来实现高数据可靠性，同时获得空间效率。已知这样的存储系统在响应时间中易受长尾影响。已经表明，在Bing、Facebook和Amazon等现代在线应用程序中，延迟的长尾是特别值得关注的，其中$99.9$第百分位数响应时间比平均值差几个数量级。驯服尾部等待时间在擦除编码存储系统中是非常具有挑战性的，因为量化尾部等待时间（即，$x$（任意$x\in[0,1]$的第百分位延迟）是一个长期存在的公开问题。在本文中，我们提出了一个数学模型来量化任意擦除编码存储系统的服务延迟{ \em tail index}，通过表征延迟分布尾部的渐近行为。当文件大小有一个重尾分布，我们发现尾指数，定义为指数在延迟尾概率减小到零，在封闭形式，并进一步表明，一个家庭的概率调度算法是（渐近）最佳的，因为他们能够实现确切的尾指数。
2017-08-03 cs.DC cs.IT cs.NI
Navigating the Landscape of Distributed File Systems: Architectures, Implementations, and Considerations
本文综述分布式文件系统的架构、分类、设计挑战与NFS、AFS、GFS、HDFS、CephFS等实现，为构建高效稳定安全的DFS提供参考。
2024-03-23 cs.AR cs.DC
Studying Scientific Data Lifecycle in On-demand Distributed Storage Caches
XRootD系统用于传输、存储和缓存来自高能物理（HEP）的大型数据集。在这项研究中，我们专注于它的能力，分布式按需存储缓存。通过探索2020年至2021年期间的大量日常日志文件，我们试图了解可能为未来缓存设计提供信息的数据访问模式。我们的研究从一组关于文件读取操作、文件生存期和文件传输的汇总统计数据开始。我们观察到，每个文件上的读操作数量几乎保持不变，而读操作的平均大小随着时间的推移而增长。此外，文件往往具有一致的时间长度，在此期间，它们保持打开和使用。基于对高速缓存访问统计数据的全面研究，我们开发了一个高速缓存模拟器来探索不同大小的高速缓存的行为。在一定的大小范围内，我们发现增加XRootD缓存大小可以提高缓存命中率，从而提高整体文件访问速度。特别是，我们发现，将缓存大小从40 TB增加到56 TB可以将命中率从0.62增加到0.89，这是一个显着提高缓存效率的适度成本。
2022-05-11 cs.DC cs.NI cs.SY
Tiered cloud storage via two-stage, latency-aware bidding
在云存储中，数字数据存储在逻辑存储池中，由云服务提供商（CSP）管理的异构物理存储介质和计算基础设施提供支持。为了平衡服务性能和成本之间的权衡，CSP通常采用不同的存储层，例如冷存储和热存储。将数据存储在热存储中会导致高存储成本，但提供低访问延迟，而冷存储能够廉价地存储大量数据，从而提供更低的成本和更高的延迟。在本文中，我们解决了一个主要的挑战，面临的CSP利用这种分层存储架构-如何最大限度地提高其整体利润超过各种存储层，提供不同的特点，以及文件放置和访问请求调度政策。为此，我们提出了一个计划，CSP提供了一个两阶段的拍卖过程（a）请求存储容量，和（b）请求访问延迟的要求。我们的两阶段招标方案提供了一个混合存储和访问优化框架，其目标是最大限度地提高CSP的总净利润在四个方面：文件接受决策，接受的文件，文件访问决策和访问请求调度政策的位置。所提出的优化是一个混合整数非线性规划，很难解决。我们提出了一个有效的启发式放松整数优化，并解决由此产生的非线性随机规划。该算法在不同的情况下，并与不同的存储系统参数进行评估，并通过比较所提出的方法与其他利润最大化模型有见地的数值结果报告。在某些模拟场景中，与其他方案相比，我们看到我们提出的方法的利润增加了60%以上。
2017-11-02 cs.DC cs.GT cs.NI
Sprout: A functional caching approach to minimize service latency in erasure-coded storage
现代分布式存储系统通常使用擦除码来防止磁盘和节点故障，以提高可靠性，同时试图满足应用程序和客户端的延迟要求。存储系统可以在代理或客户端处具有高速缓存，以便减少延迟。在本文中，我们考虑一种新的缓存框架与擦除代码称为功能缓存。功能缓存涉及在缓存中使用擦除编码的块，使得由存储节点和缓存中的块组合形成的代码是最大距离可分离（MDS）擦除码。基于不同文件的到达率、文件块在服务器上的放置以及存储服务器的服务时间分布，考虑了最优的功能缓存放置和不同磁盘的文件请求的访问概率.所提出的算法在开源云存储部署中的模拟和原型解决方案中都显着改善了延迟。
2017-07-21 cs.DC cs.IT math.IT
On the Efficiency of Decentralized File Storage for Personal Information Management Systems
本文提出了一种基于分布式账本技术（DLT）和分散式文件存储（DFS）系统的体系结构，以支持个人信息管理系统（PIMS）的使用。DLT和DFS用于管理由配备有具有感测能力的设备的移动用户感测的数据。DLT保证存储在DFS中的个人数据引用的不变性、可追溯性和可验证性。事实上，在DLT中包含数据记录器可以获得不可更改的引用和防篡改日志，同时保持符合个人数据法规，即GDPR。我们提供了一个实验评估DFS的使用的可行性。已经研究了三种不同的场景：i）具有与数据生产者接口的专用节点的专有IPFS方法，ii）公共IPFS服务和iii）Sia Skynet。结果表明，通过适当的系统基础设施的配置，它是可行的，以建立一个分散的个人数据存储（PDS）。
2020-07-07 cs.CR cs.DC cs.IR
Taming Tail Latency for Erasure-coded, Distributed Storage Systems
分布式存储系统在响应时间上易受长尾效应的影响。在Bing、Facebook和Amazon等现代在线存储系统中，服务延迟的长尾特别值得关注。其中第99.9百分位响应时间是比平均值差的数量级。由于纠删码作为一种流行的技术出现，以实现分布式存储中的高数据可靠性，同时获得空间效率，驯服尾部延迟仍然是一个开放的问题，由于缺乏数学模型来分析这样的系统。为此，我们提出了一个框架，用于量化和优化尾部延迟擦除编码存储系统。特别是，我们推导出上界尾延迟在封闭的形式为任意服务时间分布和异构文件。基于该模型，我们制定了一个优化问题，以共同最大限度地减少加权延迟尾概率的所有文件在服务器上的文件的位置，并选择服务器访问所请求的文件。使用高效的交替优化算法来解决非凸问题。数值结果表明，擦除编码的存储系统与现实的工作负载的尾部延迟显着减少。
2017-03-24 cs.DC cs.IT cs.NI
Formal Definitions and Performance Comparison of Consistency Models for Parallel File Systems
本文提出形式化统一框架定义存储一致性模型，并通过分层实现比较两种宽松模型在并行I/O负载下的性能，证明较弱一致性可显著提升I/O性能。
2024-02-26 cs.DC cs.OS
DisTRaC: Accelerating High Performance Compute Processing for Temporary Data Storage
高性能计算（HPC）集群通常会在代码执行过程中生成中间文件，并且消息传递并不总是能够为这些集群作业提供数据。在这些情况下，I/O返回到中央分布式存储以允许跨节点数据共享。这些系统通常具有高性能，其特点是每TB成本高，对工作负载类型（如调整为小型或大型文件I/O）敏感。但是，计算节点通常具有大量RAM，因此在处理系统寿命或可靠性不那么重要的中间文件时，可以使用本地RAM磁盘来获得性能优势。在本文中，我们将展示如何通过创建一个可以与对象存储系统Ceph交互的RAM块，以及创建一个部署工具来有效地在HPC基础设施上部署Ceph来解决这个问题。这项工作导致了一个系统，比中央高性能分布式存储系统在钻石减少I/O开销和处理时间Savu，层析成像数据处理应用程序，分别由81.04%和8.32%。
2022-12-06 cs.DC cs.OS
Information Systems Playground - The Target Infrastructure, Scaling Astro-WISE into the Petabyte range
Target基础设施是专门为Astro-WISE衍生的信息系统构建的存储和计算基础设施。该基础设施将由在Target项目内的信息系统领域进行协作的多个应用程序使用。它目前由10 PB的存储和数千个计算核心组成。基础设施是根据应用程序的要求构建的。存储由IBM的全局并行文件系统控制。此文件系统通过将具有不同特性的存储硬件组合到单个文件系统中来实现所需的灵活性。它还具有很强的可扩展性，允许系统扩展到未来，同时用新技术替换旧硬件。
2011-10-05 astro-ph.IM cs.DC
Auditing Lustre file system
本项目旨在基于CentOS探索Lustre分布式文件系统的审计功能，通过结合Kerberos与SELinux等安全特性并开发直观的图形界面，实现对大规模数据存储与访问的安全监控、日志分析与合规管理。
2023-05-22 cs.CR cs.DC
DBNode: A Decentralized Storage System for Big Data Storage in Consortium Blockchains
本文针对联盟区块链大数据存储负担问题，提出面向Hyperledger Fabric的去中心化存储系统DBNode，通过纠删码分块与层次化组织、两层哈希槽与镜像策略以及智能合约访问控制，实现高效、高可用且受控的数据存储。
2024-09-30 cs.CR cs.DC
Assise: Performance and Availability via NVM Colocation in a Distributed File System
极低延迟持久内存模块（PMM）的采用颠覆了长期建立的分散式文件系统访问模型。相反，通过将计算和PMM存储放在同一位置，我们可以为应用程序提供更高的I/O性能、亚秒级的应用程序故障转移和强一致性。为了证明这一点，我们构建了基于持久性、复制一致性协议的Assise分布式文件系统，用于管理一组服务器托管的PMM，作为应用程序和较慢的分散存储（如SSD）之间的快速、崩溃可恢复的缓存。与分散式文件系统不同，Assise通过尽可能在共置的PMM上执行IO来最大限度地提高所有文件IO的局部性，并通过在IO操作粒度（而不是固定的块大小）上保持一致性来最大限度地减少一致性开销。我们将Assise与Ceph/Bluestore、NFS和Octopus在具有英特尔Optane DC PMM和SSD的群集上进行了比较，用于常见的云应用程序和基准测试，例如LevelDB、Postfix和FileBench。我们发现，Assise将写入延迟提高了22倍，吞吐量提高了56倍，故障转移时间提高了103倍，并且比同类产品的扩展能力提高了6倍，同时提供了更强的一致性语义。Assise承诺将以1.5倍的速度打破MinuteSort世界纪录。
2020-06-02 cs.DC cs.OS
Secure Cloud Storage with Client-Side Encryption Using a Trusted Execution Environment
随着计算机系统的发展，要存储的敏感数据的量以及对这些数据的威胁的数量增长，使得数据机密性对计算机用户越来越重要。目前，随着设备始终连接到互联网，云数据存储服务的使用已经变得实用和普遍，无论用户身在何处，都可以快速访问这些数据。这种实用性带来了一个问题，即交付给第三方存储的数据的机密性。在家庭环境中，磁盘加密工具已经获得了用户的特别关注，在个人计算机上使用，并且在一些智能手机操作系统中也具有本机选项。目前的工作使用英特尔软件防护扩展（英特尔SGX）技术提供的数据密封功能进行文件加密。创建一个虚拟文件系统，应用程序可以在其中存储其数据，在将数据发送到存储提供商之前保持英特尔SGX技术提供的安全保证。这样，即使存储提供商受到损害，数据也是安全的。为了验证该提案，Cryptomator软件（一款免费的云文件客户端加密工具）与英特尔SGX应用程序（安全区）集成，用于数据密封。结果表明，该解决方案在性能和安全性方面是可行的，并且可以扩展和改进以用于实际使用并与云同步服务集成。
2020-03-09 cs.CR cs.DC
Joint Latency and Cost Optimization for Erasure-coded Data Center Storage
现代分布式存储系统提供大容量以满足呈指数级增长的存储空间需求。他们通常使用擦除码来防止磁盘和节点故障，以提高可靠性，同时尝试满足应用程序和客户端的延迟要求。本文提供了一个有见地的上界的平均服务延迟，这样的擦除编码存储任意的服务时间分布和多个异构文件组成。结果不仅取代了已知的延迟界限，只适用于一个单一的文件或同类文件，它也使一个新的问题，联合延迟和存储成本最小化在三个维度：选择擦除码，放置编码块，优化调度策略。通过计算一系列具有可证明收敛性的凸逼近，有效地解决了这个问题。我们进一步在三个地理分布的数据中心上的开源云存储部署中原型化我们的解决方案。实验结果验证了我们的理论延迟分析，并显示显着的延迟减少，擦除编码存储的延迟成本权衡建议提供了宝贵的见解。
2014-08-05 cs.DC cs.IT math.IT
PADLL: Taming Metadata-intensive HPC Jobs Through Dynamic, Application-agnostic QoS Control
在HPC基础架构上运行的现代I/O应用程序正日益成为读取和元数据密集型应用程序。然而，让多个并发应用程序提交大量元数据操作很容易使共享并行文件系统的元数据资源饱和，从而导致整体性能下降和I/O不公平。我们提出PADLL，应用程序和文件系统不可知的存储中间件，使高性能计算存储系统中的数据和元数据工作流的QoS控制。它采用了软件定义存储的思想，构建了数据平面阶段，用于调解和限制提交给共享文件系统的POSIX请求，以及一个控制平面，用于全面协调所有I/O工作流的处理方式。我们证明了它的性能和可行性，在多个QoS政策下，使用合成基准测试，现实世界的应用程序，并从生产文件系统收集的痕迹。结果表明，PADLL可以执行复杂的存储QoS策略并发元数据侵略性的工作，确保公平性和优先级。
2023-03-24 cs.DC cs.OS cs.PF
Data Sharing Options for Scientific Workflows on Amazon EC2
高效的数据管理是在分布式环境中实现科学工作流良好性能的关键组成部分。工作流应用程序通常使用文件在任务之间传递数据。当任务被分发时，这些文件或者从一个计算节点传输到另一个计算节点，或者通过共享存储系统访问。在网格和集群中，工作流数据通常存储在网络和并行文件系统上。在本文中，我们研究了一些在云中管理工作流数据的方法。我们在Amazon的EC2上使用三个典型的工作流应用程序进行了实验。我们讨论了我们使用的各种存储和文件系统，描述了我们在EC2上部署它们时遇到的问题，并分析了工作流的性能和成本。
2010-10-22 astro-ph.IM cs.DC
Parallel Seismic Data Processing Performance with Cloud-based Storage
针对云端地震波形数据，本文提出本地驱动的混合处理框架，证明通过云端预处理减少传输可消除并行下载瓶颈，并在 MsPASS 与 AWS Lambda 上达到接近本地 HPC 的吞吐性能。
2025-09-02 cs.DC physics.geo-ph
Effectiveness and predictability of in-network storage cache for scientific workflows
University of California at Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Energy Sciences Network（能源科学网络）；University of California at San Diego（加州大学圣迭戈分校）；California Institute of Technology（加州理工学院）
针对科学合作中远端共享数据重复访问导致的高延迟与带宽占用问题，研究了高能物理实验的PB级网内缓存的有效性，验证了其流量削减效果，并构建可准确预测缓存行为的机器学习模型，支撑资源规划。
2023-07-20 cs.DC cs.LG cs.NI
Benchmarking Storage Systems for Machine Learning Workloads Using NIO Bench
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文提出NIO Bench框架，通过两层追踪方法刻画六种ML模型的存储访问模式，发现I/O集中于数据准备、模型加载和检查点，且存储访问呈极端幂律，建议优化预取、页缓存固定和突发写入处理。
2026-09-09 cs.DC cs.LG cs.PF
Breaking the Storage-Bandwidth Tradeoff in Distributed Storage with Quantum Entanglement
University of Maryland, College Park（马里兰大学帕克分校）
本文利用量子纠缠在分布式存储中实现存储和带宽的同步最小化，突破经典存储-带宽权衡限制。
2026-01-15 cs.DC cs.IT cs.NI
