Memory-Disaggregated In-Memory Object Store Framework for Big Data Applications
最近，记忆分解的概念在研究中越来越受到关注。通过存储器分解，数据中心计算节点可以直接访问相邻节点上的存储器，因此能够克服本地存储器限制，从而为分布式计算引入新的数据管理范例。本文提出并演示了一个内存分解内存对象存储框架的大数据应用程序，利用新引入的ThymesisFlow内存分解系统。该框架将现有Apache Arrow Plasma对象存储框架的功能扩展到分布式系统，使客户端能够轻松高效地跨多个计算节点生成和使用数据对象。这使得大数据应用程序能够以更低的开发成本越来越多地利用并行处理。此外，本文还包括延迟和吞吐量测量，这些测量表明，与本地相比，远程分散内存访问只会带来适度的性能损失（约6.5 vs约5.75 GiB/s）。研究结果可用于指导未来系统的设计，利用内存分解以及新提出的框架。这项工作是开源的，可在https://doi.org/10.5281/zenodo.6368998上公开访问。
2022-04-27 cs.AR cs.DC
A distributed Integrity Catalog for digital repositories
无论是数字保存系统还是档案系统，数字存储库都要定期检查存储对象的完整性，以确保用户的正确性。为此，先前的解决方案计算完整性元数据，并要求存储库将其与实际数据对象一起存储。这种完整性元数据对于定期验证存储的数据对象的正确性至关重要。为了保护和检测对该元数据的损坏，现有的解决方案依赖于广泛可见的媒体，即独立的第三方，来存储和提供元数据的备份以验证它是完整的。然而，它们没有解决在被对手破坏或攻击的情况下完整性元数据的恢复。从本质上讲，它们并不保留这些元数据。我们介绍IntegrityCatalog，一个系统，收集所有完整性相关的元数据在一个单一的组件，并把它们作为第一类对象，管理他们的完整性和保存。我们引入了一个基于树的持久认证字典管理任意长度的键/值对，我们用来存储所有的完整性元数据，访问对象名称。此外，IntegrityCatalog是一个分布式系统，它包括一个网络协议，该协议使用管理员选择的具有两种可能角色的网络对等体来管理损坏检测和此元数据的保存。验证器存储和提供对目录的证明，并且具有最小的存储要求，而验证器有效地同步目录的完整副本，以在本地系统上检测到目录受损的情况下帮助恢复。我们描述了我们的原型实现的IntegrityCatalog，衡量其性能的经验，并证明其在现实世界中的情况下，最坏的测量吞吐量约为每秒1 K插入，每秒2K验证搜索操作的有效性。
2014-09-25 cs.DB cs.DC cs.DL
Enabling Object Storage via shims for Grid Middleware
对象存储模型已迅速成为大多数商业上成功的大容量存储基础设施的基础，支持所谓的“云”存储，如Amazon S3，但也是大多数并行分布式存储系统实现的基础。对象存储设计中的许多假设与网格存储元素设计中的概念相似，但不完全相同，尽管在SE之上对“POSIX类”文件系统结构的要求使得分离看起来更大。由于现代对象存储提供了许多大多数网格SE所不具备的功能（块级条带化、并行访问、自动文件修复等），我们可以很容易地通过网格工具的插件和扩展来为典型的对象存储提供接口，实验可以很好地使数据模型适应它们，这是很有趣的。我们目前的评估，和首次部署的经验，（例如）Xrootd-Ceph接口的直接对象存储访问，作为一个计划的一部分，在GridPP \cite{GridPP}在RAL托管。此外，我们还讨论了在格拉斯哥为目前流行的{ \it Ceph}并行分布式文件系统的GSP 2访问层开发插件的权衡和经验。
2015-10-30 cs.DC hep-ex physics.comp-ph
Performance Comparison of DAOS and Lustre for Object Data Storage Approaches
高性能对象存储是一种新兴技术，它在HPC存储领域提供了一种替代解决方案，有可能解决传统分布式POSIX文件系统中由于过度的一致性保证和元数据规定性而存在的长期可扩展性问题。在本文中，我们评估的性能存储对象的数据在一个标准的文件系统，其中的配置和访问机制尚未优化对象的访问行为，并比较和调查使用对象存储系统的好处。虽然这种方法没有以标准的方式利用文件系统，但这项工作使我们能够调查底层存储技术性能是否比文件系统或对象存储提供的软件接口和基础设施更重要或更不重要。
2022-11-16 cs.DC
BatchWeave: A Consistent Object-Store-Native Data Plane for Large Foundation Model Training
Lionrock AI Lab, China Merchants Group, Hong Kong, China（狮岩人工智能实验室，中国商人集团，香港，中国）；Wuhan University, Wuhan, China（武汉大学，武汉，中国）；The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳））
BatchWeave通过版本化清单和条件对象写入协调批量发布、恢复和生命周期管理，提供一致的分布式基础模型训练数据平面，支持事务全局批量、去中心化适应提交算法，提升吞吐量和故障隔离能力。
2026-05-15 cs.DC cs.LG
DAOS as HPC Storage, a view from Numerical Weather Prediction
对象存储解决方案有可能解决POSIX文件系统在某些I/O工作负载方面长期存在的性能问题，新的存储技术为数据密集型用例提供了有前途的性能特征。在这项工作中，我们提出了一个初步评估英特尔的分布式异步对象存储（DAOS），一个新兴的高性能对象存储，与非易失性存储器，并评估其潜在的使用HPC存储。我们证明了DAOS可以提供所需的性能，在大多数情况下，带宽随着额外的DAOS服务器节点而线性扩展，尽管配置和应用程序设计中的选择会影响可实现的带宽。我们描述了一个新的I/O基准和相关的指标，从应用程序派生的工作负载，解决对象存储性能。
2023-02-27 cs.DC
Benchmarking Post-Quantum Key Encapsulation in S3-Compatible Object Storage under Client Concurrency
Chaitanya Bharathi Institute of Technology（恰伊坦亚巴拉蒂理工学院）
该研究在兼容S3的对象存储中，通过两种客户端、两种处理器和最多500并发工作线程的实验，测试了ML-KEM在多客户端场景下的性能，发现其仅在处理器满负载时降低4.0-4.9%吞吐量，且存储开销增加1056字节。
2026-10-16 cs.CR cs.DC
The benefits of prefetching for large-scale cloud-based neuroimaging analysis workflows
为了支持神经科学应用不断增长的需求，研究人员正在过渡到云计算，以获得可扩展、强大和弹性的基础设施。然而，驻留在对象存储中的大型数据集可能会在工作流执行期间导致显著的数据传输开销。预取是一种降低混合工作负载中读取成本的方法，它在先前任务的处理时间内掩盖了数据传输成本。我们提出了一个“滚动预取”的实现，这是一个Python库，它从AWS S3对象存储中实现了一种特定形式的预取，我们量化了它的好处。Rolling Prefetch扩展了S3Fs（一个通过文件对象公开AWS S3功能的Python库），以添加预取功能。在S3上存储的500 GB大脑连接数据集的测量分析性能中，我们发现预取提供了高达1.86倍的显着速度提升，即使在完全由数据加载组成的应用程序中也是如此。观察到的加速值与我们的理论分析是一致的。我们的研究结果表明，预取的科学数据处理云基础设施的实用性，并提供了适用于各种应用领域的实现。
2021-08-24 cs.DC
SkyStore: Cost-Optimized Object Storage Across Regions and Clouds
SkyStore提出统一对象存储，通过虚拟API和TTL数据放置策略，跨云动态复制与驱逐对象，降低成本高达6倍，并保持与标准云产品相当的延迟、可用性和容错性。
2025-02-28 cs.DC
Learnings from an Under the Hood Analysis of an Object Storage Node IO Stack
传统的对象存储建立在传统的OS存储堆栈之上，其中I/O请求通常通过多个庞大且冗余的层进行传输。随着存储子系统对性能、一致性和容错性要求的不断提高，对象管理的复杂性急剧增加。简单地说，在I/O数据路径中会遇到更多的中间层，每个传递层都添加了自己的语法和语义。从而增加了请求处理的开销。在本文中，通过对对象存储节点进行全面的底层分析，我们描述了对象存储（和用户应用程序）工作负载对OS I/O堆栈的影响及其对底层对象存储设备（OSD）的后续影响。我们观察到，基于操作系统的I/O存储堆栈的传统体系结构与复杂的数据管理策略相结合，导致终端存储设备能够提供的性能与其在生产环境中实际提供的性能之间不匹配。因此，开发更快的存储设备所带来的好处往往是无效的。这些问题在高度并发和多路复用的云环境中变得更加突出。由于对象管理的相关问题和OS I/O软件栈的漏洞，我们讨论了一类新的存储设备，被称为对象驱动器的潜力。Samsung Key-Value SSD（KV-SSD）[1]和Seagate Kinetic Drive [2]是对象驱动器的经典工业实现，其中主机数据管理功能可以卸载到存储设备。这导致了整个存储堆栈的简化。基于我们的分析，我们相信对象驱动器可以减轻对象存储的数据管理的高负担，与传统的操作系统（OS）堆栈相比节省20-38%的时间。
2022-07-05 cs.AR cs.DB cs.DC
Parallel Data Object Creation: Towards Scalable Metadata Management in High-Performance I/O Library
针对高层I/O库集体创建数据对象开销大的问题，本文提出基于PnetCDF的新文件头格式，支持独立创建，在4096进程下创建568万个对象时提速达582倍。
2025-06-18 cs.DC
LOCO: Rethinking Objects for Network Memory
本文提出LOCO库，基于对象编程模型在RDMA上构建多节点通道对象，兼顾性能与简单性，其分布式映射性能优于定制方案。
2025-03-25 cs.DC
Exploring DAOS Interfaces and Performance
本文探讨了利用NVM设备的DAOS对象存储的多种I/O接口，通过基准测试分析其性能，并与同类系统比较，展示了其在高性能I/O上的潜力与灵活性。
2024-09-27 cs.DC
LEGOStore: A Linearizable Geo-Distributed Store Combining Replication and Erasure Coding
我们设计并实现了LEGOStore，一个基于擦除编码（EC）的线性化数据存储在地理分布的公共云数据中心（DC）。对于这样的数据存储，以下因素的汇合为EC提供了与复制竞争延迟的机会：（a）与远程DC通信以容忍整个DC故障并实现线性化的必要性;以及（b）在大多数大型人口中心附近出现DC。LEGOStore采用了一个优化框架，对于给定的对象，仔细选择复制和EC，以及各种DC放置，以最大限度地降低整体成本。为了处理工作负载的动态性，LEGOStore采用了一种新的敏捷重新配置协议。我们使用跨越9个Google Cloud Platform DC的LEGOStore原型进行的评估证明了我们的想法的有效性。我们观察到成本节省范围从中等（5-20\%）到显著（60\%），超过代表最先进水平的基线，同时满足尾部延迟SLO。我们的重新配置协议能够在3到4个DC间RTT（在我们的实验中为$<$ 1）中转换关键位置，从而允许灵活适应动态条件。
2022-07-04 cs.DC cs.PF
A Light-Weight Distributed System for the processing of Replicated Counter-like Objects
为了增加分布式系统中的可用性，一些或所有数据项被复制并存储在单独的站点。这是一个令人关切的关键问题，特别是因为无线技术和移动用户激增。但是，在不同站点同时处理事务可能会在存储的信息中产生不一致。我们已经构建了一个分布式服务，用于管理对广泛部署的类似计数器的副本的更新。有许多针对大型信息关键应用的重量级分布式系统。我们的系统是有意的，相对轻量级的，有用的信息减少一些关键的应用程序。该服务是建立在我们的分布式并发控制计划，结合乐观和悲观的事务处理。该服务允许在任何单独的副本上立即（乐观地）处理事务，只要该事务满足成本约束。所有事务也以并发悲观方式处理，以确保相互一致性。
2013-06-08 cs.DC
An Empirical Study of the Repair Performance of Novel Coding Schemes for Networked Distributed Storage Systems
擦除编码技术正被集成到网络分布式存储系统中，作为一种以比传统复制更少的存储开销为代价提供容错的方式。Reddit是通过修复机制随时间推移而维护的，这可能需要大量的网络资源开销。近年来，一些为分布式存储量身定制的新代码已经被提出来优化存储开销和修复，例如最小化每次修复流量的再生码，或最小化每次修复所接触的节点数量的自修复码。然而，这些编码技术的现有研究主要是理论上的，在简化的假设下，只有一个对象被存储。它们忽略了实际系统必须解决的许多实际问题，例如数据放置，多个存储对象的去相关，或者当多个对象同时修复时对有限网络资源的竞争。本文实证研究了这些新的存储为中心的代码相对于经典的纠删码的修复性能，通过模拟现实的情况下，探索的相互作用的代码参数，故障特征和数据的放置方面的权衡带宽的使用和速度的修复。
2012-06-11 cs.DC
GetBatch: Distributed Multi-Object Retrieval for ML Data Loading
NVIDIA, Santa Clara, USA（NVIDIA公司）
GetBatch通过批量检索优化机器学习数据加载，提升吞吐量并降低延迟
2026-02-25 cs.AI cs.DB cs.DC
DXRAM's Fault-Tolerance Mechanisms Meet High Speed I/O Devices
内存中的键值存储为所有对象提供一致的低延迟访问，这对于社交媒体网络或在线图形分析等交互式大规模应用非常重要，也开辟了新的应用领域。但是，当将数据存储在数千台服务器上的RAM中时，必须考虑服务器故障。只有少数内存中的键值存储提供故障服务器的自动在线恢复。这些系统中最突出的例子是RAMCloud。另一个具有复杂容错机制的系统是DXRAM，它针对小数据对象进行了优化。在这份报告中，我们详细介绍了基于日志的远程复制过程，调查这些日志的重组选择策略，并评估DXRAM中顺序，随机，zipf和冷热分布的重组性能。这也是DXRAM的备份系统首次使用高速I/O设备进行评估，特别是使用56 GBit/s InfiniBand互连和PCI-e SSD。此外，我们讨论了副本集副本分布，以减少数据丢失的概率和适应DXRAM的原始方法。
2018-07-14 cs.DC
Mapping Datasets to Object Storage System
访问库（如ROOT和HDF 5）允许用户使用高级抽象（如坐标系和相关切片操作）与数据集进行交互。不幸的是，访问库的实现是基于关于存储系统接口的过时假设，并且通常无法从现代快速存储设备中充分受益。随着非易失性存储器和越来越大的数据集等存储设备的快速发展，情况变得越来越糟。该项目探索分布式数据集映射基础设施，可以使用Ceph的可扩展对象模型集成和扩展现有的访问库，尽可能避免重新实现甚至修改这些访问库。这些可编程存储扩展与我们的分布式数据集映射技术相结合，使：1）访问库操作能够卸载到存储系统服务器，2）访问库和存储系统的独立发展，以及3）充分利用分布式存储系统（如Ceph）现有的负载均衡、弹性和故障管理。它们还为执行特定于存储服务器的存储服务器本地优化创造了更多机会。例如，存储服务器可能包括与块存储相结合的本地键/值存储，块存储需要与本地文件系统不同的优化。随着存储服务器的发展，以支持新的存储设备，如非易失性存储器，这些服务器本地优化可以实现，同时最大限度地减少中断的应用程序。我们将报告分布式数据集映射可以在特定访问库（包括ROOT数据的访问库）上抽象的方法，以及我们如何解决围绕数据分区和访问操作的可组合性的一些挑战。
2020-07-03 cs.DC
