EGEON: Software-Defined Data Protection for Object Storage
随着云计算的普及，对象存储系统（例如，Amazon S3、OpenStack Swift、Ceph）因其相对较低的每GB成本和高可用性而获得了发展势头。然而，随着越来越多的敏感数据的积累，将隐私控制本地集成到存储中的需求也越来越重要。今天，由于对象存储接口不佳，隐私控制由数据管理员执行，可以完全访问数据。这促使人们需要一种新的数据隐私方法，可以为数据所有者提供强有力的保证和控制。为了满足这一需求，本文提出了EGEON，一种新的软件定义的对象存储数据保护框架。EGEON使用户能够以声明方式设置关于如何共享其数据的隐私策略。在隐私策略中，用户可以通过组合数据转换来构建复杂的数据保护服务，EGEON在读取请求时内联调用这些服务。因此，数据所有者可以简单地显示来自同一数据块的多个视图，并仅通过更新策略来修改这些视图。而且所有这些都不需要重新构建底层对象存储系统的内部结构。EGEON原型是基于OpenStack Swift构建的。评估结果表明，在开发数据保护服务时，只需很少的开销就可以直接进入对象存储。此外，取决于在经变换的视图中过滤出的数据量，由于网络通信的节省，端到端延迟可以是低的。
2022-06-27 cs.DC
The CORE Storage Primitive: Cross-Object Redundancy for Efficient Data Repair & Access in Erasure Coded Storage
擦除码是许多针对大数据的分布式存储系统的组成部分，因为它们提供了低开销的高容错性。然而，传统的擦除码在降级环境中读取存储的数据（当节点可能不可用时）以及补充丢失的数据（对于长期弹性至关重要）时效率低下。因此，新的代码优化，以应付分布式存储系统的细微差别正在大力研究。在本文中，我们采取了一种工程替代方案，探索使用简单而成熟的技术-并列的RAID-4像奇偶校验的标准擦除码。我们进行了分析研究，以确定这种方法的有效性，传统的以及一些新的代码。我们建立在这项研究的基础上，设计核心，一个通用的存储原语，我们集成到HDFS。我们在专有集群和EC2中对该实现进行了基准测试。实验结果表明，与传统的纠删码相比，CORE在恢复单个故障节点时占用的带宽减少了50%，恢复速度提高了75%，而在恢复双节点故障时，恢复速度分别提高了15%和60%。
2013-06-26 cs.DC
Distributed Versioned Object Storage -- Alternatives at the OSD layer (Poster Extended Abstract)
存储数据项的多个版本的能力是一种强大的基本功能，它有着广泛的用途：关系数据库、事务内存、版本控制系统等等。但是，每个实现都使用一种非常特殊的版本控制形式，这种形式是针对所讨论的域定制的，并且对用户隐藏。在我们正在进行的项目中，我们正在审查和分析不同领域中版本控制的多种用途，目标是确定提供通用分布式多版本对象存储服务所需的基本组件，并定义如何定制这些组件以满足不同的需求。有了这个原语，新的服务可以利用多版本化来简化开发，并提供特定的一致性保证来解决特定的用例。这项工作提出了早期的结果，量化在本地存储层实现版本控制的权衡。
2014-06-14 cs.DC
Demystifying Object-based Big Data Storage Systems
本文综述了不同知名存储服务提供商提供的大数据存储架构，将其分为DFS、CFS、云存储、归档存储和OSS五个部分，并详细揭示了各组织提供的系统架构视图。
2024-06-01 cs.DB cs.DC
RapidRAID: Pipelined Erasure Codes for Fast Data Archival in Distributed Storage Systems
为了在分布式存储系统中实现可靠性，数据通常在不同的节点上复制。然而，要存储的数据量的增加促使了纠删码的引入，纠删码是复制的存储高效替代方案，特别适合于数据中心中的存档，其中旧数据集（很少访问）可以被纠删编码，而副本仅针对最新数据进行维护。许多最近的作品考虑新的存储为中心的擦除码的设计，以提高可修复性。相反，本文解决了从复制到编码的迁移：传统上，纠删编码是一种原子操作，其中具有整个对象的单个节点编码并上传所有编码片段。虽然大型数据集可以通过在不同节点之间分布单个对象编码来并行存档，但由于这种原子性，单个节点的网络和计算能力限制了存档过程。我们提出了一种新的流水线编码策略，在不同的节点之间分配网络和计算负载的单对象编码，这也加快了多个对象存档。我们进一步提出RapidRAID代码，一个明确的家庭的流水线擦除码，提供快速归档，而不损害数据的可靠性或存储开销。最后，我们提供了RapidRAID代码的实际实现，并使用50个节点的集群和一组Amazon EC2实例对其性能进行了基准测试。实验表明，RapidRAID编码减少了单个对象的编码时间高达90%，而当多个对象并发编码时，减少高达20%。
2012-08-03 cs.DC
AIOps for a Cloud Object Storage Service
随着对无处不在的IT系统和服务的日益依赖，这些系统变得更加全球化、规模化和操作复杂。为了保持业务的可行性，IT服务提供商必须提供可靠且具有成本效益的运营支持。IT运营人工智能（AIOps）是一种很有前途的技术，可用于减轻IT系统和服务的运营复杂性。AIOps平台利用大数据、机器学习和其他先进的分析技术，通过主动可操作的动态洞察来增强IT运营。在本文中，我们分享了将AIOps方法应用于生产云对象存储服务的经验，以获得对系统行为和健康状况的可操作见解。我们描述了一个真实的生产云规模服务及其运营数据，展示了我们创建的AIOps平台，并展示了它如何帮助我们解决运营痛点。
2020-05-06 cs.DC
Client-side Straggler-Aware I/O Scheduler for Object-based Parallel File Systems
基于对象的并行文件系统已经成为高性能计算（HPC）系统的有前途的存储解决方案。尽管对象存储提供了灵活的接口，但调度访问大量对象的高度并发I/O请求仍然是一个具有挑战性的问题，特别是在系统中存在落后者（存储服务器比其他服务器慢得多）的情况下。高效的I/O调度器需要避免可能的掉队者，以实现低延迟和高吞吐量。在本文中，我们介绍了一个日志辅助的离散感知的I/O调度，以减轻存储服务器离散的影响。这项研究的贡献有三个方面。首先，我们介绍了一个客户端，日志辅助，落伍者意识的I/O调度架构，以解决在HPC系统中的存储落伍的问题。其次，我们提出了三种调度算法，可以有效地调度I/O的决策，同时避免基于这样的架构的掉队者。第三，我们使用模拟评估所提出的I/O调度器，模拟结果证实了新引入的落伍者感知的I/O调度器的承诺。
2018-05-16 cs.DC
An Empirical Study of the Repair Performance of Novel Coding Schemes for Networked Distributed Storage Systems
擦除编码技术正被集成到网络分布式存储系统中，作为一种以比传统复制更少的存储开销为代价提供容错的方式。Reddit是通过修复机制随时间推移而维护的，这可能需要大量的网络资源开销。近年来，一些为分布式存储量身定制的新代码已经被提出来优化存储开销和修复，例如最小化每次修复流量的再生码，或最小化每次修复所接触的节点数量的自修复码。然而，这些编码技术的现有研究主要是理论上的，在简化的假设下，只有一个对象被存储。它们忽略了实际系统必须解决的许多实际问题，例如数据放置，多个存储对象的去相关，或者当多个对象同时修复时对有限网络资源的竞争。本文实证研究了这些新的存储为中心的代码相对于经典的纠删码的修复性能，通过模拟现实的情况下，探索的相互作用的代码参数，故障特征和数据的放置方面的权衡带宽的使用和速度的修复。
2012-06-11 cs.DC
BlobSeer: How to Enable Efficient Versioning for Large Object Storage under Heavy Access Concurrency
为了适应大规模分布式P2P系统的需求，需要可扩展的数据管理策略，使应用程序能够有效地处理不断增长的，高度分散的数据。本文讨论了如何有效地存储和访问超大型二进制数据对象（blob）的问题。它提出了一个有效的版本控制方案，允许大量的客户端并发地读取，写入和附加数据到巨大的blob，是碎片化的，分布在一个非常大的规模。由于原始元数据方案，基于在分布式哈希表（DHT）之上构建的分布式段树，在高并发性下实现了可伸缩性。我们的方法已经实现，并在我们的网格5000测试平台上的BlobSeer原型实验，使用多达175个节点。
2009-05-07 cs.DC
Erasure Coding for Small Objects in In-Memory KV Storage
我们提出MemEC，擦除编码为基础的内存中的键值（KV）存储，实现高可用性和快速恢复，同时保持低数据冗余存储服务器。MemEC是专门为小对象占主导地位的工作负载而设计的。通过对对象进行整体编码，MemEC比现有的基于复制和擦除编码的方法减少了60%的小对象存储冗余。它还支持正常模式下分散请求之间的优雅转换（即，无故障）和降级模式下的协调请求（即，失败）。我们评估我们的MemEC原型通过测试床实验下读取繁重和更新繁重的YCSB工作负载。我们表明，MemEC在正常和降级模式下都实现了高吞吐量和低延迟，并支持两种模式之间的快速转换。
2017-05-21 cs.DB cs.DC
InfiniStore: Elastic Serverless Cloud Storage
AWS S3等云对象存储具有成本效益和高度弹性，但速度相对较慢，而AWS ElastiCache等高性能云存储价格昂贵，弹性有限。我们提出了一个新的云存储服务称为ServerlessMemory，它使用无服务器函数的内存存储数据。ServerlessMemory采用基于滑动窗口的存储管理策略，其灵感来自程序设计语言中使用的垃圾回收机制，以有效地隔离热/冷数据，并提供细粒度的弹性，良好的性能和极低成本的按访问付费成本模型。然后，我们设计并实现了InfiniStore，一个持久的和弹性的云存储系统，它无缝耦合基于功能的ServerlessMemory层与持久的，廉价的云对象存储层。InfiniStore使用基于FaaS（Function-as-a-Service）平台的自动扩展功能构建的快速并行恢复方案，即使在功能故障的情况下也能实现持久性。我们使用微基准测试和两个实际应用程序对InfiniStore进行了广泛的评估。结果显示，与AWS ElastiCache和Anna相比，InfiniStore对于大于10 MB的对象具有更多的性能优势，与InfiniCache和ElastiCache相比，InfiniStore分别实现了26.25%和97.24%的租户端成本降低。
2023-03-16 cs.DC
ObjectCache: Layerwise Object-Storage Retrieval for KV Cache Reuse
ETH Zurich（苏黎世联邦理工学院）；HPE Labs（惠普实验室）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
提出ObjectCache系统，利用S3兼容对象存储存储KV缓存，通过协同设计存储协议和传输调度，在GPU消费顺序下交付数据，重叠数据传输与计算，从而在不增加集群成本的前提下最小化TTFT延迟。
2026-05-16 cs.AI cs.DC
Object Storage, Persistent Memory, and Data Infrastructure for HPC Materials Informatics
提供了关于基础设施选择如何适应材料数据生态系统的猜测。特别关注的是对象存储，英特尔DAOS API，存储类内存（SCM），以及非冯诺依曼计算的前景。最后，假设的影响，数据基础设施的选择上的一个样本材料信息学的问题进行了讨论：计算材料发现相变材料的相变存储器（PCM）的属性。选择PCM作为样本材料信息学案例研究的动机来自于它与新兴SCM硬件的相关性。
2022-10-06 cond-mat.mtrl-sci cs.DB cs.DC
Sherlock in OSS: A Novel Approach of Content-Based Searching in Object Storage System
本文提出Sherlock，一种基于内容的对象存储搜索架构，通过分类、模型提取和Elasticsearch实现内容搜索，并在OpenStack Swift上验证其有效性。
2023-05-06 cs.DC
SkyStore: Cost-Optimized Object Storage Across Regions and Clouds
SkyStore提出统一对象存储，通过虚拟API和TTL数据放置策略，跨云动态复制与驱逐对象，降低成本高达6倍，并保持与标准云产品相当的延迟、可用性和容错性。
2025-02-28 cs.DC
Learnings from an Under the Hood Analysis of an Object Storage Node IO Stack
传统的对象存储建立在传统的OS存储堆栈之上，其中I/O请求通常通过多个庞大且冗余的层进行传输。随着存储子系统对性能、一致性和容错性要求的不断提高，对象管理的复杂性急剧增加。简单地说，在I/O数据路径中会遇到更多的中间层，每个传递层都添加了自己的语法和语义。从而增加了请求处理的开销。在本文中，通过对对象存储节点进行全面的底层分析，我们描述了对象存储（和用户应用程序）工作负载对OS I/O堆栈的影响及其对底层对象存储设备（OSD）的后续影响。我们观察到，基于操作系统的I/O存储堆栈的传统体系结构与复杂的数据管理策略相结合，导致终端存储设备能够提供的性能与其在生产环境中实际提供的性能之间不匹配。因此，开发更快的存储设备所带来的好处往往是无效的。这些问题在高度并发和多路复用的云环境中变得更加突出。由于对象管理的相关问题和OS I/O软件栈的漏洞，我们讨论了一类新的存储设备，被称为对象驱动器的潜力。Samsung Key-Value SSD（KV-SSD）[1]和Seagate Kinetic Drive [2]是对象驱动器的经典工业实现，其中主机数据管理功能可以卸载到存储设备。这导致了整个存储堆栈的简化。基于我们的分析，我们相信对象驱动器可以减轻对象存储的数据管理的高负担，与传统的操作系统（OS）堆栈相比节省20-38%的时间。
2022-07-05 cs.AR cs.DB cs.DC
Enabling Object Storage via shims for Grid Middleware
对象存储模型已迅速成为大多数商业上成功的大容量存储基础设施的基础，支持所谓的“云”存储，如Amazon S3，但也是大多数并行分布式存储系统实现的基础。对象存储设计中的许多假设与网格存储元素设计中的概念相似，但不完全相同，尽管在SE之上对“POSIX类”文件系统结构的要求使得分离看起来更大。由于现代对象存储提供了许多大多数网格SE所不具备的功能（块级条带化、并行访问、自动文件修复等），我们可以很容易地通过网格工具的插件和扩展来为典型的对象存储提供接口，实验可以很好地使数据模型适应它们，这是很有趣的。我们目前的评估，和首次部署的经验，（例如）Xrootd-Ceph接口的直接对象存储访问，作为一个计划的一部分，在GridPP \cite{GridPP}在RAL托管。此外，我们还讨论了在格拉斯哥为目前流行的{ \it Ceph}并行分布式文件系统的GSP 2访问层开发插件的权衡和经验。
2015-10-30 cs.DC hep-ex physics.comp-ph
ARES: Adaptive, Reconfigurable, Erasure coded, atomic Storage
原子性或强一致性是分布式共享内存仿真中最基本、最直观、也最难提供的原语之一。为了确保存储服务在出现故障时的生存性、可伸缩性和可用性，在消息传递环境中，用于原子存储器仿真的传统方法跨多个服务器复制对象。与基于复制的原子存储算法相比，基于纠删码的原子存储算法具有更低的存储和通信开销，但通常更难设计。设计原子存储器算法的难度进一步增加，当服务器的集合可能会改变，以确保软件和硬件升级的服务的生存能力，同时避免服务中断。在复制系统中，用于执行服务器重新配置的原子存储器算法非常少，复杂，并且仍然是研究的活跃领域的一部分;基于擦除码的算法的重新配置是不存在的。在这项工作中，我们提出了ARES，一个算法框架，允许底层服务器的重新配置，特别适合基于擦除代码的算法模拟原子对象。ARES在保持服务可用的同时引入了新的配置。为了与ARES一起使用，我们还提出了一个新的，据我们所知，第一个两轮基于擦除码的算法TREAS，用于在异步消息传递环境中模拟多作者，多读者（MWMR）原子对象，具有接近最佳的通信和存储成本。我们的算法可以容忍任何客户端和部分服务器的崩溃故障，但，保证安全性和活性属性。此外，通过结合ARES和TREAS的优点，我们提出了一个优化的算法，可以安装新的配置，而无需通过重新配置客户端的对象值。
2021-05-28 cs.DC
Comments on CausalEC: A Causally Consistent Data Storage Algorithm Based on Cross-Object Erasure Coding
本文指出Cadambe和Lyu 2021提出的基于跨对象纠删码的因果一致性算法CausalEC，与Lyu等人2018年开发的算法本质上是相同的。
2023-05-22 cs.DC cs.IT math.IT
FT-LADS: Fault-Tolerant Object-Logging based Big Data Transfer System using Layout-Aware Data Scheduling
LADS（Layout-Aware Data Acquisition）数据传输工具，识别并解决了在太比特网络环境中导致端到端数据传输路径拥塞的问题。它利用每个端点的底层存储布局来最大化吞吐量，而不会对其他用户的共享存储资源的性能产生负面影响。LADS可以避免共享存储资源内的拥塞存储元件，从而提高输入/输出带宽，并因此提高高速网络上的数据传送率。然而，在LADS中缺乏FT（容错）支持导致数据重传开销以及错误时可能的完整性问题。在本文中，我们提出了基于对象的日志记录方法，以避免传输的对象，这是成功地写入并行文件系统（PFS）在汇端。根据创建的日志文件的数量，对于整个数据集，我们将我们的容错机制分为三个不同的类别：文件日志，事务日志和通用日志。此外，为了解决这些基于对象的日志记录机制的空间开销，我们提出了不同的方法来填充日志记录器文件与完成的对象的信息。我们已经评估了LADS数据传输工具的数据传输性能和恢复时间开销的建议基于对象的日志容错机制。我们的实验结果表明，LADS结合提出的基于对象的容错机制表现出小于1%的开销相对于数据传输时间和总恢复时间开销是在任何故障点的总数据传输时间的10%左右。
2018-05-16 cs.DC
GenStore: A High-Performance and Energy-Efficient In-Storage Computing System for Genome Sequence Analysis
提出首个面向基因组序列分析的存内处理系统GenStore，通过软硬件协同设计和低成本存内过滤器优化数据移动与计算，在真实数据集上显著提升读段比对性能。
2023-04-06 cs.AR cs.DC cs.OS
OASIS: Object-based Analytics Storage for Intelligent SQL Query Offloading in Scientific Tabular Workloads
针对现有支持计算的对象存储系统在输出格式灵活性、算子支持范围、深层存储层级优化上的不足，本文提出OASIS系统，实现灵活输出、复杂算子支持与动态路径选择，在HPC科学查询场景下较现有方案最高提升32.7%的性能。
2025-09-02 cs.DB cs.DC
CausalEC: A Causally Consistent Data Storage Algorithm based on Cross-Object Erasure Coding
首次提出基于跨对象纠删码的因果一致性数据存储算法CausalEC，在异步系统中通过任意线性纠删码实现本地写操作与非阻塞读操作，兼顾活性、容错性与存储效率。
2023-05-20 cs.DC cs.IT math.IT
A Chunked-Object Pattern for Multi-Region Large Payload Storage in Managed NoSQL Databases
本文提出一种分块对象模式，用于多区域大载荷存储，通过在数据库中持久化分块数据以减少复制延迟和一致性时间。
2025-12-07 cs.DB cs.DC
Benchmarking Post-Quantum Key Encapsulation in S3-Compatible Object Storage under Client Concurrency
Chaitanya Bharathi Institute of Technology（恰伊坦亚巴拉蒂理工学院）
该研究在兼容S3的对象存储中，通过两种客户端、两种处理器和最多500并发工作线程的实验，测试了ML-KEM在多客户端场景下的性能，发现其仅在处理器满负载时降低4.0-4.9%吞吐量，且存储开销增加1056字节。
2026-10-16 cs.CR cs.DC
Exploring Novel Data Storage Approaches for Large-Scale Numerical Weather Prediction
The University of Edinburgh（爱丁堡大学）
本文评估了DAOS和Ceph在HPC和AI应用中的性能，发现DAOS在可扩展性和灵活性上优于Ceph和Lustre，为大规模I/O提供了新的解决方案。
2026-02-19 cs.DB cs.DC
LatentStore: An Efficient Latent-First Storage System for AI-Generated Images
University of Virginia（弗吉尼亚大学）；Harvard University（哈佛大学）
本文提出了一种以潜在特征优先的存储系统LatentBox，用于大规模存储AI生成的图像。通过将压缩的潜在特征作为持久存储对象，并在读取路径上按需使用GPU进行重建，以换取大容量的持久存储节省。
2026-10-23 cs.DB cs.DC
DistCache: Provable Load Balancing for Large-Scale Storage Systems with Distributed Caching
负载均衡对于分布式存储满足严格的服务级别目标（SLO）至关重要。已经表明，快速高速缓存可以保证集群存储系统的负载均衡。然而，当系统扩展到多个集群时，快速缓存本身将成为瓶颈。传统的缓存分区和缓存复制机制要么导致缓存节点之间的负载不平衡，要么为缓存一致性带来很高的开销。我们提出DistCache，一个新的分布式缓存机制，提供可证明的负载均衡的大规模存储系统。DistCache通过缓存拓扑和查询路由共同设计缓存分配。其核心思想是在不同层的缓存节点之间使用独立的哈希函数划分热对象，并使用二次选择的幂自适应路由查询。我们证明，DistCache使高速缓存的吞吐量线性增加的高速缓存节点的数量，通过统一的技术，从扩展图，网络流，排队论。DistCache是一种通用解决方案，可应用于许多存储系统。我们展示了DistCache的好处，提供设计，实施和评估的用例，新兴的基于交换机的缓存。
2019-02-14 cs.DC cs.NI
Don't Trust the Cloud, Verify: Integrity and Consistency for Cloud Object Stores
云服务已经将远程计算变成了一种商品，并实现了方便的在线协作。但是，它们要求客户端在保密性、完整性和可用性方面完全信任服务提供者。为了减少这种依赖性，本文介绍了一种协议，用于验证的完整性和一致性的云对象存储（VICOS），它使一组相互信任的客户端检测数据的完整性和一致性违规的云对象存储服务。它的目标是多个客户端在远程存储在可能行为不端的服务上的数据上进行合作的服务。与以前的协议相比，VICOS加强了fork-linearizability的一致性概念，支持大多数操作的无等待客户端语义，并减少了计算和通信开销。VICOS以通用的方式基于任何经过认证的数据结构。此外，它的操作覆盖了云对象存储的分层名称空间，支持真实世界的接口，而不仅仅是简单的抽象。已经实现了一个与商品云存储服务的键值存储接口一起工作的VICOS原型，并且评估表明了其与现有系统相比的优势。
2016-09-02 cs.CR cs.DC
Management of Data Replication for PC Cluster-based Cloud Storage System
存储系统是云计算基础架构的基本构建块。虽然高性能存储服务器是云存储的最终解决方案，但廉价存储系统的实现仍然是一个悬而未决的问题。为了解决这个问题，高效的云存储系统是用组织成基于PC集群的数据中心的廉价和商品计算机节点来实现的。Hadoop分布式文件系统（HDFS）是一个基于云的开源存储平台，旨在部署在低成本硬件中。通过增强复制管理机制，采用HDFS实现了基于PC集群的云存储系统。数据对象在位于云中的商品节点集群中分布和复制。该系统提供了最佳的副本数量以及存储服务器节点之间的加权和平衡。实验结果表明，根据PC集群中各节点的可用磁盘空间、期望可用性和失效概率，可以实现存储均衡。
2011-12-27 cs.DC cs.NI
Liquid Cloud Storage
Qualcomm Technologies, Inc.（高通技术有限公司）
本文提出一种液体系统，通过冗余数据分布、懒惰修复和流存储组织，实现存储耐用性、存储开销、修复带宽和访问性能的灵活优化。
2017-05-22 cs.DC cs.PF cs.SY
Gang-GC: Locality-aware Parallel Data Placement Optimizations for Key-Value Storages
许多云应用程序依赖于快速和非关系存储来帮助处理大量数据。托管运行时现在被广泛用于支持NoSQL运动的几种存储解决方案的执行，特别是在处理大数据键值存储驱动的应用程序时。然而，这些运行时的好处可能受到现代并行面向吞吐量的GC算法的限制，其中相关对象可能分散在内存中，无论是在同一代还是不同代。从长远来看，这会导致更多的页面错误和系统级内存缓存的局部性下降。我们建议，Gang-CG，现代堆布局和并行GC算法的扩展，以促进相关对象组之间的局部性。这是在不对应用程序进行大量剖析的情况下完成的，并且以对程序员透明的方式完成，而不需要使用专门的数据结构。堆布局和算法扩展是在HotSpot JVM的Parallel Scavenge垃圾收集器上实现的。使用微基准测试，捕捉几个键值存储数据库的体系结构，我们在频繁的操作，如新对象的分配和数据的访问速度的提高，支持系统级内存缓存中的较低的未命中率可以忽略不计的开销。总的来说，我们显示了6%的读取和更新操作的平均时间的改善和平均减少12.4%的页面错误。
2017-04-11 cs.DC cs.PL
Storage-Optimized Data-Atomic Algorithms for Handling Erasures and Errors in Distributed Storage Systems
在大规模异步分布式存储系统中实现原子存储对象的背景下，擦除码越来越多地被研究。与传统的基于复制的方案相比，纠删码具有显著降低存储和通信成本的潜力，同时保证所需的弹性水平。在这项工作中，我们提出了一种用于在多作者多读者环境中实现原子内存对象的优化数据原子（SODA）算法。SODA使用最大距离可分离（MDS）码，专门设计用于优化给定容错要求的总存储成本。为了容忍$n$ -服务器系统中的$f$服务器崩溃，SODA使用具有$k=n-f$的$[n, k]$ MDS代码，并且招致$\frac{n}{n-f}$的总存储成本。SODA是在可靠的点对点通信信道的假设下设计的。写操作和读操作的通信成本分别由$O(f^2)$和$\frac{n}{n-f}(δ_w+1)$给出，其中$δ_w$表示与特定读操作并发的写操作的数量。与同样使用MDS码的CASGC算法相比，SODA算法具有更低的存储开销和更高的通信开销。我们还提出了SODA的修改，称为SODA $_{\text{err}}$，处理的情况下，一些服务器可以返回错误的编码元素在读取操作。具体地，为了容忍$f$服务器故障和$e$易于出错的编码元素，SODA $_{\text{err}}$算法使用$[n, k]$ MDS码，使得$k=n-2e-f$。SODA $_{\text{err}}$还保证了活性和原子性，同时保持了$\frac{n}{n-f-2e}…
2016-05-05 cs.DC cs.IT math.IT
BlobShuffle: Cost-Effective Repartitioning in Stream Processing Systems via Object Storage Exemplified with Kafka Streams
Dynatrace Research（Dynatrace 研究）
提出BlobShuffle方法，利用云对象存储作为中间交换层，通过批量存储和紧凑通知机制降低流处理系统中跨可用区数据重排的网络成本，实验表明相比原生Kafka Streams可减少40倍以上成本且延迟低于2秒。
2026-06-02 cs.DB cs.DC cs.PF
A Layered Architecture for Erasure-Coded Consistent Distributed Storage
受边缘计算范式的新兴应用的启发，我们引入了一个两层擦除编码的容错分布式存储系统，为读写操作提供原子访问。在边缘计算中，客户端与地理上靠近的边缘层服务器交互;边缘层又与后端服务器层交互。边缘层为客户端操作提供低延迟访问和临时存储，并使用后端层进行持久存储。我们的算法，被称为分层数据存储（LDS）算法，提供了几个功能适合边缘计算系统，工作在异步消息传递环境下，支持多个读取器和写入器，并可以容忍$f_1 < n_1/2$和$f_2 < n_2/3$崩溃故障的两个层有$n_1$和$n_2$服务器，分别。我们使用一类称为再生码的擦除码来存储后端层中的数据。选择重新生成代码，而不是像Reed-Solomon代码这样的流行选择，不仅优化了后端存储的成本，而且还有助于优化读取操作的通信成本，当值需要从后端重新创建时。两层架构允许原子性和擦除代码协议的模块化实现;擦除代码的实现主要限于两层之间的交互。我们证明了LDS的活性和原子性，并计算与读写操作相关的性能成本。此外，在运行LDS的$N$独立实例的多对象系统中，其中在执行期间的任何点处只有一小部分对象经历并发访问，总体存储成本由后端层中的持久性存储的成本主导，并且由$Θ(N)$给出。
2017-05-30 cs.DC cs.IT math.IT
Using Object-Relational Mapping to Create the Distributed Databases in a Hybrid Cloud Infrastructure
目前使用云服务的挑战之一是设计专门的数据管理系统的任务。这对于数据位于公共云和私有云的混合系统尤其重要。执行监测功能查询、调度和处理软件必须适当执行，是系统的一个组成部分。为了提供这些功能，建议使用对象关系映射（ORM）。本文致力于介绍为混合云基础设施中托管的信息系统设计数据库的方法。并给出了ORM库的开发实例。
2015-01-04 cs.DB cs.DC cs.NI
