Understanding the Performance of Ceph Block Storage for Hyper-Converged Cloud with All Flash Storage
超融合云是指运营商在同一组物理服务器上运行计算和存储服务的架构。尽管超融合设计带来了许多好处,但它使关键的运营任务(如容量规划和成本分析)变得相当复杂。如果我们考虑一个复杂的分布式系统,如Ceph,随着SSD驱动器的激增,这个问题变得更加繁重。在本文中,我们的目标是基于全面的微基准测试来回答其中的一些问题,从而更好地了解Ceph在具有全闪存存储的超融合云中的行为。我们报告了基于该研究的发现,设计了一个成本模型,并比较了超融合架构与专用存储架构的成本。此外,我们还根据过去几年与AT&T许多团队的互动总结了我们的经验。
2018-02-22 cs.DC
Management of Data Replication for PC Cluster-based Cloud Storage System
存储系统是云计算基础架构的基本构建块。虽然高性能存储服务器是云存储的最终解决方案,但廉价存储系统的实现仍然是一个悬而未决的问题。为了解决这个问题,高效的云存储系统是用组织成基于PC集群的数据中心的廉价和商品计算机节点来实现的。Hadoop分布式文件系统(HDFS)是一个基于云的开源存储平台,旨在部署在低成本硬件中。通过增强复制管理机制,采用HDFS实现了基于PC集群的云存储系统。数据对象在位于云中的商品节点集群中分布和复制。该系统提供了最佳的副本数量以及存储服务器节点之间的加权和平衡。实验结果表明,根据PC集群中各节点的可用磁盘空间、期望可用性和失效概率,可以实现存储均衡。
2011-12-27 cs.DC cs.NI
Managing Bufferbloat in Cloud Storage Systems
本文研究云存储中的bufferbloat对系统可调度性和性能隔离的影响,提出自适应准入控制SlowFast CoDel作为缓解该问题的起点。
2023-04-03 cs.DC
"Reduction of Monetary Cost in Cloud Storage System by Using Extended Strict Timed Causal Consistency"
云存储系统已经被引入为组织和最终用户提供可扩展的、安全的、可靠的和高度可用的数据存储环境。因此,服务提供商应该在地理范围内增长。因此,广泛的存储服务供应需要复制机制。复制对云存储施加了许多成本,包括同步、通信、存储等,复制品之间的成本。此外,副本之间的同步过程是云存储中的主要挑战。因此,一致性可以定义为副本之间的协调。在本文中,我们提出了一个扩展的严格时间因果一致性,增加了考虑的货币成本和违反的云存储系统中的数量,并称之为扩展的严格时间因果一致性。我们提出的支持单调读,读你写,单调写,写跟随读,模型考虑到用户的操作之间的因果关系,在客户端。此外,它支持服务器端的定时因果关系。我们采用了Cassandra云数据库,支持各种不同的数据,如所有,一个,法定人数等,我们的方法在降低陈旧率,违规的严重程度,和货币成本相比,所有,一个,法定人数,因果关系。
2020-09-04 cs.DC
Complying with Data Handling Requirements in Cloud Storage Systems
在过去的几年里,云存储系统的使用量大幅增加。然而,尽管它们作为更复杂的云服务的底层基础设施的流行性和重要性,但今天的云存储系统在设计上并不符合法规、组织或合同数据处理要求。由于立法越来越多地响应日益增长的数据保护和隐私问题,遵守数据处理要求成为云存储系统的关键属性。我们提出了PRADA,一种实用的方法来考虑遵守基于键值的云存储系统中的数据处理要求。为了实现这一目标,PRADA引入了透明的数据处理层,使客户能够提出特定的数据处理要求,并使云存储系统的运营商能够遵守这些要求。我们在分布式数据库Cassandra上实现了PRADA,并在评估中表明,符合云存储系统中的数据处理要求在实际云部署中是可行的,如微博、物联网中的数据共享和分布式电子邮件存储。
2020-06-07 cs.DC cs.NI
Enhancing Cloud Storage with Shareable Instances for Social Computing
云存储在社会计算中发挥着重要作用。本文旨在开发一个移动设备的云存储管理系统,以支持一组扩展的文件操作。由于存储、带宽、功耗和其他资源的限制,大多数现有的智能手机云存储应用程序都不保留文件的本地副本。然而,这种高效的设计限制了应用能力。在本文中,我们试图扩展云存储服务的可用文件操作,以更好地为智能手机用户服务。我们开发了一个高效、安全的文件管理系统Skyfiles,以支持更高级的文件操作。我们设计的基本思想是利用云实例来辅助文件操作。特别是,Skyfiles支持下载,压缩,加密和转换操作,以及两个智能手机用户的云存储空间之间的文件传输。此外,我们提出了一个协议,用户共享他们的空闲实例。Skyfiles支持的所有文件操作都可以通过自创建实例或共享实例高效安全地完成。
2020-10-26 cs.DC cs.PF
HVSTO: Efficient Privacy Preserving Hybrid Storage in Cloud Data Center
在云数据中心中,具有良好管理的共享存储是用于存储虚拟机(VM)的主要结构。本文提出了一种针对大规模云数据中心虚拟机存储的隐私保护共享存储系统--混合虚拟机存储(HVSTO)。与传统的共享存储不同,HVSTO采用分布式结构来保护虚拟机的隐私,这是传统集中式结构中的一个威胁。为了提高分布式存储系统的I/O延迟性能,我们采用了一种混合系统来结合固态硬盘和分布式存储。从我们的演示系统的评估,HVSTO提供了一个可扩展的和足够的吞吐量的平台作为一个服务的基础设施。
2014-05-23 cs.CR cs.DC
Secured Data Consistency and Storage Way in Untrusted Cloud using Server Management Algorithm
这是非常具有挑战性的一部分,以保持安全的所有所需的数据,需要在许多应用程序中的用户在云中。将我们的数据存储在云中可能并不完全可信。由于客户端没有所有存储数据的副本,因此必须依赖云服务提供商。但是动态数据操作、Read-Solomon和验证令牌构造方法并没有告诉我们云上数据添加前后服务器分配空间的总存储容量。因此,我们必须引入一个新的建议系统的有效的存储测量和空间比较算法与时间管理测量总分配的存储区域之前和之后的数据插入云。因此,通过使用我们提出的方案,之前和之后的存储数据的值或权重是由客户端在云存储区域中的指定时间内准确测量的。在这里我们还提出了服务器故障情况下的多服务器恢复点。当服务器发生故障时,通过该方案可以在云服务器中自动恢复数据。我们提出的方案有效地检查空间的外包数据,以保持完整性。在这里,TPA不一定具有审计用户数据的授权。
2011-11-10 cs.DC
FASTEN: Towards a FAult-tolerant and STorage EfficieNt Cloud: Balancing Between Replication and Deduplication
针对云存储中冗余保障高可用性与重复数据删除节省空间之间的矛盾,提出分布式方案 FASTEN,通过最优分散数据子集实现容错并保持冗余,实验证明其在低成本、审计和去重性能上优于现有系统。
2023-12-13 cs.DC
A Cost-Effective Strategy for Storing Scientific Datasets with Multiple Service Providers in the Cloud
云计算为科学家提供了一个平台,可以部署计算和数据密集型应用程序,而无需基础设施投资。借助过量的云资源和决策支持系统,生成的大型数据集可以灵活地1存储在当前云中,2删除并在重用时重新生成,或3转移到更便宜的云服务中进行存储。然而,由于使用付费模式,总应用成本在很大程度上取决于计算,存储和带宽资源的使用,因此降低基于云的数据存储的成本成为在云中部署科学应用的一个大问题。在本文中,我们提出了一种新的策略,可以经济有效地存储大型生成的数据集与多个云服务提供商。该策略基于一种新的算法,该算法可以在云中的计算,存储和带宽成本之间进行权衡,这是数据存储成本的三个关键因素。两个一般(随机)模拟进行流行的云服务提供商的定价模型和三个具体的案例研究,对现实世界的科学应用程序表明,所提出的存储策略是非常具有成本效益和实用的运行时间利用率在云中。
2016-01-26 cs.DC
Simulation and evaluation of cloud storage caching for data intensive science
科学计算中的一个常见任务是数据的推导。此工作流从大型输入数据中提取最重要的信息,并将其存储在较小的派生数据对象中。然后,导出的数据对象可以用于进一步的分析任务。通常,这些工作流使用分布式存储和计算资源。存储介质的直接配置将是低成本的磁带存储和高成本的磁盘存储。大的、不经常访问的输入数据存储在磁带存储器上。较小的、经常访问的派生数据存储在磁盘存储器上。在最好的情况下,大的输入数据仅被非常不频繁地访问,并且是以良好规划的模式访问的。然而,实践表明,数据往往必须连续和不可预测地处理。这会显著降低磁带存储性能。一种常见的解决方法是在磁盘存储器上存储大型输入数据的副本。这种贡献评估的方法,使用云存储资源作为一个灵活的缓存或缓冲区,这取决于计算工作流程。所提出的模型阐述了连续处理数据的情况下。为了进行评估,开发了模拟,可用于评估与存储和网络资源相关的模型。我们表明,使用商业云存储可以降低本地磁盘存储需求,同时保持相等的作业吞吐量。此外,该模型的关键指标进行了讨论,并描述了一种方法,使用模拟,以协助使用商业云存储的决策过程。目标是研究方法并提出新的评估方法,以克服未来的数据挑战。
2021-05-07 cs.DC
CDStore: Toward Reliable, Secure, and Cost-Efficient Cloud Storage via Convergent Dispersal
我们推出的CDStore将用户的备份数据分散到多个云中,提供统一的多云存储解决方案,具有可靠性,安全性和成本效益的保证。CDStore建立在一个名为收敛分散的增强秘密共享方案之上,该方案通过使用确定性内容派生哈希作为秘密共享的输入来支持重复数据删除。我们提出了CDStore的设计,特别是,它如何结合收敛分散与两阶段重复数据删除,以实现带宽和存储节省和强大的侧信道攻击。我们使用局域网和商业云测试平台上的真实工作负载来评估我们的CDStore原型的性能。我们的成本分析还表明,与使用最先进的秘密共享的基准云存储解决方案相比,CDStore实现了70%的货币成本节省。
2015-05-29 cs.CR cs.DC
InfiniStore: Elastic Serverless Cloud Storage
AWS S3等云对象存储具有成本效益和高度弹性,但速度相对较慢,而AWS ElastiCache等高性能云存储价格昂贵,弹性有限。我们提出了一个新的云存储服务称为ServerlessMemory,它使用无服务器函数的内存存储数据。ServerlessMemory采用基于滑动窗口的存储管理策略,其灵感来自程序设计语言中使用的垃圾回收机制,以有效地隔离热/冷数据,并提供细粒度的弹性,良好的性能和极低成本的按访问付费成本模型。然后,我们设计并实现了InfiniStore,一个持久的和弹性的云存储系统,它无缝耦合基于功能的ServerlessMemory层与持久的,廉价的云对象存储层。InfiniStore使用基于FaaS(Function-as-a-Service)平台的自动扩展功能构建的快速并行恢复方案,即使在功能故障的情况下也能实现持久性。我们使用微基准测试和两个实际应用程序对InfiniStore进行了广泛的评估。结果显示,与AWS ElastiCache和Anna相比,InfiniStore对于大于10 MB的对象具有更多的性能优势,与InfiniCache和ElastiCache相比,InfiniStore分别实现了26.25%和97.24%的租户端成本降低。
2023-03-16 cs.DC
The carbon footprint of distributed cloud storage
据估计,截至目前,ICT(信息通信技术)生态系统占全球能源需求总量的10%,相当于德国和日本的能源产量之和。云存储主要通过大型密集的数据中心运行,是其中不可忽视的一部分。然而,由于云是一个快速膨胀的市场,数据中心的能源效率大多是一个集体不敏感的问题,其碳足迹没有放缓的迹象。在本文中,我们分析了一种新的模式,云存储(实现Cubbit,http://cubbit.io),其中数据存储和分布在网络上的p2p交互的基于ARM的单板设备。我们将Cubbit的分布式云与传统的集中式解决方案在环境足迹和能源效率方面进行了比较。我们证明,与集中式云相比,Cubbit的分布式架构的碳足迹在数据存储方面减少了77%,在数据传输方面减少了50%。这些结果提供了一个例子,说明大范围技术的根本性范式转变如何使最终消费者和整个社会受益。
2019-06-26 cs.DC
BigBird: Big Data Storage and Analytics at Scale in Hybrid Cloud
Twitter Inc.(推特公司)
大规模实施大数据存储是一项复杂而艰巨的任务,需要先进的基础设施。随着公共云计算的兴起,各种大数据管理服务可以很容易地被利用。作为Twitter“部分多云项目”的重要组成部分,冷存储数据和分析系统正在迁移到公共云。本文展示了我们在Google Cloud Platform中使用BigQuery设计可扩展的大数据存储和分析管理框架的方法,同时确保安全性,隐私性和数据保护。本文还讨论了公共云资源的限制,以及在设计大规模数据存储和分析解决方案时如何有效地克服这些限制。虽然本文讨论了Google Cloud Platform中的框架实现,但它可以很容易地应用于所有主要的云提供商。
2022-03-22 cs.DB cs.DC cs.LG
Analysis of cloud storage prices
云存储正在快速确保其作为消费者和企业客户的主要存储库的角色。许多公司现在提供存储解决方案,有时免费提供有限的容量。我们调查了一些主要云提供商的定价计划,并使用单价作为比较手段进行了比较。除亚马逊外,所有供应商都采用捆绑定价方案;亚马逊则采用区块递减定价政策。我们比较的定价计划,通过一个双重的方法:逐点比较每个容量值,并使用两部分的关税近似和帕累托优势标准的整体比较。在这两种办法下,大多数供应商提供的定价计划似乎更昂贵,可以排除在采购选择之外,而有利于少数占主导地位的供应商。
2012-07-25 cs.DC
IOArbiter: Dynamic Provisioning of Backend Block Storage in the Cloud
随着虚拟化技术的出现,云计算实现了按需计算。动态资源配置能力是用户采用云技术的基本驱动因素。对于云服务提供商来说,这一点也很重要,可以优化运行基础设施的费用。尽管在相关领域取得了许多技术进步,但是,基础设施提供商仍然必须在部署云基础设施之前决定硬件配置,特别是从存储的角度来看。存储资源调配实践的这种静态性质可能会在满足租户需求方面导致许多问题,这些问题通常会在稍后出现。在本文中,我们提出了一个名为IOArbiter的系统,可以在云中动态创建底层存储实现。IOArbiter将存储配置推迟到租户实际请求存储空间的时间。因此,底层存储实现,例如,RAID-5、6或具有6+3擦除编码的Ceph存储池将在卷创建时实现。使用我们的原型实现与Openstack煤渣,我们表明,IOArbiter可以同时满足一些不同的租户的需求,这可能是不可能的静态配置策略。此外,QoS机制,如准入控制和动态节流帮助系统减轻噪音的邻居问题显着。
2019-04-23 cs.DC cs.OS
Decentralized utility- and locality-aware replication for heterogeneous DHT-based P2P cloud storage systems
作为一种分布式哈希表(DHT),Skip Graph路由覆盖被广泛应用于包括P2P云存储在内的多个P2P服务中。适用于基于Skip Graph的P2P云存储的完全分散式复制算法在副本可用性和响应时间方面都未能提高系统的性能。此外,他们假设系统在节点的延迟分布、可用性行为、带宽或存储方面是同质的。在本文中,我们提出了金字塔,这是第一个完全分散的实用程序和本地感知的复制方法跳过基于图的P2P云存储系统。Pyramid认为节点在延迟分布、可用性行为、带宽和存储方面是异构的。金字塔是实用性感知的,因为它最大化每个时隙的副本的平均可用带宽(例如,每小时)。此外,Pyramid是本地感知的,因为它最大限度地减少了节点与其最近副本之间的平均延迟。我们的模拟结果表明,相比于最先进的解决方案,无论是在效用意识,或在本地意识,我们提出的金字塔提高了效用和本地意识的副本与增益约1.2和1.1倍,分别在同一时间。
2019-07-28 cs.DC
Serifos: Workload Consolidation and Load Balancing for SSD Based Cloud Storage Systems
在虚拟化数据中心中实现高性能需要部署高吞吐量存储集群(即基于固态硬盘(SSD)),以及跨存储节点优化整合工作负载。如今,云存储提供商提供保证性能的唯一实用解决方案是过度配置存储节点。生产中使用的当前工作负载调度机制不具备基于SSD性能优化分配块存储卷的智能。在本文中,我们介绍Serifos,自主性能建模和负载均衡系统设计的SSD为基础的云存储。Serifos考虑了SSD存储单元的特性,并构建了硬件相关的工作负载整合模型。因此,Serifos能够预测由工作负载干扰引起的延迟和并发工作负载的平均延迟。此外,Serifos利用I/O负载均衡算法来动态平衡群集中的卷。实验结果表明,Serifos合并模型是能够保持约10%的平均预测误差异构硬件。作为Serifos负载均衡的结果,我们发现方差和最大平均延迟分别减少了82%和52%。测试平台上支持的服务级别目标(SLO)将平均延迟提高了43%,最大读取延迟提高了32%,最大写入延迟提高了63%。
2015-12-25 cs.DC
Data Mining Using High Performance Data Clouds: Experimental Studies Using Sector and Sphere
我们描述了一个高性能云的设计和实现,我们已经用来归档,分析和挖掘大型分布式数据集。云是指通过互联网提供资源和/或服务的基础设施。存储云提供存储服务,而计算云提供计算服务。我们描述了Sector存储云的设计,以及它如何提供Sphere计算云所需的存储服务。我们还描述了由Sphere计算云支持的编程范式。Sector和Sphere设计用于使用与广域高性能网络(例如,10+ Gb/s)连接的计算机集群分析大型数据集。我们描述了一个分布式的数据采掘应用程序,我们已经开发了使用部门和球体。最后,我们描述了一些比较Sector/Sphere和Hadoop的实验研究。
2008-08-22 cs.DC
The Melbourne Shuffle: Improving Oblivious Storage in the Cloud
我们提出了一个简单,高效,安全的数据遗忘随机洗牌算法。这是第一个不基于排序的安全数据无关洗牌。我们的方法可以用来改善以前的不经意的存储解决方案,基于网络的数据外包。
2014-02-22 cs.CR cs.DC cs.DS
Public Auditing and Data Dynamics for Storage Security in Cloud Computing
云计算已被设想为IT企业的下一代架构。使用云存储,用户可以远程存储他们的数据,并从可配置的计算资源共享池中享受按需的高质量应用和服务,而无需负担本地副本数据存储和维护。它将存储的软件数据的应用程序移动到集中的大型数据中心,其中存储的数据服务的管理可能不完全可信。为了确保云计算中数据存储的完整性,需要考虑许多新的安全挑战和问题。特别是,我们考虑允许第三方审计员(TPA)执行验证存储在云中的动态数据的完整性的任务。
2014-05-24 cs.CR cs.DC
Optimizing the Longhorn Cloud-native Software Defined Storage Engine for High Performance
本文针对 Longhorn 在 Kubernetes 中难以充分发挥 NVMe 与高速网络性能的问题,通过集成 ublk、重构通信协议并采用直连磁盘的 DBS 方案,显著优化默认 I/O 路径性能。
2025-02-20 cs.DC
Sector and Sphere: Towards Simplified Storage and Processing of Large Scale Distributed Data
云计算已经证明,只要给出正确的编程模型和基础设施,就可以在商品集群上处理非常大的数据集。在本文中,我们描述了Sector存储云和Sphere计算云的设计和实现。与现有的存储和计算云相比,Sector不仅可以在数据中心内管理数据,还可以跨地理分布的数据中心管理数据。同样,Sphere计算云支持数据中心内和跨数据中心的用户定义函数(UDF)。作为一种特殊情况,MapReduce风格的编程可以在Sphere中通过使用Map UDF和Reduce UDF来实现。我们描述了一些实验研究比较部门/球体和Hadoop使用Terasort基准。在这些研究中,Sector的速度大约是Hadoop的两倍。Sector/Sphere是开源的。
2009-01-17 cs.DC
Liquid Cloud Storage
Qualcomm Technologies, Inc.(高通技术有限公司)
本文提出一种液体系统,通过冗余数据分布、懒惰修复和流存储组织,实现存储耐用性、存储开销、修复带宽和访问性能的灵活优化。
2017-05-22 cs.DC cs.PF cs.SY
Storage and Memory Characterization of Data Intensive Workloads for Bare Metal Cloud
随着存储系统的每字节成本大幅下降,SSD正在新兴的云基础设施中找到自己的方式。类似的趋势也发生在主存子系统上,因为具有更高容量、频率和通道数量的先进DRAM技术正在部署用于云规模解决方案,特别是用于非虚拟化环境,在非虚拟化环境中,云用户可以准确指定底层硬件的配置。考虑到标准工作负载对存储层次结构参数的性能敏感性,了解内存和存储在数据密集型工作负载中的作用非常重要。在本文中,我们研究了DRAM(高端与低端)的选择如何影响基于Hadoop,Spark和MPI的大数据工作负载在裸金属云上存在不同存储类型时的性能。通过有条不紊的实验设置,我们分析了DRAM容量,工作频率,通道数量,存储类型和横向扩展因素对这些流行的框架的性能的影响。基于微架构分析,我们将数据密集型工作负载分为三组,即I/O绑定、计算绑定和内存绑定。表征结果表明,无论是DRAM容量,频率,还是通道的数量都对所有研究的Hadoop工作负载的性能起着重要的作用,因为它们大多是I/O绑定的。另一方面,我们的研究结果表明,Spark和MPI中的迭代任务(例如机器学习)受益于高端DRAM,特别是高频率和大量通道,因为它们是内存或计算限制的。我们的研究结果表明,使用SSD PCIe不能将瓶颈从存储转移到内存,而它可以将工作负载行为从I/O绑定改变为计算绑定。
2018-08-15 cs.DC
Quantifying and Improving Performance of Distributed Deep Learning with Cloud Storage
云计算为分布式深度学习工作负载提供了一个强大而低成本的环境。然而,训练复杂的深度学习模型通常需要访问大量数据,这些数据很容易超过本地磁盘的容量。先前的研究往往忽略了这个训练数据问题,隐含地假设数据是本地可用的或通过低延迟的基于网络的数据存储。这种隐含的假设在基于云的训练环境中通常不成立,在这种环境中,深度学习从业者根据需要创建和拆除专用GPU集群,或者没有本地存储的奢侈品,例如在无服务器工作负载中。在这项工作中,我们调查的分布式训练,利用训练数据完全驻留在云存储桶的性能。这些存储桶承诺低存储成本,但固有的带宽限制使它们似乎不适合高效的培训解决方案。考虑到这些带宽限制,我们建议使用两个经典的技术,即缓存和预取,以减轻训练性能下降。我们实现了一个原型,DELI,基于流行的深度学习框架PyTorch的数据加载抽象的基础上。然后,我们使用Google Cloud的NVIDIA K80 GPU服务器评估了两个深度学习工作负载的训练性能,并表明与直接从存储桶加载相比,我们可以将训练循环等待数据的时间减少85.6%-93.5%-从而实现与直接从磁盘加载数据相当的性能-同时仅在本地存储一小部分数据。此外,DELI有可能降低运行训练工作负载的成本,特别是在每历元训练时间较长的模型上。
2021-08-13 cs.DC
When Cars Meet Distributed Computing: Data Storage as an Example
由于汽车无处不在,它们可以在下一代通信和计算框架中发挥重要作用。在过去的几年中,车辆到车辆通信和车辆到基础设施通信的发展向前迈出了巨大的步伐,因此为我们提供了在配备计算能力的汽车上构建“移动计算服务”的工具。最近,几组研究人员独立提出了实现这一概念的“车辆云”的设计。在本文中,我们介绍了一个新的范例的车辆云,其次是一个案例研究的数据存储在建议的云。最后,我们提出了几个挑战和机遇,在交通工具云和分布式计算的交集。
2017-11-06 cs.DC
AIOps for a Cloud Object Storage Service
随着对无处不在的IT系统和服务的日益依赖,这些系统变得更加全球化、规模化和操作复杂。为了保持业务的可行性,IT服务提供商必须提供可靠且具有成本效益的运营支持。IT运营人工智能(AIOps)是一种很有前途的技术,可用于减轻IT系统和服务的运营复杂性。AIOps平台利用大数据、机器学习和其他先进的分析技术,通过主动可操作的动态洞察来增强IT运营。在本文中,我们分享了将AIOps方法应用于生产云对象存储服务的经验,以获得对系统行为和健康状况的可操作见解。我们描述了一个真实的生产云规模服务及其运营数据,展示了我们创建的AIOps平台,并展示了它如何帮助我们解决运营痛点。
2020-05-06 cs.DC
HPDedup: A Hybrid Prioritized Data Deduplication Mechanism for Primary Storage in the Cloud
消除云主存储中的重复数据可以提高云服务提供商的成本效率,并降低用户使用云服务的成本。现有的主要重复数据删除技术要么使用内联缓存来利用主要工作负载中的局部性,要么使用在系统空闲时间内运行的后处理重复数据删除来避免对I/O性能的负面影响。然而,由于以下两个原因,它们在运行多个服务或应用的云服务器中都不能很好地工作:首先,重复数据写入的时间局部性可能不存在于一些主存储工作负载中,因此内联缓存通常无法实现良好的去重率。其次,后处理重复数据删除允许将重复数据写入磁盘,因此不提供I/O重复数据删除的好处,并且需要高峰值存储容量。本文提出了HPDedup,一种混合优先级数据删除机制,通过融合内联和后处理过程来精确重复数据删除,来处理在位于同一位置的虚拟机或容器中运行的应用程序共享的存储系统。在内联重复数据删除阶段,HPDedup提供了一种指纹缓存机制,该机制估计来自不同VM或应用程序的数据流中重复数据的时间局部性,并根据估计为这些流分配缓存优先级。HPDedup还允许根据流的空间位置为流设置不同的重复数据删除阈值,以减少磁盘碎片。后处理阶段从磁盘中删除由于时间局部性弱而无法缓存指纹的副本。我们的实验结果表明,HPDedup明显优于国家的最先进的主存储重复数据删除技术的内联缓存效率和主要重复数据删除效率。
2017-04-16 cs.DC
EdgeKV: Decentralized, scalable, and consistent storage for the edge
边缘计算使计算更接近数据,数据更接近用户,以克服云计算的高延迟通信。边缘存储允许高速数据访问,从而支持自动驾驶和智能电网等领域的延迟敏感型应用程序。然而,一些分布式服务通常是为云设计的,并且由于边缘的分布式和异构性及其有限的资源,构建一个高效的边缘支持存储系统是具有挑战性的。在本文中,我们提出了EdgeKV,这是一种为网络边缘设计的分散式存储系统。EdgeKV提供快速可靠的存储,利用具有强大一致性保证的数据复制。通过位置透明和基于接口的设计,EdgeKV可以扩展边缘节点的异构系统。我们在Golang中实现了EdgeKV模块的原型,并在Grid'5000测试平台上的边缘和云设置中对其进行了评估。我们使用Yahoo!Cloud Serving Benchmark(YCSB)分析系统在实际工作负载下的性能。我们的评估结果表明,EdgeKV优于云存储设置与本地和全局数据访问的平均写响应时间和吞吐量的提高26%和19%,在相同的设置下分别。我们的评估还表明,EdgeKV可以随着客户端的数量而扩展,而不会牺牲性能。最后,我们讨论了使用EdgeKV而不是集中式云来利用边缘资源时的能效改进。
2020-06-28 cs.DC
Reducing Failure Probability of cloud storage services using Multi-Clouds
任何信息都是有价值的,只要它有相关的数据。如果相关的数据没有放在一起,信息就没有意义,因为不相关的数据没有价值。只有经过身份验证的用户才需要映射信息。因此,没有必要将相关信息存储在一起。如果数据库的关系被分割成块,并且这些块存储在不同的云服务提供商处,则可以防止任何隐私泄露,并且存储的数据将是安全的。它还将降低数据传输成本,因为例如在更新期间并不总是需要整个数据。此外,代替在单个CSP处存储块,如果每个块或片段存储在多个CSP处,则其确保可用性并且还允许并发访问。此外,它还可以防止云中断期间的财务损失,并防止数据锁定。在地理位置不同的多个云上复制数据块也会额外减少响应时间。这项工作试图在给定的预算内选择多个云服务提供商,以确保数据的最大可用性。当没有安全或隐私问题时,整个数据可以存储在根据预算选择的每个数据中心。数据还可以通过在两个或更多个云服务提供商处复制每个数据块来存储在块中。不同的块可以在不同的服务提供商处复制。这项工作还试图选择各种云服务提供商,以确保在给定的预算内最大限度地有效数据块。
2013-10-18 cs.DC
AdaCache: A Disaggregated Cache System with Adaptive Block Size for Cloud Block Storage
针对传统云块存储缓存无法跨主机共享及固定块大小分配机制在多负载下性能差的问题,提出用户态分解式缓存系统AdaCache,通过自适应块分配、基于组的缓存组织和两级缓存替换策略,大幅提升I/O性能与命中率并降低内存开销。
2023-06-29 cs.DC
Reputation Algebra for Cloud-based Anonymous Data Storage Systems
给定一个基于云的匿名数据存储系统,有两种方法来管理文件传输中涉及的节点。其中一个是使用声誉,另一个使用小额支付系统。在基于信誉的方法中,每个节点都有一个与之相关联的信誉,它被用作文件交换操作的货币或反馈集合。多年来,有几次尝试开发一个强大而有效的声誉系统,提供可信度,公平性和问责制。其中一个尝试是Free Haven项目,它为基于云的匿名数据存储系统提供了坚实的基础。本文提出的工作是出于自由港项目,旨在开发一个声誉系统,方便动态操作,如添加服务器,删除服务器和改变角色的当局。所提出的系统还提供了用于对服务器的信誉进行评分和维护的算法,以实现可信度、问责制和公平性。
2013-04-15 cs.CR cs.DC
Tiered cloud storage via two-stage, latency-aware bidding
在云存储中,数字数据存储在逻辑存储池中,由云服务提供商(CSP)管理的异构物理存储介质和计算基础设施提供支持。为了平衡服务性能和成本之间的权衡,CSP通常采用不同的存储层,例如冷存储和热存储。将数据存储在热存储中会导致高存储成本,但提供低访问延迟,而冷存储能够廉价地存储大量数据,从而提供更低的成本和更高的延迟。在本文中,我们解决了一个主要的挑战,面临的CSP利用这种分层存储架构-如何最大限度地提高其整体利润超过各种存储层,提供不同的特点,以及文件放置和访问请求调度政策。为此,我们提出了一个计划,CSP提供了一个两阶段的拍卖过程(a)请求存储容量,和(b)请求访问延迟的要求。我们的两阶段招标方案提供了一个混合存储和访问优化框架,其目标是最大限度地提高CSP的总净利润在四个方面:文件接受决策,接受的文件,文件访问决策和访问请求调度政策的位置。所提出的优化是一个混合整数非线性规划,很难解决。我们提出了一个有效的启发式放松整数优化,并解决由此产生的非线性随机规划。该算法在不同的情况下,并与不同的存储系统参数进行评估,并通过比较所提出的方法与其他利润最大化模型有见地的数值结果报告。在某些模拟场景中,与其他方案相比,我们看到我们提出的方法的利润增加了60%以上。
2017-11-02 cs.DC cs.GT cs.NI
I Have the Proof: Providing Proofs of Past Data Possession in Cloud Forensics
近年来,云计算已经成为流行的计算范例。然而,当今的云计算架构通常缺乏对计算机取证调查的支持。数字取证的一个关键任务是证明特定文件在给定存储系统中的存在。不幸的是,由于云的黑盒性质和多租户云模型,在云中很难做到这一点。在云中,分析来自虚拟机实例的数据或存储在云存储中的数据仅允许我们调查云存储的当前内容,而不是以前的内容。在本文中,我们介绍了在云存储服务的背景下构建过去数据拥有证明的想法。我们提出了一个方案,创建这样的证明,并评估其性能在一个真正的云提供商。我们还讨论了如何在云取证中有效地使用这种过去数据所有权的证明。
2012-11-19 cs.CR cs.DC
An Intelligent Cloud Storage Gateway for Medical Imaging
从历史上看,医学成像存储库一直由室内基础设施支持。然而,在过去的几十年中,诊断成像程序的数量不断增加,带来了与存储量、数据冗余和可用性相关的若干挑战。云平台专注于通过互联网提供硬件和软件服务,成为存储库外包的一个有吸引力的解决方案。虽然这一备选办法可能带来财政和技术利益,但也提出了新的挑战。在医学成像场景中,通信延迟是一个关键问题,仍然阻碍着这种范式的采用。本文提出了一种优化数据访问时间的智能云存储网关。这是通过一个新的高速缓存架构,结合静态规则和模式识别的驱逐和预取。通过对真实世界数据集的模拟获得的评估结果表明,缓存命中率可以达到80%左右,图像检索时间减少了60%以上。结合使用驱逐和预取的政策提出可以显着减少通信延迟,即使使用一个小的缓存相比,总大小的存储库。除了提升服务表现外,拟议的系统亦能配合不同院校的特定工作流程。
2017-07-27 cs.DC
SkyStore: Cost-Optimized Object Storage Across Regions and Clouds
SkyStore提出统一对象存储,通过虚拟API和TTL数据放置策略,跨云动态复制与驱逐对象,降低成本高达6倍,并保持与标准云产品相当的延迟、可用性和容错性。
2025-02-28 cs.DC
Data Integrity and Dynamic Storage Way in Cloud Computing
安全地维护所有重要数据并不是一件容易的事情,因为在云中的许多应用程序中都需要这些数据。为了在云中维护我们的数据,它可能不完全值得信赖,因为客户端没有所有存储数据的副本。但是没有任何一个作者通过比较云数据更新前后的数据完整性,从用户和CSP两个层面告诉我们数据的完整性。因此,我们必须为此建立新的建议系统,使用我们的数据读取协议算法来检查数据插入云中之前和之后的数据完整性。在这里,客户端在CSP的帮助下使用我们的“有效的自动数据读取协议从用户以及云级别到云”来检查前后数据的安全性。此外,我们还提出了多服务器数据比较算法,在每次更新之前计算其外包级别的服务器恢复接入点的总体数据,以便将来从云数据服务器恢复数据。我们提出的计划有效地检查完整性,有效的方式,使数据的完整性以及安全性,可以在所有情况下,考虑现有方法的缺点。
2011-11-10 cs.DC
Evaluation of Distributed Databases in Hybrid Clouds and Edge Computing: Energy, Bandwidth, and Storage Consumption
对现代分布式数据库的基准研究是在云边缘范例中选择正确的数据管理技术的重要信息来源。为了做出正确的决定,需要对各种硬件基础设施进行广泛的实验研究。虽然大多数最先进的研究仅调查了分布式数据库的响应时间和可伸缩性,但关注于其他各种度量(例如,能量、带宽和存储消耗)对于完全理解分布式数据库的资源消耗是必要的。此外,现有的研究已经探索了这些数据库在私有云或公共云中的响应时间和可扩展性。因此,对部署在混合云中的这些数据库的评估缺乏调查,混合云是公共云和私有云的无缝集成。为了解决这些研究空白,在本文中,我们调查的能源,带宽和存储消耗最常用的和常见的分布式数据库。为此,我们评估了混合云上的四个开源数据库(Cassandra,Mongo,Redis和MySQL),这些数据库跨越本地OpenStack和Microsoft Azure,以及各种边缘计算节点,包括Raspberry Pi,Raspberry Pi集群以及低功率和高功率服务器。我们广泛的实验结果揭示了一些有用的见解,在边缘云环境中的现代分布式数据库的部署选择。
2023-01-09 cs.DB cs.DC
AI Technical Considerations: Data Storage, Cloud usage and AI Pipeline
Maastricht University Medical Centre+(马斯特里赫特大学医学中心+);University Medical Center Groningen(格罗宁根大学医学中心);University of Groningen(格罗宁根大学)
人工智能(AI),特别是深度学习,需要大量的数据来进行训练、测试和验证。收集这些数据和相应的注释需要实施成像生物库,以标准化的方式提供对这些数据的访问。这需要根据现行标准和准则并遵守现行法律限制,认真设计和实施。然而,实现适当的成像数据汇集不足以训练、验证和部署AI,因为资源需求很高,需要在内部和云中仔细混合实施AI管道。本章旨在通过提供数据存储、云使用和AI管道中涉及的不同概念和实现方面的技术背景,帮助读者在必须对AI环境进行技术考虑时提供帮助。
2022-01-20 cs.AI cs.DC
On Optimizing Replica Migration in Distributed Cloud Storage Systems
随着大规模互联网服务和大数据的广泛采用,云已经成为满足不断增长的存储需求的理想环境,这要归功于其看似无限的容量,高可用性和更快的访问时间。在这种情况下,数据复制被吹捧为提高数据可用性和减少访问时间的最终解决方案。然而,副本放置系统通常需要随着时间的推移在数据中心之间和数据中心内迁移和创建大量的数据副本,在网络负载和可用性方面产生了很大的开销。本文提出了一种有效的分布式云存储迁移方案CRANE。CRANE通过有效地管理地理分布式基础设施中的副本创建来补充任何副本放置算法,通过(1)最小化将数据复制到新副本位置所需的时间,(2)避免网络拥塞,以及(3)确保数据的最小可用性。我们的研究结果表明,与swift(用于管理数据存储的OpenStack项目)相比,CRANE能够最大限度地减少高达30%的副本创建时间和25%的数据中心间网络流量,同时确保数据的最低可用性。
2015-09-04 cs.DC cs.NI
Secure Cloud Storage with Client-Side Encryption Using a Trusted Execution Environment
随着计算机系统的发展,要存储的敏感数据的量以及对这些数据的威胁的数量增长,使得数据机密性对计算机用户越来越重要。目前,随着设备始终连接到互联网,云数据存储服务的使用已经变得实用和普遍,无论用户身在何处,都可以快速访问这些数据。这种实用性带来了一个问题,即交付给第三方存储的数据的机密性。在家庭环境中,磁盘加密工具已经获得了用户的特别关注,在个人计算机上使用,并且在一些智能手机操作系统中也具有本机选项。目前的工作使用英特尔软件防护扩展(英特尔SGX)技术提供的数据密封功能进行文件加密。创建一个虚拟文件系统,应用程序可以在其中存储其数据,在将数据发送到存储提供商之前保持英特尔SGX技术提供的安全保证。这样,即使存储提供商受到损害,数据也是安全的。为了验证该提案,Cryptomator软件(一款免费的云文件客户端加密工具)与英特尔SGX应用程序(安全区)集成,用于数据密封。结果表明,该解决方案在性能和安全性方面是可行的,并且可以扩展和改进以用于实际使用并与云同步服务集成。
2020-03-09 cs.CR cs.DC
Provably Delay Efficient Data Retrieving in Storage Clouds
存储云的一个关键要求是能够快速检索数据。最近的系统测量表明,存储云中的数据检索延迟是高度可变的,这可能导致长延迟尾部。提高延迟性能的一个关键思想是通过使用并行下载线程来检索多个数据副本。然而,如何最佳地调度这些下载线程以最小化数据检索延迟仍然是一个重要的开放问题。在本文中,我们开发了低复杂度的线程调度策略的几个重要类的数据下载时间分布,并证明这些政策是延迟最优或在一个恒定的差距从最佳延迟性能。这些理论结果适用于可能包含有限或无限读请求的读请求的任意到达过程,以及可以支持不同数据文件的不同存储冗余和可靠性要求的异构MDS存储代码。我们的数值结果表明,所提出的政策的延迟性能显着优于先来先服务(FCFS)的政策考虑在以前的工作。
2015-01-24 cs.DC cs.IT math.IT
Towards Blockchain-based Auditable Storage and Sharing of IoT Data
如今,云在存储、处理和分发数据方面发挥着核心作用。尽管有助于物联网应用的快速发展,但当前以云为中心的物联网架构导致了无数孤立的数据孤岛,阻碍了物联网内整体数据驱动分析的全部潜力。在本文中,我们提出了一种基于区块链的物联网设计,它带来了分布式访问控制和数据管理。我们脱离了当前的信任模型,将数据的访问控制委托给一个集中的可信机构,而是赋予用户数据所有权。我们的设计专为物联网数据流量身定制,可实现安全的数据共享。我们通过利用区块链作为存储层的可审计和分布式访问控制层,实现安全和弹性的访问控制管理。我们通过使用区块链技术管理的本地感知分散存储系统,在网络边缘促进时间序列物联网数据的存储。我们的系统是不可知的物理存储节点,并支持以及利用云存储资源作为存储节点。
2017-11-14 cs.DC
Investigating the Reliability in Three RAID Storage Models and Effect of Ordering Replicas on Disks
云计算最重要的部分之一是存储设备,并且独立冗余阵列(RAID)系统是众所周知的并且经常使用的存储设备。随着云环境中数据生产量的增加,鉴于数据的重要性,我们需要高可靠性的存储。RAID系统的可靠性分析在云存储领域具有特殊的意义。通常,数据冗余用于创建容错并增加存储的可靠性。本研究考虑了三个简单RAID存储模型的例子,并分析了它们的可靠性。所有这些都具有复制因子2,并且具有相同的磁盘数量和可靠性。唯一的区别是他们用于生成冗余的模型。为了比较这三种模型的可靠性,我们检查了容错程度(FT),并使用可靠性框图(RBD)计算了模型的可靠性。本文研究了冗余类型和冗余块的布置方式对系统可靠性的影响。
2021-04-01 cs.DC
DSPE: Profit Maximization in Edge-Cloud Storage System using Dynamic Space Partitioning with Erasure Code
Indian Institute of Technology Guwahati(印度理工学院古瓦哈提分校)
针对边缘服务器存储容量有限、难应对动态高并发低延迟请求的问题,提出融合纠删码、协作缓存与动态公私分区的利润导向框架,经真实轨迹验证较现有方案提升系统利润5%-8%。
2025-07-30 cs.DC
On the Latency and Energy Efficiency of Erasure-Coded Cloud Storage Systems
数据中心数据存储和功耗的增加使得设计节能的分布式存储系统(DSS)势在必行。DSS的能源效率不仅受到数据量,数据访问频率和数据存储冗余的强烈影响,而且还受到DSS在这些方面表现出的异质性的影响。为此,我们提出并分析了异构分布式存储系统的能源效率,其中$n$存储服务器(磁盘)存储的数据$R$不同的类。使用$(n,k_{i})$擦除码对$i$类的数据进行编码,并且(随机)数据检索请求也可以在类之间变化。我们发现,这种系统的能源效率是密切相关的平均延迟,因此激励我们通过平均延迟的镜头来研究能源效率。通过这种连接,我们表明纠删编码具有减少延迟和提高能效的双重目的。我们提出了一个排队理论分析所提出的模型,并建立各种调度策略下的每个数据类的平均延迟的上限和下限。通过大量的模拟,我们提出了定性的见解,揭示了编码速率,服务器数量,服务分布和冗余请求数量对DSS的平均延迟和能源效率的影响。
2015-05-22 cs.DC
Rethinking Storage Management for Data Processing Pipelines in Cloud Data Centers
Apache Beam和Apache Spark等数据处理框架用于广泛的应用,从日志分析到DNN训练的数据准备。因此,在优化这些框架(包括其存储管理)方面进行了大量工作也就不足为奇了。向云计算的转变需要对集群中同时运行的所有管道进行优化。在本文中,我们来看看这个问题的一个具体实例:在SSD和HDD上放置I/O密集型临时中间数据。有效的数据放置是具有挑战性的,因为在需要放置数据时,I/O密度通常是未知的。此外,负载可变性、作业抢占或作业优先级等外部因素可能会影响作业完成时间,从而最终影响工作负载中临时文件的I/O密度。在本文中,我们设想机器学习可以用来解决这个问题。我们分析来自Google数据中心的生产日志,以用于一系列数据处理管道。我们的分析表明,I/O密度可能是可预测的。这表明,如果精心设计,基于学习的策略可以提取各种转换中涉及的临时文件的I/O密度的预测特征,这些特征可以用于提高数据处理管道中存储管理的效率。
2022-11-04 cs.DC
Simple Regenerating Codes: Network Coding for Cloud Storage
专门为分布式存储系统设计的网络代码有可能在相同的可用性下提供更高的存储效率。设计这种代码的一个主要挑战是精确修复问题:如果存储编码信息的节点失败,为了保持相同的可靠性水平,我们需要在新节点上创建编码信息。在这个新兴领域中的主要开放问题之一是设计简单的编码方案,该编码方案允许故障节点的精确和低成本修复,并且具有高数据率。特别地,所有先前已知的显式构造都具有以1/2为界的数据率。在本文中,我们介绍了第一个家庭的分布式存储代码,有简单的查找修复,可以实现任意高的速率。我们的结构是非常简单的实现和执行精确的修复,通过简单的异或数据包。我们实验评估所提出的代码在一个现实的云存储模拟器,并显示显着的好处,在性能和可靠性相比,复制和标准里德-所罗门代码。
2011-09-01 cs.DC cs.IT cs.NI
Parallel Seismic Data Processing Performance with Cloud-based Storage
针对云端地震波形数据,本文提出本地驱动的混合处理框架,证明通过云端预处理减少传输可消除并行下载瓶颈,并在 MsPASS 与 AWS Lambda 上达到接近本地 HPC 的吞吐性能。
2025-09-02 cs.DC physics.geo-ph
Holographic Grid Cloud, a futurable high storage technology for the next generation astronomical facilities
在不久的将来,全息技术将可用于在HVD(全息通用盘)设备中存储非常大量的数据。该技术广泛使用了WORM(一次写入多次读取)范例:这意味着此类设备允许同时和并行读取数百万体积像素(即体素)。这一特性将使从望远镜(或卫星)获得的数据可以同时获得。在这种新技术的支持下,本文的目的是确定一个分布式RAID系统,一种“存储块”的实现的指导方针,分布在不同的地理位置作为一个单一的远程设备作为一个属性的分布式计算,资源的抽象的影响天文数据。最终用户只需要注意以适当和安全的模式(使用个人证书)连接到远程设备,并可以访问所有(或部分)这种潜在的技术。在这样一个平台上设计的一个模块+服务将允许资源的快速可扩展性,为仪器或任务创建一个“网络分布式云”服务。建议在每个云中使用专用的网格基础设施,以增强某些关键任务,并加快处理冗余、加密和压缩科学数据的服务。功率、可访问性、并行度和冗余度将仅取决于分布式存储块的数量:该数量越高,IT系统的吞吐量就越大。这种存储块是两种技术和两种对立的计算范式之间的交汇点:网格计算和云计算。
2012-01-09 astro-ph.IM cs.DC
Optimizing SSD Caches for Cloud Block Storage Systems Using Machine Learning Approaches
本文提出一种利用机器学习动态优化云块存储系统SSD缓存写入策略的方法,通过实时识别并过滤只写数据,显著减少有害写入并提升缓存利用率,优于传统方法。
2025-01-28 cs.DC cs.LG cs.OS
BtrLog: Low-Latency Logging for Cloud Database Systems
Technische Universität München(慕尼黑工业大学);Technische Universität Darmstadt(达姆施塔特工业大学);TigerBeetle
提出BtrLog,一种可复用的云日志服务,通过SSD日志节点仲裁复制和异步归档到对象存储,实现低延迟持久化日志记录,降低存储成本。
2026-06-29 cs.DB cs.DC