SEARS: Space Efficient And Reliable Storage System in the Cloud
今天的云存储服务必须在不牺牲存储成本的情况下为大量数据提供存储可靠性和快速数据检索。我们提出了SEARS，一个基于云的存储系统，它集成了纠删编码和重复数据删除，以支持高效和可靠的数据存储与快速的用户响应时间。通过将数据与存储服务器集群正确关联，SEARS提供了不同配置的灵活混合，适用于实时和归档应用程序。我们在Amazon EC2上的SEARS原型实现表明，它在存储效率和文件检索时间方面优于现有的存储系统。对于3 MB文件，SEARS提供的检索时间为$2.5$秒，而现有系统的检索时间为$7$秒。
2015-08-05 cs.DC
An In-Depth Comparative Analysis of Cloud Block Storage Workloads: Findings and Implications
云块存储系统支持现代云服务中的各种类型的应用。描述它们的I/O活动对于指导更好的系统设计和优化至关重要。本文通过对阿里云和腾讯云块存储两个生产系统的数十亿次I/O请求的块级I/O跟踪，对生产云块存储工作负载进行了深入的对比分析。我们研究了它们的负荷强度、空间模式和时间模式的特征。我们还将云块存储工作负载与Microsoft Research Cambridge企业数据中心的公共块级I/O工作负载进行了比较，并确定了三种跟踪源的共性和差异。为此，我们提供了6个结果，通过高层次的分析和16个结果，通过详细的分析，负荷强度，空间模式和时间模式。我们讨论了我们的研究结果对云块存储系统中的负载均衡、缓存效率和存储集群管理的影响。
2022-11-19 cs.DC
Understanding the Performance of Ceph Block Storage for Hyper-Converged Cloud with All Flash Storage
超融合云是指运营商在同一组物理服务器上运行计算和存储服务的架构。尽管超融合设计带来了许多好处，但它使关键的运营任务（如容量规划和成本分析）变得相当复杂。如果我们考虑一个复杂的分布式系统，如Ceph，随着SSD驱动器的激增，这个问题变得更加繁重。在本文中，我们的目标是基于全面的微基准测试来回答其中的一些问题，从而更好地了解Ceph在具有全闪存存储的超融合云中的行为。我们报告了基于该研究的发现，设计了一个成本模型，并比较了超融合架构与专用存储架构的成本。此外，我们还根据过去几年与AT&T许多团队的互动总结了我们的经验。
2018-02-22 cs.DC
Managing Bufferbloat in Cloud Storage Systems
本文研究云存储中的bufferbloat对系统可调度性和性能隔离的影响，提出自适应准入控制SlowFast CoDel作为缓解该问题的起点。
2023-04-03 cs.DC
"Reduction of Monetary Cost in Cloud Storage System by Using Extended Strict Timed Causal Consistency"
云存储系统已经被引入为组织和最终用户提供可扩展的、安全的、可靠的和高度可用的数据存储环境。因此，服务提供商应该在地理范围内增长。因此，广泛的存储服务供应需要复制机制。复制对云存储施加了许多成本，包括同步、通信、存储等，复制品之间的成本。此外，副本之间的同步过程是云存储中的主要挑战。因此，一致性可以定义为副本之间的协调。在本文中，我们提出了一个扩展的严格时间因果一致性，增加了考虑的货币成本和违反的云存储系统中的数量，并称之为扩展的严格时间因果一致性。我们提出的支持单调读，读你写，单调写，写跟随读，模型考虑到用户的操作之间的因果关系，在客户端。此外，它支持服务器端的定时因果关系。我们采用了Cassandra云数据库，支持各种不同的数据，如所有，一个，法定人数等，我们的方法在降低陈旧率，违规的严重程度，和货币成本相比，所有，一个，法定人数，因果关系。
2020-09-04 cs.DC
Auditing for Distributed Storage Systems
分布式存储代码最近在社区中受到了很多关注。独立地，另一组工作已经提出了云存储的完整性检查方案，但是，没有一个是针对基于编码的存储定制的，或者可以有效地支持修复。在这项工作中，我们弥合了这两个目前脱节的工作机构之间的差距。我们提出了NC-Audit，一种新的基于密码学的远程数据完整性检查方案，专门为基于网络编码的分布式存储系统设计。NC-Audit第一次结合了以下所需的属性：（i）有效检查数据完整性，（ii）有效支持修复故障节点，以及（iii）在由第三方执行检查时防止信息泄漏。NC-Audit的设计的关键成分是一个新的组合SpaceMac，同态消息认证码（MAC）的网络编码方案，和NCrypt，一种新的选择明文攻击（CPA）安全加密方案，是兼容SpaceMac。我们的评估的Java实现NC审计表明，审计成本的存储节点和审计员的计算时间和较低的带宽比以前的工作。
2014-05-12 cs.CR cs.DC cs.NI
Secured Data Consistency and Storage Way in Untrusted Cloud using Server Management Algorithm
这是非常具有挑战性的一部分，以保持安全的所有所需的数据，需要在许多应用程序中的用户在云中。将我们的数据存储在云中可能并不完全可信。由于客户端没有所有存储数据的副本，因此必须依赖云服务提供商。但是动态数据操作、Read-Solomon和验证令牌构造方法并没有告诉我们云上数据添加前后服务器分配空间的总存储容量。因此，我们必须引入一个新的建议系统的有效的存储测量和空间比较算法与时间管理测量总分配的存储区域之前和之后的数据插入云。因此，通过使用我们提出的方案，之前和之后的存储数据的值或权重是由客户端在云存储区域中的指定时间内准确测量的。在这里我们还提出了服务器故障情况下的多服务器恢复点。当服务器发生故障时，通过该方案可以在云服务器中自动恢复数据。我们提出的方案有效地检查空间的外包数据，以保持完整性。在这里，TPA不一定具有审计用户数据的授权。
2011-11-10 cs.DC
FASTEN: Towards a FAult-tolerant and STorage EfficieNt Cloud: Balancing Between Replication and Deduplication
针对云存储中冗余保障高可用性与重复数据删除节省空间之间的矛盾，提出分布式方案 FASTEN，通过最优分散数据子集实现容错并保持冗余，实验证明其在低成本、审计和去重性能上优于现有系统。
2023-12-13 cs.DC
A Cost-Effective Strategy for Storing Scientific Datasets with Multiple Service Providers in the Cloud
云计算为科学家提供了一个平台，可以部署计算和数据密集型应用程序，而无需基础设施投资。借助过量的云资源和决策支持系统，生成的大型数据集可以灵活地1存储在当前云中，2删除并在重用时重新生成，或3转移到更便宜的云服务中进行存储。然而，由于使用付费模式，总应用成本在很大程度上取决于计算，存储和带宽资源的使用，因此降低基于云的数据存储的成本成为在云中部署科学应用的一个大问题。在本文中，我们提出了一种新的策略，可以经济有效地存储大型生成的数据集与多个云服务提供商。该策略基于一种新的算法，该算法可以在云中的计算，存储和带宽成本之间进行权衡，这是数据存储成本的三个关键因素。两个一般（随机）模拟进行流行的云服务提供商的定价模型和三个具体的案例研究，对现实世界的科学应用程序表明，所提出的存储策略是非常具有成本效益和实用的运行时间利用率在云中。
2016-01-26 cs.DC
Simulation and evaluation of cloud storage caching for data intensive science
科学计算中的一个常见任务是数据的推导。此工作流从大型输入数据中提取最重要的信息，并将其存储在较小的派生数据对象中。然后，导出的数据对象可以用于进一步的分析任务。通常，这些工作流使用分布式存储和计算资源。存储介质的直接配置将是低成本的磁带存储和高成本的磁盘存储。大的、不经常访问的输入数据存储在磁带存储器上。较小的、经常访问的派生数据存储在磁盘存储器上。在最好的情况下，大的输入数据仅被非常不频繁地访问，并且是以良好规划的模式访问的。然而，实践表明，数据往往必须连续和不可预测地处理。这会显著降低磁带存储性能。一种常见的解决方法是在磁盘存储器上存储大型输入数据的副本。这种贡献评估的方法，使用云存储资源作为一个灵活的缓存或缓冲区，这取决于计算工作流程。所提出的模型阐述了连续处理数据的情况下。为了进行评估，开发了模拟，可用于评估与存储和网络资源相关的模型。我们表明，使用商业云存储可以降低本地磁盘存储需求，同时保持相等的作业吞吐量。此外，该模型的关键指标进行了讨论，并描述了一种方法，使用模拟，以协助使用商业云存储的决策过程。目标是研究方法并提出新的评估方法，以克服未来的数据挑战。
2021-05-07 cs.DC
Cold-Start Model Delivery in Kubernetes Inference Serving: An Empirical Study of OCI-Based Distribution and Its Integrity
研究Kubernetes推理服务中模型冷启动交付问题，通过在KServe平台实现oci+native://和oci+fetch://两条新交付路径进行分析，对比不同交付路径在不同模型大小下的表现，提出服务时完整性设计并验证其对交付时间的影响。
2026-07-21 cs.DC
InfiniStore: Elastic Serverless Cloud Storage
AWS S3等云对象存储具有成本效益和高度弹性，但速度相对较慢，而AWS ElastiCache等高性能云存储价格昂贵，弹性有限。我们提出了一个新的云存储服务称为ServerlessMemory，它使用无服务器函数的内存存储数据。ServerlessMemory采用基于滑动窗口的存储管理策略，其灵感来自程序设计语言中使用的垃圾回收机制，以有效地隔离热/冷数据，并提供细粒度的弹性，良好的性能和极低成本的按访问付费成本模型。然后，我们设计并实现了InfiniStore，一个持久的和弹性的云存储系统，它无缝耦合基于功能的ServerlessMemory层与持久的，廉价的云对象存储层。InfiniStore使用基于FaaS（Function-as-a-Service）平台的自动扩展功能构建的快速并行恢复方案，即使在功能故障的情况下也能实现持久性。我们使用微基准测试和两个实际应用程序对InfiniStore进行了广泛的评估。结果显示，与AWS ElastiCache和Anna相比，InfiniStore对于大于10 MB的对象具有更多的性能优势，与InfiniCache和ElastiCache相比，InfiniStore分别实现了26.25%和97.24%的租户端成本降低。
2023-03-16 cs.DC
The carbon footprint of distributed cloud storage
据估计，截至目前，ICT（信息通信技术）生态系统占全球能源需求总量的10%，相当于德国和日本的能源产量之和。云存储主要通过大型密集的数据中心运行，是其中不可忽视的一部分。然而，由于云是一个快速膨胀的市场，数据中心的能源效率大多是一个集体不敏感的问题，其碳足迹没有放缓的迹象。在本文中，我们分析了一种新的模式，云存储（实现Cubbit，http://cubbit.io），其中数据存储和分布在网络上的p2p交互的基于ARM的单板设备。我们将Cubbit的分布式云与传统的集中式解决方案在环境足迹和能源效率方面进行了比较。我们证明，与集中式云相比，Cubbit的分布式架构的碳足迹在数据存储方面减少了77%，在数据传输方面减少了50%。这些结果提供了一个例子，说明大范围技术的根本性范式转变如何使最终消费者和整个社会受益。
2019-06-26 cs.DC
Analysis of cloud storage prices
云存储正在快速确保其作为消费者和企业客户的主要存储库的角色。许多公司现在提供存储解决方案，有时免费提供有限的容量。我们调查了一些主要云提供商的定价计划，并使用单价作为比较手段进行了比较。除亚马逊外，所有供应商都采用捆绑定价方案;亚马逊则采用区块递减定价政策。我们比较的定价计划，通过一个双重的方法：逐点比较每个容量值，并使用两部分的关税近似和帕累托优势标准的整体比较。在这两种办法下，大多数供应商提供的定价计划似乎更昂贵，可以排除在采购选择之外，而有利于少数占主导地位的供应商。
2012-07-25 cs.DC
Decentralized utility- and locality-aware replication for heterogeneous DHT-based P2P cloud storage systems
作为一种分布式哈希表（DHT），Skip Graph路由覆盖被广泛应用于包括P2P云存储在内的多个P2P服务中。适用于基于Skip Graph的P2P云存储的完全分散式复制算法在副本可用性和响应时间方面都未能提高系统的性能。此外，他们假设系统在节点的延迟分布、可用性行为、带宽或存储方面是同质的。在本文中，我们提出了金字塔，这是第一个完全分散的实用程序和本地感知的复制方法跳过基于图的P2P云存储系统。Pyramid认为节点在延迟分布、可用性行为、带宽和存储方面是异构的。金字塔是实用性感知的，因为它最大化每个时隙的副本的平均可用带宽（例如，每小时）。此外，Pyramid是本地感知的，因为它最大限度地减少了节点与其最近副本之间的平均延迟。我们的模拟结果表明，相比于最先进的解决方案，无论是在效用意识，或在本地意识，我们提出的金字塔提高了效用和本地意识的副本与增益约1.2和1.1倍，分别在同一时间。
2019-07-28 cs.DC
Serifos: Workload Consolidation and Load Balancing for SSD Based Cloud Storage Systems
在虚拟化数据中心中实现高性能需要部署高吞吐量存储集群（即基于固态硬盘（SSD）），以及跨存储节点优化整合工作负载。如今，云存储提供商提供保证性能的唯一实用解决方案是过度配置存储节点。生产中使用的当前工作负载调度机制不具备基于SSD性能优化分配块存储卷的智能。在本文中，我们介绍Serifos，自主性能建模和负载均衡系统设计的SSD为基础的云存储。Serifos考虑了SSD存储单元的特性，并构建了硬件相关的工作负载整合模型。因此，Serifos能够预测由工作负载干扰引起的延迟和并发工作负载的平均延迟。此外，Serifos利用I/O负载均衡算法来动态平衡群集中的卷。实验结果表明，Serifos合并模型是能够保持约10%的平均预测误差异构硬件。作为Serifos负载均衡的结果，我们发现方差和最大平均延迟分别减少了82%和52%。测试平台上支持的服务级别目标（SLO）将平均延迟提高了43%，最大读取延迟提高了32%，最大写入延迟提高了63%。
2015-12-25 cs.DC
Data Mining Using High Performance Data Clouds: Experimental Studies Using Sector and Sphere
我们描述了一个高性能云的设计和实现，我们已经用来归档，分析和挖掘大型分布式数据集。云是指通过互联网提供资源和/或服务的基础设施。存储云提供存储服务，而计算云提供计算服务。我们描述了Sector存储云的设计，以及它如何提供Sphere计算云所需的存储服务。我们还描述了由Sphere计算云支持的编程范式。Sector和Sphere设计用于使用与广域高性能网络（例如，10+ Gb/s）连接的计算机集群分析大型数据集。我们描述了一个分布式的数据采掘应用程序，我们已经开发了使用部门和球体。最后，我们描述了一些比较Sector/Sphere和Hadoop的实验研究。
2008-08-22 cs.DC
Optimizing the Longhorn Cloud-native Software Defined Storage Engine for High Performance
本文针对 Longhorn 在 Kubernetes 中难以充分发挥 NVMe 与高速网络性能的问题，通过集成 ublk、重构通信协议并采用直连磁盘的 DBS 方案，显著优化默认 I/O 路径性能。
2025-02-20 cs.DC
Sector and Sphere: Towards Simplified Storage and Processing of Large Scale Distributed Data
云计算已经证明，只要给出正确的编程模型和基础设施，就可以在商品集群上处理非常大的数据集。在本文中，我们描述了Sector存储云和Sphere计算云的设计和实现。与现有的存储和计算云相比，Sector不仅可以在数据中心内管理数据，还可以跨地理分布的数据中心管理数据。同样，Sphere计算云支持数据中心内和跨数据中心的用户定义函数（UDF）。作为一种特殊情况，MapReduce风格的编程可以在Sphere中通过使用Map UDF和Reduce UDF来实现。我们描述了一些实验研究比较部门/球体和Hadoop使用Terasort基准。在这些研究中，Sector的速度大约是Hadoop的两倍。Sector/Sphere是开源的。
2009-01-17 cs.DC
Public Auditing and Data Dynamics for Storage Security in Cloud Computing
云计算已被设想为IT企业的下一代架构。使用云存储，用户可以远程存储他们的数据，并从可配置的计算资源共享池中享受按需的高质量应用和服务，而无需负担本地副本数据存储和维护。它将存储的软件数据的应用程序移动到集中的大型数据中心，其中存储的数据服务的管理可能不完全可信。为了确保云计算中数据存储的完整性，需要考虑许多新的安全挑战和问题。特别是，我们考虑允许第三方审计员（TPA）执行验证存储在云中的动态数据的完整性的任务。
2014-05-24 cs.CR cs.DC
Practical Verification of MapReduce Computation Integrity via Partial Re-execution
大数据处理通常外包给强大但不受信任的云服务提供商，这些云服务提供商为较弱的客户提供敏捷和可扩展的计算资源。然而，不受信任的云服务无法确保数据和计算的完整性，而客户端无法控制外包计算或无法检查执行的正确性。尽管人们对可验证计算的兴趣越来越大，并且最近取得了进展，但由于高验证开销，现有技术仍然不足以用于大数据处理。在本文中，我们提出了一个解决方案，称为V-MR（可验证MapReduce），这是一个框架，通过部分重新执行来验证在不可信云中外包的MapReduce计算的完整性。V-MR实际上是有效和高效的，因为（1）它可以检测MapReduce计算完整性的违反，并识别产生错误计算的恶意工作者。(2)它可以通过使用程序分析用仔细选择的输入数据和程序代码部分地重新执行来减少验证的开销。原型系统的实验结果表明，V-MR能够有效地验证MapReduce计算的完整性，且部分重执行开销较小。
2020-02-21 cs.CR cs.DC
Storage and Memory Characterization of Data Intensive Workloads for Bare Metal Cloud
随着存储系统的每字节成本大幅下降，SSD正在新兴的云基础设施中找到自己的方式。类似的趋势也发生在主存子系统上，因为具有更高容量、频率和通道数量的先进DRAM技术正在部署用于云规模解决方案，特别是用于非虚拟化环境，在非虚拟化环境中，云用户可以准确指定底层硬件的配置。考虑到标准工作负载对存储层次结构参数的性能敏感性，了解内存和存储在数据密集型工作负载中的作用非常重要。在本文中，我们研究了DRAM（高端与低端）的选择如何影响基于Hadoop，Spark和MPI的大数据工作负载在裸金属云上存在不同存储类型时的性能。通过有条不紊的实验设置，我们分析了DRAM容量，工作频率，通道数量，存储类型和横向扩展因素对这些流行的框架的性能的影响。基于微架构分析，我们将数据密集型工作负载分为三组，即I/O绑定、计算绑定和内存绑定。表征结果表明，无论是DRAM容量，频率，还是通道的数量都对所有研究的Hadoop工作负载的性能起着重要的作用，因为它们大多是I/O绑定的。另一方面，我们的研究结果表明，Spark和MPI中的迭代任务（例如机器学习）受益于高端DRAM，特别是高频率和大量通道，因为它们是内存或计算限制的。我们的研究结果表明，使用SSD PCIe不能将瓶颈从存储转移到内存，而它可以将工作负载行为从I/O绑定改变为计算绑定。
2018-08-15 cs.DC
Quantifying and Improving Performance of Distributed Deep Learning with Cloud Storage
云计算为分布式深度学习工作负载提供了一个强大而低成本的环境。然而，训练复杂的深度学习模型通常需要访问大量数据，这些数据很容易超过本地磁盘的容量。先前的研究往往忽略了这个训练数据问题，隐含地假设数据是本地可用的或通过低延迟的基于网络的数据存储。这种隐含的假设在基于云的训练环境中通常不成立，在这种环境中，深度学习从业者根据需要创建和拆除专用GPU集群，或者没有本地存储的奢侈品，例如在无服务器工作负载中。在这项工作中，我们调查的分布式训练，利用训练数据完全驻留在云存储桶的性能。这些存储桶承诺低存储成本，但固有的带宽限制使它们似乎不适合高效的培训解决方案。考虑到这些带宽限制，我们建议使用两个经典的技术，即缓存和预取，以减轻训练性能下降。我们实现了一个原型，DELI，基于流行的深度学习框架PyTorch的数据加载抽象的基础上。然后，我们使用Google Cloud的NVIDIA K80 GPU服务器评估了两个深度学习工作负载的训练性能，并表明与直接从存储桶加载相比，我们可以将训练循环等待数据的时间减少85.6%-93.5%-从而实现与直接从磁盘加载数据相当的性能-同时仅在本地存储一小部分数据。此外，DELI有可能降低运行训练工作负载的成本，特别是在每历元训练时间较长的模型上。
2021-08-13 cs.DC
Management of Data Replication for PC Cluster-based Cloud Storage System
存储系统是云计算基础架构的基本构建块。虽然高性能存储服务器是云存储的最终解决方案，但廉价存储系统的实现仍然是一个悬而未决的问题。为了解决这个问题，高效的云存储系统是用组织成基于PC集群的数据中心的廉价和商品计算机节点来实现的。Hadoop分布式文件系统（HDFS）是一个基于云的开源存储平台，旨在部署在低成本硬件中。通过增强复制管理机制，采用HDFS实现了基于PC集群的云存储系统。数据对象在位于云中的商品节点集群中分布和复制。该系统提供了最佳的副本数量以及存储服务器节点之间的加权和平衡。实验结果表明，根据PC集群中各节点的可用磁盘空间、期望可用性和失效概率，可以实现存储均衡。
2011-12-27 cs.DC cs.NI
When Cars Meet Distributed Computing: Data Storage as an Example
由于汽车无处不在，它们可以在下一代通信和计算框架中发挥重要作用。在过去的几年中，车辆到车辆通信和车辆到基础设施通信的发展向前迈出了巨大的步伐，因此为我们提供了在配备计算能力的汽车上构建“移动计算服务”的工具。最近，几组研究人员独立提出了实现这一概念的“车辆云”的设计。在本文中，我们介绍了一个新的范例的车辆云，其次是一个案例研究的数据存储在建议的云。最后，我们提出了几个挑战和机遇，在交通工具云和分布式计算的交集。
2017-11-06 cs.DC
AIOps for a Cloud Object Storage Service
随着对无处不在的IT系统和服务的日益依赖，这些系统变得更加全球化、规模化和操作复杂。为了保持业务的可行性，IT服务提供商必须提供可靠且具有成本效益的运营支持。IT运营人工智能（AIOps）是一种很有前途的技术，可用于减轻IT系统和服务的运营复杂性。AIOps平台利用大数据、机器学习和其他先进的分析技术，通过主动可操作的动态洞察来增强IT运营。在本文中，我们分享了将AIOps方法应用于生产云对象存储服务的经验，以获得对系统行为和健康状况的可操作见解。我们描述了一个真实的生产云规模服务及其运营数据，展示了我们创建的AIOps平台，并展示了它如何帮助我们解决运营痛点。
2020-05-06 cs.DC
HPDedup: A Hybrid Prioritized Data Deduplication Mechanism for Primary Storage in the Cloud
消除云主存储中的重复数据可以提高云服务提供商的成本效率，并降低用户使用云服务的成本。现有的主要重复数据删除技术要么使用内联缓存来利用主要工作负载中的局部性，要么使用在系统空闲时间内运行的后处理重复数据删除来避免对I/O性能的负面影响。然而，由于以下两个原因，它们在运行多个服务或应用的云服务器中都不能很好地工作：首先，重复数据写入的时间局部性可能不存在于一些主存储工作负载中，因此内联缓存通常无法实现良好的去重率。其次，后处理重复数据删除允许将重复数据写入磁盘，因此不提供I/O重复数据删除的好处，并且需要高峰值存储容量。本文提出了HPDedup，一种混合优先级数据删除机制，通过融合内联和后处理过程来精确重复数据删除，来处理在位于同一位置的虚拟机或容器中运行的应用程序共享的存储系统。在内联重复数据删除阶段，HPDedup提供了一种指纹缓存机制，该机制估计来自不同VM或应用程序的数据流中重复数据的时间局部性，并根据估计为这些流分配缓存优先级。HPDedup还允许根据流的空间位置为流设置不同的重复数据删除阈值，以减少磁盘碎片。后处理阶段从磁盘中删除由于时间局部性弱而无法缓存指纹的副本。我们的实验结果表明，HPDedup明显优于国家的最先进的主存储重复数据删除技术的内联缓存效率和主要重复数据删除效率。
2017-04-16 cs.DC
EdgeKV: Decentralized, scalable, and consistent storage for the edge
边缘计算使计算更接近数据，数据更接近用户，以克服云计算的高延迟通信。边缘存储允许高速数据访问，从而支持自动驾驶和智能电网等领域的延迟敏感型应用程序。然而，一些分布式服务通常是为云设计的，并且由于边缘的分布式和异构性及其有限的资源，构建一个高效的边缘支持存储系统是具有挑战性的。在本文中，我们提出了EdgeKV，这是一种为网络边缘设计的分散式存储系统。EdgeKV提供快速可靠的存储，利用具有强大一致性保证的数据复制。通过位置透明和基于接口的设计，EdgeKV可以扩展边缘节点的异构系统。我们在Golang中实现了EdgeKV模块的原型，并在Grid'5000测试平台上的边缘和云设置中对其进行了评估。我们使用Yahoo！Cloud Serving Benchmark（YCSB）分析系统在实际工作负载下的性能。我们的评估结果表明，EdgeKV优于云存储设置与本地和全局数据访问的平均写响应时间和吞吐量的提高26%和19%，在相同的设置下分别。我们的评估还表明，EdgeKV可以随着客户端的数量而扩展，而不会牺牲性能。最后，我们讨论了使用EdgeKV而不是集中式云来利用边缘资源时的能效改进。
2020-06-28 cs.DC
Complying with Data Handling Requirements in Cloud Storage Systems
在过去的几年里，云存储系统的使用量大幅增加。然而，尽管它们作为更复杂的云服务的底层基础设施的流行性和重要性，但今天的云存储系统在设计上并不符合法规、组织或合同数据处理要求。由于立法越来越多地响应日益增长的数据保护和隐私问题，遵守数据处理要求成为云存储系统的关键属性。我们提出了PRADA，一种实用的方法来考虑遵守基于键值的云存储系统中的数据处理要求。为了实现这一目标，PRADA引入了透明的数据处理层，使客户能够提出特定的数据处理要求，并使云存储系统的运营商能够遵守这些要求。我们在分布式数据库Cassandra上实现了PRADA，并在评估中表明，符合云存储系统中的数据处理要求在实际云部署中是可行的，如微博、物联网中的数据共享和分布式电子邮件存储。
2020-06-07 cs.DC cs.NI
Reducing Failure Probability of cloud storage services using Multi-Clouds
任何信息都是有价值的，只要它有相关的数据。如果相关的数据没有放在一起，信息就没有意义，因为不相关的数据没有价值。只有经过身份验证的用户才需要映射信息。因此，没有必要将相关信息存储在一起。如果数据库的关系被分割成块，并且这些块存储在不同的云服务提供商处，则可以防止任何隐私泄露，并且存储的数据将是安全的。它还将降低数据传输成本，因为例如在更新期间并不总是需要整个数据。此外，代替在单个CSP处存储块，如果每个块或片段存储在多个CSP处，则其确保可用性并且还允许并发访问。此外，它还可以防止云中断期间的财务损失，并防止数据锁定。在地理位置不同的多个云上复制数据块也会额外减少响应时间。这项工作试图在给定的预算内选择多个云服务提供商，以确保数据的最大可用性。当没有安全或隐私问题时，整个数据可以存储在根据预算选择的每个数据中心。数据还可以通过在两个或更多个云服务提供商处复制每个数据块来存储在块中。不同的块可以在不同的服务提供商处复制。这项工作还试图选择各种云服务提供商，以确保在给定的预算内最大限度地有效数据块。
2013-10-18 cs.DC
AdaCache: A Disaggregated Cache System with Adaptive Block Size for Cloud Block Storage
针对传统云块存储缓存无法跨主机共享及固定块大小分配机制在多负载下性能差的问题，提出用户态分解式缓存系统AdaCache，通过自适应块分配、基于组的缓存组织和两级缓存替换策略，大幅提升I/O性能与命中率并降低内存开销。
2023-06-29 cs.DC
Enhancing Cloud Storage with Shareable Instances for Social Computing
云存储在社会计算中发挥着重要作用。本文旨在开发一个移动设备的云存储管理系统，以支持一组扩展的文件操作。由于存储、带宽、功耗和其他资源的限制，大多数现有的智能手机云存储应用程序都不保留文件的本地副本。然而，这种高效的设计限制了应用能力。在本文中，我们试图扩展云存储服务的可用文件操作，以更好地为智能手机用户服务。我们开发了一个高效、安全的文件管理系统Skyfiles，以支持更高级的文件操作。我们设计的基本思想是利用云实例来辅助文件操作。特别是，Skyfiles支持下载，压缩，加密和转换操作，以及两个智能手机用户的云存储空间之间的文件传输。此外，我们提出了一个协议，用户共享他们的空闲实例。Skyfiles支持的所有文件操作都可以通过自创建实例或共享实例高效安全地完成。
2020-10-26 cs.DC cs.PF
An Intelligent Cloud Storage Gateway for Medical Imaging
从历史上看，医学成像存储库一直由室内基础设施支持。然而，在过去的几十年中，诊断成像程序的数量不断增加，带来了与存储量、数据冗余和可用性相关的若干挑战。云平台专注于通过互联网提供硬件和软件服务，成为存储库外包的一个有吸引力的解决方案。虽然这一备选办法可能带来财政和技术利益，但也提出了新的挑战。在医学成像场景中，通信延迟是一个关键问题，仍然阻碍着这种范式的采用。本文提出了一种优化数据访问时间的智能云存储网关。这是通过一个新的高速缓存架构，结合静态规则和模式识别的驱逐和预取。通过对真实世界数据集的模拟获得的评估结果表明，缓存命中率可以达到80%左右，图像检索时间减少了60%以上。结合使用驱逐和预取的政策提出可以显着减少通信延迟，即使使用一个小的缓存相比，总大小的存储库。除了提升服务表现外，拟议的系统亦能配合不同院校的特定工作流程。
2017-07-27 cs.DC
SkyStore: Cost-Optimized Object Storage Across Regions and Clouds
SkyStore提出统一对象存储，通过虚拟API和TTL数据放置策略，跨云动态复制与驱逐对象，降低成本高达6倍，并保持与标准云产品相当的延迟、可用性和容错性。
2025-02-28 cs.DC
HVSTO: Efficient Privacy Preserving Hybrid Storage in Cloud Data Center
在云数据中心中，具有良好管理的共享存储是用于存储虚拟机（VM）的主要结构。本文提出了一种针对大规模云数据中心虚拟机存储的隐私保护共享存储系统--混合虚拟机存储（HVSTO）。与传统的共享存储不同，HVSTO采用分布式结构来保护虚拟机的隐私，这是传统集中式结构中的一个威胁。为了提高分布式存储系统的I/O延迟性能，我们采用了一种混合系统来结合固态硬盘和分布式存储。从我们的演示系统的评估，HVSTO提供了一个可扩展的和足够的吞吐量的平台作为一个服务的基础设施。
2014-05-23 cs.CR cs.DC
A threshold secure data sharing scheme for federated clouds
云计算允许用户以新的方向来看待计算，因为它使用现有的技术以低成本提供更好的IT服务。为了根据SLA向客户提供高QOS，云服务代理或云服务提供商使用各个云提供商，这些云提供商协同工作以形成云联盟。实时在线交互应用、天气研究和预报等应用都需要它，其中数据和应用程序是复杂和分布式的。在这些应用中，秘密数据需要共享，因此在联邦云中需要安全的数据共享机制，以降低数据入侵的风险，降低服务可用性的损失，并保证数据的完整性。因此，本文提出了一种零知识数据共享方案，其中可信云管理机构（TCA）将控制联邦云进行数据共享，其中用于计算的秘密被加密并最终由单个云检索。我们的计划是基于解决离散对数问题（DALK）的困难，在有限阿贝尔群的大素数阶，这是NP-Hard。因此，我们提出的方案提供了数据完整性在运输中，数据的可用性时，主机提供商之一，在计算过程中不可用。
2012-09-12 cs.DC
CDStore: Toward Reliable, Secure, and Cost-Efficient Cloud Storage via Convergent Dispersal
我们推出的CDStore将用户的备份数据分散到多个云中，提供统一的多云存储解决方案，具有可靠性，安全性和成本效益的保证。CDStore建立在一个名为收敛分散的增强秘密共享方案之上，该方案通过使用确定性内容派生哈希作为秘密共享的输入来支持重复数据删除。我们提出了CDStore的设计，特别是，它如何结合收敛分散与两阶段重复数据删除，以实现带宽和存储节省和强大的侧信道攻击。我们使用局域网和商业云测试平台上的真实工作负载来评估我们的CDStore原型的性能。我们的成本分析还表明，与使用最先进的秘密共享的基准云存储解决方案相比，CDStore实现了70%的货币成本节省。
2015-05-29 cs.CR cs.DC
IOArbiter: Dynamic Provisioning of Backend Block Storage in the Cloud
随着虚拟化技术的出现，云计算实现了按需计算。动态资源配置能力是用户采用云技术的基本驱动因素。对于云服务提供商来说，这一点也很重要，可以优化运行基础设施的费用。尽管在相关领域取得了许多技术进步，但是，基础设施提供商仍然必须在部署云基础设施之前决定硬件配置，特别是从存储的角度来看。存储资源调配实践的这种静态性质可能会在满足租户需求方面导致许多问题，这些问题通常会在稍后出现。在本文中，我们提出了一个名为IOArbiter的系统，可以在云中动态创建底层存储实现。IOArbiter将存储配置推迟到租户实际请求存储空间的时间。因此，底层存储实现，例如，RAID-5、6或具有6+3擦除编码的Ceph存储池将在卷创建时实现。使用我们的原型实现与Openstack煤渣，我们表明，IOArbiter可以同时满足一些不同的租户的需求，这可能是不可能的静态配置策略。此外，QoS机制，如准入控制和动态节流帮助系统减轻噪音的邻居问题显着。
2019-04-23 cs.DC cs.OS
Performance and Stability of the Chelonia Storage Cloud
在本文中，我们介绍了Chelonia存储云中间件。它旨在填补大型，复杂的科学合作之间的需求差距，这些合作采用网格范式来满足其分布式存储需求，而企业业务社区则倾向于云范式。Chelonia和几个著名的网格和基于云的存储解决方案之间的相似性和差异进行了评论。选择Chelonia的设计是为了优化异构、地理上分散的存储站点的集成系统的高可靠性和可扩展性，以及轻松动态扩展系统的能力。描述了在高级资源连接器托管环境守护程序（ARC HED）中运行的Web服务的体系结构和实现。我们提出了在局域网和广域网的测试结果，证明了容错性，稳定性和可扩展性的海龟。
2010-02-03 cs.DC cs.SE
BigBird: Big Data Storage and Analytics at Scale in Hybrid Cloud
Twitter Inc.（推特公司）
大规模实施大数据存储是一项复杂而艰巨的任务，需要先进的基础设施。随着公共云计算的兴起，各种大数据管理服务可以很容易地被利用。作为Twitter“部分多云项目”的重要组成部分，冷存储数据和分析系统正在迁移到公共云。本文展示了我们在Google Cloud Platform中使用BigQuery设计可扩展的大数据存储和分析管理框架的方法，同时确保安全性，隐私性和数据保护。本文还讨论了公共云资源的限制，以及在设计大规模数据存储和分析解决方案时如何有效地克服这些限制。虽然本文讨论了Google Cloud Platform中的框架实现，但它可以很容易地应用于所有主要的云提供商。
2022-03-22 cs.DB cs.DC cs.LG
The Melbourne Shuffle: Improving Oblivious Storage in the Cloud
我们提出了一个简单，高效，安全的数据遗忘随机洗牌算法。这是第一个不基于排序的安全数据无关洗牌。我们的方法可以用来改善以前的不经意的存储解决方案，基于网络的数据外包。
2014-02-22 cs.CR cs.DC cs.DS
Reputation Algebra for Cloud-based Anonymous Data Storage Systems
给定一个基于云的匿名数据存储系统，有两种方法来管理文件传输中涉及的节点。其中一个是使用声誉，另一个使用小额支付系统。在基于信誉的方法中，每个节点都有一个与之相关联的信誉，它被用作文件交换操作的货币或反馈集合。多年来，有几次尝试开发一个强大而有效的声誉系统，提供可信度，公平性和问责制。其中一个尝试是Free Haven项目，它为基于云的匿名数据存储系统提供了坚实的基础。本文提出的工作是出于自由港项目，旨在开发一个声誉系统，方便动态操作，如添加服务器，删除服务器和改变角色的当局。所提出的系统还提供了用于对服务器的信誉进行评分和维护的算法，以实现可信度、问责制和公平性。
2013-04-15 cs.CR cs.DC
I Have the Proof: Providing Proofs of Past Data Possession in Cloud Forensics
近年来，云计算已经成为流行的计算范例。然而，当今的云计算架构通常缺乏对计算机取证调查的支持。数字取证的一个关键任务是证明特定文件在给定存储系统中的存在。不幸的是，由于云的黑盒性质和多租户云模型，在云中很难做到这一点。在云中，分析来自虚拟机实例的数据或存储在云存储中的数据仅允许我们调查云存储的当前内容，而不是以前的内容。在本文中，我们介绍了在云存储服务的背景下构建过去数据拥有证明的想法。我们提出了一个方案，创建这样的证明，并评估其性能在一个真正的云提供商。我们还讨论了如何在云取证中有效地使用这种过去数据所有权的证明。
2012-11-19 cs.CR cs.DC
Liquid Cloud Storage
Qualcomm Technologies, Inc.（高通技术有限公司）
本文提出一种液体系统，通过冗余数据分布、懒惰修复和流存储组织，实现存储耐用性、存储开销、修复带宽和访问性能的灵活优化。
2017-05-22 cs.DC cs.PF cs.SY
Evaluation of Distributed Databases in Hybrid Clouds and Edge Computing: Energy, Bandwidth, and Storage Consumption
对现代分布式数据库的基准研究是在云边缘范例中选择正确的数据管理技术的重要信息来源。为了做出正确的决定，需要对各种硬件基础设施进行广泛的实验研究。虽然大多数最先进的研究仅调查了分布式数据库的响应时间和可伸缩性，但关注于其他各种度量（例如，能量、带宽和存储消耗）对于完全理解分布式数据库的资源消耗是必要的。此外，现有的研究已经探索了这些数据库在私有云或公共云中的响应时间和可扩展性。因此，对部署在混合云中的这些数据库的评估缺乏调查，混合云是公共云和私有云的无缝集成。为了解决这些研究空白，在本文中，我们调查的能源，带宽和存储消耗最常用的和常见的分布式数据库。为此，我们评估了混合云上的四个开源数据库（Cassandra，Mongo，Redis和MySQL），这些数据库跨越本地OpenStack和Microsoft Azure，以及各种边缘计算节点，包括Raspberry Pi，Raspberry Pi集群以及低功率和高功率服务器。我们广泛的实验结果揭示了一些有用的见解，在边缘云环境中的现代分布式数据库的部署选择。
2023-01-09 cs.DB cs.DC
AI Technical Considerations: Data Storage, Cloud usage and AI Pipeline
Maastricht University Medical Centre+（马斯特里赫特大学医学中心+）；University Medical Center Groningen（格罗宁根大学医学中心）；University of Groningen（格罗宁根大学）
人工智能（AI），特别是深度学习，需要大量的数据来进行训练、测试和验证。收集这些数据和相应的注释需要实施成像生物库，以标准化的方式提供对这些数据的访问。这需要根据现行标准和准则并遵守现行法律限制，认真设计和实施。然而，实现适当的成像数据汇集不足以训练、验证和部署AI，因为资源需求很高，需要在内部和云中仔细混合实施AI管道。本章旨在通过提供数据存储、云使用和AI管道中涉及的不同概念和实现方面的技术背景，帮助读者在必须对AI环境进行技术考虑时提供帮助。
2022-01-20 cs.AI cs.DC
On Optimizing Replica Migration in Distributed Cloud Storage Systems
随着大规模互联网服务和大数据的广泛采用，云已经成为满足不断增长的存储需求的理想环境，这要归功于其看似无限的容量，高可用性和更快的访问时间。在这种情况下，数据复制被吹捧为提高数据可用性和减少访问时间的最终解决方案。然而，副本放置系统通常需要随着时间的推移在数据中心之间和数据中心内迁移和创建大量的数据副本，在网络负载和可用性方面产生了很大的开销。本文提出了一种有效的分布式云存储迁移方案CRANE。CRANE通过有效地管理地理分布式基础设施中的副本创建来补充任何副本放置算法，通过（1）最小化将数据复制到新副本位置所需的时间，（2）避免网络拥塞，以及（3）确保数据的最小可用性。我们的研究结果表明，与swift（用于管理数据存储的OpenStack项目）相比，CRANE能够最大限度地减少高达30%的副本创建时间和25%的数据中心间网络流量，同时确保数据的最低可用性。
2015-09-04 cs.DC cs.NI
Confidential Consortium Framework: Secure Multiparty Applications with Confidentiality, Integrity, and High Availability
针对云环境下多方应用难以同时保证机密性、完整性和高可用性的问题，提出机密联盟框架（CCF），结合集中计算与去中心化信任，利用可信执行环境和不可变账本，支持透明治理和自定义应用逻辑，实现安全有状态应用。
2023-10-17 cs.CR cs.DC
Secure Cloud Storage with Client-Side Encryption Using a Trusted Execution Environment
随着计算机系统的发展，要存储的敏感数据的量以及对这些数据的威胁的数量增长，使得数据机密性对计算机用户越来越重要。目前，随着设备始终连接到互联网，云数据存储服务的使用已经变得实用和普遍，无论用户身在何处，都可以快速访问这些数据。这种实用性带来了一个问题，即交付给第三方存储的数据的机密性。在家庭环境中，磁盘加密工具已经获得了用户的特别关注，在个人计算机上使用，并且在一些智能手机操作系统中也具有本机选项。目前的工作使用英特尔软件防护扩展（英特尔SGX）技术提供的数据密封功能进行文件加密。创建一个虚拟文件系统，应用程序可以在其中存储其数据，在将数据发送到存储提供商之前保持英特尔SGX技术提供的安全保证。这样，即使存储提供商受到损害，数据也是安全的。为了验证该提案，Cryptomator软件（一款免费的云文件客户端加密工具）与英特尔SGX应用程序（安全区）集成，用于数据密封。结果表明，该解决方案在性能和安全性方面是可行的，并且可以扩展和改进以用于实际使用并与云同步服务集成。
2020-03-09 cs.CR cs.DC
Tiered cloud storage via two-stage, latency-aware bidding
在云存储中，数字数据存储在逻辑存储池中，由云服务提供商（CSP）管理的异构物理存储介质和计算基础设施提供支持。为了平衡服务性能和成本之间的权衡，CSP通常采用不同的存储层，例如冷存储和热存储。将数据存储在热存储中会导致高存储成本，但提供低访问延迟，而冷存储能够廉价地存储大量数据，从而提供更低的成本和更高的延迟。在本文中，我们解决了一个主要的挑战，面临的CSP利用这种分层存储架构-如何最大限度地提高其整体利润超过各种存储层，提供不同的特点，以及文件放置和访问请求调度政策。为此，我们提出了一个计划，CSP提供了一个两阶段的拍卖过程（a）请求存储容量，和（b）请求访问延迟的要求。我们的两阶段招标方案提供了一个混合存储和访问优化框架，其目标是最大限度地提高CSP的总净利润在四个方面：文件接受决策，接受的文件，文件访问决策和访问请求调度政策的位置。所提出的优化是一个混合整数非线性规划，很难解决。我们提出了一个有效的启发式放松整数优化，并解决由此产生的非线性随机规划。该算法在不同的情况下，并与不同的存储系统参数进行评估，并通过比较所提出的方法与其他利润最大化模型有见地的数值结果报告。在某些模拟场景中，与其他方案相比，我们看到我们提出的方法的利润增加了60%以上。
2017-11-02 cs.DC cs.GT cs.NI
SecLaaS: Secure Logging-as-a-Service for Cloud Forensics
近年来，云计算已经成为流行的计算范例。然而，当今的云计算架构通常缺乏对计算机取证调查的支持。分析各种日志（例如，进程日志、网络日志）在计算机取证中起着至关重要的作用。不幸的是，从云收集日志非常困难，因为云和多租户云模型具有黑盒性质，许多用户共享相同的处理和网络资源。研究人员建议使用日志API或云管理控制台来减轻从云基础设施收集日志的挑战。然而，目前还没有具体的工作来展示如何向调查人员提供云日志，同时保护用户的隐私和日志的完整性。在本文中，我们介绍了安全日志即服务（SecLaaS），它存储虚拟机的日志，并提供对取证调查人员的访问，以确保云用户的机密性。此外，SeclaaS保留了过去日志的证据，从而保护了日志的完整性，免受不诚实的调查人员或云提供商的攻击。最后，通过在开源云平台OpenStack上实现网络访问日志的SecLaaS，验证了该方案的可行性。
2013-02-25 cs.CR cs.DC
Provably Delay Efficient Data Retrieving in Storage Clouds
存储云的一个关键要求是能够快速检索数据。最近的系统测量表明，存储云中的数据检索延迟是高度可变的，这可能导致长延迟尾部。提高延迟性能的一个关键思想是通过使用并行下载线程来检索多个数据副本。然而，如何最佳地调度这些下载线程以最小化数据检索延迟仍然是一个重要的开放问题。在本文中，我们开发了低复杂度的线程调度策略的几个重要类的数据下载时间分布，并证明这些政策是延迟最优或在一个恒定的差距从最佳延迟性能。这些理论结果适用于可能包含有限或无限读请求的读请求的任意到达过程，以及可以支持不同数据文件的不同存储冗余和可靠性要求的异构MDS存储代码。我们的数值结果表明，所提出的政策的延迟性能显着优于先来先服务（FCFS）的政策考虑在以前的工作。
2015-01-24 cs.DC cs.IT math.IT
Parallel Seismic Data Processing Performance with Cloud-based Storage
针对云端地震波形数据，本文提出本地驱动的混合处理框架，证明通过云端预处理减少传输可消除并行下载瓶颈，并在 MsPASS 与 AWS Lambda 上达到接近本地 HPC 的吞吐性能。
2025-09-02 cs.DC physics.geo-ph
Holographic Grid Cloud, a futurable high storage technology for the next generation astronomical facilities
在不久的将来，全息技术将可用于在HVD（全息通用盘）设备中存储非常大量的数据。该技术广泛使用了WORM（一次写入多次读取）范例：这意味着此类设备允许同时和并行读取数百万体积像素（即体素）。这一特性将使从望远镜（或卫星）获得的数据可以同时获得。在这种新技术的支持下，本文的目的是确定一个分布式RAID系统，一种“存储块”的实现的指导方针，分布在不同的地理位置作为一个单一的远程设备作为一个属性的分布式计算，资源的抽象的影响天文数据。最终用户只需要注意以适当和安全的模式（使用个人证书）连接到远程设备，并可以访问所有（或部分）这种潜在的技术。在这样一个平台上设计的一个模块+服务将允许资源的快速可扩展性，为仪器或任务创建一个“网络分布式云”服务。建议在每个云中使用专用的网格基础设施，以增强某些关键任务，并加快处理冗余、加密和压缩科学数据的服务。功率、可访问性、并行度和冗余度将仅取决于分布式存储块的数量：该数量越高，IT系统的吞吐量就越大。这种存储块是两种技术和两种对立的计算范式之间的交汇点：网格计算和云计算。
2012-01-09 astro-ph.IM cs.DC
