Cloud Scheduler: a resource manager for distributed compute clouds
云结构即服务（IaaS）计算云的可用性使研究人员能够访问大量新资源，以运行复杂的科学应用程序。然而，将云资源用于大量工作需要大量的努力和专业知识。为了使研究人员能够简单透明地部署他们的应用程序，我们开发了一个用于分布式计算云的虚拟机资源管理器（Cloud Resource Manager）。云服务器会响应用户的作业提交来引导和管理用户自定义的虚拟机。我们描述了云计算的动机和设计，并介绍了其在科学和商业云上的使用结果。
2010-06-30 cs.DC
Cloud Versus Local Processing in Distributed Networks
提出了一种用于评估本地、云和可分割（即可分区）数据负载的组合处理的相对性能的方法。它显示了如何做到这一点的背景下Amdahl的法律。作为一个例子，一个单级（星型）网络下运行的三个基本的调度策略。应用包括移动计算、云计算和签名搜索。
2021-07-04 cs.DC
Executing Bag of Distributed Tasks on Virtually Unlimited Cloud Resources
分布式任务包（BoDT）应用程序是相同且独立的任务的集合，每个任务都需要位于世界各地的一段输入数据。因此，云计算提供了一种有效的方式来执行BoT应用，因为它不仅包括多个地理上分布的数据中心，而且还允许用户仅为她实际使用的内容付费。在本文中，BoDT on the Cloud使用几乎无限的云资源。提出了一种启发式算法，以找到一个执行计划，考虑到预算约束。与其他方法相比，在相同的预算下，我们的算法能够减少总的执行时间高达50%。
2015-06-01 cs.DC
An Automated Implementation of Hybrid Cloud for Performance Evaluation of Distributed Databases
混合云是私有云和公共云之间的资源集成。它使用户能够将其本地基础设施横向扩展到公共云，以提高性能并降低前期投资成本。这种应用程序部署模型称为云爆发，它允许数据密集型应用程序，特别是分布式数据库系统，同时享受私有云和公共云的好处。在这项工作中，我们提出了一个混合云的自动化实现，使用（i）一个强大的，零成本的基于Linux的VPN，使私有云和公共云之间的安全连接，（ii）Terraform作为一个软件工具，根据混合云的要求部署基础设施资源。我们还探讨了云爆发的性能评估六个现代和分布式数据库系统上的混合云跨越本地OpenStack和Microsoft Azure。我们的研究结果表明，MongoDB和MySQL集群在吞吐量和操作延迟方面工作效率很高，如果它们突然进入公共云来提供它们的资源。相比之下，如果Cassandra、Riak、Redis和Couchdb通过云爆发显著利用其所需资源，则其性能会降低。
2020-06-04 cs.DC
Gaussian Graphical Models as an Ensemble Method for Distributed Gaussian Processes
University of Tuebingen（图宾根大学）
分布式高斯过程（Distributed Gaussian Process，DGP）是一种将GP扩展到大数据的流行方法，它将训练数据划分为若干子集，对每个子集执行局部推理，并将结果聚合以获得全局预测。为了组合局部预测，使用条件独立假设，这基本上意味着子集之间存在完美的多样性。虽然它使聚合易于处理，但在实践中经常违反它，并且通常产生很差的结果。在本文中，我们提出了一种新的方法来聚集高斯专家的预测高斯图模型（GGM）的目标聚集被定义为一个不可观测的潜变量和本地预测的观测变量。我们首先使用期望最大化（EM）算法估计潜变量和观测变量的联合分布。利用联合分布的精度矩阵对专家间的交互作用进行编码，并根据条件高斯分布的性质得到聚合预测。使用合成和真实数据集，我们的实验评估表明，我们的新方法优于其他国家的最先进的DGP方法。
2022-02-07 cs.DC cs.LG stat.ML
Energy Efficient Cloud Control and Pricing in Geographically Distributed Data Centers
据估计，数据中心占全球用电量的1.5%。与此同时，为了满足日益增长的用户需求，现代云提供商正在运营多个地理分布的数据中心。分布式数据中心基础设施改变了云控制的规则，因为能源成本取决于当前的区域电价和温度，我们称之为地理时间输入。此外，云提供商可以提供计算资源的定价策略取决于服务质量（QoS）。在这种定价方案和数据中心不断增加的能源成本的情况下，平衡节能与性能和收入损失是一个具有挑战性的问题。现有的云控制方法仅适用于单个数据中心，或者没有考虑所有可用的云控制动作，这些动作可以降低地理上分布的数据中心的能源成本。在这篇论文中，我们提出了一个普适的云控制方法，包括多种方法的动态资源重新分配和硬件配置，以适应易变的地理时态输入。所提出的方法考虑了云控制操作的QoS影响和时间序列预测方法的数据质量限制。我们提供了一种云控制器设计，当需要添加新的决策支持组件时，该设计支持未来的扩展。我们还提出了新的定价方案，占计算资源的可用性和成本，从我们的云控制方法，使灵活的，能源意识和高性能的云计算。我们根据经验评估我们的方法，并使用电价，温度，工作负载和其他数据的历史痕迹进行了大量模拟。我们的研究结果表明，显着的能源成本节约是可能的，而不损害的QoS或服务收入在地理上分布的云计算。
2018-09-16 cs.DC
S2CE: A Hybrid Cloud and Edge Orchestrator for Mining Exascale Distributed Streams
物联网和其他设备等分布式和异构节点生成的数据量、速度、种类和准确性的爆炸性增长，不断挑战着大数据处理平台和挖掘技术的最新水平。因此，它揭示了迫切需要解决这种预期的艾级数据生成和从这些数据中提取见解之间不断增长的差距。为了满足这一需求，本文提出了Stream to Cloud & Edge（S2CE），这是同类产品中第一个优化的多云和边缘编排器，易于配置，可扩展和可扩展。S2CE将支持在混合云和边缘环境上运行的大量异构数据流的机器和深度学习，同时提供实用和可扩展处理的必要功能：数据融合和预处理，采样和合成流生成，云和边缘智能资源管理以及分布式处理。
2020-07-02 cs.DC
Co-Tuning of Cloud Infrastructure and Distributed Data Processing Platforms
本文研究云基础设施与分布式数据处理平台配置间的影响关系，提出结合机器学习与优化的协同调优方法，在 OpenStack 上为 Hadoop、Spark 和 Flink 推荐最优配置，显著降低执行时间与成本。
2023-12-07 cs.DC
Distributed and Application-aware Task Scheduling in Edge-clouds
边缘计算是一种新兴技术，它将计算置于网络边缘以提供超低延迟。计算卸载是一种将计算从移动设备迁移到远程服务器的范例，现在可以通过将计算卸载到边缘云中的云来使用边缘计算的力量。然而，边缘云计算卸载的任务调度面临着双重挑战。首先，由于微云在地理上是分布式的，因此在没有集中控制的情况下，每个微云很难执行负载均衡。第二，由于计算卸载的任务具有多种类型，因此在任务类型方面保证用户体验质量（QoE）是具有挑战性的。在本文中，我们提出了Petrel，一个分布式和应用程序感知的边缘云任务调度框架。Petrel实现了基于样本的负载均衡技术，并根据任务类型采用自适应调度策略。这种应用感知调度不仅提供了QoE保证，而且提高了整体调度性能。跟踪驱动的模拟表明，Petrel实现了显着的改善，现有的调度策略。
2019-02-12 cs.DC
Edge-Fog Cloud: A Distributed Cloud for Internet of Things Computations
物联网通常涉及大量智能传感器，从环境中感知信息并将其共享给云服务进行处理。已经提出了各种架构抽象，如雾和边缘计算，以将一些处理定位在传感器附近，远离中央云服务器。在本文中，我们提出了边缘雾云，它分布在网络中的参与云资源的任务处理。我们开发的最小处理成本第一（LPCF）的方法分配的处理任务，提供最佳的处理时间和接近最佳的网络成本的节点。我们评估LPCF在各种情况下，并证明其有效性，找到处理任务分配。
2017-03-07 cs.DC
Enoki: Stateful Distributed FaaS from Edge to Cloud
Enoki 提出一种边缘-云连续体上的有状态 FaaS 架构，通过集成复制键值存储与单节点 FaaS 系统，在不破坏 FaaS 抽象的前提下为函数提供低延迟本地数据访问，并验证了分布式有状态应用构建的可行性。
2023-09-07 cs.DC
A Novel Distributed Database Architectural Model for Mobile Cloud Computing
云计算是我们连接到服务器的方式，大型系统以分布式安全的方式，而无需担心本地内存限制。提出了一种面向移动云计算的新型分布式数据库体系结构模型（NDDAMMCC）。由于遵循尼尔森互联网带宽定律的无线技术和互联网的指数级增长，我们正处于云计算的新时代。在最近的技术时代，智能移动设备在各种日常人类需求中发挥着重要作用。适用性是如此巨大，移动系统上安装的应用程序的数量成为一个危险，由于本地内存限制的手机用户，并要求一种替代方法来解决这个本地内存问题。移动云计算（MCC）是解决这一问题的最终方案，我们的模型为这种新型的云计算技术提供了一条有前途的道路。
2022-02-21 cs.DC
Evaluation of Distributed Data Processing Frameworks in Hybrid Clouds
分布式数据处理框架（例如，Hadoop、Spark和Flink）被广泛用于在云的计算节点之间分发数据。最近，已经有越来越多的努力，旨在评估托管在私有云和公共云中的分布式数据处理框架的性能。然而，关于评估这些托管在混合云中的框架的性能的研究很少，混合云是一种新兴的云模型，它集成了私有云和公共云，以充分利用两者的优势。因此，在本文中，我们从执行时间、资源利用率、水平可扩展性、垂直可扩展性和成本等方面评估了Hadoop、Spark和Flink在混合云中的性能。在这项研究中，我们的混合云由OpenStack（私有云）和MS Azure（公共云）组成。我们使用批处理和迭代工作负载进行评估。我们的研究结果表明，在混合云中，（i）随着私有云从公共云借用更多的节点，执行时间会增加，（ii）Flink的性能优于Spark，而Spark在执行时间方面又优于Hadoop，（iii）Hadoop在工作负载执行期间在节点之间传输的数据量最大，而Spark传输的数据量最少，（iv）与垂直扩展相比，所有三个框架的水平扩展都更好，（v）就数据处理的成本而言，Spark最便宜，而Hadoop最昂贵。
2022-01-06 cs.DC
The carbon footprint of distributed cloud storage
据估计，截至目前，ICT（信息通信技术）生态系统占全球能源需求总量的10%，相当于德国和日本的能源产量之和。云存储主要通过大型密集的数据中心运行，是其中不可忽视的一部分。然而，由于云是一个快速膨胀的市场，数据中心的能源效率大多是一个集体不敏感的问题，其碳足迹没有放缓的迹象。在本文中，我们分析了一种新的模式，云存储（实现Cubbit，http://cubbit.io），其中数据存储和分布在网络上的p2p交互的基于ARM的单板设备。我们将Cubbit的分布式云与传统的集中式解决方案在环境足迹和能源效率方面进行了比较。我们证明，与集中式云相比，Cubbit的分布式架构的碳足迹在数据存储方面减少了77%，在数据传输方面减少了50%。这些结果提供了一个例子，说明大范围技术的根本性范式转变如何使最终消费者和整个社会受益。
2019-06-26 cs.DC
Distributed Hierarchical Control versus an Economic Model for Cloud Resource Management
我们研究了分层组织的云基础设施，并将基于资源监控的分布式分层控制与资源管理的市场机制进行了比较。后者不需要系统模型，开销低，健壮，并满足其他几个自主计算的需要。我们介绍了几个性能指标和报告的模拟研究表明，一个简单的投标方案支持一个有效的准入控制机制，同时降低了几个数量级的通信复杂性，也增加了接受率相比，分层控制和监测机制。基于市场机制的资源管理可以被视为云自组织的中间步骤，是当前云资源管理机制的理想替代方案。
2015-04-14 cs.DC
An Elastic Middleware Platform for Concurrent and Distributed Cloud and MapReduce Simulations
云计算研究涉及大量的实体，如用户、应用程序和虚拟机。由于这些资源的访问受限且可用性经常变化，研究人员将其原型在模拟环境中进行测试，而不是在真实的云环境中。CloudSim和EmuSim等现有云模拟环境按顺序执行，可以创建更先进的云模拟工具来扩展它们，利用最新技术以及研究实验室中多核计算机和集群的可用性。虽然计算已经随着多核编程、MapReduce范式和中间件平台而发展，但云和MapReduce模拟仍然无法利用这些发展本身。这项研究开发了Cloud2Sim，它试图填补模拟和他们试图模拟的实际技术之间的差距。首先，Cloud2Sim通过扩展CloudSim云模拟器，使用Hazelcast内存中的键值存储，提供了一个并发的分布式云模拟器。然后，它还提供了一个快速评估Hazelcast和Infinispan的MapReduce实现，自适应地将执行分布到一个集群，提供模拟MapReduce执行的方法。动态缩放器解决方案根据负载将云和MapReduce模拟扩展到运行Hazelcast和Infinispan的多个节点。分布式执行模型和自适应缩放解决方案可以作为多租户部署的通用自动缩放中间件。
2016-01-15 cs.DC
Distributed Edge Analytics in Edge-Fog-Cloud Continuum
针对云中心物联网应用的高延迟、高负载与隐私问题，本文提出边缘-雾-云连续体下的分布式边缘分析，从无服务器数据流水线、分布式计算、联邦学习三个维度结合自研框架验证了该方案的可行性。
2024-07-11 cs.DC
Executing Bag of Distributed Tasks on the Cloud: Investigating the Trade-offs Between Performance and Cost
分布式任务包（BoDT）可以从云上的分散执行中受益。然而，在通过为任务采用大量云VM可以实现的性能与用户经常设置的货币限制之间存在权衡。本文中报告的研究旨在调查这种权衡，以便生成在云上部署BoDT应用程序的最佳计划。提出并实现了一种综合考虑用户对性能和成本偏好的启发式算法。通过生成一个示例应用程序的执行计划，证明了该算法的可行性。关键的结果是，该算法生成的应用程序的最佳执行计划超过91%的时间。
2014-10-30 cs.DC
Cloud4IoT: a heterogeneous, distributed and autonomic cloud platform for the IoT
我们推出了Cloud4IoT，这是一个为物联网支持软件组件和数据密集型应用程序提供自动部署、编排和动态配置的平台，用于数据处理和分析，从而实现新传感器对象的即插即用集成和动态工作负载可扩展性。Cloud4IoT在物联网环境中实现了基础设施即代码的概念：它为物联网运营提供了云服务的灵活性和弹性。此外，它将传统的集中式云架构转变为物联网技术所要求的更加分布式和分散式的计算模式，弥合了云计算和物联网生态系统之间的差距。因此，Cloud4IoT扮演的角色类似于Fog Computing，Cloudlets或Mobile Edge Cloud等解决方案所涵盖的角色。Cloud4IoThs的分层架构托管一个中央云平台和多个远程边缘云模块，支持专用设备，即物联网网关，通过这些网关，新的传感器对象可以访问平台。总体而言，该平台旨在支持基于物联网和数据密集型应用程序可能对低延迟，有限的可用带宽或数据本地性提出特定要求的系统。Cloud4IoT基于多种开源技术构建，用于物联网标准、协议和服务的容器化和实现。我们提出了该平台的实现，并在两个不同的用例中演示。
2018-10-03 cs.DC
An Optimal Fully Distributed Algorithm to Minimize the Resource Consumption of Cloud Applications
根据云中采用的按使用付费模型，在云计算环境中运行的应用程序消耗的资源越多，相应应用程序的所有者将被收取的金额就越大。因此，应用智能解决方案来最大限度地减少资源消耗至关重要。由于集中式的解决方案被认为是不适合大型分布式系统或大规模的应用程序，我们提出了一个完全分布式的算法（称为分布式），以克服可扩展性问题。具体来说，CORBA将应用程序的相互通信组件（如进程或虚拟机）迁移到彼此接近的位置，以最大限度地减少总资源消耗。迁移决策是以动态的方式做出的，并且仅基于本地信息。我们证明了收敛性和结果总是在最优解。
2012-06-27 cs.DC
Pilot-Edge: Distributed Resource Management Along the Edge-to-Cloud Continuum
许多科学和工业物联网应用需要跨边缘到云连续体进行数据处理，以满足性能、安全性、成本和隐私要求。然而，需要各种抽象和基础设施来管理边缘到云场景中的资源和任务。我们提出Pilot-Edge作为跨边缘到云连续体的资源管理的通用抽象。Pilot-Edge基于试点抽象，它简化了资源和工作负载管理，并为应用程序级任务提供了功能即服务（FaaS）接口。这种抽象允许应用程序将公共功能封装在高级任务中，然后可以跨连续体配置和部署这些任务。我们使用机器学习工作负载（例如，k-means和自动编码器）。我们的实验演示了Pilot-Edge如何管理分布式资源，并允许应用程序基于多个因素（例如，模型复杂性、吞吐量和等待时间）。
2021-04-07 cs.DC
Distributed Log Analysis on the Cloud Using MapReduce
在本文中，我们描述了我们的工作，设计一个基于Web的分布式数据分析系统的基础上流行的MapReduce框架部署在一个小的云，专门用于分析Web服务器日志。该日志分析系统由多个集群节点组成，将大型日志文件拆分到分布式文件系统上，利用MapReduce编程模型进行快速处理。该集群是使用开源云基础设施创建的，这使我们能够通过添加新节点轻松扩展计算能力。这使我们能够根据数据分析要求自动调整集群的大小。我们实现了MapReduce程序，用于基本的日志分析需求，如频率分析，错误检测，繁忙时间检测等，以及需要运行多个作业的更复杂的分析。该系统可以自动识别和分析几种Web服务器日志类型，如Apache，IIS，Squid等。我们使用开源项目来创建云基础设施和运行MapReduce作业。
2018-02-10 cs.DC
Edge-as-a-Service: Towards Distributed Cloud Architectures
我们提出了一个边缘即服务（EaaS）平台，用于实现分布式云架构并将网络边缘集成到计算生态系统中。EaaS平台的基础是（i）一个轻量级的发现协议，用于识别边缘节点并使其在计算环境中公开访问，以及（ii）一个可扩展的资源配置机制，用于将工作负载从云卸载到边缘，以服务多个用户请求。我们在一个在线游戏用例上验证了EaaS的可行性，以突出在我们的云边缘平台上托管的应用程序的QoS的改进。在这个平台上，我们展示了（i）低于6%的低开销，（ii）减少了高达95%的云数据流量，（iii）最大限度地减少了40%-60%的应用程序延迟。
2017-10-27 cs.DC
A Framework for Energy-aware Evaluation of Distributed Data Processing Platforms in Edge-Cloud Environment
分布式数据处理平台（例如，Hadoop、Spark和Flink）被广泛用于在云的计算节点之间分布数据的存储和处理。云资源的集中化催生了边缘计算，它使数据的处理更接近数据源，而不是将其发送到云端。然而，由于能源限制等资源限制，边缘计算无法用于部署各种应用程序。因此，任务从边缘设备卸载到资源更丰富的云。以前的研究已经评估了隔离云和边缘环境中分布式数据处理平台的能耗。然而，在集成的边缘云环境中评估这些平台的能耗的研究很少，其中任务从资源受限的设备卸载到资源丰富的设备。因此，在本文中，我们首先提出了一个框架的分布式数据处理平台的能量感知评估。然后，我们利用所提出的框架来评估三个最广泛使用的平台（即，Hadoop、Spark和Flink）在由Raspberry Pi、边缘节点、边缘服务器节点、私有云和公共云组成的集成边缘云环境中运行。我们的评估表明，（i）Flink是最节能的，其次是Spark，Hadoop被发现是最不节能的（ii）将任务从资源受限的设备卸载到资源丰富的设备可以减少55.2%的能耗，（iii）带宽和客户端与服务器之间的距离是影响能耗的关键因素。
2022-01-06 cs.DC
A Survey of Current Trends in Distributed, Grid and Cloud Computing
从20世纪90年代到2012年，互联网彻底改变了计算世界。在发展到分布式计算和进一步发展到网格计算之后，它开始了并行计算之旅。在目前的情况下，它创造了一个新的世界，被称为云计算[1]。这三个术语有不同的含义。云计算基于后向计算方案，如集群计算、分布式计算、网格计算和效用计算。云计算的基本概念是虚拟化。它为各种请求程序提供虚拟硬件和软件资源。本文对集群计算、网格计算和云计算进行了详细的介绍，并对它们的实现进行了分析。我们试图列出所有这些技术出现的灵感。我们还占一些目前的情况下的网格计算的故障，并讨论了新的云计算项目正在管理的印度政府的学习。本文还回顾了现有的工作，并涵盖（分析），在一定程度上，一些创新的想法，可以实施。
2013-08-08 cs.DC
LSKV: A Confidential Distributed Datastore to Protect Critical Data in the Cloud
针对云环境数据安全，提出LSKV分布式数据存储，利用可信执行机制保护关键数据，提供类似etcd的API，性能与etcd相当，降低构建可信系统的门槛。
2024-07-17 cs.DC
C3O: Collaborative Cluster Configuration Optimization for Distributed Data Processing in Public Clouds
分布式并行处理系统使得能够在集群上对大型数据集进行数据并行处理。公共云提供商提供了大量可用于此类集群的资源。然而，为低成本工作（既不会导致瓶颈，也不会导致低资源利用率）选择合适的云资源通常具有挑战性，即使对于数据工程师等专家用户也是如此。我们提出了C3O，一个协作系统，用于优化公共云中的数据处理集群配置共享的历史运行时数据的基础上。该共享数据用于使用专门的回归模型来预测不同可能的集群配置上的数据处理作业的运行时间。这些模型考虑了不同用户的不同执行上下文，并在我们对930个独特的Spark作业的实验评估中显示出低于3%的平均绝对误差。
2021-12-01 cs.DC
Distributed Resource Selection for Self-Organising Cloud-Edge Systems
本文提出一种基于共识的分布式资源选择机制，用于自组织云边系统，通过局部知识和智能体协作实现快速、可扩展且最优的资源分配，避免集中式瓶颈。
2025-10-09 cs.DC
Occupy the Cloud: Distributed Computing for the 99%
尽管有许多开放源代码平台和广泛的商业产品，但分布式计算仍然无法为大量用户所用。虽然分布式计算框架已经超越了简单的映射-缩减模型，但许多用户仍然需要使用复杂的集群管理和配置工具，即使是运行简单的并行作业。我们认为，无状态功能为这些用户提供了一个可行的平台，消除了集群管理开销，实现了弹性的承诺。此外，使用我们的原型实现，PyWren，我们表明，该模型是通用的，足以实现一些分布式计算模型，如BSP，有效。从最近的网络带宽和分散存储的出现趋势推断，我们认为，无状态函数是一个自然适合在未来的计算环境中的数据处理。
2017-06-07 cs.DC
Data Intensive High Energy Physics Analysis in a Distributed Cloud
我们表明，分布式的云结构即服务（IaaS）计算云可以有效地用于高能物理数据的分析。我们设计了一个分布式云系统，它可以与任何使用大型输入数据集的应用程序一起工作，这些应用程序需要高吞吐量的计算环境。该系统使用加拿大和美国的基于IaaS的科学和商业集群。我们描述的过程中，用户准备的分析虚拟机（VM）和提交批处理作业的中央调度程序。系统在其中一个IaaS云上引导用户特定的VM，运行作业并将输出返回给用户。用户应用程序在执行应用程序期间访问中央数据库以获得校准数据。类似地，数据位于中央位置，并由正在运行的应用程序进行流式传输。该系统可以很容易地以有效的方式同时运行一百个作业，并且应该扩展到数百甚至数千个用户作业。
2011-01-01 cs.DC
The Distributed Computing Paradigms: P2P, Grid, Cluster, Cloud, and Jungle
分布式计算是在多个系统上进行的，以解决大规模问题。发达国家和发展中国家高速宽带网络的发展、计算能力的不断提高以及互联网的迅速发展改变了这种方式。在信息技术中，社会管理信息和信息服务。从历史上看，计算的状态经历了一系列的平台和环境变化。分布式计算是有效利用计算机系统的重要保证。因此，超级计算机站点和数据中心已经从提供高性能浮点计算能力转变为同时服务来自数十亿用户的大量请求。分布式计算系统使用多台计算机通过互联网解决大规模问题。它变得数据密集型和以网络为中心。分布式计算的应用越来越广泛。在分布式计算中，大规模的资源共享是计算的重点，其目标总是追求最佳性能。在本文中，我们回顾了在分布式计算范例领域所做的工作。主要的重点是云计算的发展领域。
2013-11-13 cs.DC
Environmentally-Conscious Cloud Orchestration Considering Geo-Distributed Data Centers
本文探讨云环境中的环保作业部署与迁移，通过定义综合环境影响概况并形式化为优化模型，在尊重用户偏好的同时平衡多环境因素，模拟显示其优于单一因素基线策略。
2025-07-14 cs.DC
When Cars Meet Distributed Computing: Data Storage as an Example
由于汽车无处不在，它们可以在下一代通信和计算框架中发挥重要作用。在过去的几年中，车辆到车辆通信和车辆到基础设施通信的发展向前迈出了巨大的步伐，因此为我们提供了在配备计算能力的汽车上构建“移动计算服务”的工具。最近，几组研究人员独立提出了实现这一概念的“车辆云”的设计。在本文中，我们介绍了一个新的范例的车辆云，其次是一个案例研究的数据存储在建议的云。最后，我们提出了几个挑战和机遇，在交通工具云和分布式计算的交集。
2017-11-06 cs.DC
Performance of Distributed File Systems on Cloud Computing Environment: An Evaluation for Small-File Problem
针对分布式文件系统在小文件及复杂机器学习场景下的性能问题，提出结合高性能计算、大数据与共享存储的架构，并通过实验验证其适用性。
2023-12-29 cs.DC
TD3-Sched: Learning to Orchestrate Container-based Cloud-Edge Resources via Distributed Reinforcement Learning
本文提出基于TD3的分布式强化学习调度器TD3-Sched，对云边容器环境的CPU和内存分配进行连续控制，在真实测试平台上显著降低延迟并提升SLO合规性。
2025-09-23 cs.DC
A monitoring system for collecting and aggregating metrics from distributed clouds
Faculty of Technical Sciences University of Novi Sad（诺维萨德大学技术科学学院）
本文提出了一种监控系统，用于从分布式云收集和聚合指标，以提高系统的可观测性和可管理性。
2026-03-05 cs.DC
Sector and Sphere: Towards Simplified Storage and Processing of Large Scale Distributed Data
云计算已经证明，只要给出正确的编程模型和基础设施，就可以在商品集群上处理非常大的数据集。在本文中，我们描述了Sector存储云和Sphere计算云的设计和实现。与现有的存储和计算云相比，Sector不仅可以在数据中心内管理数据，还可以跨地理分布的数据中心管理数据。同样，Sphere计算云支持数据中心内和跨数据中心的用户定义函数（UDF）。作为一种特殊情况，MapReduce风格的编程可以在Sphere中通过使用Map UDF和Reduce UDF来实现。我们描述了一些实验研究比较部门/球体和Hadoop使用Terasort基准。在这些研究中，Sector的速度大约是Hadoop的两倍。Sector/Sphere是开源的。
2009-01-17 cs.DC
CloudCV: Large Scale Distributed Computer Vision as a Cloud Service
Virginia Tech（弗吉尼亚理工大学）；Imperial College London（帝国理工学院）
我们正在目睹大量视觉数据的扩散。不幸的是，将现有的计算机视觉算法扩展到大型数据集会让研究人员反复解决相同的算法，物流和基础设施问题。我们的目标是使计算机视觉民主化;人们不应该成为计算机视觉、大数据和分布式计算专家，才能访问最先进的分布式计算机视觉算法。我们提出了CloudCV，一个全面的系统，通过Web接口和API提供对最先进的分布式计算机视觉算法的访问，作为云服务。
2017-02-13 cs.CV cs.DC
A Distributed Secure Outsourcing Scheme for Solving Linear Algebraic Equations in Ad Hoc Clouds
新兴的ad hoc云通过利用未开发的本地计算和存储资源形成了新的云计算范例。在ad hoc云上的一个重要应用是将计算密集型问题外包给附近的云代理以分布式方式解决。
2016-08-29 cs.CR cs.DC
A Cloud Continuum Research Infrastructure for Distributed CPS Experimentation
Università degli Studi di Messina（墨西拿大学）；CINI: National Interuniversity Consortium for Informatics（国家跨大学信息学联盟）；Università degli Studi di Bologna（博洛尼亚大学）；Institute of ICAR CNR（意大利国家研究委员会ICAR研究所）
本文提出基于 SLICES 云 continuum 蓝图的两级参考架构，用于支持分布式 CPS 实验，通过可再生能源社区管理和 AirWatch 两个用例验证，可在同一可编程基础设施上部署、定制和比较不同控制与监控策略。
2026-07-31 cs.DC
Distributed Cloud Computing Environment Enhanced with Capabilities for Wide-Area Migration and Replication of Virtual Machines
当网络应用程序作为虚拟机在云上实现并由大量用户使用时，应仔细选择虚拟机的位置，以使用户体验的响应时间最小化。随着用户群体的移动和/或增加，虚拟机可能需要被迁移到新的位置或在广域网上的许多位置上复制。虚拟机迁移和复制已经得到了广泛的研究，但在大多数情况下，它们仅限于子网内，以便能够保持服务的连续性。在本文中，我们介绍了一个分布式的云计算环境，方便迁移和复制的虚拟机在广域网。该机制由智能路由器的覆盖网络提供，每个智能路由器将合作数据中心连接到Internet。对所提出的方法进行了分析，并与相关工作进行了比较
2014-01-09 cs.DC
Location, Location, Location: Data-Intensive Distributed Computing in the Cloud
在编排高度分布式和数据密集型的Web服务工作流时，编排引擎的地理位置会极大地影响工作流的整体性能。演示引擎通常从组织的网络内运行，并且可能必须跨长的地理距离传输数据，这反过来增加了执行时间并降低了工作流的整体性能。在本文中，我们提出了CloudForecast：一个Web服务框架和分析工具，它给出了一个工作流规范，计算最佳的亚马逊EC2云区域自动部署编排引擎和执行工作流。我们使用Amazon Cloud区域和工作流节点之间的工作流地理距离、网络延迟和HTTP往返时间来查找云区域的排名。这个简单指标的组合集有效地预测了工作流编排引擎应该部署在哪里，以减少总体执行时间。我们通过执行在PlanetLab平台上部署的随机生成的数据密集型工作流来评估我们的方法，以便对Amazon EC2 Cloud区域进行排名。我们的实验结果表明，我们提出的优化策略，根据特定的工作流程，可以加快执行时间平均82.25%相比，本地执行。我们还表明，执行时间的标准差减少了近65%的平均使用优化策略。
2014-02-03 cs.DC
Srifty: Swift and Thrifty Distributed Training on the Cloud
找到最佳VM配置是实现更低成本和更高吞吐量的关键，这是当今基于云的分布式神经网络（NN）训练中的两个主要问题。满足用户约束的最佳VM选择需要高效地导航大的搜索空间，同时控制与共享云实例和网络相关联的性能差异。在这项工作中，我们在分布式NN训练的上下文中描述了这种差异，并提出了一个全面的吞吐量和成本效益研究的结果，我们进行了广泛的实例修剪的最佳VM搜索空间。利用这些研究中的见解，我们构建了Srifty，这是一个将运行时分析与学习的性能模型相结合的系统，可以准确预测训练性能，并找到满足用户约束的最佳VM选择，从而可能利用异构设置和spot实例。我们将Srifty与PyTorch集成在一起，并在Amazon EC2上进行了评估。我们在EC2上对Srifty进行了超过2K的训练设置的大规模泛化研究。我们的研究结果表明，Srifty实现了8%的迭代延迟预测误差，其VM实例建议提供了显着的吞吐量增益和成本降低，同时满足用户的约束条件相比，现有的解决方案在复杂的，真实的场景。
2022-07-02 cs.DC
Power-Aware Allocation of Graph Jobs in Geo-Distributed Cloud Networks
在大数据时代，提交到云的作业呈现出由图表示的复杂结构，其中节点表示每个子任务可以容纳在服务器中的插槽中，而边表示子任务之间的通信约束。我们开发了一个框架，用于在地理分布式云网络（GDCN）中有效地分配图形作业，明确考虑了计算中心（DC）的功耗。我们解决了图作业分配中出现的以下两个挑战：i）分配问题属于NP-难非线性整数规划; ii）分配需要解决NP-完全子图同构问题，这在大规模GDCN中特别麻烦。我们为各种规模的GDCN开发了一套有效的解决方案。对于小规模的GDCN，我们提出了一种基于凸规划的分析方法。对于中等规模的GDCN，我们开发了一个分布式分配算法，利用DC的处理能力并行。之后，我们提供了一种新的低复杂度（分散式）子图提取方法，在此基础上，我们引入云爬虫，旨在为大规模GDCN提取良好潜力的分配。鉴于这些建议的策略，我们进一步研究固定和自适应DC定价方案下的策略选择，并提出了一个在线学习算法。
2019-11-14 cs.DC
The Impact of Distance on Performance and Scalability of Distributed Database Systems in Hybrid Clouds
管理大数据的需求日益增长，导致了高级数据库管理系统的出现。已经有越来越多的努力旨在评估由私有或公共云计算中心托管的NoSQL和关系数据库的性能和可扩展性。然而，在混合云中评估这些数据库的性能和可扩展性的工作很少，其中私有云和公共云计算中心之间的距离可能是影响其性能的关键因素之一。因此，在本文中，我们详细评估了混合云中六个现代数据库的吞吐量，可扩展性和VM大小与VM数量的关系，其中包括阿德莱德的私有云和悉尼，孟买和弗吉尼亚地区的Azure数据中心。根据结果，随着私有云和公共云之间的距离增加，大多数数据库的吞吐量性能都会降低。其次，MongoDB获得了最好的吞吐量性能，其次是MySQL C luster，而Cassandra暴露了最大的性能波动。第三，垂直可伸缩性比水平可伸缩性更能提高数据库的吞吐量。第四，利用更大的VM而不是更多的VM和更少的内核可以提高Cassandra，Riak和Redis的吞吐量性能。
2020-07-31 cs.DC
Exosphere -- Bringing The Cloud Closer
Exosphere提供研究人员友好型软件，用于管理OpenStack云基础设施上的计算工作负载。Exosphere是Horizon的用户友好替代品，Horizon是OpenStack默认的图形界面。Exosphere可以与大多数研究云基础设施一起使用，几乎不需要定制集成工作。
2020-10-13 cs.DC cs.HC
Parallel and Distributed Simulation from Many Cores to the Public Cloud (Extended Version)
在这篇教程中，我们将首先回顾一些基本的仿真概念，然后介绍并行和分布式仿真技术，鉴于一些新的挑战，今天和明天。更特别的是，在过去的几年里，许多核心架构已经广泛传播，我们可以预期这种趋势将继续下去。另一方面，云计算的成功有力地推动了一切即服务的范式。并行和分布式仿真准备好迎接这些新挑战了吗？目前的方法在可用性和适应性方面存在许多局限性：迫切需要新的评价指标和修订目前实施的机制。在论文的最后一部分，我们提出了一种新的方法，基于多智能体系统的复杂系统的仿真。有可能实现高级技术，例如模拟实体的迁移，以构建自适应且非常易于使用的机制。自适应机制能够显着降低并行/分布式体系结构中的通信成本，实现负载平衡技术，并应付执行环境的变化和动态。最后，这种机制将用于在不可靠的云服务之上构建模拟。
2014-07-29 cs.DC
Optimal Deployment of Geographically Distributed Workflow Engines on the Cloud
在编排Web服务工作流时，编排引擎的地理位置会极大地影响工作流性能。数据可能必须跨越很长的地理距离进行传输，这反过来又增加了执行时间并降低了工作流的整体性能。在本文中，我们提出了一个框架，给定一个基于DAG的工作流规范，计算最佳的Amazon EC2云区域来部署编排引擎和执行工作流。该框架采用了一个约束模型，解决了工作流部署问题，这是使用自动约束建模系统生成的。通过执行代表科学工作量的不同示例工作流来评估框架的可行性。实验结果表明，该框架减少了工作流的执行时间，并提供了1.3倍-2.5倍的速度超过集中式的方法。
2014-10-30 cs.DC
A Survey on Machine Learning for Geo-Distributed Cloud Data Center Management
Colorado State University（科罗拉多州立大学）
今天的云工作负载通常在分布式环境中进行管理，并在地理上分布的数据中心进行处理。云服务提供商一直在全球范围内分布数据中心，以降低运营成本，同时通过使用智能工作负载和资源管理策略来提高服务质量。软件工作负载和硬件资源的这种大规模和复杂的编排仍然是难以有效解决的问题。研究人员和实践者一直试图通过提出各种云管理技术来解决这个问题。数学优化技术历来用于解决云管理问题。但这些技术难以扩展到地理分布的问题规模，并且在动态异构系统环境中的适用性有限，迫使云服务提供商探索智能数据驱动和基于机器学习（ML）的替代方案。近年来，采用ML方法对复杂、异构和不断变化的分布式云资源和工作负载进行表征、预测、控制和优化受到了广泛关注。在本文中，我们回顾了用于云数据中心管理问题的最新ML技术。我们研究了当前研究中的挑战和问题，重点关注ML云管理，并探索解决这些问题的策略。我们还讨论了最近文献中提出的ML技术的优点和缺点，并对未来的研究方向提出了建议。
2022-05-17 cs.DC cs.LG
Hyper: Distributed Cloud Processing for Large-Scale Deep Learning Tasks
Princeton University（普林斯顿大学）；Snark AI
在实际应用中训练和部署深度学习模型需要处理大量数据。当数据量增长到100 TB甚至PB级时，这是一项具有挑战性的任务。我们引入了一个混合分布式云框架，该框架具有多个云的统一视图和内部部署基础设施，用于大规模使用CPU和GPU计算实例处理任务。该系统实现了分布式文件系统和容错任务处理调度器，独立于所使用的语言和深度学习框架。它允许利用云上不稳定的廉价资源来显着降低成本。我们展示了该框架在运行预处理，分布式训练，超参数搜索和大规模推理任务上的可扩展性，使用10，000个CPU核心和300个GPU实例，总处理能力为30 petaflops。
2019-10-16 cs.DC cs.LG
Designing Applications with Distributed Databases in a Hybrid Cloud
设计在混合云中使用的应用程序有许多功能。其中包括动态虚拟化管理和未知路由切换客户。这使得不可能评估查询，从而不可能评估数据的最佳分布。在本文中，我们制定了设计和仿真的主要挑战提供加工安装。
2015-02-19 cs.DB cs.DC
DGRAG: Distributed Graph-based Retrieval-Augmented Generation in Edge-Cloud Systems
Zhejiang University（浙江大学）
DGRAG是一种面向边缘-云计算系统的分布式图驱动检索增强生成框架，通过边缘设备本地知识图和云端轻量级索引实现隐私保护和高效检索。
2026-01-28 cs.AI cs.DC
Evaluation of Distributed Databases in Hybrid Clouds and Edge Computing: Energy, Bandwidth, and Storage Consumption
对现代分布式数据库的基准研究是在云边缘范例中选择正确的数据管理技术的重要信息来源。为了做出正确的决定，需要对各种硬件基础设施进行广泛的实验研究。虽然大多数最先进的研究仅调查了分布式数据库的响应时间和可伸缩性，但关注于其他各种度量（例如，能量、带宽和存储消耗）对于完全理解分布式数据库的资源消耗是必要的。此外，现有的研究已经探索了这些数据库在私有云或公共云中的响应时间和可扩展性。因此，对部署在混合云中的这些数据库的评估缺乏调查，混合云是公共云和私有云的无缝集成。为了解决这些研究空白，在本文中，我们调查的能源，带宽和存储消耗最常用的和常见的分布式数据库。为此，我们评估了混合云上的四个开源数据库（Cassandra，Mongo，Redis和MySQL），这些数据库跨越本地OpenStack和Microsoft Azure，以及各种边缘计算节点，包括Raspberry Pi，Raspberry Pi集群以及低功率和高功率服务器。我们广泛的实验结果揭示了一些有用的见解，在边缘云环境中的现代分布式数据库的部署选择。
2023-01-09 cs.DB cs.DC
ASYNC: A Cloud Engine with Asynchrony and History for Distributed Machine Learning
University of Toronto（多伦多大学）
ASYNC是一个框架，它支持在分布式计算平台上实现优化方法的查询和历史。在分布式机器学习中，异步优化方法的流行度已经增加。然而，它们在分布式系统上的适用性和实际实验是有限的，因为当前的批量处理云引擎不提供对数据和历史的强大支持。通过引入三个主要模块以及簿记系统特定和应用参数，ASYNC为从业者提供了一个实现异步机器学习方法的框架。为了演示ASYNC中的易于实现，在ASYNC中演示了两种著名的优化方法随机梯度下降和SAGA的同步和异步变体。
2020-02-21 cs.DC cs.LG
