Identity and Access Management Framework for Multi-tenant Resources in Hybrid Cloud Computing
虽然近年来越来越多的组织一直在尝试将其基础设施迁移到云端,但在混合云环境中如何管理身份和访问方面存在重大挑战。本文展示了一种新的身份和访问管理框架,在多租户混合云环境中的共享资源。本文演示了一种在云中实现本地身份的“镜像”身份的方法。遵循最佳安全实践,该框架确保只有合法用户才能在云中使用其镜像身份。此外,本文还提出了一种扩展框架以适应大型企业的技术。本文中展示的框架为企业在其混合云基础设施中实施身份和访问控制提供了全面且可扩展的解决方案。虽然本文的重点是在Google Cloud Platform中实现该框架,但它可以轻松应用于任何主要的公共云平台。
2022-03-22 cs.CR cs.DC cs.NI
Multi Armed Bandit Algorithms Based Virtual Machine Allocation Policy for Security in Multi-Tenant Distributed Systems
针对多租户分布式系统静态VM分配的安全缺陷,提出基于多臂老虎机的动态分配策略,搭配加权平均集成学习与堆叠异常检测器,在遗憾值和检测性能上均优于传统方法,提升云系统安全。
2024-10-06 cs.DC
CloudQC: A Network-aware Framework for Multi-tenant Distributed Quantum Computing
本文提出面向多租户量子云的框架CloudQC,通过设计电路放置与网络调度组件优化量子网络成本与计算时间,显著降低作业完成时间。
2025-04-29 cs.DC quant-ph
ROBUS: Fair Cache Allocation for Multi-tenant Data-parallel Workloads
处理大数据的系统-例如,Hadoop、Spark和大规模并行数据库需要同时代表多个租户运行工作负载。这些系统中丰富的基于磁盘的存储通常由更小但速度更快的{ \em缓存}来补充。缓存是一种宝贵的资源:使用缓存的租户可以看到两个数量级的性能提升。缓存也是一种有限的、因此是共享资源:与一次只能由一个租户使用的CPU核心等资源不同,缓存的数据项可以由多个租户同时访问。因此,缓存必须由多租户感知策略跨租户共享,每个租户都有一组唯一的优先级和工作负载特征。在本文中,我们开发的缓存分配策略,加快整体工作负载,同时对每个租户{ \em公平}。我们建立了一个新的公平性模型,针对共享资源设置,不仅采用了更标准的帕累托效率和共享激励的概念,但也定义了嫉妒自由度的概念,通过{ \em核心}从合作博弈论。我们的缓存管理平台,ROBUS,使用随机化在小的时间批次,我们开发了一个按比例公平分配机制,满足预期的核心属性。我们证明了该算法和相关的公平算法可以在多项式时间内逼近到任意精度。我们评估这些算法的ROBUS原型上实现的火花RDD存储作为缓存。我们的综合生成的行业标准的工作负载的评估表明,我们的算法提供了一个加速接近性能最优算法,同时保证租户之间的公平性。
2015-09-03 cs.DC
The National Research Platform: Stretched, Multi-Tenant, Scientific Kubernetes Cluster
本文介绍了国家研究平台(NRP),一个基于 Kubernetes 的跨域多租户分布式科学计算基础设施,通过整合全球 75 个以上地点的异构计算资源支持 AI 等科研负载,并探讨了其安全、监控及计费等运营经验与可扩展性。
2025-05-28 cs.DC
GACER: Granularity-Aware ConcurrEncy Regulation for Multi-Tenant Deep Learning
针对多租户深度学习中异构模型并发导致的调度与资源利用问题,提出GACER框架,从时空粒度进行自动化调节,实现高利用率、高吞吐和低延迟。
2023-04-23 cs.DC
Token Management in Multi-Tenant AI Inference Platforms
DataRobot
本文提出令牌池机制,用于多租户AI推理平台中平衡资源利用率与服务保证,通过统一的容量模型实现准入和自动扩展控制,提升系统在过载和资源稀缺时的性能与公平性。
2026-02-27 cs.DC cs.LG cs.OS
A Multi-layer hierarchical inter-cloud connectivity model for sequential packet inspection of tenant sessions accessing BI as a service
商业智能(BI)通过云计算获得了新的生命,因为它对无限硬件和平台资源可扩展性的需求通过云弹性特性得到了满足。BI可以无缝地部署在云上,因为它的多层模型与云的多层模型一致。它被许多云服务提供商认为是公共云、外包私有云和外包社区云上的主要应用服务之一。然而,在云计算的共享域中,BI由于漏洞利用、窃听、分布式攻击、恶意软件攻击以及云计算上的此类其他已知挑战而暴露于安全和隐私威胁。鉴于商业智能和云计算的多层模型,需要通过多层控制来确保其对云计算的保护。本文提出了一种基于云计算的BI即服务的多层安全隐私模型,该模型通过一种算法确保多层次的会话检查,并在所有七层上确保最大的安全控制,防止攻击的发生。这不仅可以降低安全漏洞的风险,还可以让组织有时间检测和响应攻击。模拟呈现了攻击者冒充真正的云租户对BI系统进行分布式攻击的影响。结果反映了为保护BI服务器和数据库而部署的多层安全和隐私控制如何阻止攻击者
2020-02-10 cs.DC
Towards Fair and Firm Real-Time Scheduling in DNN Multi-Tenant Multi-Accelerator Systems via Reinforcement Learning
University of Catania(卡塔尼亚大学)
针对多租户多加速器云环境中差异化 QoS 需求,提出基于深度强化学习的 DNN 在线实时调度算法,以截止时间命中率为 SLI,保障租户级和模型级服务质量。
2024-02-09 cs.AR cs.DC cs.LG
Resource-sharing Policy in Multi-tenant Scientific Workflow-as-a-Service Cloud Platform
社区中越来越多地采用科学工作流,这促使开发多租户平台,将这些工作流执行作为服务提供。因此,工作流即服务(WaaS)的概念已被研究人员创建,以解决未来的工作流管理系统(WMS)的设计,可以从一个单一的服务点服务于大量的用户。这些平台与传统的WMS不同之处在于,它们在运行时处理工作流的工作负载。传统的WMS通常被设计为在专用流程中执行单个工作流,而WaaS云平台通过在多租户环境模型中利用多个工作流执行来增强该流程。在本文中,我们探讨了一种新的资源共享策略,以提高系统利用率,并满足各种服务质量(QoS)的要求,从多个用户在WaaS云平台。提出了一种弹性预算约束的多工作流资源配置与调度算法,该算法通过鼓励资源共享来减少计算开销,从而在满足用户定义的预算的同时最小化工作流的最大完工时间。我们的实验表明,EBPSM算法可以利用资源共享的政策,以实现更高的性能,在最小化的最大完工时间相比,国家的最先进的约束调度算法。
2020-06-23 cs.DC
An Allocation Model for Attributing Emissions in Multi-tenant Cloud Data Centers
本文针对多租户云数据中心碳排放归因问题,与电信行业SaaS提供商合作,提出了一种公平分配运营排放的模型,并开发了碳足迹报告生成器,验证了模型的透明性、信息量和公平性。
2023-05-12 cs.DC
DriftSched: Adaptive QoS-Aware Scheduling under Runtime Token Drift for Multi-Tenant GPU Inference
University of California, Berkeley(加州大学伯克利分校)
提出DriftSched框架,通过运行时反馈驱动的漂移补偿和自适应偏差校正,解决多租户LLM推理中令牌漂移导致的调度问题,在NVIDIA L4 GPU上实现平均38.8%的估计误差降低和42%的中位延迟改善。
2026-06-23 cs.DC cs.LG cs.PF
Smart Multi-tenant Federated Learning
NTU(南洋理工大学);SenseTime Research(商汤科技研究院)
联邦学习(FL)是一种新兴的分布式机器学习方法,它可以在分散的边缘设备上进行原位模型训练。然而,多个同时的训练活动可能使资源受限的设备过载。在这项工作中,我们提出了一个智能多租户FL系统,MuFL,有效地协调和执行同步培训活动。我们首先形式化多租户FL的问题,定义多租户FL场景,并引入一个香草多租户FL系统,按顺序训练活动以形成基线。然后,我们提出了两种优化多租户FL的方法:1)活动合并将训练活动合并到一个具有多任务架构的活动中; 2)在训练轮之后,活动分裂通过利用活动之间的亲和力将其划分为组,使得组内的活动具有更好的协同作用。大量的实验表明,MuFL优于其他方法,同时消耗的能量减少40%。我们希望这项工作能够激励社区进一步研究和优化多租户FL。
2022-07-09 cs.AI cs.CV cs.DC
It's the People, Not the Placement: Rethinking Allocations in Post-Moore Clouds
针对后摩尔时代异构加速器云资源碎片化问题,提出从静态固定定价分配转向动态多边成本再谈判的分配机制,并设计运营商-租户-应用新交互架构,以提升资源效率并降低成本。
2025-01-19 cs.DC
Curator: Efficient Indexing for Multi-Tenant Vector Databases
Duke University(杜克大学);Yale University(耶鲁大学);Emerald Innovations
本文提出 Curator,一种面向多租户向量数据库的内存索引,通过将租户特定聚类树编码为共享聚类树的子树,同时实现低内存开销和高查询、插入、删除性能。
2024-01-13 cs.DB cs.DC cs.IR
Causal Inference for Quantifying Noisy Neighbor Effects in Multi-Tenant Cloud Environments
Federal University of Espírito Santo(圣灵联邦大学);Federal University of Ceará(塞阿拉联邦大学);Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学);University of São Paulo(圣保罗大学);University of Minho(米尼奥大学)
本文提出结合受控实验与多阶段因果推断的方法,量化多租户云环境中噪声邻居效应的严重性,并通过格兰杰因果分析建立因果关系,揭示了噪声邻居激活时因果联系的增加。
2026-04-03 cs.DC cs.NI
FoundationDB Record Layer: A Multi-Tenant Structured Datastore
FoundationDB记录层是一个开源库,它提供面向记录的数据存储,其语义类似于在FoundationDB之上实现的关系数据库,FoundationDB是一个有序的事务性键值存储。记录层提供了一种轻量级的、高度可扩展的方式来存储结构化数据。它提供了模式管理和一组丰富的查询和索引功能,其中一些功能通常在传统的关系数据库中找不到,例如嵌套记录类型、提交版本的索引以及跨多个记录类型的索引。记录层是无状态的,并为大规模多租户而构建,将租户的所有状态(包括索引)封装和隔离到单独的逻辑数据库中。我们演示了记录层是如何被苹果的云后端服务CloudKit使用的,为服务于数亿用户的应用程序提供强大的抽象。CloudKit使用记录层来托管数十亿个独立的数据库,其中许多数据库具有共同的模式。记录层提供的功能使CloudKit能够提供更丰富的API和更强大的语义,同时减少维护开销并提高可扩展性。
2019-03-29 cs.DB cs.DC
Simple Destination-Swap Strategies for Adaptive Intra- and Inter-Tenant VM Migration
本文探讨了自适应虚拟机(VM)迁移的机会和限制,以减少虚拟化环境中的通信成本。我们引入了一个新的形式化模型来解决两种情况下的虚拟机在线迁移问题:(1)虚拟机可以在底层网络中任意迁移;例如,私有云提供商可能具有降低网络中的总体通信成本的动机。(2)VM只能在给定租户内迁移;例如,被分配了一组物理机器的用户可以交换这些机器上的VM的功能。我们提出了一类简单的目的地交换算法,它是基于一个积极的搭配策略(灵感来自splay datastructures),并保持最小和本地量的每节点(摊销成本)的信息,以决定在哪里迁移VM,以及如何,因此,该算法的反应迅速的负载变化。这些算法有两种主要的风格,一种是间接和分布式的变体,它使现有的VM放置保持在本地,另一种是直接的变体,它使受影响的VM的数量保持很小。我们表明,自然,租户间优化产生更大的优化潜力,但一般也租户本身可以提高其嵌入。此外,直接和间接策略之间存在一个有趣的权衡:间接变体由于其局部性而在倾斜和稀疏的通信模式下更可取。
2013-09-23 cs.DC cs.DS
DYVERSE: DYnamic VERtical Scaling in Multi-tenant Edge Environments
Queen’s University Belfast(贝尔法斯特女王大学)
本文提出DYVERSE,一种轻量级动态垂直扩展机制,用于管理边缘环境中分配给应用的资源,以促进多租户环境。通过三种不同的优先级管理方法,DYVERSE减少了服务级别目标(SLO)的违反率,并在云边测试床上验证了其有效性。
2020-02-21 cs.DC cs.SY eess.SY
Private Virtual Tree Networks for Secure Multi-Tenant Environments Based on the VIRGO Overlay Network
Hangzhou Domain Zones Technology Co., Ltd.(杭州域区科技有限公司)
本文提出PVTNs,通过加密机制在VIRGO叠加网络上实现安全的多租户环境组织结构。
2025-12-17 cs.CR cs.DC
Resource Sharing for Multi-Tenant NoSQL Data Store in Cloud
Indiana University(印第安纳大学)
本文研究多租户NoSQL数据存储中资源共享问题,提出两种解决方案:针对独立数据本地文件系统和共享数据并行文件系统的调度方案与工作负载感知资源预留方法,以提高性能和适应动态工作负载。
2016-01-05 cs.AI cs.DB cs.DC
Foggy: A Platform for Workload Orchestration in a Fog Computing Environment
在本文中,我们提出了雾,一个架构框架和软件平台的基础上开源技术。Foggy可为多层、分布式、异构和分散式云计算系统协调应用工作负载、协商资源并支持物联网操作。Foggy是为5G网络和物联网等新兴领域量身定制的,这些领域需要遵循雾计算范式,将资源和服务分布并靠近数据源和用户。Foggy为基础设施所有者和租户提供了一个平台(即,应用程序提供商)提供协商、调度和工作负载放置的功能,同时考虑传统要求(例如基于RAM、CPU、磁盘)和非传统要求(例如基于联网)以及对位置和访问权的多样化约束。在不久的将来,Foggy模型也可以考虑资源的经济和定价。通过视频监控和车辆跟踪环境中的三个用例,Foggy能够在基础设施所有者和租户的需求之间找到平衡,在有效和优化使用基础设施的同时满足应用程序的要求。
2018-09-29 cs.DC
Dependable Management of Untrusted Distributed Systems
分布式系统的在线管理的传统方法-以网络管理的SNMP和基于面向服务计算(SOC)的系统的WSDM等标准为代表-依赖于被管理系统的组件在管理过程中进行协作,通过向管理者提供监视它们的状态和活动以及控制它们的行为的手段。不幸的是,对于许多类型的系统(例如基于SOA的系统)来说,这样对被管理组件的合作的信任是不必要的,这使得对这种系统的传统管理变得不可靠和不安全。本文介绍了一种全新的方法来管理分布式系统,称为基于治理的管理(GBM),它是基于一个中间件,可以管理系统组件之间的消息交换。GBM具有以可靠和安全的方式管理分布式系统的能力,即使没有被管理组件的任何值得信赖的合作。它可以充分结合传统的管理技术,只要这种合作是可信的。GBM还支持自反式管理模式,它管理管理过程本身,使其更安全。然而,GBM仍然是一项正在进行中的工作,因为它提出了几个开放的问题,需要解决之前,这种管理技术可以付诸实践。
2014-03-18 cs.DC
Heuristic Search Space Partitioning for Low-Latency Multi-Tenant Cloud Queries
Palo Alto Networks, Inc.(帕洛阿尔托网络公司)
本文提出HSSPS系统,通过动态谓词注入在查询时划分搜索空间,减少查询所需访问的页面数,从而降低延迟并提升吞吐量,实验证明在多租户云查询中显著提升性能。
2026-04-21 cs.DB cs.DC
On Scheduling Ring-All-Reduce Learning Jobs in Multi-Tenant GPU Clusters with Communication Contention
在深度学习(DL)技术进步的推动下,机器学习和人工智能取得了惊人的成功。然而,对DL的快速增长的需求也导致了用于大规模DL训练的通信和资源密集型分布式训练任务,这些任务通常部署在GPU集群上。为了维持对DL训练的不断增长的需求,所谓的“环全归约”(RAR)技术最近已经成为一种有利的计算架构,以有效地处理GPU集群中的网络通信和计算负载。RAR最显著的特点是它消除了对专用参数服务器的需求,从而缓解了潜在的通信瓶颈。然而,当多个基于RAR的DL训练作业部署在GPU集群上时,由于DL训练作业之间的竞争,仍然可能发生通信瓶颈。到目前为止,仍然缺乏对如何设计基于RAR的DL训练作业的竞争感知资源调度算法的理论理解,这促使我们在这项工作中填补这一空白。我们的主要贡献有三个方面:i)我们开发了一个新的分析模型,该模型描述了与作业的工人分布相关的通信开销和与不同作业的协同定位相关的通信竞争; ii)基于所提出的分析模型,我们将问题表示为非凸整数规划,以最小化所有基于RAR的DL训练作业的完工时间。为了解决这个问题,是不适合优化算法设计的独特结构,我们重新制定成一个整数线性规划的问题,使可证明的近似算法设计称为SJF-BCO(最小的工作优先与平衡的竞争和开销);和iii)我们进行了广泛的实验,以显示SJF-BCO的优越性超过现有的排序器。
2022-08-14 cs.DC
A Framework for Constraint-Based Deployment and Autonomic Management of Distributed Applications
我们提出了一个基于组件的分布式应用程序的部署和随后的自主管理框架。使用声明性约束语言指定初始部署目标,表达组件-主机映射和组件互连拓扑等方面的约束。约束求解器用于找到满足目标的配置,并且配置被自动部署。对部署的应用程序进行检测,以允许后续的自主管理。如果在执行期间,管理器检测到不再满足原始目标,则可以自动重复满足/部署过程,以便生成满足目标的修订部署。
2010-06-23 cs.DC
A Middleware Framework for Constraint-Based Deployment and Autonomic Management of Distributed Applications
我们提出了一个基于组件的分布式应用程序的部署和随后的自主管理的中间件框架。使用声明性约束语言指定初始部署目标,表达组件-主机映射和组件互连拓扑等方面的约束。约束求解器用于找到满足目标的配置,并且配置被自动部署。对部署的应用程序进行检测,以允许后续的自主管理。如果在执行期间,管理器检测到不再满足原始目标,则可以自动重复满足/部署过程,以便生成满足目标的修订部署。
2010-06-24 cs.DC
EdgeLoRA: An Efficient Multi-Tenant LLM Serving System on Edge Devices
University of Maryland, College Park(马里兰大学)
EdgeLoRA 针对边缘多租户 LLM 服务中的适配器选择复杂和内存开销问题,提出自适应适配器选择、异构内存管理及批量 LoRA 推理三项机制,在 Llama3.1-8B 上实现吞吐量最高 4 倍提升,并能同时服务数量级更多的适配器。
2025-07-02 cs.AI cs.DC cs.LG
Distributed Hierarchical Control versus an Economic Model for Cloud Resource Management
我们研究了分层组织的云基础设施,并将基于资源监控的分布式分层控制与资源管理的市场机制进行了比较。后者不需要系统模型,开销低,健壮,并满足其他几个自主计算的需要。我们介绍了几个性能指标和报告的模拟研究表明,一个简单的投标方案支持一个有效的准入控制机制,同时降低了几个数量级的通信复杂性,也增加了接受率相比,分层控制和监测机制。基于市场机制的资源管理可以被视为云自组织的中间步骤,是当前云资源管理机制的理想替代方案。
2015-04-14 cs.DC
An improved tile-based scalable distributed management model of massive high-resolution satellite images
随着对地观测的快速发展和卫星遥感及传感器技术的发展,遥感数据量以前所未有的速度增长。传统的关系数据库在满足高分辨率、大规模遥感大数据数据管理的需求时,已经出现了自身的局限性。因此,海量遥感数据管理是当前最迫切的课题之一。为了解决这个问题,本文描述了一个分布式架构的大RS数据存储的基础上,统一的元数据文件,金字塔模型和希尔伯特曲线的数据组合和索引使用NoSQL数据库(即Apache Hbase)。本文在AzureInsight云平台上设计了一个基于Hadoop的框架,以并行和分布式的方式管理海量RS数据。实验结果表明,该方法有潜力克服传统方法的弱点。该模型适用于海量高分辨率影像数据管理。
2021-05-11 cs.DC
A Framework for Constraint-Based Deployment and Autonomic Management of Distributed Applications (Extended Abstract)
我们提出了一个基于组件的分布式应用程序的部署和随后的自主管理框架。使用声明性约束语言指定初始部署目标,表达组件-主机映射和组件互连拓扑等方面的约束。约束求解器用于找到满足目标的配置,并且配置被自动部署。对部署的应用程序进行检测,以允许后续的自主管理。如果在执行期间,管理器检测到不再满足原始目标,则可以自动重复满足/部署过程,以便生成满足目标的修订部署。
2010-06-24 cs.DC
Distributed Management of Massive Data: an Efficient Fine-Grain Data Access Scheme
针对大规模分布式环境下海量数据块的高效存储和访问问题,提出了一种基于数据块的数据子集细粒度访问方法。这个问题在数据库、数据采掘和多媒体领域的应用中至关重要。我们提出了一个数据共享服务的基础上分布式,基于RAM的数据存储,同时利用基于DHT的,原生并行元数据管理方案。相对于最常用的网格存储基础设施,提供明确的数据本地化和传输机制,我们提供了一个透明的访问模型,通过全局标识符访问数据。我们的建议已通过原型实施,其初步评估提供了有前途的结果进行了验证。
2008-10-13 cs.DC
Autonomic Management in a Distributed Storage System
本文研究了自治管理在分布式存储系统中的应用。在实验中测量了对性能和资源消耗的影响,这些实验是在局部区域测试台上进行的。这些实验是用一个特定的分布式存储系统的组件进行的,但试图适用于广泛的此类系统,特别是那些暴露于不同条件的系统。分布式存储系统的感知特性取决于其配置参数和各种动态条件。对于给定的一组条件,一个特定的配置可能比另一个更好的措施,如资源消耗和性能。在这里,配置参数值是动态设置的,并将结果与静态配置进行比较。假设在不变的条件下,这将允许系统收敛于比任何可以先验设置的配置都更合适的配置。此外,系统可以通过采用更合适的配置来对条件的变化做出反应。自治管理被应用于分布式存储系统ASA的对等(P2P)和数据检索组件。各种工作量和流失模式的影响进行了实验测量。管理政策和机制的实施使用一个通用的自主管理框架,在这项工作中开发。自主管理的实验评估显示出可喜的成果,并提出了几个未来的研究课题。本论文的研究结果可以利用在建立其他分布式存储系统,专注于利用用户工作站上的存储,因为这些是特别有可能暴露于变化,不可预测的条件。
2010-07-02 cs.DC
A Grammatical Approach to Data-centric Case Management in a Distributed Collaborative Environment
本文提出了一个纯粹的声明性的方法,以工件为中心的案例管理系统,和这个模型的分散计划。每种情况都以树状结构呈现;节点承载数据和计算相结合的信息。每个节点都属于一个给定的涉众,语义规则控制着树结构的演化,以及数据值如何从源自节点上下文的信息中导出。涉众通过异步消息传递进行通信,无需共享内存,从而实现方便的分发。
2014-05-13 cs.DC
Pilot-Edge: Distributed Resource Management Along the Edge-to-Cloud Continuum
许多科学和工业物联网应用需要跨边缘到云连续体进行数据处理,以满足性能、安全性、成本和隐私要求。然而,需要各种抽象和基础设施来管理边缘到云场景中的资源和任务。我们提出Pilot-Edge作为跨边缘到云连续体的资源管理的通用抽象。Pilot-Edge基于试点抽象,它简化了资源和工作负载管理,并为应用程序级任务提供了功能即服务(FaaS)接口。这种抽象允许应用程序将公共功能封装在高级任务中,然后可以跨连续体配置和部署这些任务。我们使用机器学习工作负载(例如,k-means和自动编码器)。我们的实验演示了Pilot-Edge如何管理分布式资源,并允许应用程序基于多个因素(例如,模型复杂性、吞吐量和等待时间)。
2021-04-07 cs.DC
Economic-based Distributed Resource Management and Scheduling for Grid Computing
计算网格作为下一代计算的基础设施,能够共享、选择和聚合地理上分布的资源,以解决科学、工程和商业中的大规模问题。由于网格中的资源是异构的,并且在地理上分布,具有不同的可用性以及针对不同用户在不同时间的各种使用和成本策略,并且优先级以及目标随时间而变化。在这样一个大型的分布式环境中,资源管理和应用程序调度是一项复杂的任务。本论文提出了一个分布式计算经济作为一个有效的隐喻资源管理和应用程序调度。提出了一种支持资源交易和基于服务质量的调度的体系结构框架。它使资源的供应和需求的监管,并提供了一个激励资源所有者参与网格和动机的用户之间的最后期限,预算和所需的服务质量水平进行权衡。论文通过开发用户服务质量需求驱动的调度策略和算法,展示了基于经济的系统用于对等分布式计算的能力。它证明了他们的有效性,通过执行调度实验在全球范围内的网格解决参数扫描应用程序。
2002-04-22 cs.DC
Configuration management in the distributed cloud
针对分布式云环境中配置与代码分离的需求,本文为开源分布式云平台设计并实现了一个跨云层的配置管理子系统,支持版本控制、选择性分发和命名空间隔离。
2024-10-26 cs.DC
Multi-tenant Kubernetes Use Cases for AI, Secure Computing and Data Services, and More
University of Bristol(布里斯托大学);Hewlett Packard Enterprise(惠普企业)
本文在HPE Cray EX超级计算机Isambard-AI上评估Kubernetes部署,针对AI、安全计算等场景设计用例,探讨挑战及Kubernetes作为批处理系统补充的发展方向。
2026-08-04 cs.AI cs.DC cs.PF
Flex-MIG: Enabling Distributed Execution on MIG
SungKyunKwan Univeristy(成均馆大学);Ajou Univeristy(亚洲大学)
针对MIG硬件刚性和一对一分配模型导致的集群碎片化与利用率不足问题,提出纯软件框架Flex-MIG,以一对多分配模型替代一对一模型,实现MIG实例间主机共享内存集合通信,减少碎片化并将完工时间最多缩短17%。
2025-11-13 cs.DC
Distributed Resource Management in Systems of Systems: An Architecture Perspective
本文介绍了一个框架,研究自治系统组件的相互作用和系统(SoSs)的连接结构的设计。这个框架,它使用复杂的网络模型,也被用来研究连接结构对资源管理的影响。我们讨论资源共享的机制,增加了一个层次的灵活性,分布式系统和描述的连接结构,提高组件的访问系统内可用的资源。本文介绍的框架明确纳入成本的连接和直接和间接获得资源的好处,并提供了连接结构的最优性的措施。我们讨论了中央和分布式计划,分别代表系统中,中央计划确定的连接结构和系统中,允许分布式组件添加和切断连接,以提高自己的资源访问。此外,我们确定最佳的连接结构的系统具有各种异质性条件。
2016-08-04 cs.DC
GridSim: A Toolkit for the Modeling and Simulation of Distributed Resource Management and Scheduling for Grid Computing
集群、网格和对等(P2P)网络已成为下一代并行和分布式计算的流行范例。在这种大规模的分布式系统中,资源的管理和应用程序的调度是一项复杂的任务。为了证明资源代理和相关调度算法的有效性,需要在不同的场景下评估它们的性能,例如不同数量的资源和具有不同需求的用户。在网格环境中,由于资源和用户分布在多个组织中,并且具有各自的策略,因此很难甚至不可能以可重复和可控的方式执行调度器性能评估。为了克服这个限制,我们已经开发了一个基于Java的离散事件网格仿真工具包GridSim。该工具包支持异构网格资源(时间和空间共享)、用户和应用程序模型的建模和仿真。它为应用程序任务的创建、任务到资源的映射及其管理提供了原语。为了证明GridSim工具包的适用性,我们模拟了Nimrod-G网格资源代理和评估的最后期限和预算约束的成本和时间最小化调度算法的性能。
2002-03-14 cs.DC
Complete Decentralization of Distributed Data Storages Based on Blockchain Technology
这项工作提出了一个解决方案,完全分散的数据管理系统在地理上分散的环境与管理无关或松散相关的用户组,并在部分或完全缺乏信任的条件下,他们之间。该解决方案基于区块链技术、智能合约和来源元数据驱动的数据管理的集成。所开发的体系结构、操作原理和算法提供了对出处元数据的容错、安全和可靠的管理,对数据文件的操作的控制,以及协作分布式计算系统中的资源访问管理。后者是指在某个项目的框架内,将不同组织(机构)的计算机资源组合成一个单一的池,共同工作而形成的分布式系统。
2021-12-20 cs.DC
Tromino: Demand and DRF Aware Multi-Tenant Queue Manager for Apache Mesos Cluster
Apache Mesos是一个两级资源调度器,在多租户集群环境中提供跨多个用户的资源共享。计算资源(即,CPU、内存、磁盘等)根据主导资源公平(DRF)策略进行分配。Mesos框架(用户)根据其当前使用情况接收资源,并负责在分配范围内调度其任务。我们已经观察到,在多用户环境中,多个框架可能会导致公平性不平衡。例如,一个贪婪的框架消耗了超过其公平份额的资源,可以拒绝对其他人的资源公平性。DRF模块首先考虑具有最小主导份额的用户以获得其资源分配。然而,Apache Mesos的主分配模块中的默认DRF实现并不考虑每个用户/框架队列中任务的总体资源需求。这种意识的缺乏可能导致没有任何未决任务的用户接收更多的资源提供,而具有未决任务队列的用户由于其高主导份额而挨饿。我们已经开发了一个策略驱动的队列管理器,Tromino,为Apache Mesos集群的任务,为各个框架可以根据每个框架的整体资源需求和当前的资源消耗进行调度。Tromino的主导份额和需求感知以及基于这些属性的调度可以减少(1)由于框架特定配置而导致的不公平的影响,以及(2)由于未决任务队列中的较高资源需求而导致的不公平的等待时间。在最好的情况下,Tromino可以通过使用所提出的Demand-DRF感知策略来显着减少框架的平均等待时间。
2019-05-21 cs.DC cs.PF
Fully distributed and fault tolerant task management based on diffusions
任务管理是计算网格的一个重要组成部分。其目的是根据全局调度策略和节点的本地资源的视图来分配任务。一个对等的任务管理方法涉及到网格的更好的可伸缩性和更高的容错。但是,必须提出一些机制来避免计算的复制任务,这可能会降低效率,增加节点的负载。同样,这些机制必须限制交换的消息的数量,以避免网络过载。在以前的论文中,我们已经提出了两种方法的任务管理称为主动和被动。这些方法基于随机游走:它们是完全分布式和容错的。每个节点拥有一个本地任务状态集,由于随机游走而更新,每个节点负责本地分配。在这里,我们提出了三种方法来提高主动方法的效率。这些新方法是基于一个流传的词。节点的本地任务状态集的更新由于周期性的扩散沿树从循环词。特别是,我们表明,这些方法提高了主动方法的效率:它们产生较少的重复任务。这三种方法也是完全分布式和容错的。另一方面,循环词可以用于其他应用,如资源管理或节点同步。
2008-12-03 cs.DC
Memory DoS Attacks in Multi-tenant Clouds: Severity and Mitigation
在云计算中,网络拒绝服务(DoS)攻击得到了很好的研究,并且已经实现了防御,但是由单个敌对VM对受害者的工作存储器的严重DoS攻击还没有得到很好的理解。内存拒绝服务攻击是由云服务器上的硬件内存资源争用引起的拒绝服务(或服务降级)攻击。尽管云服务器中的软件虚拟化层对虚拟机(VM)实施了强大的内存隔离技术,但底层硬件内存层仍然由VM共享,并且可以被位于与受害者VM相同的服务器上的恶意VM中的聪明攻击者利用,从而拒绝受害者所需的工作内存。我们首先定量显示不同的内存资源上的竞争的严重性。然后,我们表明,恶意的云客户可以安装低成本的攻击,导致Hadoop分布式应用程序的性能严重下降,并在亚马逊EC2云中的电子商务网站的响应时间延迟38倍。然后,我们设计了一个有效的,新的防御这些内存拒绝服务攻击,使用统计指标来检测它们的存在和执行节流,以减轻攻击的损害。我们实现这一点的一个新的重新利用现有的硬件性能计数器和占空比调制的安全性,而不是提高性能或功耗。我们在OpenStack云系统上实现了一个完整的原型。我们的评估表明,该防御系统可以有效地击败内存拒绝服务攻击,可以忽略不计的性能开销。
2017-10-04 cs.CR cs.DC
Model-driven Cluster Resource Management for AI Workloads in Edge Clouds
由于物联网(IoT)分析和增强现实等新兴边缘应用具有严格的延迟限制,最近提出了硬件AI加速器来加速这些应用运行的深度神经网络(DNN)推理。资源受限的边缘服务器和加速器往往会在多个物联网应用程序中进行复用,这可能会在延迟敏感的工作负载之间引入性能干扰。在本文中,我们设计了分析模型来捕获DNN推理工作负载在不同复用和并发行为下在共享边缘加速器(如GPU和edgeTPU)上的性能。在使用广泛的实验验证了我们的模型之后,我们使用它们来设计各种集群资源管理算法,以智能地管理边缘加速器上的多个应用程序,同时尊重它们的延迟限制。我们在Kubernetes中实现了我们系统的原型,并表明与传统的背包托管算法相比,我们的系统可以在异构多租户边缘集群中托管2.3倍以上的DNN应用程序,并且没有延迟违规。
2022-01-18 cs.DC cs.SY eess.SY
Applying Constraint Solving to the Management of Distributed Applications
我们提出了我们的方法部署和管理分布式组件为基础的应用程序。用高级声明性语言编写的期望状态描述(DSD)指定了分布式应用程序的要求。我们的基础设施接受DSD作为输入,并从它自动配置和部署分布式应用程序。随后发现违反最初要求的情况,并在可能的情况下通过重新配置和重新部署必要的应用程序组件自动纠正。约束求解工具用于规划满足应用程序要求的部署。
2010-06-17 cs.DC cs.SE
A Survey on Machine Learning for Geo-Distributed Cloud Data Center Management
Colorado State University(科罗拉多州立大学)
今天的云工作负载通常在分布式环境中进行管理,并在地理上分布的数据中心进行处理。云服务提供商一直在全球范围内分布数据中心,以降低运营成本,同时通过使用智能工作负载和资源管理策略来提高服务质量。软件工作负载和硬件资源的这种大规模和复杂的编排仍然是难以有效解决的问题。研究人员和实践者一直试图通过提出各种云管理技术来解决这个问题。数学优化技术历来用于解决云管理问题。但这些技术难以扩展到地理分布的问题规模,并且在动态异构系统环境中的适用性有限,迫使云服务提供商探索智能数据驱动和基于机器学习(ML)的替代方案。近年来,采用ML方法对复杂、异构和不断变化的分布式云资源和工作负载进行表征、预测、控制和优化受到了广泛关注。在本文中,我们回顾了用于云数据中心管理问题的最新ML技术。我们研究了当前研究中的挑战和问题,重点关注ML云管理,并探索解决这些问题的策略。我们还讨论了最近文献中提出的ML技术的优点和缺点,并对未来的研究方向提出了建议。
2022-05-17 cs.DC cs.LG
Software Defined Edge Computing for Distributed Management and Scalable Control in IoT Multinetworks
最近,边缘计算已经成为支持物联网多网络中移动访问的一个有前途的范例。然而,异构无线通信方案的共存给此类网络中的移动性管理和接入控制带来了新的挑战。为了保持其计算连续性,软件定义网络(SDN)架构可以应用于分布式边缘网络,其为移动性管理提供一致的框架并为访问控制创建安全机制。在本文中,我们首先回顾了最先进的SDN技术及其在边缘计算中的应用。特别是,我们强调了与边缘计算环境中SDN的移动性管理和访问控制相关的突出问题。我们还介绍了一些有效的解决方案,这些问题,通过提出现实世界的测试床实验,原型和数值分析采用基于SDN的边缘计算范例的物联网多网络。
2021-04-06 cs.DC cs.NI
An SMDP-based Resource Management Scheme for Distributed Cloud Systems
本文研究了地理分布云系统中的资源管理问题。采用Follow Me Cloud概念,实现跨联合数据中心(DC)的服务迁移。因此,有两种类型的服务请求到DC,即,在本地服务区域中发起的新请求(NR)和当移动用户跨服务区域移动时生成的迁移请求(MR)。提出了一种新的资源管理方案,帮助资源管理器决定是否接受服务请求(NR或MR),并确定多少资源应分配给每个服务(如果接受)。优化目标是最大化系统平均回报,并保持服务请求的拒绝概率在一定的阈值之内。数值结果表明,与其他资源管理方案相比,该方案能显著提高系统的整体效用和用户体验.
2015-03-18 cs.DC cs.NI
Caching Structures for Distributed Data Management in P2P-based Social Networks
分布式应用程序需要新的解决方案来解决由于带宽、内存和处理能力等资源稀缺而出现的问题。分布式数据管理就是这些挑战之一。挑战是两个部分的问题,确保内容在访问时是有效的,并在更改时立即更新。当考虑到基于p2p的分布式在线社交网络时,这一点尤其困难,这种网络的目标是在通常不可靠和不安全的设备上构建可靠、安全的社交网络平台。在本文中,我们提出了三种选择策略,随机,趋势和社会评分,社会缓存机制。他们考虑了社会网络中的社会互动模式。我们实现和评估他们在一个基于DHT的分布式在线社交网络LibreSocial,并表明社会分数是最好的策略。此外,我们实现了社会缓存解决方案,并表明,当与现有的缓存解决方案结合使用时,几乎所有的请求都可以通过缓存服务,同时保持更新过程中数据的一致性。
2020-04-15 cs.DC cs.SI
Continual Distributed Learning for Crisis Management
Manipal Institute of Technology(马尼帕尔理工学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);K J Somaiya College of Engineering(KJ索马亚工程学院)
Twitter、Facebook等社交媒体平台可作为灾害事件期间的重要信息来源。这些信息如果得到准确和迅速的处理,可用于灾害应对和危机管理。然而,在这种情况下出现的数据是不断变化的,在这种危机期间使用大量资源是不可行的。因此,我们必须开发一个低资源和不断学习的系统,结合文本分类模型,对噪声和无序的数据是强大的。我们利用分布式学习,使我们能够在资源受限的设备上学习,然后为了减轻目标神经网络中的灾难性遗忘,我们利用正则化。然后,我们将联邦平均应用于分布式学习,并聚合中心模型用于持续学习。
2021-07-01 cs.DC cs.LG
Access Control Management for Computer-Aided Diagnosis Systems using Blockchain
计算机辅助诊断(CAD)系统已经出现,以支持临床医生解释医学图像。CAD系统传统上与人工智能(AI)、计算机视觉和数据增强相结合,以评估医学图像中的可疑结构。这一评估产生了大量的数据。传统的CAD系统属于单一机构,集中处理数据访问管理。然而,CAD系统的出现,多个机构之间的研究需要分布式访问管理。这项研究提出了一种基于区块链的解决方案,以实现CAD系统中的分布式数据访问管理。该解决方案已在联盟网络中使用以太坊开发为分布式应用程序(DApp)。
2020-06-20 cs.CR cs.DC
Artificial Intelligence (AI)-Centric Management of Resources in Modern Distributed Computing Systems
The University of Melbourne(墨尔本大学);Amazon Web Services (AWS)(亚马逊云科技(AWS))
诸如云数据中心的当代分布式计算系统(DCS)是大规模的、复杂的、异构的,并且分布在多个网络和地理边界上。另一方面,物联网(IoT)驱动的应用程序正在产生大量数据,需要实时处理和快速响应。有效地管理这些资源以向最终用户或应用程序提供可靠的服务是一项具有挑战性的任务。现有的资源管理系统(RMS)依赖于静态或启发式的解决方案不适合这样的复合和动态系统。由于数据可用性和处理能力,人工智能(AI)的出现表现为在RMS任务中探索数据驱动的解决方案的可能性,这些解决方案是自适应的,准确的,高效的。在这方面,本文的目的是得出在资源管理中的数据驱动的解决方案的动机和必要性。它确定了与之相关的挑战,并概述了未来潜在的研究方向,详细说明了在不同的RMS任务中如何应用数据驱动技术。最后,它为DCS提供了一个概念性的数据驱动RMS模型,并展示了两个实时用例(GPU频率扩展和来自Google Cloud和Microsoft Azure的数据中心资源管理),展示了以AI为中心的方法的可行性。
2020-11-07 cs.DC cs.LG