Data Placement for Multi-Tenant Data Federation on the Cloud
由于用户的隐私问题以及数据安全和隐私方面的执法,组织之间共享数据变得越来越困难。数据联邦通过提供抽象的数据接口,为组织间的数据协作带来了新的机遇。随着云计算的发展,组织将数据存储在云上,以实现数据处理的弹性和可扩展性。现有的数据布局方法通常只考虑执行时间或金钱成本的一个方面,而不考虑硬约束的数据划分。在本文中,我们提出了一种方法,使来自不同组织的数据在云上进行数据处理。该方法由名为FedCube的数据联合平台和基于Lyapunov的数据放置算法组成。FedCube支持在云上进行数据处理。我们使用的数据放置算法来创建一个计划,以分区和存储数据在云上,以实现多个目标,同时满足基于多目标成本模型的约束。成本模型由两个目标组成,即,降低了货币成本和执行时间。我们提出了一个实验评估表明,我们提出的算法显着降低总成本(高达69.8%)相比,现有的方法。
2021-12-15 cs.DC
Decentralized Overlay for Federation of Enterprise Clouds
本章介绍Aneka-Federation,这是一个分散的分布式系统,它结合了企业云、覆盖网络和结构化对等技术,为高吞吐量计算创建可扩展的计算节点广域网络。Aneka-Federation集成了许多小规模的Aneka企业云服务和节点,这些服务和节点分布在多个控制和企业域中,作为单个协调资源租赁抽象的一部分。该系统的设计目标是使分布式企业云资源整合和应用编程灵活、高效、可扩展。该系统的设计,使它:使现有的Aneka企业云的无缝集成的一部分,单一的广域资源租赁联邦;自组织的系统组件的基础上结构化的对等路由方法;并提出了一个分布式的应用程序组合环境,可以支持各种编程和执行模型的最终用户。本章描述了一种新颖的,可扩展的和分散的对等技术的设计和实现,该技术有助于发现,连接和提供Aneka企业云的服务,用户可以使用不同的编程模型来组成他们的应用程序。这里描述了对系统的评估,其中应用程序是在Aneka企业云的覆盖之上使用任务和线程执行模型编程的。
2008-11-16 cs.DC cs.NI
InterCloud: Utility-Oriented Federation of Cloud Computing Environments for Scaling of Application Services
云计算提供商已经在互联网上的不同地理位置设置了多个数据中心,以便最佳地满足其全球客户的需求。然而,现有系统不支持用于在不同的基于云的数据中心之间动态地协调负载分布以便确定用于托管应用服务的最佳位置以实现合理的QoS水平的机制和策略。此外,云计算提供商不能预测消费其服务的用户的地理分布,因此负载协调必须自动发生,并且服务的分布必须响应于负载的变化而变化。为了解决这个问题,我们提倡创建联邦云计算环境(InterCloud),以促进应用服务的及时、机会和可扩展的供应,在可变的工作负载、资源和网络条件下始终如一地实现QoS目标。总体目标是创建一个支持动态扩展或收缩功能(VM、服务、存储和数据库)的计算环境,以处理服务需求的突然变化。本文介绍了面向实用程序的云计算环境联邦的InterCloud的愿景、挑战和架构元素。建议的InterCloud环境支持跨多个供应商云的应用程序扩展。我们已经验证了我们的方法进行了一系列严格的性能评估研究,使用CloudSim工具包。结果表明,联邦云计算模型具有巨大的潜力,因为它提供了显着的性能增益方面的响应时间和成本节约动态工作负载的情况下。
2010-03-20 cs.DC
Fourth Industrial Revolution for Development: The Relevance of Cloud Federation in Healthcare Support
低效率的医疗保健是许多非洲国家的一个主要问题,可以通过建立连接不同医疗设施的世界级基础设施进行协作和资源共享来缓解。这种基础设施应支持收集和交换医疗数据,以便获得当地没有的专门知识。它应该配备第四次工业革命的现代技术,为医生提供决策支持,从而使非洲国家从设备不足跨越到医疗准备。可悲的是,世界级的医疗基础设施是非洲公共卫生生态系统中缺失的一部分。医疗设施要么根本不存在,要么即使存在也贵得令人望而却步。联合云计算可以为这一挑战提供解决方案。作为一种允许多个云服务提供商通过资源池进行协作的模型,它允许在计算资源上灵活且经济高效地执行任务。本文旨在通过使用合作和竞争协作模式提出医疗保健云联盟来连接非洲未连接的医疗设施。使用五种不同的工作量分配方案进行模拟以测试这些模型的有效性:首先拟合下降(FFD),最佳拟合下降(BFD),二进制搜索最佳拟合(BSBF);遗传算法元启发式和稳定室友分配经济模型用于轻和重工作量。仿真结果表明,合作模式导致更低的延迟,但更高的资源利用率,而竞争提供更快的服务交付和更好的服务质量。BSBF和BFD实现了最佳的资源利用和能源节约。最后,介绍了非洲医疗保健联合云的部署考虑因素和潜在商业模式。
2019-11-05 cs.CY cs.DC
Self Organization Agent Oriented Dynamic Resource Allocation on Open Federated Clouds Environment
为了确保联合云提供商向云客户提供不间断的服务,必须保证向用户高效分配云资源,以提高客户满意度和服务提供质量。最好是获得尽可能多的计算和存储资源。在云计算领域,已经提出了多种多Agent资源分配方法来实现动态资源分配问题。然而,这个问题仍然是开放的,在这一领域还有许多工作要做。在云计算中,鲁棒性是非常重要的,因此本文重点研究了开放联邦云计算环境下的自适应方法。我们的方法是混合的,我们首先采用现有的组织优化方法的自组织在代理代理组织,结合现有的多代理资源分配方法在联邦云。我们考虑一个开放的云联盟环境,它是动态的,并在不断发展,新的云运营商可以加入或离开这个联盟。同时,我们的方法是多标准,可以考虑到各种参数(即计算负载平衡的中介代理,地理距离(网络延迟)之间的客户和供应商.)。
2020-01-21 cs.DC
FedApp: a Research Sandbox for Application Orchestration in Federated Clouds using OpenStack
多集群联合被认为是下一代云基础设施,它将在实现边缘和雾计算等概念方面发挥重要作用。在联邦环境中部署应用对负载平衡、自动伸缩、资源分配和服务迁移等领域的研究提出了新的挑战。然而,由于对真实多集群基础设施的访问是有限的,因此需要提供与真实系统相似特性的测试床。为了使相关领域的研究人员能够在联合云环境中快速设置实验,我们创建了开源沙箱FedApp,它简化了在OpenStack环境中部署多个虚拟集群的过程,并有可能在站点之间添加真实的网络特征。每个集群都部署了开源和生产级容器编排器Kubernetes,使用Prometheus/Grafana进行联邦范围的监控,并使用Istio简化了集群间的微服务通信。
2021-09-03 cs.DC cs.NI
Federating distributed storage for clouds in ATLAS
在云计算中心运行的应用程序的输入数据可以存储在远程存储库中,通常在许多站点上存储有流行数据的多个副本。定位和检索远程数据可能具有挑战性,我们相信联合存储可以解决这个问题。联合会将根据GeoIP信息定位数据的最近副本。目前,我们正在使用动态数据联合Dynafed,这是CERN IT开发的一种软件解决方案。Dynafed支持多种连接协议的行业标准,如Amazon的S3、Microsoft的Azure以及WebDAV和HTTP。Dynafed作为一个抽象层,在这个抽象层下,依赖于协议的身份验证细节对用户隐藏,只需要用户提供X509证书。我们已经建立了一个Dynafed的实例,并将其集成到ATLAS数据分发管理系统中。我们报告了安装和集成过程中面临的挑战。我们已经测试了PanDA生产系统提交的ATLAS分析工作,并报告了我们对其操作的初步经验。
2018-10-26 cs.DC
Modeling and Simulation of Scalable Cloud Computing Environments and the CloudSim Toolkit: Challenges and Opportunities
云计算旨在为下一代数据中心提供动力,并使应用程序服务提供商能够根据用户QoS(服务质量)要求租用数据中心功能以部署应用程序。云应用程序具有不同的组成、配置和部署要求。在云计算环境中,针对不同的应用和服务模型,在不同的负载、能量性能(功耗、散热)和系统规模下,对资源分配策略和应用调度算法的性能进行量化是一个具有挑战性的问题。为了简化这一过程,在本文中,我们提出CloudSim:一个可扩展的仿真工具包,使建模和模拟的云计算环境。CloudSim工具包支持在数据中心的模拟节点上建模和创建一个或多个虚拟机(VM)、作业及其到合适VM的映射。它还允许模拟多个数据中心,以研究虚拟机迁移的联合和相关策略,从而实现应用程序的可靠性和自动扩展。
2009-07-28 cs.DC cs.NI
A threshold secure data sharing scheme for federated clouds
云计算允许用户以新的方向来看待计算,因为它使用现有的技术以低成本提供更好的IT服务。为了根据SLA向客户提供高QOS,云服务代理或云服务提供商使用各个云提供商,这些云提供商协同工作以形成云联盟。实时在线交互应用、天气研究和预报等应用都需要它,其中数据和应用程序是复杂和分布式的。在这些应用中,秘密数据需要共享,因此在联邦云中需要安全的数据共享机制,以降低数据入侵的风险,降低服务可用性的损失,并保证数据的完整性。因此,本文提出了一种零知识数据共享方案,其中可信云管理机构(TCA)将控制联邦云进行数据共享,其中用于计算的秘密被加密并最终由单个云检索。我们的计划是基于解决离散对数问题(DALK)的困难,在有限阿贝尔群的大素数阶,这是NP-Hard。因此,我们提出的方案提供了数据完整性在运输中,数据的可用性时,主机提供商之一,在计算过程中不可用。
2012-09-12 cs.DC
Quality of Service (QoS) Modelling in Federated Cloud Computing
围绕具有潜在的大量定制资源的大规模服务器基础设施的思想构建,这些定制资源能够交互以促进服务的部署、适配和支持,云计算需要频繁地重新调度和管理各种应用任务,以便适应广泛范围和数量的用户的请求。云计算的挑战之一是通过设计用于在用户和云虚拟资源之间分配任务以及将虚拟资源分配给云物理资源的有效技术来支持和管理服务质量(QoS)。虚拟资源跨物理资源的迁移是另一个需要相当关注的挑战;特别是在联合云计算环境中,其中,提供商可能愿意将其未使用的资源作为服务提供给联合(合作分配),并在需要时收回这些资源供其自己使用(竞争分配)。本文重新审视了云计算中的QoS问题,通过制定和提出i)一个多QoS任务分配模型的任务分配到虚拟机和ii)一个虚拟机迁移模型的联合云计算环境中考虑的情况下,资源提供商是在合作或竞争模式下操作。针对联邦云环境中的QoS支持问题,提出了一种新的基于差分进化的任务分配绑定策略和一种新的虚拟机模型.实验结果表明,所提出的解决方案提高了云计算环境中的服务质量,并揭示了在联合云环境中操作混合合作和竞争模型的相对优势。
2019-11-08 cs.DC cs.NI
Federated Learning on the American Science Cloud using APPFL
Argonne National Laboratory(阿贡国家实验室);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
本文针对美国科学云(AmSC)无法跨组织边界训练模型的问题,提出将APPFL框架编排逻辑作为云服务部署在AmSC上,实现隐私约束下的联邦学习,解锁科学合作与公私伙伴关系。
2026-09-03 cs.DC
Unbundling Transaction Services in the Cloud
DBMS引擎的传统体系结构将恢复、并发控制和访问方法代码紧密地绑定在记录的存储引擎中。我们提出了一种不同的方法,其中存储引擎被分解为两层(每一层可能有多个异构实例)。事务组件(TC)只在逻辑层工作:它知道事务及其“逻辑”并发控制和撤销/重做恢复,但它不知道页面布局、B树等。它支持面向记录的接口,提供原子操作,但它不知道事务。提供原子记录操作本身可能涉及DC本地并发控制和恢复,这可以使用系统事务来实现。TC和DC中机制的相互作用导致多级重做(与集成引擎中重做的重复历史范例不同)。这种系统架构的重构可以允许更容易地部署特定于应用程序的物理结构,并且还可以有助于利用多核硬件。特别有前途的是它在云数据库部署中实现灵活事务的潜力。我们描述了必要的原则,分拆恢复,并讨论实施问题。
2009-09-09 cs.DB cs.DC
Towards Scalable Federated Container Orchestration: The CODECO Approach
fortiss GmbH(fortiss有限公司);Red Hat(红帽);IBM Research Europe - Zurich(IBM欧洲苏黎世研究中心);Siemens AG(西门子股份公司);i2CAT Foundation(i2CAT基金会);Telefónica(西班牙电信);Intracom Telecom(Intracom电信);Democritus University of Thrace / Athena Research Center(色雷斯德谟克利特大学/雅典研究中心);Universidad Politécnica de Madrid(马德里理工大学);University of Piraeus Research Centre(比雷埃夫斯大学研究中心);Netcompany;Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
CODECO通过联邦编排框架实现可扩展的容器编排,结合语义模型、分区联邦和AI辅助决策,支持异构基础设施和多提供者操作。
2026-01-19 cs.DC cs.ET cs.NI
Benchmarking Federated Learning and Knowledge Distillation for Point Cloud Classification
University of Macau(澳门大学)
针对隐私敏感和资源受限场景,联合评估联邦学习与知识蒸馏在3D点云分类中的性能,发现极端非独立同分布标签偏移下联邦学习性能下降,蒸馏可压缩模型且避免标签泄露问题。
2026-07-03 cs.AI cs.CV cs.DC
Autonomic Federated-Market Orchestration for the Edge-Cloud Continuum
University of Oulu(奥卢大学);EURECOM(欧洲多媒体通信研究所);University of Jyväskylä(于韦斯屈莱大学);AMD Silo AI;University of Helsinki(赫尔辛基大学)
提出Neural Pub/Sub联邦代理自主基板,通过基于市场的价格信号实现去中心化编排,在边缘-云连续体中实现与集中式预言机相当的福利效率,并验证了其抗故障性和主权执行零开销。
2026-05-26 cs.DC cs.GT cs.MA
Pirus: A Web-based File Hosting Service with Object Oriented Logic in Cloud Computing
在本文中,一个新的基于Web的文件托管服务与面向对象的逻辑在云计算称为Pirus的开发。该服务将由比雷埃夫斯大学的学术界使用,使用户能够远程存储和访问他们的个人文件,而不会危及安全。它还为管理员提供了管理用户和角色的能力。目标是提供全面的业务服务,使用最先进的编程技术,以实现现有功能的可扩展性和未来发展。使用.NET Framework、C#程序设计语言、CSS和jQuery、MSSQL等技术进行数据库托管,以及支持虚拟化和云计算,将大大提高兼容性、代码重用、可靠性,并减少维护成本和资源。该服务在受控环境中安装和测试,以确定所需的功能以及提供的可靠性和安全性,并取得了圆满成功。所使用和支持的技术使今后能够进行升级和扩大服务的工作。硬件和软件方面的变化和改进,以便将服务转换为SaaS(软件即服务)云应用程序是一个合乎逻辑的步骤,以便有效地向更广泛的社区提供服务。通过进一步开发提供的改进和增加的功能将利用用户体验。
2014-10-18 cs.DC cs.SE
Design and Empirical Evaluation of a Network-Centric, On-Premises Architecture for Earth Observation Data Access
AIR Centre(AIR中心);University of Waterloo(滑铁卢大学);Instituto Federal Fluminense (IFF)(弗鲁米嫩塞联邦学院(IFF))
本文针对大西洋盆地机构的EO数据访问需求,设计并在AIR数据中心部署以网络为中心的本地部署架构,通过隔离网络带宽变量的实验明确其对存储吞吐量的约束阈值,为相关设施建设提供依据。
2026-08-21 cs.DC cs.NI cs.PF
Tiered cloud storage via two-stage, latency-aware bidding
在云存储中,数字数据存储在逻辑存储池中,由云服务提供商(CSP)管理的异构物理存储介质和计算基础设施提供支持。为了平衡服务性能和成本之间的权衡,CSP通常采用不同的存储层,例如冷存储和热存储。将数据存储在热存储中会导致高存储成本,但提供低访问延迟,而冷存储能够廉价地存储大量数据,从而提供更低的成本和更高的延迟。在本文中,我们解决了一个主要的挑战,面临的CSP利用这种分层存储架构-如何最大限度地提高其整体利润超过各种存储层,提供不同的特点,以及文件放置和访问请求调度政策。为此,我们提出了一个计划,CSP提供了一个两阶段的拍卖过程(a)请求存储容量,和(b)请求访问延迟的要求。我们的两阶段招标方案提供了一个混合存储和访问优化框架,其目标是最大限度地提高CSP的总净利润在四个方面:文件接受决策,接受的文件,文件访问决策和访问请求调度政策的位置。所提出的优化是一个混合整数非线性规划,很难解决。我们提出了一个有效的启发式放松整数优化,并解决由此产生的非线性随机规划。该算法在不同的情况下,并与不同的存储系统参数进行评估,并通过比较所提出的方法与其他利润最大化模型有见地的数值结果报告。在某些模拟场景中,与其他方案相比,我们看到我们提出的方法的利润增加了60%以上。
2017-11-02 cs.DC cs.GT cs.NI
Federated Learning for Digital Twin-Based Vehicular Networks: Architecture and Challenges
新兴的智能交通应用,如事故报告、车道变换辅助、防撞和信息娱乐,将基于不同的需求(例如,延迟、可靠性、物理体验的质量)。为了满足这样的需求,非常需要部署基于数字孪生的智能交通系统。虽然基于孪生的车载网络实现可以提供性能优化。对双胞胎进行建模是一项极具挑战性的任务。机器学习(ML)可以是对这样的虚拟模型建模的优选解决方案,具体地说,联邦学习(FL)是一种分布式学习方案,与集中式ML相比,它可以更好地保护隐私。虽然FL可以提供性能增强,但它需要仔细的设计。因此,在这篇文章中,我们提出了一个概述FL的双为基础的车辆网络。提出了一种通用的架构,显示FL的双为基础的车辆网络。我们提出的建筑包括两个空间,如双胞胎空间和物理空间。物理空间由所有物理实体组成(例如,汽车和边缘服务器),而孪生空间是指用于部署孪生的逻辑空间。孪生空间可以使用边缘服务器和云服务器来实现。我们还概述了FL用于基于双胞胎的车辆网络的一些用例。最后,对全文进行了总结,并对开放性挑战进行了展望.
2022-08-10 cs.DC