Secured Data Consistency and Storage Way in Untrusted Cloud using Server Management Algorithm
这是非常具有挑战性的一部分,以保持安全的所有所需的数据,需要在许多应用程序中的用户在云中。将我们的数据存储在云中可能并不完全可信。由于客户端没有所有存储数据的副本,因此必须依赖云服务提供商。但是动态数据操作、Read-Solomon和验证令牌构造方法并没有告诉我们云上数据添加前后服务器分配空间的总存储容量。因此,我们必须引入一个新的建议系统的有效的存储测量和空间比较算法与时间管理测量总分配的存储区域之前和之后的数据插入云。因此,通过使用我们提出的方案,之前和之后的存储数据的值或权重是由客户端在云存储区域中的指定时间内准确测量的。在这里我们还提出了服务器故障情况下的多服务器恢复点。当服务器发生故障时,通过该方案可以在云服务器中自动恢复数据。我们提出的方案有效地检查空间的外包数据,以保持完整性。在这里,TPA不一定具有审计用户数据的授权。
2011-11-10 cs.DC
Design Architecture-Based on Web Server and Application Cluster in Cloud Environment
云一直是许多以数据为中心的组织的计算和存储解决方案。如今,这些组织从云计算中面临的问题是以有效的方式进行数据搜索。需要一个框架来分配从数千台计算机中搜索和获取的工作。HDFS中的数据是分散的,需要大量的时间来检索。其主要思想是在地图阶段使用Jetty Web服务器设计一个Web服务器,这将提供一种快速有效的方式在MapReduce范式中搜索数据。为了在Hadoop上进行实时的处理,在HDFS中通过在Web服务器中创建具有多级索引键的多级索引来实现可搜索机制。Web服务器使用来处理流量吞吐量。通过Web集群技术可以提高应用程序的性能。为了保持工作,负载均衡器应该能够自动将负载分配到服务器中新添加的节点。
2014-03-21 cs.DC
Orchestrating the Execution of Serverless Functions in Hybrid Clouds
针对无服务器批处理流水线的截止期限保障需求,提出混合云调度器HCS,可在异构基础设施上自动编排执行,兼顾成本控制与截止期限达标率,经实验验证有效。
2024-10-09 cs.DC
Portfolio-driven Resource Management for Transient Cloud Servers
云提供商已经开始以低成本的临时服务器的形式提供其剩余容量,这些服务器可以随时单方面撤销。虽然临时服务器的低成本使它们对于诸如数据处理和科学计算之类的广泛应用具有吸引力,但是由于服务器撤销而导致的故障会严重降低应用性能。由于不同的瞬态服务器类型提供不同的成本和可用性权衡,我们提出了服务器投资组合的概念,是基于金融投资组合建模。服务器组合能够构建服务器的“最佳”组合,以满足应用程序对成本和撤销风险的敏感性。我们在一个名为ExoSphere的系统中实现了模型驱动的投资组合,并展示了不同的应用程序如何使用投资组合和特定于应用程序的策略来优雅地处理临时服务器。我们表明,ExoSphere使Spark、MPI和BOINC等广泛使用的并行应用程序能够以适度的努力实现瞬态感知。我们的实验表明,允许应用程序使用合适的瞬态感知策略,ExoSphere与按需服务器相比能够节省80%的成本,并与现有方法相比大大降低了撤销风险。
2017-04-27 cs.DC
TailBench++: Flexible Multi-Client, Multi-Server Benchmarking for Latency-Critical Workloads
本文提出增强型基准测试套件 TailBench++,通过支持动态多客户端、多服务器环境及可变 QPS 和到达模式,解决了 TailBench 在延迟关键型云负载评估中的局限,实现更真实的云性能评测。
2025-05-06 cs.DC
Dominant Resource Fairness in Cloud Computing Systems with Heterogeneous Servers
我们研究了云计算系统中的多资源分配问题,其中资源池是由大量异构服务器构建的,这些服务器代表处理、内存和存储等资源配置空间中的不同点。我们设计了一个多资源分配机制,称为DRFH,概括的主导资源公平性(DRF)的概念,从一个单一的服务器到多个异构服务器。DRFH提供了许多非常理想的性能。使用DRFH,没有用户喜欢另一个用户的分配;没有人可以在不减少其他用户的分配的情况下改善其分配;更重要的是,没有用户有动机谎报其资源需求。作为一个直接的应用程序,我们设计了一个简单的启发式,实现DRFH在现实世界中的系统。由Google集群跟踪驱动的大规模模拟表明,DRFH的性能明显优于传统的基于时隙的调度器,从而提高了资源利用率,大大缩短了作业完成时间。
2013-08-01 cs.DC
Dynamic resource management in Cloud datacenters for Server consolidation
云资源管理已经成为云计算企业发展的关键因素。许多云计算中心在理解和实施管理、分配和迁移其内部资源的技术方面存在问题。资源管理不当的后果可能导致资源利用不足和浪费,这也可能导致这些服务中心的服务质量差。像CPU、内存、硬盘和服务器这样的资源需要很好地识别和管理。本文提出的动态资源管理算法(DRMA)将其局限于对云计算中心的CPU和内存资源的管理。目标是节省那些在特定时期可能未充分利用的资源。它可以通过实施合适的算法来实现。这里,可以使用装箱算法,由此部署最佳匹配算法以获得结果并进行比较以选择合适的算法来有效地使用资源。
2015-05-04 cs.DC
CloudSimSC: A Toolkit for Modeling and Simulation of Serverless Computing Environments
本文提出CloudSimSC,一个基于CloudSim的模块化无服务器计算仿真工具,通过在架构、函数调度与扩展方面引入灵活性并支持监控指标推导,解决了现有仿真器缺乏通用性的问题。
2023-09-19 cs.DC
Implementation of a Cloud Data Server (CDS) for Providing Secure Service in E-Business
云数据服务器是为电子商务提供安全服务的一种新方法,数以百万计的用户因各种不同的目的而在云上冲浪,因此他们需要高度安全和持久的服务。通常黑客的目标是特定的操作系统或特定的控制器。受一些正在进行的研究的启发,传统的Web服务器及其入侵检测系统可能无法检测到此类攻击。因此,我们实现了一个云数据服务器与会话控制器架构,使用冗余和断开连接的数据访问机制。在本文中,我们使用MD5算法生成哈希码。借助它,我们甚至可以规避传统系统未定义的攻击。我们使用Java实现云数据服务器,使用My SQL实现哈希代码备份管理。在这里我们实现AES算法,为哈希码提供更多的安全性。CDS使用虚拟控制器控制和监控页面的连接和修改,以防止恶意用户入侵网站。在所提出的方法中,活动分析器负责向管理员告知可能的入侵以及解决这些入侵所需的对策。与同类方法相比,该方法的效率为98.21%。
2010-05-31 cs.DC
Scheduling Policies for Stability and Optimal Server Running Cost in Cloud Computing Platforms
我们提出了吞吐量和成本最优的作业调度算法在云计算平台提供基础设施即服务。我们首先考虑在线迁移,并提出作业调度算法,以尽量减少作业迁移和服务器运行成本。我们认为算法,假设知识的工作量到达的工作。我们刻画了系统稳定性的最优成本。我们开发了一个基于漂移加惩罚框架的算法,可以任意接近地实现最优成本。具体来说,该算法产生延迟和成本之间的权衡。然后,我们放松了工作规模的知识假设,并给出了一个算法,使用现成的服务的工作。我们表明,该算法给出了订单明智的相同成本的工作大小为基础的算法。稍后,我们考虑引起迁移延迟的离线作业迁移。我们再次提出吞吐量优化算法,最大限度地减少服务器运行成本。我们说明了所提出的算法的性能,并通过仿真比较这些现有的算法。
2022-06-05 cs.DC
Adaptive Event Dispatching in Serverless Computing Infrastructures
无服务器计算是一种新兴的云服务模式。它目前正成为托管计算从能力受限的机器虚拟化和微服务向效用计算演进的下一步。术语“无服务器”已经成为基于云的事件驱动分布式应用程序的完全资源透明部署模型的同义词。这项工作研究了自适应事件调度如何提高无服务器平台的资源效率,并提供了一种新的方法,可以更好地扩展和适应平台的资源消耗的实际需求。
2019-01-10 cs.DC
A Combination of Host Overloading Detection and Virtual Machine Selection in Cloud Server Consolidation based on Learning Method
在云数据中心(CDC)中,降低能耗同时保持性能一直是热点问题。在服务器整合中,传统的解决方案是将问题分解为多个小问题,如主机过载检测,虚拟机(VM)选择和VM放置,并逐步解决它们。然而,主机过载检测策略和VM选择策略的设计不能直接与降低能耗和保证性能的最终目标联系起来。本文提出了一种基于学习的虚拟机选择策略,选择适当的虚拟机迁移没有直接的主机过载检测。从而减少了SLAV的产生,保证了CDC的性能,降低了能耗。仿真结果表明,该方法在减少SLAV生成和CDC能耗方面优于现有方法。
2022-06-28 cs.DC
FaaSdom: A Benchmark Suite for Serverless Computing
无服务器计算已成为云提供商的主要趋势。通过无服务器计算,开发人员将管理服务器的任务完全委托给云提供商,动态分配所需的资源,以及处理可用性和容错问题。这样,开发人员可以只关注其软件的应用程序逻辑,然后在云中部署和完全管理。尽管它越来越受欢迎,但关于当前可用的无服务器平台上可实现的实际系统性能知之甚少。具体来说,以独立于语言或运行时的方式对这样的系统进行基准测试是很麻烦的。相反,人们必须采取全面的应用程序部署,以便在多个方面(包括性能和经济成本)对最方便的解决方案做出明智的决定。FaaSdom是无服务器计算平台基准套件的模块化架构和概念验证实现。它目前支持当前主流的无服务器云提供商(即,AWS、Azure、Google、IBM)、大量基准测试和各种实现语言。该套件完全自动化此类测试的部署,执行和清理,提供有关无服务器应用程序所观察到的性能的见解(包括历史)。FaaSdom还集成了一个模型来估计跨支持的提供商部署的预算成本。FaaSdom是开源的,可在https://github.com/bschitter/benchmark-suite-serverless-computing上获得。
2020-06-05 cs.DC
BSODiag: A Global Diagnosis Framework for Batch Servers Outage in Large-scale Cloud Infrastructure Systems
针对云基础设施中批量服务器中断诊断的单模态数据不足、故障关联难确定问题,提出无监督轻量框架BSODiag,通过多源数据挖掘与时空关联建模实现精准诊断,在阿里云实验中性能优于基线方法。
2025-01-31 cs.DC
Optimizing simultaneous autoscaling for serverless cloud computing
本文针对无服务器云计算中的自动扩缩容问题,提出基于流体近似模型和分离连续线性规划的优化控制策略,显著降低失败请求和响应时间。
2023-10-29 cs.DC
Energy-Efficient Offloading in Mobile Edge Computing with Edge-Cloud Collaboration
多址移动边缘计算是一种新兴的技术,使计算资源接近终端移动用户。通过在WiFi接入点或蜂窝基站部署边缘服务器,可以扩展移动用户的计算能力。现有的工作大多假设远程云服务器可以被视为一个特殊的边缘服务器或边缘服务器愿意合作,这是不切实际的。在这项工作中,我们提出了一个边缘云合作架构,边缘服务器可以租用远程云服务器,以加快移动用户的任务计算。在此架构下,计算卸载问题被建模为一个具有延迟约束的混合整数规划问题,这是NP-难的。目标是最小化移动设备的总能耗。我们提出了一个贪心算法以及模拟退火算法来有效地解决这个问题。大量的仿真结果表明,所提出的贪心算法和模拟退火算法可以达到接近最优的性能。平均而言,所提出的贪心算法仅需31%的额外能量开销就能达到与Brute Force可选算法相同的应用程序完成时间预算性能。模拟退火算法可以达到与贪心算法相似的性能。
2018-11-09 cs.DC
Serverless Computing: Current Trends and Open Problems
无服务器计算已经成为部署应用程序和服务的新的引人注目的范例。它代表了云编程模型、抽象和平台的发展,证明了云技术的成熟和广泛采用。在本章中,我们调查了来自工业界、学术界和开源项目的现有无服务器平台,确定了关键特征和用例,并描述了技术挑战和开放问题。
2017-06-10 cs.DC
ServerMix: Tradeoffs and Challenges of Serverless Data Analytics
无服务器计算今天已经变得非常流行,因为它在很大程度上简化了云编程。开发人员不再需要担心配置或操作服务器,他们只需为代码运行时使用的计算资源付费。这种新的云模式非常适合许多应用程序,研究人员已经开始研究无服务器计算用于数据分析的可行性。不幸的是,今天的无服务器计算存在重要的限制,使得它很难支持各种分析工作负载。本文首先分析了当今无服务器计算模型的三个基本权衡及其与数据分析的关系。它研究了如何通过放松分解,隔离和简单的调度来提高整体计算性能,但代价是模型的基本方面,如弹性,安全性或亚秒级激活。这些权衡的结果是,分析应用程序最终可能会拥抱由无服务器和有服务器组件组成的混合系统,我们在本文中称之为Servermix。我们将回顾现有的相关工作,以表明大多数应用程序实际上可以归类为Servermix。最后,本文将介绍CloudButton研究项目管理这些权衡的主要挑战。
2019-07-26 cs.DC
FaaSKeeper: Learning from Building Serverless Services with ZooKeeper as an Example
本文提出FaaSKeeper,即基于无服务器函数和云原生服务构建的ZooKeeper无服务器变体,在保持相同一致性保证和接口的同时,将不频繁工作负载下的成本降低110-719倍。
2024-05-01 cs.DC
Bit of a Close Talker: A Practical Guide to Serverless Cloud Co-Location Attacks
University of California, Davis(加州大学戴维斯分校);George Mason University(乔治梅森大学);Rochester Institute of Technology(罗切斯特理工学院)
本研究提出了一种实用指南,揭示无服务器云中共址攻击的构建方法,并提出Double-Dip调度器作为防御策略。
2026-01-13 cs.CR cs.DC
Dynamic Selection of Virtual Machines for Application Servers in Cloud Environments
自动缩放是云计算的一个标志,因为它允许灵活的即时分配和释放计算资源,以响应动态且通常不可预测的工作负载。这对于那些工作负载依赖于时间并且容易出现flash拥挤的web应用程序来说尤其重要。它们中的大多数遵循3层架构模式,分为表示层、应用程序/域层和数据层。在这项工作中,我们专注于应用层。自云计算出现以来,“当平均服务器CPU利用率达到X%时,实例化新的虚拟机(VM)”类型的反应式自动缩放策略已被成功使用。但是,目前哪种VM类型最适合特定应用程序仍然是一个悬而未决的问题。在这项工作中,我们提出了一种动态VM类型选择的方法。它使用在线机器学习技术的组合,实时的工作,并适应用户工作负载模式的变化、应用程序的变化以及中间件的升级和重新配置。我们已经开发了一个原型,并使用部署在AWS EC2上的CloudStone基准进行了测试。结果表明,我们的方法可以快速适应工作量的变化,并降低了总成本相比,行业标准的方法。
2016-02-07 cs.DC
Evaluating Serverless Architecture for Big Data Enterprise Applications
在本文中,我们研究了使用云原生原语执行大规模数据处理的无服务器计算。
2021-10-26 cs.DC
Serverless Platforms on the Edge: A Performance Analysis
物联网(IoT)的指数级增长引发了新一轮边缘计算浪潮,因为需要在边缘处理数据,更接近数据产生的地方,并试图摆脱以云为中心的架构。这为减少延迟和解决数据隐私问题以及降低公共云成本提供了机会。无服务器计算模型提供了一个潜在的解决方案,其事件驱动架构可以减少对不断运行的服务器的需求,并将后端服务转换为使用模型。该模型在具有不同工作负载和有限资源的边缘计算环境中具有吸引力的前景。此外,它在网络边缘的设置承诺减少与它通信的边缘设备的延迟,并消除了管理底层基础设施的需要。在本书的这一章中,首先,我们介绍了无服务器边缘计算的新概念,然后,我们分析了多个无服务器平台的性能,即OpenFaaS,AWS Greengrass,Apache OpenWhisk,当设置在边缘的单板计算机(SBC)上时,并将其与公共云无服务器产品,即AWS Lambda和Azure Functions进行比较,来推断无服务器架构在网络边缘的适用性。这些无服务器平台建立在一个Raspberry Pis集群上,我们通过模拟不同类型的边缘工作负载来评估它们的性能。评估结果表明,OpenFaaS在SBC边缘计算基础设施上实现了最低的响应时间,而无服务器云产品最可靠,成功率最高。
2021-11-12 cs.DC
Tutorial: Object as a Service (OaaS) Serverless Cloud Computing Paradigm
本文提出 Object-as-a-Service (OaaS) 无服务器范式,通过封装应用逻辑、数据和非功能需求简化云原生开发,并基于开源平台 Oparaca 提供概念设计与应用部署教程。
2024-07-24 cs.DC
The Serverless Computing Survey: A Technical Primer for Design Architecture
云基础设施的发展激发了云原生计算的出现。作为部署微服务最有前途的架构,无服务器计算近年来在工业界和学术界引起了越来越多的关注。由于其固有的可扩展性和灵活性,无服务器计算对于不断增长的互联网服务变得越来越有吸引力和普及。尽管云原生社区的发展势头良好,但现有的挑战和妥协仍然需要更先进的研究和解决方案来进一步探索无服务器计算模型的潜力。作为对这一知识的贡献,本文通过将架构解耦为四个堆栈层来调查和阐述无服务器环境中的研究领域:虚拟化,封装,系统演示和系统协调。受安全模型的启发,我们强调了这些工作在每一层的关键影响和限制,并提出了未来无服务器计算领域的潜在挑战的建议。
2022-01-03 cs.DC
Serverless Containers -- rising viable approach to Scientific Workflows
无服务器计算方法的日益普及导致了在容器即服务(CaaS)模型中工作的新云基础设施的出现,如AWS Fargate,Google Cloud Run或Azure Container Cloud。他们引入了一种创新的方法来运行云容器,使开发人员从管理底层资源中解放出来。在本文中,我们专注于评估弹性容器的功能及其在使用AWS Fargate和Google Cloud Run基础设施的科学工作流范例中对科学计算的有用性。为了对我们的方法进行实验评估,我们扩展了HyperFlow引擎以支持这些CaaS平台,并调整了由几十到一百多个任务组成的四个真实科学工作流,这些任务被组织成一个依赖图。我们使用这些工作流来创建成本性能基准和流执行图,测量延迟,弹性和可扩展性。实验证明,无服务器容器可以成功地应用于科学工作流。此外,这些结果使我们能够深入了解这些平台的具体优势和局限性。
2020-10-21 cs.DC
Advancing Environmental Sustainability in Data Centers via Carbon Depreciation Models
Brown University(布朗大学);Syracuse University(雪城大学)
提出碳折旧模型,通过非线性折旧优先使用旧服务器,在满足QoS约束下减少28-57%的碳排放。
2026-05-26 cs.DC
Dynamic web cache publishing for IaaS clouds using Shoal
我们开发了一个高度可扩展的应用程序,称为Shoal,用于跟踪和利用一组分布式HTTP Web缓存。Squid服务器通过运行Shoal Agent,通过AMQP消息传递向Shoal服务器通告它们的存在。Shoal服务器提供了一个简单的REST接口,允许客户端确定其最近的Squid缓存。我们的目标是在IaaS云上动态地实例化Squid缓存,以响应客户的需求。Shoal为IaaS云上的VM提供最近的动态实例化Squid Cache的位置。在本文中,我们描述了浅滩的设计和性能。
2013-10-31 cs.DC
Cloud-scale VM Deflation for Running Interactive Applications On Transient Servers
瞬态计算在公共云环境中已经变得流行,用于以低成本运行延迟不敏感的批处理和数据处理应用程序。由于临时云服务器可以随时被云提供商撤销,因此它们被认为不适合运行交互式应用程序,例如Web服务。在本文中,我们提出了虚拟机紧缩作为一种替代机制,以服务器抢占回收资源的资源压力下从瞬态云服务器。使用来自顶级云提供商的真实跟踪,我们展示了使用VM紧缩作为公共云中交互式应用程序的资源回收机制的可行性。我们将展示如何使用当前的虚拟机管理程序机制来实现虚拟机紧缩,并提出集群紧缩策略,用于瞬时和按需云虚拟机的资源管理。在Linux集群上对我们的放气系统进行的实验评估表明,基于微服务的应用程序可以放气高达50%,性能开销可以忽略不计。我们的集群级紧缩策略允许超过50%的过度承诺水平,应用程序吞吐量下降不到1%,并且可以使云平台增加30%的收入。
2020-05-31 cs.DC cs.PF
C2MS: Dynamic Monitoring and Management of Cloud Infrastructures
服务器集群是许多需要高可用性、可扩展性和更容易管理其基础设施的组织所采用的常见设计原则。服务器通常根据它们提供的服务进行集群,无论是安装的应用程序、服务器的角色还是服务器的可访问性。为了优化性能、管理负载和保持可用性,服务器可能从一个集群组迁移到另一个集群组,使得服务器监视工具难以连续监视这些动态变化的组。服务器监控工具通常是静态配置的,并且组成员的任何更改都需要手动重新配置;在大规模云基础设施上执行这一任务是不合理的。在本文中,我们提出了Cloudlet控制和管理系统(C2MS);用于监视和控制云基础设施内的物理或虚拟服务器的动态组的系统。C2MS扩展了Ganglia -一个开源的可扩展系统性能监控工具-允许系统管理员定义,监控和修改服务器组,而无需重新配置服务器。反过来,管理员可以轻松地监控大规模动态云基础设施上的组和单个服务器指标,其中服务器的角色可能会频繁更改。此外,我们补充组监控与控制元素,允许管理员指定的操作,以执行服务组内的服务器,以及引入进一步的自定义监控指标。本文概述了C2MS的设计,实施和评估。
2013-10-03 cs.DC cs.OS
SeBS: A Serverless Benchmark Suite for Function-as-a-Service Computing
功能即服务(FaaS)是云服务未来最有前途的方向之一,无服务器功能已立即成为构建可扩展且具有成本效益的微服务和应用程序的新中间件。然而,快速发展的技术阻碍了可重复性,缺乏标准化的基准测试套件导致无服务器研究中使用临时解决方案和微基准测试,进一步使研究解决方案的荟萃分析和比较复杂化。为了应对这一挑战,我们提出了Serverless Benchmark Suite:第一个FaaS计算基准,系统地覆盖了广泛的云资源和应用程序。我们的基准测试包括代表性工作负载的规范,伴随的实现和评估基础设施,以及促进可重复性和可解释性的评估方法。我们证明了FaaS执行环境的抽象模型可以确保我们的基准测试适用于多个商业提供商,如AWS,Azure和Google Cloud。我们的工作设施无服务器系统的实验评估,并提供了一个标准化的,可靠的和不断发展的评估方法的性能,效率,可扩展性和可靠性的中间件FaaS平台。
2021-07-02 cs.DC
A Hardware-Software Stack for Serverless Edge Swarms
自主设备的普及和规模越来越大,这使得重新思考其硬件-软件系统堆栈的必要性变得至关重要。HiveMind是第一个群协调平台,它能够以高性能和可扩展的方式在云和边缘资源之间可编程地执行复杂的任务工作流。HiveMind是一个软件-硬件平台,包括用于简化云边缘应用程序可编程性的特定于域的语言,用于自动探索任务放置策略的程序合成工具,利用无服务器计算弹性扩展云资源的集中式控制器,以及用于网络和远程内存访问的可重新配置硬件加速结构。我们在由无人机和机器人汽车组成的两个真正的边缘群上设计和构建完整的端到端HiveMind系统。我们量化了无服务器引入边缘应用程序的机会和挑战,以及集中式和分布式协调之间的权衡。我们表明,与现有的集中式和分散式平台相比,HiveMind实现了更好的性能可预测性和电池效率,同时也降低了网络流量。使用真实系统和经过验证的模拟器,我们表明HiveMind可以扩展到数千个边缘设备,而不会牺牲性能或效率,这表明集中式平台可以同时具有可扩展性和高性能。
2021-12-29 cs.AR cs.DC
RC3E: Provision and Management of Reconfigurable Hardware Accelerators in a Cloud Environment
由通用处理器和不同类型的硬件加速器组成的异构系统在HPC系统中变得越来越普遍。特别是FPGA提供了一个很有前途的机会,以提高这类系统的性能和能源效率。将FPGA添加到云或数据中心可以轻松访问此类可重新配置的资源。在本文中,我们介绍了我们的云服务模型和云管理程序RC3E,它将基于FPGA的虚拟化硬件加速器集成到云环境中。借助我们的硬件和软件框架,可以在单个物理FPGA器件上执行多个(虚拟)用户设计。我们通过在单个设备上实现多达四个虚拟用户内核来展示我们方法的性能,并展示了FPGA在基于云的数据环境中的未来前景。
2015-08-27 cs.DC
Overbook in Advance, Trade in Future: Computing Resource Provisioning in Hybrid Device-Edge-Cloud Networks
分布式物联网(IoT)系统中的大数据处理需要创新的计算架构和资源配置技术来支持实时和经济高效的计算服务。本文介绍了一种新的超额预订促进的远期交易机制,称为提前超额预订,未来交易(OATF),其中计算资源可以在具有不确定性(例如,“没有节目”)。更重要的是,OATF鼓励可行的超额预订率,其允许边缘服务器向多个最终用户超额预订资源(例如,超过资源供应),同时从云服务器购买备份资源,通过分析历史统计数据(例如,网络、资源动态)。这种机制可以大大提高时间效率和资源利用率由于超额预订和预先签署的远期合同。本文对超售率设计和风险管理等关键问题进行了深入研究,并给出了一个有趣的案例分析。综合模拟表明,与传统交易方法相比,OATF为不同方(云、边缘和最终用户)实现了互利的效用,以及大量的资源使用和值得称赞的时间效率。
2022-08-25 cs.DC
Deadline-constrained Multi-resource Task Mapping and Allocation for Edge-Cloud Systems
在边缘云系统中,移动设备可以将其计算密集型任务卸载到边缘或云服务器,以保证服务质量或满足任务期限要求。然而,确定任务应该在哪里卸载和处理,以及应该向它们分配多少网络和计算资源,使得具有有限资源的系统可以在满足最后期限的同时获得最大利润是具有挑战性的。这个问题的关键挑战是网络和计算资源可能被分配在不同的服务器上,因为任务被卸载到的服务器(例如,具有接入点的服务器)可以不同于最终在其上处理任务的服务器。为了解决这个问题,我们首先制定的任务映射和资源分配问题作为一个非凸的混合非线性规划(MINLP)的问题,称为NP难。然后,我们提出了一个基于零松弛的贪心算法(ZERO松弛G)和线性离散化方法(LDM)来解决这个MINLP问题。实验结果表明,在最小单元为5的情况下,BLOG的性能平均比LDM差$2.98\%$,但在最小单元为15的情况下,BLOG的性能平均比LDM好$6.88\%$.
2023-03-07 cs.DC
Per-Server Dominant-Share Fairness (PS-DSF): A Multi-Resource Fair Allocation Mechanism for Heterogeneous Servers
云计算平台的用户对服务器(物理机或虚拟机)上的多个资源提出不同类型的需求。除了它们的资源容量的差异之外,服务器在它们服务用户的能力方面可能是另外异构的-某些用户的任务可能仅由服务器的子集服务。我们确定了现有的多资源公平分配机制的重要缺点-主导资源公平性(DRF)及其后续工作-在这样的环境中使用时。我们开发了一种新的公平分配机制,称为每服务器主导份额公平性(PS-DSF),我们表明它提供了DRF在单个“资源池”(即,如果所有服务器的资源被一起汇集到一个假设的服务器中)。我们通过仿真来评估PS-DSF的性能。我们的评估表明,增强效率的PS-DSF相比,现有的分配机制。我们认为我们提出的分配机制是如何适用于云计算网络,特别是大规模的数据中心。
2017-02-21 cs.DC
Serving deep learning models in a serverless platform
无服务器计算已经成为开发和部署各种基于事件的云应用程序的引人注目的范例。与此同时,云计算提供商和企业公司正在大量采用机器学习和人工智能,以使自己与众不同,或为客户提供增值服务。在这项工作中,我们评估了无服务器计算环境的适用性大型神经网络模型的推理。我们的实验评估是使用MxNet深度学习框架在AWS Lambda环境上执行的。我们的实验结果表明,虽然推理延迟可以在可接受的范围内,但由于冷启动而导致的较长延迟可能会扭曲延迟分布,从而有可能违反更严格的SLA。
2018-02-09 cs.DC
Hybrid Serverless Computing: Opportunities and Challenges
近年来,由于易于部署,有吸引力的按使用付费定价和透明的水平自动扩展,无服务器计算的采用激增。与此同时,基础设施的进步,如5G网络的出现和连接到互联网(称为物联网(IoT))的设备的爆炸式增长,以及限制计算和数据发生的新应用程序需求,将使云计算的范围从传统的数据中心扩展到混合云。疫情导致的数字化转型加速了劳动力的变化,并刺激了人工智能的进一步采用,预计将加速,新兴的混合云市场可能扩大到超过万亿美元。在混合云环境中,在无服务器租户的推动下,将越来越需要专注于为使用分布式平台(包括公共云、私有云和边缘系统)的应用程序构建者实现高效工作。在本章中,我们将探讨无服务器计算可以扩展到何种程度,以成为混合无服务器计算。
2022-09-14 cs.DC cs.SE
CloudGenius: Decision Support for Web Server Cloud Migration
云计算是将硬件和软件资源作为虚拟化服务提供的最新计算范例,在虚拟化服务中,用户无需担心底层系统管理细节的负担。将Web应用程序迁移到云服务并将云服务集成到现有的计算基础设施中并非易事。它带来了新的挑战,往往需要在技术、文化、法律、监管和社会等各个层面创新范式和做法。将Web应用程序映射到虚拟化云服务的关键问题是选择最佳和兼容的软件映像组合(例如,Web服务器映像)和基础设施服务,以确保实现应用程序的服务质量(QoS)目标。在选择云服务时,工程师必须考虑基础设施服务和软件映像之间的异构标准集和复杂依赖关系,这是一个关键问题,无法手动解决。为了克服这些挑战,我们提出了一个框架(称为CloudGenius),该框架基于专门用于Web服务器迁移到云的模型和因素来自动化决策过程。CloudGenius利用一种众所周知的多标准决策技术(称为层次分析法),根据与应用程序相关的模型、因素和QoS参数自动执行选择过程。一个示例应用程序演示了理论CloudGenius方法的适用性。此外,我们提出了一个CloudGenius的实现,已通过实验验证。
2012-03-18 cs.DC cs.SE
Serverless data pipeline approaches for IoT data in fog and cloud computing
随着物联网(IoT)设备数量的增加,正在生成大量原始数据。基于云的物联网数据处理中的延迟、成本和其他挑战推动了边缘和雾计算模型的采用,其中一些数据处理任务被移到更接近数据源的地方。正确处理此类数据流需要构建数据管道,以控制数据流的完整生存周期,从数据源的数据采集、边缘和雾处理,到云端存储和分析。数据分析任务需要在距离数据源不同的距离上动态执行,并且通常在非常异构的硬件设备上执行。这可以通过使用无服务器(或FaaS)云计算模型来简化,其中任务被定义为虚拟功能,可以从边缘迁移到云(反之亦然),并以事件驱动的方式在数据流上执行。在这项工作中,我们研究了构建无服务器数据管道(SDP)用于物联网数据分析的好处,并评估了设计SDP的三种不同方法:1)基于现成的数据流工具(DFT),2)基于对象存储服务(OSS)和3)基于MQTT。此外,我们将这些策略应用于三个雾应用程序(Aeneas,PocketSphinx和自定义视频处理应用程序),并通过比较它们的处理时间(计算时间,网络通信和磁盘访问时间)和资源利用率来评估性能。结果表明,DFT是不适合的计算密集型应用,如视频或图像处理,而OSS是最适合这项任务。然而,DFT非常适合带宽密集型应用,因为它使用的网络资源最少。另一方面,基于MQTT的SDP随着CPU和内存使用量的增加而被观察到。<truncted to fit character limi…
2021-12-18 cs.DC
The server is dead, long live the server: Rise of Serverless Computing, Overview of Current State and Future Trends in Research and Industry
无服务器计算--一种用于部署应用程序和服务的新兴云原生范例--代表了云应用程序开发、编程模型、抽象和平台的发展。它承诺真正的按需付费计费(毫秒级粒度),不会浪费资源,并通过要求开发人员将所有操作复杂性和可扩展性委托给云提供商来降低开发人员的门槛。实现这些承诺是以限制功能为代价的。在本文中,我们概述了无服务器计算,它的发展,一般架构,关键特性和用例,使其成为应用程序开发的一个有吸引力的选择。基于在一系列有组织的无服务器计算研讨会(WoSC)期间与学者和行业专家的讨论,我们还确定了技术挑战和开放问题。
2019-06-07 cs.DC cs.SE
CASA: A Framework for SLO and Carbon-Aware Autoscaling and Scheduling in Serverless Cloud Computing
本文提出CASA框架,在无服务器云集群中同时考虑碳足迹和SLO约束进行容器调度与自动伸缩,实验表明其碳足迹最多降低2.6倍、SLO违反率最多降低1.4倍。
2024-08-31 cs.DC cs.PF
On Reliability-Aware Server Consolidation in Cloud Datacenters
在过去的几年中,数据中心(DC)的能源消耗已经成为技术世界中的一个重要问题。使用虚拟化和虚拟机(VM)实时迁移的服务器整合允许云DC提高资源利用率,从而提高能效。为了节省能源,整合技术试图关闭空闲的服务器,而由于工作负载的波动,这些离线服务器应该被打开,以支持增加的资源需求。这些重复的开关周期可能影响硬件的可靠性和服务器的磨损,从而增加维护和更换成本。在本文中,我们提出了一个整体的数学模型,可靠性意识的服务器整合的目标是最大限度地减少总DC成本,包括能源和可靠性成本。事实上,我们尝试以可靠性感知的方式最小化活动PM和机架的数量。我们将该问题表示为一个NP完全形式的混合线性规划模型。最后,我们评估我们的方法在不同的情况下,使用广泛的数值MATLAB模拟的性能。
2017-09-01 cs.DC cs.NI
DeF-DReL: Systematic Deployment of Serverless Functions in Fog and Cloud environments using Deep Reinforcement Learning
University of Tartu(塔尔图大学);University of Hyderabad(海得拉巴大学)
针对雾计算资源有限且未充分利用云环境的问题,提出DeF-DReL算法,利用深度强化学习优化雾与云间的请求分配比例,实验证明其优于现有算法。
2022-04-18 cs.AI cs.DC
Reliable Transactions in Serverless-Edge Architecture
现代边缘应用程序需要新的解决方案,其中边缘应用程序不必依赖于单个云提供商(无法在每个边缘设备附近)或专用边缘服务器(无法扩展为云)来处理计算密集型任务。最近的计算哲学,天空计算,建议让每个用户能够选择可用的云提供商。在本文中,我们介绍了我们的无服务器边缘协同设计,它扩展了天空计算的愿景。在我们的无服务器边缘协同设计中,我们希望边缘设备能够协作并产生所需数量的无服务器功能。这提出了几个关键挑战:(1)这种协作将如何进行,(2)如果某些边缘设备受到损害,以及(3)如果选定的云提供商是恶意的,该怎么办。因此,我们设计了ServerlessBFT,这是第一个保证边缘设备和无服务器功能之间的拜占庭容错(BFT)事务流的协议。我们在我们的无服务器边缘协同设计上提供了一个详尽的攻击及其解决方案列表。此外,我们广泛的基准我们的架构上的各种参数。
2022-08-27 cs.DB cs.DC
Characterizing and Modeling Distributed Training with Transient Cloud GPU Servers
Worcester Polytechnic Institute(伍斯特理工学院)
云GPU服务器已经成为深度学习从业者在大规模数据集上训练复杂模型的实际方式。但是,确定适当的群集配置是一项挑战,例如,服务器类型和数量-用于不同的训练工作负载,同时平衡训练时间、成本和模型准确性的权衡。增加复杂性的是通过使用更便宜但可扩展的临时GPU服务器来降低货币成本的潜力。在这项工作中,我们使用CM-DARE(一种基于云的测量和训练框架)分析了不同集群配置下的分布式训练性能。我们的经验数据集包括来自三种GPU类型、六个地理区域、二十个卷积神经网络和数千个Google Cloud服务器的测量结果。我们还证明了使用基于回归的模型预测训练速度和开销的可行性。最后,我们讨论了我们的性能建模的潜在用例,如检测和缓解性能瓶颈。
2020-04-07 cs.DC cs.LG cs.PF
Lambada: Interactive Data Analytics on Cold Data using Serverless Cloud Infrastructure
无服务器计算的最终弹性和操作简单性的承诺最近导致了这一领域的研究爆炸。在数据分析的背景下,这一概念听起来很有吸引力,但由于目前产品的局限性,这种方法在技术和经济上是否可行还没有达成共识。在本文中,我们将冷数据的交互式数据分析确定为无服务器计算的一个用例。我们设计并实现了Lambada,一个遵循纯无服务器架构的系统,以说明何时以及如何将无服务器计算用于数据分析。我们提出了几个系统组件,克服了以前已知的固有的限制,在无服务器的范例,以及额外的,我们在这项工作中确定。我们可以证明,由于精心设计,与商业查询即服务系统相比,无服务器查询处理系统可以同时快一个数量级,便宜两个数量级,这是唯一具有类似操作简单性的替代方案。
2019-12-02 cs.DB cs.DC
Evaluating Serverless Machine Learning Performance on Google Cloud Run
本研究针对无服务器平台原用于网络服务、适配机器学习负载的适配性问题,在无GPU的Google Cloud Run平台上测试机器学习性能,探究无服务器平台处理机器学习工作负载的能力。
2024-06-24 cs.DC cs.OS
A FaaS File System for Serverless Computing
具有云功能的无服务器计算正在迅速获得采用,但其对状态管理的有限支持限制了程序员。我们为云函数引入了一个共享文件系统。它提供了熟悉的POSIX语义,同时利用云功能的独特方面来实现传统共享文件系统无法提供的可扩展性和性能。我们利用云函数的函数粒度容错模型,使用本地状态乐观地继续进行,并且知道如果提交后无法协调缓存读取或锁活动,我们可以重新启动。云函数的边界提供了隐式的提交和回滚点,使我们能够灵活地使用事务处理技术,而无需更改编程模型或API。这允许各种基于服务器的有状态应用程序受益于无服务器计算的简单性和可扩展性,通常只需很少或根本不需要修改。
2020-09-16 cs.DC cs.OS
Reserved or On-Demand Instances? A Revenue Maximization Model for Cloud Providers
我们研究了管理服务器群的问题,试图通过根据典型的平台即服务模型向客户租用服务器来最大限度地提高云提供商的净收入。云提供商向两类客户提供其资源:“高级”和“基本”。高级客户支付预付费以在指定时间段(例如一年)内保留服务器。高级客户可以随时为他们保留的服务器提交作业,并为他们使用的服务器小时支付费用。每当由于缺乏资源而无法执行“额外”工作时,供应商有责任支付罚款。另一方面,“基本”客户是在尽力的基础上得到服务的,支付的服务器小时费可能高于高级客户支付的服务器小时费。供应商在运行服务器时会产生能源成本。因此,它有关闭空闲服务器的动机。如何选择分配给每个池(基本和高级)的服务器数量的问题是通过分析一个合适的排队模型和最大化的收入函数来回答。实验结果表明,该方案适用于不同的交通状况,惩罚水平,能源成本和使用费。
2011-05-25 cs.DC cs.PF
Viability and Performance of a Private LLM Server for SMBs: A Benchmark Analysis of Qwen3-30B on Consumer-Grade Hardware
UCLouvain(列日大学);Universidad Espíritu Santo(圣灵大学);DENEM Labs(DENEM实验室)
本文基于Qwen3-30B在消费级硬件上评估私有LLM服务器的可行性和性能,证明其在成本和隐私方面对SMBs的可行性。
2025-12-28 cs.AI cs.DC
An Event-Driven Approach to Serverless Seismic Imaging in the Cloud
使云适应高性能计算(HPC)是一项具有挑战性的任务,因为HPC应用程序的软件依赖于快速的网络连接,并且对硬件故障很敏感。因此,在许多情况下,使用云基础设施来重新创建传统的HPC集群是将HPC应用程序迁移到云的不可行的解决方案。作为通用提升和移位方法的替代方案,我们考虑了地震成像的具体应用,并展示了一种无服务器和事件驱动的方法,用于在云中运行此问题的大规模实例。我们的工作流不是永久运行计算实例,而是基于具有高吞吐量批处理计算和事件驱动计算的无服务器架构,其中计算资源仅在使用时运行。我们证明,这种方法是非常灵活的,并允许弹性和嵌套的并行化水平,包括域分解解决底层偏微分方程。虽然事件驱动的方法会在计算资源重复重启时引入一些开销,但它本质上提供了对实例关闭的弹性,并通过避免空闲实例来显著降低成本,从而使云成为大规模地震成像的内部部署集群的可行替代方案。
2019-09-03 cs.DC physics.geo-ph
Towards the Forensic Identification and Investigation of Cloud Hosted Servers through Noninvasive Wiretaps
在进行现代网络犯罪调查时,通常需要从位于托管提供商基于云的数据中心的计算机系统收集证据。在调查无法依赖托管服务提供商的合作或无法提供文件的情况下,调查人员往往会发现,在众多服务器中确定哪一个是值得关注的服务器是困难的,而且非常耗时。为了解决识别这些服务器的问题,本文提出了一种快速可靠地识别这些云托管计算机系统的新方法。在概述的方法中,提出了一种由嵌入式计算机与基于以太网的通信的不可检测的拦截方法相结合组成的手持设备。该设备进行了测试和评估,并提供了一个讨论其有用性在确定感兴趣的服务器的调查。
2015-10-02 cs.CR cs.DC cs.NI
Cloud BI: Future of Business Intelligence in the Cloud
云计算由于其相对于自托管IT基础设施的明显优势,正逐渐在企业中流行起来。商业智能(BI)是一个高度资源密集型的系统,需要大规模的并行处理和大量的存储容量来托管数据仓库。在自托管环境中,人们担心BI最终将面临资源短缺的情况,因为公司不可能不断增加资源来托管数据仓库的无休止扩展和对底层网络的在线分析处理(OLAP)需求。云计算为商业智能的未来前景带来了新的希望。然而,BI将如何在云上实施,流量和需求概况将如何?这项研究试图回答这些关于将BI带到云端的关键问题。借助OPNET上的模拟演示了BI的云托管,该模拟包括一个云模型,其中多个OLAP应用程序服务器在托管关系数据库的服务器阵列上应用并行查询负载。仿真结果反映了云上数据库服务器真正的、可扩展的并行处理能够有效地处理云计算上的OLAP应用需求。因此,BI设计人员需要计划在大规模并行数据库服务器上运行的高度分区的数据库,其中每个服务器托管至少一个服务于OLAP需求的底层数据库分区。
2019-01-23 cs.DC cs.NI