Iso-Quality of Service: Fairly Ranking Servers for Real-Time Data Analytics
我们提出了一个数学上严格的服务质量(QoS)度量,其将实时的【形】分析服务的可实现的服务质量度量(QoS)与提供该服务的服务器能量成本相关联。使用一种新的ISO QoS评估方法,我们扩展服务器资源,以满足QoS目标,并直接排名服务器的能源效率和扩展拥有成本。我们的指标和方法是独立于平台的,可以公平地比较具有显著架构多样性的数据中心计算服务器,包括微服务器。我们部署我们的指标和方法来比较三台运行金融期权定价工作负载的服务器对现实生活中的市场数据。我们发现,服务器的排名是敏感的数据输入和所需的QoS水平,虽然横向扩展的微型服务器可以高达2倍以上的能源效率比传统的重量级服务器相同的目标QoS,他们仍然是低6倍的能源效率比高性能的计算加速器。
2015-01-14 cs.DC
Leveraging knowledge-as-a-service (KaaS) for QoS-aware resource management in multi-user video transcoding
本文提出利用强化学习构建知识即服务(KaaS)策略,为多用户视频转码中的并发应用自动提供资源与旋钮管理,实验显示对异构QoS请求适应良好,并发用户数提升至1.24倍。
2024-02-07 cs.DC
Signature-based Selection of IaaS Cloud Services
我们提出了一种新的方法来选择IaaS云服务的长期服务提供商提供有限的QoS信息。所提出的方法利用免费的短期试验,以获得以前未公开的QoS信息。提出了一种新的基于显著性的试验方案,利用频率分布分析在短期试验中测试消费者的长期工作负载。我们引入了一种新的IaaS签名技术,以唯一地识别提供商的QoS性能的变化。提出了一种基于签名的QoS性能发现(SPD)算法,该算法结合了免费试用和IaaS签名。一组详尽的实验与真实世界的数据集进行评估所提出的方法。
2020-08-18 cs.DC
Personalized QoS Prediction of Cloud Services via Learning Neighborhood-based Model
Internet上云服务的爆炸式增长给服务发现和选择带来了新的挑战。特别地,对有效的服务质量(QoS)评估的需求变得迫切强烈。为了解决这个问题,本文提出了基于邻域的方法,利用协同智能的云服务的QoS预测。不同于启发式协同过滤和矩阵分解,我们定义了一个正式的基于邻域的预测框架,它允许一个有效的全局优化方案,然后利用不同的基线估计组件,以提高预测性能。为了验证所提出的方法,一个大规模的QoS特定的数据集,其中包括来自339个服务用户的调用记录在5,825个Web服务的世界级分布式网络。实验结果表明,学习的基于邻域的模型可以克服现有的启发式协同过滤方法的困难,并取得优于国家的最先进的预测方法的性能。
2015-08-19 cs.DC cs.PF
Cross-Layer Multi-Cloud Real-Time Application QoS Monitoring and Benchmarking As-a-Service Framework
云计算提供了对经济实惠的硬件(多核CPU、GPU、磁盘和网络设备)和软件(数据库、应用服务器和数据处理框架)平台的按需访问,具有弹性、按使用付费、前期投资低和上市时间短等特点。这导致了利用各种云平台的业务关键型应用程序的激增。托管在单个或多个云提供商平台上的这种应用具有需要广泛的监视和基准测试机制以确保运行时服务质量(QoS)(例如,延迟和吞吐量)。本文提出,开发和验证CLAMBS:跨层多云应用程序监控和基准测试即服务,用于对多云环境中托管的云应用程序进行高效的QoS监控和基准测试。CLAMBS的主要亮点是其监控和基准测试单个应用程序组件的能力,例如数据库和Web服务器,分布在云层中,分布在多个云提供商之间。我们使用原型实现和广泛的实验来验证CLAMBS,并表明CLAMBS可以有效地监控和基准测试包括Amazon EC2和Microsoft Azure在内的多云平台上的应用程序组件。
2015-04-29 cs.DC
Achieve Better Ranking Accuracy Using CloudRank Framework for Cloud Services
构建高质量的云应用成为一个迫切需要研究的问题。云服务的非功能性性能通常由服务质量(QoS)来描述。在云应用中,云服务通过互联网连接远程调用。用户的云服务的QoS排名不能直接传递给另一个用户,因为云应用的位置非常不同。在用户侧需要对所有候选服务进行个性化的QoS排序,但这在现实中是不切实际的。为了获得QoS值,通常需要服务候选,并且它是非常昂贵的。为了避免耗时和昂贵的现实世界的服务调用,本文提出了一个CloudRank框架,预测的QoS排名直接不预测相应的QoS值。该框架提供了一个准确的排名,但在两种算法的QoS值是相同的,所以,一个最佳的VM分配策略,以提高云服务的QoS性能,它也提供了更好的排名精度比CloudRank2算法。
2014-02-11 cs.DC cs.IR
Cloud Service Provider Evaluation System using Fuzzy Rough Set Technique
云服务提供商(CSP)按需和按使用量付费为云用户提供各种可扩展、灵活且经济高效的服务。然而,可用云服务提供商的巨大多样性导致用户在确定和选择最佳合适服务方面面临众多挑战。此外,有时用户需要从多个CSP租用所需的服务,这在管理接口、帐户、安全性、支持和服务级别协议(SLA)方面带来了困难。为了避免这些问题,让云服务代理(CSB)了解服务提供和用户服务质量(QoS)需求将使CSP和用户都受益。在这项工作中,我们提出了一个基于模糊粗糙集的云服务代理架构,它负责排名和选择服务的基础上,用户的QoS要求,并最终监控服务的执行。我们使用了模糊粗糙集技术的降维。使用加权欧氏距离对CSP进行排序。为了对用户的QoS请求进行优先级排序,我们打算使用用户分配的权重,也结合了系统分配的权重来给出QoS属性的相对重要性。我们比较了建议的排名技术与现有的方法的基础上,系统的响应时间。实验结果表明,该方法具有较好的可扩展性和可恢复性,并能以较少的搜索时间获得较好的结果。
2018-10-27 cs.DC
RenderSelect: a Cloud Broker Framework for Cloud Renderfarm Services
在3D工作室中,动画场景文件经历称为渲染的过程,其中3D线框模型被转换为3D照片级真实感图像。由于渲染过程是计算密集型和耗时的任务,基于云服务的渲染在云渲染农场中越来越受动画师的欢迎。虽然云渲染场提供了许多好处,但是动画师对于从他们的传统离线渲染移动到基于云服务的渲染场犹豫不决,因为他们缺乏知识、专业知识和时间来基于渲染场服务提供商提供的服务质量(QoS)来比较渲染场服务提供商、协商QoS并监视所商定的QoS是否实际上由渲染场服务提供商提供。在本文中,我们提出了一个云服务代理(CSB)框架,称为RenderSelect,有助于动态排名,选择,协商和监控基于云的渲染农场服务。基于云服务的渲染场是基于多标准QoS要求的排名和选择的服务。层次分析法(AHP),流行的多标准决策(MCDM)方法用于排名和选择基于渲染农场的云服务。结合实例详细说明了层次分析法的排序方法。实验结果表明,AHP方法能够以较少的时间和复杂度对云服务进行有效的排序。
2016-11-29 cs.DC
Integration of QoS aspects in the Cloud Computing Research and Selection System
云计算不仅仅是一场技术革命,更是一场商业模式革命。它利用了各种已经证明自己的技术,改变了计算机的使用方式,将计算机的本地使用改为集中使用,由第三方以对最终用户透明的方式存储和管理共享资源。随着这种新用途的出现,出现了新的需求,其中之一就是需要搜索云服务并选择满足某些要求的服务。为了满足这一需求,我们在以前的工作中开发了云服务研究和选择系统(CSRSS),旨在让云用户在数据库中搜索云服务,并找到符合他们需求的服务。它是基于天际线和ELECTRE IS。在本文中,我们改进了系统,引入7个新的维度相关的QoS约束。我们的工作的主要贡献是构思一个代理,使用的天际线和一个outranking方法,称为ELECTREIsSkyline,以确定哪些云服务更好地满足用户的要求,同时尊重QoS属性。我们为总共10个维度和50000个云服务编程并测试了这种方法。第一个结果是非常有希望的,并显示了我们的方法的有效性。
2015-12-27 cs.DC
QoSFlow: Ensuring Service Quality of Distributed Workflows Using Interpretable Sensitivity Models
University of Delaware(特拉华大学);Pacific Northwest National Laboratory(太平洋西北国家实验室);Illinois Institute of Technology(伊利诺伊理工学院)
QoSFlow通过可解释的敏感性模型,高效确保分布式工作流的服务质量,其推荐性能优于标准启发式方法27.38%。
2026-02-27 cs.DC cs.PF
Hardware-Level QoS Enforcement Features: Technologies, Use Cases, and Research Challenges
Intel Advanced Technologies Group, Intel Corporation(英特尔高级技术集团,英特尔公司)
本文综述了商用服务器处理器中动态硬件级QoS执行特性的技术与应用,提出新颖分类法,总结了研究现状与优缺点,并指出了在基于服务的云计算环境中的应用机遇与开放挑战。
2025-11-04 cs.DC
Large Language Model Aided QoS Prediction for Service Recommendation
School of Computer Science and Technology(计算机科学与技术学院);Anhui University(安徽大学);Department of Computer Science(计算机科学系);Stony Brook University(石溪大学);School of Information Engineering(信息工程学院);Chaohu University(合肥学院)
本文探索用大语言模型辅助网络服务推荐的QoS预测,提出llmQoS模型,通过LLM提取用户和服务属性信息,结合历史QoS值预测,在WSDream数据集上克服数据稀疏性并优于基线模型。
2025-08-26 cs.DC cs.LG
A QoS aware Novel Probabilistic strategy for Dynamic Resource Allocation
针对云计算、网格等服务计算领域的资源分配问题,提出了一种基于两人博弈的资源分配策略。拟议的战略将把它们分为两类。所提出的系统将预测结果使用先验信息和测量/估计现有的参数,如利用率和延迟在一个最佳的负载平衡的范例。关键词:负载均衡;服务计算;逻辑回归;概率估计
2015-03-24 cs.DC
Cost-efficient, QoS and Security aware Placement of Smart Farming IoT Applications in Cloud-Fog Infrastructure
智能农业是农业领域最近的一项创新,它可以通过使用更智能、自动化和数据驱动的农场流程来提高农业产量,这些流程与农场上部署的物联网设备进行交互。云雾基础设施为执行物联网应用提供了有效的平台。雾计算通过使虚拟化服务更接近物联网设备来满足延迟敏感型物联网服务的实时处理需求,而云计算则允许执行具有更高计算要求的应用。物联网应用的部署是一个关键挑战,因为云和雾节点在资源可用性方面各不相同,并且使用不同的成本模型。此外,物联网应用的资源、服务质量(QoS)和安全要求的多样性使问题变得更加复杂。在本文中,我们将物联网应用程序放置建模为一个优化问题,旨在最大限度地降低成本,同时满足QoS和安全约束。该问题是制定使用非线性规划(ILP)。ILP模型进行评估的小规模的情况下。评估结果显示了QoS和安全需求对成本的影响。我们还研究了放松安全约束对布局决策的影响。
2021-07-29 cs.DC
Quality of Service (QoS)-driven Edge Computing and Smart Hospitals: A Vision, Architectural Elements, and Future Directions
物联网(IoT)范式正在通过使日常物品成为互联网的一个组成部分来彻底改变我们的世界。这种转变越来越多地被医疗保健行业所采用,智能医院现在依靠物联网技术来跟踪医院内外的员工、患者、设备和设备。这种模式为新的创新打开了大门,以更智能的方式在对象,服务和人员之间创建新型交互,以提高患者服务的质量和资源的有效利用。然而,医疗保健中实时物联网应用的实现以及最终智能医院的发展受到当前基于云的计算环境的限制。边缘计算作为一种新的计算模型出现,它利用基于边缘的资源以及云来实现实时物联网应用。它有助于利用物联网模式每年11万亿美元的潜在经济影响,到2025年将部署1万亿物联网设备来实时感知、管理和监控医院系统。这份愿景文件提出了新的算法和软件系统,以应对边缘计算支持的智能医院的重要挑战,包括如何管理和执行各种实时物联网应用,以及如何满足医院环境中各种严格的服务质量(QoS)要求。我们概述的愿景可以帮助及时应对医院日益面临的挑战。
2023-03-13 cs.DC
Performance Analysis of QoS-Differentiated Pricing in Cloud Computing: An Analytical Approach
IaaS服务设计的一个基本目标是实现用户友好和具有成本效益的服务访问,同时实现高资源效率以实现收入最大化。QoS差异化是实现这一设计目标的一个重要透镜。在本文中,我们提出了第一个分析QoS差异化的资源管理和定价架构的云计算上下文中,在这里,云服务提供商(CSP)提供了一个组合的SLA。为了最大限度地提高CSP的收入,我们解决两个技术问题:(1)如何设置SLA价格,以指导用户的SLA最适合他们的需求,和(2)确定多少服务器应该分配给每个SLA,哪些用户和他们的工作有多少被接纳为服务。我们提出了最佳方案,共同确定SLA为基础的价格和执行容量规划在多项式时间。我们的定价模式在客户端保持了高可用性。与标准的基于使用的定价方案相比,数值结果表明,该计划可以提高收入的五倍增加。
2018-03-24 cs.DC
Agri-Info: Cloud Based Autonomic System for Delivering Agriculture as a Service
云计算已经成为在互联网上有效地管理和交付服务的重要范例。云计算与诸如无线传感器网络和移动计算的技术的融合提供了云服务的新应用,但是这需要管理服务质量(QoS)参数以有效地监视和测量所交付的服务。本文提出了一种基于云的自主式信息系统,通过使用最新的云技术来管理基于不同域的各种类型的农业相关数据,以提供农业相关信息作为服务。该系统通过预先配置的设备收集来自不同用户的信息,并自动管理和提供所需的信息给用户。此外,布谷鸟优化算法已用于基础设施级的有效资源分配,以有效利用资源。我们已经评估了所提出的方法在云环境中的性能和实验结果表明,所提出的系统执行更好的资源利用率,执行时间,成本和计算能力以及其他QoS参数。
2015-11-29 cs.DC
μ-DDRL: A QoS-Aware Distributed Deep Reinforcement Learning Technique for Service Offloading in Fog computing Environments
针对雾计算中复杂服务卸载的随机动态环境,提出基于APPO的分布式深度强化学习技术μ-DDRL,结合PPO裁剪与V-trace加速收敛,实现QoS感知的快速、可扩展服务卸载,显著改善异构服务执行时间。
2023-10-13 cs.DC
QoS-based Trust Evaluation for Data Services as a Black Box
提出了一种基于QoS的黑盒数据服务信任评估模型。在黑盒模型下,数据服务既不导出关于其部署、收集和处理数据的条件的(Meta)数据,也不导出其交付的数据质量。因此,黑盒模型在数据提供者可以被信任以用于构建目标应用程序的程度方面造成了盲点。本文提出的黑盒数据服务信任评估模型结合服务性能和数据质量等QoS指标来确定服务的可信度。本文还介绍了DETECT:a Data Service作为黑盒信任评估架构,验证了模型的有效性。信任模型及其相关的监控策略进行了评估,在实验中有代表性的案例研究。实验结果证明了该方案的可行性和有效性。
2021-10-20 cs.CR cs.DB cs.DC
QoS-based Computing Resources Partitioning between Virtual Machines in the Cloud Architecture
云服务已经得到了非常广泛的使用,但是参数的配置,包括资源的有效分配,是系统架构师的一个重要目标。本文致力于解决基于仿真的计算机体系结构选择问题,并开发了计算资源监控程序。开发了旨在提供所需服务质量和有效利用资源的技术。文章介绍了监控程序的计算资源和时间效率的目标应用功能。在此应用程序的基础上,在实验中显示和描述的技术,旨在确保服务质量的要求,通过隔离一个进程从其他不同的虚拟机内部的管理程序。
2016-12-04 cs.DC
Qos-Based Web Service Discovery And Selection Using Machine Learning
在服务计算中,相同的目标功能可以由来自不同提供者的多个Web服务来实现。由于功能上的相似性,客户需要考虑非功能性标准。然而,由开发者提供的服务质量遭受稀缺性和可靠性的缺乏。此外,服务提供商的声誉是选择服务的重要因素,特别是那些经验不足的人。以前的研究大多集中在用户的反馈,以证明选择。不幸的是,并不是所有的用户都提供反馈,除非他们对服务有非常好或不好的体验。在这篇愿景论文中,我们提出了一个新的架构的Web服务发现和选择。核心部分是一个基于机器学习的方法,使用源代码度量来预测QoS属性。可信度值和先前使用计数用于确定服务的信誉。
2018-07-04 cs.CY cs.DC
FAME: QoS-aware Async Service Orchestration for Agentic Workflows
Indian Institute of Science, Bangalore(印度科学研究所班加罗尔分校);IBM Research Lab, Bangalore, India(印度班加罗尔IBM研究实验室)
本文提出FAME架构,利用FaaS平台优化MCP启用的智能工作流,实现模块化组合和状态持久化,提升效率与成本效益。
2026-08-11 cs.DC
FASTCloud: A novel framework of assessment and selection for trustworthy cloud service
针对云服务信任评估与选择难题,提出FASTCloud框架,采用基于区间多属性及偏差最大化客观权重的QoS信任评估模型,高效帮助潜在云消费者选择可信云服务。
2023-05-11 cs.DC
Cloud Service Matchmaking using Constraint Programming
技术知识有限的服务请求者应该能够在云服务市场中根据他们的服务质量(QoS)要求来比较服务。现有的服务匹配方法集中在离散的数值和间隔的QoS要求。现有的研究非功能属性的分析,揭示了两个改进的机会:列表类型的QoS属性以及明确的处理较低或较高的属性值的偏好。我们开发了一个概念和约束模型的服务匹配,有助于现有的方法,通过解决这些问题,使用约束求解器。该原型在标准化阶段使用API,并发现实施挑战。本文的结论是,约束求解器提供了一个有价值的工具来解决软约束的服务匹配问题,并能够覆盖所有的QoS属性类型在我们的分析。我们的方法是在云联盟的应用程序上下文中进行进一步研究。
2016-07-22 cs.DC cs.SE
High Order Collaboration-Oriented Federated Graph Neural Network for Accurate QoS Prediction
College of Computer and Information Science, Southwest University(计算机与信息科学学院,西南大学)
提出HC-FGNN,通过注意力机制放大显式图以捕捉隐式用户交互,实现隐私保护下的准确QoS预测。
2025-07-07 cs.DC cs.LG
Quality of Service (QoS) Modelling in Federated Cloud Computing
围绕具有潜在的大量定制资源的大规模服务器基础设施的思想构建,这些定制资源能够交互以促进服务的部署、适配和支持,云计算需要频繁地重新调度和管理各种应用任务,以便适应广泛范围和数量的用户的请求。云计算的挑战之一是通过设计用于在用户和云虚拟资源之间分配任务以及将虚拟资源分配给云物理资源的有效技术来支持和管理服务质量(QoS)。虚拟资源跨物理资源的迁移是另一个需要相当关注的挑战;特别是在联合云计算环境中,其中,提供商可能愿意将其未使用的资源作为服务提供给联合(合作分配),并在需要时收回这些资源供其自己使用(竞争分配)。本文重新审视了云计算中的QoS问题,通过制定和提出i)一个多QoS任务分配模型的任务分配到虚拟机和ii)一个虚拟机迁移模型的联合云计算环境中考虑的情况下,资源提供商是在合作或竞争模式下操作。针对联邦云环境中的QoS支持问题,提出了一种新的基于差分进化的任务分配绑定策略和一种新的虚拟机模型.实验结果表明,所提出的解决方案提高了云计算环境中的服务质量,并揭示了在联合云环境中操作混合合作和竞争模型的相对优势。
2019-11-08 cs.DC cs.NI
RIBBON: Cost-Effective and QoS-Aware Deep Learning Model Inference using a Diverse Pool of Cloud Computing Instances
Northeastern University(东北大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
深度学习模型推理是许多业务和科学发现流程中的关键服务。本文介绍了RIBBON,一种新型的深度学习推理服务系统,它满足两个相互竞争的目标:服务质量(QoS)目标和成本效益。RIBBON背后的关键思想是智能地使用一组不同的云计算实例(异构实例)来满足QoS目标并最大限度地节省成本。RIBBON设计了一种贝叶斯优化驱动的策略,帮助用户在云计算平台上为其模型推理服务需求构建最佳的异构实例集-并且,RIBBON证明了其优于使用同构实例池的推理服务系统的现有方法。RIBBON为不同的学习模型节省了高达16%的推理服务成本,包括新兴的深度学习推荐系统模型和药物发现使能模型。
2022-07-28 cs.DC cs.LG
Meeting QoS of Users in a Edge to Cloud Platform via Optimally Placing Services and Scheduling Tasks
本文研究了在三层边缘到云平台上,用户请求必须在一定期限内得到满足时的服务放置和任务调度问题。对时间敏感的应用程序(例如,增强现实、游戏、实时视频分析)具有必须满足的严格约束。在多个可能的计算中心的情况下,解决这些请求的“地点”和“时间”在满足其最后期限时变得至关重要。我们将满足用户的最后期限同时最小化边缘到云服务提供商的总成本的问题表述为线性规划(ILP)问题。我们展示了这个问题的NP-硬度,并提出了两个基于局部与全局尺度上的决策的算法。我们改变了用户数量、QoS约束以及远程云和小云(边缘云)之间的成本差异,并对每种情况运行多个Monte-Carlo运行。我们的仿真结果表明,所提出的算法在降低复杂度的同时,性能接近最优。
2019-08-13 cs.DC cs.NI
QoS-Aware Load Balancing in the Computing Continuum via Multi-Player Bandits
Faculty of Electrical Engineering and Computing, University of Zagreb(萨格勒布大学电气工程和计算学院);Distributed Systems Group, TU Wien(维也纳工业大学分布式系统研究组)
QEdgeProxy通过多玩家老虎机模型实现服务质量感知的负载均衡,有效提升边缘计算环境中的QoS满足度和负载适应能力。
2026-01-07 cs.DC cs.NI
Intelligent Resource Scheduling for Co-located Latency-critical Services: A Multi-Model Collaborative Learning Approach
延迟关键型服务已广泛部署在云环境中。为了节省成本,多个服务通常位于同一台服务器上。因此,运行时资源调度成为枢纽QoS控制在这些复杂的协同定位的情况下。然而,随着服务器资源的增加,调度探索空间迅速扩大,使得调度器很难快速提供理想的解决方案。更重要的是,我们观察到,有“资源悬崖”的调度探索空间。它们影响了探测效率,并且总是导致严重的QoS波动。资源悬崖在过去的几年中是不容易避免的。为了解决这些问题,我们提出了一种新的基于ML的智能调度器- OSML。它学习架构提示之间的相关性(例如,IPC、高速缓存未命中、内存占用等),调度解决方案和QoS需求的基础上,我们收集了11个广泛部署的服务运行在现成的服务器上的数据集。OSML采用多个ML模型协同工作,以预测QoS变化,引导调度,并在复杂的协同定位情况下从QoS违规中恢复。OSML可以在调度期间智能地避免资源悬崖,并且比以前的协同定位LC服务方法更快地达到最佳解决方案。实验结果表明,OSML支持更高的负载,满足QoS目标,较以往的研究更低的调度开销和更短的收敛时间。
2022-09-06 cs.DC cs.LG cs.OS
QoS-Aware Resource Placement for LEO Satellite Edge Computing
随着提供全球宽带互联网接入的大型LEO卫星通信网络的出现,出现了在LEO网络内提供边缘计算资源的兴趣。LEO Edge承诺为全球客户端和物联网设备提供低延迟,高带宽的计算和存储资源访问,而无论其地理位置如何。目前的建议假设在每个LEO卫星上都有计算资源或服务副本,这需要大量的前期投资,并可能导致过度供应。为了有效地实施和使用LEO边缘,需要用于服务器和服务放置的方法,这些方法有助于选择卫星的最佳子集作为服务器或服务副本位置。在本文中,我们将展示如何利用LEO卫星网络的独特拓扑结构,将现有的研究资源放置在一个二维环面可以应用到这个问题。此外,我们扩展了现有的离散资源放置方法,允许放置QoS约束。在拟议的低轨卫星通信网络的模拟中,我们展示了QoS如何取决于轨道参数,我们提出的方法可以考虑到这些影响,现有的方法不能。
2022-02-25 cs.DC cs.NI
Towards Fair and Firm Real-Time Scheduling in DNN Multi-Tenant Multi-Accelerator Systems via Reinforcement Learning
University of Catania(卡塔尼亚大学)
针对多租户多加速器云环境中差异化 QoS 需求,提出基于深度强化学习的 DNN 在线实时调度算法,以截止时间命中率为 SLI,保障租户级和模型级服务质量。
2024-02-09 cs.AR cs.DC cs.LG
Continuous QoS-compliant Orchestration in the Cloud-Edge Continuum
针对云边网络中多服务应用QoS决策主动执行不足的问题,提出基于Docker的下一代编排器原型,实现符合QoS的持续管理并衔接CI/CD与监控工具,在意大利分布式测试床完成评估。
2023-10-04 cs.DC cs.NI cs.SE
Quality-of-Service Aware LLM Routing for Edge Computing with Multiple Experts
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);Department of Computer Science and Engineering, The Hong Kong University of Science and Technology(香港科学与技术大学计算机科学与工程系);College of Systems Engineering, National University of Defense Technology(国防科技大学系统工程学院)
针对边缘多LLM部署下的请求路由难题,提出基于深度强化学习的QoS感知路由框架,结合动态状态抽象、动作影响估计等技术,有效提升平均QoS与计算资源效率。
2025-08-01 cs.AI cs.DC cs.MA
User-Assisted Collaborative Distributed Inference for Efficient QoS-Aware Autoscaling
Stockholm University(斯德哥尔摩大学)
针对AI推理服务需求增长带来的集中式服务成本上升问题,提出结合专用与用户贡献资源的协作式分布式推理系统,通过高维生成马尔可夫模型优化调度,可在用户规模扩大时提升性能并降低专用资源消耗。
2026-08-13 cs.AI cs.DC cs.LG