Efficient Redundancy Techniques for Latency Reduction in Cloud Systems
在云计算系统中，将任务分配给多个服务器并等待最早的副本完成是对抗各个服务器的响应时间的可变性并减少延迟的有效方法。但是，增加冗余可能会导致更高的计算资源成本，以及由于更高的业务负载而增加的延迟。这项工作有助于了解冗余何时以及如何经济高效地减少延迟。对于一般的任务服务时间分布，我们比较了不同的冗余策略的冗余任务的数量，时间时，他们被发布和取消。我们了解到，任务服务时间的对数会在添加冗余时产生二分法。如果服务时间分布是对数凸的（即尾部概率的对数是凸的），则添加最大冗余减少了延迟和成本。如果它是对数凹的（即尾部概率的对数是凹的），那么冗余更少，并且早期取消冗余任务更有效。利用这些见解，我们设计了一个通用的冗余策略，实现了一个很好的延迟成本权衡任意的服务时间分布。本文的工作也推广和扩展了fork-join队列分析中的一些结果。
2017-04-12 cs.DC cs.IT math.IT
SeaLLM: Service-Aware and Latency-Optimized Resource Sharing for Large Language Model Inference
SeaLLM通过延迟优化调度、放置与自适应替换算法及统一键值缓存，实现服务感知的LLM共享，显著提升延迟和SLO达成率。
2025-04-22 cs.DC
Redundancy Management for Fast Service (Rates) in Edge Computing Systems
本文研究边缘计算中冗余资源分配问题，以平均系统计算时间和阻塞概率为指标，提出两种优化算法，并通过仿真证明其在不同服务时间分布下显著优于基准方法。
2024-11-25 cs.DC cs.IT math.IT
AccuracyTrader: Accuracy-aware Approximate Processing for Low Tail Latency and High Result Accuracy in Cloud Online Services
诸如搜索引擎之类的现代延迟关键在线服务通常通过咨询跨越大量并行组件的大型输入数据来处理请求。因此，这些组件的尾部延迟决定了服务延迟。为了权衡结果准确性以减少尾部延迟，现有技术使用在指定截止日期之前响应的组件来产生近似结果。然而，当负载变重时，它们可能跳过大部分元件，从而导致大的精度损失。本文介绍了AccuracyTrader，它可以产生近似结果，精度损失小，同时保持较低的尾部延迟。AccuracyTrader汇总每个组件的输入数据信息以创建一个小概要，从而使所有组件能够使用其概要快速产生初始结果。AccuracyTrader还使用概要来识别输入数据中与任意请求的结果准确性最相关的部分，因此首先使用这些部分来改进生成的结果，以最大限度地减少准确性损失。我们使用真实服务中的工作负载评估了AccuracyTrader。结果显示：（i）与现有的精确处理技术相比，AccuracyTrader将尾部延迟减少了40倍以上，准确性损失不到7%;（ii）与现有的近似处理技术相比，当使用相同的延迟时，AccuracyTrader将准确性损失减少了13倍以上。
2016-07-10 cs.DC
Efficient Replication of Queued Tasks for Latency Reduction in Cloud Systems
在云计算系统中，将作业分配给多个服务器并等待最早的副本完成是对抗各个服务器的响应时间的可变性的有效方法。虽然添加冗余副本总是减少服务时间，但每个作业花费的总计算时间可能更高，从而增加队列中的等待时间。每个作业花费的总时间也与计算资源的成本成比例。我们分析了不同的冗余策略，例如。副本的数量以及它们发出和取消的时间会影响延迟和计算成本。我们得到的见解，服务时间分布的对数是一个关键因素，在确定是否增加冗余减少延迟和成本。如果服务分布是对数凸的，则添加最大冗余可以降低延迟和成本。如果它是对数凹的，那么拥有更少的副本并尽早取消冗余请求会更有效。
2015-10-15 cs.DC cs.IT cs.PF
Latency-Sensitive Web Service Workflows: A Case for a Software-Defined Internet
总体而言，互联网仍处于服务提供商和自治系统的控制之下。物联网（IoT）和边缘计算为用户提供了越来越多的需求和潜力，以便对其Web服务工作流进行更多的控制。网络软件化在各个阶段彻底改变了网络格局，从构建，增量部署到维护环境。软件定义网络（SDN）和网络功能虚拟化（NFV）是网络软件化的两个核心原则。SDN通过抽象出数据平面中的网络设备的控制来提供逻辑上集中的控制平面。NFV虚拟化专用硬件中间盒，并将其部署在服务器和数据中心之上作为网络功能。因此，网络软件化通过增强其控制和提高网络服务的可重用性来实现系统的有效管理。在这项工作中，我们提出了我们的愿景软件定义的互联网（SDI）的延迟敏感的Web服务工作流。SDI将网络软件化扩展到互联网规模，以实现在互联网上执行延迟感知的用户工作流。
2020-05-14 cs.DC cs.NI
EP-NCO: Latency-Aware Service Placement using Neural Combinatorial Optimisers for Edge-Cloud Systems
Queen’s University Belfast（贝尔法斯特女王大学）；Karlstad University（卡尔斯特德大学）
提出EP-NCO框架，利用双图模型和图神经网络学习结构嵌入，结合强化学习策略在边缘-云系统中实现延迟感知的服务放置，相比元启发式算法降低46%-50%响应时间。
2026-10-22 cs.DC
Modeling Anomaly Detection in Cloud Services: Analysis of the Properties that Impact Latency and Resource Consumption
本文研究了云服务异常检测中精确度、召回率和检查频率对性能与成本权衡的影响，发现高频检测下高精确度足够，低频检测下高召回率更重要。
2025-11-21 cs.DC
A strong law for the rate of growth of long latency periods in cloud computing service
云计算在客户之间共享一个公共资源池，其规模比传统的多用户系统大几个数量级。组成物理计算服务器被分配多个“虚拟机”（VM）以同时提供服务。理想情况下，每个VM用户都应该不受其他用户需求的影响。自然，这种环境为服务提供商在满足客户期望的同时从服务器资源中提取有效利用率带来了新的挑战。我们研究了一种新的云服务指标，该指标可以测量客户遭受的延迟或延迟。我们对云服务器的工作负载过程进行建模，并随着客户数量的增长分析该过程。描述了确保长段平均工作量不超过阈值所需的能力。云运营商可以使用这一点来提供服务保证，以避免长时间的延迟。作为分析的一部分，我们提供了一个统一的大偏差原则，是独立的利益的随机变量的集合。
2010-10-15 cs.DC math.PR math.ST
Transaction Capacity, Security and Latency in Blockchains
本文将区块链建模为指数延迟下的批量服务队列，分析 Nakamoto 共识的安全性延迟与可持续交易速率，并表明 Bitcoin 采用 k=7 确认可在同等安全下提升六倍性能。
2025-10-20 cs.CR cs.DC cs.DM
Gutenberg: Taming Latency-Critical Cloud Services with Near-Data-Processing
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Carnegie Mellon University（卡内基梅隆大学）
Gutenberg通过CPU+NDP架构、增量缓冲和在线控制器，降低延迟关键型云服务的尾延迟，提升隔离与公平性。
2026-09-14 cs.AR cs.DC
Efficient Location-Based Service Discovery for IoT and Edge Computing in the 6G Era
本文提出一种基于位置的DNS方法，通过动态分配边缘节点服务以降低延迟，为6G时代的物联网和边缘计算提供高效服务发现框架。
2025-04-01 cs.DC
Replacing Large Language Models with Jev Decision Models for Low-Latency Edge Service Orchestration
University of Technology Sydney（悉尼科技大学）
本研究将 Jev 决策模型集成到边缘服务编排中，替代大型语言模型进行决策，在保持服务完成的同时，将客户端决策延迟降低 15.9%-26.5%，API 费用降低约 70%，验证了决策模型替换在低延迟场景中的有效性。
2026-09-22 cs.DC cs.NI
Stringer: Balancing Latency and Resource Usage in Service Function Chain Provisioning
网络功能虚拟化（NFV）使电信基础设施提供商能够用运行虚拟化网络功能（VNF）的商品服务器取代专用网络设备。利用NFV技术的服务提供商面临将VNF实例分配给物理基础设施（例如，数据中心）和路由服务功能链（客户所需的功能序列，也称为SFC）在物理网络中。在这样做时，提供者必须在性能和资源使用的各种竞争目标之间进行平衡。我们提出了一种方法，为证监会提供，包括三个要素。第一个要素是快速、可扩展的循环启发式。第二个要素是基于混合可编程（MIP）的方法。第三个要素是一个延迟理论模型，用于估计与任何SFC配置解决方案相关的平均延迟。结合这些元素，创建一种方法，生成一组SFC配置解决方案，反映资源使用和性能之间的不同权衡。
2016-06-09 cs.DC cs.NI
Leveraging the Power of Prediction: Predictive Service Placement for Latency-Sensitive Mobile Edge Computing
移动边缘计算（MEC）正在兴起，以支持移动网络边缘的延迟敏感型5G应用。当用户在多个MEC节点之间不规则地移动时，如何动态地迁移其服务以维持服务性能（即，用户感知的延迟）出现。然而，频繁的服务迁移会显著增加运营成本，导致提高性能和降低成本之间的矛盾。为了解决这些错位的目标，本文研究了长期成本预算约束下的移动边缘服务放置的性能优化。它具有挑战性，因为预算涉及未来的不确定信息（例如，用户移动性）。为了克服这一困难，我们致力于利用预测的力量，并倡导预测服务放置与预测不久的将来的信息。利用双时标李雅普诺夫优化方法，提出了一种基于帧设计的T时隙预测服务放置（PSP）算法，该算法结合了用户移动性预测。我们从理论上描述了PSP的性能界限。此外，我们提出了一个新的权重调整方案，在每帧命名为PSP-WU队列利用历史队列信息，大大减少了队列的长度，同时提高了用户感知的延迟质量。严格的理论分析和广泛的评估，使用现实的数据跟踪表明所提出的预测方案的优越性能。
2020-06-17 cs.DC cs.NI cs.SI
Taming Tail Latency for Erasure-coded, Distributed Storage Systems
分布式存储系统在响应时间上易受长尾效应的影响。在Bing、Facebook和Amazon等现代在线存储系统中，服务延迟的长尾特别值得关注。其中第99.9百分位响应时间是比平均值差的数量级。由于纠删码作为一种流行的技术出现，以实现分布式存储中的高数据可靠性，同时获得空间效率，驯服尾部延迟仍然是一个开放的问题，由于缺乏数学模型来分析这样的系统。为此，我们提出了一个框架，用于量化和优化尾部延迟擦除编码存储系统。特别是，我们推导出上界尾延迟在封闭的形式为任意服务时间分布和异构文件。基于该模型，我们制定了一个优化问题，以共同最大限度地减少加权延迟尾概率的所有文件在服务器上的文件的位置，并选择服务器访问所请求的文件。使用高效的交替优化算法来解决非凸问题。数值结果表明，擦除编码的存储系统与现实的工作负载的尾部延迟显着减少。
2017-03-24 cs.DC cs.IT cs.NI
Scheduling Methods to Reduce Response Latency of Function as a Service
功能即服务（FaaS）允许云客户将单个功能部署到云，而不是完整的虚拟机或Linux容器。所有主要的云提供商都提供FaaS产品（Amazon Lambda，Google Cloud Functions，Azure Serverless）;还有流行的开源实现（Apache OpenWhisk）和商业产品（Adobe I/O插件，IBM Cloud Functions）。FaaS的一个新特性是函数组合：一个函数可以（顺序地）调用另一个函数，而另一个函数又可以调用另一个函数--形成一个调用链。从基础设施的角度来看，组合式FaaS比虚拟机或容器更不透明。我们表明，这些额外的信息使基础设施，以减少响应延迟。特别是，知道了未来调用的顺序，基础设施可以将这些调用与环境准备一起调度。我们将FaaS中的资源管理建模为一个调度问题，该问题结合了（1）调用的排序，（2）在机器上部署执行环境，以及（3）将调用分配到已部署的环境。对于每一个方面，我们都提出了一些建议。我们通过模拟一系列合成工作负载来探索它们的性能。我们的研究结果表明，如果设置时间较长的调用时间，算法使用的功能组成的信息始终优于贪婪，短视的算法，导致显着减少响应延迟。
2020-08-11 cs.DC
Online Container Scheduling for Low-Latency IoT Services in Edge Cluster Upgrade: A Reinforcement Learning Approach
针对边缘集群升级时传统云调度策略不适配、易影响运行任务的问题，提出基于策略梯度的强化学习在线容器调度算法，可将总任务时延较基线降低约27%。
2023-07-22 cs.DC
Intelligent Resource Scheduling for Co-located Latency-critical Services: A Multi-Model Collaborative Learning Approach
延迟关键型服务已广泛部署在云环境中。为了节省成本，多个服务通常位于同一台服务器上。因此，运行时资源调度成为枢纽QoS控制在这些复杂的协同定位的情况下。然而，随着服务器资源的增加，调度探索空间迅速扩大，使得调度器很难快速提供理想的解决方案。更重要的是，我们观察到，有“资源悬崖”的调度探索空间。它们影响了探测效率，并且总是导致严重的QoS波动。资源悬崖在过去的几年中是不容易避免的。为了解决这些问题，我们提出了一种新的基于ML的智能调度器- OSML。它学习架构提示之间的相关性（例如，IPC、高速缓存未命中、内存占用等），调度解决方案和QoS需求的基础上，我们收集了11个广泛部署的服务运行在现成的服务器上的数据集。OSML采用多个ML模型协同工作，以预测QoS变化，引导调度，并在复杂的协同定位情况下从QoS违规中恢复。OSML可以在调度期间智能地避免资源悬崖，并且比以前的协同定位LC服务方法更快地达到最佳解决方案。实验结果表明，OSML支持更高的负载，满足QoS目标，较以往的研究更低的调度开销和更短的收敛时间。
2022-09-06 cs.DC cs.LG cs.OS
FaaSLight: General Application-Level Cold-Start Latency Optimization for Function-as-a-Service in Serverless Computing
无服务器计算是一种流行的云计算范例，它将开发人员从服务器管理中解放出来。功能即服务（FaaS）是无服务器计算最流行的实现，将应用程序表示为事件驱动和无状态功能。然而，现有的研究报告称，FaaS应用程序的功能严重遭受冷启动延迟。在本文中，我们提出了一种名为FaaSLight的方法，通过应用程序级优化来加速FaaS应用程序的冷启动。我们首先进行测量研究，以调查FaaS冷启动问题的可能根本原因。结果表明，应用程序代码加载延迟是一个显着的开销。因此，只从FaaS应用程序加载不可或缺的代码可能是一个足够的解决方案。基于这种见解，我们通过构建函数级调用图来识别与应用程序功能相关的代码，并将其他代码（即，可选代码）。分离出的可选代码可以按需加载，避免了不可缺少的代码识别不准确导致应用程序失败。特别是，指导FaaSLight设计的一个关键原则本质上是通用的，即，与平台和语言无关。在真实FaaS应用上的评测结果表明，FaaSLight可以显著降低代码加载延迟（最高可达78.95%，平均为28.78%），从而降低冷启动延迟。其结果是，总的反应潜伏期可以减少高达42.05%（平均19.21%）。与最先进的技术相比，FaaSLight在减少平均总响应延迟方面实现了21.25倍的改进。
2023-02-06 cs.DC cs.SE
TrIMS: Transparent and Isolated Model Sharing for Low Latency Deep LearningInference in Function as a Service Environments
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
深度神经网络（DNN）已成为低延迟功能即服务（FaaS）预测管道中的核心计算组件：包括图像识别、对象检测、自然语言处理、语音合成和个性化推荐管道。云计算作为企业和消费者应用程序的现代计算基础设施的事实上的骨干，必须能够处理用户定义的各种DNN推理工作负载的管道，同时保持隔离和延迟保证，并最大限度地减少资源浪费。目前用于保证FaaS内隔离的解决方案是次优的-遭受“冷启动”延迟。这种低效率的主要原因是需要在服务器内和服务器之间移动大量的模型数据。我们提出TrIMS作为解决这些问题的新型解决方案。我们提出的解决方案包括一个跨GPU、CPU、本地存储和云存储层次结构的持久模型存储、一个提供隔离的高效资源管理层以及一组简洁的应用程序API和容器技术，可轻松透明地与FaaS、深度学习（DL）框架和用户代码集成。我们通过将TrIMS与Apache MXNet框架连接来展示我们的解决方案，并展示了图像分类模型的延迟加速高达24倍，大型模型的加速高达210倍。我们实现了高达8倍的系统吞吐量提升。
2018-11-24 cs.DC cs.LG
LatencyPrism: Online Non-intrusive Latency Sculpting for SLO-Guaranteed LLM Inference
Alibaba Cloud Computing（阿里云计算）
LatencyPrism是一种非侵入式延迟塑形系统，通过实时监控和异常检测保证LLM推理的SLA要求。
2026-01-20 cs.DC cs.LG cs.OS
PROFET: Profiling-based CNN Training Latency Prophet for GPU Cloud Instances
训练卷积神经网络（CNN）模型通常需要显著的计算能力，并且云计算资源被广泛用作训练环境。然而，由于云服务的快速发展，CNN算法开发人员很难跟上系统更新并将其应用于其训练环境。因此，对于云计算服务供应商来说，重要的是为各种训练任务设计和交付最佳的训练环境，以减少算法开发人员的系统操作管理开销。为了实现这一目标，我们提出了PROFET，它可以预测在各种图形处理单元（GPU）设备上实现任意CNN的训练延迟，以开发具有成本效益和时间效益的训练云环境。与以往的训练延迟预测工作不同，PROFET不依赖于CNN架构的实现细节，适合在公有云环境下使用。彻底的评估显示优越的预测精度PROFET相比，国家的最先进的相关工作，和示范服务提出了该系统的实用性。
2022-11-21 cs.DC
Caching Techniques to Improve Latency in Serverless Architectures
无服务器计算由于其开发、部署和细粒度计费的简单性，近年来获得了巨大的吸引力。然而，在实现包括数据库、文件存储或多个无服务器功能的复杂服务时，服务请求的延迟方面的性能通常会严重下降。在这项工作中，我们使用AWS Lambda服务分析了不同的无服务器架构，并将其在延迟方面的性能与传统的基于虚拟机（VM）的方法进行了比较。我们观察到，无服务器架构中的数据库访问延迟几乎是基于VM的设置的14倍。此外，我们介绍了一些缓存策略，可以显着提高响应时间，并比较它们的性能。
2019-11-17 cs.DC cs.NI
OOCO: Latency-disaggregated Architecture for Online-Offline Co-locate LLM Serving
OOCO提出一种延迟分解架构，通过分离集群资源为严格和宽松延迟池，解决在线-离线协同LLM服务中的负载不平衡问题，提升离线吞吐量3倍并保持在线性能。
2025-11-26 cs.DC
FogROS2-PLR: Probabilistic Latency-Reliability For Cloud Robotics
Robert Bosch Research and Technology Center North America（罗伯特·博世北美研究技术中心）；University of California, Berkeley（加州大学伯克利分校）
针对云机器人网络QoS波动难以保障时延可靠性的问题，提出LSC不可能三角定理，开发FogROS2-PLR系统通过多独立网络接口与复制云服务器优化路由，显著降低各类场景下的时延。
2024-10-07 cs.DC cs.NI cs.RO
Locality, Latency and Spatial-Aware Data Placement Strategies at the Edge
本文针对边缘计算中的海量数据放置问题，利用数据放置框架比较了基于距离、延迟和空间感知的策略，发现基于空间感知的策略能提供与基于延迟策略相当且优于基于距离策略的服务质量。
2023-04-07 cs.DC
Managing Latency in Edge-Cloud Environment
现代网络物理系统（CPS）包括智能交通、智能农业、智能电网等应用，这些系统通常是分布式的，由通常在云中运行的最终用户应用和微服务组成。CPS与物理世界的连接带来了实时操作和响应的需求。随着云成为计算循环的一部分，实时需求也必须由云来反映。在本文中，我们提出了一种方法，该方法为在云和边缘云中运行的服务的响应时间提供软实时保证（即，云在地理上靠近最终用户），其中这些服务是以高级程序设计语言开发的。特别是，我们阐述了一种方法，使我们能够预测的响应时间的服务时，与其他服务共享同一台计算机的上限。重要的是，由于我们的方法专注于最大限度地减少对此类服务开发人员的影响，因此它不需要任何特殊的编程模型，也不限制公共库的使用等。
2020-11-23 cs.DC cs.NI
Meshlib: In-Process Policy Enforcement for Sidecar-less Service Meshes
Eindhoven University of Technology（埃因霍温理工大学）
本文提出 Meshlib，一种基于 Cilium 的无 Sidecar 服务网格扩展，通过应用进程内策略执行与 Cilium eBPF 数据平面的职责分离，在保障安全的同时降低延迟，经 TrainTicket 基准测试表现最优。
2026-08-26 cs.DC
Reconciling High Accuracy, Cost-Efficiency, and Low Latency of Inference Serving Systems
Iran University of Science and Technology（伊朗科技大学）；Queen Mary University of London（伦敦玛丽女王大学）；Technical University of Darmstadt（达姆施塔特工业大学）；University of South Carolina（南卡罗来纳大学）
针对动态工作负载下ML推理服务难以兼顾准确性、延迟与成本的问题，提出InfAdapter，通过主动选择模型变体及资源分配以最大化准确性与成本目标，显著降低SLO违规与成本。
2023-04-24 cs.DC cs.LG cs.SY
Service Capacity Enhanced Task Offloading and Resource Allocation in Multi-Server Edge Computing Environment
边缘计算环境具有多个边缘服务器和多个服务客户端。在这种环境中，移动服务提供商可以将客户端侧计算任务从服务客户端的设备卸载到边缘服务器上，以减少客户端所经历的服务延迟和功耗。尚未妥善解决的一个关键问题是如何分配边缘计算资源以实现两个优化目标：1）最小化由服务延迟和服务客户端所经历的功耗衡量的服务成本;以及2）最大化由可以长期卸载其计算任务的服务客户端的数量衡量的服务容量。本文将这一长期问题归结为一个随机优化问题，并采用基于李雅普诺夫优化的在线算法求解。这个NP难问题被分解成三个子问题，然后用一套技术来解决。实验结果表明，我们的方法显着优于两个基线方法。
2019-03-12 cs.DC cs.NI
Serving Hybrid LLM Loads with SLO Guarantees Using CPU-GPU Attention Piggybacking
University of Macau（澳门大学）
本文提出OmniServe系统，利用CPU和GPU资源缓解LLM服务间的干扰，提升吞吐量。通过注意力并行机制将BE服务的注意力计算卸载到CPU，同时动态批处理策略提升密集模块计算效率，实验表明在满足LS服务SLO的同时，BE服务吞吐量提升达9.85倍。
2026-03-17 cs.DC
A Decentralized Microservice Scheduling Approach Using Service Mesh in Cloud-Edge Systems
针对云边微服务集中式调度的延迟与容错瓶颈，提出利用服务网格sidecar代理作为去中心化原位调度器，通过嵌入轻量级自主调度逻辑实现本地决策，为大规模云原生环境提供低延迟、高可扩展的系统级架构方向及初步证据。
2025-10-13 cs.DC
Enhancing Traffic Safety with AI and 6G: Latency Requirements and Real-Time Threat Detection
本文提出基于6G和AI的交通安全框架，通过实时威胁检测和低延迟通信提升交通安全性。
2025-03-31 cs.DC
Edge-Oriented Orchestration of Energy Services Using Graph-Driven Swarm Intelligence
Technical University of Cluj-Napoca（克卢日-纳波卡工业大学）；ENSIIE & SAMOVAR（法国埃夫里国立高等信息技术与工业学院及SAMOVAR实验室）
本文提出一种图驱动群体智能框架，用于智能电网中边缘-雾-云基础设施的分布式能源服务编排，通过高效拓扑探索和任务分配算法实现低延迟服务迁移与数据互操作性。
2026-04-14 cs.DC
When Do Redundant Requests Reduce Latency ?
一些系统具有以多种方式服务请求的灵活性。例如，存储数据的多个副本的分布式存储系统可以服务于来自存储所请求的数据的多个服务器中的任何一个的请求，或者计算任务可以由多个处理器中的任何一个在计算集群中执行。在这样的系统中，通过发送“冗余请求”可以潜在地减少服务请求的延迟：请求可以被发送到比所需的更多的服务器，并且当必要数量的服务器完成服务时，该请求被认为是被服务的。这样的机制在请求的至少一个副本的更快执行的可能性与由于系统上的增加的负载而导致的延迟的增加之间进行权衡。由于这种权衡，目前还不清楚冗余请求何时会真正有所帮助。最近的几项工作经验评估的延迟性能的冗余请求在不同的设置。这项工作的目的是冗余请求的延迟性能的分析研究，主要目标是表征在什么情况下发送冗余请求会有帮助（以及在什么情况下它们不会有帮助），以及设计最佳的冗余请求策略。我们首先提出了一个模型，捕捉这些系统的关键特征。我们表明，当服务时间是i.i.d.无内存或“较重”，并且当已经完成的作业的额外副本可以立即删除时，冗余请求减少了平均延迟。另一方面，当服务时间“较轻”或当服务时间是无记忆的并且作业的移除不是瞬时的时，则在请求中不具有任何冗余在高负载下是最优的。我们的结果适用于任意到达过程。
2013-11-07 cs.DC cs.NI cs.PF
Dynamic Service Scheduling and Resource Management in Energy-Harvesting Multi-access Edge Computing
University of Leeds（利兹大学）；Southern University of Science and Technology (SUSTech)（南方科技大学）；University of Thessaly（色萨利大学）；Research Institute of Trustworthy Autonomous Systems (RITAS), SUSTech（南方科技大学可信自主系统研究院）
本文提出了一种基于能量收集的MEC系统在线策略，通过动态任务调度和实时能耗管理，实现高效能量利用与低延迟服务的平衡。
2025-10-31 cs.DC
A Graph Neural Networks based Framework for Topology-Aware Proactive SLA Management in a Latency Critical NFV Application Use-case
Walton Institute for Information and Communication Systems Science, South East Technological University（东南理工大学沃尔顿信息与通信系统科学研究所）；South East Technological University（东南理工大学）
5G和6 G的推出的最新进展已经导致了经由灵活和软件化的通信网络的网络功能虚拟化（NFV）使能范例来交付的一系列新的延迟关键应用的出现。电信、智能电网、虚拟现实（VR）、工业4.0、自动驾驶汽车等不断发展的垂直行业受到低延迟和高可靠性愿景的推动，服务提供商和最终用户在有效弥合服务质量（QoS）约束方面存在很大差距。在这项工作中，我们希望通过提出一个积极的SLA管理框架，利用图神经网络（GNN）和深度强化学习（DRL）来平衡效率和可靠性之间的权衡，来解决延迟关键型服务的过度配置问题。总结我们的主要贡献：1）我们组成了一个基于图的时空多变量时间序列预测模型，在多输出场景中具有多个时间步预测，在用例上比现有的基线最新模型提高了74.62%的性能;以及2）我们利用用例的实际SLA定义来实现动态的SLA感知监督，以使用DRL扩展策略管理。
2022-11-10 cs.DC cs.LG cs.NI
Cascade: Exploiting SLO-Aware latency budget for fair and high goodput LLM inference serving
The University of British Columbia（不列颠哥伦比亚大学）；Microsoft Azure Research（微软Azure研究院）；NVIDIA（英伟达）
Cascade是一款LLM服务系统，利用单请求延迟预算协同调度与KV缓存管理，在保留异构请求公平性的同时，使LLM推理服务吞吐量最高提升2.4倍，SLO违规率降低40%。
2026-08-10 cs.DC cs.LG
Shuffle-Exchange Brings Faster: Reduce the Idle Time During Communication for Decentralized Neural Network Training
分布式随机梯度下降（DSGD）作为加速深度神经网络（DNN）训练的重要方法，在实际应用中得到了广泛的应用。在大多数分布式深度学习（DL）框架中，DSGD采用Ring-AllReduce架构（Ring-SGD）实现，并使用计算-通信重叠策略来解决DSGD所需的大量通信的开销。然而，我们观察到，尽管Ring-SGD中每个工作者都需要传递$O(1)$梯度，但Ring-SGD所需的$O(n)$握手限制了其在与许多工作者一起训练或在高延迟网络中的使用。本文提出了洗牌交换SGD（SESGD）来解决Ring-SGD的困境。在具有0.1ms以太网延迟的16个工作者的集群中，SESGD可以加速DNN训练到$1.7 \times$，而不会损失模型准确性。此外，在高延迟网络（5 ms）中，该过程可以加速到$5\times$。
2020-07-16 cs.DC
Flexible MEC service consumption through edge host zoning in 5G networks
多址边缘计算（MEC）被公认为新兴5G系统的关键支持技术。当部署在完全虚拟化的网络中时，即，在网络功能虚拟化（NFV）范例之后，它将实现大量新的应用和用例。然而，不断增长的设备数量与大幅增长的业务需求相结合，要求在用户平面和控制平面两者中的NFV环境中进行低端到端（E2E）延迟分组传输和处理。在本文中，专注于控制平面数据包流量，我们调查的MEC应用程序消耗MEC服务运行在不同的MEC主机上的一般情况。为了在不同地点实现灵活的MEC平台服务消费，基于最先进的总处理时间统计模型，我们在托管MEC应用实例的MEC服务器周围定义了延迟感知邻近区域。示例性场景展示了在MEC主机和服务产生MEC应用实例周围引入邻近区域的感知的E2E性能益处。这种性能感知的服务消费将有利于未来向分布式计算系统的发展。
2019-03-05 cs.DC
Selection Guidelines for Geo-Replicated SMR Protocols: A Communication Pattern-based Latency Modeling Approach
Toyohashi University of Technology（丰桥技术科学大学）
本文提出基于通信模式的延迟建模方法，为地理复制SMR协议的选择提供五条指南，帮助确定最佳协议。
2026-01-04 cs.DC
Okapi: Causally Consistent Geo-Replication Made Faster, Cheaper and More Available
Okapi是一个新的因果一致的地理复制键值存储。Okapi利用两个关键的设计选择来实现高性能。首先，它依赖于混合逻辑/物理时钟来实现低延迟，即使在存在时钟偏斜的情况下也是如此。其次，Okapi实现了更高的资源效率和更好的可用性，但代价是更新可见性延迟略有增加。为此，Okapi实现了一种新的稳定协议，该协议使用矢量和标量时钟的组合，并在每个数据中心确认其交付时使远程更新可见。我们在Amazon AWS上使用不同的工作负载评估Okapi，使用三个地理分布的区域和96个节点。我们比较了Okapi与最近的两种因果一致性方法Cure和GentleRain。我们表明，Okapi提供了高达两个数量级的性能比GentleRain和Okapi实现了高达3.5倍的低延迟和减少60%的元数据开销相对于治愈。
2017-02-14 cs.DC
An Interference-aware Approach for Co-located Container Orchestration with Novel Metric
本文引入调度延迟作为量化干扰的新型指标，利用机器学习预测在线服务干扰并指导资源分配，提出基于预测模型的调度算法，有效降低在线服务响应时间并平衡节点资源利用率。
2024-02-14 cs.DC
BottleNet: A Deep Learning Architecture for Intelligent Mobile Cloud Computing Services
University of Southern California（南加州大学）
最近的研究表明，通过在移动终端和云之间拆分网络，可以显着改善深度神经网络的延迟和能耗。本文介绍了一种新的深度学习架构，称为BottleNet，用于减少需要发送到云端的特征大小。此外，我们提出了一种训练方法，用于补偿由于在将特征传输到云之前对特征进行有损压缩而导致的潜在准确性损失。与仅使用云的方法相比，BottleNet在端到端延迟方面平均提高了30倍，在移动能耗方面平均提高了40倍，准确性损失可以忽略不计。
2019-02-04 cs.DC cs.LG
CONTINUER: Maintaining Distributed DNN Services During Edge Failures
Queen’s University Belfast（贝尔法斯特女王大学）；University of St Andrews（圣安德鲁斯大学）
跨边缘节点划分和部署深度神经网络（DNN）可以用于满足应用的性能目标。然而，单个节点的故障可能导致连锁故障，这将对服务的交付产生不利影响，并将导致无法实现特定目标。这些故障的影响需要在运行时最小化。本文研究了三种技术，即重新划分、提前退出和跳过连接。当边缘节点发生故障时，重新分区技术将重新分区和重新部署DNN，从而避免故障节点。早期退出技术提供了在故障节点之前退出（早期）的请求。跳过连接技术通过跳过故障节点来动态路由请求。本文将利用准确性、端到端延迟和停机时间方面的权衡，在边缘节点发生故障时，根据用户定义的目标（准确性、延迟和停机时间阈值）选择最佳技术。为此，开发了Continuer。该框架的两个关键活动是在使用分布式DNN技术时估计准确性和延迟，并选择最佳技术。在基于实验室的实验测试平台上证明，CONTINUER在使用这些技术时估计准确度和延迟，平均误差分别不超过0.28%和13.06%，并选择合适的技术，其开销不超过16.82毫秒，准确度高达99.86%。
2022-04-25 cs.DC cs.LG
Active Inference-Based Adaptive Routing for Heterogeneous Edge AI Services
TU Wien（维也纳工业大学）；Universitat Pompeu Fabra（庞培法布拉大学）
本文提出AIF-Router框架，通过主动推断实现多层级AI服务的自适应路由，平衡延迟、吞吐量和资源利用率，适用于不稳定边缘环境。
2026-04-19 cs.DC cs.ET cs.PF
Dissecting Service Mesh Overheads
服务网格在现代应用程序生态系统中发挥着核心作用，它提供了一种简单灵活的方式来连接构成分布式应用程序的不同服务。但是，由于它们占用应用程序流量的方式，它们可能会大大增加应用程序延迟和资源消耗。我们开发了一个分解的方法和一个工具，称为MeshInsight，系统地表征服务网格的开销，并帮助开发人员量化的开销在部署方案的利益。通过使用MeshInsight，我们确认服务网格可能会有很高的开销--对于我们的基准测试应用程序来说，延迟最多增加185%，虚拟CPU核心最多增加92%--但严重程度与它们的配置方式和应用程序工作负载密切相关。开销的主要贡献者也因配置而异。当服务网格作为TCP代理运行时，IPC（进程间通信）和套接字写入占主导地位，但当它作为HTTP代理运行时，协议解析占主导地位。MeshInsight还使我们能够研究服务网格优化的端到端影响。我们表明，并不是所有的令人鼓舞的优化导致显着的开销减少在现实的设置。
2022-07-02 cs.DC cs.NI
Visual Insights into Agentic Optimization of Pervasive Stream Processing Services
Universitat Pompeu Fabra（庞培法布拉大学）；TU Wien（维也纳工业大学）
本研究提出了一种面向普及流处理服务的自动扩展平台，通过代理优化服务执行，提升资源利用率和系统性能。
2026-02-19 cs.DC cs.PF cs.SY
