The Scalable Systems Laboratory: a Platform for Software Innovation for HEP
可扩展系统实验室（SSL）是IRIS-HEP软件研究所的一部分，为研究所参与者和HEP软件开发人员提供了一种将他们的研发从概念玩具过渡到测试平台再到生产规模原型的方法。SSL使工具，基础设施和服务支持创新的分析和数据架构，软件元素和工具链的开发，服务组件的可复制功能和可扩展性测试，以及研究所开发的加速服务的基础系统研发。SSL由一个核心团队组成，该团队拥有在广泛的网络基础设施中进行规模测试和部署服务的专业知识。核心团队嵌入并与研究所的其他领域合作，并与LHC和其他HEP开发和运营团队合作，以定义调查和所需的服务部署模式。我们描述了早期应用程序部署的方法和经验，包括分析平台和智能数据交付系统。
2020-05-13 cs.DC
DiPerF: an automated DIstributed PERformance testing Framework
我们提出了DiPerF，分布式性能测试框架，旨在简化和自动化服务性能评估。DiPerF协调测试目标服务的机器池，收集和聚合性能指标，并生成性能统计数据。收集的聚合数据提供有关服务吞吐量、并发服务多个客户端时的服务“公平性”以及网络延迟对服务性能的影响的信息。此外，使用该数据，可以建立预测模型，该预测模型在给定服务负载的情况下估计服务性能。我们已经在Grid3和PlanetLab两个测试平台上的100多台机器上测试了DiPerF，并探索了Globus Toolkit 3.2中包含的作业提交服务（前WS版本和WS版本）的性能。
2004-10-05 cs.DC cs.PF
Efficient Fault Localization in a Cloud Stack Using End-to-End Application Service Topology
Indian Institute of Science, Bangalore（印度科学研究所）；IBM Research, India（IBM 印度研究院）
本文提出利用端到端应用服务拓扑选择云栈中最具信息量的指标，并在此基础上提出TA-RCD算法，以高效、可解释地定位性能异常根因，实验表明其Top-3和Top-5召回率平均比现有RCD算法至少提升2倍。
2026-10-12 cs.DC cs.PF
OGSA/Globus Evaluation for Data Intensive Applications
我们提出了一个基于Globus Toolkit 3的测试平台的体系结构，用于评估开放网格服务体系结构（OGSA）对数据密集型应用的适用性。
2003-11-10 cs.DC
MetaFlow: a Scalable Metadata Lookup Service for Distributed File Systems in Data Centers
在大规模分布式文件系统中，有效的Meta数据操作是至关重要的，因为大多数文件操作必须首先与元数据服务器交互。在现有的基于分布式哈希表（DHT）的元数据管理系统中，查找服务由于其显著的CPU开销而成为性能瓶颈。我们的调查表明，查找服务可以减少高达70%的系统吞吐量，并增加系统延迟的一个因素，最多8相比，理想的情况。在本文中，我们提出了MetaFlow，一个可扩展的元数据查找服务，利用软件定义网络（SDN）技术，在网络组件上分配查找工作量。MetaFlow通过利用在物理拓扑上构建的B树来管理支持SDN的交换机的流表，从而解决了查找瓶颈问题。因此，可以仅使用交换机将元数据请求转发到适当的服务器。在模拟和测试平台中进行的广泛性能评估表明，与基于DHT的系统相比，MetaFlow将系统吞吐量提高了3.2倍，并将系统延迟降低了5倍。我们还在分布式文件系统中部署了MetaFlow，并展示了显著的性能改进。
2016-11-10 cs.DC
Economics of Resilient Cloud Services
当今的计算机系统必须满足并保持服务可用性、性能和安全性要求。这些需求中的每一个都需要冗余和某种形式的隔离。当单独实现服务需求时，系统架构不能轻松共享冗余和隔离的公共组件。我们将通过一个名为自清洗入侵容忍或SCIT的系统将这些服务特性统称为网络弹性。此外，我们将证明SCIT提供了一个有效的弹性云实施，使云过剩容量和规模经济的成本效益的利用。最后，我们将介绍利用AWS Lambda的无服务器应用程序的概念，以及无状态架构如何通过利用云功能服务来大幅降低运营成本。
2016-07-28 cs.CR cs.DC
From Zero to Fog: Efficient Engineering of Fog-Based Internet of Things Applications
在物联网数据处理中，由于延迟约束、带宽限制和隐私问题，单独的云计算是不够的。通过引入更靠近网络边缘的中间节点，在物联网设备附近提供计算服务，雾计算可以减少网络压力和应用服务的高访问延迟。虽然这是实现高效物联网应用的唯一可行方法，但雾中云和中间节点之间的组件放置问题为系统设计增加了一个新的维度。这个问题的最先进的解决方案依赖于模拟或通过启发式算法解决形式化的分配问题，这两者都是不准确的，并且无法随着解空间呈指数级增长而扩展。在本文中，我们提出了一个设计实用的基于雾的物联网应用程序的三步过程，该过程使用最佳实践，模拟和测试床分析来收敛到一个高效的系统架构。然后，我们将此流程应用于智能工厂案例研究中。通过部署过滤选项的物理测试平台，我们表明，我们的过程中的每一步收敛到更有效的应用程序设计。
2021-07-02 cs.DC
Edge-Cloud Continuum Orchestration of Critical Services: A Smart-City Approach
针对智慧城市MEC环境中现有云原生编排工具隔离、实时性和边缘适配不足的问题，本文扩展Kubernetes，提出位置资源定义、自定义调度、持续监控与负载均衡机制，实现关键与非关键云边服务的无缝编排。
2024-07-24 cs.DC
A Computational Economy for Grid Computing and its Implementation in the Nimrod-G Resource Brok
计算网格，耦合地理上分布的资源，如个人电脑，工作站，集群，和科学仪器，已经成为下一代的计算平台，解决大规模的问题，在科学，工程和商业。然而，这些环境中的应用程序开发、资源管理和调度仍然是一项复杂的任务。在这篇文章中，我们将讨论我们的努力，在开发一个资源管理系统调度计算分布在世界各地的资源，不同的服务质量。我们的面向服务的网格计算系统称为Nimrod-G管理与远程执行相关的所有操作，包括资源发现，交易，基于经济原则和用户定义的服务质量要求的调度。Nimrod-G资源代理是通过利用Globus等现有技术实现的，并提供了构建工业强度网格所必需的新服务。我们讨论的初步实验结果调度一些参数计算使用Nimrod-G资源代理在一个世界范围内的网格测试平台，跨越五大洲。
2001-11-17 cs.DC
Prototyping Next-Generation O-RAN Research Testbeds with SDRs
开放无线接入网（O-RAN）定义了未来6 G无线网络的新兴蜂窝无线接入网（RAN）架构，强调开放性和智能性，这被认为是未来6 G无线网络的基础。虽然RAN固有的复杂性和灵活性带来了许多新的研究问题，但由于缺乏端到端的、完全开发的平台，因此开发解决方案的进展受到阻碍，这些平台可以帮助在现实环境中实现用例。这推动了无线社区可用的开源框架的形成。然而，利用各种基于软件的技术的专用平台和解决方案的快速发展往往留下关于框架中组件之间的互操作性和交互的问题。本文介绍了如何构建一个软件定义无线电测试平台，该平台具有开源5G系统，可以通过标准接口与O-RAN架构的近实时（近RT）RAN智能控制器（RIC）进行交互。我们专注于O-RAN E2接口交互，并概述了实现具有E2功能的RAN系统的过程。我们演示了两个xApp在测试平台上的工作，详细的E2消息交换程序及其在控制下一代RAN中的作用。
2022-05-26 cs.DC cs.NI
Grid Data Management in Action: Experience in Running and Supporting Data Management Services in the EU DataGrid Project
在欧盟数据网格项目的第一阶段，已经实施了一个数据管理系统，并提供部署。目前EDG测试床的组件包括：围绕Globus提供的基本服务构建的网格管理器服务原型，用于存储文件物理位置信息的集中式网格目录，以及广泛用于欧洲和美国各种HEP合作的网格数据镜像包（GridDataMirringPackage，GSDs）。在这一年中，这些服务得到了改进，变得更加强大，以便适合在生产前环境中使用。应用程序用户已经使用数据管理服务的第一个版本一年多了。在本文中，我们提出的组件和它们的相互作用，我们的实施和经验，以及从我们的用户社区收到的反馈。我们不仅解决了与其他EDG服务组件集成的问题，还解决了与我们在欧洲和美国的合作伙伴项目组件的互操作性问题。这些结论为将于2003年在EDG部署的下一代数据管理服务的体系结构提供了动力。
2003-06-02 cs.DC
NEUKONFIG: Reducing Edge Service Downtime When Repartitioning DNNs
深度神经网络（DNN）可以跨边缘和云进行分区，以提高推理的性能效率。DNN分区是基于网络速度等操作条件确定的。当操作条件改变时，DNN将需要重新分区以保持整体性能。但是，使用现有方法（如恢复和恢复）重新分区将导致边缘服务停机。本文介绍了NEUKONFIG框架，该框架可识别重新分区DNN时发生的服务停机时间，并提出了减少边缘服务停机时间的方法。所提出的方法是基于“动态切换”，其中，当网络速度变化时，给定现有的边缘云管道，新的边缘云管道将使用新的DNN分区进行初始化。传入的推理请求被切换到新的管道以处理数据。考虑两种动态切换场景：当第二个边缘云管道始终运行时，以及当第二个管道仅在网络速度变化时初始化时。在实验室测试平台上进行实验研究，以证明与使用具有6秒停机时间的恢复和恢复的基线相比，动态切换将停机时间减少至少一个数量级。注意到边缘服务停机时间和所需内存的权衡。动态切换方法需要与基线相同的内存量，可将边缘服务停机时间缩短至0.6秒，在最佳情况下，当可用内存量为基线的两倍时，可缩短至不到1毫秒。
2021-06-29 cs.DC
The Streetscape Application Services Stack (SASS): Towards a Distributed Sensing Architecture for Urban Applications
Rutgers University（罗格斯大学）；Columbia University（哥伦比亚大学）
针对城市街景应用中分布式异构传感器数据管理难、规模化扩展复杂的问题，提出包含多模态数据同步、时空数据融合、分布式边缘计算三项核心服务的SASS架构，在真实测试中显著提升同步精度、检测准确率与系统吞吐量，支撑可扩展的实时城市街景智能应用。
2025-01-13 cs.CV cs.DC cs.LG
Placing Timely Refreshing Services at the Network Edge
针对边缘服务部署中刷新成本易被忽略、时空耦合导致问题难解的问题，提出轻量级DVA方法，通过时域和空域解耦优化服务部署与请求卸载，实验验证其最多可降低59.1%的总传输成本。
2024-06-24 cs.DC cs.NI
Service Delay Minimization for Federated Learning over Mobile Devices
University of Houston（休斯顿大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Purple Mountain Laboratories（紫金山实验室）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
移动设备上的联邦学习（FL）已经培育了许多有趣的应用/服务，其中许多是延迟敏感的。在本文中，我们提出了一个服务延迟有效的FL（SDEFL）计划在移动设备上。与传统的通信高效FL，这将无线通信作为瓶颈，我们发现，在许多情况下，本地计算延迟是可比的FL训练过程中的通信延迟，鉴于高速无线传输技术的发展。因此，FL中的服务延迟应该是计算延迟+训练轮上的通信延迟。为了最小化FL的服务延迟，简单地独立地减少本地计算/通信延迟是不够的。必须考虑本地计算和无线通信之间的延迟权衡。此外，我们实证研究了本地计算控制和压缩策略（即，局部更新、权重量化和梯度量化的数量）对计算、通信和服务延迟的影响。基于这些权衡观察和实证研究，我们开发了一个优化方案，以最大限度地减少服务延迟FL异构设备。我们建立了测试平台，并进行了广泛的仿真/实验，以验证我们的理论分析。结果表明，SDEFL减少了显着的服务延迟与一个小的准确性下降相比，同行的设计。
2022-05-19 cs.DC cs.LG
Leveraging Semantic Web Technologies for Managing Resources in a Multi-Domain Infrastructure-as-a-Service Environment
本文报告了使用语义支持的网络资源模型来构建一个可操作的多域网络基础设施即服务（NIaaS）测试平台ExoGENI的经验，该平台最近通过NSF的GENI项目获得资助。NIaaS的一个定义属性是网络配置功能与更常见的存储和计算配置功能的深度集成。资源提供商拓扑和用户请求可以使用网络资源模型来描述，该网络资源模型具有用于经由虚拟化和网络层之间的适配而专用于特定技术的基本网络资源（链路、节点、接口）的公共基类。这个问题空间产生了一些应用领域，语义Web技术变得非常有用-公共信息模型和资源类层次结构简化了多个提供者的资源描述，寻路和拓扑嵌入算法依赖于查询抽象作为构建块。本文介绍了如何语义资源描述模型使ExoGENI自主实例化的虚拟机的按需虚拟拓扑从云提供商提供，并通过按需虚拟连接从多个自治网络提供商获得的各种应用程序，从分布式系统实验高性能计算。
2014-03-04 cs.DC cs.NI
Continuous QoS-compliant Orchestration in the Cloud-Edge Continuum
针对云边网络中多服务应用QoS决策主动执行不足的问题，提出基于Docker的下一代编排器原型，实现符合QoS的持续管理并衔接CI/CD与监控工具，在意大利分布式测试床完成评估。
2023-10-04 cs.DC cs.NI cs.SE
Hierarchical Fog-Cloud Computing for IoT Systems: A Computation Offloading Game
雾计算在网络边缘提供低延迟计算服务，是新兴物联网（IoT）系统的推动者。在本文中，我们研究了雾计算资源的物联网用户在一个分层的计算范式，包括雾和远程云计算服务的分配。我们制定了一个计算卸载游戏来模拟物联网用户之间的竞争，并有效地分配雾节点的有限处理能力。每个用户的目标是最大化其自身的体验质量（QoE），这反映了其在计算能量和延迟的减少方面对使用计算服务的满意度。利用潜在的博弈方法，我们证明了一个纯纳什均衡的存在性，并提供了一个上限的无政府代价。由于达到均衡的时间复杂度随着用户数量的增加而呈指数级增加，因此我们进一步提出了一种接近最优的资源分配机制，并证明了在具有$N$ IoT用户的系统中，它可以在$O(N/ε)$时间内实现$ε$ -纳什均衡。通过数值研究，我们评估用户的QoE以及均衡效率。我们的研究结果表明，通过利用所提出的机制，更多的用户受益于计算服务相比，现有的卸载机制。我们进一步表明，我们提出的机制显着降低了计算延迟，并为延迟敏感的物联网应用提供低延迟雾计算服务。
2017-10-17 cs.DC cs.GT cs.NI
