Mitigation of Delayed Management Costs in Transaction-Oriented Systems
面向交易的复杂网络（TON）的大量例子可以在各种学科中找到，包括信息和通信技术、金融、商品交易和房地产。TON中的事务作为与网络节点相关联的子事务序列来执行，并且如果每个子事务都被提交，则被提交。子事务在主机节点上产生双重开销：固定的瞬时操作成本和长期管理成本（例如存档和支持），其可能随事务长度呈指数级增长。如果总成本超过节点容量，则节点失败，并且与节点关联的所有子事务及其父分布式事务被中止。TON弹性可以根据外部工作负载或导致TON部分或完全阻塞的固有节点故障率来测量。我们证明，在一定条件下，这两个措施是等价的。我们进一步表明，指数增长的长期管理成本可以通过调整有效的运营成本来缓解：换句话说，未来的维护成本可以被吸收到瞬态的运营成本。
2014-09-23 cs.DC cs.NI
Transaction Level Analysis for a Clustered and Hardware-Enhanced Task Manager on Homogeneous Many-Core Systems
众核系统并行性的提高对运行时系统管理提出了更高的要求。由于内核数量庞大，管理开销对整体系统性能的影响越来越大。这项工作分析了集群的专用硬件节点的基础设施来管理一个同质的众核系统。硬件节点实现消息传递协议，并在运行时执行任务映射和同步。为了做出有意义的映射决策，全局管理节点采用工作负载状态通信机制。本文通过任务映射用例和包括应用程序干扰的并行基准测试来讨论专用基础设施的设计空间。我们评估的应用程序加速比的架构，并分析了状态通信的机制。与集中式和完全分布式配置的比较表明，我们的方法的计算和通信管理开销的减少。
2015-02-10 cs.DC
Monitoring and Proactive Management of QoS Levels in Pervasive Applications
University of Thessaly（色萨利大学）
边缘计算（EC）作为一种有前途的范例的出现，提供了接近数据源的多种计算和分析功能，为新的应用开辟了新的途径。尽管如此，EC节点的计算能力有限，并在任务执行过程中确保高水平的QoS的期望，提出了严格的要求，创新的管理方法。出于维持EC节点运行期间的最低水平的QoS的需要，我们阐述了一个分布式和智能决策的任务调度方法。我们的目标是提高EC节点的行为，使他们能够确保高QoS水平。我们建议节点持续监控QoS水平，并系统地评估违反它们的概率，以主动决定将某些任务卸载到对等节点或云。我们提出，描述和评估所提出的方案，通过多个实验方案揭示其性能和设想的监控机制的好处时，在非常动态的环境中，如EC处理请求。
2022-06-11 cs.DC cs.LG
ASURA: Scalable and Uniform Data Distribution Algorithm for Storage Clusters
大规模存储集群系统需要管理大量的数据位置。简单的数据位置管理维护成对的数据ID和将数据存储在表中的节点。然而，当对的数量太大时，这是不实际的。为了解决这个问题，在最近的研究中，已经提出了使用数据分布算法的管理，而不是使用表的管理。这种数据分发算法要求能够处理节点的添加或删除、计算时间短以及在每个节点的容量上均匀地分发数据。本文提出了一种数据分布算法ASURA（Advanced Scalable and Uniform Storage by随机数Algorithm）来满足这些要求。它实现了以下四个特点：1）最小的数据移动，以维持数据分布根据节点的能力时，增加或删除节点，即使数据被复制，2）大约亚微秒的计算时间，3）远低于1%的最大可变性节点之间的数据分布，和4）数据分布根据每个节点的能力。评估结果表明，ASURA是定性和定量的竞争力，主要的数据分布算法，如一致性散列，加权Renminbi散列和随机切片。比较结果显示了每种算法的优点，表明ASURA在大型横向扩展存储集群中具有优势。
2017-07-04 cs.DC
Clustering Algorithms for Scale-free Networks and Applications to Cloud Resource Management
在本文中，我们介绍了算法的无标度网络的建设和聚类周围的神经中心，节点具有高连通性的无标度网络。我们认为，这样的覆盖网络可以支持自组织在一个复杂的系统，如云计算基础设施，并允许实施最佳的资源管理策略。
2013-05-14 cs.DC
Management of Data Replication for PC Cluster-based Cloud Storage System
存储系统是云计算基础架构的基本构建块。虽然高性能存储服务器是云存储的最终解决方案，但廉价存储系统的实现仍然是一个悬而未决的问题。为了解决这个问题，高效的云存储系统是用组织成基于PC集群的数据中心的廉价和商品计算机节点来实现的。Hadoop分布式文件系统（HDFS）是一个基于云的开源存储平台，旨在部署在低成本硬件中。通过增强复制管理机制，采用HDFS实现了基于PC集群的云存储系统。数据对象在位于云中的商品节点集群中分布和复制。该系统提供了最佳的副本数量以及存储服务器节点之间的加权和平衡。实验结果表明，根据PC集群中各节点的可用磁盘空间、期望可用性和失效概率，可以实现存储均衡。
2011-12-27 cs.DC cs.NI
On coexistence of decentralized system (blockchain) and central management in Internet-of-Things
网络由逻辑节点和用于通信的边组成。连接到网络的事物的原子组件是一个内存芯片。因此，内存芯片和逻辑节点的唯一链接可以有望解决物联网上的信任根问题。为此，我们提出了一个使用内存芯片的挑战-响应协议。对于中央管理，中央节点控制具有内存芯片的电子设备进入网络，并排除伪节点（例如，欺骗实体）从中心节点管理的网络中。对于分散式通信，Merkle的树由逻辑节点分别唯一链接的内存芯片组成。Merkle的根源原来是存储数据交易最新记录的内存芯片。我们可以通过满足共识证明的要求将该内存芯片注册为新的块。在块被链接之后，即使是中心节点也更难操纵内存芯片之间的事务记录。通过这种方式，分散式系统（例如，区块链）和中央管理可以共存。并简要讨论了安全状态的新概念。
2022-12-10 cs.CR cs.DC cs.NI
Multi-Stream Opportunistic Network Decoupling: Relay Selection and Interference Management
我们研究了多流传输的$K \times N \times K$信道与干扰中继节点，包括$K$多天线源-目的地（S-D）对和$N$单天线半双工中继节点之间的S-D对。我们提出了一种新的可实现的方案，部分有效的信道增益，称为多流机会网络解耦（MS-OND），它实现了最佳的自由度（DoF）在一定的中继缩放定律。我们的协议是建立在传统的OND，导致虚拟全双工模式，每个S-D对一个数据流传输，概括的想法OND多流的情况下，利用中继选择和干扰管理。具体而言，两个子集的中继节点的机会主义地选择使用交替中继方面的生产或接收最小的总干扰电平。对于干扰管理，每个源节点利用第一跳的随机波束成形向所选择的中继节点发送$S \,(1 \le S \le M)$数据流，而每个目的地节点经由第二跳的机会干扰对准从所选择的中继节点接收其期望的$S$流，其中$M$是每个源或目的地节点处的天线的数量。我们的分析结果验证了数值计算。
2018-10-08 cs.DC cs.IT cs.MA
An Intelligent Scheme for Uncertainty Management of Data Synopses Management in Pervasive Computing Applications
University of Thessaly（色萨利大学）
普适计算应用程序处理围绕最终用户的智能组件的合并，以促进他们的活动。这些应用可以在物联网（IoT）和边缘计算（EC）的庞大基础设施上提供。物联网设备收集环境数据，将其传输到EC和云以进行进一步处理。EC节点可以成为各种处理活动发生的分布式数据集的主机。EC的未来涉及许多节点与物联网设备和它们自己以合作的方式进行交互，以实现所需的处理。结束这种合作的方法的一个关键问题是交换的数据概要有EC节点告知他们的同行中存在的数据。这些知识将有助于与处理活动的执行相关的决策制定。在本文中，我们提出了n个不确定性驱动的数据交换模型概要。我们认为，EC节点应延迟交换的概要，特别是当没有显着差异与历史值。我们的机制采用了一个模糊逻辑（FL）系统，以决定当有一个显着的差异与以前的报告概要，以决定交换新的。我们的计划是能够减轻网络从众多的消息检索，即使是低波动的天气。我们分析性地描述了我们的模型，并通过大量的实验来评估它。我们的实验评估目标是检测该方法的效率，该方法基于消除不必要的消息，同时保持立即通知对等节点的分布式数据集中的显著统计变化。
2020-07-24 cs.DC cs.LG cs.NI
Improving Overhead Computation and pre-processing Time for Grid Scheduling System
计算网格是一个巨大的环境，具有异构的资源和稳定的基础设施之间的其他基于Internet的计算系统。然而，这种系统中的资源管理有其特殊的问题。调度系统需要从信息中心获取参与节点的最新信息，以便进行可靠的作业调度。在本文中，我们专注于在线更新资源信息中心处理和提供的数据的基础上假设的层次模型。采用混合知识抽取方法对网格节点进行分类，并基于工件特征预测。本研究的一个肯定的观点是，调度系统不会浪费额外的时间来获取网格节点的最新信息。实验结果表明，我们的方法相比，其他保守的方法的优势，特别是由于它能够预测节点的行为的基础上，每个节点上的综合数据表。
2010-05-06 cs.DC
MegatronApp: Efficient and Comprehensive Management on Distributed LLM Training
针对 Megatron-LM 分布式训练在优化、诊断和可解释性上的系统挑战，本文提出开源工具链 MegatronApp，通过四个可组合模块提升大规模训练的可靠性、效率与透明度。
2025-07-26 cs.DC
Self-assessment approach for resource management protocols in heterogeneous computational systems
针对异构计算系统资源管理方案扩展性不足的问题，提出基于启发式的自评估资源估算方法，支持动态加权、容量计算及资源类型扩展，可适配各类资源分配协议，兼具性能与可扩展性。
2025-08-04 cs.DC
Modelling and Simulation of Fog and Edge Computing Environments using iFogSim Toolkit
Fog计算中的资源管理非常复杂，因为它涉及大量不同的和资源受限的Fog节点，以分布式方式满足支持IoT的系统的计算需求。它与云的集成引发了组合资源管理的进一步困难。物联网设备的不同感知频率、分布式应用结构及其协调也影响着雾计算环境中的资源管理。为了促进雾及其资源管理的发展，进行广泛的研究是毫无疑问的.为了发展和评估不同的想法和资源管理政策，对雾环境的实证分析是关键。由于Fog计算环境包含物联网设备、Fog节点和云计算中心以及大量的物联网数据和分布式应用程序，因此Fog环境的实际实施将非常昂贵。此外，在真实世界的雾环境中修改任何实体将是繁琐的。在这种情况下，模拟雾计算环境可以是非常有帮助的。仿真工具包不仅提供了框架来设计定制的实验环境，而且还有助于可重复的评估。在本章中，我们将重点介绍用于建模和模拟雾计算环境的iFogSim工具包教程。我们相信本章将为研究人员提供一种在研究工作中应用iFogSim的简化方法。
2018-12-03 cs.DC
Coordinated Broadcast-based Request-Reply and Group Management for Tightly-Coupled Wireless Systems
随着网络物理系统领域的不断发展，越来越多的紧密耦合的分布式应用程序将在无线网络技术的基础上实现。这些应用程序中的一些，包括协作机器人团队，以协调的方式工作，其中一个杰出的节点采取控制决策并向其他节点发送命令，这些节点反过来执行所请求的动作/操作并发回回复/确认。经由可靠的点对点流的这种交互的实现可能由于冲突而导致显著的性能降级，特别是当系统接近通信信道的容量操作时。我们提出了一个协调的协议，利用无线介质的广播性质，以支持这种应用程序级的交互与最小数量的消息传输和可预测的延迟。该协议还具有组管理功能，允许新进程加入和现有进程以受控的方式离开组。我们评估的原型实现在WiFi上，使用模拟设置以及物理测试平台。我们的研究结果表明，该协议可以实现更好的性能相比，点对点的方法，并保持完全可预测性和可靠性，即使在接近无线信道容量。
2016-06-27 cs.DC
Region Templates: Data Representation and Management for Large-Scale Image Analysis
配备CPU和GPU（混合计算节点）的分布式内存机器由于多层内存和异构计算配置而难以编程。在本文中，我们介绍了一个区域模板抽象的有效管理的共同数据类型用于分析大数据集的高分辨率图像的集群的混合计算节点。区域模板为空间和时间限界框内的常见数据结构（如点、数组、区域和对象集）提供通用容器模板。区域模板抽象支持不同的数据管理策略和数据I/O实现，同时为应用程序提供同构的统一接口，用于数据存储和检索。区域模板应用程序的执行由支持混合机器中的高效执行的运行时系统协调。区域模板应用程序被表示为分层的并行流，其中每个计算阶段可以被表示为更细粒度任务的另一并行流。我们的运行时系统中提供了许多针对混合机器的优化，包括用于最大化计算设备利用率的性能感知调度，以及减少CPU和GPU之间数据传输影响的技术。一个国家的最先进的混合集群使用显微成像研究的实验评估表明，这种抽象增加了微不足道的开销（约3%），并实现了良好的可扩展性。
2014-05-30 cs.DC
DisCEdge: Distributed Context Management for Large Language Models at the Edge
TU Berlin（柏林工业大学）
本文提出DisCEdge，一种在边缘节点存储和复制用户上下文的系统，通过token化形式避免冗余计算，提升响应速度并降低同步开销。
2026-04-08 cs.DB cs.DC cs.LG
Scalable HPC Job Scheduling and Resource Management in SST
本文在SST中引入了一个可扩展的HPC作业调度与资源管理组件，支持工作流任务依赖与资源分配仿真，并在多项指标上验证了其高精度与良好的并行性能。
2025-01-30 cs.DC
Guard: Scalable Straggler Detection and Node Health Management for Large-Scale Training
Anonymous Institution, Anonymous City, Anonymous Region, Anonymous Country（匿名机构，匿名城市，匿名地区，匿名国家）
本文提出Guard系统，通过在线性能监控和离线节点扫描机制，有效检测训练中的延迟节点并确保节点健康，从而提升大规模训练的效率和稳定性。
2026-05-18 cs.AI cs.DC cs.LG
A Proactive Management Scheme for Data Synopses at the Edge
University of Thessaly（塞萨利大学）；University of Glasgow（格拉斯哥大学）
物联网（IoT）提供的基础设施与边缘计算（EC）生态系统中存在的众多处理节点相结合，为支持智能应用开辟了新的途径。这样的应用程序可以在物联网设备收集的大量数据通过网络传输到边缘节点时提供。可以对所讨论的数据执行各种处理活动，并且EC节点之间的多个协作机会可以促进期望任务的执行。为了支持边缘节点之间的有效交互，应该共享关于地理上分布的数据的知识。显然，大量数据的迁移会损害网络的稳定性及其性能。在本文中，我们建议交换的数据概要比真实的数据之间的EC节点，为他们提供必要的知识对等节点拥有类似的数据。在考虑数据/服务迁移和任务卸载等决策时，这些知识可能很有价值。我们描述了一个连续的推理模型，建立一个时间的相似性地图的可用数据集，让节点了解他们的同行的数据的演变。我们支持建议的决策机制，通过一个智能的相似性提取方案的基础上无监督的机器学习模型，并在同一时间，将其与统计措施，代表了所谓的差异量子的趋势。我们的模型可以揭示交换的概要中的差异，并提供一个数据集相似性图，它成为适当的知识库，以支持所需的处理活动。我们提出了所考虑的问题并提出了解决方案，同时通过大量实验揭示了其优点和缺点。
2021-07-22 cs.DC cs.LG
Data Synopses Management based on a Deep Learning Model
University of Thessaly（色萨利大学）；University of Glasgow（格拉斯哥大学）
普适计算涉及将处理服务放置在接近最终用户的位置以支持智能应用。随着物联网（IoT）和边缘计算（EC）的出现，人们可以在上述基础设施的互连中的各个点上找到放置服务的空间。对收集到的数据进行处理至关重要。这样的处理可以在与IoT设备相比表现出增加的计算能力的EC节点上实现。在EC处创建智能节点的生态系统，从而有机会支持合作模型。节点成为物联网设备报告制定的地理分布数据集的主机。在数据集上，可以执行多个查询/任务。由于性能原因，可以卸载任务/任务。但是，卸载操作应仔细设计，始终与托管节点的数据保持一致。在本文中，我们提出了一个模型，以支持合作方面的电子商务基础设施。我们认为，对EC节点的数据概要的交付，使他们能够采取卸载的决定完全一致的数据存在于同行。节点交换数据概要以通知它们的对等节点。我们提出了一种方案，该方案检测分发概要的适当时间，以避免网络过载，特别是当由于物联网设备向EC节点报告数据的高速率而频繁提取概要时。我们的方法涉及一个深度学习模型，用于学习计算概要的分布并估计未来趋势。根据这些趋势，我们能够找到适当的时间向对等节点提供概要。我们提供了所提出的机制的描述，并根据真实的数据集进行评估。通过对不同场景的大量实验，给出了数值结果，揭示了该方法的优点和缺点。
2020-08-01 cs.DC cs.LG
SmartSON:A Smart contract driven incentive management framework for Self-Organizing Networks
本文提出了一种自组织协作计算网络，并提出了一种提高协作节点加入自组织网络的期望值的方法。所提出的方法依赖于以太坊加密货币和智能合约，通过将提供给自组织网络的服务货币化来增强协作节点的期望。此外，在所提出的框架中形式化了基于托管的智能合约，以维持协作节点之间的货币信任问题。所提出的方案可以对任何类型的自组织网络实施自主激励管理机制，诸如自组织云、自组织网络、自组织联合云网络、自组织联邦学习网络和自组织D2D网络等。考虑到这些自组织网络和以太坊区块链网络的分布式性质，在所提出的框架中实现了基于分布式代理的方法。在此之后，提出了自组织云的一般情况下的概念实现的证明。最后，文章提供了一些见解，未来可能的方向，使用拟议的框架。
2020-08-26 cs.DC cs.MA cs.NI
Application Management in Fog Computing Environments: A Taxonomy, Review and Future Directions
物联网（IoT）模式正在迅速被用于在各个领域创建智能环境。与智慧城市、医疗保健、工业4.0和Agtech相关的物联网网络物理系统（CPS）处理大量数据，并需要来自不同类型应用程序的实时数据处理服务。物联网应用程序的以云为中心的执行几乎无法满足这些要求，因为云计算中心与物联网设备之间存在多跳距离。\textit{Fog computing}是云在边缘网络上的扩展，可以在更靠近数据源的地方执行这些应用程序。因此，雾计算可以提高应用服务的交付时间，抵抗网络拥塞。然而，雾节点是高度分布，异构和大多数的资源和空间共享的限制。因此，有效管理应用程序是充分利用雾节点功能的必要条件。在这项工作中，我们调查了雾计算中现有的应用程序管理策略，并在架构，放置和维护方面对其进行了审查。此外，我们提出了一个全面的分类，并强调了基于雾的应用程序管理的研究差距。我们还讨论了一个前景模型，并提供了未来的研究方向，进一步改善雾计算中的应用程序管理。
2020-05-21 cs.DC eess.SP
Runtime Optimization of Join Location in Parallel Data Management Systems
在并行系统上运行的应用程序通常需要将流式关系或存储关系与在并行数据存储系统中索引的数据联接。某些应用程序还计算连接元组上的UDF。连接可以在数据存储节点处完成，对应于减少侧连接，或者通过从存储系统提取数据到计算节点来完成，对应于映射侧连接。这两种方法都可能是次优的：reduce side joins可能会导致偏斜，而map side joins可能会导致大量数据被传输和复制。在本文中，我们提出的技术，使运行时的决定，这两个选项之间的每个键的基础上，以提高吞吐量的连接，占UDF计算，如果有的话。我们的技术是基于一个扩展的滑雪租赁算法，并提供最坏情况下的性能保证相对于我们所考虑的空间中的最佳点。我们的技术使用负载均衡，考虑到CPU，网络和I/O成本以及计算和存储节点上的负载。我们已经在Hadoop、Spark和Muppet流处理引擎上实现了我们的技术。我们的实验表明，我们的优化技术提供了一个显着的提高吞吐量超过现有的技术。
2017-07-31 cs.DB cs.DC
Learnings from an Under the Hood Analysis of an Object Storage Node IO Stack
传统的对象存储建立在传统的OS存储堆栈之上，其中I/O请求通常通过多个庞大且冗余的层进行传输。随着存储子系统对性能、一致性和容错性要求的不断提高，对象管理的复杂性急剧增加。简单地说，在I/O数据路径中会遇到更多的中间层，每个传递层都添加了自己的语法和语义。从而增加了请求处理的开销。在本文中，通过对对象存储节点进行全面的底层分析，我们描述了对象存储（和用户应用程序）工作负载对OS I/O堆栈的影响及其对底层对象存储设备（OSD）的后续影响。我们观察到，基于操作系统的I/O存储堆栈的传统体系结构与复杂的数据管理策略相结合，导致终端存储设备能够提供的性能与其在生产环境中实际提供的性能之间不匹配。因此，开发更快的存储设备所带来的好处往往是无效的。这些问题在高度并发和多路复用的云环境中变得更加突出。由于对象管理的相关问题和OS I/O软件栈的漏洞，我们讨论了一类新的存储设备，被称为对象驱动器的潜力。Samsung Key-Value SSD（KV-SSD）[1]和Seagate Kinetic Drive [2]是对象驱动器的经典工业实现，其中主机数据管理功能可以卸载到存储设备。这导致了整个存储堆栈的简化。基于我们的分析，我们相信对象驱动器可以减轻对象存储的数据管理的高负担，与传统的操作系统（OS）堆栈相比节省20-38%的时间。
2022-07-05 cs.AR cs.DB cs.DC
kube-volttron: Rearchitecting the VOLTTRON Building Energy Management System for Cloud Native Deployment
管理建筑环境的能源消耗是灵活负荷和脱碳的重要来源，使建筑管理者和公用事业公司能够安排消耗，以避免昂贵的需求费用和电网发电碳排放最高的高峰时间。建筑物能源管理的一个关键技术组成部分是建筑物能源管理系统。Eclipse VOLTTRON是一个支持建筑能源管理的传统软件平台。它是为美国能源部（DOE）在太平洋西北国家实验室（PNNL）开发的，用Python编写，基于单片构建-配置-运行-就地系统架构，早于云原生架构概念。然而，软件架构是组件化的，可以预期模块化容器化应用程序，软件代理处理数据存储，Web访问以及通过特定的物联网协议（如BACnet和Modbus）与物联网设备通信等功能。代理之间通过消息总线进行通信。本文描述了一个概念验证原型，将VOLTTRON重新架构为适合在Kubernetes云原生容器编排平台上部署的微服务集合。代理被打包在可再分发的容器中，这些容器执行特定的功能，并且可以在部署时进行配置。部署架构由单个Kubernetes集群组成，其中包含一个中央节点，名义上位于基于云的虚拟机中，其中包含数据库代理的微服务（称为“历史记录器”）和用于服务运行的网站代理，以及在建筑物中的站点上运行的网关节点，其中包含IoT协议特定代理的微服务处理去往和来自设备的控制和数据汇集，并将信息传回中央节点。
2023-02-27 cs.CY cs.DC cs.SE
Enabling Time-Aware Priority Traffic Management over Distributed FPGA Nodes
本文扩展开源 Corundum 网卡，在 FPGA 硬件中实现基于时间窗口的优先级队列带宽控制，并通过 Linux QDISC 关联流量类别，实验验证其可有效管理各传输流预留带宽。
2025-09-30 cs.AR cs.DC
