Distributed Management of Massive Data: an Efficient Fine-Grain Data Access Scheme
针对大规模分布式环境下海量数据块的高效存储和访问问题,提出了一种基于数据块的数据子集细粒度访问方法。这个问题在数据库、数据采掘和多媒体领域的应用中至关重要。我们提出了一个数据共享服务的基础上分布式,基于RAM的数据存储,同时利用基于DHT的,原生并行元数据管理方案。相对于最常用的网格存储基础设施,提供明确的数据本地化和传输机制,我们提供了一个透明的访问模型,通过全局标识符访问数据。我们的建议已通过原型实施,其初步评估提供了有前途的结果进行了验证。
2008-10-13 cs.DC
Autonomic Management in a Distributed Storage System
本文研究了自治管理在分布式存储系统中的应用。在实验中测量了对性能和资源消耗的影响,这些实验是在局部区域测试台上进行的。这些实验是用一个特定的分布式存储系统的组件进行的,但试图适用于广泛的此类系统,特别是那些暴露于不同条件的系统。分布式存储系统的感知特性取决于其配置参数和各种动态条件。对于给定的一组条件,一个特定的配置可能比另一个更好的措施,如资源消耗和性能。在这里,配置参数值是动态设置的,并将结果与静态配置进行比较。假设在不变的条件下,这将允许系统收敛于比任何可以先验设置的配置都更合适的配置。此外,系统可以通过采用更合适的配置来对条件的变化做出反应。自治管理被应用于分布式存储系统ASA的对等(P2P)和数据检索组件。各种工作量和流失模式的影响进行了实验测量。管理政策和机制的实施使用一个通用的自主管理框架,在这项工作中开发。自主管理的实验评估显示出可喜的成果,并提出了几个未来的研究课题。本论文的研究结果可以利用在建立其他分布式存储系统,专注于利用用户工作站上的存储,因为这些是特别有可能暴露于变化,不可预测的条件。
2010-07-02 cs.DC
A Grammatical Approach to Data-centric Case Management in a Distributed Collaborative Environment
本文提出了一个纯粹的声明性的方法,以工件为中心的案例管理系统,和这个模型的分散计划。每种情况都以树状结构呈现;节点承载数据和计算相结合的信息。每个节点都属于一个给定的涉众,语义规则控制着树结构的演化,以及数据值如何从源自节点上下文的信息中导出。涉众通过异步消息传递进行通信,无需共享内存,从而实现方便的分发。
2014-05-13 cs.DC
Pilot-Edge: Distributed Resource Management Along the Edge-to-Cloud Continuum
许多科学和工业物联网应用需要跨边缘到云连续体进行数据处理,以满足性能、安全性、成本和隐私要求。然而,需要各种抽象和基础设施来管理边缘到云场景中的资源和任务。我们提出Pilot-Edge作为跨边缘到云连续体的资源管理的通用抽象。Pilot-Edge基于试点抽象,它简化了资源和工作负载管理,并为应用程序级任务提供了功能即服务(FaaS)接口。这种抽象允许应用程序将公共功能封装在高级任务中,然后可以跨连续体配置和部署这些任务。我们使用机器学习工作负载(例如,k-means和自动编码器)。我们的实验演示了Pilot-Edge如何管理分布式资源,并允许应用程序基于多个因素(例如,模型复杂性、吞吐量和等待时间)。
2021-04-07 cs.DC
Economic-based Distributed Resource Management and Scheduling for Grid Computing
计算网格作为下一代计算的基础设施,能够共享、选择和聚合地理上分布的资源,以解决科学、工程和商业中的大规模问题。由于网格中的资源是异构的,并且在地理上分布,具有不同的可用性以及针对不同用户在不同时间的各种使用和成本策略,并且优先级以及目标随时间而变化。在这样一个大型的分布式环境中,资源管理和应用程序调度是一项复杂的任务。本论文提出了一个分布式计算经济作为一个有效的隐喻资源管理和应用程序调度。提出了一种支持资源交易和基于服务质量的调度的体系结构框架。它使资源的供应和需求的监管,并提供了一个激励资源所有者参与网格和动机的用户之间的最后期限,预算和所需的服务质量水平进行权衡。论文通过开发用户服务质量需求驱动的调度策略和算法,展示了基于经济的系统用于对等分布式计算的能力。它证明了他们的有效性,通过执行调度实验在全球范围内的网格解决参数扫描应用程序。
2002-04-22 cs.DC
Configuration management in the distributed cloud
针对分布式云环境中配置与代码分离的需求,本文为开源分布式云平台设计并实现了一个跨云层的配置管理子系统,支持版本控制、选择性分发和命名空间隔离。
2024-10-26 cs.DC
GridSim: A Toolkit for the Modeling and Simulation of Distributed Resource Management and Scheduling for Grid Computing
集群、网格和对等(P2P)网络已成为下一代并行和分布式计算的流行范例。在这种大规模的分布式系统中,资源的管理和应用程序的调度是一项复杂的任务。为了证明资源代理和相关调度算法的有效性,需要在不同的场景下评估它们的性能,例如不同数量的资源和具有不同需求的用户。在网格环境中,由于资源和用户分布在多个组织中,并且具有各自的策略,因此很难甚至不可能以可重复和可控的方式执行调度器性能评估。为了克服这个限制,我们已经开发了一个基于Java的离散事件网格仿真工具包GridSim。该工具包支持异构网格资源(时间和空间共享)、用户和应用程序模型的建模和仿真。它为应用程序任务的创建、任务到资源的映射及其管理提供了原语。为了证明GridSim工具包的适用性,我们模拟了Nimrod-G网格资源代理和评估的最后期限和预算约束的成本和时间最小化调度算法的性能。
2002-03-14 cs.DC
Complete Decentralization of Distributed Data Storages Based on Blockchain Technology
这项工作提出了一个解决方案,完全分散的数据管理系统在地理上分散的环境与管理无关或松散相关的用户组,并在部分或完全缺乏信任的条件下,他们之间。该解决方案基于区块链技术、智能合约和来源元数据驱动的数据管理的集成。所开发的体系结构、操作原理和算法提供了对出处元数据的容错、安全和可靠的管理,对数据文件的操作的控制,以及协作分布式计算系统中的资源访问管理。后者是指在某个项目的框架内,将不同组织(机构)的计算机资源组合成一个单一的池,共同工作而形成的分布式系统。
2021-12-20 cs.DC
Fully distributed and fault tolerant task management based on diffusions
任务管理是计算网格的一个重要组成部分。其目的是根据全局调度策略和节点的本地资源的视图来分配任务。一个对等的任务管理方法涉及到网格的更好的可伸缩性和更高的容错。但是,必须提出一些机制来避免计算的复制任务,这可能会降低效率,增加节点的负载。同样,这些机制必须限制交换的消息的数量,以避免网络过载。在以前的论文中,我们已经提出了两种方法的任务管理称为主动和被动。这些方法基于随机游走:它们是完全分布式和容错的。每个节点拥有一个本地任务状态集,由于随机游走而更新,每个节点负责本地分配。在这里,我们提出了三种方法来提高主动方法的效率。这些新方法是基于一个流传的词。节点的本地任务状态集的更新由于周期性的扩散沿树从循环词。特别是,我们表明,这些方法提高了主动方法的效率:它们产生较少的重复任务。这三种方法也是完全分布式和容错的。另一方面,循环词可以用于其他应用,如资源管理或节点同步。
2008-12-03 cs.DC
A Survey on UAV-enabled Edge Computing: Resource Management Perspective
本文从资源管理视角综述无人机赋能边缘计算(UEC),梳理其架构、协作、通信模型、关键技术、指标与分类,并指出未来开放挑战。
2023-09-26 cs.DC
A distributed system perspective on Backscatter systems: A review
本文从分布式系统视角综述反向散射通信、室内定位、无电池网络和SWIPT,强调分布式架构与智能资源分配对构建稳健可扩展无线系统的关键作用。
2025-06-05 cs.DC
Dynamic management of transactions in distributed real-time processing system
实时的分布式计算系统中的事务管理并不容易,因为它需要异构的网络计算机来解决单个问题。如果一个事务跨一些不同的站点运行,它可能会在某些站点提交,而在另一个站点失败,从而导致不一致的事务。在实时的应用中,对数据库系统和事务处理的响应时间设置截止期限,增加了系统的复杂性。这样的系统需要在这些截止日期到期之前处理交易。通过一系列的仿真研究,分析了在不同的工作负载、分布方式、执行模式(分布和并行)等条件下,不同事务管理下的性能。数据访问的调度是为了满足截止日期,并最大限度地减少错过截止日期的事务数量。引入了一种新的概念,以动态的方式管理事务,而不是以静态的方式设置计算参数。通过这种方法,该系统在性能上得到了显着的改善。
2010-05-29 cs.DC
Applying Constraint Solving to the Management of Distributed Applications
我们提出了我们的方法部署和管理分布式组件为基础的应用程序。用高级声明性语言编写的期望状态描述(DSD)指定了分布式应用程序的要求。我们的基础设施接受DSD作为输入,并从它自动配置和部署分布式应用程序。随后发现违反最初要求的情况,并在可能的情况下通过重新配置和重新部署必要的应用程序组件自动纠正。约束求解工具用于规划满足应用程序要求的部署。
2010-06-17 cs.DC cs.SE
Data Management System Analysis for Distributed Computing Workloads
Brookhaven National Laboratory(布鲁克海文国家实验室);University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学);Oak Ridge National Laboratory(橡树岭国家实验室);University of Massachusetts(马萨诸塞大学)
本研究针对ATLAS项目中PanDA工作流系统与Rucio数据管理系统协同运行的低效问题,开发文件级元数据匹配算法关联二者,识别异常传输模式并提出缓解策略,为系统协同优化提供路径。
2025-10-01 cs.DC
DDRM: Distributed Drone Reputation Management for Trust and Reliability in Crowdsourced Drone Services
本文提出基于以太坊区块链的分布式无人机声誉管理框架DDRM,通过SRAT和DRET双代币机制保障众包无人机服务评价的真实性与可靠性,有效抵御声誉欺诈并提升服务效率。
2024-06-30 cs.DC
A Survey on Machine Learning for Geo-Distributed Cloud Data Center Management
Colorado State University(科罗拉多州立大学)
今天的云工作负载通常在分布式环境中进行管理,并在地理上分布的数据中心进行处理。云服务提供商一直在全球范围内分布数据中心,以降低运营成本,同时通过使用智能工作负载和资源管理策略来提高服务质量。软件工作负载和硬件资源的这种大规模和复杂的编排仍然是难以有效解决的问题。研究人员和实践者一直试图通过提出各种云管理技术来解决这个问题。数学优化技术历来用于解决云管理问题。但这些技术难以扩展到地理分布的问题规模,并且在动态异构系统环境中的适用性有限,迫使云服务提供商探索智能数据驱动和基于机器学习(ML)的替代方案。近年来,采用ML方法对复杂、异构和不断变化的分布式云资源和工作负载进行表征、预测、控制和优化受到了广泛关注。在本文中,我们回顾了用于云数据中心管理问题的最新ML技术。我们研究了当前研究中的挑战和问题,重点关注ML云管理,并探索解决这些问题的策略。我们还讨论了最近文献中提出的ML技术的优点和缺点,并对未来的研究方向提出了建议。
2022-05-17 cs.DC cs.LG
Flexible Session Management in a Distributed Environment
分布式系统使用的许多安全通信库,如SSL、TLS和SSL,都无法明确区分身份验证层、会话层和通信层。本文介绍了Condor高吞吐量计算软件所使用的安全通信库CEDAR,并指出CEDAR将这些层分离后对分布式计算系统的好处。无论使用哪种身份验证方法,CEDAR都会建立一个安全的会话密钥,该密钥可以灵活地用于多种功能。我们演示了如何分层的安全会话方法可以避免往返和网络身份验证中固有的延迟。创建不同的会话管理层允许通过将会话委托给系统中的其他组件来优化以提高可伸缩性。此会话委派创建了一个信任链,可减少建立安全连接的开销,并支持集中实施系统范围的安全策略。此外,基于UDP数据报的安全信道经常被现有的库忽视,我们展示了CEDAR的结构如何适应这一点。作为这项工作的效用的一个例子,我们展示了如何使用委托的安全会话和其他技术固有的CEDAR的架构,使美国CMS,以满足其可扩展性的要求,在大规模的部署秃鹰,广域网系统。
2010-11-02 cs.DC
Automating Distributed Tiered Storage Management in Cluster Computing
Hadoop和Spark等数据密集型平台通常用于处理HDFS等分布式文件系统上的大量数据。不断增加的存储器大小和新的硬件技术(例如,NVRAM、SSD)最近已经导致在这样的设置中引入存储分层。但是,用户现在在尝试优化其工作负载时,要管理多个存储层和驻留在这些存储层上的数据,从而增加了额外的复杂性。在本文中,我们开发了一个通用的框架,在分布式文件系统的可用存储层自动移动数据。此外,我们使用机器学习来跟踪和预测文件访问模式,我们使用这些模式来决定何时以及哪些数据在存储层中上下移动,以提高系统性能。我们的方法使用增量学习来动态地优化模型,使其能够随着时间的推移自然地调整和适应工作负载的变化。我们使用来自Facebook和CMU跟踪的实际工作负载进行了广泛的评估,将我们的方法与其他几种策略进行了比较,并在工作负载性能和集群效率方面展示了显着的优势。
2019-09-04 cs.DC
Distributed Real-Time Energy Management in Data Center Microgrids
数据中心运营商在运行其数据中心时通常面临三个重要问题,即,不断上涨的电费、不断增加的碳足迹和意外停电。为了缓解这些问题,在微电网中运行数据中心是一个很好的选择,因为微电网可以提高电力服务的能源效率、可持续性和可靠性。因此,在本文中,我们调查的问题,能源管理多个数据中心的微电网。具体而言,我们打算通过考虑电价、可再生能源产出和数据中心工作负载的不确定性,最大限度地降低数据中心微电网的长期运营成本。我们首先制定了一个随机规划问题的考虑因素很多,例如,为批量工作负载、交互式工作负载分配、批量工作负载削减、电力购买/销售、电池充电/放电效率以及备用发电机的斜坡约束提供异构服务延迟保证。然后,我们设计了一个实时和分布式算法的基础上,李雅普诺夫优化技术和交替方向的乘法器(ADMM)的一个变种的问题。此外,所提出的算法提供的性能保证进行了分析。大量的仿真结果表明,该算法在降低数据中心微电网的运营成本的有效性。
2017-02-01 cs.DC
A Topological Perspective on Distributed Network Algorithms
二十多年前,组合拓扑被证明是有用的分析分布式容错算法在共享内存系统和消息传递系统。在这项工作中,我们表明,组合拓扑结构也可以用于分析分布式算法在任意结构的无故障网络。为了说明这一点,我们分析了共识,集协议,近似协议的网络,并推导出这些问题的下界在经典的计算环境下,如ESTA模型和动态网络。
2020-10-01 cs.DC
Designing a scalable framework for declarative automation on distributed systems
随着分布式系统在规模和复杂性上的增长,对系统管理功能的灵活自动化的需求也在增长。我们概述了一个框架,用于构建工具,为分布式系统提供分布式,可扩展,声明式,模块化和连续自动化。我们集中在四个设计点:1)状态管理方法,规定配置和发现的系统状态的真实来源; 2)一种技术,以解决声明的统一问题的一类自动化问题,提供状态收敛和模块化; 3)一个最终一致性的方法,以状态同步,提供自动化规模; 4)事件驱动架构,提供始终在线的状态实施。我们描述的方法,软件架构的框架,这些技术的限制,适用于自动化问题。我们概述了基于此框架构建的参考应用程序,该框架提供了状态感知系统配置和节点生命周期管理,突出了关键优势。最后,我们讨论了当前和未来的应用。
2021-04-27 cs.DC
SWARM+: Scalable and Resilient Multi-Agent Consensus for Decentralized Data-Aware Workload Management
Renaissance Computing Institute, University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校文艺复兴计算研究所);Argonne National Laboratory(阿贡国家实验室);Information Sciences Institute, University of Southern California(南加州大学信息科学研究所)
提出SWARM+,一种通过分层多智能体共识实现去中心化工作负载管理的系统,在提高可扩展性和弹性的同时支持数据感知调度策略。
2026-07-15 cs.DC
Distributed system perspective on Backscatter systems
本文从分布式系统视角研究反向散射系统,回顾其基本原理与分布式架构,梳理应用场景、研究现状和挑战,并展望未来研究方向。
2025-06-05 cs.DC
Software Defined Edge Computing for Distributed Management and Scalable Control in IoT Multinetworks
最近,边缘计算已经成为支持物联网多网络中移动访问的一个有前途的范例。然而,异构无线通信方案的共存给此类网络中的移动性管理和接入控制带来了新的挑战。为了保持其计算连续性,软件定义网络(SDN)架构可以应用于分布式边缘网络,其为移动性管理提供一致的框架并为访问控制创建安全机制。在本文中,我们首先回顾了最先进的SDN技术及其在边缘计算中的应用。特别是,我们强调了与边缘计算环境中SDN的移动性管理和访问控制相关的突出问题。我们还介绍了一些有效的解决方案,这些问题,通过提出现实世界的测试床实验,原型和数值分析采用基于SDN的边缘计算范例的物联网多网络。
2021-04-06 cs.DC cs.NI
DEFT: Distributed, Elastic, and Fault-tolerant State Management of Network Functions
本文提出DEFT状态管理系统,利用分布式共识机制同时实现网络功能的弹性扩展、容错和全局状态强一致性,实验证明其可扩展且吞吐量高、开销极小。
2023-11-30 cs.DC
An SMDP-based Resource Management Scheme for Distributed Cloud Systems
本文研究了地理分布云系统中的资源管理问题。采用Follow Me Cloud概念,实现跨联合数据中心(DC)的服务迁移。因此,有两种类型的服务请求到DC,即,在本地服务区域中发起的新请求(NR)和当移动用户跨服务区域移动时生成的迁移请求(MR)。提出了一种新的资源管理方案,帮助资源管理器决定是否接受服务请求(NR或MR),并确定多少资源应分配给每个服务(如果接受)。优化目标是最大化系统平均回报,并保持服务请求的拒绝概率在一定的阈值之内。数值结果表明,与其他资源管理方案相比,该方案能显著提高系统的整体效用和用户体验.
2015-03-18 cs.DC cs.NI
Caching Structures for Distributed Data Management in P2P-based Social Networks
分布式应用程序需要新的解决方案来解决由于带宽、内存和处理能力等资源稀缺而出现的问题。分布式数据管理就是这些挑战之一。挑战是两个部分的问题,确保内容在访问时是有效的,并在更改时立即更新。当考虑到基于p2p的分布式在线社交网络时,这一点尤其困难,这种网络的目标是在通常不可靠和不安全的设备上构建可靠、安全的社交网络平台。在本文中,我们提出了三种选择策略,随机,趋势和社会评分,社会缓存机制。他们考虑了社会网络中的社会互动模式。我们实现和评估他们在一个基于DHT的分布式在线社交网络LibreSocial,并表明社会分数是最好的策略。此外,我们实现了社会缓存解决方案,并表明,当与现有的缓存解决方案结合使用时,几乎所有的请求都可以通过缓存服务,同时保持更新过程中数据的一致性。
2020-04-15 cs.DC cs.SI
Comprehensive Evaluation of GNN Training Systems: A Data Management Perspective
Northeastern University(东北大学);National University of Singapore(新加坡国立大学)
本文从数据管理视角全面评估了GNN训练系统,分析了数据划分、批次准备和CPU与GPU间数据传输等独特挑战,并通过基准数据集实验提供了有助于未来系统设计的实用技巧。
2024-03-20 cs.DC cs.LG
Continual Distributed Learning for Crisis Management
Manipal Institute of Technology(马尼帕尔理工学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);K J Somaiya College of Engineering(KJ索马亚工程学院)
Twitter、Facebook等社交媒体平台可作为灾害事件期间的重要信息来源。这些信息如果得到准确和迅速的处理,可用于灾害应对和危机管理。然而,在这种情况下出现的数据是不断变化的,在这种危机期间使用大量资源是不可行的。因此,我们必须开发一个低资源和不断学习的系统,结合文本分类模型,对噪声和无序的数据是强大的。我们利用分布式学习,使我们能够在资源受限的设备上学习,然后为了减轻目标神经网络中的灾难性遗忘,我们利用正则化。然后,我们将联邦平均应用于分布式学习,并聚合中心模型用于持续学习。
2021-07-01 cs.DC cs.LG
Access Control Management for Computer-Aided Diagnosis Systems using Blockchain
计算机辅助诊断(CAD)系统已经出现,以支持临床医生解释医学图像。CAD系统传统上与人工智能(AI)、计算机视觉和数据增强相结合,以评估医学图像中的可疑结构。这一评估产生了大量的数据。传统的CAD系统属于单一机构,集中处理数据访问管理。然而,CAD系统的出现,多个机构之间的研究需要分布式访问管理。这项研究提出了一种基于区块链的解决方案,以实现CAD系统中的分布式数据访问管理。该解决方案已在联盟网络中使用以太坊开发为分布式应用程序(DApp)。
2020-06-20 cs.CR cs.DC
Blockchain for Transactive Energy Management of Distributed Energy Resources in Smart Grid
这项工作提出了一个区块链系统的设计和实现,该系统能够为分布式能源(DER)提供可信的交易能源管理。我们模型的DERs之间的相互作用,包括能源交易和灵活的家电调度,作为一个成本最小化问题。考虑到分散的性质和不同的所有权的DER,我们开发了一个分布式算法来解决优化问题,使用交替方向法的乘数(ADMM)方法。此外,我们开发了一个区块链系统,在该系统上,我们使用智能合约实现了所提出的算法,以保证能源管理的透明性和正确性。我们在一个小规模的测试网络中对区块链进行原型设计,并通过使用真实数据的实验对其进行评估。实验结果验证了设计的可行性和有效性。
2021-06-04 cs.DC cs.SY eess.SY
Artificial Intelligence (AI)-Centric Management of Resources in Modern Distributed Computing Systems
The University of Melbourne(墨尔本大学);Amazon Web Services (AWS)(亚马逊云科技(AWS))
诸如云数据中心的当代分布式计算系统(DCS)是大规模的、复杂的、异构的,并且分布在多个网络和地理边界上。另一方面,物联网(IoT)驱动的应用程序正在产生大量数据,需要实时处理和快速响应。有效地管理这些资源以向最终用户或应用程序提供可靠的服务是一项具有挑战性的任务。现有的资源管理系统(RMS)依赖于静态或启发式的解决方案不适合这样的复合和动态系统。由于数据可用性和处理能力,人工智能(AI)的出现表现为在RMS任务中探索数据驱动的解决方案的可能性,这些解决方案是自适应的,准确的,高效的。在这方面,本文的目的是得出在资源管理中的数据驱动的解决方案的动机和必要性。它确定了与之相关的挑战,并概述了未来潜在的研究方向,详细说明了在不同的RMS任务中如何应用数据驱动技术。最后,它为DCS提供了一个概念性的数据驱动RMS模型,并展示了两个实时用例(GPU频率扩展和来自Google Cloud和Microsoft Azure的数据中心资源管理),展示了以AI为中心的方法的可行性。
2020-11-07 cs.DC cs.LG
Randomized Distributed Configuration Management of Wireless Networks: Multi-layer Markov Random Fields and Near-Optimality
Georgia Institute of Technology(佐治亚理工学院);Microsoft(微软)
分布式配置管理对于无线无基础设施网络是必要的,在无线无基础设施网络中,每个节点通过与邻居的信息交换来本地调整其物理和逻辑配置。两个问题仍然悬而未决。第一个是最优性。第二是复杂性。我们通过建模、分析和随机分布式算法研究这些问题。建模定义了最优性。我们首先推导出一个全球概率模型的网络配置,其特征在于联合的物理和逻辑配置的统计空间依赖性。然后,我们证明了一个局部模型,近似的全球模型是一个两层马尔可夫随机场或随机债券模型。局部模型的复杂性在于节点间的通信范围。当全局模型的近似误差在给定的误差范围内时,局部模型是近最优的。我们分析了近似误差和复杂性之间的权衡,并推导出局部模型近似最优的充分条件。我们也通过仿真验证了模型、分析和随机分布算法。
2008-09-11 cs.AI cs.DC
Distributed and Big Data Storage Management in Grid Computing
大数据存储管理是网格计算环境中最具挑战性的问题之一,因为大量数据密集型应用经常涉及高度的数据访问局部性。网格应用程序通常处理大量数据。在传统的方法中,高性能计算包括用于数据存储和数据复制的专用服务器。在本文中,我们提出了一种新的机制,分布式和大数据存储和资源发现服务。提出了一种网格环境下的动态可扩展存储管理(DSSM)体系结构。这允许在网格计算中不仅共享计算周期,而且共享存储空间。可以从任何网格机器透明地访问存储,从而允许在网格用户和应用程序之间轻松地进行数据共享。允许创建虚拟空间的虚拟ID的概念已经被引入和使用。DSSM将所有面向网格的存储设备(节点)划分为多个地理上分布的域,以促进本地化并简化域内存储管理。采用基于网格服务的存储资源,随着需求的增长,将简单的模块化服务逐块堆叠起来。为此,我们提出了四个定义轴:DSSM架构和算法描述,存储资源和资源发现到网格服务,评估目的原型系统,动态,可扩展性和带宽,并讨论结果。在底层和上层的算法标准化的动态和可扩展的存储管理,以及更高的带宽已经设计。
2012-07-12 cs.DC cs.NI
Risk Management for Distributed Arbitrage Systems: Integrating Artificial Intelligence
North Carolina State University(北卡罗来纳州立大学);Columbia University(哥伦比亚大学)
本研究调研对比AI在分布式套利系统风险管理中的应用,分析三类缓存技术的性能提升作用,考察AI对多类风险的缓解效果,结合Aave等案例说明AI与缓存融合可革新该领域风险管理。
2025-03-24 cs.AI cs.DC cs.LG
Design and Implementation of Distributed Resource Management for Time Sensitive Applications
在本文中,我们解决分布式收敛到时间敏感的应用程序的CPU资源的公平分配。我们提出了一种新的资源管理框架,一个集中的公平分配的目标被分解成一对性能驱动的递归更新过程:(a)计算带宽的分配给应用程序(资源适配),由资源管理器执行,和(b)每个应用程序的服务水平(服务水平适配),由每个应用程序独立执行。我们提供了分布式递归方案收敛到集中式目标的解的条件(即,公平分配)。相反,以前的工作集中优化方案,所提出的框架表现出适应性和鲁棒性的变化,在数量和性质的应用程序,而它假设最小的信息提供给应用程序和资源管理器。最后,我们验证我们的框架与仿真使用TrueTime工具箱在MATLAB/Simulink。
2015-08-19 cs.DC cs.MA math.OC
Distributed In-memory Data Management for Workflow Executions
来自不同领域的复杂科学实验通常被建模为工作流,并使用并行工作流管理系统(WMS)在大型机器上执行。由于这种执行通常持续数小时或数天,因此一些WMS提供用户引导支持,即,它们允许用户运行数据分析,并根据结果在运行时调整工作流程。并行执行控制设计中的一个挑战是管理工作流数据以实现高效执行,同时支持用户转向支持。高可扩展性的数据访问通常是面向事务的,而对于数据分析,它是面向在线分析的,因此管理这种混合工作负载使挑战变得更加困难。在这项工作中,我们提出了SchalaDB,一组设计原则和技术的基础上,分布式内存中的数据管理高效的工作流执行控制和用户转向的架构。我们提出了一个分布式数据设计的可扩展的工作流任务调度和高可用性驱动的并行和分布式内存中的DBMS。为了评估我们的建议,我们开发了d-Chiron,这是一个根据SchalaDB原则设计的WMS。我们进行了广泛的实验评估的HPC集群多达960个计算核心。在其他分析中,我们表明,即使在运行数据分析用户转向,SchalaDB的开销是可以忽略不计的工作负载组成的数百个并发任务的共享数据。我们的研究结果鼓励工作流引擎开发人员遵循并行和分布式的面向数据的方法,不仅调度和监控,但也为用户转向。
2021-05-12 cs.DB cs.DC
A Distributed Demand-Side Management Framework for the Smart Grid
本文提出了一个完全分布式的需求侧管理系统的智能电网基础设施,特别是量身定制,以减少高峰需求的居民用户。特别是,我们使用动态定价策略,其中能源价格是客户整体电力需求的函数。我们考虑两个实际情况:(1)一个完全分布式的方法,其中每个设备自主决定自己的调度,和(2)一个混合的方法,其中每个用户必须安排他的所有设备。我们数值分析这两种方法,表明它们的特点是几乎相同的性能水平,在所有考虑的网格场景。我们使用非合作博弈理论的方法建模的建议系统,并证明我们的游戏是一个广义序势在一般条件下。此外,我们提出了一个简单而有效的最佳响应策略,证明收敛在几个步骤中的纯纳什均衡,从而证明了鲁棒性的电力调度计划,而无需任何中央协调的运营商或客户。使用真实负载曲线和应用模型获得的数值结果表明,以完全分布式方式实现的系统范围内的峰值吸收可以减少高达55%,从而降低满足不断增长的能源需求所需的资本支出(CAPEX)。
2014-05-08 cs.DC cs.GT
Decentralized Management of Bi-modal Network Resources in a Distributed Stream Processing Platform
本文提出了资源管理技术分配通信和计算资源的分布式流处理平台。该平台旨在利用两类网络连接的协同作用-专用和机会。我们以前进行的研究已经证明了这样的双模态资源组织的好处,它结合了一个非常大的池的空闲计算机的机会计算能力的专用计算机的小池,以服务于高吞吐量的计算应用程序。本文将双模态资源组织的思想扩展到通信资源的管理中。由于分布式流处理应用需要以一致的速率在处理站点之间传输大量数据,因此对网络资源的适当控制对于确保稳定的处理流是重要的。在本文中使用的系统模型是一个平台,在分布式站点的流处理服务器互连的专用和机会主义的通信链路的组合。详细分析了两个相关的资源分配问题,并使用分散算法求解。一个是流处理任务在处理和通信资源上的映射。另一个是自适应重新分配的机会通信链路,由于其容量的变化。总体优化目标是更高的任务吞吐量和更好地利用昂贵的专用链路。评估表明,该算法能够利用双模态通信链路的协同作用,实现优化目标。
2009-03-24 cs.DC cs.NI
From Tensor Buffer to Distributed Memory Hierarchy: A Survey of KV Cache Management for LLM Serving
Texas Tech University Department of Computer Science(德克萨斯理工大学计算机科学系)
综述通过四个轴对三十多个键值管理系统和框架分类,揭示五种架构原型,还审计当前评估,找出七个缺失测量,关联容错等开放问题。
2026-07-07 cs.AI cs.DC cs.LG
A Taxonomy of Data Grids for Distributed Data Sharing, Management and Processing
数据网格已被用作科学界的平台,科学界需要共享、访问、传输、处理和管理分布在世界各地的大型数据汇集。它们将高端计算技术与高性能网络和广域存储管理技术相结合。在本文中,我们讨论了数据网格背后的关键概念,并将其与其他数据共享和分发范例,如内容分发网络,对等网络和分布式数据库进行比较。然后,我们提供了全面的分类法,涵盖了体系结构,数据传输,数据复制和资源分配和调度的各个方面。最后,我们将建议的分类映射到各种数据网格系统,不仅验证分类,而且确定未来探索的领域。通过这种分类法,我们的目标是对现有系统进行分类,以更好地了解它们的目标和方法。这将有助于评估它们对解决类似问题的适用性。这种分类法还提供了这一领域的“差距分析”,通过这种分析,研究人员可以潜在地确定新的问题进行调查。最后,我们希望提出的分类和映射也有助于为新的从业者提供一个简单的方法来理解这个复杂的研究领域。
2005-06-10 cs.CE cs.DC
DisCEdge: Distributed Context Management for Large Language Models at the Edge
TU Berlin(柏林工业大学)
本文提出DisCEdge,一种在边缘节点存储和复制用户上下文的系统,通过token化形式避免冗余计算,提升响应速度并降低同步开销。
2026-04-08 cs.DB cs.DC cs.LG
Managing Distributed MARF with SNMP
Concordia Univerisity(康考迪亚大学)
该项目的工作范围集中在分布式MARF扩展的研究和原型设计上,以便其服务可以通过最流行的管理协议SNMP进行管理。SNMP与MARF的专有管理协议的基本原理是,可以与通用网络服务和设备管理的使用集成,因此管理员可以通过已经熟悉的协议管理MARF节点,以及监控它们的性能,收集统计信息,设置所需的配置等,可能使用他们一直用于其他网络设备和应用服务器的相同管理工具。
2009-07-26 cs.CV cs.DC
Energy and Network Aware Workload Management for Geographically Distributed Data Centers
云服务提供商正在地理上分布数据中心,以通过智能工作负载分配来最大限度地降低能源成本。随着新兴云工作负载中的数据量不断增加,将跨数据中心传输工作负载的网络成本考虑在内至关重要。对于地理分布的数据中心,许多研究人员一直在探索能源成本最小化和智能数据中心间的工作负载分配策略。然而,现有的工作并没有全面和同时考虑数据中心的能源成本,数据传输成本和数据中心的部署延迟。在本文中,我们提出了一种新的基于博弈论的工作负载管理框架,采取整体的方法来云运营成本最小化问题,通过智能调度决策,了解数据传输成本和数据中心的延迟。我们的框架执行智能工作负载管理,考虑数据中心计算能力的异构性,冷却能力,服务器中任务协同定位的干扰影响,使用时间电价,可再生能源,净计量,峰值需求定价分配和网络定价。我们的模拟表明,所提出的博弈论技术可以更有效地减少云运营成本比现有的方法。
2021-05-31 cs.DC cs.GT cs.NI
A Centralized Reputation Management Scheme for Isolating Malicious Controller(s) in Distributed Software-Defined Networks
软件定义网络的部署越来越多,因为与传统网络相比,它们提供了更好的网络性能。尽管SDN取得了巨大的成功和普及,但SDN中的各种安全问题仍然是研究的开放问题。特别是在分布式环境中控制器的安全问题,至今仍缺乏有效的解决方案。本文提出了一种方案,以确定任何流氓/恶意控制器(S)在分布式环境中。我们的计划是基于信任和信誉系统,这是集中管理。因此,我们的计划确定任何控制器恶意行为的比较状态安装的流/政策,应安装的政策。控制器在此基础上相互评级,并将结果报告给中央实体,中央实体将其报告给网络管理员。
2017-11-29 cs.CR cs.DC cs.NI
Complex Workflow Management and Integration of Distributed Computing Resources by Science Gateway Portal for Molecular Dynamics Simulations in Materials Science
介绍了用于复杂工作流管理和分布式计算资源(如集群、服务网格、桌面网格、云)集成的“IMP Science Gateway Portal”(http:scigate.imp.kiev.ua)。它是在WS-PGRADE和gUSE技术的基础上创建的,其中WS-PGRADE是为科学工作流操作而设计的,而gUSE是为各种异构分布式计算基础设施(DCI)中的并行和分布式计算的可用资源的平滑集成而设计的。典型的科学工作流程与可能的情况下,其准备和使用。几个典型的科学应用(科学工作流程)被认为是分子动力学(MD)模拟各种纳米结构的复杂行为(石墨烯层的纳米压痕,金属纳米晶体中的缺陷系统弛豫,氮化硼纳米管的热稳定性等)。该解决方案的优点和缺点进行了简短的分析,其实际应用的背景下,MD模拟在材料科学,物理学和纳米技术与可用的异构DCI。
2014-04-22 cond-mat.mtrl-sci cs.CE cs.DC
WIDESim: A toolkit for simulating resource management techniques of scientific Workflows In Distributed Environments with graph topology
针对现有模拟器无法同时支持工作流应用与D2D通信的问题,本文提出WIDESim工具包,可在图拓扑分布式环境中模拟三类科学工作流的动态资源管理,性能接近标准模拟器且具备拓扑无约束等优势。
2023-12-13 cs.DC cs.NI
A Distributed Application Placement and Migration Management Techniques for Edge and Fog Computing Environments
雾/边缘计算模型允许利用物联网(IoT)设备附近的资源来支持各种类型的实时IoT应用。然而,由于用户的移动性和具有不同要求的广泛的物联网应用,满足这些应用的要求是一个具有挑战性的问题。由于资源有限,仅在一个雾/边缘服务器上执行IoT应用程序可能并不总是可行的,而在不同服务器上执行IoT应用程序需要服务器之间的进一步协作。此外,考虑到用户的移动性,每个物联网应用程序的某些模块可能需要迁移到其他服务器上执行,从而导致服务中断和额外的执行成本。在这篇文章中,我们提出了一个新的加权成本模型分层雾计算环境,在响应时间的物联网应用程序和物联网设备的能耗方面,以尽量减少成本运行物联网应用程序和潜在的迁移。此外,提出了一种分布式集群技术,使任务的协同执行,从应用程序模块,服务器之间发出。此外,我们提出了一种应用程序放置技术,以最大限度地减少以分布式方式在多个服务器上执行物联网应用程序的总体成本。此外,提出了一种分布式迁移管理技术,用于解决用户移动过程中应用程序模块向其他远程服务器迁移的问题,并在集群、应用程序放置和迁移管理技术中嵌入了故障恢复方法,用于从不可预测的故障中恢复。性能结果表明,我们的技术显着提高了其同行的位置部署时间,任务的平均执行成本,迁移总数,中断任务的总数,和累计迁移成本。
2021-08-05 cs.DC cs.PF
Cooperative Energy Management of HVAC via Transactive Energy
采暖、通风和空调(HVAC)能耗占建筑物和家庭总能耗的很大一部分。分布式可再生能源和智能电表的普遍采用有助于减少HVAC能源消耗并提高能源效率。然而,如何在维护用户隐私的同时,为一组用户扩展HVAC能量管理仍然是一个很大的挑战。在这项工作中,我们利用交互能量的概念,以分布式的方式建立一个独立的暖通空调机组的协同能源管理系统。具体来说,我们开发了一个分布式能源交易算法,由两个层次的交替方向方法的乘数法的基础上。分布式能量交易算法实现了最优的交易性能,同时也保护了用户的隐私。此外,我们通过使用真实数据进行广泛模拟来评估分布式交易算法的性能。仿真结果表明,该能量交易算法收敛速度快,协同能量平台使用户的单个成本降低了50%,使所有用户的总成本降低了23%。
2021-03-10 cs.DC cs.SY eess.SY
Blockchain-Based Decentralized Energy Management Platform for Residential Distributed Energy Resources in A Virtual Power Plant
分布式能源(DER)的出现,如分布式可再生能源、储能、电动汽车和可控负载,\rv{brings}对集中式电力系统产生了重大的破坏性和变革性影响。人们普遍认为,一个分散的电力系统与双向潮流的范式转变是必要的DER的整合。虚拟发电厂(VPP)是管理参与电力系统的DER的一个很有前途的范例。在本文中,我们开发了一个基于区块链的VPP能源管理平台,以促进VPP中具有可再生能源,能源存储和灵活负载的住宅用户之间的丰富的交互式能源活动。具体地,用户可以通过VPP彼此交互以交易能量以实现互利,并提供网络服务,诸如馈入能量、储备和需求响应。为了尊重用户的独立性和保护用户的隐私,我们设计了一个分散的优化算法来优化用户的能源调度,能源交易和网络服务。然后,我们开发了一个用于VPP能源管理的原型区块链网络,并在区块链网络上实现了所提出的算法。通过对真实数据的追踪实验,验证了算法和区块链系统的可行性和有效性。仿真结果表明,我们基于区块链的VPP能源管理平台将用户成本降低了38.6%,并将整体系统成本降低了11.2%。
2021-05-31 cs.CR cs.DC cs.SY
Scalable AI-assisted Workflow Management for Detector Design Optimization Using Distributed Computing
Brookhaven National Laboratory(布鲁克海文国家实验室);The Catholic University of America(美国天主教大学);Duke University(杜克大学);Stony Brook University(石溪大学)
提出一种结合多目标贝叶斯优化与PanDA-iDDS工作流引擎的AI辅助框架,用于协调异构资源上的迭代仿真,实现高维参数空间的高效探索,并在ePIC和dRICH探测器设计中验证了自动化、可扩展性和效率提升。
2026-06-26 cs.AI cs.DC
Distributed algorithm for empty vehicles management in personal rapid transit (PRT) network
Institute of Computer Science, Warsaw University of Technology(华沙理工大学计算机科学研究所)
提出了一种新的快速公交网络空车管理的启发式算法。该算法用于为等待的乘客提供空车,平衡网络内空车的分布,并为接近车站的车辆提供空的空间。这些任务中的每一个都涉及关于必须由所选择的空车辆从其实际位置到某个确定的目的地完成的行程的决策。这些决定是基于涉及一组因素和阈值的多参数函数。该算法的一个重要特点是,它不使用任何中央数据库的乘客输入(需求)和免费车辆的位置。相反,它是基于站点之间的本地数据交换:关于它们的状态和它们期望的车辆。因此,它似乎是为分布式实现量身定制的。该算法是统一的,这意味着相同的基本过程用于使用特定于任务的参数集的多个任务。
2017-10-17 cs.AI cs.CE cs.DC
Decentralized Collaborative Knowledge Management using Git
万维网和语义网被设计为分布式服务和数据集的网络。Web的分布式特性为数据交换带来了多种协作可能性。通常采用的RDF数据协作解决方案是集中式的(例如SPARQL端点和wiki系统)。但是为了支持分布式协作,需要一个系统,该系统支持数据集的发散,带来合并发散状态的可能性,并且允许分布式数据集被同步。在本文中,我们介绍了Quit Store,它受到了成功的Git系统的启发并建立在其基础上。该方法是基于分布式数据集的演化和合并的正式表达。在协作策展过程中,系统自动对RDF数据集进行版本化并跟踪出处信息。它还支持分支、合并和同步分布式RDF数据集。合并过程由RDF数据的特定合并策略来保护。最后,我们使用我们的参考实现,以显示整体良好的性能,并展示了系统的实际可用性。
2018-10-16 cs.DB cs.DC cs.MA
A duality-based approach for distributed min-max optimization with application to demand side management
Università del Salento(萨伦托大学);University of Cagliari(卡利亚里大学)
本文提出一种基于对偶性的分布式min-max优化算法,用于解决智能电网中的峰值需求最小化问题,通过引入松弛变量和双耦合结构,克服了传统分布式对偶分解方法的局限性。
2017-03-24 cs.DC cs.SY eess.SY