Autonomic Management in a Distributed Storage System
本文研究了自治管理在分布式存储系统中的应用。在实验中测量了对性能和资源消耗的影响,这些实验是在局部区域测试台上进行的。这些实验是用一个特定的分布式存储系统的组件进行的,但试图适用于广泛的此类系统,特别是那些暴露于不同条件的系统。分布式存储系统的感知特性取决于其配置参数和各种动态条件。对于给定的一组条件,一个特定的配置可能比另一个更好的措施,如资源消耗和性能。在这里,配置参数值是动态设置的,并将结果与静态配置进行比较。假设在不变的条件下,这将允许系统收敛于比任何可以先验设置的配置都更合适的配置。此外,系统可以通过采用更合适的配置来对条件的变化做出反应。自治管理被应用于分布式存储系统ASA的对等(P2P)和数据检索组件。各种工作量和流失模式的影响进行了实验测量。管理政策和机制的实施使用一个通用的自主管理框架,在这项工作中开发。自主管理的实验评估显示出可喜的成果,并提出了几个未来的研究课题。本论文的研究结果可以利用在建立其他分布式存储系统,专注于利用用户工作站上的存储,因为这些是特别有可能暴露于变化,不可预测的条件。
2010-07-02 cs.DC
Autonomic Cloud Computing: Research Perspective
本文综述近十年云计算自主资源分配研究,聚焦QoS与SLA约束,提出AI驱动的自主云计算概念模型,以优化负载、能耗与成本。
2024-10-19 cs.DC
Toward a Formal Semantics for Autonomic Components
自治管理可以提高并行/分布式应用提供的QoS。在CoreGRID组件模型中,自主管理被定制为组件组装的自动监控驱动的变更,因此被定义为(分布式)管理代码的效果。这项工作产生了一个语义的基础上超图重写适合建模的动态演化和非功能方面的面向服务的架构和基于组件的自主应用程序。在这方面,我们的主要目标是提供一个正式的描述,通常只有非正式指定的适应操作。我们认为,我们的方法更容易提高自主和自适应应用程序中的管理代码的抽象层次。
2010-07-02 cs.DC cs.SE
TrafficFab: An Autonomic Edge-Cloud Testbed Fabric forAI-Driven Traffic Management
Indian Institute of Science (IISc)(印度科学研究所)
TrafficFab提出自主边缘-云测试平台,结合RTSP模拟、DNN边缘推理、ST-GNN云预测和FM辅助联邦学习,在班加罗尔部署上支持约400路实时流,验证大城市闭环交通分析。
2026-09-25 cs.DC
Enhancing Middleware-based IoT Applications through Run-Time Pluggable QoS Management Mechanisms. Application to a oneM2M compliant IoT Middleware
近年来,电信和计算机网络通过网络功能虚拟化(NFV)和软件定义网络(SDN)见证了新的概念和技术。允许应用控制网络的SDN和允许在虚拟化环境中部署网络功能的NFV是越来越多地用于物联网(IoT)的两种范例。这种互联网(IoT)带来了在未来几年内互连数十亿设备的希望,这带来了几个科学挑战,特别是满足IoT应用所需的服务质量(QoS)的挑战。为了解决这个问题,我们已经确定了QoS方面的两个瓶颈:遍历的网络和允许应用程序与物联网设备交互的中间实体。在本文中,我们首先提出了一个创新的“网络功能”的部署和运行时环境。然后,我们描述了我们的一般方法的解决方案,包括在动态的,自主的,无缝部署的QoS管理机制。我们还描述了这种方法的实施要求。最后,我们提出了一个重定向机制,实现作为一个网络功能,允许一个给定的中间件流量的数据路径的无缝控制。该机制通过与车辆运输相关的用例进行评估。
2018-07-16 cs.DC
Developing Autonomic Properties for Distributed Pattern-Recognition Systems with ASSL: A Distributed MARF Case Study
Lero - the Irish Software Engineering Research Centre(莱罗爱尔兰软件工程研究中心);University of Limerick(利默里克大学);Concordia University(康考迪亚大学)
在本文中,我们讨论了我们的研究发展的特殊属性,引入自主行为的模式识别系统。在我们的方法中,我们使用ASSL(自治系统规约语言)正式开发DMARF(分布式模块化音频识别框架)等属性。这些属性通过管理框架模式识别管道的四个阶段的自治中间件增强了DMARF。DMARF是一种生物启发系统,采用模式识别,信号处理和自然语言处理,帮助我们处理各种科学应用所需的音频,文本或图像数据,例如,生物识别应用在这种情况下,自主DMARF(ADMARF)的概念可以被自主和机器人系统采用,这些系统理论上需要很少或没有人为干预,除了数据汇集用于模式分析和观察结果。在这篇文章中,我们解释了DMARF的自治属性的ASSL规范模型。
2011-12-16 cs.CV cs.DC cs.SE
Autonomic Microservice Management via Agentic AI and MAPE-K Integration
University of Oulu(奥卢大学)
针对微服务去中心化带来的安全与管理挑战,提出基于MAPE-K并利用agentic AI的自主异常检测与修复框架,为分布式系统提供工业级解决方案,可定制以增强稳定性并监控多项质量属性。
2025-06-27 cs.AI cs.DC cs.NI
Towards Grid Monitoring and deployment in Jade, using ProActive
本文描述了我们目前对Jade网格化的努力,Jade是一个基于Java的环境,用于集群J2EE应用服务器的自主管理,由INRIA SARDES研究团队开发。为了实现这一目标,我们使用了java主动网格技术。我们首先提出了一些挑战,把这样一个自治管理系统最初专门用于分布式应用程序运行在集群的机器,到一个可以提供自我管理能力的大型系统,即部署在网格基础设施。这使我们对网格监控系统的技术状态进行了简要介绍。然后,我们回顾了Jade的架构,并因此提出以一种潜在的更具可扩展性的方式对其进行重组。实际实验涉及使用ProActive提供的网格部署功能,可以轻松地在任何类型的网格上部署Jade系统或其修订版。
2007-10-29 cs.DC
Hybrid Quantum-HPC Middleware Systems for Adaptive Resource, Workload and Task Management
Ludwig Maximilian University(路德维希-马克西米利安大学);BMW Group(宝马集团);Utrecht University(乌得勒支大学);Rutgers University-New Brunswick(罗格斯大学新不伦瑞克校区);Princeton Plasma Physics Laboratory(普林斯顿等离子体物理实验室);Princeton University(普林斯顿大学)
本文提出混合量子-高性能计算系统中自适应资源、工作负载和任务管理的中间件方法,通过四层架构、执行动机集、Pilot-Quantum框架和Q-Dreamer工具包实现应用感知调度和性能建模。
2026-04-03 cs.DC quant-ph
Pilot-Quantum: A Quantum-HPC Middleware for Resource, Workload and Task Management
Pilot-Quantum是一种量子-HPC中间件,基于Pilot Abstraction模型统一管理混合量子-经典环境中的资源、工作负载和任务,支持变分算法与线路切割等任务并行应用,并无缝集成Qiskit等框架,通过mini-apps验证了其在多种量子场景下的高效性。
2025-05-28 cs.DC cs.ET quant-ph
RAFDA: Middleware Supporting the Separation of Application Logic from Distribution Policy
由于中间件系统强加的固定分布策略,中间件技术通常限制对象类在分布式应用中的使用方式。这些策略渗透到使用它们开发的应用程序中,并强制对应用程序级语义进行不自然的编码。例如,应用程序员不能直接控制地址空间间参数传递语义,因为它是由中间件在设计周期早期规定的应用程序的分布拓扑固定的。这就创建了相对于应用程序分布方式的变化而言脆弱的应用程序。本文探讨了允许应用程序中的任意对象动态公开以供远程访问的技术。使用这种方法,可以编写应用程序,而不必考虑其分布,对象放置和分布边界在设计周期后期甚至动态地决定。地址空间间参数传递语义也可以独立于对象实现并且在设计周期中的不同时间决定,同样,可能迟至运行时。此外,传输策略可以在每类、每方法或每参数的基础上定义,以最大化可塑性。这种灵活性在开发新的分布式应用程序以及为现有应用程序创建管理和监视基础设施方面具有实用性。
2010-06-18 cs.DC
Distributed Hierarchical Control versus an Economic Model for Cloud Resource Management
我们研究了分层组织的云基础设施,并将基于资源监控的分布式分层控制与资源管理的市场机制进行了比较。后者不需要系统模型,开销低,健壮,并满足其他几个自主计算的需要。我们介绍了几个性能指标和报告的模拟研究表明,一个简单的投标方案支持一个有效的准入控制机制,同时降低了几个数量级的通信复杂性,也增加了接受率相比,分层控制和监测机制。基于市场机制的资源管理可以被视为云自组织的中间步骤,是当前云资源管理机制的理想替代方案。
2015-04-14 cs.DC
Adaptive Security and Trust Management for Autonomous Messaging Systems
随着社会对信息通信系统的依赖性越来越高,对可靠、可信、健壮和安全的自适应系统的需求变得越来越迫切。现代自主的面向消息的中间件平台有严格的要求,自愈,适应,进化,容错,安全性和主动漏洞评估,特别是当系统的内部工作模型和环境的影响,系统在运行时是不确定的。在本文中,我们提出了一个自适应的和不断发展的安全方法,自适应的信任管理方法,自治消息中间件系统。这种方法在运行时面对不断变化的威胁时学习、预测、发展和适应不断变化的环境。该方法结合了自适应的基于风险的安全性,基于信任的安全性和基于安全的信任:由此产生的超加性协同作用,提高和增加安全的强度和系统的信任度。该方法还集成了不同的度量、评估工具和观察工具,以改进和增加系统可信度的可评估性和可验证性。通过工业案例研究和最终用户评估来验证结果。
2022-03-04 cs.CR cs.DC
RAFDA: A Policy-Aware Middleware Supporting the Flexible Separation of Application Logic from Distribution
由于中间件技术强加的固定分布策略,它们通常限制对象类在分布式应用程序中的使用方式。这些策略渗透到使用现有中间件系统开发的应用程序中,并强制对应用程序级语义进行不自然的编码。例如,应用程序员不能直接控制地址空间间参数传递语义。语义由应用程序的分布拓扑固定,这在设计周期的早期就决定了。这会导致应用程序在发布更改时变得脆弱。本文探讨的技术,提供控制的范围内的地址空间通信暴露给程序员,以帮助分布式应用程序的创建,维护和发展。所描述的系统允许应用程序中的任意对象被动态地暴露以供远程访问,从而允许编写应用程序而不考虑分发。程序员可以根据需要隐藏或暴露应用程序的分布式特性,允许在设计周期后期甚至动态地决定对象放置和分布边界。地址空间间参数传递语义也可以独立于对象实现并在设计周期中的不同时间决定,同样可能迟至运行时。此外,传输策略可以在每类、每方法或每参数的基础上定义,从而最大化可塑性。这种灵活性在开发新的分布式应用程序以及为现有应用程序创建管理和监视基础设施方面具有实用性。
2010-06-18 cs.DC
An Experimental Evaluation of Machine-to-Machine Coordination Middleware: Extended Version
物联网(IoT)的愿景体现了各种设置中联网设备的无缝发现、配置和互操作性,从家庭自动化和多媒体到自动驾驶汽车和制造设备。随着这些应用变得越来越重要,处理机器对机器(M2M)通信和协调的中间件必须处理容错和增加的复杂性,同时仍然遵守目标设备的资源约束。在这份报告中,我们专注于M2M场景中的配置管理和服务协调。一方面,我们考虑Zoo-Keeper,最初是为云数据中心开发的,提供了一个简单的文件系统抽象,并基于共识协议实现了容错和可扩展性的复制。另一方面,我们认为设备配置文件的Web服务(DPWS)堆栈与复制服务的基础上,我们实现的筏共识协议。我们表明,后者提供了足够的性能为目标的应用程序,同时提供更大的灵活性。
2014-12-12 cs.DC cs.NI
Dependable Management of Untrusted Distributed Systems
分布式系统的在线管理的传统方法-以网络管理的SNMP和基于面向服务计算(SOC)的系统的WSDM等标准为代表-依赖于被管理系统的组件在管理过程中进行协作,通过向管理者提供监视它们的状态和活动以及控制它们的行为的手段。不幸的是,对于许多类型的系统(例如基于SOA的系统)来说,这样对被管理组件的合作的信任是不必要的,这使得对这种系统的传统管理变得不可靠和不安全。本文介绍了一种全新的方法来管理分布式系统,称为基于治理的管理(GBM),它是基于一个中间件,可以管理系统组件之间的消息交换。GBM具有以可靠和安全的方式管理分布式系统的能力,即使没有被管理组件的任何值得信赖的合作。它可以充分结合传统的管理技术,只要这种合作是可信的。GBM还支持自反式管理模式,它管理管理过程本身,使其更安全。然而,GBM仍然是一项正在进行中的工作,因为它提出了几个开放的问题,需要解决之前,这种管理技术可以付诸实践。
2014-03-18 cs.DC
Nimrod/G: An Architecture of a Resource Management and Scheduling System in a Global Computational Grid
强大的微处理器和高速网络作为商品组件的可用性使得分布式系统上的高性能计算(广域集群计算)成为可能。在这种环境中,由于资源通常分布在地理上的各个层次(部门,企业,或世界各地)有一个很大的挑战,在整合,协调和呈现给用户作为一个单一的资源,从而形成一个计算网格。另一个挑战来自资源的分布式所有权,每个资源都有自己的访问策略、成本和机制。建议Nimrod/G网格启用的资源管理和调度系统建立在我们早期的工作Nimrod,并遵循模块化和基于组件的架构,使可扩展性,可移植性,易于开发,独立开发的组件和互操作性。它使用Globus工具包服务,并且可以很容易地进行扩展,以便与任何其他新兴的网格中间件服务一起运行。它侧重于管理和调度的计算在地理上分散在互联网上的部门,企业,或全球一级,特别强调开发调度计划的基础上的概念,计算经济的一个真正的测试床,即Globus测试床(GUSTO)。
2000-09-22 cs.DC
DIRAC - Distributed Infrastructure with Remote Agent Control
本文介绍了DIRAC,LHCb蒙特卡罗生产系统。DIRAC有一个客户/服务器结构,其基础是:分布在合作机构之间的计算单元;用于生产管理、簿记(元数据目录)和软件配置的数据库;用于更新和访问数据库的监测和编目服务。在Python中实现的本地安装的软件代理监视本地批处理队列,使用XML-RPC协议询问生产数据库中任何未完成的生产请求,并启动作业提交。代理将自动检查并在必要时安装任何所需的软件。作业处理完事件后,代理将传输输出数据并更新元数据目录。DIRAC已成功安装在18个合作研究所,包括DataGRID,并已用于最近的物理数据挑战。在不久的将来到中期,我们必须使用一个混合的环境,有不同类型的网格中间件或没有中间件。我们描述了这种灵活性是如何实现的,以及无处不在的网格中间件将如何提高DIRAC。
2003-06-12 cs.DC
Effects of component-subscription network topology on large-scale data centre performance scaling
现代大规模数据中心,例如用于云计算服务提供的数据中心,正变得越来越大,因为这些数据中心的运营商寻求最大化来自规模经济的益处。随着这些尺寸的增加,系统复杂性也随之增加,这通常是有问题的。对数据中心基础设施的自动化“自启动”配置、管理和故障恢复的需求日益增加,但随着要管理的节点数量的增加,许多传统技术的扩展比线性扩展差得多。由于在未来几十年中,中型数据中心的节点数量将增加两到三个数量级,因此在构建此类数据中心之前,尝试探索和理解数据中心中间件的伸缩特性似乎是合理的。在[1]中,我们介绍了SPECI,这是一个模拟器,可以预测大规模数据中心中间件性能的各个方面,重点关注状态变化的影响,例如策略更新或例行节点故障。[...].在[1]中,我们使用了一个第一近似假设,即这种订阅在整个数据中心中完全随机分布。在本文中,我们探讨了引入更现实的约束的内部网络的订阅结构的影响。我们对比了原始结果[…]探索使数据中心的订阅网络具有规则的格子状结构的效果,以及由创建“小世界”和“无标度”网络的参数化网络生成函数产生的半随机网络结构。我们发现,对于分布式中间件拓扑结构,在数据中心进行的任务的结构和分布可以显着影响的中间件所施加的性能开销。
2010-04-05 cs.DC
Distributed and Managed: Research Challenges and Opportunities of the Next Generation Cyber-Physical Systems
网络物理系统越来越依赖于分布式计算平台,其中感测、计算、致动和通信资源由众多应用共享。这种“网络物理云计算平台”提出了新的挑战,因为该系统是由移动嵌入式设备构建的,本质上是分布式的,并且通常受到模块之间高度波动的连接的影响。为这些系统构建软件提出了许多传统云计算中不存在的挑战。必须在不影响性能的情况下有效管理受限资源和应用程序隔离。必须以可验证的方式满足自主故障管理和实时性能要求。支持多个最终用户也是至关重要和具有挑战性的,这些最终用户的各种软件应用程序对计算和通信资源的需求不断变化,同时在不同的安全级别和不同的安全域中运行。本文提出的解决方案是基于一个分层的体系结构,包括一个新的操作系统,中间件层,和组件结构的应用程序。组件模型促进了从模块化和可重用组件构建软件应用程序,这些组件部署在分布式系统中,并且仅通过定义良好的机制进行交互。创建应用程序和执行系统集成的复杂性通过使用特定领域的模型驱动的开发过程来减轻,该过程依赖于特定领域的建模语言及其附带的图形建模工具,用于合成基础设施代码的软件生成器,以及广泛使用基于模型的分析进行验证和确认。
2017-09-30 cs.DC
An Approach to Modularization of Distributed Systems
模块化是许多类型复杂系统的重要架构原则。它倾向于驯服系统的复杂性,促进其管理,并增强其进化的灵活性。在软件方面,模块化已经在本地,即非分布式系统中得到了深入的实践和研究。但是,到目前为止,很少有人关注分布式系统中的模块化。这部分是因为分布式系统本质上是模块化的,在这个意义上,这样的系统的每个组件的内部是不可访问的其他组件,从而满足Parnas隐藏原则。然而,本文的论点是,能够将分布式组件视为模块,这里称为分布式模块,可以获得很多好处。除了传统的隐藏原则,分布式模块化应该提供额外的功能,这很少,如果有的话,在传统的模块化系统的数字。这些功能包括但不限于:对哪种消息可以从给定的分布式模块发送到其外部施加约束的能力;以及创建类似AOP的横切模块的能力。本文介绍了一个模块化分布式系统模型MDS,它满足这些能力,并通过LGI中间件实现。
2013-09-24 cs.DC cs.SE