Adapting Workflow Management Systems to BFT Blockchains -- The YAWL Example
区块链技术为信息记录提供了一个可审计和防篡改的分布式存储基础设施。这可以用来支持分布式工作流管理。与比特币和以太坊推广的工作量证明共识相比,基于BFT(拜占庭容错)的区块链订购共识交易可扩展性,以实现共识的即时性和最终性。这使得它们更容易用作分发基础设施,因为应用程序不需要进行调整以处理工作量证明区块链的最终一致性和延迟共识。因此,工作流引擎等应用程序可以很容易地移植到这样的区块链基础设施,以利用其分散的完整性保证和信息分发模型。在本文中,我们描述了如何在基于BFT的区块链基础设施上使用YAWL工作流引擎,以实现跨不同组织的协作工作流。
2020-06-10 cs.DC
Dependable IoT Data Stream Processing for Monitoring and Control of Urban Infrastructures
物联网描述了一个物理设备网络,这些设备相互作用并产生大量传感器数据流。目前,在为涉及监测和控制城市基础设施的用例开发解决方案时,存在许多普遍的挑战。这些包括需要一种可靠的方法,用于从这些高容量的时间敏感数据流中提取价值,并适应不断变化的工作负载。低延迟访问当前状态进行实时监控是必要的,也是对历史数据执行查询的能力。与此同时,需要作出许多设计选择,而可用的可能技术选择的数量进一步增加了复杂性。在本文中,我们提出了一个可靠的物联网数据处理平台,用于城市基础设施的监测和控制。我们根据可靠性定义需求,然后选择一些成熟的开源技术来满足这些需求。我们研究了交付整体架构所需的不同部分,并描述了每个组件之间的流程。我们同样提出了适用于各种应用领域的传感器数据的富集和分析的可推广方法。我们通过提供在Kubernetes上执行的示例性原型平台来证明这种方法的有用性,并评估在这种环境中处理传感器数据的作业的有效性。
2021-08-24 cs.DC
Autonomous tools for Grid management, monitoring and optimization
我们概述了设计和开发的自主工具的计算网格的管理,监控和优化。提出了基于效用概念的管理。网格优化被认为是面向应用的。提出了一种通用的网格模拟器,作为网格结构和功能的优化工具。
2007-07-22 cs.CE cs.DC hep-ex
Cognitive Infrastructure: A Unified DCIM Framework for AI Data Centers
本文提出DCIM 3.0框架,通过知识图谱、热模型和UDCP协议,解决AI数据中心在自动化、可持续性和数字孪生设计中的关键问题。
2026-01-08 cs.DC cs.NI
Workflow Management on the Blockchain --- Implications and Recommendations
区块链技术最初由加密货币推广,已被提出作为一种基础设施技术,在许多业务管理领域都有应用。区块链提供了不可变的交易记录,这使得它们在业务参与者可能不完全信任彼此的情况下非常有用。区块链的分布式特性使其特别适合组织间电子商务应用。在本文中,我们研究了使用区块链来执行组织间工作流。我们讨论了架构选项,并描述了基于区块链的工作流管理系统(WfMS)的原型实现,突出了与传统WfMS的差异。我们的主要贡献是识别区块链基础设施带来的潜在问题,并提出解决这些问题的建议。
2019-10-29 cs.DC
Big Data Strategies for Data Center Infrastructure Management Using a 3D Gaming Platform
高性能计算(HPC)与有效的数据中心基础设施管理(DCIM)有着内在的联系。云服务和HPC已成为国防部和企业信息技术在全球和商业领域竞争战略的关键组成部分。因此,对一致、可靠的数据中心空间的依赖比以往任何时候都更加重要。提供高质量DCIM的成本和复杂性不断受到美国政府和谷歌、微软和Facebook等公司的测试和评估。本文将展示一个系统,其中利用大数据战略和3D游戏技术成功地监控和分析多个HPC系统和单一平台上的Lights-out模块化HP EcoPOD 240 a数据中心。大数据技术和3D游戏平台可以相对实时的监控5000个环境传感器、3500多个IT数据点,并从100英里外的指挥中心显示数据中心整体运行状况的可视化分析。此外,大数据模型允许对历史趋势和条件进行深入分析,以优化运营,实现更高的效率和可靠性。
2015-06-29 cs.DC
A Scalable and Dependable Data Analytics Platform for Water Infrastructure Monitoring
随着天气变得更加极端,干旱期更长,降雨更严重,市政供水网络面临越来越大的压力。影响包括管道损坏,街道上的山洪暴发和下水道溢出。改造地下基础设施非常昂贵,因此水务基础设施运营商越来越多地寻求部署物联网解决方案,这些解决方案有望以一小部分成本缓解问题。在本文中,我们报告了一个正在进行的联合研究项目的初步结果,特别是其数据分析平台的设计和评估。整个系统由节能传感器节点组成,这些节点将其观察结果发送到流处理引擎,该引擎分析和丰富数据并将结果传输到基于GIS的前端。由于所提出的解决方案旨在监控城市的大型和关键基础设施,因此系统架构中考虑了一些非功能性要求,如可扩展性,响应能力和可靠性。我们提出了一个可扩展的流处理平台,它与其他组件的集成,以及用于数据处理的算法。我们讨论了重大的挑战和设计决策,介绍了一个有效的数据丰富的程序,并提出了实证结果,以验证符合目标要求。用于部署我们的平台和运行数据丰富作业的整个代码都可以在本文中公开获得。
2021-02-17 cs.DC
Life cycle management of automotive data functions in MEC infrastructures
汽车实时捕获并生成大量数据,包括驾驶动态、环境以及驾驶员和乘客的活动。随着互联和自动移动(CAM)应用的普及,车辆数据对汽车行业的价值越来越高,因为它不仅限于车载系统和服务。本文提出了一种利用5G网络的多访问边缘计算(MEC)技术实现数据货币化的架构。它采用了一个虚拟化框架,根据消费者需求管道实例化,该管道根据服务水平协议(SLA)政策,许可条款和以隐私为中心的设计感兴趣区域(ROI)集群处理数据样本。此外,还确定了为汽车行业创建数据市场时需要考虑的方面,同时强调了超越当前科学和市场解决方案的设计功能。
2023-03-10 cs.DC cs.NI
A Workflow for Fast Evaluation of Mapping Heuristics Targeting Cloud Infrastructures
如今,资源分配是云基础设施管理的一个组成部分,以有效地利用资源。云基础设施中心通常使用定制的架构来定义资源分配。这些中心的管理工具迫切需要有一个快速但相当准确的模拟和评估平台来定义云应用程序的资源分配。这项工作提出了一个框架,允许用户轻松地指定在DreamCloud欧洲项目的上下文中使用的AMALTHEA格式描述的云应用程序的映射,并评估这些映射的质量。该框架提供的两个质量指标是执行时间和能耗。
2016-01-27 cs.DC
LIKWID Monitoring Stack: A flexible framework enabling job specific performance monitoring for the masses
系统监控是一种成熟的工具,用于衡量HPC系统的利用率和运行状况。通常,系统监视基础结构不与作业信息建立连接,也不利用硬件性能监视(HPM)数据。为了提高HPC系统的使用效率,自动和连续的作业性能监控是一个必不可少的组成部分。它可以帮助识别病态情况,为用户提供即时的性能反馈,提供初始数据来判断应用程序的优化潜力,并有助于建立有关应用程序特定系统使用情况的统计基础。LIKWID监控堆栈是在LIKWID工具库之上构建的模块化框架。它的目的是利用人力资源管理数据、系统指标和应用程序一级的数据,对中小型商品组群进行具体工作的业绩监测。此外,它被设计为集成在现有的监控基础设施,以加快从纯粹的系统监控到作业感知监控的变化。
2017-08-04 cs.DC
CloudSim: A Novel Framework for Modeling and Simulation of Cloud Computing Infrastructures and Services
云计算侧重于交付可靠、安全、容错、可持续和可扩展的基础架构,以托管基于Internet的应用程序服务。这些应用程序具有不同的组成、配置和部署要求。在不同的负载、能源性能(功耗、散热)和系统规模下,针对不同的应用和服务模型,量化云基础设施(硬件、软件、服务)上的调度和分配策略的性能是一个极具挑战性的问题。为了简化这一过程,在本文中,我们提出CloudSim:一个新的广义和可扩展的模拟框架,使无缝建模,模拟和实验的新兴云计算基础设施和管理服务。该仿真框架具有以下新特征:(i)支持大规模云计算基础设施的建模和实例化,包括单个物理计算节点和Java虚拟机上的数据中心;(ii)用于建模数据中心、服务代理、调度和分配策略的自包含平台;(iii)虚拟化引擎的可用性,其帮助在数据中心节点上创建和管理多个独立的和共同托管的虚拟化服务;以及(iv)在处理核心到虚拟化服务的空间共享和时间共享分配之间切换的灵活性。
2009-03-14 cs.DC cs.OS cs.SE
Monitoring and Proactive Management of QoS Levels in Pervasive Applications
University of Thessaly(色萨利大学)
边缘计算(EC)作为一种有前途的范例的出现,提供了接近数据源的多种计算和分析功能,为新的应用开辟了新的途径。尽管如此,EC节点的计算能力有限,并在任务执行过程中确保高水平的QoS的期望,提出了严格的要求,创新的管理方法。出于维持EC节点运行期间的最低水平的QoS的需要,我们阐述了一个分布式和智能决策的任务调度方法。我们的目标是提高EC节点的行为,使他们能够确保高QoS水平。我们建议节点持续监控QoS水平,并系统地评估违反它们的概率,以主动决定将某些任务卸载到对等节点或云。我们提出,描述和评估所提出的方案,通过多个实验方案揭示其性能和设想的监控机制的好处时,在非常动态的环境中,如EC处理请求。
2022-06-11 cs.DC cs.LG
Lotaru: Locally Predicting Workflow Task Runtimes for Resource Management on Heterogeneous Infrastructures
本文提出 Lotaru,一种面向异构集群的本地化工作流任务运行时预测方法,通过微基准测试与缩减输入数据结合贝叶斯线性回归,在无历史数据下实现高精度预测,误差降低超12.5%,并有效支持调度与碳减排优化。
2023-09-13 cs.DC
Cloud Infrastructure Provenance Collection and Management to Reproduce Scientific Workflow Execution
云计算的出现为科学工作流的执行提供了新的计算范式。它提供了动态的、按需的和可扩展的资源,可以处理复杂的基于工作流的实验。随着实验数据规模的不断增长和处理工作流程的日益复杂,对再现性的需求也变得至关重要。起源被认为是一种验证工作流程并提供工作流程再现性的机制。再现实验执行的障碍之一是缺乏关于收集的出处中的执行基础设施的信息。在按需调配资源并指定资源配置的云环境中,此信息变得至关重要。因此,需要一种能够捕获基础设施信息以及在云上执行的工作流的来源的机制,以促进在云上重新创建执行环境。本文提出了一个框架,ReCAP,以及建议的映射方法,帮助捕获云感知的起源信息,并帮助重新配置云上的执行资源与类似的配置。实验评估表明,不同的资源配置对工作流执行性能的影响,因此证明需要收集这样的出处信息的上下文中云。评估还表明,所提出的映射方法可以在各种云使用场景中捕获云信息,而不会导致性能开销,并且还可以在云上重新配置资源。使用来自不同科学领域(如天文学和神经科学)的工作流程进行实验,以证明本研究对不同工作流程的适用性。
2018-03-19 cs.DC
Leveraging cloud based big data analytics in knowledge management for enhanced decision making in organizations
近年来,大数据机会已经获得了很大的动力,以加强组织的知识管理。然而,大数据由于其各种属性,如高容量,多样性和速度,不再能有效地存储和分析与传统的数据管理技术,以产生价值的知识开发。因此,需要新的技术和架构来通过高级数据分析来存储和分析这些大数据,从而为组织的有效决策生成重要的实时知识。更具体地说,有必要拥有一个单一的基础设施,提供知识管理的通用功能,并具有足够的灵活性,以处理不同类型的大数据和大数据分析任务。能够存储和处理大量数据的云计算基础设施可以用于高效的大数据处理,因为它最小化了大数据分析所需的大规模计算基础设施的初始成本。本文旨在探讨大数据分析对知识管理的影响,并提出一个基于云的概念框架,可以实时的分析大数据,以促进旨在获得竞争优势的增强决策。因此,该框架将为组织探索大数据分析和知识管理之间的关系铺平道路,这两种关系通常被视为两个不同的实体。
2017-02-15 cs.CY cs.DC
Virtual Laboratories in Cloud Infrastructure of Educational Institutions
现代教育机构广泛使用虚拟实验室和云技术。在实践中必须处理安全性、处理速度等任务。本文介绍了云计算与网络管理实验平台的建设经验。本文件所述的模型和控制原则。
2014-09-14 cs.DC
Efficient micro data centres deployment for mobile healthcare monitoring systems in IoT urban scenarios
Complutense University of Madrid(马德里康普顿斯大学)
在过去的十年中,物联网范式导致连接设备数量呈指数级增长。这种趋势使互联网更接近日常活动,并使数据汇集能够用于创建和改进各种服务和应用程序。尽管有很大的好处,但这种模式也带来了一些挑战。需要更强大的存储和处理能力来为所有这些设备提供服务。此外,部署和管理基础设施以有效支持这些资源的需求仍然是一个挑战。建模和仿真可以帮助设计和分析这些场景,提供灵活而强大的机制来研究和比较不同的策略和基础设施。在这种情况下,微型数据中心(MDC)可以作为减少不堪重负的云数据中心基础设施的有效方法。本文探讨了一种M\&S方法来研究医疗物联网场景的整体功耗。患者佩戴非侵入式监测设备,该设备定期生成要在MDC中执行的任务。我们提取现有的城市基础设施的布局,模拟监测人口的行为,并比较几个数据中心配置的功耗。
2023-02-20 cs.AI cs.DC
Towards Grid Monitoring and deployment in Jade, using ProActive
本文描述了我们目前对Jade网格化的努力,Jade是一个基于Java的环境,用于集群J2EE应用服务器的自主管理,由INRIA SARDES研究团队开发。为了实现这一目标,我们使用了java主动网格技术。我们首先提出了一些挑战,把这样一个自治管理系统最初专门用于分布式应用程序运行在集群的机器,到一个可以提供自我管理能力的大型系统,即部署在网格基础设施。这使我们对网格监控系统的技术状态进行了简要介绍。然后,我们回顾了Jade的架构,并因此提出以一种潜在的更具可扩展性的方式对其进行重组。实际实验涉及使用ProActive提供的网格部署功能,可以轻松地在任何类型的网格上部署Jade系统或其修订版。
2007-10-29 cs.DC
ZeroTouch Provisioning (ZTP) Model and Infrastructure Components for Multi-provider Cloud Services Provisioning
本文介绍了云服务交付基础设施(CSDI)的持续开发结果,该基础设施为多云多提供商环境中以基础设施为中心的云服务提供,运营和管理提供了基础,该环境定义为零接触配置,运营和管理(ZTP/ZTPOM)模型。所提出的工作涉及数据密集型研究的用例,这些用例需要高性能计算资源和大型存储卷,这些存储卷通常分布在通常涉及多个云提供商的数据中心之间。大规模科学(和工业)应用的自动化应该包括云间网络基础设施和云内应用资源的配置。它应该为完整的应用程序操作工作流以及应用程序生命周期中可能发生的应用程序基础设施和资源更改提供支持。作者调查了现有的服务配置和管理流程自动化技术,旨在从当前断开的域(如基于云的应用程序配置和多域高性能网络配置)中交叉传播最佳实践。本文参考了作者以前和遗留的研究,即开放云交换(OCX),该研究旨在解决通过GEANT等跨国骨干网络向校园提供云服务的最后一英里问题。OCX将作为GEANT网络上未来ZTP基础设施的一个组成部分。另一个重要的组件是Marketplace,它被定义为提供云服务和应用程序发现(通常在云间环境中),并且还可以支持其他服务,例如服务组合和信任代理,以建立客户-提供商联盟。
2016-11-08 cs.DC
Stochastic Modeling for Energy-Efficient Edge Infrastructure
本文提出基于马尔可夫链的随机建模方法分析边缘计算电源状态转换,证明AI驱动的预测性功率调节相比被动方法能减少不必要转换、优化异构节点负载分配并提升整体能效。
2025-11-06 cs.DC
Pilot-Edge: Distributed Resource Management Along the Edge-to-Cloud Continuum
许多科学和工业物联网应用需要跨边缘到云连续体进行数据处理,以满足性能、安全性、成本和隐私要求。然而,需要各种抽象和基础设施来管理边缘到云场景中的资源和任务。我们提出Pilot-Edge作为跨边缘到云连续体的资源管理的通用抽象。Pilot-Edge基于试点抽象,它简化了资源和工作负载管理,并为应用程序级任务提供了功能即服务(FaaS)接口。这种抽象允许应用程序将公共功能封装在高级任务中,然后可以跨连续体配置和部署这些任务。我们使用机器学习工作负载(例如,k-means和自动编码器)。我们的实验演示了Pilot-Edge如何管理分布式资源,并允许应用程序基于多个因素(例如,模型复杂性、吞吐量和等待时间)。
2021-04-07 cs.DC
Autonomous Edge-Deployed AI Agents for Electric Vehicle Charging Infrastructure Management
Hyperion Consulting(超离子咨询)
本文提出Auralink SDC架构,通过边缘部署的专用AI代理实现电动汽车充电基础设施的自主管理,实现高准确率的事故修复与快速响应。
2026-02-24 cs.AI cs.DC cs.LG
Paradigm Shift in Infrastructure Inspection Technology: Leveraging High-performance Imaging and Advanced AI Analytics to Inspect Road Infrastructure
针对传统道路检测及现有成像方法的缺陷,本文提出整合高分辨率X射线CT成像与AI分析的ROVAI框架,依托顶级超算与同步辐射装置实现高效处理,攻克多项技术挑战,为智能基础设施管理树立新标准。
2025-05-20 cs.DC
A Dynamic Power Management Schema for Multi-Tier Data Centers
与全球变暖有关的一个非常令人关注的问题是计算机的功耗和有效使用,特别是在大型数据中心。数据中心在IT基础设施中发挥着重要作用,因为它们的功耗巨大。
2016-04-15 cs.DC cs.NI
A Distributed Multi Agents Based Platform for High Performance Computing Infrastructures
这项工作介绍了一种新的,模块化的,分层的基于Web的平台,用于管理基于网格的高性能计算基础设施上的机器学习实验。通过数据同步实用程序,网格提供的通信服务与管理层和传统的Web服务器编程的耦合导致了基于Web的用户界面的直接开发,该用户界面允许监视和管理各种在线分布式计算应用。它还介绍了一个实验生成和监控工具,特别适合于调查机器学习在游戏中。该平台被证明与两个不同的游戏实验。
2016-10-11 cs.DC cs.MA
Semantically Enhanced Time Series Databases in IoT-Edge-Cloud Infrastructure
许多物联网系统都是数据密集型的,用于监测关键系统的故障检测和诊断。大量的数据稳定地从监测系统中的大量传感器中出来。因此,我们需要考虑如何存储和管理这些数据。现有的时间序列数据库(TSDB)可用于监控数据存储,但它们没有很好的模型来描述存储在数据库中的数据流。在本文中,我们开发了一个语义模型的规格说明的监测数据流(时间序列数据)在哪个传感器生成数据流、传感器正在监视哪个实体的哪个度量、实体与系统中的其他实体的关系是什么、哪个测量单元用于数据流等方面。我们还开发了一个工具套件SE-TSDB,它可以运行在现有的TSDB之上,帮助建立数据流的语义规范,并支持基于语义的数据检索。使用我们的语义模型和SE-TSDB工具套件,用户可以检索不存在的数据流,这些数据流可以自动从语义中派生出来。用户还可以检索数据流,而不知道它们在哪里。基于语义的检索在大规模集成的物联网边缘云系统中尤为重要,因为其数据量庞大,可能存储数据的计算和物联网设备数量庞大,以及数据迁移和演变的动态性。通过更好的数据语义,可以更有效地跟踪和灵活地检索数据流,以帮助随时随地进行及时的数据分析和控制决策。
2019-02-10 cs.DB cs.DC
A Security Monitoring Framework For Virtualization Based HEP Infrastructures
Goethe-University Frankfurt(法兰克福歌德大学);CERN(欧洲核子研究中心)
高能物理(HEP)分布式计算基础设施需要自动化工具来监控、分析潜在的安全事件并做出反应。这些工具应收集和检查资源消耗、日志和系统调用序列等数据,以检测表明存在恶意代理的异常情况。他们还应该能够在没有管理员干预的情况下对攻击执行自动反应。我们描述了一个新的框架,完成这些要求,在欧洲核子研究中心的ALICE实验的概念实现的证明。我们展示了如何实现一个完全虚拟化的环境,通过隔离服务和作业来提高安全性,而不会对性能产生重大影响。我们还描述了一个收集的数据集机器学习为基础的入侵预防和检测系统的网格计算。该数据集由资源消耗度量(如CPU、RAM和网络流量)、来自操作系统服务的日志文件以及从ALICE Grid测试站点中运行的生产作业收集的系统调用数据和大量恶意软件组成。该恶意软件是从安全研究网站收集的。基于此数据集,我们将继续开发能够检测恶意作业的机器学习算法。
2017-04-16 cs.AI cs.CR cs.DC
Automated Probe Life-Cycle Management for Monitoring-as-a-Service
本文提出一种监控即服务框架,根据用户指定指标自动部署和卸载任意探针,并管理其全生命周期及错误状态,实验证明其在容器和虚拟机云系统中高效有效。
2023-09-21 cs.DC cs.SY eess.SY