A monitoring system for collecting and aggregating metrics from distributed clouds
Faculty of Technical Sciences University of Novi Sad(诺维萨德大学技术科学学院)
本文提出了一种监控系统,用于从分布式云收集和聚合指标,以提高系统的可观测性和可管理性。
2026-03-05 cs.DC
CloudHeatMap: Heatmap-Based Monitoring for Large-Scale Cloud Systems
针对传统工具难以应对大规模云系统复杂海量遥测数据的监控痛点,提出基于热图的可视化监控工具CloudHeatMap,可近实时呈现关键指标,经IBM云控制台案例验证能提升运维监控与决策效率。
2025-05-15 cs.DC cs.SE
An Integrated (Crop Model, Cloud and Big Data Analytic) Framework to support Agriculture Activity Monitoring System
本文针对农业活动监测面临的海量异构数据处理与实时协作需求,提出一个融合作物模型、云计算和大数据分析的集成地理信息框架,以提供可扩展、透明且高效的系统支持。
2024-11-19 cs.DC
CloudMonitor: Profiling Power Usage
在云计算平台中,由于要计量大量机器,因此添加硬件监视设备来收集功率使用数据可能是不切实际的或不经济的。CloudMonitor是一种监控工具,可以为基于软件的功耗估计生成功耗模型,可以在无需额外硬件的情况下提供对部署能源成本的洞察。准确的用电数据使云提供商有可能制定单独的电价,从而激励软件开发人员创建节能应用程序。
2012-05-11 cs.DC
C2MS: Dynamic Monitoring and Management of Cloud Infrastructures
服务器集群是许多需要高可用性、可扩展性和更容易管理其基础设施的组织所采用的常见设计原则。服务器通常根据它们提供的服务进行集群,无论是安装的应用程序、服务器的角色还是服务器的可访问性。为了优化性能、管理负载和保持可用性,服务器可能从一个集群组迁移到另一个集群组,使得服务器监视工具难以连续监视这些动态变化的组。服务器监控工具通常是静态配置的,并且组成员的任何更改都需要手动重新配置;在大规模云基础设施上执行这一任务是不合理的。在本文中,我们提出了Cloudlet控制和管理系统(C2MS);用于监视和控制云基础设施内的物理或虚拟服务器的动态组的系统。C2MS扩展了Ganglia -一个开源的可扩展系统性能监控工具-允许系统管理员定义,监控和修改服务器组,而无需重新配置服务器。反过来,管理员可以轻松地监控大规模动态云基础设施上的组和单个服务器指标,其中服务器的角色可能会频繁更改。此外,我们补充组监控与控制元素,允许管理员指定的操作,以执行服务组内的服务器,以及引入进一步的自定义监控指标。本文概述了C2MS的设计,实施和评估。
2013-10-03 cs.DC cs.OS
Strategies for Intrusion Monitoring in Cloud Services
本文针对云服务中入侵者可能破坏监控系统以掩盖非法活动的问题,提出一种兼顾日志数据可信性与日志重建能力的入侵监控策略。
2024-05-03 cs.CR cs.DC
Distributed Hierarchical Control versus an Economic Model for Cloud Resource Management
我们研究了分层组织的云基础设施,并将基于资源监控的分布式分层控制与资源管理的市场机制进行了比较。后者不需要系统模型,开销低,健壮,并满足其他几个自主计算的需要。我们介绍了几个性能指标和报告的模拟研究表明,一个简单的投标方案支持一个有效的准入控制机制,同时降低了几个数量级的通信复杂性,也增加了接受率相比,分层控制和监测机制。基于市场机制的资源管理可以被视为云自组织的中间步骤,是当前云资源管理机制的理想替代方案。
2015-04-14 cs.DC
Design of GNSS-RTK Landslide Monitoring System Based on Improved Raida Criterion
针对GNSS-RTK技术在滑坡监测过程中由于粗差和高频噪声的影响而无法有效监测滑坡的问题,设计了一种基于改进的Raida准则(3σ)的GNSS-RTK滑坡监测系统。该系统以树莓派为控制核心,采用GNSS-RTK技术完成变形数据汇集,并结合NB-IoT实现数据传输和云端存储。为进一步提高监测精度,提出了基于改进Raida准则(3σ)和Butterworth低通滤波的实时粗差检测和高频噪声去除方法,结合边缘计算设备完成实时数据处理,减轻云计算的压力。实验结果表明,该系统的数据传输是可靠和高效的。经过粗差剔除和噪声处理,实现了水平和垂直方向10 mm的实时变形监测,同时GNSS组合系统的监测误差小于单GPS系统。
2023-02-11 cs.DC
A Holistic Framework for Automated Configuration Recommendation for Cloud Service Monitoring
Microsoft India(微软印度)
本文提出一个模块化推荐框架,通过处理图结构服务实体来推荐最优监控配置,通过实验验证其在提供相关监控配置推荐方面的有效性。
2026-02-07 cs.DC cs.LG
FedMon: Federated eBPF Monitoring for Distributed Anomaly Detection in Multi-Cluster Cloud Environments
Department of Computer Science FAST National University of Computer \& Emerging Sciences Karachi, Pakistan 0009-0007-7595-1221;Asia Pacific University of Technology\& Innovation (APU) Kuala Lumpur, Malaysia 0000-0002-1834-1810;Department of Computer Science FAST National University of Computer \& Emerging Sciences Karachi, Pakistan 0009-0000-5276-1504
本文提出 FedMon 框架,结合联邦 eBPF 内核级遥测与联邦学习,利用 VAE 和孤立森林的混合检测引擎实现跨集群异常检测,在保障隐私与降低带宽开销的同时提升了检测准确性与可扩展性。
2025-10-11 cs.DC
Elascale: Autoscaling and Monitoring as a Service
自动可扩展性已经成为云软件系统的一个明显特征,包括但不限于大数据和物联网应用。云应用程序提供商现在可以完全控制其应用程序的微服务和宏服务;虚拟机和容器可以在运行时按需配置或取消配置。Elascale致力于根据工作负载和整个应用程序堆栈内部状态的变化来调整微观/宏观资源。Elascale利用Elasticsearch堆栈收集、分析和存储性能指标。然后,Elascale使用其默认的缩放引擎来弹性地适应托管应用程序。可扩展性通过Elascale中的提供程序,模式,插件和策略元素来保证,通过这些元素,可以为各种技术,基础设施和软件堆栈设计和实施灵活的可扩展性算法,包括反应式和主动式技术。在本文中,我们介绍了Elascale的架构和初始实现;将利用一个实例为通用物联网应用程序添加自动可扩展性。由于对目标软件系统的零依赖性,Elascale可以为任何类型的云软件系统提供自动可扩展性和监控即服务。
2017-11-08 cs.DC
Managing Clouds in Cloud Platforms
管理云服务是当今虚拟化环境中的一项根本挑战。云服务的提供商和消费者同样面临这些挑战。在支持移动云的虚拟化环境中,这个问题变得更具挑战性。云计算平台(如Amazon EC2)以低成本为客户提供灵活的按需资源。但是,它们无法提供许多客户可能需要的无缝基础设施管理和监控功能。例如,Amazon EC2并不完全支持云服务自动发现,它需要一组私有的身份验证凭据。另一方面,Salesforce.com不提供对其底层系统的监视访问。此外,这些系统无法提供对不支持代理的异构和遗留系统的基础设施监控。在这项工作中,我们探讨如何建立一个云管理系统,结合异构管理的虚拟资源和全面管理的物理设备。我们提出了一个自动化云管理和监控框架的初始原型。我们的最终目标是开发一个能够自动跟踪配置和关系的框架,同时提供完整的事件管理,测量性能和测试阈值,并一致地测量可用性。有了这样一个框架,运营商可以更快、更有效地做出更好的决策。
2010-08-29 cs.DC cs.NI
FedHome: Cloud-Edge based Personalized Federated Learning for In-Home Health Monitoring
Sun Yat-sen University(中山大学);Arizona State University(亚利桑那州立大学)
家庭健康监测已经引起了全世界老龄化人口的极大关注。随着物联网(IoT)设备访问的丰富用户健康数据和机器学习的最新发展,智能医疗已经看到了许多成功的故事。然而,现有的家庭健康监测方法没有充分关注用户数据隐私,因此远未准备好进行大规模的实际部署。在本文中,我们提出了FedHome,一种新的基于云边缘的联邦学习框架,用于家庭健康监测,它从网络边缘的多个家庭学习云中的共享全局模型,并通过将用户数据保存在本地来实现数据隐私保护。为了应对用户监测数据中固有的不平衡和非IID分布,我们设计了一个生成式卷积自动编码器(GCAE),其目的是通过使用用户个人数据生成的类平衡数据集来改进模型,从而实现准确和个性化的健康监测。此外,GCAE是轻量级的,可以在云和边缘之间传输,这有助于降低FedHome中联邦学习的通信成本。基于真实人类活动识别数据跟踪的广泛实验证实,FedHome显著优于现有的广泛采用的方法。
2020-12-14 cs.AI cs.DC cs.LG
Machine Learning Algorithms for Active Monitoring of High Performance Computing as a Service (HPCaaS) Cloud Environments
Pacific Northwest National Laboratory(西北太平洋国家实验室)
云计算提供了对可以满足任何计算需求的大量可重构资源的无处不在和按需访问。许多服务模型都是可用的,但是基础设施即服务(IaaS)模型通过联网大量的云计算节点而特别适合作为高性能计算(HPC)平台来操作。我们使用太平洋西北国家实验室(PNNL)的云计算环境来执行我们的实验。许多云计算提供商(如Amazon Web Services、Microsoft Azure或IBM Cloud)都提供灵活且可扩展的计算资源。本文探讨的可行性识别类型的工程应用程序上运行的云基础设施配置为HPC平台使用隐私保护功能作为输入到统计模型。在这项工作中考虑的工程应用程序包括MCNP 6,由洛斯阿拉莫斯国家实验室开发的辐射传输代码,OpenFOAM,一个开源的计算流体动力学代码,和CADO-NFS,用于素数分解的一般数域筛算法的数值实现。我们的实验使用OpenStack云管理工具来创建一个云HPC环境和隐私保护Ceilometer计费表作为分类功能,以证明这些应用程序的识别。
2020-09-26 cs.DC cs.LG
Managing Forensic Recovery in the Cloud
本文针对云环境取证完整性问题,提出在运营与数据存储多层级增强监控,以追溯系统历史变更并识别恶意或误伤导致的数据影响。
2024-05-10 cs.DC
QoS-based Computing Resources Partitioning between Virtual Machines in the Cloud Architecture
云服务已经得到了非常广泛的使用,但是参数的配置,包括资源的有效分配,是系统架构师的一个重要目标。本文致力于解决基于仿真的计算机体系结构选择问题,并开发了计算资源监控程序。开发了旨在提供所需服务质量和有效利用资源的技术。文章介绍了监控程序的计算资源和时间效率的目标应用功能。在此应用程序的基础上,在实验中显示和描述的技术,旨在确保服务质量的要求,通过隔离一个进程从其他不同的虚拟机内部的管理程序。
2016-12-04 cs.DC
Metric Criticality Identification for Cloud Microservices
本文提出 KIMetrix,利用熵与互信息从微服务轻量级指标和追踪中自动识别最小且全面的关键指标集,实验证明其可提升监控覆盖并减轻 SRE 告警负担。
2025-07-28 cs.DC
The Open Cloud Testbed: A Wide Area Testbed for Cloud Computing Utilizing High Performance Network Services
最近,已经开发了许多用于数据密集型计算的云平台和服务,包括Hadoop,Sector,CloudStore(以前的KFS),HBase和Thrift。为了对这些系统的性能进行基准测试,研究它们的互操作性,并基于灵活的计算节点和网络配置功能试验新服务,我们设计并实现了一个名为开放云测试床(OCT)的大规模测试床。目前,OCT在四个数据中心拥有120个节点:巴尔的摩、芝加哥(两个地点)和圣地亚哥。与其他云测试平台相比,这些云测试平台位于较小的地理区域,并且基于商品互联网服务,OCT是一个广域测试平台,四个数据中心与基于专用光路基础的高性能10 Gb/s网络连接。该测试平台可以满足对其他类型的分布式基础设施提出挑战的超大数据流的要求。我们还开发了几个实用程序来支持云计算系统和服务的开发,包括新型节点和网络供应服务、监控系统和RPC系统。在本文中,我们描述了OCT的架构和监控系统。我们还描述了一些基准,我们开发和一些互操作性的研究,我们使用这些基准进行。
2009-07-28 cs.DC
Cucumber: Renewable-Aware Admission Control for Delay-Tolerant Cloud and Edge Workloads
云计算和边缘计算不断增长的电力需求增加了运营成本,并将很快对环境产生重大影响。一个可能的对策是直接为IT基础设施配备现场可再生能源。然而,特别是较小的数据中心可能无法始终直接使用所有产生的电力,而将其送入公共电网或储能通常不是一种选择。为了最大限度地利用可再生过剩能源,我们提出了黄瓜,接纳控制策略,接受延迟容忍的工作负载,只有当他们可以在他们的截止日期内计算,而不使用电网能源。使用计算负载、能量消耗和能量产生的概率预测,Cucumber可以被配置为更乐观或保守的接纳。我们评估我们的方法在两种情况下使用真正的太阳能发电预测柏林,墨西哥城和开普敦在模拟环境中。对于实际上有多余能量的情况,我们的结果表明,Cucumber的默认配置实现了接近最佳情况的接受率,并导致97.0%的接受工作负载使用多余能量供电,而更保守的准入导致在几乎为零的电网电力使用情况下接受率降低18.5%。
2022-08-27 cs.DC
Streamline Intelligent Crowd Monitoring with IoT Cloud Computing Middleware
本文提出一种基于Raspberry Pi等低功耗设备的物联网云计算中间件,采用MapReduce和领导者选举算法实现室内人群监控与容错,在希腊历史建筑中验证了其性能媲美资源密集型方法。
2024-06-04 cs.DC
Anomaly Detection in a Large-scale Cloud Platform
IBM Canada Lab(IBM加拿大实验室);IBM(IBM公司);Ryerson University(瑞尔森大学)
云计算无处不在:越来越多的公司正在将工作负载迁移到云中。然而,这种普及率的上升对云服务提供商提出了挑战,因为他们需要有效地监控其不断增长的产品的质量。为了应对这一挑战,我们为IBM Cloud Platform设计并实现了一个自动化监控系统。该监控系统利用深度学习神经网络同时近实时检测多个平台组件中的异常。在运行系统一年后,我们观察到,所提出的解决方案将DevOps团队的时间和人力资源从手动监控数千个云组件中解放出来。此外,它通过降低云中断的风险来提高客户满意度。在本文中,我们将分享我们的解决方案架构、实施说明以及在监控系统发展过程中出现的最佳实践。其他研究人员和从业人员可以利用它们来构建复杂系统的异常检测器。
2021-02-11 cs.DC cs.LG cs.SE
Dogfooding: use IBM Cloud services to monitor IBM Cloud infrastructure
云平台的稳定性和性能至关重要,因为它们直接影响客户的满意度。云服务提供商使用云监控工具来确保所提供的服务符合服务级别协议等既定合同中规定的服务质量要求。鉴于需要监控的资源数量巨大,Amazon、Google、IBM和Microsoft等云服务提供商设计并实施了高度可扩展且功能强大的监控工具。云监控工具监控数百万个虚拟和物理资源,并为每个资源持续生成日志。考虑到日志会放大任何技术问题,因此可以将其用于灾难检测、预防和恢复。但是,如果不及时评估和分析日志,则它们是无用的。因此,我们认为云生成的日志的规模使得DevOps团队无法有效地分析它们。这意味着需要使监视和分析的过程自动化(例如,使用机器学习和人工智能)。如果自动化将在日志中发现异常-它将提醒DevOps工作人员。自动异常检测器需要一个可靠且可扩展的平台来收集、过滤和转换日志,执行检测器模型,并向DevOps员工发送警报。在这项工作中,我们报告了基于7层架构模式实现这样一个平台的原型,该模式利用微服务原则在高度可扩展、资源高效的模块之间分配任务。这些模块通过发布-订阅架构模式的实例相互交互。该平台部署在IBM Cloud服务基础设施上,用于检测IBM Cloud服务发出的日志中的异常,因此出现了dogfooding。
2019-07-13 cs.DC cs.SE
Hybrid Monitoring for Early Fault Detection in Cloud-Native 5G Systems
Chalmers University of Technology and University of Gothenburg(查尔姆斯理工大学和哥德堡大学);Ericsson AB(爱立信公司)
针对云原生5G系统现有监控工具无法快速检测细微故障的问题,提出结合eBPF被动观测与主动探测的混合监控系统NetMon,能在数秒内检测并定位低至10ms延迟或5%丢包的故障,且开销极低。
2026-09-14 cs.DC cs.NI
An NBDMMM Algorithm Based Framework for Allocation of Resources in Cloud
云计算是计算领域中的技术进步,并且通过经由互联网连接提供诸如网络、存储、计算能力和服务器的计算资源作为服务,使计算的效用愿景更进一步。这些服务以按使用付费的方式提供给用户,取决于云用户对这些资源的使用量。由于这些资源的使用是以弹性的方式进行的,因此这些资源的按需供应是整个云计算基础设施背后的驱动力,因此这些资源的维护是必须考虑的决定性任务。最后,基础设施级别的性能监控和增强也很重要。本文提出了一个框架,在基于云的环境中的资源分配,从而导致在云环境中的性能的基础设施水平的增强。该框架分为四个阶段第一阶段:云服务提供商监控基础设施级别的资源使用模式和云用户的行为。阶段2:向云服务提供商报告有关使用情况的监控活动。第三阶段:第四阶段:为云用户分配资源或提供服务,从而实现基础设施级别的性能增强和资源的高效管理。资源使用模式分析被认为是服务提供商合理分配资源的重要因素,本文使用Google集群跟踪来访问云中的资源使用模式。在cloudsim仿真框架上进行了实验,实验结果表明NBDMMM算法能够有效地提高虚拟云中的资源分配效率。
2014-12-27 cs.DC
Semantically Enhanced Time Series Databases in IoT-Edge-Cloud Infrastructure
许多物联网系统都是数据密集型的,用于监测关键系统的故障检测和诊断。大量的数据稳定地从监测系统中的大量传感器中出来。因此,我们需要考虑如何存储和管理这些数据。现有的时间序列数据库(TSDB)可用于监控数据存储,但它们没有很好的模型来描述存储在数据库中的数据流。在本文中,我们开发了一个语义模型的规格说明的监测数据流(时间序列数据)在哪个传感器生成数据流、传感器正在监视哪个实体的哪个度量、实体与系统中的其他实体的关系是什么、哪个测量单元用于数据流等方面。我们还开发了一个工具套件SE-TSDB,它可以运行在现有的TSDB之上,帮助建立数据流的语义规范,并支持基于语义的数据检索。使用我们的语义模型和SE-TSDB工具套件,用户可以检索不存在的数据流,这些数据流可以自动从语义中派生出来。用户还可以检索数据流,而不知道它们在哪里。基于语义的检索在大规模集成的物联网边缘云系统中尤为重要,因为其数据量庞大,可能存储数据的计算和物联网设备数量庞大,以及数据迁移和演变的动态性。通过更好的数据语义,可以更有效地跟踪和灵活地检索数据流,以帮助随时随地进行及时的数据分析和控制决策。
2019-02-10 cs.DB cs.DC
Automated Probe Life-Cycle Management for Monitoring-as-a-Service
本文提出一种监控即服务框架,根据用户指定指标自动部署和卸载任意探针,并管理其全生命周期及错误状态,实验证明其在容器和虚拟机云系统中高效有效。
2023-09-21 cs.DC cs.SY eess.SY
Digital Twin of a Cloud Data Centre: OpenStack Cluster Visualisation
随着数据供应的增加,当代数据中心至关重要。数据中心是计算机系统集中的区域,用于促进数据处理、传输和存储。目前,传统的数据中心已更多地转向云模式,从而使数据的处理、存储和利用更易于管理,更易于通过基于实用程序和订阅的计算服务模式访问。从管理的角度来看,云数据中心是一个复杂的系统,很难掌握,需要大量的时间来分析云数据中心的不同方面,如维护和资源管理。对于云数据中心管理员来说,这可能是一个具有挑战性的问题,也是一项非常耗时的任务。因此,需要提高云数据中心监测和管理工具的可用性,而数字孪生可以满足这一需求。本文的主要目标是构建一个数字孪生-一个3D可视化和监控工具-由OpenStack,著名的开源云计算基础设施软件管理的云数据中心。为了评估我们提出的工具,我们收集了关于数字孪生与OpenStack仪表板相比的可用性的反馈。云数据中心专家将在测试数字孪生并在采访中回答各种问题时提供意见。研究结果表明,我们提出的数字孪生将帮助数据中心管理员更好地监控和管理他们的数据中心。它还将促进进一步研究和实施数据中心的数字孪生,以提高可用性。
2021-08-13 cs.DC cs.HC