Rule-based High-level Hardware-RTL Synthesis of Algorithms, Virtualizing Machines, and Communication Protocols with FPGAs based on Concurrent Communicating Sequential Processes and the ConPro Synthesis Framework
虚拟化是对细节的抽象。算法和程序设计语言也提供了抽象。硬件和嵌入式系统的虚拟化在异构环境和网络中变得越来越重要,例如,分布式和材料集成传感器网络。通过引入直接在片上硬件中实现的虚拟化层,可以统一和唯一地访问各种硬件和低级协议的通信和数据处理。今天的硬件设计仍然是组件驱动的(如电路板),而不是将算法作为抽象层直接转换为硬件设计。程序和协议是算法,因此不要像传统的高级综合设计流程那样将它们作为设备处理!具有主导和复杂控制路径的复杂反应系统在SoC设计中发挥着越来越重要的作用。对并发性的主要贡献出现在控制路径级别。本文深入介绍了SoC设计方法,使用最高级别的综合ConPro编译器框架和面向过程的程序设计语言,提供了一个编程模型的基础上并发执行和通信的顺序进程(CCSP)与广泛的一组进程间通信原语。电路是在算法层面上建模和编程的,比组件驱动的设计更方便和自然。扩展的案例研究的智能通信协议路由器和先进的基于堆栈的处理器提供了一个可编程的虚拟化层显示和评估。两者一起用作部署在高密度传感器-致动器-网络中的智能节点架构,例如,用于材料集成智能系统。
2023-02-06 cs.AR cs.DC cs.PL
Deadline aware virtual machine scheduler for scientific grids and cloud computing
虚拟化技术使应用程序能够与底层硬件分离,从而提供可移植性、更好地控制执行环境和隔离的好处。它已被广泛应用于科学网格和商业云。由于虚拟化虽然有好处,但也会带来性能损失,这对于处理不确定性的系统来说可能很重要,例如高性能计算(HPC)应用程序,其中作业的截止日期很紧,并且在运行之前依赖于其他作业。主要的障碍在于弥合作业的性能要求和虚拟化技术提供的性能之间的差距,如果作业要在虚拟机中执行。在本文中,我们提出了一种新的方法来优化作业的最后期限时,在虚拟机上运行,通过开发一个最后期限感知算法,响应作业的执行延迟在实时的,并动态优化作业,以满足其最后期限的义务。我们的方法借用的概念都从信号处理和统计技术,其比较性能的结果,包括对硬件资源的利用率的影响,在本文的后面。
2010-09-24 cs.DC cs.PF cs.SE
Dynamic scheduling of virtual machines running hpc workloads in scientific grids
采用虚拟化的主要动机是资源隔离、容量管理和资源定制,允许资源提供商将其资源整合到虚拟机中。已经采取了各种方法来将虚拟化集成到科学网格中,特别是在高性能计算(HPC)的领域中,以在虚拟机中运行网格作业,从而能够更好地提供底层资源并在运行时定制执行环境。尽管有这些好处,但虚拟化层也会带来性能损失,而且还没有很好地理解这种开销将如何影响系统的性能,其中作业的调度时间很紧。由于这种开销会改变工作负载的类型,无论它们是内存密集型,CPU密集型还是网络I/O绑定,并且可能导致系统中运行作业的不可预测的截止日期估计。在我们的研究中,我们试图通过开发一种智能调度技术来解决这个问题,该技术用于监控虚拟机的工作负载类型和最后期限,并实时的计算系统开销,以最大限度地提高在商定的最后期限内完成的作业数量。
2010-09-24 cs.DC cs.DS cs.PF
A Security Monitoring Framework For Virtualization Based HEP Infrastructures
Goethe-University Frankfurt(法兰克福歌德大学);CERN(欧洲核子研究中心)
高能物理(HEP)分布式计算基础设施需要自动化工具来监控、分析潜在的安全事件并做出反应。这些工具应收集和检查资源消耗、日志和系统调用序列等数据,以检测表明存在恶意代理的异常情况。他们还应该能够在没有管理员干预的情况下对攻击执行自动反应。我们描述了一个新的框架,完成这些要求,在欧洲核子研究中心的ALICE实验的概念实现的证明。我们展示了如何实现一个完全虚拟化的环境,通过隔离服务和作业来提高安全性,而不会对性能产生重大影响。我们还描述了一个收集的数据集机器学习为基础的入侵预防和检测系统的网格计算。该数据集由资源消耗度量(如CPU、RAM和网络流量)、来自操作系统服务的日志文件以及从ALICE Grid测试站点中运行的生产作业收集的系统调用数据和大量恶意软件组成。该恶意软件是从安全研究网站收集的。基于此数据集,我们将继续开发能够检测恶意作业的机器学习算法。
2017-04-16 cs.AI cs.CR cs.DC
Analyzing GPU Performance in Virtualized Environments: A~Case Study
École Polytechnique de Montréal(蒙特利尔理工学院)
本文针对当前性能工具不支持虚拟GPU(vGPU)的问题,提出一款兼容Intel GVT-g的新型性能分析工具,通过软件追踪技术收集数据并生成指标,助力识别vGPU虚拟机的性能瓶颈。
2026-08-04 cs.DC cs.PF
A High Availability Management Model based on VM Significance Ranking and Resource Estimation for Cloud Applications
云资源使用量的大幅增加阻碍了服务的可用性,从而导致停机、资源争用和过度功耗。现有的方法通过提供多云、VM迁移和运行每个VM的多个副本来解决这一挑战,这导致了云数据中心(CDC)的高成本。在此背景下,提出了一种新的基于VM重要性排名和资源估计的高可用性管理(SRE-HM)模型,以提高用户的服务可用性,优化成本CDC。该模型估计基于资源争用的服务器故障,并事先组织所需的资源,以保持所需的服务可用性水平。一个重要性排名参数的引入和计算为每个虚拟机,执行关键或非关键的任务,然后选择一个可接受的高可用性(HA)的战略,其意义和用户指定的约束。它通过仅为重要的虚拟机而不是所有虚拟机呈现容错策略来实现CDC的成本优化。通过使用Google Cluster数据集执行实验,对所提出的模型进行了评估和比较。与不使用SRE-HM的HA相比,SRE-HM将服务可用性提高了19.56%,并将活动服务器数量和功耗分别降低了26.67%和19.1%。
2022-11-29 cs.DC
Virtual Machine Migration Enabled Cloud Resource Management: A Challenging Task
虚拟化技术通过提高云资源利用率降低云运营成本。如果管理不当,在云数据中心中引入虚拟化会严重降低云性能。虚拟机(VM)迁移是一种帮助云服务提供商有效管理云资源的方法,同时消除了人工监督的需要。虚拟机迁移方法通过采用实时或非实时迁移模式将当前托管的工作负载从一台服务器迁移到另一台服务器。与非实时迁移相比,实时迁移不会在VM迁移过程之前暂停应用程序服务。虚拟机迁移使云运营商能够实现各种资源管理目标,如绿色计算、负载均衡、故障管理和实时的服务器维护。在本文中,我们已经彻底调查VM迁移方法和应用。我们已经简要讨论了VM迁移应用程序。一些开放的研究问题已被强调,代表在这一领域的未来挑战。提出并讨论了一种基于队列的迁移模型,以有效地迁移VM内存页面。
2016-01-15 cs.DC
Exploring Erasure Coding Techniques for High Availability of Intermediate Data
科学计算工作流生成大量的分布式数据,这些数据是短暂的,但对作业完成时间至关重要。这类数据称为中间数据。实现高数据可用性的一种常见方法是复制数据。然而,在现代科学应用中产生的中间数据的规模越来越大,需要新的存储技术来提高存储效率。作为替代方案,擦除代码可以使用更少的存储空间,同时保持类似的数据可用性。在本文中,我们采用纠删码存储中间数据,并比较其性能与复制。我们还使用平均数据丢失时间(MTTDL)的度量来估计中间数据的生命周期。我们提出了一种算法,主动重新定位数据冗余从脆弱的机器可靠的,以提高数据的可用性与一些额外的网络开销。此外,我们提出了一种算法来分配冗余单元的数据物理上彼此接近的网络上,以减少网络带宽重建数据时,它被访问。
2020-04-13 cs.DC
High Availability Cluster System for Local Disaster Recovery with Markov Modeling Approach
IT环境中对高可用性(HA)和灾难恢复(DR)的需求比大多数企业的其他部门更为严格。许多企业需要业务关键型应用程序每周7天、每天24小时的可用性,并且在发生灾难时无法承受任何数据丢失。IT基础设施必须能够抵御中断,甚至是站点故障,并且业务运营可以在不受重大影响的情况下继续进行。因此,灾难恢复在IT中变得非常重要。将多个行业标准服务器群集在一起以允许工作负载共享和故障转移功能是一种低成本方法。本文提出了基于半马尔可夫过程(SMP)的可用性模型,并分析了SMP模型与近似连续时间马尔可夫链(CTMC)模型在停机时间上的差异。为了获得系统的可用性,我们进行了数值分析和SHARPE工具评估。
2009-12-09 cs.DC
Implementation of High Availability Message ISO 8583 using F5 Active-Passive Failover Method
本研究针对FDS服务器无法用轮询负载均衡导致ISO 8583消息改变的问题,采用F5主备故障转移方法实现高可用性,基于CPU负载和消息参数转移数据流,使错误率降低0.83%,SLA提升至99.96%。
2023-04-27 cs.DC
A Fault Tolerant Elastic Resource Management Framework Towards High Availability of Cloud Services
云计算已经成为每一个数字服务的必然,它的使用呈指数级增长。然而,云资源需求的巨大增长阻碍了服务的可用性,导致停机、性能下降、负载不平衡和过度功耗。现有的方法主要试图通过使用多云和运行虚拟机(VM)的多个副本来解决这个问题,这导致了高运营成本。本文提出了一个容错弹性资源管理(FT-ERM)框架,从不同的角度来解决上述问题,诱导高可用性的服务器和虚拟机。具体而言,(1)开发了在线故障预测器,以基于预测的资源争用来预测故障倾向的VM;(2)借助于功率分析器、资源估计器和热分析器来监测服务器的操作状态,以主动地识别由于服务器过载和过热而导致的任何故障;以及(3)将易发生故障的VM分配给由决策矩阵和安全盒组成的建议的容错单元,以触发VM迁移并预先处理任何中断,同时为云用户保持期望的可用性水平。通过使用两个真实世界的数据集执行实验,对所提出的框架进行了评估和比较。FT-ERM将服务的可用性提高了34.47%,并将VM迁移和功耗分别降低了88.6%和62.4%。
2022-12-07 cs.DC
A Low Cost Two-Tier Architecture Model For High Availability Clusters Application Load Balancing
提出了一种低成本的两层高可用集群体系结构模型的设计与实现,结合负载均衡和共享存储技术,实现了Web服务器等应用负载均衡的三层体系结构。研究工作提出了一种设计,物理上省略网络文件系统(NFS)服务器节点和实现NFS服务器功能的集群节点,通过红帽集群套件(RHCS)与高可用性(HA)代理负载均衡技术。为了在硬件和计算解决方案的投资方面实现低成本的实现,所提出的架构将是有益的。该系统旨在提供稳定的服务,即使任何系统组件故障,由于不确定性,如网络系统,存储和应用程序。
2014-06-22 cs.DC cs.NI
soCloud: A service-oriented component-based PaaS for managing portability, provisioning, elasticity, and high availability across multiple clouds
多云计算是支持超大规模全球分布式应用的一种有前途的范例。多云计算是指使用多个独立的云环境,它假设云提供商或第三方之间没有先验协议。然而,多云计算必须面对几个关键的挑战,如可移植性,供应,弹性和高可用性。开发人员不仅要将应用程序部署到特定的云,还必须考虑应用程序从一个云到另一个云的可移植性,以及跨多个云部署分布式应用程序。本文介绍了soCloud,一个面向服务的基于组件的平台即服务(PaaS),用于管理跨多云的可移植性、弹性、配置和高可用性。soCloud基于OASIS服务组件架构(SCA)标准,以解决可移植性问题。soCloud提供跨多个云管理配置、弹性和高可用性的服务。soCloud已经在十个现有的云提供商上进行了部署和评估:Windows Azure,DELL KACE,Amazon EC2,CloudBees,OpenShift,dotCloud,Jelastic,Heroku,Appfog和Eucalyptus私有云。
2014-07-08 cs.DC cs.SE
Dynamic Resource Allocation for Virtual Machine Migration Optimization using Machine Learning
Northern Arizona University(北亚利桑那大学);Trine University(特里内大学);Zhejiang University(浙江大学);Tsinghua University(清华大学)
针对传统云计算环境中静态规则在虚拟机迁移和资源分配上的局限性,提出基于机器学习的虚拟机迁移优化与动态资源分配方法,以解决云计算中的资源调度挑战。
2024-03-20 cs.AI cs.DC
CheckSync: Using Runtime-Integrated Checkpoints to Achieve High Availability}
CheckSync通过运行时集成的检查点为应用程序提供高可用性。这允许CheckSync获取以内存管理语言(目前是Go)运行的进程的检查点,可以在失败后在另一台机器上恢复。CheckSync使用运行时仅检查进程的活动内存,而无需对应用程序进行重大更改。CheckSync为它支持的应用程序保持了虚拟机提供的易用性,而无需对整个虚拟机映像进行快照。由于CheckSync仅捕获应用程序使用的内存,因此,如果应用程序的内存占用与操作系统的其余部分的状态相比相对较小,则它会生成比虚拟机快照小(数量级)的检查点。此外,当运行go-cache(一种流行的内存键/值存储)时,CheckSync仅将吞吐量减少12%,而使用go-cache的快照功能时吞吐量损失为78%,使用CRIU时为45%,使用虚拟机实时迁移时为68%。
2022-08-04 cs.DC
Cyclone: High Availability for Persistent Key Value Stores
持久性键值存储是许多分布式数据服务解决方案的重要组成部分,其创新旨在利用不断增长的闪存速度。不幸的是,它们的性能受到了需要维护和复制写前日志的限制,以保证在机器和存储故障时的可用性。Cyclone是一个用于键值存储的复制日志插件,它系统地解决了这个瓶颈的各种来源。它使用少量的可由CPU直接寻址的非易失性内存(例如NVDIXTM或Intel 3DXPoint形式),从关键路线中删除面向块的IO设备(例如SSD),以便添加到日志中。这使它能够使用RAFT共识协议的实现来解决网络开销,该协议是围绕用户空间网络堆栈设计的,以减轻CPU的数据复制负担。最后,它提供了一种有效地将键值存储API中的可交换性映射到商品API中可用的并行性的方法。Cyclone仅使用商用10千兆以太网适配器就能够每秒复制数百万个小更新。作为一个实际的应用程序,我们使用它来提高性能(和可用性)的RocksDB,一个流行的持久性键值存储的数量级相比,它自己的写前日志没有复制。
2017-11-19 cs.DC
The Design and Architecture of the Microsoft Cluster Service -- A Practical Approach to High-Availability and Scalability
Microsoft群集服务(MSCS)扩展了Win-NT操作系统,以支持高可用性服务。其目标是提供一个执行环境,使现成的服务器应用程序即使在节点故障的情况下也能继续运行。MSCS的后续版本将通过节点和应用程序管理系统提供可扩展性,该系统允许应用程序扩展到数百个节点。本文详细描述了MSCS的体系结构和驱动服务实现的设计决策。本文还介绍了一些主要应用程序如何使用MSCS的功能,并介绍了增加的功能,使其更容易实现和管理的容错应用程序上MSCS。
1998-09-02 cs.DC cs.OS
Confidential Consortium Framework: Secure Multiparty Applications with Confidentiality, Integrity, and High Availability
针对云环境下多方应用难以同时保证机密性、完整性和高可用性的问题,提出机密联盟框架(CCF),结合集中计算与去中心化信任,利用可信执行环境和不可变账本,支持透明治理和自定义应用逻辑,实现安全有状态应用。
2023-10-17 cs.CR cs.DC
High-Availability Clusters: A Taxonomy, Survey, and Future Directions
从金融和制造业到医疗保健和交通运输等领域的关键服务的交付得到了快速增长的关键任务企业应用程序的支持。要确保这些复杂应用程序的连续性,需要使用称为高可用性集群(HAC)的软件管理基础设施。HAC使用复杂的技术来监视关键企业应用程序层及其使用的资源的健康状况,并在故障后无缝地重新启动或重新定位应用程序组件。在本文中,我们首先描述了多种用途的HAC保护关键应用程序的基本层,并提出了高可用性集群的体系结构。然后,我们提出了一个分类法,涵盖了所有关键方面的HAC-部署模式,应用程序领域,集群类型,拓扑结构,集群管理,故障检测和恢复,一致性和完整性,以及数据同步,我们使用这种分类法提供了一个全面的调查的端到端的软件解决方案可用于HAC部署的企业应用程序。最后,我们讨论了现有的HAC解决方案的局限性和挑战,并确定了该领域未来研究的机会。
2022-09-22 cs.DC cs.NI cs.SY